WO2006098358A1 - 画像処理装置および方法、プログラム、並びに記録媒体 - Google Patents

画像処理装置および方法、プログラム、並びに記録媒体 Download PDF

Info

Publication number
WO2006098358A1
WO2006098358A1 PCT/JP2006/305115 JP2006305115W WO2006098358A1 WO 2006098358 A1 WO2006098358 A1 WO 2006098358A1 JP 2006305115 W JP2006305115 W JP 2006305115W WO 2006098358 A1 WO2006098358 A1 WO 2006098358A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
gradation
luminance
data
display
Prior art date
Application number
PCT/JP2006/305115
Other languages
English (en)
French (fr)
Inventor
Tanichi Ando
Original Assignee
Omron Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corporation filed Critical Omron Corporation
Priority to JP2007508175A priority Critical patent/JP4985394B2/ja
Priority to EP06729136A priority patent/EP1868370A4/en
Priority to US11/908,939 priority patent/US20090015683A1/en
Publication of WO2006098358A1 publication Critical patent/WO2006098358A1/ja

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Definitions

  • the present invention relates to an image processing apparatus and method, a program, and a recording medium, and in particular, an image processing apparatus and method for enabling an image captured by an imaging element with a wide dynamic range to be clearly displayed.
  • a program, and a recording medium are examples of image processing apparatus and method.
  • HDRC High Dynamic Range CMOS (HDRC) Complementary Metal Oxide semiconductor
  • HDRC has a wide dynamic range and can shoot images, so the maximum number of gradations of the captured image (captured image) is 214 (214 gradation levels). Power that can be displayed
  • the display gradation of a display device such as a normal display is generally 256 gradations, for example. For this reason, when displaying HDRC captured images, the number of gradations is usually smaller than the number of gradations of the captured image, so the captured image cannot be displayed as it is on a normal display or the like. Therefore, in order to display the HDRC captured image on a normal display device, gradation conversion of the captured image is performed.
  • FIG. 1 is a diagram for explaining an example of conventional gradation conversion.
  • the images taken with a power camera using HDRC were taken as images 1 when the weather was clear, image 2 taken when it was cloudy, and taken at night It is assumed that the gradation of image 3 as an image is converted and displayed as a display image on a display device.
  • the figure shows that the maximum value of the luminance value of the pixel included in image 1 is the value bll, the minimum value of the luminance value of the pixel is the value bl2, and the luminance value of the pixel included in image 2 Is the value b21, the minimum luminance value of the pixel is the value b22, and the luminance value of the pixel included in the image 3
  • the maximum value is the value b31, and the minimum value of the luminance value of the pixel is the value b32.
  • the luminance values of the pixels included in the images 1 to 3 are based on the maximum value and the minimum value.
  • Gradation conversion is performed. For example, in the image 1, the luminance value between the maximum luminance value bll and the minimum luminance value bl2 is converted so as to be assigned to 256 gradations and displayed on the display device.
  • the luminance value between the maximum luminance value b21 and the minimum luminance value b22 is converted so as to be assigned to 256 gradations.
  • Patent Literature 1 JP 7-506932 Gazette
  • a display image displayed by conventional gradation conversion is not always displayed clearly. Since the dynamic range such as HDRC is wide and the image taken with the camera is very wide compared to the dynamic range of the display device, if the gradation is compressed and displayed as it is, it will be a light image with no overall contrast, It becomes difficult to recognize the content displayed by the human eye.
  • the maximum and minimum luminance values are obtained, and the gradation is compressed so that the maximum value is the maximum luminance of the display device and the minimum value is the minimum luminance of the display device. and so on.
  • the display device has no power as to which luminance region is viewed by a person.
  • a bright luminance region different from the luminance region seen by the person is the main floor when a bright sky is reflected. It is displayed with a key.
  • a dark luminance area that is different from the luminance area that the person is viewing is displayed with the main gradation.
  • Image data taken with an HDRC camera is so high that people are not interested in it! , Value (or low, value) brightness information is also included, so people can pay attention to which brightness area! / Power of scolding (I don't know the power of interest!) It can be displayed with proper density and color Absent.
  • the width of the maximum value and the minimum value of the brightness value may differ greatly, so that the gradation of the display image varies depending on the change in the brightness value of the captured image. It may fluctuate as it is stretched or shrunk, and the displayed image may look very unnatural.
  • the brightness value between the maximum brightness value b31 and the minimum brightness value b32 is converted so as to be assigned to 256 gradations and displayed on the display device.
  • the power of the image 3 taken at night is likely to be composed of dark pixels (low brightness values) in almost all parts of the image. It is highly possible that the light is also emitted by extremely bright object power compared to other parts of the image, such as flash light and headlights.
  • the center of the luminance value of the pixel is supposed to be a pixel that should originally be displayed clearly.
  • the brightness value is higher than the luminance value of (most pixels in the image), and the display image corresponding to the image 3 becomes dim overall.
  • the display brightness of the entire screen of the display image varies each time according to changes in weather or lighting, and the image becomes difficult to see for the user. For example, when sunlight suddenly enters the screen from between buildings, or when an oncoming vehicle with a headlight turned on at night suddenly appears in a curve, it will be displayed in an easy-to-read state. Image power that suddenly became dark and hard to see. On the other hand, when a dark area such as a tunnel is approaching, an image that has been displayed in an easy-to-see state suddenly becomes brighter and difficult to see.
  • the present invention has been made in view of such a situation, and makes it possible to clearly display an image photographed by an imaging element having a wide dynamic range.
  • An image processing apparatus to which the present invention is applied includes an imaging unit that captures an image and outputs data of the captured image, and a preset that is included in an image corresponding to the data output from the imaging unit An image of a region, a conversion means for converting the gradation of the image based on data corresponding to the image of the object having a predetermined reflectance, and an image having the gradation converted by the conversion means And display means for displaying an image corresponding to the signal of the image.
  • an image is captured, data of the captured image is output, and a predetermined area included in the image corresponding to the output data is supported.
  • the image gradation is converted based on the data corresponding to the image of the object having a predetermined reflectance, and the image corresponding to the image signal having the converted gradation is displayed.
  • the captured image can be clearly displayed regardless of the gradation that can be displayed by the display means.
  • the imaging unit converts the charge generated corresponding to the captured light into an analog electrical signal having a voltage value proportional to the logarithm of the number of charges for each pixel, and converts the analog electrical signal to digital Image data can be output after being converted to data.
  • the photographing means is composed of, for example, an HDRC camera.
  • the imaging unit converts the current generated corresponding to the captured light into an analog electrical signal having a voltage value proportional to the logarithm of the magnitude of the current for each pixel, and the analog electrical signal Can be converted into digital data to output image data.
  • the gradation width of the image that can be displayed by the display means can be made smaller than the gradation width of the image photographed by the photographing means.
  • the information processing apparatus may further include a receiving unit that receives an input of information regarding the position of the region in the image.
  • the converting means extracts data corresponding to a preset region included in the image, and based on the data extracted by the extracting means, the image has a gradation width that can be displayed in the image. Based on the identification means for identifying the corresponding luminance width and the luminance width identified by the identification means, the gradation of the image is converted into a gradation width that can be displayed by the display means, and the data corresponding to the converted image Output means for outputting the above signals.
  • the extraction unit calculates an average value of luminance values of pixels in the region based on data corresponding to the region, and the specifying unit calculates an average value of luminance values of pixels in the region calculated by the extraction unit. Is assigned to a preset gradation within the gradation width that can be displayed by the display means, and based on the assigned gradation, the upper and lower luminance limits corresponding to the gradation width that can be displayed in the image The luminance width can be specified by specifying the value.
  • the correspondence between the luminance value of the pixel and the gradation is set appropriately, and an image can always be displayed with a natural color.
  • the conversion means stores information relating to the position of the region in the image and information relating to the gradation corresponding to the average value of the luminance values of the pixels in the region within the gradation width that can be displayed by the display means.
  • a storage means may be further provided.
  • the conversion means determines a gradation corresponding to a luminance value of a pixel in the region, within a gradation width that can be displayed by the display unit, based on a user's selection regarding display of the image in the region. can do.
  • the tone of the image is converted based on an object that is always included in the captured image, and an image with a hue that suits the user's preference is displayed. Togashi.
  • the conversion means determines a gradation corresponding to the luminance value of the pixel in the area, within the gradation width that can be displayed by the display means, based on the reflectance of the object of the image in the area. Is possible.
  • the gradation of the image can be converted based on a region in which an object with a known reflectance is always included in the captured image.
  • Distance measurement means for measuring the distance to the object of the image in the region is further provided, based on the distance to the object of the image in the region measured by the distance measurement means and the luminance value of the pixel in the region. Thus, the reflectance of the object can be calculated.
  • the imaging unit converts the charge or current generated corresponding to the captured light into an analog electrical signal having a voltage value proportional to the logarithm of the number of charges and the magnitude of the current for each pixel.
  • the analog electrical signal can be subjected to gradation conversion processing by the conversion means, and the analog electrical signal that has been processed by the conversion means can be converted into digital data and output.
  • An image processing method to which the present invention is applied includes an acquisition step of acquiring data of an image captured by an imaging unit, and a preset area included in an image corresponding to the data acquired by the processing of the acquisition step A conversion step for converting the gradation of the image based on data corresponding to the image of the object having a predetermined reflectance, and an image signal having the gradation converted by the processing of the conversion step. And a display step for displaying a corresponding image.
  • data of an image captured by the imaging means is acquired, and is an image of a preset area included in an image corresponding to the acquired data.
  • the gradation of the image is converted, and an image corresponding to the signal of the image having the converted gradation is displayed.
  • a program to which the present invention is applied is a program that causes an image processing apparatus to perform image processing, and is an acquisition control step that controls acquisition of data of an image captured by an imaging unit, and processing of the acquisition control step. Is a pre-set area image included in the image corresponding to the data obtained by the above-described conversion, and controls the conversion of the gradation of the image based on the data corresponding to the image of the object having a predetermined reflectance. It is characterized by causing a computer to execute a control step and a display control step for controlling display of an image corresponding to an image signal whose gradation has been converted by the processing of the conversion control step.
  • a recording medium to which the present invention is applied has a program for causing an image processing apparatus to perform image processing.
  • a recording medium that is recorded includes an acquisition control step that controls acquisition of image data captured by the imaging unit, and a preset image included in the image corresponding to the data acquired by the processing of the acquisition control step.
  • a conversion control step for controlling the conversion of the gradation of the image based on the data corresponding to the image of the object having a predetermined reflectance, and the conversion control step.
  • a program for causing a computer to execute a display control step for controlling display of an image corresponding to a signal of an image converted from is recorded!
  • an image can be clearly displayed.
  • FIG. 1 is a diagram for explaining an example of conventional gradation conversion.
  • FIG. 2 is a block diagram showing a configuration example of a monitoring apparatus to which the present invention is applied.
  • FIG. 3 is a diagram showing an example of an attachment position of the imaging unit in FIG.
  • FIG. 4 is a diagram showing an example of an attachment position of the imaging unit in FIG.
  • FIG. 5 is a diagram illustrating a configuration example of an imaging unit in FIG.
  • FIG. 6 is a diagram illustrating sensitivity characteristics of the imaging unit.
  • FIG. 7 is a block diagram illustrating a configuration example of a control unit in FIG. 1.
  • FIG. 8 is a flowchart illustrating an example of display adjustment processing.
  • FIG. 9 is a diagram illustrating an example of gradation conversion according to the present invention.
  • FIG. 10 is a flowchart illustrating an example of reflectance measurement processing.
  • FIG. 11 is a diagram illustrating an example of a correspondence relationship between a luminance value, a reflectance, and a display gradation.
  • FIG. 12 is a flowchart illustrating an example of reference information storage processing.
  • FIG. 13 is a diagram showing an example of designation of a reference area.
  • FIG. 14 is a diagram showing an example of an image displayed by a conventional technique.
  • FIG. 15 is a diagram showing an example of an image displayed by the technique of the present invention.
  • FIG. 16 is a block diagram illustrating another configuration example of the imaging unit.
  • FIG. 17 is a block diagram illustrating a configuration example of a gradation assignment determining unit.
  • FIG. 18 is a block diagram showing a configuration example of a personal computer.
  • FIG. 2 is a block diagram showing an external configuration example of the embodiment of the monitoring apparatus 100 to which the present invention is applied.
  • the monitoring device 100 is a device that is mounted on, for example, an automobile and shoots the front outside the vehicle and presents a clear image to the user.
  • the monitoring device 100 includes an imaging unit 101, a control unit 102, and a display unit 103. Yes.
  • the imaging unit 101 is configured by, for example, a camera with a wide dynamic range, and captures and captures an image (which may be a moving image or a still image) based on light input from the lens 101a.
  • the processed image data is output to the control unit 102.
  • the imaging unit 101 captures a moving image
  • the captured image data is encoded on a frame basis. Output as digital data.
  • the control unit 102 can display a clear image on the display unit 103 with respect to data of the captured image that is data supplied from the imaging unit 101 and captured by the imaging unit 101. In this way, processing such as gradation conversion is performed, and a signal corresponding to the processed image data is output to the display unit 103.
  • the operation input unit 104 and the like perform setting of data necessary for processing, input of commands, and the like.
  • the operation input unit 104 may be configured by an external information device such as a personal computer.
  • the display unit 103 is configured by, for example, an LCD (Liquid Crystal Display) or the like, and displays an image corresponding to a signal supplied from the control unit 102.
  • the display unit 103 is configured by, for example, a liquid crystal display that is generally sold, and the imaging unit 101 captures an image with a wide dynamic range, whereas the display unit 103 is captured by the imaging unit 101.
  • the display has a display gradation of a smaller number of gradations (for example, 256 gradations).
  • FIG. 3 is a diagram illustrating an example of the attachment position of the imaging unit 101.
  • the imaging unit 101 is attached in the vicinity of the rear mirror of the automobile 111, and the lens 101a is an object necessary for gradation conversion processing described later, and is located in front of the automobile. It is configured such that light centering on the light ray 131 is incident so as to include the road surface 112 immediately before being positioned at, and an image corresponding to the light is photographed.
  • the imaging unit 101 may be incorporated in the room mirror itself or attached to the base note of the room mirror.
  • the mounting position of the image pickup unit 101 is preferably a position where the front can be photographed through an area where dirt on the windshield is wiped off by the wiper, and the front can be photographed through the windshield, thus hindering the driver's view. It is sufficient if there is no position. By doing so, it is possible to take an image that is almost equivalent to that seen by a user.
  • the imaging unit 101 may be attached as shown in FIG.
  • FIG. 5 is a block diagram illustrating a configuration example of the imaging unit 101. As shown in the figure, the imaging unit 101 is configured such that light output from the lens 101 a is output to the imaging control unit 121.
  • the imaging control unit 121 is, for example, a logarithmic conversion type imaging device such as HDRC (High Dynamic Range CMOS (Complementary Metal Oxide Semiconductor)), a light detection unit 141, a logarithmic conversion unit 142, an A / D conversion unit 143, and An imaging timing control unit 144 is included.
  • HDRC High Dynamic Range CMOS (Complementary Metal Oxide Semiconductor)
  • the light of the subject incident through the lens 101a forms an image on a light detection surface (not shown) of the light detection unit 141 of the imaging control unit 121.
  • the light detection unit 141 includes, for example, a plurality of light receiving elements such as photodiodes, and converts the light of the subject imaged by the lens 1 Ola into a charge corresponding to the intensity (light quantity) of the light. Accumulate the converted charge.
  • the light detection unit 141 supplies the accumulated charge to the logarithmic conversion unit 142 in synchronization with the control signal supplied from the imaging timing control unit 144. It should be noted that the photodetection unit 141 can be supplied to the logarithmic conversion unit 142 as it is without accumulating the converted charge.
  • the logarithmic conversion unit 142 is configured by, for example, a plurality of MOSFETs (Metal Oxide Semiconductor Field Effect Transistors).
  • the logarithmic conversion unit 142 uses the sub-threshold characteristic of the MOSFET to change the charge (or current) supplied from the photodetection unit 141 to a voltage proportional to the logarithm of the number of charges (or current intensity) for each pixel. Convert to analog electrical signal with value.
  • the logarithmic conversion unit 142 supplies the converted analog electrical signal to the A / D conversion unit 143.
  • the A / D conversion unit 143 converts an analog electric signal into digital image data in synchronization with the control signal supplied from the imaging timing control unit 144, and converts the converted image data into the image processing device 112. To supply. Accordingly, the pixel value of each pixel of the image data output from the imaging control unit 121 is a value proportional to the value obtained by logarithmically converting the amount of light of the subject incident on the light detection unit 141.
  • FIG. 6 is a graph showing sensitivity characteristics of the HDRC imaging control unit 121, a CCD (Charge Coupled Device) imaging device, a silver halide film, and the human eye.
  • the horizontal axis indicates the logarithm of the illuminance (unit: lux) of the incident light
  • the vertical axis indicates the sensitivity.
  • Line 151 Represents the sensitivity characteristic of the imaging control unit 121
  • the line 152 represents the sensitivity characteristic of the human eye
  • the line 153 represents the sensitivity characteristic of the silver salt film
  • the line 154 represents the sensitivity characteristic of the CCD image sensor.
  • the sensitivity characteristic of the conventional CMOS image sensor is almost similar to the sensitivity characteristic of the CCD image sensor indicated by line 154.
  • the imaging control unit 121 outputs image data having a pixel value substantially proportional to the logarithm of the amount of light of the incident subject, thereby forming the photo constituting the imaging control unit 121.
  • saturating capacitances such as diodes and MOSFETs, CCD image sensors, silver salt films, and about 170 dB of dynamics from about 1 millilux to about 500 k / letter, higher than the brightness of sunlight, wider than the human eye Have a range.
  • the logarithmic conversion unit 142 outputs data composed of luminance values (or pixel values) that are substantially proportional to the logarithm of the incident light quantity, so that even when the incident light quantity increases, Capacitance of elements such as photodiodes and MOSFETs constituting the imaging control unit 121 may be saturated, or the current flowing through each element and the applied voltage may exceed the range that can output according to the input of each element. Absent. Accordingly, it is possible to obtain a luminance value (or pixel value) according to the fluctuation of the amount of incident light almost accurately within the range of luminance that can be imaged.
  • the dynamic range of the logarithmic conversion type image sensor 142 is not limited to the above-mentioned 170 dB, but depending on the purpose of use, a dynamic range corresponding to the required dynamic range such as about lOOdB or 200 dB may be used. !
  • the imaging device 101 using the imaging control unit 121 can brighten the subject to the maximum pixel value that can be output by the imaging device without adjusting the amount of incident light by adjusting the aperture or shutter speed.
  • the pixel value corresponding to the portion is clipped, or the pixel value force S corresponding to the dark portion of the subject is clipped to the minimum pixel value that can be output by the image sensor.
  • the imaging apparatus 101 can faithfully capture the detailed change in luminance of the subject without the bright portion of the subject flying white or the dark portion being painted black.
  • imaging apparatus 101 using the imaging control unit 121 captures the front of the vehicle from the inside of the vehicle during the daytime, even if the sun is within the angle of view, without adjusting the amount of incident light, Images that faithfully reproduce the conditions of the sun and the road ahead can be taken.
  • imaging device 1 01 is for shooting the front of the vehicle from the inside of the vehicle at night, even if the headlight of the oncoming vehicle is illuminated from the front, without adjusting the amount of incident light, It is possible to shoot images that are faithfully reproduced up to the dark part of the light illuminated by the light.
  • the output value (luminance value) of each pixel is, for example, 14-bit data. Since it is possible to output as, lever converts a luminance value of the pixel as it is to the tone, broad 2 14, the data corresponding to the image having the gradation width.
  • the imaging apparatus 101 using the imaging control unit 121 does not need to adjust the amount of incident light, for example, during imaging of two frames in the image data output from the imaging apparatus 101.
  • the pixel values corresponding to the areas where the luminance varies fluctuate, and most of the pixel values corresponding to the areas where the luminance does not vary Does not fluctuate. Therefore, the pixel value (hereinafter also referred to as the difference value) of each pixel of the data (hereinafter referred to as difference data) obtained by taking the difference of the image data between the frames reflects the change in luminance of the subject almost faithfully. Value.
  • an imaging apparatus using a CCD imaging device whose dynamic range is narrower than the human eye needs to adjust the amount of incident light in accordance with the brightness of the subject.
  • the pixel value corresponding to the region where the luminance does not fluctuate may also fluctuate. Therefore, the difference value of each pixel of the difference data may not be a value that faithfully reflects the change in luminance of the subject.
  • the pixel value of the image data output from the imaging device 101 is a value that is substantially proportional to the logarithm of the amount of light of the subject, regardless of the brightness (illuminance) of the illumination irradiated to the subject,
  • the histogram showing the distribution of pixel values in the image data obtained by photographing the subject has almost the same shape as the histogram showing the reflectance distribution of the subject.
  • the difference in the histogram width indicating the distribution of the pixel values of the first image data and the second image data is about 100 times.
  • the pixel values of the image data obtained by imaging the subject fluctuate substantially uniformly.
  • the illuminance of the light illuminating the subject changes almost uniformly, and the subject's brightness changes almost uniformly by + 5%.
  • the fluctuation values of the pixel values corresponding to the two regions are almost the same value (loglOl.05).
  • the difference between the fluctuation values of the pixel values corresponding to the two areas described above is about 100 times.
  • the sensitivity of the CCD image sensor and the silver salt film is not proportional to the illuminance of the incident light due to factors such as the gamma characteristic. . Therefore, the histogram showing the distribution of pixel values of image data using a CCD image sensor or silver halide film is dependent on the amount of light (intensity of illuminance) even if the distribution of the amount of incident light (illuminance) is uniform. , Its shape changes.
  • the configuration imaging unit 101 configured using the HDRC imaging control unit 121 as described above can capture an image with a wide dynamic range, unlike the case of a CCD imaging device. There is no loss of image data due to excessive or insufficient illuminance even in images taken in backlight or at night.For example, it can be installed in a car and used for a navigation system, or for security monitoring systems such as crime prevention. It can be used in a wide range of fields.
  • FIG. 7 is a block diagram illustrating a configuration example of the control unit 102.
  • a reference area extraction unit 171 extracts pixels of an image corresponding to the reference area from the captured image data supplied from the imaging unit 101.
  • the reference area is an area corresponding to an image of an object having a known reflectance included in the photographed image, and when the monitoring device 100 is mounted on an automobile, for example, the road surface 112 immediately before the automobile is 112.
  • the area corresponding to the image is the reference area.
  • Information relating to the position of the reference area in the captured image is registered information set in advance, and is supplied from the registration information supply unit 174 to the reference area extraction unit.
  • the reference area extraction unit 171 includes information on the luminance values of the pixels included in the reference area (for example, , The average value of luminance values) is calculated and output to the cutout processing unit 172.
  • the cutout processing unit 172 displays the luminance value of the pixel included in the captured image on the display unit 103.
  • the luminance value (luminance width) corresponding to the pixel of the displayed image is cut out.
  • the clipping processing unit 172 assigns the average value of the luminance values of the pixels in the reference region to a predetermined gradation (for example, the nth gradation) among the gradations that can be displayed by the display unit 103.
  • the upper limit value and the lower limit value of the luminance value of the pixel corresponding to the gradation that can be displayed by the display unit 103 are extracted from the captured image and output to the gradation conversion unit 173.
  • information representing the power to assign the average value of the luminance values of the pixels in the reference region to which gradation is set as preset registration information or the like is supplied from the registration information supply unit 174 to the cut-out processing unit 172.
  • the tone conversion unit 173 performs tone conversion of the captured image based on the upper limit value and the lower limit value of the luminance values of the pixels supplied from the clipping processing unit 172, and outputs the tone-converted image signal. Output to display section 103.
  • gradation conversion may be performed by a process such as dithering or error dispersion, or may be converted by another method.
  • the registration information supply unit 174 stores in advance registration information such as information on the position of the reference region and information indicating the gradation to which the average value of the luminance values of the pixels in the reference region is assigned. To the reference area extraction unit 171 or the cut-out processing unit 172.
  • each unit configuring control unit 102 may be configured by hardware such as a semiconductor integrated circuit in which a logical operation unit and a storage unit for realizing the functions described above are incorporated.
  • the control unit 102 may be configured by a computer, for example, and each unit described above may be configured as a function block realized by software processed by the computer.
  • step S101 the control unit 102 acquires captured image data supplied from the imaging unit 101.
  • step S102 the reference region extraction unit 171 obtains the processing in step S101. Image data corresponding to the reference area in the image corresponding to the extracted data is extracted.
  • step S103 the reference area extraction unit 171 calculates the average value of the luminance values of the pixels in the reference area based on the data extracted in the process of step S102.
  • step S104 the clipping processing unit 172 detects the luminance value of the pixels of the entire captured image.
  • step S 105 the cut-out processing unit 172 converts the average value calculated by the process in step S 103 to a predetermined gradation (for example, the nth gradation) among the displayable gradations. assign. Then, the upper limit value and the lower limit value of the luminance value of the pixel corresponding to the displayable gradation are cut out as the luminance width.
  • a predetermined gradation for example, the nth gradation
  • step S106 the gradation conversion unit 173 converts the gradation of the captured image data acquired in step S101 based on the luminance width cut out in step S105.
  • step S107 the gradation conversion unit 173 outputs a signal corresponding to the image data whose gradation has been converted in the process of step S106 to the display unit 103.
  • the photographed image 201 in the figure is, for example, an image photographed in front of a car running on the road.
  • the image 201 is acquired.
  • an area 201a displayed in the lower center of the image is an area corresponding to the image of the road surface 112 immediately before the automobile, and is the reference area described above.
  • the reference area 201a is shown as a rectangular area, but the shape of the reference area 201a may be any shape. Further, when the monitoring device 100 is mounted on an automobile, for example, the position of the reference area 201a may be moved left and right in the image 201 in accordance with the steering angle of the steering.
  • the road surface 112 is usually made of asphalt or the like, for example, the road surface 112 is an object to be displayed in gray with a predetermined brightness. That is, the road surface 112 is an object having a known reflectance (or color to be displayed) included in the captured image and is always included in an image captured by the imaging device 101 of the traveling automobile.
  • An area 201a corresponding to the road surface 112 in the image is set as a reference area. Note that images taken by the imaging unit 101 are not It is assumed that information for analyzing and specifying the position of the region 201a in the image 201 is stored in the registration information supply unit 174 in advance.
  • the reference area 201a is extracted by the reference area extraction unit 171.
  • the same processing is performed using an image of the object as a reference region image so that the object such as a part of the body whose color is known is always captured in the captured image. You may do it.
  • step S103 the average value bn of the luminance values of the pixels included in the reference area 201a is calculated.
  • the reference area 201a includes, for example, a bright road surface display or a road surface paint such as a white line
  • the average luminance power of the pixels in the reference area 201a There is a different fear. Therefore, for example, among the blocks of pixels in the reference area 201a, the block having the highest luminance and the block having the lowest luminance are specified in advance, and the reference area 201 is excluded except for the pixels of those blocks. Alternatively, the average luminance may be obtained.
  • the region extraction unit 171 is provided with a shape recognition function, and based on the shape of the road surface 112 recognized by the shape recognition function, a portion corresponding to road surface paint or the like is specified, and a pixel of a portion corresponding to road surface paint or the like is specified. Except for, calculate the average luminance of the pixels in the reference area 20 la.
  • a part corresponding to road surface paint or the like may be specified by performing predetermined image processing. For example, the change in the luminance value of the pixel in the reference area 201a is prayed, and the edge of the object included in the image is compared by comparing the differential value at a predetermined position of the characteristic indicating the change in the luminance value with a threshold value.
  • objects placed on the road surface for example, fallen leaves and dust
  • the pixels in the portion corresponding to the detected road surface paint and object are detected. May be removed.
  • the display unit 103 can display, for example, gray of a predetermined brightness of the road surface 112 on the registration information supply unit 174.
  • the gradation width W for example, the gradation width from the 0th to the 255th
  • the cutout processing unit 172 is included in the reference area 201a.
  • the color of the wet road surface is different from that of the dry road surface, it may be made to correspond to a gradation different from the color of the dry road surface (general road surface color).
  • the setting value of the gradation corresponding to the color (or reflectance) of the road surface in the registration information supply unit 174 is the setting value of rainy weather. It may be configured to be changed to.
  • a block having a high luminance and a block having a low luminance in the photographed image are detected.
  • the average value of the luminance of the pixels in the block with high luminance and the average value of the luminance of the pixels in the block with high luminance are set as the upper limit value or lower limit value of the luminance value, respectively, and the luminance width may be extracted. It is pretty.
  • the gradation conversion unit 173 performs a process of converting the gradation of the image 201 based on the upper limit value bp and the lower limit value bq of the luminance value (step S106).
  • the captured image data supplied from the imaging unit 101 is, for example, data corresponding to the image 201 having a wide number of gradations of 214, and in the image 201, the luminance value is greater than the value bp. Pixels or pixels with luminance values less than the value bq may be included. However, due to gradation conversion, pixels with a luminance value greater than the value bp are displayed in the same gradation as pixels with a luminance value of bp, and pixels with a luminance value less than the value bq Is displayed with the same gradation as the pixel whose value is bq.
  • the captured image captured by the imaging unit 101 is clearly displayed on the display unit 103 having a smaller gradation width (for example, 256 gradations) than the captured image captured by the imaging unit 101. It is possible to display.
  • an image captured by the imaging unit 101 is displayed on the display unit 103. Since the brightness range corresponding to the displayable gradation width is cut out, it is not necessary to display all the brightness values of the pixels of the wide dynamic range. Even if there is a bright ⁇ (or ⁇ ⁇ ) object in the The entire image is prevented from being darkened (or brightened), and a clear image can be displayed. Also, since the correspondence between the luminance value of the pixel and the gradation is determined based on the reflectance (color) of the road surface 112 of the reference area 201a, which is a known object, an image is always displayed in a natural color. be able to.
  • step S151 illumination means (not shown) connected to the control unit 102 and controlled is irradiated with light.
  • a headlight having a known brightness (illuminance) is irradiated on the immediately preceding road surface 112.
  • the process of step S 151 may be performed based on an operation input by the user, or may be automatically performed in accordance with the execution of the reflectance measurement process.
  • step S152 the imaging unit 101 captures an image of the object illuminated in the process of step S151 and outputs the image to the control unit 102.
  • step S153 the reference area extraction unit 171 extracts reference area data in the captured image.
  • step S154 the reference area extraction unit 171 calculates the average value of the luminance of the pixels in the reference area and outputs the average value to the registration information supply unit 174. For example, if the road surface 112 illuminated by a headlight with a known brightness is detected in a wide dynamic range shot image! And what output level is detected (captured), the reflectance of the road surface 112 Can be requested.
  • step S155 the registration information supply unit 174 calculates the reflectance of the reference area, and in step S156, determines the display gradation of the reference area.
  • the registration information supply unit 174 stores a table as shown in FIG.
  • the luminance value (pixel) of the captured image, the reflectance, and the display gradation are stored in association with each other.
  • the display gradation is a gradation width that can be displayed by the display unit 103. It represents a predetermined gradation.
  • the registration information supply unit 174 specifies the reflectance and display gradation of the reference region based on this table, and stores it as information indicating to which gradation the average value of the luminance values of the pixels in the reference region is assigned.
  • step S151 may be omitted and the subject may be photographed with natural light.
  • an object with the same reflectance is not necessarily taken as a pixel with the same luminance value, and the distance between the headlight and the road surface immediately before the car does not vary greatly. The reflectance can be measured more accurately when illuminated with a headlight.
  • the output level of the pixel in the photographed image differs depending on the brightness (illuminance) of a headlight or the like. It is possible to store multiple tables corresponding to multiple illuminances.
  • the power at which the output level is detected (captured) in the captured image and the reflectance of the road surface 112 is obtained.
  • the mounting position of the imaging unit 101 Depending on the shape of the car, etc., the distance between the lens 101a of the image pickup unit 101 and the road surface 112 may be different, and even with the same reflectance object, the output level in the captured image may differ (an error occurs). is there.
  • a laser radar may be provided in the vicinity of the lens 101a to obtain the reflectance of the road surface 112 more accurately.
  • the laser radar emits laser light toward a target, receives the intensity of the reflected light with a light-receiving unit such as a photodiode, and reflects the reflected force of the laser light based on a preset threshold value.
  • the distance to the object is obtained using the time until the reflection is detected. Therefore, by using laser radar, it is possible to simultaneously measure the amount of reflection of light in a narrow area irradiated with the laser and the distance to that area, so that the reflectance can be accurately measured using the brightness and distance captured by reflection. Can be sought.
  • the distance may be measured by another distance measuring means such as a stereo camera.
  • the monitoring device 100 when used for building monitoring or the like, when the object in the reference area is an object (target) whose distance is previously divided, such as an adjacent building, for example, via the operation input unit 104 or the like.
  • the distance to the object in the reference area can be set. [0113] In this way, the reflectance is measured and the display gradation is specified.
  • the monitoring device 100 is mounted on an automobile or the like has been described so far.
  • the monitoring device 100 may be installed near a predetermined building, for example, to monitor the entrance of the building. Good. In such a case, it is necessary to newly set a reference area and store it in the monitoring apparatus 100.
  • This process is executed, for example, when the user operates the operation input unit 104 to instruct execution of the reference area storage process.
  • step S181 the control unit 102 causes the display unit 103 to display an image captured by the imaging unit 101.
  • the display unit 103 displays a pixel having a luminance value between the maximum value and the minimum value of the luminance value of the pixel of the captured image in which the processing described above with reference to FIG. It is converted and displayed so that it can be assigned to possible gradations (for example, 256 gradations).
  • step S182 the control unit 102 accepts designation of a reference area in the captured image based on an operation input from the operation input unit 104.
  • the user designates the reference area while viewing the image displayed on the display unit 103.
  • a rectangular (which may be any shape) reference area 303 is specified in the image of the door 302 of the building 301.
  • the coordinate value of the designated reference area is stored in the registration information supply unit 174 as registration information that is information related to the position of the reference area in the captured image.
  • control unit 102 accepts display level adjustment based on the operation input from operation input unit 104.
  • the display level is a level for adjusting the color of the image displayed on the display unit 103, etc., and an arbitrary display level is selected by the user's operation, and the reference level of the reference area specified in step S182 is selected.
  • the color tone (or density) of the image is changed and displayed based on the display level selected by the user. Indicated.
  • step S184 the control unit 102 assigns the display gradation of the reference region based on the display level adjusted (selected) in step S183. For example, the control unit 102 detects in which gradation (the number of gradation) the reference area is currently displayed by the process of step S183, and calculates the average value of the luminance values of the pixels in the reference area. Assign to that gradation. As a result, registration information that is information indicating the power to assign the average value of the luminance values of the pixels in the reference region to which gradation is generated and stored in the registration information supply unit 174.
  • the reference area storage process is performed.
  • the density or color to be displayed in the reference area is determined (step S183). If the reference area is displayed so as to have that density or color, the luminance of the pixels in the area other than the reference area varies greatly. However, it is always possible to provide an image that is easy to see for the user. That is, by executing the processing described above with reference to FIG. 8 based on the registration information stored in the registration information supply unit 174 by this processing, the captured image captured by the imaging unit 101 is The captured image captured by the imaging unit 101 can be clearly displayed on the display unit 103 having a smaller gradation width (for example, 256 gradations).
  • FIG. 14 shows the luminance between the maximum value and the minimum value of the luminance value of the pixel of the captured image with a wide dynamic range shot by the image pickup unit using HDRC, as in the conventional gradation conversion.
  • FIG. 5 is a diagram illustrating an example of an image displayed on a display unit having a display gradation having a smaller number of gradations than that of a photographed image after being converted so that value pixels are assigned to gradations that can be displayed by the display unit.
  • oncoming cars and roadside zone trees are unclearly displayed in the image, and an unnatural impression is given to those who see the color of the entire image being faint.
  • FIG. 15 shows a wide dynamic range photographed by the imaging unit using the same HDRC as in FIG. 14 by gradation conversion of the present invention (for example, the processing described above with reference to FIG. 8).
  • FIG. 6 is a diagram showing an example of an image displayed on a display unit having a gradation width smaller than that of a photographed image.
  • the oncoming car for example, the trees on the roadside zone is clearly displayed in the image, and there is a natural impression on the viewer regarding the color of the entire image. Given.
  • the reference density (or Showed the method of improving the display of the intermediate area. Since HDRC images may include high-intensity areas or low-intensity areas that are significantly different from the intermediate area, perform image processing using methods other than those described above, and implement measures to improve image quality. In this case as well, by using the present invention, the display of the reference area can be stably displayed with the density, brightness, or color expected by the user.
  • 14-bit AZD-converted wide dynamic range images contain a very wide luminance band, so image processing when detecting predetermined objects included in the image, etc., and compositing images as necessary It is difficult to perform image processing such as when performing image processing in the same manner as conventional image processing. For example, when a Laplacian transformation that performs differentiation processing is performed on a wide dynamic range image as in the case of a normal dynamic range image, only a noise-like result can be obtained, or it can be a threshold value for binary key processing. Since there are too many luminance candidates, the amount of processing increases explosively.
  • wide dynamic range images have the same purpose as conventional image processing because they are different in nature from images used in conventional image processing.
  • the processing process will require significant modifications. For this reason, when various types of image processing are performed using the image data output from the image pickup unit 101, the image data output from the image pickup unit 101 is output as normal dynamic range image data. This is advantageous in terms of controlling costs.
  • a predetermined luminance range is uniformly AZD-converted by a 12-bit AZD converter
  • 4096-gradation image data is obtained.
  • the luminance range that can be photographed is very narrow compared to the logarithmic conversion type image sensor used in the present invention
  • gradation other than the luminance range that can be imaged cannot be obtained.
  • the luminance range is expressed in 4096 gradations, it is possible to obtain an image with no sense of incongruity when observed with the human eye.
  • the logarithmic conversion type image sensor used in the present invention can capture a luminance range from darkness at night to direct sunlight, even if such a wide luminance range is expressed by 4096 tones, The image becomes unnatural and uncomfortable.
  • the configuration of the imaging unit 101 shown in FIG. 5 may be configured as shown in FIG. 16, for example.
  • FIG. 16 is a block diagram illustrating another configuration example of the imaging unit 101.
  • the same parts as those in FIG. 5 are denoted by the same reference numerals, and detailed description thereof will be omitted. That is, in the case of FIG. 16, an imaging control unit 401 is provided instead of the imaging control unit 121, a gradation assignment determining unit 411 is newly provided in the imaging control unit 401, and the AZ D conversion unit 143 is provided. Instead, it has basically the same configuration as that of FIG. 5 except that the AZD conversion unit 412 is provided.
  • the light detection unit 141 converts the light of the subject imaged by the lens 101 into a charge corresponding to the brightness (illuminance) of the incident light, and accumulates the converted charge.
  • the light detection unit 141 supplies the accumulated charge to the logarithmic conversion unit 142 in synchronization with the control signal supplied from the imaging timing control unit 144. It is also possible to supply the logarithmic conversion unit 142 as it is without accumulating the converted charge in the light detection unit 141.
  • the logarithmic conversion unit 142 generates an analog electric signal obtained by converting the charge supplied from the light detection unit 141 into a voltage value approximately proportional to the logarithm of the number of charges (or current intensity) for each pixel.
  • the logarithmic conversion unit 142 supplies the generated analog electrical signal to the AZD conversion unit 412 and also supplies it to the gradation assignment determining unit 411.
  • the gradation assignment determination unit 411 analyzes the analog electrical signal supplied from the logarithmic conversion unit 112 and determines gradation assignment for AZD conversion executed by the AZD conversion unit 412.
  • the gradation assignment determining unit 411 detects the main luminance range (luminance region) in the luminance distribution of the input image, and makes it possible to sufficiently recognize the image in the luminance range. Assigns the number of gradation steps for / D conversion.
  • the brightness range can be set to one. It may be more than one. Also, it is possible to give no gradation step to the area between multiple areas, or to obtain a coarser gradation than the predetermined luminance area.
  • the brightness range to be set may be selected and set automatically from the captured image, or it may be set by user operation input.
  • FIG. 17 is a block diagram illustrating a configuration example of the gradation assignment determining unit 411 in FIG.
  • the average luminance calculation unit 451 obtains the analog image signal supplied from the logarithmic conversion unit 142, calculates the average luminance, and calculates the average luminance calculation result as the main region luminance range setting unit.
  • the main area luminance range setting unit 452 sets the luminance range of the main area based on the average luminance of the image signal supplied from the average luminance calculation unit 451, and converts the set luminance range of the main area to the gradation. This is supplied to the allocation calculation unit 455.
  • the main area luminance range setting unit 452 uses, for example, a predetermined luminance range centered on the average luminance of pixels of a preset portion in the image corresponding to the signal supplied from the logarithmic conversion unit 142 as the main area. As the luminance range.
  • the main region luminance range setting unit 452 starts from the pixel having the average luminance in the entire image corresponding to the signal supplied from the logarithmic conversion unit 142, and having a luminance value close to this luminance. A certain number of pixels may be selected as the luminance range of the main area.
  • the gradation allocation calculation unit 455 acquires the image signal supplied from the logarithmic conversion unit 112, and based on the information on the luminance range of the main region supplied from the main region luminance range setting unit 452, AZD In the AZD conversion by the conversion unit 412, it is determined how many gradation steps are assigned to which luminance range.
  • the gradation allocation calculating unit 455 determines gradation allocation so that a larger number of gradation steps are allocated to the luminance range set as the main area, and the luminance allocation calculation unit 455 determines the gradation allocation based on the luminance range of the main area.
  • the output level of pixels with low luminance input level is 0 (that is, black), and pixels with higher luminance than the luminance range of the main area are set to the maximum value of the whole gradation regardless of the input level. Assign the number of gradation steps.
  • the limited number of gradation steps possessed by the AZD conversion unit 412 is effectively distributed, and even if the captured image has a wide dynamic range, the luminance range corresponding to the main region is set. It is possible to obtain an image having a (natural) number of gradations so that the surrounding portion can be more easily recognized by the user.
  • the AZD conversion unit 412 in FIG. 16 performs AZD conversion of an analog electrical signal into digital image data in synchronization with the control signal supplied from the imaging timing control unit 144. At this time, the AZD conversion unit 412 performs AZD conversion according to the gradation assignment determined by the gradation assignment determination unit 411. The AZD conversion unit 412 outputs the converted digital image data.
  • the imaging unit 101 By configuring the imaging unit 101 as shown in Fig. 16, the imaging unit 101 causes the level assigned by the gradation assignment determining unit 411 to be proportional to the logarithm of the brightness of the subject (incident light amount). It is possible to output digital image data that has been AZD converted based on the key.
  • an analog signal corresponding to a wide dynamic range image captured is converted into digital data corresponding to a normal dynamic range image. Can be output.
  • a CPU (Central Processing Unit) 501 has various types according to a program stored in a ROM (Read Only Memory) 502 or a program loaded from a storage unit 508 to a RAM (Random Access Memory) 503. Execute the process.
  • the RAM 503 also appropriately stores data necessary for the CPU 501 to execute various processes.
  • the CPU 501, ROM 502, and RAM 503 are connected to each other via a bus 504.
  • An input / output interface 505 is also connected to the bus 504.
  • the input / output interface 505 includes an input unit 506 including a keyboard and a mouse, a CRT ( Cathode Ray Tube), LCD (Liquid Crystal display) display, etc., output unit 507 composed of speaker power, storage unit 508 composed of hard disk, etc., network interface card such as modem, LAN card, etc.
  • the communication unit 509 to be connected is connected.
  • a communication unit 509 performs communication processing via a network including the Internet.
  • the drive 510 is also connected to the input / output interface 505 as necessary, and a removable medium 511 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory is appropriately mounted, and these forces are also read out.
  • the computer program is installed in the storage unit 508 as necessary.
  • a program constituting the software is installed from a network such as the Internet or a powerful recording medium such as the removable medium 511.
  • this recording medium is distributed to distribute the program to the user separately from the apparatus main body shown in FIG. 18, and a magnetic disk (floppy disk (registered trademark) on which the program is recorded is distributed. )), Optical disks (including CD-ROM (Compact Disk-Read Only Memory), DVDs (including Digital Versatile Disk)), magneto-optical disks (including MD (Mini-Disk) (registered trademark)), or semiconductor memory It is composed of a ROM502 that stores programs and a hard disk included in the storage unit 508 that is distributed to the user in a state of being pre-installed in the main body of the device. Including life.
  • step of executing the series of processes described above is not necessarily performed in time series in addition to processes performed in time series in accordance with the described order. Also includes processing executed in parallel or individually.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Description

明 細 書
画像処理装置および方法、プログラム、並びに記録媒体
技術分野
[0001] 本発明は、画像処理装置および方法、プログラム、並びに記録媒体に関し、特に、 ダイナミックレンジが広 ヽ撮像素子で撮影された画像を鮮明に表示することができる ようにする画像処理装置および方法、プログラム、並びに記録媒体に関する。
背景技術
[0002] 近年、明る ヽ空をバックにした屋外、西日などの逆光の場面、または夜間でも鮮明 が画像を撮影することができる広 、ダイナミックレンジを持つ撮像素子 (HDRC (High Dynamic Range CMOS (Complementary Metal Oxide semiconductor) ) )の禾 lj用力普 及してきている。 HDRCは、広いダイナミックレンジをもつので、照度の過剰または不 足による画像データの欠落が無ぐ画像センサとしても使用することができ、広い用途 が期待されている (例えば、特許文献 1参照。 ) o
[0003] HDRCでは、ダイナミックレンジが広 、画像を撮影することが可能となるので、撮影さ れた画像 (撮影画像)の階調数を、最大で 214階調 (214段階の階調幅)として表示さ せることも可能である力 通常のディスプレイなどの表示装置の表示階調は、例えば 256階調などが一般的である。このため、 HDRCの撮影画像を表示する場合、通常、 撮影画像の階調数より少な ヽ階調数で表示されるので、撮影画像を通常のディスプ レイなどにそのまま表示させることができない。そこで、 HDRCの撮影画像を、通常の 表示装置で表示させるために、撮影画像の階調変換が行われる。
[0004] 図 1は、従来の階調変換の例を説明する図である。この例では、 HDRCを用いた力 メラなどにより撮影された撮影画像として、晴天のときに撮影された画像である画像 1 、曇りのときに撮影された画像である画像 2、夜間に撮影された画像である画像 3の 階調が変換され、表示装置に表示画像として表示されるものとする。
[0005] また、同図は、画像 1に含まれる画素の輝度値の最大値が値 bllであり、画素の輝 度値の最小値が値 bl2であり、画像 2に含まれる画素の輝度値の最大値が値 b21であ り、画素の輝度値の最小値が値 b22であり、また、画像 3に含まれる画素の輝度値の 最大値が値 b31であり、画素の輝度値の最小値が値 b32であることを表している。
[0006] 表示装置が表示可能な階調幅 Wが、例えば 256階調である場合、撮影画像を表 示するとき、画像 1乃至 3に含まれる画素の輝度値の最大値と最小値に基づいて階 調の変換が行われる。例えば、画像 1においては、輝度値の最大値 bllと、輝度値の 最小値 bl2との間の輝度値が 256の階調に割り当てられるように変換されて表示装置 に表示される。一方画像 2を表示する場合、輝度値の最大値 b21と、輝度値の最小値 b22との間の輝度値が 256の階調に割り当てられるように変換される。
[0007] このようにして階調変換が行われることにより、広いダイナミックレンジをもつ HDRC のカメラなどにより撮影された撮影画像を一般の表示装置で表示することができる。 特許文献 1：特表平 7— 506932公報
発明の開示
発明が解決しょうとする課題
[0008] しかしながら、従来の階調変換により表示される表示画像は必ずしも鮮明に表示さ れるとは限らな 、。 HDRCなどのダイナミックレンジが広 、カメラで撮影した画像は表 示装置のダイナミックレンジと比較して非常に広 、ので、そのまま階調を圧縮して表 示すると、全体にコントラストがない淡い画像となり、人の目で表示された内容を認識 することが困難となってしまう。このような問題を解決するために、例えば輝度の最大 値と最小値を求めて、最大値が表示装置の最大輝度となり最小値が表示装置の最 小輝度となるように階調を圧縮する方法などがある。
[0009] また、別の問題として、対象が非常に広い輝度幅で大きく変動するような場合には、 どの輝度領域を人が見て 、るのかが表示装置にはわ力もな 、と 、うことがある。例え ば、輝度の最大値と最小値に応じて表示を行う上述の方法では、明るい空が写り込 んだような場合などに、人が見ている輝度領域と異なる明るい輝度領域が主要な階 調を持って表示される。夜間に暗い背景が大きく写り込んだ場合にも、人が見ている 輝度領域と異なる暗い輝度領域が主要な階調を持って表示される同様の問題が発 生する。 HDRCカメラで撮像した画像データには人が関心を持たな 、程度に高！、値 (または低 、値)の輝度の情報も含まれて 、るので、人がどの輝度領域に注目して!/ヽ るの力 （関心を持って 、るの力 がわからな!、と適正な濃度や色で表示することができ ない。
[0010] 例えば、画像 1と画像 3のように、輝度値の最大値と最小値の幅が大きく異なること もあるので、撮影画像の輝度値の変化に応じて表示画像の濃淡の階調も伸長された り縮小されたりして変動し、表示される画像が非常に不自然に見えることがある。
[0011] また、画像 3においては、輝度値の最大値 b31と、輝度値の最小値 b32との間の輝 度値が 256の階調に割り当てられるように変換されて表示装置に表示されることにな る力 夜間に撮影された画像 3は、画像のほとんど部分が暗い (輝度値の小さい)画 素で構成されている可能性が高ぐ最大値 b31付近の値をもつ画素は、例えば、フラ ッシュ光やヘッドライトなど、画像の他の部分と比較して極端に明るい物体力も発せら れた光である可能性が高 、。
[0012] このため、輝度値の最小値 b32との間の全ての輝度値が 256の階調に割り当てられ るように変換した場合、画素の輝度値の中心が本来鮮明に表示されるべき画素 (画 像の中の大半の画素）の輝度値よりも高い値となり、画像 3に対応する表示画像は、 全体に薄暗いものになってしまう。
[0013] さらに、撮影画像が動画像である場合、天候や照明の変化に応じて、都度、表示画 像の画面全体の表示輝度が変動し、ユーザにとって見辛い画像になってしまう。例え ば、ビルの間から急に太陽光が画面に入ってきた場合や、夜間にヘッドライトを点灯 した対向車がカーブの陰力 急に出てきた場合に、それまで見やすい状態で表示さ れていた画像力 急に暗くなり見辛くなる。逆に、例えばトンネルなどの暗い領域が接 近してくる場合に、それまで見やすい状態で表示されていた画像が、急に明るくなり 見辛くなる。
[0014] 本発明はこのような状況に鑑みてなされたものであり、ダイナミックレンジが広い撮 像素子で撮影された画像を鮮明に表示することができるようにするものである。
課題を解決するための手段
[0015] 本発明を適用した画像処理装置は、画像を撮影し、撮影された画像のデータを出 力する撮影手段と、撮影手段から出力されるデータに対応する画像に含まれる予め 設定された領域の画像であって、所定の反射率の物体の画像に対応するデータに 基づいて、画像の階調を変換する変換手段と、変換手段により階調が変換された画 像の信号に対応する画像を表示する表示手段とを備えることを特徴とする。
[0016] 本発明の画像処理装置にお!/、ては、画像が撮影され、撮影された画像のデータが 出力され、出力されるデータに対応する画像に含まれる予め設定された領域に対応 する画像であって、所定の反射率の物体の画像に対応するデータに基づいて、画像 の階調が変換され、階調が変換された画像の信号に対応する画像が表示される。
[0017] したがって、表示手段が表示可能な階調にかかわらず、撮影された画像を、鮮明に 表示させることができる。
[0018] 前記撮影手段は、撮影した光に対応して生成される電荷を、画素ごとに電荷の数 の対数に比例した電圧値を持つアナログの電気信号に変換し、アナログの電気信号 をデジタルデータに変換して画像のデータを出力するようにすることができる。
[0019] 撮影手段は、例えば、 HDRCカメラにより構成される。
[0020] したがって、ダイナミックレンジの広い画像を撮影することができる。
[0021] 前記撮影手段は、撮影した光に対応して生成される電流を、画素ごとに電流の大き さの対数に比例した電圧値を持つアナログの電気信号に変換し、アナログの電気信 号をデジタルデータに変換して画像のデータを出力するようにすることができる。
[0022] 前記表示手段が表示可能な画像の階調幅は、撮影手段により撮影された画像の 階調幅よりも小さ 、ようにすることができる。
[0023] 前記画像の中の前記領域の位置に関する情報の入力を受け付ける受付手段をさ らに備えるようにすることができる。
[0024] 前記変換手段は、画像に含まれる予め設定された領域に対応するデータを抽出す る抽出手段と、抽出手段により抽出されたデータに基づいて、画像において、表示可 能な階調幅に対応する輝度幅を特定する特定手段と、特定手段により特定された輝 度幅に基づいて、画像の階調を、表示手段が表示可能な階調幅に変換し、変換され た画像に対応するデータの信号を出力する出力手段とを備えるようにすることができ る。
[0025] したがって、画像の一部に極端に明るい（または暗い）物体があった場合でも、画像 全体が暗くなつたり（または明るくなつたり）することなぐ鮮明な画像を表示することが できる。 [0026] 前記抽出手段は、領域に対応するデータに基づいて、領域の画素の輝度値の平 均値を算出し、特定手段は、抽出手段により算出された領域の画素の輝度値の平均 値を、表示手段が表示可能な階調幅の中の予め設定された階調に割り当てて、割り 当てられた階調に基づいて、画像において表示可能な階調幅に対応する輝度の上 限値と下限値を特定することにより輝度幅を特定するようにすることができる。
[0027] したがって、画素の輝度値と階調の対応関係が適正に設定され、つねに、自然な 色合 、で画像を表示することができる。
[0028] 前記変換手段は、画像の中の領域の位置に関する情報、および表示手段が表示 可能な階調幅の中で、領域の画素の輝度値の平均値に対応する階調に関する情報 を記憶する記憶手段をさらに備えるようにすることができる。
[0029] 前記変換手段は、領域の画像の表示に関するユーザの選択に基づいて、表示手 段が表示可能な階調幅の中で、領域の画素の輝度値に対応する階調を決定するよ うにすることができる。
[0030] したがって、反射率が既知でなくても、撮影される画像の中に常に含まれる物体に 基づいて、画像の階調を変換し、ユーザの好みにあった色合いの画像を表示するこ とがでさる。
[0031] 前記変換手段は、領域の画像の物体の反射率に基づいて、表示手段が表示可能 な階調幅の中で、領域の画素の輝度値に対応する階調を決定するようにすることが できる。
[0032] したがって、撮影される画像の中で反射率が既知である物体が常に含まれる領域 に基づいて、画像の階調を変換することができる。
[0033] 前記領域の画像の物体までの距離を測定する距離測定手段をさらに備え、距離測 定手段により測定された領域の画像の物体までの距離と、領域の画素の輝度値とに 基づ 、て物体の反射率を算出するようにすることができる。
[0034] したがって、撮影される画像の中で常に含まれる領域の物体の反射率を正確に測 定することができる。
[0035] 前記領域の画像の物体にレーザ光を発射し、反射した光を受光する受光部により 検出された光の強度と、受光部により反射した光が検出されるまでの時間に基づい て算出される物体までの距離とに基づいて、物体の反射率を測定する測定手段をさ らに備えるようにすることができる。
[0036] したがって、撮影される画像の中で常に含まれる領域の物体の反射率を正確かつ 迅速に測定することができる。
[0037] 前記撮影手段は、撮影した光に対応して生成される電荷、または電流を、画素ごと に電荷の数、電流の大きさの対数に比例した電圧値を持つアナログの電気信号に変 換してアナログの電気信号に対して変換手段による階調の変換の処理を施し、変換 手段による処理を経たアナログの電気信号をデジタルデータに変換して出力するよう にすることができる。
[0038] したがって、撮像された画像に対して簡単に画像処理を施すことができる。
[0039] 本発明を適用した画像処理方法は、撮影手段により撮影された画像のデータを取 得する取得ステップと、取得ステップの処理により取得されたデータに対応する画像 に含まれる予め設定された領域の画像であって、所定の反射率の物体の画像に対 応するデータに基づいて、画像の階調を変換する変換ステップと、変換ステップの処 理により階調が変換された画像の信号に対応する画像を表示する表示ステップとを 含むことを特徴とする。
[0040] 本発明の画像処理方法においては、撮影手段により撮影された画像のデータが取 得され、取得されたデータに対応する画像に含まれる予め設定された領域の画像で あって、所定の反射率の物体の画像に対応するデータに基づいて、画像の階調が 変換され、階調が変換された画像の信号に対応する画像が表示される。
[0041] 本発明を適用したプログラムは、画像処理装置に画像処理を行わせるプログラムで あって、撮影手段により撮影された画像のデータの取得を制御する取得制御ステツ プと、取得制御ステップの処理により取得されたデータに対応する画像に含まれる予 め設定された領域の画像であって、所定の反射率の物体の画像に対応するデータ に基づいて、画像の階調の変換を制御する変換制御ステップと、変換制御ステップ の処理により階調が変換された画像の信号に対応する画像の表示を制御する表示 制御ステップとをコンピュータに実行させることを特徴とする。
[0042] 本発明を適用した記録媒体は、画像処理装置に画像処理を行わせるプログラムが 記録されて ヽる記録媒体であって、撮影手段により撮影された画像のデータの取得 を制御する取得制御ステップと、取得制御ステップの処理により取得されたデータに 対応する画像に含まれる予め設定された領域の画像であって、所定の反射率の物 体の画像に対応するデータに基づ 、て、画像の階調の変換を制御する変換制御ス テツプと、変換制御ステップの処理により階調が変換された画像の信号に対応する画 像の表示を制御する表示制御ステップとをコンピュータに実行させるプログラムが記 録されて!/ヽることを特徴とする。
発明の効果
[0043] 本発明によれば、画像を鮮明に表示することができる。特に、ダイナミックレンジが 広ヽ撮像素子で撮影された画像を鮮明に表示することができる。
図面の簡単な説明
[0044] [図 1]従来の階調変換の例を説明する図である。
[図 2]本発明を適用した監視装置の構成例を示すブロック図である。
[図 3]図 1の撮像部の取り付け位置の例を示す図である。
[図 4]図 1の撮像部の取り付け位置の例を示す図である。
[図 5]図 1の撮像部の構成例を示す図である。
[図 6]撮像部の感度特性を説明する図である。
[図 7]図 1の制御部の構成例を示すブロック図である。
[図 8]表示調整処理の例を説明するフローチャートである。
[図 9]本発明の階調変換の例を説明する図である。
[図 10]反射率測定処理の例を説明するフローチャートである。
[図 11]輝度値、反射率、および表示階調の対応関係の例を示す図である。
[図 12]参照情報記憶処理の例を説明するフローチャートである。
[図 13]参照領域の指定の例を示す図である。
[図 14]従来の技術により表示される画像の例を示す図である。
[図 15]本発明の技術により表示される画像の例を示す図である。
[図 16]撮像部の別の構成例を示すブロック図である。
[図 17]階調割り当て決定部の構成例を示すブロック図である。 [図 18]パーソナルコンピュータの構成例を示すブロック図である,
符号の説明
[0045] 100 監視装置
101 撮像部
102 制御部
103 表示部
104 操作入力部
121 撮像制御部
141 光検出部
142 対数変換部
143 A/D変換部
171 参照領域抽出部
172 切り出し処理部
173 階調変換部
174 登録情報供給部
401 撮像制御部
411 階調割り当て決定部
412 A/D変換部
発明を実施するための最良の形態
[0046] 以下、図面を参照して、本発明の実施の形態について説明する。図 2は、本発明を 適用した監視装置 100の実施の形態の外観構成例を示すブロック図である。監視装 置 100は、例えば、自動車などに搭載され、車外前方を撮影してユーザに鮮明な画 像を提示する装置であり、撮像部 101、制御部 102、および表示部 103により構成さ れている。
[0047] 撮像部 101は、例えば、ダイナミックレンジの広いカメラなどにより構成され、レンズ 101aから入力された光に基づく画像 (動画像であっても静止画像であってもよい）を 撮影し、撮影された画像のデータを、制御部 102に出力する。なお、撮像部 101が 動画像を撮影する場合、撮影される画像のデータは、フレーム単位に符号ィ匕された デジタルデータとして出力される。
[0048] 制御部 102は、撮像部 101から供給されるデータであって、撮像部 101で撮影され た画像である撮影画像のデータに対して、表示部 103により鮮明な画像が表示可能 となるように階調変換などを行う処理を施し、処理が施された画像のデータに対応す る信号を表示部 103に出力する。
[0049] また、操作入力部 104などにより、処理に必要となるデータの設定、コマンドの入力 などが行われる。操作入力部 104は、例えば、パーソナルコンピュータなどの外部の 情報機器により構成されるようにしてもょ 、。
[0050] 表示部 103は、例えば、 LCD (Liquid Crystal Display)などにより構成され、制御部 102から供給される信号に対応する画像を表示する。表示部 103は、例えば、一般 に販売されて ヽる液晶ディスプレイなどで構成され、撮像部 101がダイナミックレンジ の広い画像を撮影するのに対して、表示部 103は、撮像部 101により撮影された撮 影画像に対して、より少ない階調数 (例えば、 256階調)の表示階調をもつディスプレ ィとされる。
[0051] 図 3は、撮像部 101の取り付け位置の例を示す図である。同図に示されるように、撮 像部 101は、自動車 111のルームミラー付近に取り付けられており、レンズ 101aには 、後述する階調変換の処理において必要となる物体であって、自動車の前方に位置 する直前の路面 112を含むような、光線 131を中心とする光が入射するように構成さ れ、その光に対応する画像を撮影する。また、撮像部 101を、ルームミラーそのもの に組み込むようにしたり、ルームミラーの根元付記に取り付けるようにしてもょ 、。
[0052] 撮像部 101の取り付け位置は、フロントガラスの汚れなどがワイパーでふき取られる 領域を通して前方が撮影できる位置であることが望ましく、フロントガラスを通して前 方を撮影でき、運転者の視界を妨げない位置であればよい。このようにすることで、ュ 一ザ (ドライノく）が見て 、るものとほぼ同等の画像を撮影することができる。
[0053] あるいはまた、撮像部 101は、図 4に示されるように取り付けられるようにしてもよい。
この例では、自動車 111のフロントグリル付近に撮像部 101が取り付けられている。こ のようにすることで、後述する階調変換の処理において必要となる自動車の前方に 位置する直前路面 112をより正確に撮影することができる。 [0054] 図 5は、撮像部 101の構成例を示すブロック図である。同図に示されるように、撮像 部 101において、レンズ 101aから出力される光が撮像制御部 121に出力されるよう に構成されている。撮像制御部 121は、例えば、 HDRC (High Dynamic Range CMOS (Complementary Metal Oxide Semiconductor) )などの対数変換型の撮像素子とされ 、光検出部 141、対数変換部 142、 A/D変換部 143、および撮像タイミング制御部 1 44を含むように構成される。
[0055] レンズ 101aを通して入射した被写体の光は、撮像制御部 121の光検出部 141の 図示せぬ光検出面に結像する。
[0056] 光検出部 141は、例えば、フォトダイオードなどの複数の受光素子を備え、レンズ 1 Olaにより結像された被写体の光を、光の強さ（光量）に応じた電荷に変換し、変換し た電荷を蓄積する。光検出部 141は、撮像タイミング制御部 144から供給される制御 信号に同期して、蓄積された電荷を対数変換部 142に供給する。なお、光検出部 14 1に、変換した電荷を蓄積させずに、そのまま対数変換部 142に供給させるようにす ることち可會である。
[0057] 対数変換部 142は、例えば、複数の MOSFET (Metal Oxide Semiconductor Field E ffect Transistor)などにより構成される。対数変換部 142は、 MOSFETのサブスレツシ ョルド特性を利用して、光検出部 141から供給される電荷 (または電流)を、画素ごと に電荷の数 (または電流の強さ）の対数に比例した電圧値を持つアナログの電気信 号に変換する。対数変換部 142は、変換したアナログの電気信号を A/D変換部 143 に供給する。
[0058] A/D変換部 143は、撮像タイミング制御部 144から供給される制御信号に同期して 、アナログの電気信号をデジタルの画像データに変換して、変換した画像データを 画像処理装置 112に供給する。従って、撮像制御部 121から出力される画像データ の各画素の画素値は、光検出部 141に入射した被写体の光量を対数変換した値に 比例した値となる。
[0059] 図 6は、 HDRCの撮像制御部 121、 CCD (Charge Coupled Device)撮像素子、銀 塩フィルム、および、人の目の感度特性を示すグラフである。同図の横軸は、入射す る光の照度（単位は、ルクス (lux) )の対数を示し、縦軸は感度を示している。線 151 は撮像制御部 121の感度特性を示し、線 152は人の目の感度特性を示し、線 153は 銀塩フィルムの感度特性を示し、線 154は CCD撮像素子の感度特性を示して 、る。 なお、従来の CMOS撮像素子の感度特性は、線 154に示される CCD撮像素子の感 度特性とほぼ類似したものとなる。
[0060] 撮像制御部 121は、上述したように、入射した被写体の光の光量の対数にほぼ比 例した値の画素値を持つ画像データを出力することにより、撮像制御部 121を構成 するフォトダイオードや MOSFETなどの容量を飽和させずに、 CCD撮像素子、銀塩フ イルム、および、人の目より広い、約 1ミリルクスから太陽光の輝度より高い約 500k/レ タスまでの約 170dBのダイナミックレンジを持つ。
[0061] すなわち、対数変換部 142が、上述したように、入射光量の対数にほぼ比例した輝 度値 (あるいは画素値)からなるデータを出力するので、入射光量が大きくなつた場 合でも、撮像制御部 121を構成するフォトダイオードや MOSFETなどの素子の容量が 飽和したり、各素子に流れる電流や印加される電圧が各素子の入力に応じた出力を 行うことができる範囲を超えることがない。従って、撮像可能な輝度の範囲内におい て、ほぼ正確に入射光量の変動に応じた輝度値 (あるいは画素値)を得ることができ る。なお、対数変換型撮像素子 142のダイナミックレンジは、上述した 170dBに限定 されるものではなぐ利用目的に応じて、約 lOOdBあるいは 200dBなど、必要なダイ ナミックレンジに対応したものを用いるようにすればよ!、。
[0062] 従って、撮像制御部 121を用いた撮像装置 101は、絞りやシャッタースピードなど の調整による入射光量の調整を行わなくても、撮像素子が出力可能な画素値の最大 値に被写体の明るい部分に対応する画素値がクリッピングされたり、撮像素子が出力 可能な画素値の最小値に被写体の暗い部分に対応する画素値力 Sクリッピングされた りする輝度クリッピングが発生しない。すなわち、撮像装置 101は、被写体の明るい 部分が白く飛んでしまったり、暗い部分が黒く塗りつぶされたりすることなぐ被写体 の詳細な輝度の変化を忠実に撮影することができる。
[0063] 例えば、撮像制御部 121を用いた撮像装置 101は、昼間に車内から車の前方を撮 影する場合、画角内に太陽が入っていても、入射光量を調整することなしに、太陽と 前方の道路の状態を忠実に再現した画像を撮影することができる。また、撮像装置 1 01は、夜間に車内から車の前方を撮影する場合、対向車のヘッドライトが前方から 照らされていても、入射光量を調整することなしに、対向車のヘッドライトの光から自 車のヘッドライトに照らされて ヽな ヽ部分までを忠実に再現した画像を撮影すること ができる。
[0064] このように構成される撮像制御部 121をもつ撮像部 101から制御部 102に供給され る撮影画像のデータにおいては、個々の画素の出力値 (輝度値)を、例えば、 14bit のデータとして出力することが可能なので、画素の輝度値をそのまま階調に変換す れば、 214の幅広 、階調幅をもつ画像に対応するデータとなる。
[0065] また、撮像制御部 121を用いた撮像装置 101は入射光量の調整を行なう必要がな いため、撮像装置 101から出力される画像データにおいて、例えば、 2枚のフレーム を撮影する間に、被写体内の輝度が変動した領域と変動しな力 た領域がある場合 、輝度が変動した領域に対応する画素値が変動し、輝度が変動しなカゝつた領域に対 応する画素値はほとんど変動しない。従って、フレーム間の画像データの差分をとつ たデータ (以下、差分データと称する）の各画素の画素値 (以下、差分値とも称する） は、被写体の輝度の変動がほぼ忠実に反映された値となる。
[0066] 一方、ダイナミックレンジが人の目より狭い CCD撮像素子を用いた撮像装置は、被 写体の明るさに応じて、入射光量を調整する必要があるため、例えば、 2枚のフレー ムを撮影する間に、被写体内の輝度が変動した領域と変動しな力つた領域がある場 合、輝度が変動しな力つた領域に対応する画素値も変動する場合がある。従って、 差分データの各画素の差分値は、被写体の輝度の変動が忠実に反映された値とな らない場合がある。
[0067] また、撮像装置 101から出力される画像データの画素値が被写体の光量の対数に ほぼ比例した値となることにより、被写体に照射される照明の明るさ（照度）に関わら ず、その被写体を撮影した画像データにおける画素値の分布を示すヒストグラムは、 その被写体の反射率の分布を示すヒストグラムとほぼ同じ形状となる。例えば、反射 率が最大の部分と最小の部分の比が 10 : 1である被写体を、 1回目と 2回目とで約 10 0倍の照度差がある照明を照射して撮影した場合、 1回目の画像データと 2回目の画 像データの画素値の分布を示すヒストグラムの幅はほぼ同じ値（l =logl010)となる。 一方、画像データの画素値が被写体の光量に比例する場合、 1回目の画像データと 2回目の画像データの画素値の分布を示すヒストグラムの幅の差は約 100倍となる。
[0068] 換言すれば、被写体の輝度 (反射率)の分布に関わらず、被写体の輝度がほぼ一 様に変動した場合、その被写体を撮像した画像データの画素値は、ほぼ一様に変動 する。例えば、被写体内に輝度の比が 100 : 1となる 2つの領域がある場合、被写体 に照射される光の照度がほぼ一様に変化し、被写体の輝度がほぼ一様に + 5%変 動したとき、 2つの領域に対応する画素値の変動値はほぼ同じ値 (loglOl.05)となる。 一方、画像データの画素値が入射光量に比例する場合、上述した 2つの領域に対応 する画素値の変動値の差は、約 100倍となる。
[0069] これに対して、線 154および線 153に示されるように、 CCD撮像素子および銀塩フ イルムは、ガンマ特性などの要因により、感度特性が入射される光の照度に比例しな い。従って、 CCD撮像素子または銀塩フィルムを用いた画像データの画素値の分布 を示すヒストグラムは、入射する光の光量 (照度)の分布が一様でも、光量の大きさ（ 照度の強さ）によって、その形状が変化する。
[0070] このように HDRCの撮像制御部 121を用いて構成される構成撮像部 101は、 CCD 撮像素子の場合とは異なり、広 、ダイナミックレンジで画像を撮影することができるの で、例えば、逆光の場面、または夜間などにおいて撮影された画像でも、照度の過 剰または不足による画像データの欠落が無ぐ例えば、自動車に搭載してナビゲー シヨンシステムに利用したり、防犯などのセキュリティ監視システムに利用するなど、幅 広い分野で利用することができる。
[0071] 図 7は、制御部 102の構成例を示すブロック図である。同図において、参照領域抽 出部 171は、撮像部 101から供給される撮影画像のデータの中で、参照領域に対応 する画像の画素を抽出する。ここで、参照領域は、撮影画像に含まれる既知の反射 率をもつ物体の画像に対応する領域であり、監視装置 100を自動車に搭載している 場合、例えば、自動車の前方の直前の路面 112の画像に対応する領域が参照領域 とされる。なお、撮影画像の中の参照領域の位置に関する情報は、予め設定される 登録情報などとされ、登録情報供給部 174から参照領域抽出部に供給される。
[0072] 参照領域抽出部 171は、参照領域に含まれる画素の輝度値に関する情報 (例えば 、輝度値の平均値)を算出し、切り出し処理部 172に出力する。
[0073] 切り出し処理部 172は、参照領域抽出部 171から供給される参照領域の画素の輝 度値に関する情報に基づいて、撮影画像に含まれる画素の輝度値のうち、表示部 1 03で表示される表示画像の画素に対応する輝度値 (輝度幅）を切り出す。例えば、 切り出し処理部 172は、参照領域の画素の輝度値の平均値を、表示部 103が表示 可能な階調のうちの所定の階調 (例えば、第 n番目の階調）に割り当てる。そして、撮 影画像の中で、表示部 103が表示可能な階調に対応する画素の輝度値の上限値と 下限値を切り出し、階調変換部 173に出力する。
[0074] なお、参照領域の画素の輝度値の平均値をどの階調に割り当てる力を表す情報は 、予め設定される登録情報などとされ、登録情報供給部 174から切り出し処理部 172 に供給される。
[0075] 階調変換部 173は、切り出し処理部 172から供給される画素の輝度値の上限値と 下限値に基づいて、撮影画像の階調変換を行い、階調変換された画像の信号を表 示部 103に出力する。なお、階調の変換は、例えば、ディザ法、誤差分散法などの 処理により行われるようにしてもょ 、し、他の方法で変換されるようにしてもょ 、。
[0076] 登録情報供給部 174は、参照領域の位置に関する情報、参照領域の画素の輝度 値の平均値をどの階調に割り当てる力を表す情報などの登録情報を予め記憶し、必 要に応じて参照領域抽出部 171または切り出し処理部 172に供給する。
[0077] なお、制御部 102を構成する各部は、それぞれ上述した機能を実現するための論 理演算部や記憶部が組み込まれた半導体集積回路などのハードウ アで構成され るようにしてもよいし、あるいはまた、制御部 102を、例えば、コンピュータなどで構成 し、上述した各部は、コンピュータが処理するソフトウェアにより実現される機能ブロッ クとして構成されるようにしてもょ ヽ。
[0078] 次に、図 8のフローチャートを参照して、監視装置 100による表示調整処理につい て説明する。
[0079] ステップ S101において、制御部 102は、撮像部 101から供給される撮影画像のデ ータを取得する。
[0080] ステップ S102において、参照領域抽出部 171は、ステップ S101の処理で取得さ れたデータに対応する画像の中の参照領域に対応する画像のデータを抽出する。
[0081] ステップ S103において、参照領域抽出部 171は、ステップ S102の処理で抽出さ れたデータに基づ!/、て、参照領域の画素の輝度値の平均値を算出する。
[0082] ステップ S104において、切り出し処理部 172は、撮影画像全体の画素の輝度値を 検出する。
[0083] ステップ S 105において、切り出し処理部 172は、ステップ S 103の処理により算出 された平均値を、表示可能な階調のうちの所定の階調 (例えば、第 n番目の階調）に 割り当てる。そして、表示可能な階調に対応する画素の輝度値の上限値と下限値を 輝度幅として切り出す。
[0084] ステップ S106において、階調変換部 173は、ステップ S105の処理で切り出された 輝度幅に基づ ヽて、ステップ S101で取得された撮影画像のデータの階調を変換す る。
[0085] ステップ S107において、階調変換部 173は、ステップ S106の処理で階調が変換 された画像のデータに対応する信号を表示部 103に出力する。
[0086] 図 9を参照してさらに詳しく説明する。同図の撮影画像 201は、例えば、路上を走 行する自動車の前方を撮影した画像であり、ステップ S101では、画像 201が取得さ れる。
[0087] 画像 201において、画像の下部中央に表示される領域 201aは、自動車の前方の 直前の路面 112の画像に対応する領域であり、上述した参照領域とされる。この例で は、参照領域 201aが矩形の領域として示されているが、参照領域 201aの形状は、 任意の形状としてもよい。また、監視装置 100が自動車に搭載される場合、例えば、 ステアリングの操舵角に応じて参照領域 201 aの位置が画像 201の中で左右に移動 させられるようにしてちょい。
[0088] 路面 112は、通常アスファルトなどで構成されるので、例えば、所定の明るさの灰色 で表示されるべき物体である。すなわち、路面 112は、撮影画像に含まれる既知の反 射率 (または表示されるべき色）をもつ物体であり、走行する自動車の撮像装置 101 により撮影される画像に常に含まれる物体なので、撮影画像の中の路面 112に対応 する領域 201aが参照領域とされる。なお、撮像部 101で撮影された画像などが予め 解析され、画像 201における領域 201aの位置を特定するための情報が、登録情報 供給部 174に予め記憶されているものとする。ステップ S102では参照領域 201aの データが参照領域抽出部 171により抽出される。
[0089] あるいはまた、撮影される画像の中に色が既知であるボディの一部などの対象物が 常に写るようにして、その対象物の画像を参照領域の画像として同様の処理が行わ れるようにしてもよい。
[0090] そして、ステップ S103で参照領域 201aに含まれる画素の輝度値の平均値 bnが算 出される。
[0091] ここで、参照領域 201aの中に、例えば明るい色の路面表示や白線などの路面ペイ ントなどが含まれていると、参照領域 201aの画素の平均輝度力 本来の路面 112の 輝度と異なる恐れがある。このため、例えば参照領域 201aの画素のブロックのうち、 最も輝度が高いブロックと、最も輝度が低いブロックとが予め特定されるようにして、そ れらのブロックの画素を除いて、参照領域 201の平均輝度が求められるようにしても よい。または、領域抽出部 171に、形状認識機能を設けて、形状認識機能により認識 された路面 112の形状に基づいて、路面ペイントなどに対応する部分を特定し、路面 ペイントなどに対応する部分の画素を除いて参照領域 20 laの画素の平均輝度が算 出されるようにしてちょい。
[0092] あるいはまた、所定の画像処理を行うことにより路面ペイントなどに対応する部位が 特定されるようにしてもよい。例えば、参照領域 201a内の画素の輝度値の変化が分 祈され、輝度値の変化を表す特性の所定の箇所での微分値を閾値と比較することな どで、画像に含まれるオブジェクトのエッジを検出する画像処理などが行われることに より、路面ペイントの他、路面に置かれた物体 (例えば、落ち葉やごみなど）が検出さ れ、検出された路面ペイントや物体に対応する部分の画素が除去されるようにしても よい。
[0093] また、一般的な路面 112の色 (または反射率）は既知であるので、登録情報供給部 174には、例えば路面 112の所定の明るさの灰色が、表示部 103が表示可能な階調 幅 W (例えば、第 0番目から 255番目までの階調幅）において、第 n番目の階調に対 応することが予め記憶されており、切り出し処理部 172は、参照領域 201aに含まれる 画素の輝度値の平均値 bnを n番目の階調に割り当てた上で、階調幅 Wに対応する 輝度値の上限値 bpと下限値 bqを切り出す (特定する）。上述したステップ S 104と S 10 5では、このような処理が行われる。
[0094] なお、濡れた路面の色は乾燥した路面よりも喑 、ので、乾燥した路面の色（一般的 な路面の色）とは異なる階調に対応させるようにしてもよい。例えば、ワイパーが作動 しているなど、雨天であることが検出された場合に、登録情報供給部 174における路 面の色 (または反射率)と対応する階調の設定値が、雨天の設定値に変更されるよう な構成としてもよい。
[0095] あるいはまた、例えば撮影画像の画素の輝度の最大値と最小値の差分が予め設定 された値より小さい場合、撮影画像の中の輝度が高いブロックと、輝度が低いブロック が検出され、輝度が高いブロックの画素の輝度の平均値と、輝度が高いブロックの画 素の輝度の平均値が、それぞれ輝度値の上限値または下限値とされ、輝度幅が切り 出されるようにすることも可會である。
[0096] 階調変換部 173は、輝度値の上限値 bpと下限値 bqに基づいて、画像 201の階調を 変換する処理を行う（ステップ S106)。
[0097] 撮像部 101から供給される撮影画像のデータは、例えば、 214の幅広い階調数をも つ画像 201に対応するデータであり、画像 201の中には、輝度値が値 bpより大きい 画素、または輝度値が値 bqより小さい画素が含まれている可能性がある。しかし、階 調変換が行われることにより、輝度値が値 bpより大きい画素は、輝度値が値 bpである 画素と同一の階調で表示され、輝度値が値 bqより小さい画素は、輝度値が値 bqであ る画素と同一の階調で表示されることになる。
[0098] これにより、撮像部 101で撮影された撮影画像を、撮像部 101により撮影された撮 影画像に対して、より少ない階調幅 (例えば、 256階調）をもつ表示部 103において 鮮明に表示することが可能となる。
[0099] このようにして、撮像部 101で撮影された画像が表示部 103に表示される。表示可 能な階調幅に対応する輝度幅を切り出すようにしたので、ダイナミックレンジの広 ヽ 撮影画像の画素の輝度値を、必ずしも忠実に全て表示する必要がなぐその結果、 画像の一部に極端に明る ヽ (または喑 ヽ)物体があった場合でも、階調変換された画 像全体が暗くなつたり（または明るくなつたり）することが抑止され、鮮明な画像を表示 することができる。また、画素の輝度値と階調の対応関係は、既知の物体である参照 領域 201aの路面 112の反射率 (色）に基づいて定められるので、つねに、自然な色 合 、で画像を表示することができる。
[0100] 次に、図 10のフローチャートを参照して、参照領域の物体の反射率を測定する反 射率測定処理について説明する。この処理は、例えば、ユーザが操作入力部 104を 操作して、反射率測定処理の実行を指令したとき、実行される。ここでは、撮影画像 における参照領域の位置に関する情報 (例えば、画像の下部中央であること）は、予 め記憶されているものとする。
[0101] ステップ S151において、制御部 102に接続されて制御される図示せぬ照明手段 力 被写体 (参照領域の物体）に光を照射させる。このとき、例えば、既知の明るさ（ 照度）のヘッドライトなどを、直前の路面 112に照射する。ステップ S 151の処理は、 例えば、ユーザによる操作入力に基づいて行われるようにしてもよいし、反射率測定 処理の実行に伴って自動的に行われるようにしてもょ 、。
[0102] ステップ S152において、撮像部 101は、ステップ S 151の処理で照明された被写 体の画像を撮影し、制御部 102に出力する。
[0103] ステップ S153において、参照領域抽出部 171は、撮影画像の中の参照領域のデ ータを抽出する。
[0104] ステップ S154において、参照領域抽出部 171は、参照領域の画素の輝度の平均 値を算出し、登録情報供給部 174に出力する。例えば、既知の明るさのヘッドライト などで照らされた路面 112がダイナミックレンジの広 ヽ撮影画像にお!、て、どの出力 レベルで検出（撮影）されているかを調べれば、路面 112の反射率を求めることがで きる。
[0105] ステップ S 155において、登録情報供給部 174は、参照領域の反射率を算出し、ス テツプ S 156において、参照領域の表示階調を決定する。
[0106] 例えば、登録情報供給部 174には、図 11に示されるようなテーブルが記憶されて いる。この例では、撮影画像の (画素の)輝度値、反射率、表示階調が対応付けられ て記憶されている。ここで、表示階調は、表示部 103が表示可能な階調幅における 所定の階調を表している。登録情報供給部 174は、このテーブルに基づいて参照領 域の反射率と表示階調を特定し、参照領域の画素の輝度値の平均値をどの階調に 割り当てるかを表す情報として記憶する。
[0107] なお、ステップ S151の処理は、省略されるようにして、自然光により被写体が撮影 されるよう〖こしてもよい。しかし、自然光により撮影された画像においては、同じ反射 率の物体が同じ輝度値の画素として撮影されるとは限らず、ヘッドライトと車の直ぐ前 の路面の距離は大きく変動することはないので、ヘッドライトなどで照明したほうがより 正確に反射率を測定することができる。
[0108] また、同じ反射率をもつ物体であっても、ヘッドライトなどの明るさ（照度）の違いによ り撮影画像の中での画素の出力レベルが異なるので、例えば、図 11に示されるテー ブルが複数の照度に対応して複数記憶されるようにしてもょ ヽ。
[0109] さらに、この例では、撮影画像において、どの出力レベルで検出（撮影）されている かを調べて、路面 112の反射率を求めるようにした力 例えば、撮像部 101の取り付 け位置や、自動車の形状などにより、撮像部 101のレンズ 101aと路面 112との距離 が異なることもあり、同じ反射率の物体であっても、撮影画像における出力レベルに 異なる（誤差が生じる）こともある。このため、例えば、レンズ 101aの近辺にレーザレ ーダを設けて、より正確に路面 112の反射率を求めるようにしてもょ 、。
[0110] レーザレーダは、レーザ光を対象に向けて発射し、反射してきた光の強度をフォト ダイオードなどの受光部で受光し、予め設定された閾値に基づいて、レーザ光が反 射した力否かを検出し、反射が検出されるまでの時間を用いて、対象までの距離を 求めている。したがって、レーザレーダを用いることで、レーザを照射した狭い範囲の 光の反射量とその領域までの距離が同時に測定できるので、反射して撮影された輝 度と距離を使って反射率を正確に求めることができる。
[0111] なお、距離の計測は、ステレオカメラなど別の距離計測手段で行うようにしてもよい
[0112] あるいはまた、監視装置 100がビル監視などに用いられる場合、参照領域の物体 が隣のビルなど距離が予め分力 ている物体 (対象）のときには、例えば、操作入力 部 104などを介して参照領域の物体までの距離を設定できるような構成としてもよい [0113] このようにして、反射率の測定と、表示階調の特定が行われる。
[0114] ここまで、監視装置 100が自動車などに搭載される例について説明したが、監視装 置 100は、例えば、所定の建物の付近などに設置され、建物の入口を監視するよう にしてもよい。このような場合、参照領域を新たに設定して監視装置 100に記憶させ る必要がある。
[0115] 図 12のフローチャートを参照して、参照領域記憶処理の詳細について説明する。
この処理は、例えば、ユーザが操作入力部 104を操作して、参照領域記憶処理の実 行を指令したとき、実行される。
[0116] ステップ S181において、制御部 102は、撮像部 101で撮影された画像を表示部 1 03に表示させる。このとき、例えば、図 8を参照して上述したような処理は行われるこ となぐ撮影画像の画素の輝度値の最大値と、最小値との間の輝度値の画素が表示 部 103により表示可能な階調 (例えば、 256の階調）に割り当てられるように変換され て表示される。
[0117] ステップ S182において、制御部 102は、操作入力部 104からの操作入力に基づ いて、撮影画像の中の参照領域の指定を受け付ける。
[0118] 例えば、撮像部 101が、図 13に示されるような建物 301の画像を撮影している場合
、例えば、ユーザが表示部 103に表示される画像を見ながら参照領域を指定する。こ の例では、建物 301の扉 302の画像の中に、矩形 (任意の形であってもよい）の参照 領域 303が指定されている。
[0119] また、このとき例えば、指定された参照領域の座標値などが、撮影画像における参 照領域の位置に関する情報である登録情報として、登録情報供給部 174に記憶され る。
[0120] ステップ S183において、制御部 102は、操作入力部 104からの操作入力に基づ いて、表示レベルの調整を受け付ける。ここで表示レベルは、表示部 103において 表示される画像の色合 、などを調整するためのレベルであり、ユーザの操作により任 意の表示レベルが選択され、ステップ S 182で指定された参照領域の画像の色合 ヽ (または濃度)などが、ユーザにより選択された表示レベルに基づ 、て変更されて表 示される。
[0121] ステップ S184において、制御部 102は、ステップ S183で調整（選択）された表示レ ベルに基づいて、参照領域の表示階調を割り当てる。例えば、制御部 102は、ステツ プ S183の処理により参照領域が現在どの階調 (第何番目の階調)で表示されている かを検出し、参照領域の画素の輝度値の平均値を、その階調に割り当てる。これによ り、参照領域の画素の輝度値の平均値をどの階調に割り当てる力を表す情報である 登録情報が生成されて、登録情報供給部 174に記憶される。
[0122] このようにして、参照領域記憶処理が行われる。これにより、参照領域の表示すべき 濃度または色が判明する (ステップ S183)ので、参照領域がその濃度または色となる ように表示すれば、参照領域以外の領域の画素の輝度が大きく変動しても、常に、ュ 一ザにとって見易い画像を提供することができる。すなわち、この処理により登録情 報供給部 174に記憶された登録情報に基づいて、図 8を参照して上述した処理を実 行することにより、やはり、撮像部 101で撮影された撮影画像を、撮像部 101により撮 影された撮影画像に対して、より少ない階調幅 (例えば、 256階調)をもつ表示部 10 3にお 、て鮮明に表示することが可能となる。
[0123] 図 14は、従来の階調変換のように、 HDRCを用いた撮像部で撮影されたダイナミツ クレンジの広 、撮影画像の画素の輝度値の最大値と、最小値との間の輝度値の画 素が表示部により表示可能な階調に割り当てられるように変換され、撮影画像より少 ない階調数の表示階調をもつ表示部に表示された画像の例を示す図である。同図 においては、画像の中で、例えば、対向車ゃ路側帯の木などが不鮮明に表示されて おり、また、画像全体の色合いも薄ぐ見る者に不自然な印象が与えられる。
[0124] 図 15は、本発明の階調変換 (例えば、図 8を参照して上述した処理）により、図 14 の場合と同じ HDRCを用いた撮像部で撮影されたダイナミックレンジの広 、撮影画像 力 撮影画像より少な 、階調幅をもつ表示部に表示された画像の例を示す図である 。同図においては、図 14の場合と異なり、画像の中で、例えば対向車ゃ路側帯の木 などが鮮明に表示されており、また、画像全体の色合いに関しても、見る者に自然な 印象が与えられる。
[0125] 上述した実施の形態においては、人が対象全体を認識するときの基準濃度 (また は色）となる中間領域の表示を改善する方法を示した。 HDRCの画像は中間領域と は大きく異なる高輝度領域または低輝度領域を含む場合があるので、上述した実施 の形態以外の方法で画像処理を行 ヽ、画質を向上させる対策を実施するようにする ことも可能であるが、その場合にも、本発明を用いることで、参照領域の表示が安定 して利用者が期待する濃度、ある 、は輝度や色で表示される効果が得られる。
[0126] ところで、 14bitで AZD変換された広ダイナミックレンジ画像は非常に広い輝度帯 域を含むため、画像に含まれる所定のオブジェクトの検出などを行う際の画像処理、 必要に応じて画像を合成する際などの画像処理を、従来の画像処理と同様に行うこ とは困難である。例えば、広ダイナミックレンジ画像に対して通常のダイナミックレンジ の画像と同様に、微分処理を行うラプラシアン変換を行った場合に、ノイズ状の結果 しか得られなかったり、 2値ィ匕処理の閾値となりうる輝度の候補が多すぎるため、その 処理量が爆発的に増大するなどの問題が発生してしまう。同様にして、他の画像処 理手法の多くについても、広ダイナミックレンジ画像は、従来の画像処理において用 いられてきた画像と、その性質が異なるため、従来の画像処理と同様の目的を有して いる場合でも、広ダイナミックレンジ画像を利用する場合には、処理プロセスに、大幅 な修正が必要となる。このため、撮像部 101から出力される画像データを利用して各 種の画像処理を行う場合、撮像部 101から出力される画像データが通常のダイナミツ クレンジの画像データとして出力される方力、装置のコストを抑制するなどの面で有 利になる。
[0127] また、上述した処理にぉ 、ては、 A/D変換された広ダイナミックレンジ画像の輝度 の最大値と最小値を切り出す例について説明したが、この場合、階調割り当ての bit 数が充分に大きい AZD変換素子を用いて、 AZD変換を行わないと、変換された画 像が不自然な、違和感のある画像となってしまうことがある。
[0128] 例えば、所定の輝度範囲を 12bitの AZD変換部によって均等に AZD変換すると、 4096階調の画像データが得られる。 CCD撮像素子や CMOS撮像素子においては 、撮影できる輝度範囲が、本発明で用いる対数変換型撮像素子と比較して非常に狭 ぐ撮像可能な輝度範囲以外の階調は全く得られないので、その輝度範囲を 4096 階調で表現しても、人間の目で観察して全く違和感のな 、画像を得ることができる。 しかしながら、本発明で用いる対数変換型撮像素子においては、夜間の暗闇から直 射日光までの輝度範囲を撮像することができるので、そのような広い輝度範囲を 409 6階調で表現しても、不自然な、違和感のある画像となってしまう。
[0129] 撮像部 101から供給される画像データに基づく画像処理を通常の画像処理と同様 にできるようにするために、または、特別な AZD変換素子を用いることなぐ自然な 画像を得られるようにするために、図 5に示される撮像部 101の構成を、例えば、図 1 6に示されるような構成としてもよい。
[0130] 図 16は、撮像部 101の別の構成例を示すブロック図である。同図においては、図 5 における場合と同一の部分には、同一の符号を付してあり、その詳細な説明は省略 する。すなわち、図 16の場合、撮像制御部 121に代わって、撮像制御部 401が設け られており、撮像制御部 401には、階調割り当て決定部 411が新たに設けられ、 AZ D変換部 143に代わって、 AZD変換部 412が設けられている以外は、基本的に、 図 5の場合と同様の構成を有して 、る。
[0131] 同図において光検出部 141は、レンズ 101により結像された被写体の光を、入射さ れた光の明るさ（照度）に応じた電荷に変換し、変換した電荷を蓄積する。光検出部 141は、撮像タイミング制御部 144から供給される制御信号に同期して、蓄積した電 荷を対数変換部 142に供給する。なお、光検出部 141に、変換した電荷を蓄積させ ずに、そのまま対数変換部 142に供給させるようにすることも可能である。対数変換 部 142は、光検出部 141から供給される電荷を画素ごとに電荷の数 (または電流の 強さ）の対数にほぼ比例した電圧値に変換したアナログの電気信号を生成する。対 数変換部 142は、生成したアナログの電気信号を AZD変換部 412に供給するととも に、階調割り当て決定部 411に供給する。
[0132] 階調割り当て決定部 411は、対数変換部 112から供給されたアナログの電気信号 を解析し、 AZD変換部 412において実行される AZD変換の階調割り当てを決定 する。
[0133] 具体的には、階調割り当て決定部 411は、入力画像の輝度分布において、主な輝 度範囲 (輝度領域)を検出し、その輝度範囲の画像が充分認識可能なように、 A/D 変換の階調ステップ数を割り当てるものである。輝度範囲の設定は、 1つであってもよ いし、複数であってもよい。また、複数領域の間の領域には、全く階調ステップを与え な ヽようにしてもょ 、し、所定の輝度領域よりも粗 、階調が得られるようにしてもょ 、。 さら〖こ、設定される輝度範囲は、撮像される画像から自動的に選択設定されるように してもょ 、し、ユーザの操作入力により設定することも可能なようにしてもょ 、。
[0134] 図 17は、図 16の階調割り当て決定部 411の構成例を示すブロック図である。
[0135] 平均輝度算出部 451は、対数変換部 142から供給されたアナログの画像信号を取 得して、この平均輝度を算出し、平均輝度の算出結果を、主要領域輝度範囲設定部
452に供給する。
[0136] 主要領域輝度範囲設定部 452は、平均輝度算出部 451から供給された画像信号 の平均輝度を基に、主要領域の輝度範囲を設定し、設定した主要領域の輝度範囲 を、階調割り当て算出部 455に供給する。
[0137] 主要領域輝度範囲設定部 452は、例えば、対数変換部 142から供給される信号に 対応する画像において予め設定された部分の画素の平均輝度を中心とした所定の 輝度の範囲を主要領域の輝度範囲としてする。あるいはまた、主要領域輝度範囲設 定部 452は、対数変換部 142から供給される信号に対応する画像全体において平 均輝度である画素を中心として、この輝度に近い輝度値を有するものから順番に所 定数の画素を選択して主要領域の輝度範囲としても良い。
[0138] 階調割り当て算出部 455は、対数変換部 112から供給された画像信号を取得して 、主要領域輝度範囲設定部 452から供給された、主要領域の輝度範囲の情報を基 に、 AZD変換部 412による AZD変換において、いずれの輝度範囲にどれだけの 階調ステップ数を割り当てるかを決定する。
[0139] 例えば、階調割り当て算出部 455は、主要領域として設定されている輝度範囲によ り多くの階調ステップ数が割り当てられるように、階調割り当てを決定し、主要領域の 輝度範囲より輝度の入力レベルが低い画素の出力レベルは 0 (すなわち、真っ黒）と なり、主要領域の輝度範囲よりも高輝度の画素は、入力レベルにかかわらず、全体の 階調の最大値となるように階調ステップ数を割り当てる。
[0140] これにより、 AZD変換部 412が有する限られた階調ステップ数が有効に配分され て、撮像された画像が広ダイナミックレンジであっても、主要領域に対応する輝度範 囲の部分が、ユーザによってよりょく認識できるような（自然な）階調数を有する画像 を得ることが可能となる。
[0141] 図 16の AZD変換部 412は、撮像タイミング制御部 144から供給される制御信号に 同期して、アナログの電気信号をデジタルの画像データに AZD変換する。このとき、 AZD変換部 412は、階調割り当て決定部 411により決定された階調割り当てに従つ て AZD変換を実行する。 AZD変換部 412は、変換したデジタルの画像データを出 力する。
[0142] 図 16のように撮像部 101を構成することで、撮像部 101により、被写体の光の明る さ (入射光量)の対数に比例せず、階調割り当て決定部 411により割り当てられた階 調に基づいて AZD変換されたデジタルの画像データを出力するようにすることが可 能となる。
[0143] これ〖こより、限られた階調ステップ数を有する AZD変換部 412を用いて、撮像され た広ダイナミックレンジの画像に対応するアナログ信号を、通常のダイナミックレンジ の画像に対応するデジタルデータとして出力することが可能となる。
[0144] なお、上述した一連の処理をノ、一ドウエアで実現する力、ソフトウェアで実現するか は問わない。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフ トウエアを構成するプログラム力 専用のハードウェアに組み込まれているコンビユー タ、または、各種のプログラムをインストールすることで、各種の機能を実行することが 可能な、例えば図 18に示されるような汎用のパーソナルコンピュータ 500などに、ネ ットワークや記録媒体力 インストールされる。
[0145] 図 18において、 CPU (Central Processing Unit) 501は、 ROM (Read Only Memory) 502に記憶されているプログラム、または記憶部 508から RAM (Random Access Mem ory) 503にロードされたプログラムに従って各種の処理を実行する。 RAM503にはま た、 CPU501が各種の処理を実行する上において必要なデータなども適宜記憶され る。
[0146] CPU501、 ROM502、および RAM503は、バス 504を介して相互に接続されている
。このバス 504にはまた、入出力インタフェース 505も接続されている。
[0147] 入出力インタフェース 505には、キーボード、マウスなどよりなる入力部 506、 CRT( Cathode Ray Tube), LCD(Liquid Crystal display)などよりなるディスプレイ、並びにス ピー力などよりなる出力部 507、ハードディスクなどより構成される記憶部 508、モデ ム、 LANカードなどのネットワークインタフェースカードなどより構成される通信部 509 が接続されている。通信部 509は、インターネットを含むネットワークを介しての通信 処理を行う。
[0148] 入出力インタフェース 505にはまた、必要に応じてドライブ 510が接続され、磁気デ イスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア 5 11が適宜装着され、それら力も読み出されたコンピュータプログラムが、必要に応じ て記憶部 508にインストールされる。
[0149] 上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構 成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア 511な ど力 なる記録媒体からインストールされる。
[0150] なお、この記録媒体は、図 18に示される、装置本体とは別に、ユーザにプログラム を配信するために配布される、プログラムが記録されて ヽる磁気ディスク（フロッピディ スク（登録商標）を含む）、光ディスク（CD- ROM(Compact Disk-Read Only Memory), DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD (Mini-Disk) (登録商標）を 含む）、もしくは半導体メモリなどよりなるリムーバブルメディア 511により構成されるも のだけでなぐ装置本体に予め組み込まれた状態でユーザに配信される、プログラム が記録されている ROM502や、記憶部 508に含まれるハードディスクなどで構成され るちのち含む。
[0151] また、本明細書にぉ 、て上述した一連の処理を実行するステップは、記載された順 序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくと も、並列的あるいは個別に実行される処理をも含むものである。

Claims

請求の範囲
[1] 画像を撮影し、撮影された画像のデータを出力する撮影手段と、
前記撮影手段から出力されるデータに対応する画像に含まれる予め設定された領 域の画像であって、所定の反射率の物体の画像に対応するデータに基づいて、前 記画像の階調を変換する変換手段と、
前記変換手段により階調が変換された前記画像の信号に対応する画像を表示す る表示手段と
を備えることを特徴とする画像処理装置。
[2] 前記撮影手段は、
撮影した光に対応して生成される電荷を、画素ごとに電荷の数の対数に比例した 電圧値を持つアナログの電気信号に変換し、前記アナログの電気信号をデジタルデ ータに変換して前記画像のデータを出力する
ことを特徴とする請求項 1に記載の画像処理装置。
[3] 前記撮影手段は、
撮影した光に対応して生成される電流を、画素ごとに電流の大きさの対数に比例し た電圧値を持つアナログの電気信号に変換し、前記アナログの電気信号をデジタル データに変換して前記画像のデータを出力する
ことを特徴とする請求項 1に記載の画像処理装置。
[4] 前記表示手段が表示可能な画像の階調幅は、前記撮影手段により撮影された画 像の階調幅よりも小さい
ことを特徴とする請求項 1に記載の画像処理装置。
[5] 前記画像の中の前記領域の位置に関する情報の入力を受け付ける受付手段をさ らに備える
ことを特徴とする請求項 1に記載の画像処理装置。
[6] 前記変換手段は、
前記画像に含まれる予め設定された領域に対応するデータを抽出する抽出手段と 前記抽出手段により抽出されたデータに基づいて、前記画像において表示可能な 階調幅に対応する輝度幅を特定する特定手段と
前記特定手段により特定された前記輝度幅に基づいて、前記画像の階調を、前記 表示手段が表示可能な階調幅に変換し、変換された画像に対応するデータの信号 を出力する出力手段と
を備えることを特徴とする請求項 1に記載の画像処理装置。
[7] 前記抽出手段は、前記領域に対応するデータに基づいて、前記領域の画素の輝 度値を算出し、
前記特定手段は、前記抽出手段により算出された前記領域の画素の輝度値を、前 記表示手段が表示可能な階調幅の中の予め設定された階調に割り当てて、割り当て られた階調に基づいて、前記画像において表示可能な階調幅に対応する輝度の上 限値と下限値を特定することにより前記輝度幅を特定する
ことを特徴とする請求項 6に記載の画像処理装置。
[8] 前記変換手段は、
前記画像の中の前記領域の位置に関する情報、および前記表示手段が表示可能 な階調幅の中で、前記領域の画素の輝度値に対応する階調に関する情報を記憶す る記憶手段をさらに備える
ことを特徴とする請求項 7に記載の画像処理装置。
[9] 前記変換手段は、
前記領域の画像の表示に関するユーザの選択に基づいて、前記表示手段が表示 可能な階調幅の中で、前記領域の画素の輝度値に対応する階調を決定する ことを特徴とする請求項 7に記載の画像処理装置。
[10] 前記変換手段は、
前記領域の画像の物体の反射率に基づ!、て、前記表示手段が表示可能な階調幅 の中で、前記領域の画素の輝度値に対応する階調を決定する
ことを特徴とする請求項 7に記載の画像処理装置。
[11] 前記領域の画像の物体までの距離を測定する距離測定手段をさらに備え、
前記距離測定手段により測定された前記領域の画像の物体までの距離と、前記領 域の画素の輝度値とに基づいて前記物体の反射率を算出する ことを特徴とする請求項 10に記載の画像処理装置。
[12] 前記領域の画像の物体にレーザ光を発射し、反射した光を受光する受光部により 検出された前記光の強度と、受光部により反射した光が検出されるまでの時間に基 づいて算出される前記物体までの距離とに基づいて、前記物体の反射率を測定する 測定手段をさらに備える
ことを特徴とする請求項 10に記載の画像処理装置。
[13] 前記撮影手段は、
撮影した光に対応して生成される電荷、または電流を、画素ごとに電荷の数、また は電流の大きさの対数に比例した電圧値を持つアナログの電気信号に変換して前 記アナログの電気信号に対して前記変換手段による階調の変換の処理を施し、 前記変換手段による処理を経た前記アナログの電気信号をデジタルデータに変換 して出力する
ことを特徴とする請求項 1に記載の画像処理装置。
[14] 撮影手段により撮影された画像のデータを取得する取得ステップと、
前記取得ステップの処理により取得されたデータに対応する画像に含まれる予め 設定された領域の画像であって、所定の反射率の物体の画像に対応するデータに 基づいて、前記画像の階調を変換する変換ステップと、
前記変換ステップの処理により階調が変換された前記画像の信号に対応する画像 を表示する表示ステップと
を含むことを特徴とする画像処理方法。
[15] 画像処理装置に画像処理を行わせるプログラムであって、
撮影手段により撮影された画像のデータの取得を制御する取得制御ステップと、 前記取得制御ステップの処理により取得されたデータに対応する画像に含まれる 予め設定された領域の画像であって、所定の反射率の物体の画像に対応するデー タに基づいて、前記画像の階調の変換を制御する変換制御ステップと、
前記変換制御ステップの処理により階調が変換された前記画像の信号に対応する 画像の表示を制御する表示制御ステップと
をコンピュータに実行させることを特徴とするプログラム。 画像処理装置に画像処理を行わせるプログラムが記録されている記録媒体であつ て、
撮影手段により撮影された画像のデータの取得を制御する取得制御ステップと、 前記取得制御ステップの処理により取得されたデータに対応する画像に含まれる 予め設定された領域の画像であって、所定の反射率の物体の画像に対応するデー タに基づいて、前記画像の階調の変換を制御する変換制御ステップと、
前記変換制御ステップの処理により階調が変換された前記画像の信号に対応する 画像の表示を制御する表示制御ステップと
をコンピュータに実行させるプログラムが記録されていることを特徴とする記録媒体
PCT/JP2006/305115 2005-03-15 2006-03-15 画像処理装置および方法、プログラム、並びに記録媒体 WO2006098358A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2007508175A JP4985394B2 (ja) 2005-03-15 2006-03-15 画像処理装置および方法、プログラム、並びに記録媒体
EP06729136A EP1868370A4 (en) 2005-03-15 2006-03-15 IMAGE PROCESSING APPARATUS AND METHOD, PROGRAM AND RECORDING MEDIUM
US11/908,939 US20090015683A1 (en) 2005-03-15 2006-03-15 Image processing apparatus, method and program, and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005073756 2005-03-15
JP2005-073756 2005-03-15

Publications (1)

Publication Number Publication Date
WO2006098358A1 true WO2006098358A1 (ja) 2006-09-21

Family

ID=36991700

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/305115 WO2006098358A1 (ja) 2005-03-15 2006-03-15 画像処理装置および方法、プログラム、並びに記録媒体

Country Status (5)

Country Link
US (1) US20090015683A1 (ja)
EP (1) EP1868370A4 (ja)
JP (1) JP4985394B2 (ja)
CN (1) CN101142812A (ja)
WO (1) WO2006098358A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009246444A (ja) * 2008-03-28 2009-10-22 Nissan Motor Co Ltd 映像表示システム及び映像表示方法
KR101309733B1 (ko) * 2010-03-02 2013-09-17 아우토리브 디벨롭먼트 아베 자동차의 운전자 보조 시스템 및 운전자 보조 방법
JP2018078520A (ja) * 2016-11-11 2018-05-17 株式会社デンソー 画像処理装置

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101539379B1 (ko) * 2008-12-31 2015-07-29 주식회사 동부하이텍 실시간 영상 발생기
JP5229575B2 (ja) * 2009-05-08 2013-07-03 ソニー株式会社 画像処理装置および方法、並びにプログラム
US9153064B2 (en) * 2009-12-23 2015-10-06 Intel Corporation Grouping pixels to be textured
EP2656774B1 (en) * 2011-01-31 2016-05-11 Olympus Corporation Fluorescence observation apparatus
JP5260696B2 (ja) * 2011-03-10 2013-08-14 株式会社デンソー エッジ点抽出装置、車線検出装置、およびプログラム
US8582873B2 (en) * 2011-06-16 2013-11-12 Tandent Vision Science, Inc. Use of an object database in an image process
KR101326991B1 (ko) * 2011-12-01 2013-11-13 현대자동차주식회사 노면의 성질 감지 장치 및 그 방법
KR101361663B1 (ko) * 2012-03-21 2014-02-12 주식회사 코아로직 차량용 영상 처리 장치 및 방법
JP6414386B2 (ja) * 2014-03-20 2018-10-31 株式会社島津製作所 画像処理装置および画像処理プログラム
JP6390512B2 (ja) * 2015-05-21 2018-09-19 株式会社デンソー 車載カメラ装置
US10257394B2 (en) 2016-02-12 2019-04-09 Contrast, Inc. Combined HDR/LDR video streaming
US10264196B2 (en) 2016-02-12 2019-04-16 Contrast, Inc. Systems and methods for HDR video capture with a mobile device
EP3497925B1 (en) * 2016-08-09 2022-11-23 Contrast, Inc. Real-time hdr video for vehicle control
CN109120859B (zh) * 2017-06-26 2022-03-25 深圳光峰科技股份有限公司 一种影像数据处理装置及拍摄设备、显示系统
JP7003558B2 (ja) * 2017-10-12 2022-01-20 カシオ計算機株式会社 画像処理装置、画像処理方法、及びプログラム
US10691957B2 (en) * 2018-02-12 2020-06-23 ITS Plus, Inc. Method for increasing the accuracy of traffic cameras using optical masking technology
US10951888B2 (en) 2018-06-04 2021-03-16 Contrast, Inc. Compressed high dynamic range video
CN112351260B (zh) * 2020-08-04 2021-12-10 中煤科工集团沈阳研究院有限公司 掘进工作面无人值守自动可视化监控系统及监控方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005033709A (ja) * 2003-07-11 2005-02-03 Nissan Motor Co Ltd 車両用周辺監視装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5418243A (en) * 1977-07-12 1979-02-10 Toshiba Corp Picture display unit
JPH05103336A (ja) * 1991-10-11 1993-04-23 Olympus Optical Co Ltd カラー映像信号処理装置およびカラー映像信号の色補正方法
GB2262339B (en) * 1991-12-13 1995-09-06 Honda Motor Co Ltd Method of inspecting the surface of a workpiece
JP2856386B2 (ja) * 1994-10-26 1999-02-10 松下電器産業株式会社 色彩調整装置及びその方法
JP3759280B2 (ja) * 1997-04-15 2006-03-22 富士通株式会社 道路監視用事象検知装置
JP3724188B2 (ja) * 1998-04-30 2005-12-07 コニカミノルタホールディングス株式会社 固体撮像装置
JP4126784B2 (ja) * 1998-10-30 2008-07-30 株式会社ニコン 画像取り込み装置
JP2000307896A (ja) * 1999-04-15 2000-11-02 Toshiba Corp 画像処理装置及び画像処理方法
JP4256028B2 (ja) * 1999-07-02 2009-04-22 富士フイルム株式会社 圧縮符号化装置および方法
JP2001126075A (ja) * 1999-08-17 2001-05-11 Fuji Photo Film Co Ltd 画像処理方法および装置並びに記録媒体
JP2001078090A (ja) * 1999-09-02 2001-03-23 Fuji Photo Film Co Ltd 広ダイナミックレンジ記録画像再生装置
JP2001119683A (ja) * 1999-10-20 2001-04-27 Fujitsu General Ltd 画像センサ装置
JP2001136492A (ja) * 1999-11-09 2001-05-18 Fuji Photo Film Co Ltd 画像再生装置
JP4245782B2 (ja) * 2000-07-03 2009-04-02 オリンパス株式会社 撮像装置
JP2002044526A (ja) * 2000-07-21 2002-02-08 Minolta Co Ltd 固体撮像装置
JP4281311B2 (ja) * 2001-09-11 2009-06-17 セイコーエプソン株式会社 被写体情報を用いた画像処理
JP2003101886A (ja) * 2001-09-25 2003-04-04 Olympus Optical Co Ltd 撮像装置
JP4099011B2 (ja) * 2002-07-10 2008-06-11 富士重工業株式会社 監視装置および監視方法
JP4407163B2 (ja) * 2003-05-30 2010-02-03 株式会社ニコン カメラシステム
JP3994941B2 (ja) * 2003-07-22 2007-10-24 オムロン株式会社 車両用レーダ装置
JP2005057358A (ja) * 2003-08-06 2005-03-03 Nikon Corp 電子カメラおよび画像処理プログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005033709A (ja) * 2003-07-11 2005-02-03 Nissan Motor Co Ltd 車両用周辺監視装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
NAKAJIMA A.: "Wide Dynamic Range Camera [HNDC Series]", EIZO JOHO INDUSTRIAL, KABUSHIKI KAISHA SANGYO KAIHATSU KIKO, NIPPON, vol. 35, no. 1, 1 January 2003 (2003-01-01), pages 41 - 46, XP003005818 *
See also references of EP1868370A4 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009246444A (ja) * 2008-03-28 2009-10-22 Nissan Motor Co Ltd 映像表示システム及び映像表示方法
KR101309733B1 (ko) * 2010-03-02 2013-09-17 아우토리브 디벨롭먼트 아베 자동차의 운전자 보조 시스템 및 운전자 보조 방법
JP2018078520A (ja) * 2016-11-11 2018-05-17 株式会社デンソー 画像処理装置

Also Published As

Publication number Publication date
EP1868370A4 (en) 2009-04-22
EP1868370A1 (en) 2007-12-19
CN101142812A (zh) 2008-03-12
JPWO2006098358A1 (ja) 2008-08-28
US20090015683A1 (en) 2009-01-15
JP4985394B2 (ja) 2012-07-25

Similar Documents

Publication Publication Date Title
JP4985394B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
JP5182555B2 (ja) 画像処理装置および画像処理方法、画像処理システム、プログラム、並びに、記録媒体
JP4835593B2 (ja) 画像処理装置および画像処理方法、プログラム、並びに、記録媒体
US20090016636A1 (en) Image processing apparatus, and method, program and recording medium
JP4678487B2 (ja) 画像処理システム、画像処理装置および方法、記録媒体、並びにプログラム
US20060215882A1 (en) Image processing apparatus and method, recording medium, and program
US9639764B2 (en) Image recognition system for vehicle for traffic sign board recognition
JP4399174B2 (ja) 自動車のディスプレイユニット、自動車の夜間視認装置および自動車の赤外線夜間視認装置を備えた車両
JP6740866B2 (ja) 画像出力装置
JP6531542B2 (ja) 画像処理システム、画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体
JP2016196233A (ja) 車両用道路標識認識装置
US10129458B2 (en) Method and system for dynamically adjusting parameters of camera settings for image enhancement
US10525902B2 (en) Convertible roof opening detection for mirror camera
US20060228024A1 (en) Method for adjusting an image sensor
JP6593581B2 (ja) 画質調整装置並びにカメラユニット
JP3385475B2 (ja) 画像監視装置
CN101142811A (zh) 图像处理装置和图像处理方法、程序以及记录介质
JP2005333248A (ja) カメラ式車両感知器における画面の輝度調整方法及び装置
JP2002268116A (ja) 自動露出制御装置およびそのプログラムを組み込んだ外部記憶媒体
EP4209990A2 (en) Blended gray image enhancement
JP2007249568A (ja) 画像処理装置および方法、記録媒体、並びに、プログラム
JP2022112195A (ja) 画像表示装置
JPH03276379A (ja) 車番自動読取装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200680008632.6

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application
DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
WWE Wipo information: entry into national phase

Ref document number: 11908939

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2006729136

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: RU

WWP Wipo information: published in national office

Ref document number: 2006729136

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2007508175

Country of ref document: JP

Kind code of ref document: A