WO2006098360A1 - 画像処理装置および画像処理方法、画像処理システム、プログラム、並びに、記録媒体 - Google Patents

画像処理装置および画像処理方法、画像処理システム、プログラム、並びに、記録媒体 Download PDF

Info

Publication number
WO2006098360A1
WO2006098360A1 PCT/JP2006/305117 JP2006305117W WO2006098360A1 WO 2006098360 A1 WO2006098360 A1 WO 2006098360A1 JP 2006305117 W JP2006305117 W JP 2006305117W WO 2006098360 A1 WO2006098360 A1 WO 2006098360A1
Authority
WO
WIPO (PCT)
Prior art keywords
luminance
image
range
area
gradation
Prior art date
Application number
PCT/JP2006/305117
Other languages
English (en)
French (fr)
Inventor
Tanichi Ando
Original Assignee
Omron Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corporation filed Critical Omron Corporation
Priority to EP06729138A priority Critical patent/EP1871093A4/en
Priority to JP2007508177A priority patent/JP5182555B2/ja
Priority to US11/908,955 priority patent/US20090051794A1/en
Priority to CN2006800086218A priority patent/CN101142810B/zh
Publication of WO2006098360A1 publication Critical patent/WO2006098360A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration by the use of histogram techniques
    • G06T5/92—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/782—Television signal recording using magnetic recording on tape

Definitions

  • Image processing apparatus image processing method, image processing system, program, and recording medium
  • the present invention relates to an image processing apparatus, an image processing method, an image processing system, a program, and a recording medium, and in particular, luminance compression so as to be easy to handle when various processes are performed using an image.
  • the present invention relates to an image processing apparatus, an image processing method, an image processing system, a program, and a recording medium that can obtain an image having a wide dynamic range.
  • Patent Document 1 Japanese Unexamined Patent Publication No. 2000-32303
  • FIG. 1 is a block diagram showing a configuration of a conventional wide dynamic range camera that can obtain an image with a wide dynamic range by synthesizing images captured by a CCD at different shot times.
  • the solid-state imaging device 11 captures a high-speed shotta image and a low-speed shotta image based on the control of the exposure control unit 21 of the control unit 14.
  • the low-speed shot image is, for example, an image with a shot-ta speed of S1Z60
  • the high-speed shot image is, for example, an image with a shot-ta speed of 1Z2000.
  • the video signal obtained by the solid-state imaging device 11, that is, the low speed shot image Z, the high speed shot image is converted into an analog Z digital signal by the AZD converter 12, and the frame memory 31-1 or 31 of the digital processing unit 13 is converted. — Alternately written to 2.
  • the signal read from the frame memory 31-1 or 31-2 is supplied to the synthesis processing circuit 32, synthesized there, and then outputted through the process circuit 33.
  • the control unit 14 is composed of a CPU 22 and an exposure control unit 21.
  • the CPU 22 performs calculations using the photometric data supplied from the digital processing unit 13, supplies the result to the exposure control unit 21 that controls the shutter speed and aperture of the solid-state imaging element 11, and based on the result.
  • the digital processing unit 13 is controlled.
  • a low-speed shotta captures a low brightness !, part (high brightness !, part is saturated) and captures a high-speed shotta.
  • the high luminance part of the subject is captured (the low luminance part is dark and cannot be captured).
  • the pixel value of the pixel in the bright area of the subject is limited to the maximum pixel value that can be output by the CCD image sensor.
  • luminance clipping that limits the pixel value of pixels in the dark area of the subject to the minimum pixel value that can be output by the CCD image sensor, so that an image with a wide dynamic range can be obtained as described above. Requires complex image composition processing.
  • the present invention has been made in view of such a situation, and it is possible to handle brightness when compressing various types of processing using an image without performing complicated processing. It is possible to obtain an image with a wide dynamic range.
  • the image processing apparatus of the present invention includes an acquisition unit that acquires an image signal composed of pixel values that are substantially proportional to the logarithm of the incident light amount, and a total luminance range of the image signal acquired by the acquisition unit.
  • a luminance range setting means for setting a predetermined luminance range; and the acquisition means so that more gradations are assigned to the predetermined luminance range set by the luminance range setting means than outside the luminance range.
  • Conversion means for converting the luminance of the pixels included in the image signal.
  • the acquisition unit, the luminance range setting unit, or the conversion unit is configured by dedicated hardware or realized by a computer or the like that has read a program.
  • the computer is, for example, a CPU (Central Processing Unit), Consists of computing devices such as DSP (Digital Signal Processor).
  • the image data obtained in this way when the image data obtained in this way is displayed, the image data can be recognized by the user, and the image data can be easily deleted.
  • an image printing apparatus, an image recognition apparatus, an image recording apparatus In an external device that uses an image such as an image communication device, it can be used as wide dynamic range image data with compressed luminance.
  • the luminance range setting means can set a plurality of the predetermined luminance ranges.
  • a ZD conversion means for performing AZD conversion on the image signal in the entire luminance range of the image signal acquired by the acquisition means can be further provided.
  • the image signal converted into the digital signal can be converted.
  • the AZD conversion means is realized by a force constituted by dedicated hardware, a computer that reads a program, and the like, and the computer is constituted by an arithmetic device such as a CPU or DSP, for example.
  • the conversion means acquisition is performed by the acquisition means so that the number of luminance gradations after conversion is less than the number of luminance gradations of the pixels included in the image signal converted into a digital signal by the AZD conversion means.
  • the converted image signal can be converted.
  • luminance is compressed means, for example, that the luminance is reduced by the step number power conversion of the luminance gradation that the entire captured image data has.
  • the luminance gradation number of the image signal converted by the conversion means is converted into a gradation number that can be processed by a predetermined external device, and output for controlling the output of the converted image signal to the external device Control means can be further provided.
  • the output control means is realized by a force constituted by dedicated hardware, a computer reading a program, and the like, and the computer is constituted by an arithmetic device such as a CPU or DSP, for example.
  • the predetermined external device includes, for example, various information processing devices that execute processing using an image, such as an image printing device, an image recognition device, an image recording device, and an image communication device.
  • the image signal converted by the conversion means is notably the luminance of the imaging target and the luminance of the image data. There is no need to correspond one-to-one with the data (the luminance of the object to be imaged and the luminance data of the image data correspond to the linear)! It is preferable to be used in an apparatus that executes image processing for executing wrinkle processing.
  • the conversion means can further comprise AZD conversion means for AZD conversion of the image signal acquired by the acquisition means, and a determination means for determining the number of gradation steps in AZD conversion by the AZD conversion means.
  • the determining means can determine the number of gradation steps in the AZD conversion so that more gradations are assigned to the predetermined luminance range set by the luminance range setting means than outside the luminance range.
  • the AZD conversion means can perform AZD conversion of the image signal based on the number of gradation steps determined by the determination means.
  • the AZD conversion means and the determination means are configured by dedicated hardware, and are realized by a computer or the like that has read a program.
  • the computer is configured by an arithmetic device such as a CPU or DSP, for example.
  • the ratio between the input analog signal level before AZD conversion and the digital signal level after conversion is constant.
  • general image processing such as binarization and detection of a predetermined object becomes difficult.
  • the number of key steps is relatively small, for example, there is no difference in image density when displayed or printed out.
  • an image in the set luminance range has, for example, sufficient shading. Displayed or printed out with a difference.
  • the threshold for binarization can be easily determined in various image processing, or based on the image. Predetermined target An object can be easily detected.
  • the image signal can be captured by a logarithmic conversion type imaging device that outputs a pixel value substantially proportional to the logarithm of the incident light quantity by utilizing the sub-threshold characteristic of the semiconductor.
  • the image pickup device is capable of picking up an image of a subject with a wider dynamic range than a human eye.
  • the image processing method of the present invention is an image processing method of an image processing apparatus that processes a captured image signal that has a pixel value that is substantially proportional to the logarithm of the amount of incident light, and that acquires an image signal.
  • a luminance range setting step for setting a predetermined luminance range out of the entire luminance range of the image signal acquired by the step and the processing of the acquisition step, and the predetermined luminance range set by the processing of the luminance range setting step.
  • the image signal for example, can be taken by a logarithmic conversion type imaging device that outputs a pixel value that is substantially proportional to the logarithm of the incident light quantity by utilizing the sub-threshold characteristic of the semiconductor. .
  • the image sensor is, for example, HDRC (High Dynamic Range CMOS (Complementary Metal
  • Such an image sensor can capture a subject with a wider dynamic range than the human eye.
  • the conversion step may convert the image signal converted into a digital signal by AZD conversion. it can.
  • the conversion step it is necessary to reduce the number of luminance gradations after conversion from the number of luminance gradations of pixels included in the image signal converted into a digital signal by AZD conversion. Let's convert the image signal acquired by the acquisition step.
  • the conversion step includes an AZD conversion step for AZD conversion of the image signal acquired in the acquisition step, and a number of gradation steps in the AZD conversion by the AZD conversion step.
  • the number of gradation steps in AZD conversion can be determined, and in the AZD conversion step, the image signal can be AZD converted based on the number of gradation steps determined in the determination step. it can.
  • the program of the present invention and the program recorded on the recording medium are programs for causing a computer to process a captured image signal having a pixel value substantially proportional to the logarithm of the incident light quantity.
  • An acquisition control step for controlling the acquisition of the image signal, a luminance range setting step for setting a predetermined luminance range among all the luminance ranges of the image signal whose acquisition is controlled by the processing of the acquisition control step, and a luminance range setting The luminance of the pixels included in the image signal whose acquisition is controlled by the processing of the acquisition control step so that more gradations are assigned to the predetermined luminance range set by the processing of the step than outside the luminance range.
  • the computer is caused to execute processing characterized by including a conversion step for converting.
  • the image signal for example, can be taken by a logarithmic conversion type imaging device that outputs a pixel value that is substantially proportional to the logarithm of the incident light amount by utilizing the subthreshold characteristic of the semiconductor. .
  • the image sensor is, for example, HDRC (High Dynamic Range CMOS (Complementary Metal
  • Such an image pickup device can pick up an image of a subject with a wider dynamic range than human eyes.
  • the conversion step may convert the image signal converted into a digital signal by AZD conversion. it can.
  • the conversion step it is necessary to reduce the number of gradations of the luminance after conversion from the number of gradations of the luminance of the pixels included in the image signal converted into a digital signal by AZD conversion. Let's convert the image signal acquired by the acquisition step.
  • the image signal acquired in the acquisition step is AZD converted.
  • An AZD conversion step and a determination step for determining the number of gradation steps in the AZD conversion by the AZD conversion step can be further included.
  • the determination step the predetermined range set by the luminance range setting step is included. It is possible to determine the number of gradation steps in the AZD conversion so that more gradations are assigned to the luminance range than outside the luminance range.
  • the gradation step determined by the determination step is determined. Based on the number of images, the image signal can be AZD converted.
  • a first image processing system of the present invention includes an image processing device that processes an image signal picked up by an image pickup device that outputs a pixel value that is substantially proportional to the logarithm of the amount of incident light, and a processing performed by the image processing device.
  • An image processing system configured to include an information processing device that performs processing using the captured image signal, the image processing device acquiring an image signal captured by the image sensor and an acquisition unit Among the luminance ranges of the received image signal, the luminance range setting means for setting a plurality of luminance ranges, and the gradation range set by the luminance range setting means are assigned more gradations than outside the luminance range, and A conversion means for converting the image signal acquired by the acquisition means so that the number of luminance gradations is less than the number of luminance gradations of the pixels included in the image signal acquired by the acquisition means; Output that controls the output of the converted image signal to the information processing device while converting the number of luminance gradations of the image signal converted by the conversion means to the number of gradations that can be processed by the information processing device. And a control means.
  • An imaging device that performs imaging using an imaging device that outputs a pixel value substantially proportional to the logarithm of the incident light quantity can be further provided.
  • the image pickup device can be, for example, a logarithmic conversion type image pickup device that outputs a pixel value substantially proportional to the logarithm of the incident light amount by utilizing a sub-threshold characteristic of a semiconductor.
  • a logarithmic conversion type image pickup device that outputs a pixel value substantially proportional to the logarithm of the incident light amount by utilizing a sub-threshold characteristic of a semiconductor.
  • the information processing apparatus includes various information processing apparatuses that execute processing using an image, such as an image printing apparatus, an image recognition apparatus, an image recording apparatus, and an image communication apparatus.
  • an image such as an image printing apparatus, an image recognition apparatus, an image recording apparatus, and an image communication apparatus.
  • the luminance of the imaging target and the luminance data of the image data correspond one-to-one (the luminance of the imaging target and the luminance data of the image data correspond linearly). Yes) There is no need! ⁇ Perform image processing Information processing to perform image processing It is preferable to be used in a physical device.
  • the second image processing system of the present invention includes an image processing device that processes a captured image signal, which has a pixel value substantially proportional to the logarithm of the incident light amount, and an image signal processed by the image processing device.
  • the image processing apparatus includes an acquisition unit that acquires an image signal and a predetermined luminance range among the entire luminance range of the image signal acquired by the acquisition unit.
  • Brightness range setting means for setting the image
  • AZD conversion means for AZD conversion of the image signal acquired by the acquisition means
  • determination means for determining the number of gradation steps in AZD conversion by the AZD conversion means
  • conversion by the AZD conversion means Output control means for controlling the output of the received image signal to the information processing apparatus, and the determining means has a predetermined brightness range set by the brightness range setting means and a gradation greater than that outside the brightness range.
  • the number of gradation steps in the AZD conversion is determined so as to be assigned, and the A / D conversion means performs A and D conversion on the image signal based on the number of gradation steps determined by the determination means. .
  • the acquired image signal is captured by a logarithmic conversion type image sensor that outputs a pixel value substantially proportional to the logarithm of the incident light amount using, for example, the subthreshold characteristic of the semiconductor.
  • the imaging device can be, for example, HDRC.
  • the degree of the image signal captured by the image sensor that outputs a pixel value that is substantially proportional to the logarithm of the incident light quantity.
  • a predetermined luminance range is set, and the luminance of the pixels included in the image signal is converted so that more gradations are assigned to this luminance range than outside the luminance range.
  • a captured image signal can be processed, and in particular, an image with a wide dynamic range can be obtained with a small number of luminance gradation steps without performing complicated processing.
  • FIG. 1 is a diagram illustrating the operating principle of a conventional wide dynamic range camera.
  • FIG. 2 is a block diagram showing an embodiment of an image processing system of the present invention.
  • FIG. 3 is a block diagram showing an embodiment of the imaging unit in FIG.
  • FIG. 4 is a graph showing sensitivity characteristics of a logarithmic conversion type image sensor.
  • FIG. 5 is a block diagram illustrating a first configuration example of an image generation unit.
  • FIG. 6A is a diagram for explaining the conversion of the output level with respect to the input level.
  • FIG. 6B is a diagram for explaining the conversion of the output level with respect to the input level.
  • FIG. 6C is a diagram for explaining the conversion of the output level with respect to the input level.
  • FIG. 7A is a diagram for explaining conversion of an output level with respect to an input level.
  • FIG. 7B is a diagram for explaining the conversion of the output level with respect to the input level.
  • FIG. 7C is a diagram for explaining the conversion of the output level with respect to the input level.
  • FIG. 8A is a diagram for explaining an input signal, a signal after gradation conversion, and a signal to be displayed.
  • FIG. 8B is a diagram for explaining an input signal, a signal after gradation conversion, and a signal to be displayed.
  • FIG. 8C is a diagram for explaining an input signal, a signal after gradation conversion, and a signal to be displayed.
  • FIG. 9 is a flowchart for explaining image display processing 1.
  • FIG. 10 is a diagram for explaining a difference in display images.
  • FIG. 11 is a diagram for explaining a difference in display images.
  • FIG. 12 is a diagram for explaining a difference in display images.
  • FIG. 13 is a diagram for explaining a display image.
  • FIG. 14 is a block diagram illustrating a second configuration example of the image generation unit.
  • FIG. 15A is a diagram for explaining the conversion of the output level with respect to the input level.
  • FIG. 15B is a diagram for explaining the conversion of the output level with respect to the input level.
  • FIG. 15C is a diagram for explaining the conversion of the output level with respect to the input level.
  • FIG. 16A is a diagram for explaining an input signal, a signal after gradation conversion, and a signal to be displayed.
  • FIG. 16B is a diagram for explaining an input signal, a signal after gradation conversion, and a signal to be displayed.
  • FIG. 16C is a diagram for describing an input signal, a signal after gradation conversion, and a signal to be displayed.
  • FIG. 17 is a flowchart for explaining image display processing 2;
  • FIG. 18 is a diagram for explaining a display image.
  • FIG. 19 is a diagram for explaining a display image.
  • FIG. 20 is a block diagram illustrating a third configuration example of the image generation unit.
  • FIG. 21 is a block diagram illustrating a fourth configuration example of the image generation unit.
  • FIG. 22 is a diagram for explaining the cutout region.
  • FIG. 23 is a flowchart for explaining image display processing 3;
  • FIG. 24 is a block diagram illustrating a fifth configuration example of the image generation unit.
  • FIG. 25 is a flowchart for explaining image display processing 4.
  • FIG. 26 is a block diagram illustrating a sixth configuration example of the image generation unit.
  • FIG. 27 is a block diagram illustrating a seventh configuration example of the image generation unit.
  • FIG. 28 is a diagram for explaining histogram analysis and luminance range setting.
  • FIG. 29 is a flowchart for explaining image display processing 5;
  • FIG. 30 is a block diagram illustrating an eighth configuration example of an image generation unit.
  • FIG. 31 is a flowchart for explaining image display processing 6;
  • FIG. 32 is a block diagram illustrating a ninth configuration example of the image generation unit.
  • FIG. 33 is a diagram for explaining histogram analysis and luminance range setting.
  • FIG. 34 is a flowchart for explaining image display processing 7;
  • FIG. 35 is a block diagram showing an image processing system according to an embodiment of the present invention.
  • FIG. 36 is a block diagram showing an embodiment of the imaging unit in FIG. 35.
  • FIG. 37 is a block diagram illustrating a first configuration example of a gradation assignment determination unit.
  • FIG. 38A is a diagram for explaining gradation assignment for AZD conversion.
  • FIG. 38B is a diagram for explaining gradation assignment for AZD conversion.
  • FIG. 38C is a diagram for explaining gradation assignment for AZD conversion.
  • FIG. 39A is a diagram for explaining gradation assignment for AZD conversion.
  • FIG. 39B is a diagram for describing gradation assignment for AZD conversion.
  • FIG. 39C is a diagram for describing gradation assignment for AZD conversion.
  • FIG. 40A is a diagram for describing an input analog signal, a signal after AZD conversion, and a signal to be displayed.
  • FIG. 40B is a diagram for describing an input analog signal, a signal after AZD conversion, and a signal to be displayed.
  • FIG. 40C is a diagram for describing an input analog signal, a signal after AZD conversion, and a signal to be displayed.
  • [41A] It is a diagram for explaining gradation assignment of AZD conversion.
  • FIG. 41B is a diagram for describing gradation assignment for AZD conversion.
  • ⁇ 41C It is a diagram for explaining gradation assignment of AZD conversion.
  • FIG. 42A is a diagram for describing an input analog signal, a signal after AZD conversion, and a signal to be displayed.
  • FIG. 42B is a diagram for describing an input analog signal, a signal after AZD conversion, and a signal to be displayed.
  • FIG. 42C is a diagram for describing an input analog signal, a signal after AZD conversion, and a signal to be displayed.
  • FIG. 43 is a flowchart for explaining image display processing 8;
  • FIG. 44 is a block diagram illustrating a second configuration example of the gradation assignment determining unit.
  • FIG. 45A is a diagram for explaining gradation assignment for AZD conversion.
  • FIG. 45B is a diagram for explaining gradation assignment for AZD conversion.
  • FIG. 45C is a diagram for explaining gradation assignment for AZD conversion.
  • FIG. 46A is a diagram for explaining an input analog signal, a signal after AZD conversion, and a signal to be displayed.
  • FIG. 46B is a diagram for explaining an input analog signal, a signal after AZD conversion, and a signal to be displayed.
  • FIG. 46C is a diagram for describing an input analog signal, a signal after AZD conversion, and a signal to be displayed.
  • FIG. 47 is a flowchart for explaining image display processing 9;
  • FIG. 48 is a block diagram showing a third configuration example of the gradation assignment determining unit.
  • FIG. 49 is a block diagram illustrating a fourth configuration example of the gradation assignment determining unit.
  • FIG. 50 is a flowchart for explaining image display processing 10.
  • FIG. 51 is a block diagram showing a fifth configuration example of the gradation assignment determining unit.
  • FIG. 52 is a flowchart for explaining image display processing 11.
  • FIG. 53 is a block diagram illustrating a sixth configuration example of the gradation assignment determining unit.
  • FIG. 54 is a block diagram showing a seventh configuration example of the gradation assignment determining unit.
  • FIG. 55 is a diagram for explaining histogram analysis and luminance range setting.
  • FIG. 56 is a flowchart for explaining image display processing 12
  • FIG. 57 is a block diagram illustrating an eighth configuration example of a gradation assignment determining unit.
  • FIG. 58 is a flowchart for explaining image display processing 13;
  • FIG. 59 is a block diagram illustrating a ninth configuration example of the gradation assignment determining unit.
  • FIG. 60 is a diagram for explaining histogram analysis and luminance range setting.
  • FIG. 61 is a flowchart for explaining image display processing 14;
  • FIG. 62 is a block diagram illustrating a configuration example of a personal computer.
  • FIG. 2 is a block diagram showing an embodiment of the image processing device 81.
  • the imaging unit 91 images the subject based on the user's operation input supplied from the operation input unit 92 and supplies the obtained image signal to the image generation unit 93. Details of the imaging unit 91 will be described later with reference to FIG.
  • the operation input unit 92 includes input devices such as buttons such as a relays button, operation keys, and a touch panel, for example, receives an operation input from the user, and supplies a command from the user to the imaging unit 91.
  • the user's operation input is, for example, an imaging timing command (relays In addition to pressing a button, for example, it may be a command to start or end moving image capturing (in other words, continuous frame imaging), and further, the time of image capturing start or end It may be a setting.
  • the operation input unit 92 receives an input of a predetermined set value used for processing of the image generation unit 93 by the user, the operation input unit 92 supplies the set value to the image generation unit 93.
  • the image generation unit 93 executes processing for converting the image signal supplied from the imaging unit 91 into an image signal suitable for display and print output, and supplies the image signal to the display control unit 94 or the output control unit 95.
  • the image generation unit 93 receives input of setting values necessary for processing from the operation input unit 92 as necessary, and based on this, the image signal supplied from the imaging unit 91 is displayed or printed. A process of converting to a suitable image signal is executed.
  • the display control unit 94 performs processing for converting the processed image signal supplied from the image generation unit 93 into the resolution and the number of gradations of the display 82, and supplies the processed signal to the display 82. To do.
  • the output control unit 95 performs a process of converting the processed image signal supplied from the image generation unit 93 into a resolution and the number of gradations that can be processed by the image using device 83, and the processed signal is Output to the image utilization device 83.
  • the display 82 receives an input of a display image signal supplied from the display control unit 94, and displays an image (a still image or a moving image including a plurality of frames).
  • the image utilization device 83 requests input of the image signal supplied from the output control unit 95, and executes predetermined processing.
  • various information processing devices that perform processing using an image such as an image printing device, an image recognition device, an image recording device, and an image communication device may be used. it can.
  • the image signal generated by the image generation unit 93 has a one-to-one correspondence between the luminance of the imaging target and the luminance data of the image data (the luminance of the imaging target, the luminance data of the image data, and the power S). It is preferable to use the image utilization apparatus 83 that executes processing that does not need to be performed in a linear manner.
  • the brightness of the imaging target and the brightness data of the image data do not have to correspond one-to-one!
  • the processing includes, for example, print output, recording processing, processing for recognizing a predetermined object in the image, image There are processing to detect the edge portion or straight line portion in the inside, binarization processing, or transmission processing to other devices that execute such processing.
  • FIG. 3 is a block diagram illustrating a more detailed configuration example of the imaging unit 91 of the image processing apparatus 81 in FIG.
  • the imaging unit 91 is configured to include a lens 101 and a logarithmic conversion type imaging device 102.
  • the logarithmic conversion type imaging device 102 is a logarithmic conversion type imaging device such as HDRC (High Dynamic Range CMOS (Complementary Metal Oxide Semiconductor)), for example, and includes a light detection unit 111, a logarithmic conversion unit 112, an AZD conversion unit 113, And an imaging timing control unit 114.
  • HDRC High Dynamic Range CMOS (Complementary Metal Oxide Semiconductor)
  • the light that is also generated by the subject imaged by the imaging unit 91 enters the lens 101, and the light (not shown) of the light detection unit 111 of the logarithmic conversion type imaging device 102 An image is formed on the detection surface.
  • the light detection unit 111 is configured by, for example, a light-receiving element that has power, such as a plurality of photodiodes.
  • the light detection unit 111 converts the light of the subject imaged by the lens 101 into a charge corresponding to the brightness (illuminance) of the incident light, and accumulates the converted charge.
  • the light detection unit 111 supplies the accumulated charge to the logarithmic conversion unit 112 in synchronization with the control signal supplied from the imaging timing control unit 114.
  • the logarithmic conversion unit 112 is configured by, for example, a plurality of MOSFETs (Metal Oxide Semiconductor Field Effect Transistors).
  • the logarithmic conversion unit 112 uses the sub-threshold characteristic of the MOSFET to convert the charge supplied from the light detection unit 111 to the logarithm of the number of charges (the intensity of current) for each pixel (the logarithm of the amount of light of the subject).
  • An analog electrical signal converted to a voltage value approximately proportional to is generated.
  • the logarithmic conversion unit 112 supplies the generated analog electrical signal to the AZD conversion unit 113.
  • the AZD conversion unit 113 performs AZD conversion of an analog electrical signal into digital image data in synchronization with the control signal supplied from the imaging timing control unit 114. For example, when converted to 24-bit unsigned binary digital image data, the pixel value of the image data takes a value in the range from 0, the darkest to 224-1, which is the darkest. The AZD conversion unit 113 supplies the converted digital image data to the image processing device 92.
  • the imaging unit 91 determines the brightness of the light of the subject incident on the light detection unit 111 (incident light amount). Digital image data having a pixel value power proportional to the logarithm of) is output.
  • the details of the logarithmic conversion type image sensor are disclosed in, for example, JP-T-7-506932.
  • FIG. 4 is a graph showing sensitivity characteristics of the logarithmic conversion type imaging device 102, a CCD (Charge Coupled Device) imaging device, a silver salt film, and the human eye.
  • the horizontal axis in Fig. 4 shows the logarithmic value of the illuminance of incident light (unit: lux), and the vertical axis shows the sensitivity to the illuminance of incident light.
  • Line 121 shows the sensitivity characteristic of the logarithmic conversion image sensor 102
  • line 122 shows the sensitivity characteristic of the CCD image sensor
  • line 123 shows the sensitivity characteristic of the silver salt film
  • line 124 shows the sensitivity characteristic of the human eye.
  • the logarithmic conversion type image pickup element 102 outputs image data composed of luminance values (or pixel values) substantially proportional to the logarithm of the incident light quantity. Therefore, even when the incident light quantity increases, The capacitance of elements such as photodiodes and MOSFETs constituting the logarithmic conversion type image sensor 102 is saturated, and the current flowing through each element and the applied voltage exceed the range in which output corresponding to the input of each element can be performed. There is nothing. Therefore, it is possible to obtain a luminance value (or a pixel value) according to the variation in the amount of incident light almost accurately within the range of luminance that can be imaged.
  • the intensity of the incident light intensity of the subject force is wider than the human eye, for example, about 170 dB dynamic range from about 1 millilux to about 500 kilolux higher than the brightness of sunlight. It is possible to capture an image consisting of a luminance value (or pixel value) that accurately reflects.
  • the dynamic range of the logarithmic conversion type image sensor 102 used in the imaging unit 91 is not limited to the above-mentioned 170 dB, and corresponds to the required dynamic range, such as about 100 dB or 200 dB, depending on the purpose of use. If you use something,
  • the logarithmic conversion type image pickup element 102 outputs image data having a pixel value having a value approximately proportional to the logarithm of the incident light quantity, thereby forming the logarithmic conversion type image pickup element 102.
  • the CCD image sensor, the silver salt film, and about 1 millilux force which is wider than the human eye, is higher than the brightness of sunlight.
  • the subject can be imaged with a dynamic range of approximately 170 dB up to k lux.
  • the imaging unit 91 using the logarithmic conversion type imaging device 102 does not generate luminance clipping in the luminance range that can be visually recognized by humans, and therefore adjusts the amount of incident light by adjusting the aperture, shirt speed, and the like. There is no need. That is, the imaging unit 91 can faithfully capture a detailed change in luminance of the subject without adjusting the amount of incident light.
  • the imaging unit 91 when imaging the front of the vehicle from the inside of the vehicle in the daytime, the imaging unit 91 faithfully reproduces the state of the sun and the road ahead without adjusting the amount of incident light even if the sun is within the angle of view. It is possible to capture a reproducible image.
  • the imaging unit 91 when imaging the front of the vehicle from inside the vehicle at night, the imaging unit 91 does not adjust the amount of incident light and adjusts itself from the light of the headlight of the oncoming vehicle, even if the headlight of the oncoming vehicle is also illuminated. It is possible to capture an image that faithfully reproduces even the part not illuminated by the car headlight.
  • the logarithmic conversion is performed in comparison with the case where the sensitivity characteristic is not proportional to the logarithm of the illuminance of incident light due to factors such as the gamma characteristic.
  • the sensitivity characteristic is almost proportional to the logarithm of the illuminance of incident light.
  • the image pickup unit 91 using the logarithmic conversion type image pickup element 102 is not affected by the occurrence of luminance clipping, adjustment of the amount of incident light, and gamma characteristics.
  • the pixel value fluctuates so as to reflect the change in luminance of the subject and the movement of the subject almost faithfully.
  • the pixel value of the image data output from the imaging unit 91 is a value that is approximately proportional to the logarithm of the incident light quantity, so that regardless of the brightness (illuminance) of the light applied to the subject.
  • the difference in the histogram width indicating the pixel value distribution of the first and second image data is about 100 times.
  • the variation values of the pixel values of the image data obtained by imaging the subject are substantially the same. For example, if there are two areas with a luminance ratio of 100: 1 in the subject, the illuminance of the light radiated to the subject changes almost uniformly, and the subject's luminance changes by + 5%, which is about the same ratio. When this is done, the fluctuation values of the pixel values corresponding to the two areas are almost the same value (log 1.05).
  • the difference between the fluctuation values of the pixel values corresponding to the two areas described above is about 100 times.
  • the logarithmic conversion type image sensor 102 has the sensitivity of the human eye (characteristic shown by the line 124 in FIG. 4), the sensitivity of the CCD image sensor (in FIG. 4). Compared to the characteristics shown by line 122) and the sensitivity of the silver salt film (characteristic shown by line 123 in Fig. 4), the brightness range is very wide. For this reason, when all gradations of image data captured by the imaging unit 91 using the logarithmic conversion type image sensor 102 are converted into gradations corresponding to the display 82 and displayed, they are visible to the human eye. Compared to images and images taken using a conventional CCD image sensor or silver halide film, there is no difference in density, in other words, an image without sharpness.
  • the force-captured image data is obtained by faithfully capturing both a very dark part and a very bright part.
  • the display 82 is displayed with the gradation converted based on the number of gradations that can be displayed, both the captured and very bright parts and the very bright parts are referred to the displayed image by the user.
  • the central portion of the entire gradation that can be identified by the user is displayed with a small difference in shading.
  • the captured image data is converted to the number of gradations that can be processed by the output destination device, the printed image will be Similarly, there is no difference in shading compared to images that are visible to the human eye or images captured using a conventional CCD image sensor or silver halide film, in other words, an image that is not sharp. .
  • the luminance range that can be obtained by converting the entire luminance range of an image captured by the imaging unit 91 using the logarithmic conversion type imaging element 102 into a gradation that can be displayed on the display 82 is not obtained.
  • the highest and lowest luminance values of the pixels included in the obtained image are extracted.
  • the image quality of the image displayed when the luminance range included in one image is relatively narrow is clearly improved.
  • the user's ability to refer to the displayed image can be used for both the very dark and very bright images. Is indistinguishable, resulting in a display image with a small difference in shading in the central part of the overall gradation that can be identified by the user.
  • the image generation unit 93 when the image data captured by the imaging unit 91 using the logarithmic conversion type image sensor 102 is supplied and displayed at a gradation corresponding to the display 82, or Image processing that can generate image data that can be displayed or printed out in a state that can be identified by the user even when output at a gradation corresponding to the external device of the output destination Is executed.
  • FIG. 5 is a block diagram showing a configuration of an image generation unit 93-1 which is a first example of the configuration of the image generation unit 93 in FIG.
  • the average luminance calculation unit 131 acquires the image signal supplied from the imaging unit 91, calculates the average luminance, and supplies the average luminance calculation result to the main region luminance range setting unit 132.
  • the main area luminance range setting unit 132 sets the luminance range of the main area based on the average luminance of the image signal supplied from the average luminance calculation unit 131, and outputs the set luminance range of the main area as an output level.
  • a conversion processing unit 135 and a second luminance area luminance average value calculating unit 133 are supplied.
  • the main area luminance range setting unit 132 may use a predetermined luminance range centered on the average luminance of the image signal as the main area luminance range, for example, and the pixel that is the average luminance of the image signal. As a center, a pixel having a predetermined number of bits may be selected in order from a pixel having a luminance value close to the luminance, and the luminance range of the main region may be selected.
  • the second luminance area luminance average value calculation unit 133 has a higher luminance range than the luminance range of the main region set by the main region luminance range setting unit 132 out of the image signal supplied from the imaging unit 91.
  • the average brightness of the pixels is calculated, and the calculation result is supplied to the second brightness area brightness range setting unit 134.
  • the second luminance area luminance range setting unit 134 is based on the average luminance of the pixels in the higher luminance range than the luminance range of the supplied main area.
  • the brightness range of the second brightness area is set, and the set brightness range of the second brightness area is supplied to the output level conversion processing unit 135.
  • the second luminance area luminance range setting unit 134 sets a predetermined luminance range centered on the average luminance of pixels in a higher luminance range than the luminance range of the main area to the luminance range of the second luminance area.
  • a pixel having a predetermined number of bits may be selected in order from a pixel having a luminance value close to this luminance around a pixel having an average luminance of pixels in a luminance range higher than the luminance range of the main region.
  • the luminance range of the second luminance region may be used.
  • the output level conversion processing unit 135 acquires the image signal supplied from the imaging unit 91 and is supplied from the main region luminance range setting unit 132 and the second luminance region luminance average value calculation unit 133. The output level of the acquired image signal is converted based on the information on the luminance range of the main area and the luminance range of the second luminance area.
  • the output level conversion processing unit 135 outputs an output level signal having a predetermined number of steps (in the case where the luminance is divided by a predetermined number of gradation steps) with respect to the level of the input luminance signal. (Brightness gradation level signal) is assigned, and the assigned output level signal is output.
  • the output level conversion processing unit 187 assigns the luminance gradation level of the output level signal differently between the luminance range set as the main region and the second luminance region and the other ranges. Shall. That is, the output level conversion processing unit 187 assigns a larger number of output level steps to the luminance ranges set as the main region and the second luminance region, and the number of gradations of pixels in the corresponding luminance range increases. A conversion process like this is executed. In this way, the partial force in the luminance range corresponding to the main area and the second luminance area in the displayed or printed image can be recognized more by the user.
  • the output level conversion processing unit 135 divides and assigns all the gradation step numbers to the input signals included in the luminance range of the main area and the luminance range of the second luminance area, for example. Range, that is, a luminance range lower than the main region, a luminance range between the main region and the second luminance region, and a range that is higher than the second luminance region. It is possible to do so without assigning the number of steps at the same level.
  • the output of the pixel whose luminance input level is lower than the luminance range of the main area is output.
  • the level is 0 (ie black).
  • a pixel within the luminance range of the main area is assigned an output level of a predetermined gradation according to the input level.
  • the pixels in the luminance range between the main area and the second luminance area are output at the maximum value of the output level assigned to the luminance range of the main area regardless of the input level.
  • the pixels in the second luminance area have the same or substantially the same number of steps as the main area, and the overall output level is determined from the maximum output level assigned to the luminance range of the main area according to the input level.
  • a gray level output level up to the maximum value of the bell is assigned.
  • a pixel having a higher luminance than the second luminance area is assigned the maximum value of the output level assigned to the second luminance area, that is, the maximum value of the entire output level, regardless of the input level.
  • the output level conversion processing unit 135, assigns a predetermined number of steps of the output level to the main area and the second luminance area, and between the main area and the second luminance area.
  • the number of steps is less than the number of steps assigned to the main area or the second luminance area (in other words, the gradation width is narrower than the main area or the second luminance range). Can be assigned to the lower brightness range than the main area and the higher brightness range than the second brightness area without assigning the number of output level steps.
  • the output of a pixel having a luminance lower than the luminance range of the main region is output.
  • the value is 0.
  • a pixel within the luminance range of the main area is assigned an output level of a predetermined gradation according to the input level.
  • the output level corresponding to the input level is less than the number of steps assigned to the luminance range of the main area. Assigned.
  • the pixels in the second luminance area have the same or approximately the same number of steps as the main area, and the maximum output level assigned to the luminance range between the main area and the second luminance area according to the input level.
  • the power level is assigned to the output level up to the maximum gradation value. It is. Then, the maximum value of the output level assigned to the second luminance area, that is, the maximum output level is assigned to the pixels having higher luminance than the second luminance area, regardless of the input level.
  • the output level conversion processing unit 13 sets a predetermined luminance range centered on the upper limit value of the luminance of the main area as a section (X, a predetermined value centered on the lower limit value of the luminance of the second luminance area).
  • the luminance range of the output level is assumed to be section ⁇ , and a predetermined number of steps of the output level is assigned to pixels other than section ⁇ or section j8 in the main area or the second brightness area, and section ⁇ or section ⁇ is assigned. Assign a smaller number of steps than the number of steps assigned to sections other than section a or section ⁇ of the main area and the second brightness area, and lower brightness than the main area and higher brightness than the second brightness area.
  • the input level is reduced with a smaller number of steps than the number of steps assigned to the interval a.
  • the power that is assigned to the output level according to the level or the maximum value of the output level that is assigned to the section OL regardless of the input level is assigned.
  • the pixels in section / 3 have a predetermined number greater than the maximum value of the output level in the luminance range lower than section ⁇ , with the number of steps smaller than the number of steps assigned to the part other than section a of the main area.
  • Output level force of the same number of steps The number of steps is the same or approximately the same as interval a Assigned by Then, for pixels other than section ⁇ within the brightness range of the second brightness area, output of gradations up to the maximum output level of the entire maximum value assigned to section j8 according to the input level. A level is assigned.
  • the pixels other than the section j8 within the brightness range of the second luminance area have the same or substantially the same number of steps as the portions other than the section a in the main area, that is, than the sections a and j8.
  • Output levels with many steps are assigned.
  • a pixel having a higher luminance than the second luminance region is assigned the maximum output level assigned to the second luminance region, that is, the maximum output level, regardless of the input level. .
  • a predetermined luminance range centered on the upper limit of the luminance of the main area is section a
  • a predetermined section on the brightness limit side of the second luminance area is section a
  • the second luminance area The predetermined interval on the lower limit side in the luminance range is defined as the interval ⁇ , or the predetermined luminance range centered on the lower limit value of the main region is defined as the interval ⁇ .
  • the upper luminance range in the luminance range of the main region A predetermined section having a luminance higher than the upper limit of the second luminance area may be defined as section oc
  • a predetermined section having a luminance lower than the lower limit of the luminance range of the second luminance area may be defined as section ⁇ .
  • an area that is assigned the same number of output level steps as the section oc and the section ⁇ is set on the lower limit side of the brightness of the main area and the upper limit side of the brightness of the second brightness area. Also good.
  • all the pixels having luminance less than or equal to the luminance range of the main region are assumed to be output 0 (black), and the range of luminance exceeding the luminance range of the second luminance region. All pixels have the same output level (maximum output level) as the highest brightness in the brightness range of the second brightness area, but below the brightness range of the main area and in the brightness range of the second brightness area. In each of the above luminance ranges, a certain number of output level steps may be assigned.
  • the output level conversion processing unit 135 can convert the output level with respect to the input level, for example, as shown in FIG.
  • the output level of a predetermined gradation is assigned to the pixels within the main region luminance range according to the input level. Also the main area and the second brightness Pixels in the luminance range between regions are output at the maximum output level assigned to the main region, regardless of the input level.
  • the output level of a predetermined gradation is the same as or substantially the same as that of the main area from the maximum value of the output level assigned to the main area according to the input level. Assigned by the number of steps. For pixels with higher luminance than the second luminance region, the main region and the second region from the maximum value of the output level assigned to the luminance range of the second luminance region to the maximum output level. The output level corresponding to the input level is assigned so that the number of steps is smaller than the number of steps assigned to the luminance area.
  • the output level conversion processing unit 135 can convert the output level with respect to the input level, for example, as shown in FIG. 7B. That is, in a pixel whose luminance input level is lower than the luminance range of the main area, corresponding to the input level, from 0 (i.e., black) to an output level of a predetermined number of steps smaller than the number of steps assigned to the main area. Is assigned. Then, an output level of a predetermined gradation is assigned to the pixels within the main region luminance range according to the input level. In addition, for the pixels in the luminance range between the main area and the second luminance area, the output level corresponding to the input level is assigned with a smaller number of steps than the number of steps assigned to the main area.
  • the maximum power of the output level assigned to the luminance range between the main region and the second luminance region is also applied to the pixels in the second luminance region.
  • the number of steps is assigned with the same or approximately the same number as the main area. For pixels with higher brightness than the second brightness area, the steps assigned to the main area from the maximum output level assigned to the brightness range of the second brightness area to the maximum output level.
  • the output level corresponding to the input level is assigned so that the number of steps is less than the number.
  • the output level conversion processing unit 135 can convert the output level with respect to the input level, for example, as shown in FIG. 7C. That is, in a pixel whose luminance input level is lower than the luminance range of the main area, corresponding to the input level, from 0 (i.e., black) to an output level of a predetermined number of steps smaller than the number of steps assigned to the main area. Is assigned. Then, an output level of a predetermined gradation is assigned to the pixels within the main region luminance range and other than the section ⁇ according to the input level.
  • the interval ⁇ The pixel has a predetermined number of steps that is less than the number of steps assigned to the part other than the section a in the main area and is larger than the maximum output level assigned to the part other than the section a in the main area. Output levels are assigned.
  • the input level in the luminance range between the main area and the second luminance area, for pixels that do not fall within the interval a or the interval / 3, the input level has a smaller number of steps than the number of steps assigned to the interval a.
  • the power that is assigned to the output level according to the value, or the maximum value of the output level that is assigned to the section OL regardless of the input level is assigned.
  • the pixels in section / 3 have a predetermined number greater than the maximum value of the output level in the luminance range lower than section ⁇ , with the number of steps smaller than the number of steps assigned to the part other than section a in the main area.
  • the output level of the gradation is assigned.
  • the maximum output power of the gradation assigned to the section j8 also has an output level of a predetermined gradation according to the input level. It is assigned with the same or approximately the same number of steps as the luminance range other than section OC.
  • the output level corresponding to the input level is assigned so that the number of steps is less than the number of steps assigned to this part.
  • the predetermined luminance range centered on the upper limit value of the luminance of the main area is also represented by section a
  • the predetermined luminance range centered on the lower limit value of the luminance of the second luminance area is represented by section ⁇ .
  • a predetermined section on the upper limit side within the main area luminance range is defined as section (X)
  • a predetermined section on the lower limit side within the luminance range of the second luminance area is defined as section ⁇
  • the upper limit of the main area luminance range is set.
  • the predetermined section with higher brightness than the lower limit of the brightness range of the second brightness area may be set as section ⁇ , and the predetermined section with lower brightness than the lower limit of the brightness range of the second brightness area may be set as section ⁇ . It is also possible to set an area to which the same number of output level steps as those in the section a and the section ⁇ are assigned to the upper side of the brightness and the second brightness area.
  • the output level conversion processing unit 13 for example, in the luminance range other than the luminance region than the ratio of the output level to the input level in the main region and the second luminance region (straight line). Reduce the ratio of output level to input level
  • the number of gradation steps assigned to each luminance region may be determined.
  • the main area and the second luminance area set in the image generation unit 93-1 are set based on a captured image that is not within a predetermined luminance range.
  • the image generated by the image generation unit 93-1 includes a luminance range that is most important for the user to recognize the image, such as a subject that occupies most of the screen, among the captured images, and the like. In the luminance range higher than the luminance range, it occupies most of the luminance range, so that many of the limited number of gradations are assigned to the luminance range.
  • FIG. 8A shows the input signal when the gradation conversion described with reference to FIG. 6A is performed, the signal after the gradation conversion by the output level conversion processing unit 135, and the display 82.
  • FIG. 6 is a diagram showing the luminance level of a signal output to the image utilization device 83 for processing such as printing, image recognition, recording, or image communication.
  • the signals of the main luminance region and the second luminance region which are discrete luminance ranges, are applied to each luminance gradation width (the number of steps between the maximum value and the minimum value of the gradation in the region). ) Is sufficiently given and converted into continuous luminance gradations.
  • gradation conversion (the number of gradations is compressed) is performed in accordance with the condition of signal output after conversion or output to the image utilization device 83. Specifically, for example, when the display 82 can display an image with 256 gradations, the display control unit 94 outputs a signal supplied from the image generation unit 93-1, that is, an output. The signal after gradation conversion by the level conversion processing unit 135 is converted into a signal of 256 gradations.
  • the image utilization device 83 is an image recognition process, and the number of gradations used for the process in the image process executed to detect a specific object (for example, a person or a car) from the supplied image is determined.
  • the output control unit 95 converts the signal supplied from the image generation unit 93-1, that is, the signal after gradation conversion by the output level conversion processing unit 135, into a signal of 256 gradations.
  • FIG. 8B shows the input signal when the gradation conversion described with reference to FIG. 6B is performed, the signal after the gradation conversion by the output level conversion processing unit 135, and the display 82.
  • FIG. 6 is a diagram showing a luminance level of a signal output to the image utilization device 83.
  • the gradation between the main area and the second luminance area is provided with a smaller number of steps than the main area and the second luminance area.
  • the converted signal has a smaller number of steps in the area between the main area and the second luminance area, so that the number of gradations of luminance is significantly compressed than the input signal, but the main area and the second luminance area are reduced.
  • the signal in the second luminance region has a sufficient luminance gradation width. Then, the converted signal is subjected to gradation conversion (the number of gradations is compressed) according to the conditions of display or output to the image utilization device 83.
  • FIG. 8C shows the input signal when the gradation conversion described with reference to FIG. 6C is performed, the signal after the gradation conversion by the output level conversion processing unit 135, and the display 82.
  • FIG. 6 is a diagram showing a luminance level of a signal output to the image utilization device 83.
  • the number of luminance gradation steps assigned in the main region, the second luminance region, and the region between them is changed gradually according to the above-mentioned interval (X and interval ⁇ ).
  • X and interval ⁇ the above-mentioned interval
  • the number of luminance gradations is greatly compressed compared to the input signal, and the converted signal is displayed or displayed on the image utilization device 83.
  • gradation conversion (the number of gradations is compressed) is performed.
  • step S1 the imaging unit 91 captures an image of a subject based on the user's operation input supplied from the operation input unit 92, logarithmically converted, and AZD converted captured image signal. — Supply to 1.
  • the image generator 93-1 acquires the captured image signal.
  • step S2 the average luminance calculation unit 131 of the image generation unit 93-1 calculates the average luminance of the entire captured image, and supplies the calculation result to the main region luminance range setting unit 132.
  • step S3 the main area luminance range setting unit 132 sets the luminance range of the main area based on the average luminance of the entire image supplied from the average luminance calculation unit 131, and sets the set luminance range of the main area. Are supplied to the output level conversion processing unit 135 and the second luminance area luminance average value calculating unit 133.
  • the main area luminance range setting unit 132 may use, for example, a predetermined luminance range centered on the average luminance of the image signal as the luminance range of the main area, and the pixel that is the average luminance of the image signal. As a center, a pixel having a predetermined number of bits may be selected in order from a pixel having a luminance value close to the luminance, and the luminance range of the main region may be selected.
  • step S4 the second luminance area luminance average value calculation unit 133 uses the luminance range of the main area set by the main area luminance range setting unit 132 in the image signal supplied from the imaging unit 91. The average brightness of the bright area is obtained, and the result is supplied to the second brightness area brightness range setting unit 134.
  • step S5 the second luminance area luminance range setting unit 134 is based on the average luminance of the area brighter than the luminance range of the main area supplied from the second luminance area luminance average value calculating unit 133. Then, the brightness range of the second brightness area is set, and the set brightness range of the second brightness area is supplied to the output level conversion processing unit 135.
  • the second luminance area luminance range setting unit 134 uses a predetermined luminance range centered on the average luminance of pixels in a higher luminance range than the luminance range of the main area as the luminance range of the second luminance area.
  • a pixel having a predetermined number of bits may be selected in order from a pixel having a luminance value close to this luminance around a pixel having an average luminance of pixels in a luminance range higher than the luminance range of the main region.
  • the luminance range of the second luminance region may be used.
  • step S 6 the output level conversion processing unit 135 is set by the luminance range of the main area set by the main area luminance range setting unit 1 32 and the second luminance area luminance average value calculation unit 133. Based on the luminance range of the second luminance region, for example, the conversion characteristics between the input level and the output level as described with reference to FIG. 6 or FIG. 7 are determined. [0128] In step S7, the output level conversion processing unit 135 converts the gradation of the captured image supplied from the imaging unit 91 based on the conversion characteristics determined in step S6, and supplies it to the output control unit 95. To do.
  • step S8 the output control unit 95 converts the supplied image signal into a gradation suitable for processing that can be executed by the image utilization device 83, as described with reference to FIG.
  • step S9 the output control unit 95 controls the output of the converted image data converted to the gradation suitable for the processing executable by the image utilization device 83 to the image utilization device 83. The process is terminated.
  • step S1 to step S7 basically the same processing is executed, the image signal is supplied to the display control unit 94, converted to a gradation that can be processed in the display 82, and output, and the display is controlled. Is done.
  • a wide dynamic range image picked up by the image pickup unit 91 using the logarithmic conversion type image pickup device 102 is processed using the image processing device 81 having the image generation unit 93-1, and then displayed and output. Under the above conditions, the difference in the display image will be described with reference to FIGS.
  • FIG. 10 shows an example of the displayed image.
  • a wide dynamics range image captured with the imaging unit 91 using the logarithmic conversion type image sensor 102 does not cause overexposure or underexposure, but the display device handles a very wide dynamics range. Because it converts to a possible gradation, an image with no difference in density (not sharp) is displayed.
  • the number of gradations of an image that can be displayed by a general display device can be displayed faithfully. It's not so wide. Specifically, for example, in the case where the pixels displayed as different gradations in the image captured by the CCD exposed on the basis of the brightness of the road surface in FIG. 10, the same gradation or CCD It is displayed with a smaller number of tones than when using.
  • FIG. 11 shows an example of a display image when an image captured by normal exposure control is displayed by a conventional CCD camera.
  • the exposure of a CCD camera is set based on the brightness of the road surface in the tunnel, which occupies a large part of the image to be captured, as shown in FIG. Images outside the tunnel that are extremely brighter than the inside road will cause over-exposure. Note that when the exposure time is set very short, the part outside the tunnel does not cause overexposure as shown in Fig. 11, but the brightness is significantly lower than the part outside the tunnel. Blackening occurs in the part of the tunnel, making it difficult to identify the corresponding part of the display image.
  • FIG. 12 shows an example of a display image when the mixed range image is processed using the image processing device 81 having the image generation unit 93-1.
  • an image of the front side of a car traveling near the tunnel exit in the tunnel is captured, it is set as the luminance range of the luminance peripheral force main area of the road portion in front of the car.
  • a portion outside the tunnel is set as the second luminance region as the main portion of the pixels having higher luminance than the main region.
  • the display image when processed using the image processing device 81 having the image generation unit 93-1 is the main image of the captured image, compared to the case described with reference to FIG. 10 or FIG.
  • the main part (here, the road part of the car) and the main part of the discrete brightness range (here, the part outside the tunnel) are displayed so that the user can easily recognize them.
  • the image force obtained under the three conditions described above will be considered when supplied to the image utilization device 83 for processing.
  • a 14-bit AZD-converted wide dynamics range image contains a very wide luminance range, so the processing performed by the conventional image utilization device 83 cannot sufficiently achieve the purpose.
  • the processing performed by the conventional image utilization device 83 cannot sufficiently achieve the purpose.
  • the Laplacian conversion process is performed on the wide dynamics range image data that has been AZD-converted at 14 bits, the differential process is performed in the same way as normal image data. It cannot be obtained.
  • binary binary processing is performed on 14-bit AZD-converted wide dynamic range image data, the number of brightness candidates that can be used as thresholds increases so that the amount of processing increases explosively. Resulting in.
  • an image of a wide dynamics range imaged using the imaging unit 91 using the logarithmic conversion type imaging device 102 was processed using the image processing device 81 having the image generation unit 93-1. Thereafter, by supplying the image to the image utilization apparatus 83, the image utilization apparatus 83 may be able to execute the conventional image processing process as it is.
  • the data of the luminance area necessary for detecting the car existing outside the tunnel is supplied with a sufficient number of luminance gradation steps. Therefore, the object can be recognized with high accuracy.
  • the image utilization device 82 When the image utilization device 82 is configured to execute processing such as transmission and recording of generated image data, the image utilization device 82 is imaged using the imaging unit 91 using the logarithmic conversion type imaging device 102. Although it is possible to transmit or record an image of a wide dynamics range as it is, an image of a wide dynamics range captured using the imaging unit 91 using the logarithmic conversion type image sensor 102 is very Due to the large amount of data, depending on the purpose of the recorded image data or transmitted image data, the limited recording capacity or traffic on the transmission / reception path may be wasted. Therefore, depending on the purpose of use of recorded image data or transmitted image data, it is possible to save recording capacity or traffic on the transmission / reception path by allocating the number of gradation steps mainly to the luminance area to be used. It is preferable to make it possible.
  • the image generation unit 93-1 described above is performed on the luminance range of the main area and the luminance range of the second luminance area, which is the main part of the luminance range higher than the luminance range of the main area. In the above description, a large number of gradation steps are assigned. On the other hand, a case will be described where the set luminance range is not two of the luminance range of the main region and the luminance range of the second luminance region.
  • FIG. 14 is a block diagram showing a configuration of an image generation unit 93-2 which is a second example of the configuration of the image generation unit 93 of FIG.
  • the image generation unit 93-2 includes the luminance range of the second luminance area, which is the main part of the luminance range higher than the luminance range of the main area, and the luminance range of the main area.
  • the image generation unit 93-2 in FIG. 14 has an average luminance calculation unit 131 and a main region luminance range setting unit 132 that are basically the same as the image generation unit 93-1 described with reference to FIG.
  • the second luminance area luminance average value calculation unit 133 and the second luminance area luminance range setting unit 134 of the image generation unit 93-1 are omitted, and the high luminance area luminance average value calculation unit 161, the high luminance A region luminance range setting unit 162, a low luminance region luminance average value calculating unit 163, and a low luminance region luminance range setting unit 164 are newly provided.
  • an output level conversion processing unit 165 is provided. Is provided.
  • the high-luminance area luminance average value calculation unit 161 acquires the image signal supplied from the imaging unit 91, and among the acquired image signals, the main area luminance range setting unit 132 sets the main area. The average luminance of the pixels in the higher luminance range than the luminance range is calculated, and the calculation result is supplied to the high luminance region luminance range setting unit 162.
  • the high brightness area brightness range setting unit 162 has higher brightness than the main area based on the average brightness of pixels in the brightness range higher than the brightness range of the main area supplied from the high brightness area brightness average value calculation unit 161.
  • the luminance range of the second luminance area is set, and the set luminance range of the second luminance area is supplied to the output level conversion processing unit 165.
  • the high luminance area luminance range setting unit 162 sets a predetermined luminance range centered on the average luminance of pixels in a luminance range higher than the luminance range of the main area as the luminance range of the second luminance area. It is also possible to select a pixel having a predetermined number of bits in order from the pixel having a luminance value close to this luminance around the pixel that is the average luminance of the pixels in the luminance range higher than the luminance range of the main area.
  • the luminance range of the luminance region may be the same.
  • the low-luminance area luminance average value calculation unit 163 acquires the image signal supplied from the imaging unit 91, and among the acquired image signals, the main area luminance range setting unit 132 sets the main area. The average luminance of the pixels in the luminance range lower than the luminance range is calculated, and the calculation result is supplied to the low luminance region luminance range setting unit 164.
  • the low luminance area luminance range setting unit 164 has a luminance lower than that of the main area based on the average luminance of pixels in a lower luminance range than the luminance range of the main area supplied from the low luminance area luminance average value calculation unit 163.
  • the luminance range of the third luminance area is set, and the set luminance range of the third luminance area is supplied to the output level conversion processing unit 165.
  • the low luminance area luminance range setting unit 164 sets, for example, a predetermined luminance range centered on the average luminance of pixels in a luminance range lower than the luminance range of the main area as the luminance range of the third luminance area.
  • the output level conversion processing unit 165 acquires the image signal supplied from the imaging unit 91, and obtains the main region luminance range setting unit 132, the high luminance region luminance range setting unit 162, and the low luminance region luminance. Based on the information on the luminance range of the main area, the luminance range of the second luminance area, and the luminance range of the third luminance area supplied from the range setting unit 164, the output level of the acquired image signal is converted. .
  • the output level conversion processing unit 165 can convert the output level with respect to the input level, for example, as shown in FIG. 15A.
  • the pixel whose luminance input level is lower than that in the third luminance region is 0 (that is, completely black) regardless of the input level.
  • an output level of a predetermined gradation is assigned to pixels in the third luminance area, the main area, and the second luminance area according to the input level.
  • the pixels in the luminance range between the third luminance region and the main luminance region and the luminance range between the main luminance region and the second luminance region are assigned immediately before that range regardless of the input level.
  • Output at the specified output level is assigned to a pixel having a higher luminance than the second luminance area.
  • the output level conversion processing unit 165 can convert the output level with respect to the input level, for example, as shown in FIG. 15B. That is, the output level of a pixel whose luminance input level is lower than that of the third luminance region is 0 (that is, black) regardless of the input level. Then, an output level of a predetermined gradation is assigned to the pixels in the third luminance region, the main region, and the second luminance region according to the input level. Also, the number of pixels in the luminance range between the third luminance area and the main area, and the luminance range between the main area and the second luminance area are less than the number of steps assigned to the main area! / ⁇ The output level corresponding to the input level is assigned by the number of steps. And the second brightness An output level that is the maximum value of the output level assigned to the second luminance area is assigned to a pixel having a higher luminance than the area.
  • the output level conversion processing unit 165 can convert the output level with respect to the input level, for example, as shown in FIG. 15C. That is, the output level conversion processing unit 165, for example, has a predetermined luminance range centered on the upper limit value of the luminance of the third luminance region in the interval O and a predetermined luminance value centered on the lower limit value of the luminance of the main region. Assume that the range is section ⁇ , the predetermined brightness range centered on the upper limit value of luminance in the main area is section ⁇ , and the predetermined brightness range centered on the lower limit value of brightness in the second brightness area is section ⁇ .
  • a pixel whose luminance input level is lower than that in the third luminance region is 0 (that is, black) regardless of the input level.
  • pixels other than the section oc, within the main area brightness range, pixels other than the section ⁇ or section ⁇ , and within the second brightness area range, other than the section ⁇ An output level of a predetermined gradation is assigned to the pixel according to the input level.
  • the pixels in the interval ⁇ , the interval / 3, the interval ⁇ , and the interval ⁇ are the main region luminance range, etc., and are smaller than the number of steps assigned to portions other than the intervals O to ⁇ .
  • An output level having a predetermined number of steps is assigned. Then, an output level that is the maximum value of the output level assigned to the second luminance area is assigned to a pixel having a higher luminance than the second luminance area.
  • a predetermined luminance range centered on the upper limit value of the luminance of the third luminance area is defined as section O
  • a predetermined luminance range centered on the lower limit value of the luminance of the main area is defined as section.
  • ⁇ a predetermined luminance range centered on the upper limit value of the luminance of the main area is defined as interval ⁇
  • a predetermined luminance range centered on the lower limit value of the luminance of the second luminance area is defined as interval ⁇ .
  • the predetermined brightness range on the upper limit side in the brightness area of the main area is section OC
  • the predetermined brightness range on the lower limit side in the main area is section ⁇
  • the predetermined brightness range on the upper limit side in the main area is section ⁇
  • the second The predetermined luminance range on the lower limit side in the luminance area is defined as the interval ⁇
  • the predetermined luminance range higher than the upper limit of the third luminance region is the interval OC
  • the predetermined luminance lower than the lower limit of the main region The range is section ⁇
  • the predetermined brightness range is higher than the upper limit of the main area, section ⁇
  • a predetermined luminance range with lower luminance may be set as the section ⁇ .
  • the interval value is set on the lower limit side of the luminance of the third luminance area and the upper limit side of the luminance of the second luminance area.
  • an area to which the number of steps having the same output level as that in the section ⁇ is assigned may be set.
  • the number of output level steps (the number of gradation steps) in the range of lower luminance than the third luminance region and higher luminance than the second luminance region.
  • the output level conversion processing unit 165 has lower luminance than the third luminance region and higher luminance than the second luminance region, for example, as described with reference to FIG. Even in the range, you may assign fewer steps than the main area, the second luminance area, and the third luminance area.
  • the output level conversion processing unit 165 determines the ratio of the output level to the input level (straight line) in the main area, the second luminance area, and the third luminance area.
  • the number of gradation steps allocated to each luminance region may be determined so that the ratio of the output level to the input level in the luminance range other than the above is reduced.
  • FIG. 16A shows the input signal when the gradation conversion described with reference to FIG. 15A is performed, the signal after the gradation conversion by the output level conversion processing unit 165, and the display 82, or FIG. 10 is a diagram illustrating the luminance level of a signal output to the image utilization device 83 for processing such as printing, image recognition, recording, or image communication.
  • continuous luminance gradations are provided with sufficient luminance gradation widths of signals in the main luminance region, the second luminance region, and the third luminance region, which are discrete luminance ranges.
  • FIG. 16B shows the input signal when the gradation conversion described with reference to FIG. 15B is performed, the signal after the gradation conversion by the output level conversion processing unit 165, and the display 82.
  • FIG. 6 is a diagram showing a luminance level of a signal output to the image utilization device 83.
  • the region between the third luminance region and the main region and between the main region and the second luminance region includes the main region, the second luminance region, and the third luminance. Only a gradation with a smaller number of steps than the area is given.
  • the converted signal has a smaller number of gradations of luminance than the input signal because the number of steps in the region between the third luminance region and the main region and between the main region and the second luminance region is smaller.
  • the luminance gradation widths of the signals in the main region, the second luminance region, and the third luminance region are sufficiently given.
  • the converted signal is subjected to gradation conversion (the number of gradations is compressed) according to the conditions of display or output to the image utilization device 83.
  • FIG. 16C shows the input signal when the gradation conversion described with reference to FIG. 15C is performed, the signal after the gradation conversion by the output level conversion processing unit 165, and the display 82.
  • FIG. 16C is a diagram showing a luminance level of a signal output to the image utilization device 83.
  • FIG. 16C the number of gradation steps assigned to luminance in the main area, the second luminance area, the third luminance area, and the area between them is represented by the above-described intervals (X to ⁇
  • the interval ⁇ to interval ⁇ has a smaller number of steps than the portions other than the intervals oc to ⁇ of the main region, the second luminance region, and the third luminance region.
  • the main area, the second luminance area, and the third luminance area are given sufficient intensity gradation width in the converted signal.
  • the number of gradations of luminance is greatly compressed compared to the input signal, and the converted signal is gradation converted (the number of gradations is compressed) according to the conditions of display or output to the image utilization device 83. It is made to be!
  • step S31 the imaging unit 91 captures an image of the subject based on the user's operation input supplied from the operation input unit 92, and the captured image signal that has been logarithmically converted and AZD converted is converted into an image generation unit 93. — Supply to 2.
  • the image generation unit 93-2 acquires the captured image signal.
  • step S32 the average luminance calculation unit 131 of the image generation unit 93-2 captures the image. The average luminance of the entire image is obtained, and the calculation result is supplied to the main region luminance range setting unit 132.
  • step S33 the main region luminance range setting unit 132 sets the luminance range of the main region based on the average luminance of the entire image supplied from the average luminance calculation unit 131, and sets the luminance of the main region thus set.
  • the range is supplied to the output level conversion processing unit 165, the high luminance area luminance average value calculation unit 161, and the low luminance region luminance average value calculation unit 163.
  • the main area luminance range setting unit 132 may use, for example, a predetermined luminance range centered on the average luminance of the image signal as the luminance range of the main area, and the pixel that is the average luminance of the image signal. As a center, a pixel having a predetermined number of bits may be selected in order from a pixel having a luminance value close to the luminance, and the luminance range of the main region may be selected.
  • step S34 the high luminance area luminance average value calculation unit 161 is an area brighter than the luminance range of the main area set by the main area luminance range setting unit 132 in the image signal supplied from the imaging unit 91. The average luminance is obtained, and the result is supplied to the high luminance region luminance range setting unit 162.
  • step S35 the high brightness area brightness range setting unit 162 sets the second brightness based on the average brightness of the area brighter than the brightness range of the main area supplied from the high brightness area brightness average value calculation unit 161.
  • the luminance range of the area is set, and the set luminance range of the second luminance area is supplied to the output level conversion processing unit 165.
  • the high luminance area luminance range setting unit 162 uses, for example, a predetermined luminance range centered on the average luminance of pixels in a luminance range higher than the luminance range of the main area as the luminance range of the second luminance area. It is also possible to select a pixel having a predetermined number of bits in order from the pixel having a luminance value close to this luminance around the pixel that is the average luminance of the pixels in the luminance range higher than the luminance range of the main area.
  • the luminance range of the luminance region may be the same.
  • step S36 the low luminance area luminance average value calculation unit 163 is an area darker than the luminance range of the main area set by the main area luminance range setting unit 132 in the image signal supplied from the imaging unit 91. Is obtained, and the result is supplied to the low luminance area luminance range setting unit 164.
  • step S37 the low luminance area luminance range setting unit 164 performs the low luminance area luminance average. Based on the average brightness of the darker area than the brightness range of the main area supplied from the value calculation unit 163, the brightness range of the 3rd brightness area is set, and the brightness range of the set 3rd brightness area is set as the output level. The data is supplied to the conversion processing unit 165.
  • the low luminance area luminance range setting unit 164 sets, for example, a predetermined luminance range centered on the average luminance of pixels in a luminance range lower than the luminance range of the main area as the luminance range of the third luminance area. It is also possible to select pixels having a predetermined number of bits in order from the pixel having the luminance value close to this luminance around the pixel that is the average luminance of the pixels in the luminance range lower than the luminance range of the main region. It is good also as a local luminance range.
  • step S38 the output level conversion processing unit 165 sets the luminance range of the main region set by the main region luminance range setting unit 132 and the second luminance region set by the high luminance region luminance range setting unit 162. Based on the luminance range and the luminance range of the third luminance region set by the low luminance region luminance range setting unit 164, for example, the conversion characteristics of the input level and the output level as described with reference to FIG. 15 are obtained. decide.
  • step S39 the output level conversion processing unit 165 changes the gradation of the captured image supplied from the imaging unit 91 based on the conversion characteristics determined in step S39. Then, it is supplied to the output control unit 95.
  • step S40 the output control unit 95 converts the supplied image signal into a gradation suitable for processing that can be executed by the image using apparatus 83, as described with reference to FIG.
  • step S41 the output control unit 95 controls the output of the converted image data converted to the gradation suitable for the processing executable by the image utilization device 83 to the image utilization device 83. The process is terminated.
  • step S31 to step S39 basically the same processing is executed, the image signal is supplied to the display control unit 94, converted into a gradation that can be processed in the display 82, and output, and the display is controlled.
  • the high luminance with a wide luminance range, in particular, the main luminance range force is also discrete. Even if the image information required by the user exists in both the low-brightness area and the low-brightness area, such an image is displayed with a gradation corresponding to the display 82, or Generates image data that can be displayed or printed out in a state that can be identified by the user, or that can be easily processed by the image utilization device 83, when output in a gradation that corresponds to the processing executed by the 83. can do.
  • the image displayed by the image processing device 81 including the image generation unit 92-2 in FIG. 14 is, for example, as shown in FIG.
  • the angle of view includes a sky part that is much brighter than the brightness of the road surface, and a black that is much lower than the brightness of the road surface. Even if it is included, a large number of gradation steps are assigned near the brightness corresponding to each of the road surface, the sky, and a person wearing a black suit. Therefore, by using the image processing device 81 including the image generation unit 93-2 in FIG. 14, in the image display process, an image that is difficult to recognize due to white sky is displayed or captured. Regardless, black, a person wearing a suit cannot be identified by the user, and the image may be displayed in a black suit, or a person wearing a black suit cannot be recognized (or extracted) in the image recognition process. Can be prevented.
  • the image displayed by the image processing device 81 including the image generation unit 92-2 of Fig. 14 is specifically, for example, a captured image as shown in Fig. 19.
  • Most of the area is the dark road surface in the tunnel, and the angle of view includes the white wall inside the tunnel, which is slightly brighter than the brightness of the road surface, and the outside of the tunnel, which is very bright.
  • the angle of view includes a black car in the tunnel, which is much lower than the brightness of the road surface in the tunnel, the road surface in the tunnel, the tunnel walls and the outside of the tunnel, and Thus, a large number of gradation steps are assigned near the brightness corresponding to each of the black cars in the tunnel!
  • the image processing device 81 including the image generation unit 93-2 in FIG. 14 for example, in the image display processing, an image that is difficult to recognize due to whiteout portions outside the tunnel is displayed or captured. Despite the fact that the black inside the tunnel and the car cannot be identified by the user, it is prevented from being blacked out and displayed in the image recognition process, such as cars and guardrails outside the tunnel. , Alternatively, it is possible to prevent a black wagon in the tunnel from being extracted as a recognition target.
  • the image generation unit 93 three or more areas are set so that the number of gradation steps assigned to the set area and the non-set area can be made different. May be.
  • FIG. 20 is a block diagram showing a configuration of an image generation unit 93-3 that is a third example of the configuration of the image generation unit 93 of FIG.
  • the image generation unit 93-3 sets a plurality of luminance areas and their luminance ranges, and more than the luminance ranges that are not set for the plurality of set luminance ranges. The number of gradation steps can be assigned.
  • the image generation unit 93-3 in FIG. 20 has an average luminance calculation unit 131 and a main region luminance range setting unit 132 that are basically the same as the image generation unit 93-1 described with reference to FIG.
  • the second luminance area luminance average value calculation unit 133 and the second luminance area luminance range setting unit 134 of the image generation unit 93-1 are omitted, and the second luminance area luminance average value calculation unit 181, Second luminance region luminance range setting unit 182, third luminance region luminance average value calculating unit 183, third luminance region luminance range setting unit 184, fourth luminance region luminance average value calculating unit 185, and fourth
  • the brightness area brightness range setting unit 186 is newly provided, and an output level conversion processing unit 187 is provided instead of the output level conversion processing unit 135.
  • the second luminance area luminance average value calculation unit 181 has a predetermined value other than the luminance range of the main area set by the main area luminance range setting unit 132 out of the image signal supplied from the imaging unit 91. Calculate the average luminance of the pixels that have the luminance included in the range (for example, the luminance range higher than the luminance range of the main area is further divided into two, and the highest luminance part, etc.) This is supplied to the area luminance range setting unit 182.
  • the second luminance area luminance range setting unit 182 is based on the average luminance of pixels having luminance included in a predetermined range other than the supplied main area. Set the brightness range of the second brightness area, and set the brightness range of the set second brightness area. The range is supplied to the output level conversion processing unit 187.
  • the second luminance area luminance range setting unit 182 may set a predetermined luminance range centered on the average luminance of pixels having a predetermined range of luminance as the luminance range of the second luminance area, for example.
  • a pixel having a predetermined number of bits is selected in order from a pixel having a luminance value close to this luminance around a pixel having an average luminance of pixels having a luminance in a predetermined range as a luminance range of the second luminance area. Also good.
  • the third luminance area luminance average value calculation unit 183 has a predetermined value other than the luminance range of the main area set by the main area luminance range setting unit 132 out of the image signal supplied from the imaging unit 91. Calculate the average luminance of the pixels that have the luminance included in the range (for example, the range of higher luminance than the luminance range of the main region is further divided into two, and the lower luminance portion of the two divided regions, etc.) , And supplied to the third luminance area luminance range setting unit 184.
  • the third luminance area luminance range setting unit 184 is based on the average luminance of pixels having luminance included in a predetermined range other than the supplied main area.
  • the brightness range of the third brightness area is set, and the set brightness range of the third brightness area is supplied to the output level conversion processing unit 187.
  • the third luminance area luminance range setting unit 184 may use a predetermined luminance range centered on the average luminance of pixels having a predetermined range of luminance as the luminance range of the third luminance area.
  • a pixel with a predetermined number of bits is selected in order from the pixel having the luminance value close to this luminance around the pixel having the average luminance of the pixels having the luminance in the predetermined range as the third luminance range. good.
  • the fourth luminance area luminance average value calculation unit 185 has a predetermined value other than the luminance range of the main area set by the main area luminance range setting unit 132 out of the image signal supplied from the imaging unit 91. Calculate the average luminance of the pixels that have the luminance included in the range (for example, the luminance range lower than the luminance range of the main area is further divided into two, and the low luminance portion of the two divided areas, etc.). , And supplied to the fourth luminance area luminance range setting unit 186.
  • the fourth luminance area luminance range setting unit 186 is based on the average luminance of pixels having luminance included in a predetermined range other than the supplied main area. Set the brightness range of the fourth brightness area, and set the brightness range of the set fourth brightness area. The range is supplied to the output level conversion processing unit 187.
  • the fourth luminance area luminance range setting unit 186 may set a predetermined luminance range centered on the average luminance of pixels having a predetermined luminance range as the luminance range of the fourth luminance area.
  • a pixel having a predetermined number of bits is selected in order from a pixel having a luminance value close to this luminance around a pixel that is an average luminance of pixels having a luminance in a predetermined range. good.
  • the output level conversion processing unit 187 acquires the image signal supplied from the imaging unit 91, and obtains the main region luminance range setting unit 132, the second luminance region luminance range setting unit 182, and the third luminance region.
  • Luminance range setting section 184 and fourth luminance area luminance range setting section 186, the main area luminance range, second luminance area luminance range, third luminance area luminance range and The output level of the acquired image signal is converted based on the information on the luminance range of 4 luminance areas.
  • the output level conversion processing unit 187 outputs the output level signal of a predetermined number of steps to the level of the input luminance signal (each luminance when the luminance is divided by the predetermined number of gradation steps). Tone level signal) is assigned and the assigned output level signal is output.
  • the output level conversion processing unit 187 assigns the luminance gradation level of the output level signal as the main area and other areas, for example, as described with reference to FIG. 6, FIG. 7, or FIG.
  • the brightness range is different from the other range. That is, the output level conversion processing unit 187 assigns a larger number of output level steps to the luminance range set as the main region and other regions, and the number of gradations of pixels in the corresponding luminance range is set. The conversion process is performed so that the user can more easily recognize the corresponding luminance range of the displayed or printed image.
  • FIG. 20 shows a second luminance area luminance average value calculation unit 181 and a second luminance area luminance range setting unit for setting the second to fourth luminance areas in addition to the main area. 182, a third luminance area luminance average value calculating unit 183, a third luminance area luminance range setting unit 184, a fourth luminance area luminance average value calculating unit 185, and a fourth luminance area luminance range setting unit 186.
  • the image generation unit 93-3 can set more luminance regions.
  • another luminance area luminance average value calculation unit and luminance region luminance range setting unit may be provided.
  • the process executed by the image generation unit 93-3 in Fig. 20 is basically the same as the process of the image display process 2 described with reference to Fig. 17, and the number of set areas is increased. The explanation is omitted because it corresponds to the case.
  • the image generation unit 93-1 to image generation unit 93-3 described above set the main region based on the average luminance value of the entire captured image.
  • the main area may be set based on the average value of the luminance of the pixels included in a predetermined area in the captured image.
  • FIG. 21 is a block diagram showing a configuration of an image generation unit 93-4, which is a fourth example of the configuration of the image generation unit 93 in FIG.
  • the image generation unit 93-4 cuts out pixels included in a predetermined area from the captured image, and sets the main area based on the average luminance value of the cut out area. Speak.
  • the image generation unit 93-4 in FIG. 21 is basically the same except that the main region cutout unit 201 and the main region luminance average value calculation unit 202 are provided in place of the average luminance calculation unit 131. Further, it has the same configuration as that of the image generation unit 93-1 in FIG.
  • the main region cutout unit 201 acquires the image signal supplied from the imaging unit 91, cuts out a preset image region from the acquired image signal, and uses the cutout region pixel as a main portion. This is supplied to the area luminance average value calculation unit 202.
  • the region of the image cut out by the main region cutout unit 201 seems to be constantly imaged on the road surface.
  • the brightness of the road surface that occupies the main part of the displayed image can be made substantially constant by making the segmented area an area where the same image is supposed to be captured constantly. Therefore, it is possible to prevent the brightness of the display image felt by the driver from frequently flickering, or to perform processing without changing the parameters for object extraction.
  • the main area luminance average value calculation unit 202 calculates the average luminance of the pixels in the clipped region supplied from the main region cutout unit 201, and sets the calculation result of the average luminance as the main region luminance range setting. Supply to part 132.
  • the luminance range of the main region is set based on the average luminance of the clipped region calculated by the main region luminance average value calculation unit 202. Based on the luminance range of the main area, the luminance range of the second luminance area that is higher than the luminance range of the main area is set. Then, the output level conversion processing unit 135 assigns more output level steps to the luminance ranges set as the main area and the second luminance area, and the case described with reference to FIGS. Similarly, the number of gradations of the pixels in the corresponding luminance range increases, and the corresponding luminance range portion of the image displayed or printed out can be more easily recognized by the user or processed by the image utilization device 83. Conversion processing is performed so that image data suitable for the image can be generated
  • step S71 the imaging unit 91 captures an image of the subject based on the user's operation input supplied from the operation input unit 92, and the captured image signal obtained by logarithmic conversion and AZD conversion is captured by the image generation unit 93. — Supply to 4. The image generation unit 93-4 acquires the captured image signal.
  • step S72 the main region cutout unit 201 of the image generation unit 93-4 is preset in the image signal supplied from the imaging unit 91, for example, as described with reference to FIG.
  • the image area to be beaten is cut out, and the pixels in the cut out area are supplied to the main area luminance average value calculation unit 202.
  • step S73 the main area luminance average value calculation unit 202 obtains the average luminance of the pixels in the clipped region supplied from the main region cutout unit 201, and the calculation result is sent to the main region luminance range setting unit 132. Supply.
  • step S74 the main region luminance range setting unit 132 sets the luminance range of the main region based on the average luminance of the pixels in the clipped region supplied from the main region luminance average value calculation unit 202. Then, the set luminance range of the main area is supplied to the second luminance area luminance average value calculation unit 133 and the output level conversion processing unit 135.
  • steps S75 to S80 basically the same processing as in steps S4 to S9 in Fig. 9 is executed.
  • the second luminance area luminance average value calculating unit 133 obtains the average luminance of the area brighter than the luminance range of the main area from the image signal supplied from the imaging unit 91, and obtains the second luminance value.
  • the brightness area brightness range setting unit 134 sets the brightness range of the second brightness area based on the average brightness of the area brighter than the brightness range of the main area.
  • the conversion characteristic of the output level is determined, the gradation of the captured image supplied from the imaging unit 91 is converted based on the conversion characteristic, and is supplied to the output control unit 95.
  • the output control unit 95 converts the supplied image signal into a gradation suitable for the processing that can be performed by the image using device 83 as described with reference to FIG. 8, and the image using device of the converted image signal
  • the output to 83 is controlled and the process is terminated.
  • step S71 to step S78 basically the same processing is executed, the image signal is supplied to the display control unit 94, converted to a gradation that can be processed in the display 82, and output, and the display is controlled.
  • a luminance range to which many gradations are assigned is set with reference to a predetermined area, it is possible to prevent the brightness of the display image from flickering frequently, especially when displaying a moving image, It is possible to process without changing the parameters for extraction of each time.
  • the image generation unit 93-4 described above cuts out a predetermined area in the captured image, sets the luminance range of the main area based on the pixels of the cut out area, and sets the luminance range of the main area. It has been described that a large number of gradation steps are assigned to the brightness range of the second brightness area, which is the main part of the brightness range that is higher than the brightness range of the main area. On the other hand, the brightness range to be set will not be described in two cases, that is, the brightness range of the main area and the brightness range of the second brightness area.
  • FIG. 24 is a block diagram showing a configuration of an image generation unit 93-5 which is a fifth example of the configuration of the image generation unit 93 of FIG.
  • the image generator 93-5 cuts out a predetermined area in the captured image, sets the luminance range of the main area based on the pixels of the cut out area, and sets the main area luminance range in addition to the main area luminance range.
  • the brightness range of the second brightness area which is the main part of the brightness range higher than the brightness range of the area
  • the third brightness which is the main part of the brightness range lower than the brightness range of the main area.
  • Three brightness areas are set with the area brightness range, and a large number of gradation steps can be assigned to the set three brightness areas. Note that portions corresponding to those in FIG. 14 or FIG. 21 are denoted by the same reference numerals, and description thereof will be omitted as appropriate.
  • the image generation unit 93-5 in FIG. 24 includes the main area cutout unit 201 and the main area luminance average value calculation unit 202 similar to those described with reference to FIG. Similar to the case described above, main area luminance range setting unit 132, high luminance area luminance average value calculating unit 161, high luminance area luminance range setting unit 162, low luminance area luminance average value calculating unit 163, low luminance area A luminance range setting unit 164 and an output level conversion processing unit 165 are provided.
  • the image generation unit 93-5 in FIG. 24 cuts out a predetermined region in the captured image and cuts out the same region as the image generation unit 93-4 described with reference to FIG.
  • the luminance range of the main region is set in addition to the luminance range of the main region in the same manner as the image generation unit 93-2 described with reference to FIG.
  • the three brightness areas are set, and a large number of gradation steps can be assigned to the set three brightness areas!
  • steps S101 to S103 basically the same processing as in steps S71 to S73 of FIG. 23 is executed.
  • the imaging unit 91 captures an image of a subject based on the user's operation input supplied from the operation input unit 92, and performs logarithmic conversion and A / D conversion of the captured image signal as an image generation unit 935.
  • the image generation unit 93-5 acquires the captured image signal.
  • the main region cutout unit 201 of the image generation unit 93-5 cuts out and cuts out a preset image region from the image signal supplied from the imaging unit 91, for example, as described with reference to FIG.
  • the pixels in the extracted area are supplied to the main area luminance average value calculation unit 202.
  • the main area luminance average value calculation unit 202 obtains the average luminance of the pixels in the clipped region supplied from the main region cutout unit 201 and supplies the calculation result to the main region luminance range setting unit 132.
  • step S104 the main region luminance range setting unit 132 sets the luminance range of the main region based on the average luminance of the pixels in the clipped region supplied from the main region luminance average value calculation unit 202. Then, the set luminance range of the main region is supplied to the output level conversion processing unit 165, the high luminance region luminance average value calculating unit 161, and the low luminance region luminance average value calculating unit 163.
  • steps S105 to S112 basically the same processing as in steps S34 to S41 of Fig. 17 is executed.
  • the high luminance area luminance average value calculating unit 161 obtains the average luminance of the area brighter than the luminance range of the main area in the image signal supplied from the imaging unit 91, and the high luminance area luminance range setting unit 162 sets the brightness range of the second brightness area based on the average brightness of the area brighter than the brightness range of the main area, and outputs the set brightness range of the second brightness area to the output level conversion processing unit 165. Supply.
  • the low luminance area luminance average value calculation unit 163 obtains the average luminance of the darker area than the luminance range of the main area in the image signal supplied from the imaging unit 91, and sets the low luminance area luminance range.
  • the unit 164 sets the luminance range of the third luminance region based on the average luminance of the region darker than the luminance range of the main region, and outputs the set luminance range of the third luminance region to the output level conversion processing unit 165. Supply.
  • the output level conversion processing unit 165 sets the brightness range of the set main area, the second Based on the luminance range of the luminance region and the luminance range of the third luminance region, for example, the conversion characteristics between the input level and the output level as described with reference to FIG. 15 are determined and supplied from the imaging unit 91.
  • the gradation of the captured image is converted based on the determined conversion characteristic and supplied to the output control unit 95.
  • the output control unit 95 converts the supplied image signal into a gradation suitable for the processing that can be executed by the image using device 83 as described with reference to FIG.
  • the output of the converted image signal to the image utilization device 83 is controlled, and the processing is terminated.
  • step S101 to step S110 basically the same processing is executed, and the image signal is supplied to the display control unit 94, converted into a gradation that can be processed in the display 82, and output. Be controlled.
  • the image generation unit 93 may cut out a predetermined area in the captured image and set three or more areas based on the pixels in the cut out area. Then, the image generation unit 93 can change the number of gradation steps assigned to the set area and the non-set area.
  • FIG. 26 is a block diagram showing a configuration of an image generation unit 93-6 that is a sixth example of the configuration of the image generation unit 93 of FIG.
  • the image generation unit 93-6 is a predetermined area in the captured image. Cut out the area, set the luminance range of the main area based on the pixels of the cut out area, set the corresponding luminance range of multiple luminance areas in addition to the luminance range of the main area, and set the multiple It is possible to assign more gradation steps to the brightness range than outside the set range!
  • the image generation unit 93-6 in FIG. 26 is provided with a main region cutout unit 201 and a main region luminance average value calculation unit 202 similar to those described with reference to FIG.
  • the main area luminance range setting unit 132, the second luminance area luminance average value calculating unit 181, the second luminance area luminance range setting unit 182, and the third luminance similar to the case described with reference to FIG.
  • Area luminance average value calculating section 183, third luminance area luminance range setting section 184, fourth luminance area luminance average value calculating section 185, fourth luminance area luminance range setting section 186, and output level conversion processing section 187 is provided.
  • the image generation unit 93-6 in FIG. 26 cuts out a predetermined region in the captured image in the same manner as the image generation unit 93-4 described with reference to FIG.
  • the luminance range of the main area is set on the basis of the pixels, and in the same way as the image generation unit 93-3 described with reference to FIG.
  • Each brightness range is set, and more gradation steps than the set range can be assigned to the set brightness ranges.
  • FIG. 26 shows a second luminance area luminance average value calculating unit 181 and a second luminance area luminance range setting unit for setting the second to fourth luminance areas in addition to the main area. 182, a third luminance area luminance average value calculating unit 183, a third luminance area luminance range setting unit 184, a fourth luminance area luminance average value calculating unit 185, and a fourth luminance area luminance range setting unit 186.
  • the image generation unit 93-3 is further provided with another luminance region luminance average value calculation unit and luminance region luminance range setting unit so that a large number of luminance regions can be set. May be.
  • the process executed by the image generation unit 93-6 in Fig. 26 is basically the same as the process of the image display process 4 described with reference to Fig. 25, and the number of set areas is increased. Vs. case The description thereof will be omitted.
  • the image generation unit 93-1 to the image generation unit 93-6 described above set the main region based on the entire captured image or the average luminance value of a predetermined portion. It was done. On the other hand, a histogram showing the distribution of the luminance values of the pixels included in the captured image is created and analyzed to set a plurality of luminance ranges. Thus, it may be possible to assign a larger number of gradation steps than outside the setting range.
  • FIG. 27 is a block diagram showing a configuration of an image generation unit 93-7, which is a seventh example of the configuration of the image generation unit 93 in FIG.
  • the image generation unit 93-7 analyzes a histogram of luminance values of each pixel of the captured image, and sets a plurality of luminance ranges based on the analysis result.
  • the image generation unit 93-7 includes a histogram analysis unit 251, a threshold comparison processing unit 252, a multi-step luminance range setting unit 253, and an output level conversion processing unit 254.
  • the histogram analysis unit 251 acquires the image signal supplied from the imaging unit 91, and generates a histogram indicating the distribution of luminance values of each pixel of the captured image based on the acquired image signal. The analysis result is supplied to the threshold value comparison processing unit 252.
  • the threshold comparison processing unit 252 compares the number of pixels corresponding to each luminance value of the input signal with a predetermined threshold value. In other words, the threshold value comparison processing unit 252 extracts a luminance range of a captured image that has a certain number of pixels or more. The threshold value comparison processing unit 252 supplies information indicating the luminance value determined that the number of pixels is equal to or larger than the threshold value as a result of the comparison with the threshold value to the multi-level luminance range setting unit 253.
  • the threshold value may be a value that is obtained experimentally and empirically and set in advance, or may be a value that can be appropriately set by a user. If the threshold is set too low, most of the information remains, so the resulting image is, for example, a wide dynamics range imaged using the logarithmic conversion image sensor 102 described with reference to FIG. This is an image with no difference in shading (no sharpness) like a display image when the image processing device 81 is not used to process the image. On the other hand, the threshold is set too high. In such a case, information may be missed, and only a part of the luminance range may be clearly displayed, resulting in an image.
  • the multi-level luminance range setting unit 253 has a larger number of gradation steps than that outside the setting range based on the luminance value supplied from the threshold comparison processing unit 252 and determined that the number of pixels is equal to or greater than the threshold.
  • a plurality of luminance ranges to be assigned are set, and the set luminance ranges are supplied to the output level conversion processing unit 254.
  • the number of luminance ranges set by the multi-step luminance range setting unit 253 is a force determined by the comparison result supplied from the threshold comparison processing unit 252. For example, an upper limit of the number may be determined in advance.
  • the output level conversion processing unit 254 acquires the image signal supplied from the imaging unit 91, and based on the information on the set luminance range supplied from the multiple-step luminance range setting unit 253, for example For example, in the same manner as described with reference to FIG. 6, FIG. 7, or FIG. 15, the number of steps of the luminance gradation level of the output level signal assigned to the set luminance region is otherwise set.
  • the output level of the acquired image signal is converted so as to be larger than the number of steps of the luminance gradation level of the output level signal assigned to the luminance region.
  • the histogram analysis unit 251 analyzes the histogram indicating the luminance value distribution of each pixel of the captured image. Then, the threshold value comparison processing unit 252 compares with the threshold value, and the luminance having the number of pixels equal to or larger than the threshold value is extracted in the same image (within one frame). Then, based on the extracted luminance, a plurality of luminance ranges are set in the multi-level luminance range setting unit 253, and the output level conversion processing unit 254 gives priority to the number of gradation steps in the range. Since the conversion characteristic of the output level with respect to the input level is required to be assigned, the luminance gradation width of each set luminance range is sufficiently given. Then, the converted signal is subjected to gradation conversion (the number of gradations is compressed) and output in the display control section 94 or the output control section 95 according to various processing conditions including display or printing. It is made like that.
  • the image display processing 5 executed by the image processing apparatus 81 will be described.
  • step S141 the imaging unit 91 operates the user's operation supplied from the operation input unit 92.
  • the subject is imaged based on the input, and the captured image signal that has been logarithmically converted and AZD converted is supplied to the image generation unit 93-7.
  • the image generation unit 93-7 acquires the captured image signal.
  • step S142 the histogram analysis unit 251 of the image generation unit 93-7 generates a histogram indicating the luminance distribution of each pixel of the captured image based on the image signal supplied from the imaging unit 91. Generate and analyze, and supply the analysis result to the threshold comparison processing unit 252.
  • the threshold value comparison processing unit 252 compares the number of pixels corresponding to the luminance value of each input signal with a predetermined threshold value based on the analysis result of the histogram supplied from the histogram analysis unit 251. .
  • the threshold value comparison processing unit 252 supplies information indicating the luminance value determined that the number of pixels is equal to or greater than the threshold value as a result of the comparison with the threshold value to the multi-step luminance range setting unit 253.
  • step S144 the multi-step luminance range setting unit 253 is also supplied with the threshold comparison processing unit 252. Based on the luminance value determined to be equal to or greater than the threshold value, more gradation steps than those outside the setting range are provided. Multiple luminance ranges to which numbers are assigned are set, and the set luminance ranges are supplied to the output level conversion processing unit 254.
  • step S145 the output level conversion processing unit 254, based on the information on the set luminance range supplied from the multi-step luminance range setting unit 253, for example, FIG. 6, FIG. 7, or FIG. Basically, the conversion characteristics of the input level and output level are determined in the same way as described using 15.
  • step S146 the output level conversion processing unit 254 determines, based on the conversion characteristics between the input level and the output level, the number of steps of the luminance gradation level of the output level signal assigned to the set plurality of luminance ranges. Output level assigned to other luminance ranges The output level of the image signal supplied from the imaging unit 91 is converted so as to be greater than the number of steps of the luminance gradation level of the signal, and supplied to the output control unit 95 To do.
  • step S147 the output control unit 95 converts the supplied image signal into a gradation suitable for the processing executed in the image utilization device 83, as described with reference to FIG.
  • step S148 the output control unit 95 performs processing that can be executed by the image utilization device 83.
  • the output to the image utilization device 83 of the converted image data that has been converted to a gradation that conforms to the above is controlled, and the process ends.
  • steps S141 to S146 basically the same processing is executed, and the image signal is supplied to the display control unit 94 and converted into gradations that can be processed by the display 82. Is output and its display is controlled.
  • a luminance region to which a large number of gradation steps are assigned is set based on the captured image.
  • a luminance region to which a large number of gradation steps are assigned may be determined in advance, or may be set by an operation input with user power.
  • the luminance area of the pixel corresponding to the image information required by the user in the captured image for example, when the angle of view of the captured image is fixed or the subject is irradiated with constant illumination.
  • a luminance region to which a large number of gradation steps are assigned can be determined in advance. As a result, the processing can be simplified and the cost of the apparatus can be reduced.
  • FIG. 30 is a block diagram showing a configuration of an image generation unit 93-8, which is an eighth example of the configuration of the image generation unit 93 in FIG.
  • the image generation unit 93-8 is used when a luminance region to which a large number of gradation steps are assigned is determined in advance.
  • the first luminance area luminance range setting unit 281 receives the input of the setting value of the luminance range of the first luminance area from the operation input unit 92 or the first luminance area stored in a storage unit (not shown). The set value of the luminance region of 1 is acquired, and the set value of the first luminance range is supplied to the output level conversion processing unit 187.
  • the second luminance area luminance range setting unit 282 receives the input of the setting value of the luminance range of the second luminance area from the operation input unit 92 or the second luminance area stored in a storage unit (not shown). The setting value of the second luminance area is acquired, and the setting value of the luminance range of the second luminance area is supplied to the output level conversion processing unit 187.
  • the third luminance area luminance range setting unit 283 receives the input of the setting value of the luminance range of the third luminance area from the operation input unit 92, or is stored in a storage unit (not shown). The setting value of the luminance region of 3 is acquired, and the setting value of the luminance range of the third luminance region is supplied to the output level conversion processing unit 187.
  • the output level conversion processing unit 187 performs basically the same processing as in the case of the image generation unit 93-3 in Fig. 20, and based on a plurality of set luminance ranges, the imaging unit 91 An image signal supplied with force is acquired and its output level is converted. That is, the output level conversion processing unit 187 is supplied from the first luminance region luminance range setting unit 281, the second luminance region luminance range setting unit 282, and the third luminance region luminance range setting unit 283. The output level of the image signal supplied from the imaging unit 91 is converted based on the information on the luminance range of the first luminance range, the luminance range of the second luminance region, and the luminance range of the third luminance region.
  • FIG. 30 shows a first luminance area luminance range setting section 281, a second luminance area luminance range setting section 282, and the like for setting the luminance ranges of the first to third luminance areas.
  • the power generation unit 93-8 in which the third luminance region luminance range setting unit 283 is illustrated, can further receive other luminance regions so that the luminance range of many luminance regions can be set.
  • a brightness range setting section may be provided.
  • the image generation process 93-8 of FIG. 30 is used for the image display process 6 executed by the image processing apparatus 81, V. explain.
  • step S171 the operation input unit 92 receives input of set values of a plurality of luminance ranges for user power, and supplies the input set values to the image generation unit 93-8.
  • step S172 the imaging unit 91 captures a subject based on the user's operation input supplied from the operation input unit 92, and performs logarithmic conversion and AZD conversion of the captured image signal. This is supplied to the image generator 93-8.
  • the image generation unit 93-8 acquires the captured image signal.
  • step S173 the first luminance area luminance range setting unit 281, the second luminance area luminance range setting unit 282, and the third luminance area luminance range setting unit 283 of the image generation unit 93-8 are Then, the setting values of the plurality of luminance ranges supplied from the operation input unit 92 are acquired and supplied to the output level conversion processing unit 187.
  • the output level conversion processing unit 187 includes the first luminance area luminance range setting unit 281, the second luminance area luminance range setting unit 282, and the third luminance area luminance range setting unit 283.
  • step S175 the output level conversion processing unit 187 converts the gradation of the captured image supplied from the imaging unit 91 based on the conversion characteristics determined in step S174, and supplies it to the output control unit 95. .
  • step S176 the output control unit 95 converts the supplied image signal into a gradation suitable for the processing executed by the output control unit 95, for example, as described with reference to FIGS. To do.
  • step S177 the output control unit 95 controls the output of the converted image data converted to the gradation suitable for the processing executable by the image utilization device 83 to the image utilization device 83, and Processing is terminated.
  • steps S 171 to S 175 basically the same processing is executed, and the image signal is supplied to the display control unit 94 and converted into gradations that can be processed in the display 82. Is output and its display is controlled.
  • the force described as receiving the setting value of the luminance range of each luminance region from the operation input unit 92 When stored in the storage unit, the stored brightness value is acquired. Needless to say, what you do.
  • a histogram indicating the distribution of the luminance values of the pixels included in the captured image is analyzed in a predetermined luminance region, and a certain number of pixels within a predetermined luminance range are determined. It is also possible to extract the luminance that has and to determine the luminance area to which a large number of gradation steps are assigned based on the extraction result.
  • FIG. 32 is a block diagram showing a configuration of an image generation unit 93-9 that is a ninth example of the configuration of the image generation unit 93 in FIG.
  • the image generation unit 93-9 extracts luminance having a certain number of pixels or more in a predetermined luminance region by histogram analysis, and assigns a large number of gradation steps based on the extraction result. It is made to determine the luminance area to be controlled.
  • the image generation unit 93-9 in FIG. 32 includes the first luminance region luminance range setting unit 281 and the second luminance region luminance range setting unit of the image generation unit 93-8 described with reference to FIG. 282, a third luminance area luminance range setting unit 283, and an output level conversion processing unit 187. Further, the image generation unit 93-9 includes the image generation unit described with reference to FIG. 27 in order to analyze the histogram and compare it with a predetermined threshold value based on the set value of the luminance range output from each.
  • the histogram analysis units 251-1 to 2 51-3 and the threshold value comparison processing units 252-1 to 252 can execute the same processing as the histogram analysis unit 251 and the threshold value comparison processing unit 252 provided in 93-7. — 3 is provided.
  • the histogram analysis units 251-1 to 2 51-3 analyze the histogram of the luminance value of each pixel of the captured image, and the threshold comparison processing units 252-1 to 252- In step 3, the luminance is compared with the threshold value, and the luminance having the number of pixels equal to or larger than the predetermined threshold value is extracted.
  • the luminance is determined by the number of gradation steps. It is not set to the brightness range that is preferentially assigned.
  • the output level conversion processing unit 187 assigns a priority to the number of gradation steps to the pixels in the range, and each luminance level in the set luminance range. It is designed to be converted into a continuous luminance gradation with sufficient adjustment range. Then, the converted signal is subjected to gradation conversion (the number of gradations is compressed) and displayed in the display control section 94 or the output control section 95 according to the display or print output conditions. It is output for various processes such as printing, image recognition, recording, or transmission.
  • pixels of the image corresponding to the image information required by the user among the images to be captured such as when the angle of view of the image to be captured is fixed or the subject is irradiated with a certain amount of illumination.
  • the luminance area of a pixel corresponding to the image information required by the user changes in several patterns over time, even in the same luminance area at daytime Ability to have a lot of information, with little information in the evening, or to have a lot of information in the evening or at night There may be little information in the morning or at noon .
  • the image generation unit 93-9 in FIG. 32 is used.
  • the image display process 7 executed by the image processing apparatus 81 will be described.
  • step S201 the operation input unit 92 receives input of set values of a plurality of luminance ranges with user power, and supplies the input set values to the image generation unit 93-9.
  • Image generator 9
  • step 3-9 the captured image signal is acquired.
  • step S202 the imaging unit 91 captures an image of the subject based on the user operation input supplied from the operation input unit 92, logarithmically converted, and AZD-converted captured image signal. — Supply to 9.
  • step S203 the first luminance area luminance range setting unit 28 of the image generation unit 93-9.
  • step S204 the histogram analysis units 251-1 to 251-2-3, based on the image signal supplied from the imaging unit 91, as described with reference to FIG. A histogram showing the distribution of luminance values in the third to third ranges is generated and analyzed, and the analysis result is supplied to the threshold value comparison processing units 252-1 to 252-2.
  • the threshold comparison processing units 252-1 to 252-3 display the analysis results of the histograms in the first to third ranges supplied from the histogram analysis units 251-1 to 251-2. Based on this, the number of pixels corresponding to the luminance value of each input signal is compared with a predetermined threshold value.
  • the threshold value comparison processing units 252-1 to 252-3 supply the output level conversion processing unit 187 with the luminance value determined as a result of comparison with the threshold value that the number of pixels is equal to or greater than the threshold value.
  • step S206 the output level conversion processing unit 187 sets a luminance range to which a large number of gradation steps are allocated based on the luminance values supplied from the threshold comparison processing units 252-1 to 252-2. .
  • step S207 the output level conversion processing unit 187 determines the conversion characteristics between the input level and the output level as described with reference to FIG. 6, FIG. 7, or FIG.
  • step S208 the output level conversion processing unit 187 converts the gradation of the captured image supplied from the imaging unit 91 based on the conversion characteristics determined in step S74. To the output control unit 95. [0304] In step S209, the output control unit 95 converts the supplied image signal into a gradation suitable for the processing of the output control unit 95, for example, as described with reference to FIG.
  • step S210 the output control unit 95 controls the output of the converted image data converted to the gradation suitable for the processing executable by the image utilization device 83 to the image utilization device 83, and Processing is terminated.
  • step S201 to step S208 basically the same processing is executed, the image signal is supplied to the display control unit 94, converted into a gradation that can be processed in the display 82, and output, and the display is displayed. Be controlled.
  • the image processing device 81 in which the image generation units 93-1 to 93-9 are used, the image is captured by the imaging unit 91 using the logarithmic conversion type imaging device 102. Even if the image data required by the user exists in a wide luminance range in the image data, such an image is displayed with a gradation corresponding to the display 82, or is output. Information required by the user when output in the gradation corresponding to the previous external device (for example, dark objects in the dark or bright parts existing in the same image as the dark one) Image) can be displayed in an identifiable state, or image data suitable for use in various processes such as printing, image recognition, storage, and transmission can be generated.
  • Luminance compression is to reduce the number of gradations (number of gradation steps) of the luminance value of image data.
  • the image conversion process to which the present invention is applied is executed, for example, the luminance region portion to be recognized by the user is displayed or printed out with a sufficient contrast, or various images are displayed.
  • the processing it is possible to easily determine a threshold value of binary values and to easily detect a predetermined object based on an image.
  • the image using device 83 is a device that executes an image using process such as an image printout process, an image recognition process, an image recording process, and an image communication process.
  • the brightness-compressed wide dynamic range image data obtained as described above includes information necessary for recognizing the target content in the original wide dynamic range image, and The amount of data has been greatly reduced. Therefore, in a process that does not require luminance information that corresponds to the luminance of the object photographed for each pixel in a one-to-one relationship, the wide dynamic range image data with luminance compression obtained as described above is used. Can be used.
  • 14bit AZD converted wide dynamic range image is very wide luminance band
  • the conventional image processing apparatus cannot cope with it as it is because it includes a region. Specifically, for example, when a Laplacian transformation that performs differentiation processing is performed, only noise-like results can be obtained, or there are too many luminance candidates that can serve as a threshold value for binary key processing. Problems such as an explosive increase in volume occur.
  • wide dynamic range images have the same purpose as conventional image processing because they are different in nature from images used in conventional image processing. However, if a wide dynamic range image is used, the processing process will require significant modifications.
  • the wide dynamic range image data should be used. It is very large data that includes even no information, and it is inefficient to handle such data.
  • luminance compression is performed even when the subject to be processed is dispersed in the deviated luminance region, and the subject is viewed. Even when viewed as a normal image, an image with no sense of incongruity can be obtained by observing with the human eye, as in the case of shooting a narrow luminance range with a conventional imaging device. It can be applied in the processing process.
  • luminance compression is performed in a state where the content of the image is recognizable, so that it is possible to prevent recording or transmitting huge data including unnecessary information. .
  • the compression rate of the image data depends on the slope of the corresponding curve of the output signal level relative to the input signal level assigned to the selected luminance region. Is determined. Therefore, the slope of the corresponding curve of the output signal level with respect to the input signal level, that is, the conversion characteristic between the input level and the output level, should be determined according to the number of gradation steps required by the image utilization device 83! If the slope of the conversion characteristic between the input level and the output level is moderated, the compression ratio can be set high. If the slope of the conversion characteristic is steep, the compression ratio can be set low.
  • the image utilization device 83 captures an image of the front of a traveling car and takes the vehicle, for example.
  • a device that uses an image close to a binarized image such as a detection device that executes processing for detecting a white line on the road, it is preferable to set the compression rate high.
  • a certain level of gradation such as when recording an image, it is preferable to assign the necessary number of gradation steps.
  • the image utilization device 83 captures an image of the front surface of a running car, and the state of the running road surface, specifically, the road surface is dry, wet,
  • a road condition detection device that detects force / force in a frozen state or a snowy condition
  • a wide luminance range is selected for the luminance region corresponding to the road surface, and the other luminance range is selected. If a relatively narrow luminance range is selected, the compression rate can be increased without reducing the amount of road surface information.
  • the image utilization device 83 is a recording device for night vision (night-time forward image display device), for example, the gradation of the bright area should be less than the gradation of the dark area.
  • the compression rate can be increased without degrading the image quality in the important luminance region.
  • the image processing device 81 when the state of the imaging environment such as day and night can be determined using other means such as a sensor, the image processing device 81 has a luminance with a different pattern depending on the state of the target. It is desirable to set the range. For example, if a large amount of brightness is assigned to a relatively bright area during the day and an average is assigned to the low brightness, central brightness, and high brightness areas at night, the brightness compression rate can be increased.
  • the slopes of the conversion characteristics of the input level and the output level in the main area luminance range and the second luminance range indicated by B and C are the same. This is, for example, shown in FIG. This is because the brightness distribution inside and outside the tunnel is matched with the tunnel image shown in Fig. 1.
  • the image utilization device 83 that executes processing that is affected by the density distribution, in each of FIGS. 15A, B, and C. It is desirable that the slopes of the input level and output level conversion characteristics in the main luminance range, the second luminance range, and the third luminance range are the same.
  • the inclination of the conversion characteristics of the input level and output level is changed as necessary for each region, The compression rate can be increased.
  • the luminance compression rate can be reduced by setting the luminance range accordingly. Can be increased. For example, when shooting in front with an in-vehicle camera, the road surface appears in the lower center of the screen, so if the upper and lower luminance ranges are determined based on the luminance of the road surface, the required luminance range can be set accurately. Thus, the compression rate can be increased without losing the necessary luminance range.
  • a wide dynamic range image that has been AZD converted with 14 bits includes a very wide luminance band, and thus cannot be directly supported by a conventional image processing apparatus.
  • a conventional image processing apparatus when performing Laplacian transformation that performs differential processing, there are too many luminance candidates that can only be a noise-like result or can be a threshold value for binary processing. Problems such as an explosive increase in throughput will occur.
  • wide dynamic range images have the same purpose as conventional image processing because their properties are different from those used in conventional image processing. However, if a wide dynamic range image is used, the processing process will require significant modifications.
  • the wide dynamic range image data should be used. It is very large data that includes even no information, and it is inefficient to handle such data.
  • the subject to be processed is dispersed in the separated luminance regions. Even in such cases, brightness compression of AZD-converted wide dynamic range images is performed, so conventional image recognition devices can be applied in the same processing process. In the same way as when photographing a narrow luminance range with this image sensor, it is possible to obtain a completely uncomfortable image by observing with the human eye.
  • a predetermined luminance range is uniformly AZD-converted by a 12-bit AZD converter
  • 4096-gradation image data is obtained.
  • the luminance range that can be photographed is other than the luminance range that can be imaged, which is very narrow compared to the logarithmic conversion type image sensor used in the present invention. Since no gradation can be obtained, even if the luminance range is expressed with 4096 gradations, an image with no sense of incongruity can be obtained by observing with the human eye.
  • the luminance range from darkness at night to direct sunlight can be imaged. Even if the range is expressed in 4096 gradations, the image becomes unnatural and uncomfortable.
  • the logarithmic conversion type image sensor used in the present invention is configured to AZD convert a signal obtained by logarithmically converting the luminance level obtained by imaging.
  • AZD a signal obtained by logarithmically converting the luminance level obtained by imaging.
  • an image of a range illuminated by a single light source eg, the sun or a streetlight
  • the color of the road surface is usually gray, so it is distributed in a relatively dark area within a narrow luminance range of about 1Z16.
  • the 128 gradations are insufficient, so an unnatural part appears when displayed.
  • paint such as white lines, stop lines, and pedestrian crossings drawn on the road surface by image processing
  • a slight luminance difference is output as a large difference of 1Z128 due to quantization error. This increases the possibility of misrecognition.
  • FIG. 11 is a block diagram showing a configuration of an image processing apparatus 381 that is set so that gradations are sufficiently allocated.
  • FIG. 35 uses FIG. 2 except that an imaging unit 391 is provided instead of the imaging unit 91, and an image generation unit 392 is provided instead of the image generation unit 93. This has basically the same configuration as the image processing apparatus 81 described.
  • the imaging unit 391 captures an image of the subject based on the user's operation input supplied from the operation input unit 92, and based on the captured image signal or based on the operation input by the user. Brightness The gradation assignment is determined for each degree range, AZD conversion is performed, and the obtained image signal is supplied to the image generation unit 392. Details of the imaging unit 391 will be described later with reference to FIG.
  • the operation input unit 92 includes, for example, an input device such as a button such as a relays button, operation keys, and a touch panel.
  • the operation input unit 92 receives an operation input from the user, and issues an instruction from the user to the imaging unit 391 and the image generation unit. Supply to 392. Further, when the operation input unit 92 receives an input of a predetermined setting value related to gradation allocation of the AZD conversion process executed by the imaging unit 391 by the user, the operation input unit 92 supplies the setting value to the imaging unit 391. .
  • the image generation unit 392 executes processing for converting the image signal supplied from the imaging unit 391 into an image signal suitable for display or print output, and supplies the image signal to the display control unit 94 or the output control unit 95.
  • the image generation unit 392 does not execute the brightness range setting process and the output level conversion process as described with reference to FIGS. Only the image signal generation process is executed.
  • the image generation unit 392 when the image generation unit 392 receives a range setting of an image to be displayed or printed out from the operation input unit 92, for example, the image generation unit 392 performs image region clipping or overall contrast. When the operation input for adjusting the image is received, the overall contrast of the image is adjusted, but the process of changing the gradation assignment of the AZD conversion process executed in the imaging unit 391 is not performed.
  • the display control unit 94 performs processing to convert the processed image signal supplied from the image generation unit 392 into the resolution and the number of gradations of the display 82, and supplies the processed signal to the display 82. To do.
  • the output control unit 95 performs a process of converting the processed image signal supplied from the image generation unit 392 into a resolution and the number of gradations that can be processed by the image utilization device 83, and outputs the processed signal. And output to the image utilization device 83.
  • the display 82 receives, for example, the display image signal supplied from the display control unit 94, and displays an image (a still image or a moving image including a plurality of frames).
  • the image using device 83 requests input of the image signal supplied from the output control unit 95, and executes predetermined processing.
  • the image utilization device 83 includes, for example, various types of information that execute processing using an image, such as an image printing device, an image recognition device, an image recording device, and an image communication device.
  • the information processing device can be used.
  • the image signal generated by the image generation unit 392 also has a one-to-one correspondence between the luminance of the imaging target and the luminance data of the image data (the luminance of the imaging target and the image data).
  • the brightness data of the image data must correspond linearly) It is preferable to use the image utilization device 83 for executing the wrinkle processing.
  • the brightness of the imaging target and the brightness data of the image data do not have to correspond one-to-one!
  • the processing includes, for example, print output, recording processing, processing for recognizing a predetermined target in the image, There are processing to detect an edge portion or straight line portion in an image, binarization processing, or transmission processing to another device that executes such processing.
  • FIG. 36 is a block diagram showing a more detailed configuration example of the imaging unit 391 of the image processing device 381 in FIG.
  • the imaging unit 391 basically has the same configuration as the imaging unit 39 in FIG. 3 except that a logarithmic conversion type imaging device 401 is provided instead of the logarithmic conversion type imaging device 102. Yes.
  • the logarithmic conversion type imaging device 401 basically has the gradation assignment determining unit 41 1 and a AZD conversion unit 412 instead of the AZD conversion unit 113. It has the same configuration as the logarithmic conversion type image sensor 102
  • the logarithmic conversion type imaging device 401 is a logarithmic conversion type imaging device such as HDRC, for example, and includes a light detection unit 111, a logarithmic conversion unit 112, a gradation assignment determination unit 411, an AZD conversion unit 412, and an imaging unit.
  • the timing control unit 114 is configured to be included.
  • the light generated by the imaging unit 391 and also having a subject power (or light reflected by the subject) is incident on the lens 101 and is not shown in the light detection unit 111 of the logarithmic conversion type imaging device 401.
  • An image is formed on the detection surface.
  • the light detection unit 111 converts the light of the subject imaged by the lens 101 into a charge corresponding to the brightness (illuminance) of the incident light, and accumulates the converted charge.
  • the light detection unit 111 supplies the accumulated charge to the logarithmic conversion unit 112 in synchronization with the control signal supplied from the imaging timing control unit 114.
  • the logarithmic converter 112 uses the subthreshold characteristic of the MOSFET to charge the charge supplied from the light detector 111 for each pixel.
  • the logarithmic conversion unit 112 supplies the generated analog electric signal to the AZD conversion unit 412 and also supplies it to the gradation assignment determination unit 411.
  • the gradation assignment determination unit 411 analyzes the analog electrical signal supplied from the logarithmic conversion unit 112, and determines gradation assignment for AZD conversion executed in the AZD conversion unit 412.
  • the gradation assignment determination unit 411 detects the main luminance range (luminance region) in the luminance distribution of the input image, so that the image in the luminance range can be sufficiently recognized. Assigns the number of gradation steps for / D conversion.
  • the brightness range may be set to one or more than one, and the area between the multiple areas may not have a gradation step at all. In some cases, coarse and gradation can be obtained.
  • the set luminance range may be automatically selected and set from the captured image, or may be set by user operation input.
  • the 80 conversion unit 412 performs AZD conversion of the analog electrical signal into digital image data in synchronization with the control signal supplied from the imaging timing control unit 114. At this time, the AZD conversion unit 412 performs A according to the gradation allocation determined by the gradation allocation determination unit 411.
  • the AZD conversion unit 412 supplies the converted digital image data to the image processing device 92.
  • the imaging unit 391 is not proportional to the logarithm of the brightness (incident light amount) of the subject incident on the light detection unit 111, and the gradation assigned by the gradation assignment determination unit 411 is adjusted.
  • Base! / ⁇ Outputs AZD-converted digital image data.
  • FIG. 37 is a block diagram showing a configuration of a gradation assignment determining unit 411-1 which is a first example of a configuration of the gradation assignment determining unit 411 in FIG.
  • the average luminance calculation unit 451 acquires the analog image signal supplied from the logarithmic conversion unit 112, calculates the average luminance, and outputs the average luminance calculation result to the main area luminance range setting unit. Supply to 452.
  • the main area luminance range setting unit 452 sets the luminance range of the main area based on the average luminance of the image signal supplied from the average luminance calculation unit 451, and converts the set luminance range of the main area to the gradation. This is supplied to the allocation calculation unit 455 and the second luminance area luminance average value calculation unit 453.
  • the main area luminance range setting unit 452 may use, for example, a predetermined luminance range centered on the average luminance of the image signal as the luminance range of the main area, and the pixel that is the average luminance of the image signal. As a center, a predetermined number of pixels may be selected in order from the one having a luminance value close to this luminance, and the luminance range of the main area may be selected.
  • Second luminance area luminance average value calculation section 453 has a higher luminance than the luminance range of the main area set by main area luminance range setting section 452 among the image signals supplied from logarithmic conversion section 112. The average luminance of the pixels in the range is calculated, and the calculation result is supplied to the second luminance area luminance range setting unit 454.
  • the second luminance area luminance range setting unit 454 is based on the average luminance of the pixels in the higher luminance range than the luminance range of the supplied main area.
  • the luminance range of the second luminance area is set, and the set luminance range of the second luminance area is supplied to the gradation assignment calculating unit 455.
  • the second luminance area luminance range setting unit 454 sets a predetermined luminance range centered on the average luminance of pixels in a luminance range higher than the luminance range of the main area as the luminance range of the second luminance area.
  • a predetermined number of pixels may be selected in order from pixels having a luminance value close to this luminance, centering on a pixel having an average luminance of pixels in a luminance range higher than the luminance range of the main region.
  • the luminance range of the luminance region may be the same.
  • the gradation allocation calculation unit 455 acquires the image signal supplied from the logarithmic conversion unit 112, and is supplied with the main region luminance range setting unit 452 and the second luminance region luminance average value calculation unit 453. In addition, based on the information on the luminance range of the main area and the luminance range of the second luminance area, the number of gradation steps to be assigned to which luminance range in the AZD conversion by the AZD conversion unit 412 decide.
  • the gradation allocation calculation unit 455 performs the following on the level of the input luminance signal: Allocation of the number of gradation steps for AZD conversion shall be different between the luminance range set as the main area and the second luminance area, and other ranges. That is, the gradation assignment calculation unit 455 determines the gradation assignment so that a larger number of gradation steps are assigned to the luminance ranges set as the main area and the second luminance area. In the converter 412, AZD conversion processing is executed so that the number of gradations of pixels in the corresponding luminance range is increased. By doing so, the portion of the luminance range corresponding to the main region and the second luminance region in the image displayed or printed out can be more easily recognized by the user.
  • the gradation assignment calculation unit 455 divides and assigns all the gradation step numbers to the luminance range of the main area and the luminance range of the second luminance area, for example.
  • the AZD conversion level is used for a range with a lower luminance than the main region, a luminance range between the main region and the second luminance region, and a range with a higher luminance than the second luminance region. It is possible to do so without assigning the number of key steps.
  • the analog signal input to A / D conversion section 412 is converted into a digital signal output after AZD conversion.
  • the output level of the pixel whose luminance input level is lower than the luminance range of the main area is 0 (that is, black).
  • a predetermined number of gradation steps is assigned to the pixels in the luminance range of the main area according to the input level, and AZD conversion is executed. Pixels in the luminance range between the main area and the second luminance area are output as digital signals with the same gradation as the maximum output level assigned to the luminance range in the main area, regardless of the input level. Is done.
  • the pixels in the second luminance area have the same or substantially the same number of steps as the main area, and the overall gradation from the maximum gradation assigned to the luminance range of the main area according to the input level.
  • the number of gradation steps up to the maximum value is assigned, and AZD conversion is executed.
  • Pixels that are brighter than the second luminance area have the maximum gradation value assigned to the second luminance area, that is, the maximum value of the entire gradation (maximum output level) regardless of the input level. ) Digital signal.
  • the gradation allocation calculation unit 45 for example, for the main area and the second luminance area, Assign a predetermined number of steps of all gradation steps in AZD conversion
  • the luminance range between the main area and the second luminance area is smaller than the number of steps assigned to the main area and the second luminance area (in other words, the main area and the second luminance area). Narrow gradation width than the brightness range of the main area, and assigning the number of steps in the AZD conversion to the brightness range lower than the main area and the brightness area higher than the second brightness area. Can be.
  • the maximum number of gradations assigned to the luminance range between the main area and the second luminance area is the same or approximately the same number of steps as the main area, depending on the input level. Gradation steps between the gradations up to the maximum value of the entire value are assigned and AZD conversion is executed. Then, the pixels having higher luminance than the second luminance area are output as a digital signal having the maximum gradation level assigned to the second luminance area, that is, the maximum output level, regardless of the input level.
  • the gradation allocation calculation unit 45 performs a predetermined luminance range centered on the upper limit value of the luminance of the main region in the section ex and a predetermined value centered on the lower limit value of the luminance of the second luminance region.
  • the brightness range is set to section ⁇ , and a predetermined number of gradation steps among the number of gradation steps in AZD conversion is assigned to pixels other than section ⁇ or section ⁇ in the main area or the second luminance area.
  • the number of steps is smaller than the number of steps assigned to the part other than section a in the main area, and is larger than the maximum gradation value assigned to the part other than section ⁇ in the main area.
  • a ZD conversion is executed by assigning a predetermined gradation.
  • the gradation step is performed with a smaller number of steps than the number of steps assigned to the interval (X). The same gradation as the maximum value assigned to section a is assigned regardless of the power to which the number is assigned or the input level.
  • the pixels in section / 3 have a number of steps smaller than the number of steps assigned to the part other than section a in the main area, and are larger than the maximum gradation value in the luminance range lower than section ⁇ .
  • the maximum value of the gradation assigned to the section / 3 also depends on the input level. Steps are assigned.
  • pixels other than section ⁇ within the brightness range of the second brightness area have the same or substantially the same number of gradation steps as the section other than section OC in the main area, that is, section (X and section ⁇
  • the number of gradation steps is assigned more than the number of gradation steps, and the pixels with higher luminance than the second luminance area, regardless of the input level, are the maximum gradation value assigned to the second luminance area, that is, Is output as a digital signal with the maximum output level.
  • the predetermined interval on the upper limit side in the luminance range of the main region is the interval (X, second
  • the predetermined interval on the lower limit side in the luminance range of the luminance region is defined as the interval ⁇
  • the predetermined interval higher than the upper limit of the luminance range of the main region is defined as the interval (X, from the lower limit of the luminance range of the second luminance region.
  • a predetermined low-luminance zone may be set as zone ⁇ , and the same as zone oc and zone ⁇ on the lower limit side of the main area and the upper limit side of the brightness of the second brightness area. It is also possible to set an area where the number of output level steps can be assigned.
  • all the pixels having the luminance less than or equal to the luminance range of the main area are assumed to be output 0 (black), and the range having the luminance higher than the luminance range of the second luminance area. All pixels have the same output level (maximum output level) as the highest brightness in the brightness range of the second brightness area, but below the brightness range of the main area and in the brightness range of the second brightness area. Even if each of the above luminance ranges is set, a certain number of gradation steps may be assigned.
  • the gradation assignment calculating unit 455. can determine assignment of the number of gradation steps for A / D conversion, for example, as shown in FIG. That is, in a pixel whose luminance input level is lower than the luminance range of the main area, a predetermined number of gradations corresponding to the input level from 0 (that is, black) to a number smaller than the number of steps assigned to the main area. The number of steps is assigned and AZD conversion is performed. Then, a predetermined gradation step number is assigned to the pixels within the main region luminance range according to the input level, and A / D conversion is executed.
  • the pixels in the luminance range between the main area and the second luminance area are output as digital signals having the maximum gradation value assigned to the main area regardless of the input level.
  • a predetermined number of gradation steps from the maximum value of the output level assigned to the main area according to the input level is the same or substantially the same as the main area.
  • a / D conversion is performed.
  • the main region and the second region from the maximum value of the gradation step assigned to the luminance range of the second luminance region to the maximum gradation are used.
  • the number of gradation steps corresponding to the input level is assigned so that the number of steps is smaller than the number of steps assigned to the luminance area, and AZD conversion is executed.
  • the gradation assignment calculating unit 455 can determine the assignment of the number of gradation steps for AZD conversion, for example, as shown in FIG. 39B. That is, in a pixel whose luminance input level is lower than the luminance range of the main area, a predetermined number of gradation steps is allocated corresponding to the input level, which is smaller than the number of steps allocated from 0 (that is, black) to the main area. And AZD conversion is executed.
  • a predetermined number of gradation steps is assigned to the pixels in the main area luminance range according to the input level, and AZD conversion is performed.
  • the number of gradation steps corresponding to the input level is assigned with a smaller number of steps than the number of steps assigned to the main area.
  • AZD conversion is performed.
  • the maximum intensity of the gradation assigned to the luminance range between the main area and the second luminance area is applied to the pixels in the second luminance area.
  • the AZD conversion is executed by assigning the same number of steps as the main area.
  • the number of steps assigned to the main area from the maximum gradation assigned to the luminance range of the second luminance area to the maximum gradation.
  • the number of gradation steps corresponding to the input level is assigned so that the number of steps is smaller, and AZ D conversion is executed.
  • the gradation assignment calculating unit 455 can determine assignment of the number of gradation steps for AZD conversion, for example, as shown in Fig. 56C. That is, in a pixel whose luminance input level is lower than the luminance range of the main area, a predetermined number of gradation steps is allocated corresponding to the input level, which is smaller than the number of steps allocated from 0 (that is, black) to the main area. And AZD conversion is executed. A predetermined gradation step number is assigned to pixels within the main region luminance range and other than the interval ⁇ in accordance with the input level, and AZD conversion is executed.
  • the pixels in section a have a number of steps smaller than the number of steps assigned to the part other than section a in the main area, and are larger than the maximum gradation value assigned to the part other than section ⁇ in the main area. Tone steps are assigned and AZD conversion is executed. Also, in the luminance range between the main area and the second luminance area, in the pixels that do not fall within the interval ⁇ or j8, the number of steps assigned to the interval a is smaller than the number of steps assigned to the input level. Is the corresponding gradation assigned? Regardless of the input level, the interval (the maximum gradation value assigned to X is assigned and AZD conversion is executed.
  • the pixels in section / 3 have a number of steps smaller than the number of steps assigned to the part other than section a of the main area, and are larger than the maximum gradation value in the luminance range lower than section ⁇ .
  • a number of tones are assigned.
  • pixels other than the section j8 within the brightness range of the second brightness area are compared with the brightness range other than the section ⁇ of the main area from the maximum gradation assigned to the section j8 according to the input level.
  • the gradations with the same or approximately the same number of steps are assigned.
  • the range other than the section a of the main area from the maximum gradation value assigned to the luminance range of the second luminance area to the maximum gradation value.
  • the gradation corresponding to the input level is assigned so that the number of steps is less than the number of steps assigned to the part.
  • a predetermined luminance range centered on the upper limit value of the luminance of the main area is also represented by section a
  • a predetermined luminance range centered on the lower limit value of the luminance of the second luminance area is represented by section ⁇ .
  • a predetermined section on the upper limit side in the main area luminance range is defined as section (X)
  • a predetermined section on the lower limit side in the luminance range in the second luminance area is defined as section ⁇
  • the upper limit of the main area luminance range is set.
  • the predetermined section with higher brightness than the lower limit of the brightness range of the second brightness area may be set as section ⁇ , and the predetermined section with lower brightness than the lower limit of the brightness range of the second brightness area may be set as section ⁇ . It is also possible to set an area to which the same number of output level steps as those in the section a and the section ⁇ are assigned to the upper side of the brightness and the second brightness area.
  • the gradation assignment calculating unit 45 determines the ratio of the number of gradation steps assigned to the input level in the main area and the second luminance area (straight line). It is also possible to determine the number of gradation steps assigned to each luminance region so that the ratio of the gradation step number assigned to the input level in the luminance range other than the luminance region is reduced.
  • the main area and the second luminance area set in the gradation assignment determining unit 411-1 are set based on the captured image that is not within the predetermined luminance range. It is what is done. That is, the gradation allocation in the AZD conversion determined by the gradation allocation determination unit 411-1 is, for example, occupying most of the screen in the entire captured image. The number of gradations is limited in the luminance range that is most important for the user to recognize the image, such as the subject to be imaged, and the luminance range that occupies most of the luminance range that is higher than the luminance range. Made to allocate lots of!
  • FIG. 40A shows the assignment of the gradation step number by the analog input signal and gradation assignment calculation unit 455 when the AZD conversion based on the gradation step assignment described with reference to FIG. 38A is performed.
  • AZD conversion is performed with a large number of gradation steps assigned in the main area and the second brightness area, which are discrete brightness ranges. All pixels in the luminance range between the main area and the second luminance area are output at the maximum output level of the main area. Then, the power after which the signal after AZD conversion is subjected to image processing by the image generation unit 392 in accordance with the conditions of display or output to the image utilization device 83.
  • the gradation No conversion is performed. That is, when the image generation unit 392 processes the signal supplied from the gradation assignment determination unit 411-1, that is, the signal after AZD conversion based on the gradation assignment by the gradation assignment calculation unit 445, Do not change the key assignment percentage.
  • FIG. 40B shows an analog input signal and gradation step number assignment by the gradation assignment calculation unit 455 when the AZD conversion based on the gradation step assignment described with reference to FIG. 38B is performed.
  • the digital signal after AZD conversion based on this is displayed on the display 82, or processing such as printing, image recognition, recording, or image communication is performed.
  • the gradation between the main area and the second luminance area is provided with gradations having a smaller number of steps than the main area and the second luminance area.
  • FIG. 40C shows the assignment of the number of gradation steps by the analog input signal and the gradation assignment calculation unit 455 when the AZD conversion based on the gradation step assignment described with reference to FIG. 38C is performed.
  • the number of gradation steps assigned in the main region, the second luminance region, and the region between them is changed gradually by the above-described interval (X and interval ⁇ , that is, In the interval ⁇ and the interval ⁇ , gradations with a smaller number of steps are given than in the main area and the second luminance area, so that the number of gradation steps given to the entire image is small.
  • a sufficient luminance gradation width is given to the main area and the second luminance area, and it is possible to reduce the luminance area expressed by only one gradation.
  • second luminance area luminance average value calculating section 453 and second luminance area luminance range setting section 454 are each provided. What is necessary is just not to perform a process. In this way, a large number of gradation steps are assigned only to the luminance range of the main region.For example, as shown in FIG. 41, for the analog signal input to the AZD conversion unit 412, AZD Digital signals that are converted and output can be obtained.
  • the A ZD conversion is performed on the analog signal input to the AZD conversion unit 412.
  • a digital signal to be output can be obtained.
  • the number of gradation steps less than the main area luminance range is assigned before and after the main area luminance range, As shown in FIG. 41B, it is possible to obtain a digital signal that is AZD converted and output from the analog signal input to the AZD conversion unit 412.
  • the number of gradation steps is smaller than that in the main area luminance range.
  • the number of gradation steps is smaller than section a and section ⁇ .
  • An analog signal input to the AZD converter 412 can be obtained as a digital signal output after AZD conversion.
  • FIG. 42 shows the input signal, the signal after AZD conversion based on the gradation step assignment by the gradation assignment calculation unit 455, and the signal when the gradation assignment described with reference to FIG. 41 is performed. It is a figure which shows the luminance level of the signal displayed.
  • FIG. 42 (b) shows the assignment of the number of gradation steps by the analog input signal and the gradation assignment calculation unit 455 when the AZD conversion based on the gradation step assignment described with reference to FIG. 41A is performed.
  • AZD-converted digital signal based on, and the luminance of the signal displayed on the display 82 or output to the image utilization device 83 for processing such as printing, image recognition, recording, or image communication It is a figure which shows a level.
  • AZD conversion is performed with a large number of gradation steps assigned only to the main area, and all pixels in the luminance range below the main area are output at an output level of 0. All pixels in the luminance range are output at the maximum output level of the main area.
  • FIG. 42 (b) shows an analog input signal and gradation step calculation unit 455 assigning gradation steps when the AZD conversion based on the gradation step assignment described with reference to FIG. 41B is performed.
  • the image utilization device 83 for processing such as printing, image recognition, recording, or image communication It is a figure which shows a level.
  • the areas other than the main area are given a gradation with fewer steps than the main area.
  • the converted signal has a small number of gradation steps applied to the entire image, but the number of steps in the region other than the main region is small. Accordingly, a sufficient luminance gradation width is given to the signal in the main area.
  • FIG. 42C shows the assignment of the number of gradation steps by the analog input signal and gradation assignment calculation unit 455 when the AZD conversion based on the gradation step assignment described with reference to FIG. 41C is performed.
  • the number of assigned gradation steps in the main region and the other regions is changed gently according to the above-described interval (X and interval ⁇ , that is, in the interval (X and interval ⁇ Therefore, the number of gradation steps is larger than that of the main area, which is smaller than that of the main area, so that even if the number of gradation steps given to the entire image is small, the number of steps after conversion is small.
  • a sufficient luminance gradation width is given to the main region, and the luminance region near the main region has a relatively larger number of gradation steps than the luminance region deviated from the main region. Can be assigned.
  • step S301 the light detection unit 111 of the imaging unit 391 supplies the accumulated charge to the logarithmic conversion unit 112 in synchronization with the control signal supplied from the imaging timing control unit 114. That is, the captured image signal is acquired.
  • the logarithmic converter 112 uses the sub-threshold characteristic of the MOSFET to generate an analog electrical signal by converting the charge supplied from the light detector 111 into a voltage value approximately proportional to the logarithm of the number of charges for each pixel. And supplied to the AZD conversion unit 412 and to the gradation assignment determination unit 411-1.
  • step S302 the average luminance calculating unit 451 of the gradation assignment determining unit 41-1 calculates the average luminance of the entire captured image and supplies the calculation result to the main region luminance range setting unit 452.
  • step S303 the main region luminance range setting unit 452 sets the luminance range of the main region based on the average luminance of the entire image supplied from the average luminance calculation unit 451, and sets the luminance of the set main region. Range, gradation assignment calculation unit 455, and second luminance area luminance This is supplied to the average value calculation unit 453.
  • the main area luminance range setting unit 452 may use, for example, a predetermined luminance range centered on the average luminance of the image signal as the luminance range of the main area, and the pixel that is the average luminance of the image signal. As a center, a predetermined number of pixels may be selected in order from the one having a luminance value close to this luminance, and the luminance range of the main area may be selected.
  • the second luminance area luminance average value calculation unit 453 includes the luminance range of the main area set by the main area luminance range setting unit 452 in the image signal supplied from the logarithmic conversion unit 112. The average brightness of the brighter area is obtained, and the result is supplied to the second brightness area brightness range setting unit 454.
  • step S305 the second luminance area luminance range setting unit 454 is based on the average luminance of the area brighter than the luminance range of the main area supplied from the second luminance area luminance average value calculation unit 453. Then, the luminance range of the second luminance region is set, and the set luminance range of the second luminance region is supplied to the gradation allocation calculating unit 455.
  • the second luminance area luminance range setting unit 454 uses a predetermined luminance range centered on the average luminance of the pixels in the luminance range higher than the luminance range of the main area as the luminance range of the second luminance area.
  • a predetermined number of pixels may be selected in order from pixels having a luminance value close to this luminance, centering on a pixel having an average luminance of pixels in a luminance range higher than the luminance range of the main region.
  • the luminance range of the luminance region may be the same.
  • step S306 the gradation assignment calculation unit 455 is set by the main region luminance range set by the main region luminance range setting unit 452, and the second luminance region luminance average value calculation unit 453. Based on the luminance range of the second luminance area, for example, as described with reference to FIG. 38 or FIG. 39, gradation assignment of AZD conversion in each area is determined and supplied to the AZD conversion unit 412.
  • step S307 the AZD conversion unit 412 converts the analog electrical signal supplied from the logarithmic conversion unit 112 into a digital signal based on the gradation assignment supplied from the gradation assignment calculation unit 455, and This is supplied to the image generation unit 392.
  • step S308 the image generation unit 392 performs image processing on the supplied image signal (does not perform gradation conversion), and supplies it to the output control unit 95.
  • step S309 the output control section 95 controls the output of the image data after the image processing to the image utilization device 83, and the processing is terminated.
  • step S301 to step S307 basically the same processing is executed, the image signal is supplied to the display control unit 94, and the display on the display 82 is controlled.
  • the limited number of gradation steps that the AZD conversion unit 412 has is effective for image data that has been imaged by the imaging unit 391 using the logarithmic conversion type imaging device 401 and has been AZD converted. Therefore, even if the captured image has a wide dynamic range, a portion of the luminance range corresponding to the main region and the second luminance region can be displayed or A printed output image can be obtained.
  • the information power required by the user among the images captured by the wide dynamic range is easily recognized by the user.
  • a sufficient number of gradation steps is assigned and AZD conversion is performed, and then display or printout is performed.
  • a wide dynamic range image obtained by AZD conversion to which a large number of bits such as 16 bits are allocated includes a very wide luminance global area.
  • Laplacian transformation processing that performs differentiation processing is performed in the same manner as in, noise results and cannot be obtained as much as an image with extremely low contrast.
  • binary processing when binary processing is performed, the number of luminance candidates that can be used as threshold values increases so much that the amount of processing increases explosively.
  • a / D converter 412 has a limited number of gradation steps (e.g., 12-bit brightness range that can be captured is very narrow compared to the logarithmic conversion type image sensor used in the present invention.
  • the number of bits is effectively allocated to perform AZD conversion. If it is applied, the image generation unit 392 can execute the conventional image processing process as it is.
  • the imaging unit 391 using the logarithmic conversion type imaging device 401 is used. Since the number of gradation steps is mainly assigned to the luminance area to be used in the image of the wide dynamic range captured in this way, it is necessary to save recording capacity or transmission / reception path traffic while transmitting necessary information. Can do.
  • the luminance range of the main area and the second luminance area which is the main part of the luminance range higher than the luminance range of the main area, are selected. It has been described that AZD conversion is performed by assigning a large number of gradation steps to the luminance range (or only the luminance range in the main area). On the other hand, the case where the brightness range to be set is not two of the brightness range of the main area and the brightness range of the second brightness area will be described.
  • FIG. 44 is a block diagram showing a configuration of a gradation assignment determining unit 411-2 which is a second example of a configuration of the gradation assignment determining unit 411 of FIG.
  • the gradation assignment determination unit 411-2 includes the luminance range of the second luminance area, which is the main part of the luminance range higher than the luminance range of the main area, and the luminance of the main area.
  • the lower brightness range Set three luminance areas with the main area of the third luminance area, and assign a large number of gradation steps to the set three luminance areas. Has been made.
  • the gradation assignment determining unit 41-2 in FIG. 44 has an average luminance calculation unit 451 basically the same as the gradation assignment determining unit 411-1 described with reference to FIG.
  • Area luminance range setting unit 452, second luminance area luminance average value calculating unit 453 and second luminance area luminance range setting unit 454 of gradation allocation determining unit 411-1 are omitted, and high luminance region luminance
  • An average value calculation unit 461, a high luminance region luminance range setting unit 462, a low luminance region luminance average value calculation unit 463, and a low luminance region luminance range setting unit 464 are newly provided, replacing the gradation assignment calculation unit 455.
  • a gradation allocation calculation unit 465 is provided.
  • the high-luminance area luminance average value calculation unit 461 acquires the image signal supplied from the logarithmic conversion unit 112, and among the acquired image signals, the main area set by the main-area luminance range setting unit 452 The average luminance of the pixels in the higher luminance range than the luminance range is calculated, and the calculation result is supplied to the high luminance region luminance range setting unit 462.
  • the brightness range setting unit 462 of the high brightness area has a brightness higher than that of the main area based on the average brightness of the pixels in the brightness range higher than the brightness range of the main area supplied from the high brightness area brightness average value calculation unit 461.
  • the luminance range of the second luminance area is set, and the set luminance range of the second luminance area is supplied to the gradation allocation calculating unit 465.
  • the high luminance area luminance range setting unit 462 uses a predetermined luminance range centered on the average luminance of pixels in a luminance range higher than the luminance range of the main area as the luminance range of the second luminance area. It is also possible to select a predetermined number of pixels in order from the one having a luminance value close to this luminance around the pixel that is the average luminance of the pixels in the luminance range higher than the luminance range of the main area, and then select the second luminance.
  • the luminance range of the area may be used.
  • the low-brightness area luminance average value calculation unit 463 acquires the image signal supplied from the logarithmic conversion unit 112, and among the acquired image signals, the main area set by the main-area luminance range setting unit 452 Calculate the average brightness of pixels in the brightness range lower than the brightness range of Is supplied to the low luminance area luminance range setting unit 464.
  • the low luminance area luminance range setting unit 464 is lower than the main area based on the average luminance of the pixels in the luminance range lower than the main area luminance range supplied from the low luminance area luminance average value calculation unit 463.
  • the luminance range of the third luminance area is set, and the set luminance range of the third luminance area is supplied to the gradation allocation calculating unit 465.
  • the low luminance area luminance range setting unit 464 uses, for example, a predetermined luminance range centered on the average luminance of pixels in a luminance range lower than the luminance range of the main area as the luminance range of the third luminance area. It is also possible to select a predetermined number of pixels in order from the pixel having the luminance value close to this luminance around the pixel that is the average luminance of the pixels in the luminance range lower than the luminance range of the main region, and select the third region. It may be a luminance range.
  • the gradation allocation calculation unit 465 acquires the image signal supplied from the logarithmic conversion unit 112, and obtains the main region luminance range setting unit 452, the high luminance region luminance range setting unit 462, and the low luminance region luminance. Based on the information on the luminance range of the main region, the luminance range of the second luminance region, and the luminance range of the third luminance region supplied from the range setting unit 464, the AZD conversion unit 41 2 performs the AZD conversion.
  • ⁇ Determine the number of gradation steps to be assigned to the brightness range of deviation.
  • the gradation assignment calculation unit 465 assigns the number of gradation steps for AZD conversion to the level of the input luminance signal, the main area, the second luminance area, and the first The brightness range set as the brightness range 3 and the other range are different. That is, the gradation assignment calculation unit 465 assigns gradation assignments so that a larger number of gradation steps are assigned to the luminance ranges set as the main area, the second luminance area, and the third luminance area. Therefore, in the AZD conversion unit 412, the AZD conversion process is performed so that the number of gradations of the pixels in the corresponding luminance range is increased. As a result, the main area, the second luminance area, and the portion of the luminance range corresponding to the third luminance area in the displayed or printed image can be more easily recognized by the user. It ’s like this.
  • the gradation allocation calculation unit 465 shows the digital signal output by AZD conversion for the analog signal input to the AZD conversion unit 412 as shown in FIG. 45A.
  • gradation can be assigned. That is, with respect to the analog signal input to the AZD conversion unit 412, in the digital signal output after AZD conversion, the output level of the pixel whose luminance input level is lower than the luminance range of the third luminance region is 0. (That is, black). Then, a predetermined number of gradation steps is assigned to the pixels in the third luminance area, the main area, and the second luminance area according to the input level, and AZ D conversion is executed. .
  • the pixels in the luminance range between the third luminance region and the main region and the luminance range between the main region and the second luminance region are assigned immediately before that range regardless of the input level. It is output as a digital signal with the same gradation as the maximum output level. Pixels that are brighter than the second luminance area are digital values of the maximum gradation assigned to the luminance range of the second luminance area, that is, the maximum value (maximum output level) of the entire gradation. Output as a signal.
  • the gradation allocation calculation unit 465 for example, the analog signal input to the AZD conversion unit 412 and the digital signal output after AZD conversion is as shown in FIG. 45B.
  • the pixels in the third luminance area, the main area, and the second luminance area are assigned an output level of a predetermined gradation according to the input level, and AZD conversion is executed. .
  • the number of pixels in the luminance range between the third luminance area and the main area and the luminance range between the main area and the second luminance area is smaller than the number of steps assigned to the main area.
  • the output level corresponding to the input level is assigned by the number of steps, and AZD conversion is executed. Pixels that are brighter than the second luminance area, regardless of the input level, have the maximum gradation value assigned to the second luminance area, that is, the maximum gradation value (maximum output). Level) digital signal.
  • the gradation allocation calculation unit 465 for example, the analog signal input to the AZD conversion unit 412 so that the digital signal output by AZD conversion is as shown in FIG. 45C.
  • a predetermined luminance range centered on the upper limit value of the luminance of the third luminance area is set as the section ⁇
  • the lower limit value of the luminance of the main area is set as the center.
  • the predetermined luminance range is defined as section ⁇
  • the predetermined luminance range centered on the upper limit value of the luminance in the main area is defined as section ⁇
  • the predetermined luminance range centered on the lower limit value of the luminance in the second luminance area is defined as section ⁇ .
  • the pixel whose luminance input level is lower than that in the third luminance region is the output level regardless of the input level. Is assumed to be 0 (ie, black).
  • pixels other than section OC, within the main area luminance range, pixels other than section ⁇ or ⁇ , and within the second luminance area, section ⁇ Pixels other than are assigned an output level of a predetermined gradation according to the input level, and AZD conversion is executed.
  • the number of steps is less than the number of steps assigned to the part other than section O to section ⁇ , such as the main area luminance range.
  • AZD conversion is executed by assigning the output level of the predetermined gradation. Pixels that are brighter than the second luminance area have the maximum gradation value assigned to the second luminance area, that is, the maximum gradation value (maximum output) regardless of the input level. Level) digital signal.
  • a predetermined luminance range centered on the upper limit value of the luminance of the third luminance area is defined as section O
  • a predetermined luminance range centered on the lower limit value of the luminance of the main area is defined as section.
  • ⁇ a predetermined luminance range centered on the upper limit value of the luminance of the main area is defined as interval ⁇
  • a predetermined luminance range centered on the lower limit value of the luminance of the second luminance area is defined as interval ⁇ .
  • the predetermined brightness range on the upper limit side in the brightness area of the main area is section OC
  • the predetermined brightness range on the lower limit side in the main area is section ⁇
  • the predetermined brightness range on the upper limit side in the main area is section ⁇
  • the second The predetermined luminance range on the lower limit side in the luminance area is defined as the interval ⁇
  • the predetermined luminance range higher than the upper limit of the third luminance region is the interval OC
  • the predetermined luminance lower than the lower limit of the main region The range is section ⁇
  • the predetermined brightness range is higher than the upper limit of the main area, section ⁇
  • a predetermined luminance range with lower luminance may be set as the section ⁇ .
  • an area is set so that the number of steps of the same output level as that of the section or section ⁇ is assigned to the lower limit side of the brightness of the third brightness area and the upper limit side of the brightness of the second brightness area.
  • the luminance is lower than that of the third luminance region, and is lower than that of the second luminance region.
  • the number of output level steps (the number of gradation steps) is not assigned to the high luminance range.
  • the gradation allocation calculation unit 465 has a lower luminance than the third luminance region and a higher luminance than the second luminance region, for example, as described with reference to FIG. Even in the range, you may assign fewer steps than the main area, the second luminance area, and the third luminance area.
  • the gradation allocation calculating unit 465 determines the luminance levels of the main area, the second luminance area, and the third luminance area from the ratio of the output level to the input level (straight line). It is also possible to determine the number of gradation steps assigned to each luminance area so that the ratio of the number of gradation steps assigned to the input level in the luminance range other than the area is reduced.
  • FIG. 46A shows an analog input signal when the AZD conversion based on the gradation step assignment described with reference to FIG. 45A is performed. Indicates the luminance level of the signal after AZD conversion based on this and the signal displayed on the display 82 or output to the image using device 83 for processing such as printing, image recognition, recording, or image communication FIG.
  • FIG. 46A in the main area, the second luminance area, and the third luminance area, which are discrete luminance ranges, many gradation step numbers are assigned and AZD conversion is executed.
  • All pixels in the luminance range between the third luminance area and the main area are output at the maximum output level of the third luminance area, and all pixels in the luminance range between the main area and the second luminance area are output. Output at the maximum output level of the main area.
  • FIG. 46B shows an analog input signal based on the gradation step assignment by the gradation assignment calculation unit 465 when the AZD conversion based on the gradation step assignment described with reference to FIG. 45B is performed.
  • FIG. 6 is a diagram showing luminance levels of signals after AZD conversion and signals displayed on the display 82 or output to the image utilization device 83. As shown in Figure 46B, between the third luminance region and the main region, and between the main region and the second region. The area between the luminance areas is provided with gradations having a smaller number of steps than the main area, the second luminance area, and the third luminance area.
  • the number of steps in the area between the third luminance area and the main area and between the main area and the second luminance area is small despite the small number of gradation steps given to the entire image. Minute, main area, second luminance area, and third luminance area signals are given sufficient luminance gradation widths, and AZD conversion is executed.
  • FIG. 46C is a diagram illustrating the analog input signal and gradation step assignment by the gradation assignment calculation unit 465 when the AZD conversion based on the gradation step assignment described with reference to FIG. 45C is performed.
  • FIG. 7 is a diagram showing the luminance level of the signal after AZD conversion based on the signal and the signal displayed on the display 82 or output to the image utilization device 83.
  • the number of gradation steps assigned to the main area, the second luminance area, the third luminance area, and the area between them is gently changed according to the above-described interval oc to interval ⁇ .
  • step S331 the light detection unit 111 of the imaging unit 391 supplies the accumulated charge to the logarithmic conversion unit 112 in synchronization with the control signal supplied from the imaging timing control unit 114. That is, the captured image signal is acquired.
  • the logarithmic converter 112 uses the sub-threshold characteristic of the MOSFET to generate an analog electrical signal by converting the charge supplied from the light detector 111 into a voltage value approximately proportional to the logarithm of the number of charges for each pixel. And supplied to the AZD conversion unit 412 and to the gradation assignment determination unit 411-2.
  • step S332 the average luminance calculating unit 451 of the gradation assignment determining unit 411-2 calculates the average luminance of the entire captured image, and the calculation result is used as the main region luminance range setting unit 45. Supply to 2.
  • step S333 the main area luminance range setting unit 452 sets the luminance range of the main area based on the average luminance of the entire image supplied from the average luminance calculation unit 451, and sets the luminance of the set main area.
  • the range is supplied to the gradation allocation calculating unit 465, the high luminance region luminance average value calculating unit 461, and the low luminance region luminance average value calculating unit 463.
  • the main area luminance range setting unit 452 may use, for example, a predetermined luminance range centered on the average luminance of the image signal as the luminance range of the main area, and the pixel that is the average luminance of the image signal. As a center, a predetermined number of pixels may be selected in order from the one having a luminance value close to this luminance, and the luminance range of the main area may be selected.
  • the high luminance area luminance average value calculation unit 461 includes the luminance range of the main area set by the main area luminance range setting unit 452 in the image signal supplied from the logarithmic conversion unit 112. The average brightness of the bright area is obtained, and the result is supplied to the high brightness area brightness range setting unit 462.
  • step S335 the high luminance area luminance range setting unit 462 performs the second calculation based on the average luminance of the area brighter than the luminance range of the main area supplied from the high luminance area luminance average value calculation unit 461.
  • the brightness range of the brightness area is set, and the set brightness range of the second brightness area is supplied to the gradation allocation calculating unit 465.
  • the high luminance area luminance range setting unit 462 uses a predetermined luminance range centered on the average luminance of pixels in a higher luminance range than the luminance range of the main area as the luminance range of the second luminance area. It is also possible to select a predetermined number of pixels in order from the one having a luminance value close to this luminance around the pixel that is the average luminance of the pixels in the luminance range higher than the luminance range of the main area, and then select the second luminance.
  • the luminance range of the area may be used.
  • step S336 the low luminance area luminance average value calculation unit 463 determines that the image signal supplied from the logarithmic conversion unit 112 is larger than the luminance range of the main area set by the main area luminance range setting unit 452. The average brightness of the dark area is obtained, and the result is supplied to the low brightness area brightness range setting unit 464.
  • step S337 the low luminance area luminance range setting unit 464 calculates the average luminance of the darker area than the luminance range of the main area supplied from the low luminance area luminance average value calculating unit 463. Based on this, the luminance range of the third luminance region is set, and the set luminance range of the third luminance region is supplied to the gradation allocation calculating unit 465.
  • the low luminance area luminance range setting unit 464 uses a predetermined luminance range centered on the average luminance of pixels in a luminance range lower than the luminance range of the main area as the luminance range of the third luminance area. It is also possible to select a predetermined number of pixels in order from the pixel having the luminance value close to this luminance around the pixel that is the average luminance of the pixels in the luminance range lower than the luminance range of the main region, and select the third region. It may be a luminance range.
  • step S3308 the gradation allocation calculating unit 465 determines the luminance range of the main region set by the main region luminance range setting unit 452, the second luminance region set by the high luminance region luminance range setting unit 462. Based on the luminance range of the third luminance region set by the luminance range setting unit 464 and the low luminance region luminance range setting unit 464, for example, as described with reference to FIG. The gradation assignment is determined and supplied to the AZD conversion unit 412.
  • step S339 the AZD conversion unit 412 converts the analog electrical signal supplied from the logarithmic conversion unit 112 into a digital signal based on the gradation assignment supplied from the gradation assignment calculation unit 465, and This is supplied to the image generation unit 392.
  • step S 340 the image generation unit 392 performs image processing on the supplied image signal (no gradation conversion is performed), and supplies the processed image signal to the output control unit 95.
  • step S341 the output control unit 95 controls the output of the image data after the image processing to the image utilization device 83, and the process ends.
  • steps S331 to S339 basically the same processing is executed, and an image signal is supplied to the display control unit 94 to control its display.
  • the image data captured by the imaging unit 391 using the logarithmic conversion type image sensor 401 has a high luminance and a low luminance in which the main luminance range force is discrete, particularly in a wide luminance range. Even if the image information required by the user exists in any of the areas, the limited number of gradation steps of the AZD conversion unit 412 is effectively allocated. Therefore, even if the captured image has a wide dynamic range, the portion of the luminance range corresponding to the main region and the second luminance region can be recognized better by the user. Such a display or print output image can be obtained.
  • the image displayed by the image processing device 381 including the gradation assignment determining unit 4112 in Fig. 44 is, for example, most of the captured images as described with reference to Fig. 18.
  • the angle of view includes the sky, which is much higher than the brightness of the road surface, and the person wearing a black suit whose brightness is much lower than the brightness of the road. Even if it is included in the corner, a large number of gradation steps are assigned near the brightness corresponding to each of the road surface, the sky, and a person wearing a black suit. Therefore, by using the image processing device 381 including the gradation assignment determination unit 411-2 in FIG. 44, an image that is difficult to recognize due to white sky appearing in the image display process is displayed.
  • the image displayed by the image processing device 381 including the gradation assignment determining unit 411-2 in Fig. 44 is specifically, for example, as described with reference to Fig. 19.
  • Most of the captured image is a dark road surface inside the tunnel, and the angle of view includes the white wall inside the tunnel that is slightly brighter than the brightness of the road surface, and the part outside the tunnel that is very bright.
  • the angle of view includes a black car in the tunnel that is much lower than the brightness of the road surface in the tunnel, the road surface in the tunnel, the walls of the tunnel and the tunnel Many gradation steps are assigned near the brightness corresponding to each of the black cars inside and outside the tunnel!
  • the gradation assignment determining unit 411 may set three or more areas, and the number of gradation steps assigned to the set dark area is different from the set area. You can do it!
  • FIG. 48 is a block diagram showing a configuration of a gradation assignment determining unit 411-3 that is a third example of the configuration of the gradation assignment determining unit 411 of FIG.
  • the gradation assignment determination unit 411-3 sets a plurality of luminance areas and their luminance ranges in addition to the luminance range of the main area, and sets the plurality of luminance ranges more than the luminance ranges that are not set. It is made possible to assign a large number of gradation steps!
  • the gradation assignment determination unit 411-3 in FIG. 48 has an average luminance calculation unit 451 that is basically the same as the gradation assignment determination unit 411-1 described with reference to FIG.
  • the second luminance area luminance range setting unit 454 and the second luminance area luminance average value calculating unit 453 of the gradation assignment determining unit 411-1 are omitted, and the second luminance area luminance range setting unit 452 is included.
  • the second luminance area luminance average value calculation unit 481 is a predetermined value other than the luminance range of the main area set by the main area luminance range setting unit 452 among the image signals supplied from the logarithmic conversion unit 112. (E.g., the range with higher luminance than the luminance range of the main region is further divided into two, and the average luminance of pixels having the luminance included in the highest luminance portion, etc.) is calculated, and the calculation result is Is supplied to the luminance range luminance range setting unit 482.
  • the second luminance area luminance range setting unit 482 is based on the average luminance of pixels having luminance included in a predetermined range other than the supplied main area. In addition, the brightness range of the second brightness area is set, and the set brightness range of the second brightness area is supplied to the gradation allocation calculating unit 487. [0458]
  • the second luminance area luminance range setting unit 482 may set, for example, a predetermined luminance range centered on the average luminance of pixels having a predetermined luminance range as the luminance range of the second luminance area. A predetermined number of pixels are selected in order from the one having a luminance value close to this luminance around the pixel having the average luminance of the pixels having the luminance in the predetermined range as the luminance range of the second luminance region. good.
  • the third luminance area luminance average value calculating unit 483 is a predetermined value other than the luminance range of the main area set by the main area luminance range setting unit 452 among the image signals supplied from the logarithmic conversion unit 112. (E.g., the range of higher brightness than the brightness range of the main area is further divided into two, and the average brightness of the pixels that have the brightness included in the two-part divided, etc.) , And supplied to the third luminance area luminance range setting unit 484.
  • the third luminance area luminance range setting section 484 is based on the average luminance of pixels having luminance included in a predetermined range other than the supplied main area.
  • the brightness range of the third brightness area is set, and the set brightness range of the third brightness area is supplied to the gradation allocation calculating unit 487.
  • the third luminance area luminance range setting unit 484 may use, for example, a predetermined luminance range centered on the average luminance of pixels having a predetermined luminance range as the luminance range of the third luminance area.
  • the third area luminance range may be selected by selecting a predetermined number of pixels in order from the one having a luminance value close to this luminance around the pixel having the average luminance of the pixels having the luminance in the predetermined range. .
  • the fourth luminance area luminance average value calculating unit 485 is a predetermined value other than the luminance range of the main area set by the main area luminance range setting unit 452 among the image signals supplied from the logarithmic conversion unit 112. (E.g., the range with lower brightness than the brightness range of the main area is further divided into two, and the average brightness of the pixels with the brightness included in the lower brightness range etc. is calculated. , And supplied to the fourth luminance area luminance range setting unit 486.
  • the fourth luminance area luminance range setting unit 486 is based on the average luminance of pixels having luminance included in a predetermined range other than the supplied main area.
  • the brightness range of the fourth brightness area is set, and the set brightness range of the fourth brightness area is supplied to the gradation allocation calculating unit 487.
  • the fourth luminance area luminance range setting unit 486 may use a predetermined luminance range centered on the average luminance of pixels having a predetermined luminance range as the luminance range of the fourth luminance area.
  • the fourth area luminance range may be selected by selecting a predetermined number of pixels in order from the one having a luminance value close to this luminance around the pixel having the average luminance of the pixels having the luminance in the predetermined range. .
  • the gradation allocation calculation unit 487 acquires the image signal supplied from the logarithmic conversion unit 112, and obtains the main region luminance range setting unit 452, the second luminance region luminance range setting unit 482, and the third luminance region.
  • the gradation assignment calculation unit 487 performs assignment of the number of gradation steps for AZD conversion, as in the case described with reference to Fig. 38, Fig. 39, or Fig. 45, for example.
  • the brightness range set as the area is different from the other range.
  • the gradation allocation calculation unit 487 determines the gradation allocation so that a larger number of gradation steps are allocated to the luminance range set as the main area and other areas.
  • AZD conversion processing is executed so that the number of gradations of pixels in the corresponding luminance range is increased. This makes it possible for the user to better recognize the portion of the luminance range corresponding to the set luminance region in the displayed or printed image.
  • FIG. 48 shows a second luminance area luminance average value calculation unit 481 and a second luminance area luminance range setting unit for setting the second to fourth luminance areas in addition to the main area. 482, a third luminance area luminance average value calculating unit 483, a third luminance area luminance range setting unit 484, a fourth luminance area luminance average value calculating unit 485, and a fourth luminance area luminance range setting unit 486.
  • the gradation assignment determining unit 411-3 is further provided with another luminance region luminance average value calculating unit and luminance region luminance range setting unit so that a large number of luminance regions can be set. It ’s okay.
  • the processing executed by the gradation assignment determining unit 411-3 in Fig. 48 is basically the same as the processing in the image display processing 9 described with reference to Fig. 47, and the number of areas to be set is determined. Since it corresponds to the case where it increases, the explanation is omitted.
  • the gradation assignment determining unit 411-1 to the gradation assignment determining unit 411-3 described above are configured to set the main region based on the average luminance value of the entire captured image.
  • the main area may be set based on the average value of the luminance of the pixels included in a predetermined area in the captured image.
  • FIG. 49 is a block diagram showing a configuration of a gradation assignment determining unit 411-4 that is a fourth example of the configuration of the gradation assignment determining unit 411 in FIG.
  • the gradation assignment determining unit 411-4 cuts out pixels included in a predetermined area from the captured image, and sets the main area based on the average value of the luminance of the cut out area. Be done!
  • tone allocation determining section 411-4 in FIG. 49 is different from average brightness calculating section 451 except that main area cutout section 501 and main area brightness average value calculating section 502 are provided. Basically, it has the same configuration as the gradation assignment determining unit 411-1 in FIG.
  • the main region cutout unit 501 acquires the image signal supplied from the logarithmic conversion unit 112, cuts out a preset image region from the acquired image signal, and sets the pixels in the cutout region as the main pixels. This is supplied to the area luminance average value calculation unit 502.
  • the region of the image cut out by the main region cutout unit 501 is shown in FIG.
  • the road surface is constantly imaged, for example, the region 221 at the center of the screen and slightly below the left.
  • the segmented area an area where the same image is supposed to be captured constantly, the brightness of the road surface that occupies the main part of the displayed image can be made substantially constant. As a result, it is possible to prevent the display image felt by the driver from flickering frequently and to process the object extraction parameters without changing each time.
  • the main area luminance average value calculation unit 502 calculates the average luminance of the pixels in the clipped area supplied from the main area cutout unit 501, and sets the average luminance calculation result as the main area luminance range setting. Part 452.
  • the luminance range of the main region is calculated based on the average luminance of the clipped region calculated by the main region luminance average value calculation unit 502. Based on the brightness range of the main area, the brightness range of the second brightness area that is higher than the brightness range of the main area is set. Then, the gradation assignment calculation unit 455 assigns more gradation steps to the luminance ranges set as the main area and the second luminance area and executes AZD conversion. Alternatively, the portion of the corresponding luminance range of the image to be printed out can be recognized more by the user, or image data suitable for processing in the image utilization device 83 can be generated.
  • the gradation assignment determining unit 411-4 of FIG. 49 is used for the image display processing 10 executed by the image processing device 381. I will explain.
  • step S371 the light detection unit 111 of the imaging unit 391 supplies the accumulated charge to the logarithmic conversion unit 112 in synchronization with the control signal supplied from the imaging timing control unit 114. That is, the captured image signal is acquired.
  • the logarithmic converter 112 uses the sub-threshold characteristic of the MOSFET to generate an analog electrical signal by converting the charge supplied from the light detector 111 into a voltage value approximately proportional to the logarithm of the number of charges for each pixel. And supplied to the AZD conversion unit 412 and to the gradation assignment determination unit 411-4.
  • step S372 the main area cutout unit 501 of the gradation assignment determination unit 411-4 Is a predetermined image area cut out from the image signal supplied from the logarithmic conversion unit 112, for example, as described with reference to FIG. It supplies to the calculation part 502.
  • step S373 the main area luminance average value calculation unit 502 obtains the average luminance of the pixels in the clipped area supplied from the main area cutout unit 501, and calculates the calculation result as the main area luminance range setting unit 452. To supply.
  • step S374 the main area luminance range setting unit 452 sets the luminance range of the main area based on the average luminance of the pixels in the clipped area supplied from the main area luminance average value calculation unit 502. Then, the set luminance range of the main area is supplied to the second luminance area luminance average value calculation unit 453 and the gradation allocation calculation unit 455.
  • steps S375 to S380 basically the same processing as in steps S304 to S309 in Fig. 43 is executed.
  • the second luminance area luminance average value calculation unit 453 obtains the average luminance of the area brighter than the luminance range of the main area from the image signal supplied from the logarithmic conversion unit 112, and obtains the second luminance value.
  • the brightness area brightness range setting unit 454 sets the brightness range of the second brightness area based on the average brightness of the area brighter than the brightness range of the main area.
  • the gradation allocation calculating unit 455, based on the luminance range of the main region and the luminance range of the second luminance region, for example, as described with reference to FIG. 38 or FIG. Determines the AZD conversion gradation assignment in, and supplies it to the AZD conversion unit 412.
  • a The ZD conversion unit 412 converts the analog electrical signal supplied from the logarithmic conversion unit 112 into a digital signal based on the gradation assignment supplied from the gradation assignment calculation unit 465, and supplies the digital signal to the image generation unit 392.
  • the image generation unit 392 performs image processing on the supplied image signal (does not perform gradation conversion), and supplies it to the output control unit 95.
  • the output control unit 95 controls the output of the image data after the image processing to the image utilization device 83, and the processing ends.
  • the limited number of gradation steps that the AZD conversion unit 412 has for the wide dynamic range image data captured by the imaging unit 391 using the logarithmic conversion type imaging device 401 is reduced. Since the AZD conversion is performed with effective distribution, even if the captured image has a wide dynamic range, the portion of the luminance range corresponding to the main region and the second luminance region is more determined by the user. It is possible to obtain a display or printed output image that can be easily recognized. In particular, the brightness of the displayed image is often increased when moving images are displayed by cutting out an area where the same image is expected to be captured and performing processing based on the brightness of this area. It is possible to prevent flickering and to process the parameters for extracting the object without changing each time.
  • the gradation assignment determining unit 411-4 described above cuts out a predetermined area in the captured image, sets the luminance range of the main area based on the pixels of the cut out area, and sets the main area luminance range.
  • the brightness range of the second brightness area which is the main part of the brightness range of the brightness area of the main area and the brightness range of the main area.
  • the brightness range to be set will not be described in two cases, that is, the brightness range of the main area and the brightness range of the second brightness area.
  • FIG. 51 is a block diagram showing a configuration of a gradation assignment determining unit 411-5 that is a fifth example of the configuration of the gradation assignment determining unit 411 of FIG.
  • the gradation assignment determination unit 411-5 cuts out a predetermined area in the captured image, sets the luminance range of the main area based on the pixels of the cut out area, and besides the luminance range of the main area, The brightness range of the second brightness area, which is the main part of the brightness range higher than the brightness range of the main area, and the third part, which is the main part of the brightness range lower than the brightness range of the main area. Three brightness areas are set with the brightness range of the brightness area, and a large number of gradation steps can be assigned to the set three brightness areas!
  • the gradation assignment determining unit 411-5 in FIG. 51 performs the case described with reference to FIG. Similar to the case described with reference to FIG. 44, the main region luminance range setting unit 452 and the high luminance region luminance average value calculation are provided.
  • a unit 461, a high luminance area luminance range setting unit 462, a low luminance area luminance average value calculating unit 463, a low luminance area luminance range setting unit 464, and a gradation allocation calculating unit 465 are provided.
  • the gradation assignment determining unit 411-5 in FIG. 51 cuts out a predetermined region in the captured image in the same manner as the gradation assignment determination unit 411-4 described with reference to FIG.
  • the luminance range of the main area is set based on the pixels of the selected area, and in addition to the luminance range of the main area, the luminance range of the main area is set in the same manner as the gradation assignment determination unit 411-2 described with reference to FIG.
  • the luminance range of the second luminance area which is the main part of the higher luminance range than the luminance range
  • the luminance of the third luminance area which is the main part of the lower luminance range of the main area.
  • Three luminance areas with a range are set, and a large number of gradation steps are assigned to the set three luminance areas so that AZD conversion is executed.
  • steps S401 to S403 basically the same processing as in steps S371 to S373 of Fig. 50 is executed.
  • the light detection unit 111 of the imaging unit 391 is supplied from the imaging timing control unit 114.
  • the accumulated charge is supplied to the logarithmic conversion unit 112 in synchronization with the control signal. That is, the captured image signal is acquired.
  • the logarithmic converter 112 uses the sub-threshold characteristic of the MOSFET to convert an analog electric signal obtained by converting the charge supplied from the light detector 111 into a voltage value approximately proportional to the logarithm of the number of charges for each pixel. Is generated and supplied to the AZD conversion unit 412 and to the gradation assignment determination unit 411-4.
  • the main area cutout unit 501 of the gradation assignment determination unit 411-4 cuts out a preset image area from the image signal supplied from the logarithmic conversion unit 112, for example, as described with reference to FIG. Then, the pixels in the extracted area are supplied to the main area luminance average value calculation unit 502.
  • the main area luminance average value calculation unit 502 calculates the average luminance of the pixels in the clipped area supplied from the main area cutout unit 501 and supplies the calculation result to the main region luminance range setting unit 452.
  • step S404 the main region luminance range setting unit 452 sets the luminance range of the main region based on the average luminance of the pixels in the clipped region supplied from the main region luminance average value calculation unit 502. Then, the set luminance range of the main area is supplied to the gradation allocation calculating unit 465, the high luminance area luminance average value calculating unit 461, and the low luminance area luminance average value calculating unit 463.
  • steps S405 to S412 basically the same processing as in steps S334 to S341 in Fig. 47 is executed.
  • the high brightness area brightness average value calculation unit 461 obtains the average brightness of the area brighter than the brightness range of the main area from the image signal supplied from the logarithmic conversion unit 112, and sets the high brightness area brightness range.
  • Unit 462 sets the luminance range of the second luminance area based on the average luminance of the area brighter than the luminance range of the main area, and sets the luminance range of the second luminance area to gradation allocation calculation unit 465. Supply.
  • the low-luminance area luminance average value calculation unit 463 obtains the average luminance of the area darker than the luminance range of the main area from the image signal supplied from the logarithmic conversion unit 112, and obtains the low-luminance area luminance range.
  • the setting unit 464 sets the brightness range of the third brightness area based on the average brightness of the darker area than the brightness range of the main area, and calculates the assigned brightness range of the third brightness area by gradation. Supply to part 465.
  • the gradation allocation calculation unit 465 sets the luminance range of the set main area, the second luminance Based on the luminance range of the region and the luminance range of the third luminance region, for example, as described with reference to FIG. 45, the gradation assignment of AZD conversion in each region is determined, and the A ZD conversion unit 412 To supply.
  • the AZD conversion unit 412 converts the analog electrical signal supplied from the logarithmic conversion unit 112 into a digital signal based on the gradation assignment supplied from the gradation assignment calculation unit 465, and supplies the digital signal to the image generation unit 392.
  • the image generation unit 392 performs image processing on the supplied image signal (does not perform gradation conversion! / ⁇ ), and supplies it to the output control unit 95.
  • the output control unit 95 controls the output of the image data after the image processing to the image utilization device 83, and the processing is completed.
  • step S401 to step S410 basically the same processing is executed, the image signal is supplied to the display control unit 94, converted into a gradation that can be processed in the display 82, and output, and the display is displayed. Be controlled.
  • the limited number of gradation steps that the AZD conversion unit 412 has in the AZD converted image data captured by the imaging unit 391 using the logarithmic conversion type imaging device 401 Even if the captured image has a wide dynamic range, the partial power of the luminance range corresponding to the main area, the second luminance area, and the third luminance area is determined by the user. It is possible to obtain a display or printed output image that can be more easily recognized. In particular, when displaying a moving image, it is possible to prevent the brightness of the display image from flickering frequently and to perform processing without changing the parameters for extracting an object each time.
  • the gradation assignment determination unit 411 cuts out a predetermined area in the captured image, and sets three or more areas based on the pixels in the cut out area. You can do it.
  • the gradation assignment determining unit 411 can make the number of gradation steps assigned to the set area and the non-set area different.
  • FIG. 53 is a block diagram showing a configuration of a gradation assignment determining unit 411-6 that is a sixth example of the configuration of the gradation assignment determining unit 411 of FIG.
  • the gradation assignment determining unit 411-6 cuts out a predetermined area in the captured image, and mainly uses the pixels in the cut out area. Set the brightness range of the main area, set the corresponding brightness range of the multiple brightness areas in addition to the brightness range of the main area, and for the set multiple brightness ranges, more gradations than outside the set range You can assign a number of steps.
  • tone allocation determining section 411-6 in FIG. 53 is provided with main area cutout section 501 and main area luminance average value calculating section 502 similar to those described with reference to FIG.
  • main area luminance range setting unit 452, second luminance area luminance average value calculating unit 481, second luminance area luminance range setting unit 482, third luminance area luminance An average value calculating unit 483, a third luminance area luminance range setting unit 484, a fourth luminance area luminance average value calculating unit 485, a fourth luminance area luminance range setting unit 486, and a gradation allocation calculating unit 487 are provided. It has been.
  • the gradation assignment determination unit 411-6 in Fig. 53 cuts out a predetermined region in the captured image in the same manner as the gradation assignment determination unit 411-4 described with reference to Fig. 49.
  • the luminance range of the main area is set based on the pixels of the selected area, and in addition to the luminance range of the main area, in the same manner as the gradation assignment determination unit 413-1 described with reference to FIG.
  • Each luminance range of a plurality of luminance areas is set, and a larger number of gradation steps can be assigned to the set plurality of luminance ranges than outside the setting range.
  • FIG. 53 shows a second luminance area luminance average value calculation unit 481 and a second luminance area luminance range setting unit for setting the second to fourth luminance areas in addition to the main area. 482, a third luminance area luminance average value calculating unit 483, a third luminance area luminance range setting unit 484, a fourth luminance area luminance average value calculating unit 485, and a fourth luminance area luminance range setting unit 486.
  • the gradation assignment determining unit 411-3 is further provided with another luminance region luminance average value calculating unit and luminance region luminance range setting unit so that a large number of luminance regions can be set. It ’s okay.
  • the processing executed by the gradation assignment determining unit 411-6 in Fig. 53 is basically the same as the processing in the image display processing 11 described with reference to Fig. 52, and the number of areas to be set is determined. Increased Since this corresponds to the case, the description thereof is omitted.
  • the gradation assignment determination unit 411-1 to gradation assignment determination unit 411-6 described above set the main region based on the entire captured image or the average luminance value of a predetermined portion. It was made to fix. On the other hand, a histogram showing the distribution of the luminance values of the pixels included in the captured image is created and analyzed to set multiple luminance ranges. It is also possible to assign a larger number of gradation steps than outside the setting range so that AZD conversion can be performed.
  • FIG. 54 is a block diagram showing a configuration of a tone assignment determination unit 411-7, which is a seventh example of the configuration of the tone assignment determination unit 411 in FIG.
  • the gradation assignment determining unit 411-7 analyzes the histogram of the luminance value of each pixel of the captured image, and sets a plurality of luminance ranges based on the analysis result.
  • the gradation assignment determination unit 411-7 includes a histogram analysis unit 551, a threshold comparison processing unit 552, a multi-level luminance range setting unit 553, and a gradation assignment calculation unit 554.
  • the histogram analysis unit 551 acquires the image signal supplied from the logarithmic conversion unit 112, and based on the acquired image signal, generates a histogram indicating the luminance value distribution of each pixel of the captured image. Generate and analyze, and supply the analysis result to the threshold comparison processing unit 552.
  • the threshold comparison processing unit 552 compares the number of pixels corresponding to each luminance value of the input signal with a predetermined threshold value. In other words, the threshold comparison processing unit 552 extracts a luminance range of a captured image having a certain number of pixels or more.
  • the threshold value comparison processing unit 552 supplies the multi-step luminance range setting unit 553 with information indicating the luminance value determined as a result of comparison with the threshold value that the number of pixels is equal to or greater than the threshold value.
  • the threshold value may be a value that is obtained experimentally and empirically and is set in advance, or may be a value that can be appropriately set by a user. If the threshold is set too low, most of the information remains, so the resulting image is, for example, a wide dynamics range imaged using the logarithmic conversion image sensor 401 described with reference to FIG. As shown in the display image when the image is not processed using the image processing device 381, The result is an image with no difference (no sharpness). On the other hand, if the threshold value is set too high, information may be missed, and only a part of the luminance range may be displayed clearly!
  • the multi-level luminance range setting unit 553 has a larger number of gradation steps than the setting range based on the luminance value supplied from the threshold comparison processing unit 552 and determined that the number of pixels is equal to or greater than the threshold.
  • a plurality of luminance ranges to be assigned are set, and the set luminance ranges are supplied to the gradation assignment calculating unit 554.
  • the number of luminance ranges set by the multi-level luminance range setting unit 553 is determined by the comparison result supplied from the threshold comparison processing unit 552. For example, an upper limit of the number may be determined in advance.
  • the gradation allocation calculation unit 554 acquires the image signal supplied from the logarithmic conversion unit 112, and based on the set luminance range information supplied from the multi-step luminance range setting unit 553, AZD In the AZD conversion by the conversion unit 412, it is determined how many gradation steps are assigned to which luminance range. For example, the gradation assignment calculation unit 554 assigns the number of gradation steps for the AZD conversion of the set luminance area in the same manner as described with reference to FIG. 38, FIG. 39, or FIG. Is set to be larger than the number of gradation steps of AZD conversion assigned to other luminance regions, and the assignment of the gradation step number is determined.
  • the histogram analysis unit 551 analyzes the luminance value (analog signal) of each pixel of the captured image.
  • the histogram indicating the cloth is analyzed and compared with the threshold value in the threshold value comparison processing unit 552, and the luminance having the number of pixels equal to or larger than the threshold value is extracted in the same image (within one frame).
  • a plurality of luminance ranges are set by the multi-level luminance range setting unit 553, and the gradation step number is preferentially allocated within the range by the gradation allocation calculating unit 554.
  • the assignment of the number of gradation steps for AZD conversion is calculated, a sufficient luminance gradation width is provided for each set luminance range.
  • the gradation assignment determining unit 411-7 of FIG. 54 is used for the image display processing 12 executed by the image processing device 381. Describe To do.
  • step S441 the light detection unit 111 of the imaging unit 391 supplies the accumulated charge to the logarithmic conversion unit 112 in synchronization with the control signal supplied from the imaging timing control unit 114. That is, the captured image signal is acquired.
  • the logarithmic converter 112 uses the sub-threshold characteristic of the MOSFET to generate an analog electrical signal by converting the charge supplied from the light detector 111 into a voltage value approximately proportional to the logarithm of the number of charges for each pixel. And supplied to the AZD conversion unit 412 and to the gradation assignment determination unit 411-7.
  • step S442 the histogram analysis unit 551 of the gradation assignment determination unit 411-7, based on the image signal supplied from the logarithmic conversion unit 112, shows a histogram indicating the luminance distribution of each pixel of the captured image. Is generated and analyzed, and the analysis result is supplied to the threshold value comparison processing unit 552.
  • step S443 the threshold comparison processing unit 552 compares the number of pixels corresponding to the luminance value of each input signal with a predetermined threshold based on the analysis result of the histogram supplied from the histogram analysis unit 551.
  • the threshold value comparison processing unit 552 supplies information indicating the luminance value determined that the number of pixels is equal to or greater than the threshold value as a result of the comparison with the threshold value to the multi-step luminance range setting unit 553.
  • step S444 the multi-step luminance range setting unit 553 is also supplied with the threshold comparison processing unit 552, and based on the luminance value determined to be greater than or equal to the threshold, more gradation steps than outside the setting range. Multiple brightness ranges to which numbers are assigned are set, and the set brightness ranges are supplied to the gradation assignment calculation unit 554.
  • step S445 the gradation allocation calculation unit 554, for example, based on the information on the set luminance range supplied from the multi-step luminance range setting unit 553, for example, FIG. 38, FIG. 39, or In the same manner as described with reference to FIG. 45, the gradation assignment of AZD conversion in each area is determined and supplied to the AZD conversion unit 412.
  • step S446 the AZD conversion unit 412 converts the analog electrical signal supplied from the logarithmic conversion unit 112 into a digital signal based on the gradation assignment supplied from the gradation assignment calculation unit 465, and This is supplied to the image generation unit 392.
  • step S447 the image generation unit 392 performs image processing on the supplied image signal. Then, it is supplied to the output control unit 95 (no gradation conversion is performed).
  • step S448 the output control unit 95 controls the output of the image data after the image processing to the image utilization device 83, and the process ends.
  • steps S441 to S446 basically the same processing is executed, and an image signal is supplied to the display control unit 94 to control its display.
  • a luminance region to which a large number of gradation steps are assigned is set based on the captured image.
  • a luminance region to which a large number of gradation steps are assigned may be determined in advance, or may be set by an operation input from the user. For example, the brightness of the pixel corresponding to the image information required by the user in the captured image, such as when the angle of view of the captured image is fixed or the subject is illuminated with a certain amount of illumination.
  • a luminance region to which a large number of gradation steps are assigned can be determined in advance. As a result, processing can be simplified and the cost of the apparatus can be reduced.
  • FIG. 57 is a block diagram showing a configuration of a gradation assignment determining unit 411-8 that is an eighth example of the structure of the gradation assignment determining unit 411 in FIG.
  • the gradation assignment determining unit 411-8 is used when a luminance region to which a large number of gradation steps are assigned is determined in advance.
  • the first brightness area brightness range setting unit 581 receives the brightness of the first brightness area from the operation input unit 92. Force that receives the input of the set value of the degree range, or the first stored in the storage unit (not shown)
  • the setting value of the first luminance area is acquired, and the setting value of the first luminance range is supplied to the gradation allocation calculating unit 487.
  • the second luminance area luminance range setting unit 582 receives the input of the setting value of the luminance range of the second luminance area from the operation input unit 92, or is stored in a storage unit (not shown). The setting value of the second luminance area is acquired, and the setting value of the luminance range of the second luminance area is supplied to the gradation assignment calculating unit 487.
  • the third luminance area luminance range setting unit 583 receives the input of the setting value of the luminance range of the third luminance area from the operation input unit 92, or is stored in a storage unit (not shown). The setting value of the luminance region of 3 is acquired, and the setting value of the luminance range of the third luminance region is supplied to the gradation assignment calculating unit 487.
  • the gradation allocation calculation unit 487 performs basically the same processing as that in the gradation allocation determination unit 411-3 in Fig. 48, and based on a plurality of set luminance ranges, A In the AZD conversion by the / D conversion unit 412, it is determined how many gradation steps are assigned to which luminance range.
  • the gradation allocation calculation unit 487 is supplied from the first luminance region luminance range setting unit 581, the second luminance region luminance range setting unit 582, and the third luminance region luminance range setting unit 583, Based on the information on the luminance range of 1, the luminance range of the second luminance region, and the luminance range of the third luminance region, the number of gradation steps of AZD conversion assigned to each luminance range is determined.
  • FIG. 57 shows a first luminance area luminance range setting unit 581, a second luminance area luminance range setting unit 582, and the like for setting the luminance ranges of the first to third luminance areas.
  • a third luminance area luminance range setting unit 583 is illustrated, the gradation allocation determining unit 411-8 can further receive the luminance range setting of many luminance areas. It may be possible to provide a luminance area luminance range setting section.
  • the gradation assignment determining unit 411-8 of FIG. 57 is used for the image display processing 13 executed by the image processing device 381. I will explain.
  • step S471 the operation input unit 92 sets the user power to a set value of a plurality of luminance ranges. And the input set value is supplied to the gradation assignment determining unit 4118.
  • step S472 the light detection unit 111 of the imaging unit 391 supplies the accumulated charge to the logarithmic conversion unit 112 in synchronization with the control signal supplied from the imaging timing control unit 114. That is, the captured image signal is acquired.
  • the logarithmic converter 112 uses the sub-threshold characteristic of the MOSFET to generate an analog electrical signal by converting the charge supplied from the light detector 111 into a voltage value approximately proportional to the logarithm of the number of charges for each pixel. And supplied to the AZD conversion unit 412 and to the gradation assignment determination unit 411-8.
  • step S473 the first luminance region luminance range setting unit 581, the second luminance region luminance range setting unit 582, and the third luminance region luminance range setting unit of the gradation assignment determining unit 411-8 583 acquires the set values of the plurality of luminance ranges supplied from the operation input unit 92 and supplies them to the gradation assignment calculation unit 487.
  • step S474 the gradation assignment calculation unit 487, the first luminance region luminance range setting unit 581, the second luminance region luminance range setting unit 582, and the third luminance region luminance range setting unit 583 Based on the set values of the plurality of luminance ranges supplied from, determine the AZD conversion gradation allocation in each area, for example, as described using FIG. 38, FIG. 39, or FIG. This is supplied to the conversion unit 412.
  • step S475 the AZD conversion unit 412 converts the analog electric signal supplied from the logarithmic conversion unit 112 into a digital signal based on the gradation assignment supplied from the gradation assignment calculation unit 465, and This is supplied to the image generation unit 392.
  • step S476 the image generation unit 392 performs image processing on the supplied image signal (does not perform gradation conversion), and supplies it to the output control unit 95.
  • step S477 the output control unit 95 controls the output of the image data after the image processing to the image utilization device 83, and the processing is terminated.
  • step S471 to step S475 the same processing is basically executed, and an image signal is supplied to the display control unit 94 to control its display.
  • the setting value of the luminance range of each luminance area is input from the operation input unit 92.
  • the force described as receiving the input The brightness range of each brightness area is not shown in advance. If it is stored in the storage unit, the setting value of the brightness area is acquired. Well, needless to say.
  • the brightness area of the pixel corresponding to the image information required by the user is pre-existing in the wide dynamic range of the captured image data imaged using the logarithmic conversion type imaging device 401. If this is the case, it is possible to display the image information required by the user in a state that can be identified by the user by a simple process by determining a luminance area to which a large number of gradation steps are assigned. Or printing, image recognition, recording, or
  • Image data suitable for executing various processes such as transmission can be generated, and the cost of the apparatus can be reduced.
  • a histogram indicating the distribution of the luminance values of the pixels included in the captured image is analyzed in a predetermined luminance area, and a certain number of pixels within a predetermined luminance range are determined. It is also possible to extract the luminance that has and to determine the luminance area to which a large number of gradation steps are assigned based on the extraction result.
  • FIG. 59 is a block diagram showing a configuration of a tone assignment determination unit 411-9, which is a ninth example of the configuration of the tone assignment determination unit 411 in FIG.
  • the gradation assignment determination unit 411-9 extracts luminance having a certain number of pixels or more from a predetermined luminance region by histogram analysis, and assigns a large number of gradation steps based on the extraction result. It is designed to determine the luminance area to be controlled.
  • the gradation assignment determining unit 411-9 in FIG. 59 has the first luminance area luminance range setting unit 581 and the second luminance assignment determining unit 411-8 described with reference to FIG.
  • a luminance region luminance range setting unit 582, a third luminance region luminance range setting unit 583, and a gradation assignment calculation unit 487 are provided.
  • the gradation assignment determination unit 411-9 has been described with reference to FIG. 54 in order to analyze the histogram and compare it with a predetermined threshold value based on the set value of the luminance range output from each.
  • the gradation assignment determining unit 411-7 can be equipped with the same processing as the histogram analysis unit 551 and the threshold comparison processing unit 552.
  • histogram analysis units 551-1 to 251-3 and threshold comparison processing units 552-1 to 252 3 are provided.
  • the histogram analysis units 5 51-1 to 251 The luminance histogram of each pixel of the captured image is analyzed by 3 and compared with the threshold value in the threshold comparison processing units 552-1 to 252-3, and the luminance having the number of pixels equal to or greater than the predetermined threshold value is detected. Extracted.
  • the luminance is determined by the number of gradation steps. It is not set to the brightness range that is preferentially assigned.
  • the gradation assignment calculation unit 487 preferentially assigns the number of gradation steps to the pixels within the range, and AZD conversion is performed based on the assignment of the gradation steps. It is made to be executed.
  • pixels of the image corresponding to the image information required by the user among the images to be captured such as when the angle of view of the image to be captured is fixed or the subject is irradiated with a certain amount of illumination.
  • the luminance area of a pixel corresponding to the image information required by the user changes in several patterns over time, even in the same luminance area at daytime Ability to have a lot of information, with little information in the evening, or to have a lot of information in the evening or at night There may be little information in the morning or at noon .
  • the gradation assignment determining unit 411-9 of FIG. 59 is used for the image display processing 14 executed by the image processing device 381. Describe To do.
  • step S501 the operation input unit 92 receives input of set values of a plurality of luminance ranges with user power, and supplies the input set values to the gradation assignment determining unit 4119.
  • step S502 the light detection unit 111 of the imaging unit 391 supplies the accumulated charge to the logarithmic conversion unit 112 in synchronization with the control signal supplied from the imaging timing control unit 114. That is, the captured image signal is acquired.
  • the logarithmic converter 112 uses the sub-threshold characteristic of the MOSFET to generate an analog electrical signal by converting the charge supplied from the light detector 111 into a voltage value approximately proportional to the logarithm of the number of charges for each pixel. And supplied to the AZD conversion unit 412 and to the gradation assignment determination unit 411-9.
  • step S503 the first luminance area luminance range setting section 581, the second luminance area luminance range setting section 582, and the third luminance area luminance range setting section of the gradation assignment determining section 411-9 583 acquires the set values of the plurality of luminance ranges supplied from the operation input unit 92 and supplies them to the histogram analysis units 551-1 to 251-3, respectively.
  • step S504 the histogram analysis units 551-1 to 251-3, based on the image signal supplied from the logarithmic conversion unit 112, as described with reference to FIG. Histograms indicating the distribution of luminance values in the first to third ranges are generated and analyzed, and the analysis results are supplied to the threshold comparison processing units 552-1 to 252-2.
  • the threshold comparison processing units 552-1 to 252-3 represent the analysis results of the histograms in the first to third ranges supplied from the histogram analysis units 551-1 to 251-3. Based on this, the number of pixels corresponding to the luminance value of each input signal is compared with a predetermined threshold value.
  • the threshold value comparison processing units 552-1 to 252-3 supply the gradation assignment calculation unit 487 with the luminance value determined as a result of comparison with the threshold value that the number of pixels is equal to or greater than the threshold value.
  • step S506 the gradation assignment calculating unit 487 selects a luminance range to which a large number of gradation steps are assigned based on the luminance values supplied from the threshold comparison processing units 552-1 to 252-3. Set.
  • step S507 the gradation assignment calculating unit 487 determines gradation assignment for AZD conversion in each region, for example, as described with reference to FIG. 38, FIG. 39, or FIG.
  • the AZD converter 412 is supplied.
  • step S508 the AZD conversion unit 412 converts the analog electrical signal supplied from the logarithmic conversion unit 112 into a digital signal based on the gradation assignment supplied from the gradation assignment calculation unit 465, and This is supplied to the image generation unit 392.
  • step S509 the image generation unit 392 performs image processing on the supplied image signal (does not perform gradation conversion), and supplies it to the output control unit 95.
  • step S510 the output control unit 95 controls the output of the image data after the image processing to the image utilization device 83, and the process is terminated.
  • steps S501 to S508 basically the same processing is executed, and the image signal is supplied to the display control unit 94, converted into gradations that can be processed in the display 82, and output. Be controlled.
  • the user needs a wide luminance range in the image data captured by the logarithmic conversion type image sensor 401. Even when image information exists, the gradation in AZD conversion can be efficiently allocated by assigning the number of gradation steps in AZD conversion. Even if the number of steps is limited in advance, the information required by the user (for example, ⁇ , black in ⁇ , objects, ⁇ , brightness, part etc. present in the same image as each other) Appropriate image data can be generated by being displayed in an identifiable state or used for various processes such as printing, image recognition, storage, and transmission.
  • Luminance compression is to reduce the number of gradations (the number of gradation steps) in the brightness value of image data.
  • the image conversion processing to which the present invention is applied is executed, for example, the luminance region portion that should be recognized by the user is displayed or printed out with a sufficient gray level difference, or various types of In image processing, it is possible to easily determine a threshold value for binarization or to easily detect a predetermined object based on an image.
  • the wide dynamic range image data should be used. It is very large data that includes even no information, and it is inefficient to handle such data.
  • luminance compression is performed even when the subject to be processed is dispersed in the deviated luminance region, and the subject is viewed. Even when viewed as a normal image, it is observed with the human eye, just as when shooting a narrow luminance range with a conventional image sensor. As a result, an image with no sense of incongruity can be obtained.
  • a conventional image recognition apparatus can be applied in the processing process as it is.
  • luminance compression is performed in a state where the content of an image is recognizable, so that it is possible to prevent recording or transmitting huge data including unnecessary information. .
  • the image processing device 381 shines in a different pattern depending on the state of the target. It is desirable to set the degree range. For example, if a large amount of brightness is assigned to a relatively bright area during the day and an average is assigned to the low brightness, central brightness, and high brightness areas at night, the brightness compression rate can be increased.
  • the conventional still image Z moving image compression method such as JPEG and MPEG is used as it is. Can be applied. As a result, a very high compression rate can be obtained.
  • the series of processes described above can also be executed by software.
  • the software is a computer that is built in dedicated hardware for the program power that constitutes the software, or that can execute various functions by installing various programs, such as a general-purpose personal computer
  • the recording medium power is also installed.
  • all or part of the image processing device 81 described with reference to FIG. 2 may be a personal computer 301 as shown in FIG. Consists of.
  • a CPU (Central Processing Unit) 311 is a program stored in a ROM (Read Only Memory) 312 or a program loaded from a storage unit 318 to a RAM (Random Access Memory) 313. Therefore, various processes are executed.
  • the RAM 313 also appropriately stores data necessary for the CPU 311 to execute various processes.
  • the CPU 311, ROM 312, and RAM 313 are connected to each other via a bus 314.
  • An input / output interface 315 is also connected to the bus 314.
  • the input / output interface 315 includes an input unit 316 including a keyboard and a mouse, a display An output unit 317 including a play and a speaker, a storage unit 318 including a hard disk, and a communication unit 319 including a modem and a terminal adapter are connected.
  • the communication unit 319 performs communication processing via a network including the Internet.
  • a drive 320 is also connected to the input / output interface 315 as necessary, and a magnetic disk 331, an optical disk 332, a magneto-optical disk 333, or a semiconductor memory 334, etc. are appropriately mounted to read the power.
  • the recorded computer program is installed in the storage unit 318 as necessary.
  • a program that configures the software is installed in a dedicated hardware, or various programs can be installed by installing various programs.
  • a general-purpose personal computer or the like can be installed on a network or a recording medium.
  • this recording medium is distributed to supply a program to the user separately from the main body of the apparatus, and includes a magnetic disk 331 (including a floppy disk) storing the program, Optical disk 332 (including compact disk-read only memory (CD-ROM), DVD (digital versatile disk)), magneto-optical disk 333 (including MD (mini-disk) (trademark)), or semiconductor memory 334 It is composed of a ROM 312 that stores a program and is stored in a storage unit 318, which is supplied to the user in a state of being pre-installed in the apparatus main body just by being constituted by a knock medium.
  • a magnetic disk 331 including a floppy disk
  • Optical disk 332 including compact disk-read only memory (CD-ROM), DVD (digital versatile disk)
  • magneto-optical disk 333 including MD (mini-disk) (trademark)
  • semiconductor memory 334 It is composed of a ROM 312 that stores a program and is stored in a storage unit 318, which
  • the steps for describing the program recorded on the recording medium are not necessarily processed in time series in the order described, but are necessarily processed in time series. It includes processing executed in parallel or individually.
  • the present invention is applicable even when the processing power executed by one device is realized by a plurality of devices.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Picture Signal Circuits (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

　本発明は、輝度圧縮が行われた広ダイナミックレンジの画像を得ることができる、画像処理装置および画像処理方法、画像処理システム、プログラム、並びに、記録媒体に関する。入力される輝度信号のレベルに対する出力レベル信号の輝度階調ステップ数の割り当てを、主要領域および第２の輝度領域とそれ以外の範囲とで異なるものとする。例えば、主要領域の輝度範囲と第２の輝度領域の輝度範囲に全ての階調ステップ数を分割して割り当て、それ以外の範囲に対しては割り当てないようにしたり、主要領域と第２の輝度領域の間の輝度範囲には、主要領域の輝度範囲と第２の輝度領域よりも少ないステップ数を割り当てる。更に、主要領域の輝度範囲と第２の輝度領域の境界部分の領域を設定して、主要領域の輝度範囲と第２の輝度領域よりも少なく、かつ、それらの間の領域よりも多いステップ数を割り当てるようにすることができる。本発明は、画像処理装置に適用できる。

Description

明 細 書
画像処理装置および画像処理方法、画像処理システム、プログラム、並 びに、記録媒体
技術分野
[0001] 本発明は、画像処理装置および画像処理方法、画像処理システム、プログラム、並 びに、記録媒体に関し、特に、画像を利用して各種処理を実行する場合に扱いやす いように、輝度圧縮が行われた広ダイナミックレンジの画像を得ることができる、画像 処理装置および画像処理方法、画像処理システム、プログラム、並びに、記録媒体 に関する。
背景技術
[0002] 従来、 CCD (Charge Coupled Device)撮像素子 (電荷結合撮像素子または固体撮 像素子とも称する)などの撮像素子を用いたカメラでは、電荷の蓄積容量の限界と、 その特性とのために、カメラへの入射光量は、絞りやシャツタスピードなどで制御する ことにより、ある範囲内に抑えられていた。したがって、屋外などでの撮像時には、被 写体の輝度範囲のすべてを撮像可能にすることはできなかった。このため、電子シャ ッタ機能を用いて、高速と低速の異なったシャツタ時間で被写体の撮像を行い、その 2種類の画像信号を信号処理して、各画像間で主要被写体の位置ずれがほとんどな い良好な画像合成をすることにより、ダイナミックレンジの広 、画像を得ることができる ようになされてきた (例えば、特許文献 1参照)。
[0003] 特許文献 1 :特開 2000— 32303号公報
[0004] 図 1は、 CCDにより撮像された異なるシャツタ時間の画像の合成により、ダイナミック レンジの広 、画像を得ることができる、従来の広ダイナミックレンジカメラの構成を示 すブロック図である。
[0005] 固体撮像素子 11は、制御部 14の露光制御部 21の制御に基づいて、高速シャツタ 画像および低速シャツタ画像を撮像する。低速シャツタ画像は、例えば、シャツタ速度 力 S1Z60の画像であり、高速シャツタ画像は、例えば、シャツタ速度が 1Z2000の画 像である。 [0006] 固体撮像素子 11で得られた映像信号、すなわち、低速シャツタ画像 Z高速シャツ タ画像は、 AZD変換器 12でアナログ Zデジタル変換され、デジタル処理部 13のフ レームメモリ 31— 1または 31— 2に交互に書き込まれる。フレームメモリ 31— 1または 31— 2から読み出された信号は合成処理回路 32に供給され、そこで合成された後、 プロセス回路 33を介して出力される。
[0007] 制御部 14は、 CPU22と露光制御部 21とで構成されている。 CPU22は、デジタル 処理部 13から供給される測光データを用いて演算を行い、その結果を、固体撮像素 子 11のシャツタ速度や絞りを制御する露光制御部 21に供給するとともに、その結果 を基に、デジタル処理部 13を制御する。
[0008] 図 1に示されるような、広ダイナミックレンジカメラにおいては、低速シャツタで被写 体の輝度の低!、部分 (輝度の高!、部分は飽和してしまう）を撮像し、高速シャツタで 被写体の輝度の高 、部分 (輝度の低 ヽ部分は暗くて撮像不可能)を撮像する。そし て、両方の画像を合成することにより、 1画面で被写体の輝度の低い部分カゝら輝度の 高 、部分までが表現されて 、る画像を得ることが可能となる。
発明の開示
発明が解決しょうとする課題
[0009] CCDなど、人の目よりダイナミックレンジが狭 、撮像素子を用いた撮像装置では、 入射光の照度が CCD撮像素子のダイナミックレンジ内に収まるように、絞りやシャツタ スピードなどを調整する必要がある。
[0010] したがって、被写体の光の照度の範囲が CCD撮像素子のダイナミックレンジを超え る場合、被写体の明るい領域の画素の画素値が、 CCD撮像素子が出力可能な画素 値の最大値に制限されたり、被写体の暗い領域の画素の画素値が、 CCD撮像素子 が出力可能な画素値の最小値に制限されたりする輝度クリッピングが発生するので、 上述したように、広ダイナミックレンジの画像を得るためには、複雑な画像合成処理が 必要になる。
[0011] 上述したような、ダイナミックレンジの狭い撮像素子を用いて構成される広ダイナミツ クレンジカメラにおいては、ダイナミックレンジの広い画像を得るためには複雑な画像 合成処理が必要となるばかりでなく、低速シャツタ画像および高速シャツタ画像の 2枚 の画像を用いて 1フレームの広ダイナミックレンジ画像を得ることができるようになされ ているため、フレームレートをあげることが非常に困難となる。
[0012] 本発明はこのような状況に鑑みてなされたものであり、複雑な処理を行うことなぐ画 像を利用して各種処理を実行する場合に扱!ヽやす!ヽように、輝度圧縮が行われた広 ダイナミックレンジの画像を得ることができるようにするものである。
課題を解決するための手段
[0013] 本発明の画像処理装置は、入射光量の対数にほぼ比例した画素値により構成され る画像信号を取得する取得手段と、取得手段により取得された画像信号の全輝度範 囲のうち、所定の輝度範囲を設定する輝度範囲設定手段と、輝度範囲設定手段によ り設定された前記所定の輝度範囲に、輝度範囲外よりも多くの階調が割り当てられる ように、取得手段により取得された画像信号に含まれる画素の輝度を変換する変換 手段とを備えることを特徴とする。
[0014] 取得手段、輝度範囲設定手段、または、変換手段は、専用のハードウェアにより構 成されるか、プログラムを読み込んだコンピュータなどにより実現され、コンピュータは 、例えば、 CPU (Central Processing Unit)、 DSP (Digital Signal Processor)などの演 算装置により構成される。
[0015] これにより、画像信号の主な輝度領域に、多くの階調を割り当てるようにすることが できるので、表示される画像において、白とびや黒つぶれを防ぐことができる。
[0016] また、このようにして得られた画像データは、表示された場合に、ユーザにより認識 しゃすく好適であるばカゝりでなぐ例えば、画像印刷装置、画像認識装置、画像記録 装置、画像通信装置など、画像を利用する外部装置において、輝度が圧縮された広 ダイナミックレンジの画像データとして利用することが可能である。
[0017] 輝度範囲設定手段は、前記所定の輝度範囲を複数設定することができる。
[0018] これにより、画像信号の主な輝度領域に加えて、更に、その輝度と乖離した他の輝 度領域にも、多くの階調を割り当てるようにすることができるので、表示される画像に おいて、白とびや黒つぶれを防ぐことができる。
[0019] 取得手段により取得された画像信号の全輝度範囲の画像信号を AZD変換する A ZD変換手段を更に備えさせることができ、変換手段には、 AZD変換手段によりデ ジタル信号に変換された画像信号を変換させることができる。
[0020] 前記 AZD変換手段は、専用のハードウェアにより構成される力、プログラムを読み 込んだコンピュータなどにより実現され、コンピュータは、例えば、 CPU、 DSPなどの 演算装置により構成される。
[0021] 変換手段には、 AZD変換手段によりデジタル信号に変換された画像信号に含ま れる画素の輝度の階調数より、変換後の輝度の階調数が減少するように、取得手段 により取得された画像信号を変換させるようにすることができる。
[0022] 輝度が圧縮されるとは、例えば、撮像された画像データ全体が有して ヽる輝度階調 のステップ数力 変換により少なくなることである。
[0023] 輝度階調のステップ数が輝度領域にかかわらず減少された場合、換言すれば、入 力信号レベルと出力信号レベルの比率が一定である場合、表示または印刷出力した ときの画像の濃淡差がなくなってしまうし、 2値ィ匕ゃ所定対象物の検出などの一般的 な画像処理が困難となってしまう。しかしながら、輝度範囲設定手段により設定された 前記所定の輝度範囲に、輝度範囲外よりも多くの階調が割り当てられるようにして、 全体の階調数は減少されるようにしたため、設定された輝度範囲の画像は、例えば、 充分な濃淡差を持って表示または印刷出力される。また、このように輝度階調数が設 定されて変換された画像データを用いることにより、各種画像処理において、 2値ィ匕 の閾値を容易に決定したり、画像を基に所定対象物を容易に検出することなどが可 能となる。
[0024] 変換手段により変換された画像信号の輝度の階調数を、所定の外部装置が処理 可能な階調数に変換するとともに、変換後の画像信号の外部装置への出力を制御 する出力制御手段を更に備えるようにすることができる。
[0025] 前記出力制御手段は、専用のハードウェアにより構成される力、プログラムを読み 込んだコンピュータなどにより実現され、コンピュータは、例えば、 CPU、 DSPなどの 演算装置により構成される。
[0026] 所定の外部装置とは、例えば、画像印刷装置、画像認識装置、画像記録装置、画 像通信装置など、画像を利用する処理を実行する各種の情報処理装置が含まれる。 変換手段により変換された画像信号は、特に、撮像対象の輝度と画像データの輝度 データとが一対一に対応する (撮像対象の輝度と、画像データの輝度データとがリニ ァに対応する）必要がな！ヽ処理を実行する画像処理を実行する装置に利用されるよ うにすると好適である。
[0027] 撮像対象の輝度と画像データの輝度データとが一対一に対応する必要がな!ヽ処 理には、表示以外にも、例えば、印刷出力、記録処理、画像内の所定の対象物を認 識する処理、画像内のエッジ部分、または、直線部分などを検出する処理、 2値化処 理、または、このような処理を実行する他の装置への送信処理などがある。
[0028] 変換手段には、取得手段により取得された画像信号を AZD変換する AZD変換 手段と、 AZD変換手段による AZD変換における階調ステップ数を決定する決定手 段とを更に備えさせることができ、決定手段には、輝度範囲設定手段により設定され た所定の輝度範囲に、輝度範囲外よりも多くの階調が割り当てられるように、 AZD変 換における階調ステップ数を決定させることができ、 AZD変換手段には、決定手段 により決定された階調ステップ数に基づ ヽて、画像信号を AZD変換させることがで きる。
[0029] 前記 AZD変換手段および前記決定手段は、専用のハードウェアにより構成される 、プログラムを読み込んだコンピュータなどにより実現され、コンピュータは、例えば 、 CPU, DSPなどの演算装置により構成される。
[0030] AZD変換における階調のステップ数が輝度領域にかかわらず割り当てられた場 合、換言すれば、 AZD変換前の入力アナログ信号レベルと、変換後のデジタル信 号レベルの比率が一定である場合、特に、 AZD変換における階調のステップ数が 比較的多い場合は、例えば、 2値化や所定対象物の検出などの一般的な画像処理 が困難となってしまい、また、 AZD変換における階調のステップ数が比較的少ない 場合は、例えば、表示または印刷出力したときの画像の濃淡差がなくなってしまう。し かしながら、輝度範囲設定手段により設定された前記所定の輝度範囲に、輝度範囲 外よりも多くの階調が割り当てられるようにしたため、設定された輝度範囲の画像は、 例えば、充分な濃淡差を持って表示または印刷出力される。また、このように AZD 変換における階調のステップ数が設定されて変換された画像データを用いることによ り、各種画像処理において、 2値化の閾値を容易に決定したり、画像を基に所定対象 物を容易に検出することなどが可能となる。
[0031] 画像信号は、半導体のサブスレツショルド特性を利用して、入射光量の対数にほぼ 比例した画素値を出力する対数変換型の撮像素子により撮像されたものとすることが できる。
[0032] 撮像素子は、人の目より広 、ダイナミックレンジで被写体を撮像することができるも のとすると好適である。
[0033] 本発明の画像処理方法は、入射光量の対数にほぼ比例した画素値である、撮像さ れた画像信号を処理する画像処理装置の画像処理方法であって、画像信号を取得 する取得ステップと、取得ステップの処理により取得された画像信号の全輝度範囲の うち、所定の輝度範囲を設定する輝度範囲設定ステップと、輝度範囲設定ステップの 処理により設定された前記所定の輝度範囲に、輝度範囲外よりも多くの階調が割り当 てられるように、取得ステップの処理により取得された画像信号に含まれる画素の輝 度を変換する変換ステップとを含むことを特徴とする。
[0034] 画像信号は、例えば、半導体のサブスレツショルド特性を利用して、入射光量の対 数にほぼ比例した画素値を出力する対数変換型の撮像素子により撮像されたものと することができる。
[0035] 撮像素子は、例えば、 HDRC (High Dynamic Range CMOS (Complementary Metal
Oxide Semiconductor) )であるものとすることができる。
[0036] このような撮像素子は、人の目より広 、ダイナミックレンジで被写体を撮像すること ができる。
[0037] また、例えば、取得ステップにより取得された画像信号の全輝度範囲の画像信号を AZD変換するものとして、変換ステップには、 AZD変換によりデジタル信号に変換 された画像信号を変換させることができる。
[0038] さらに、変換ステップにお 、ては、 AZD変換によりデジタル信号に変換された画像 信号に含まれる画素の輝度の階調数より、変換後の輝度の階調数が減少するよう〖こ 、取得ステップにより取得された画像信号を変換させるようにしてもょ 、。
[0039] また、変換ステップには、取得ステップにより取得された画像信号を AZD変換する AZD変換ステップと、 AZD変換ステップによる AZD変換における階調ステップ数 を決定する決定ステップとを更に含ませるようにすることができ、決定ステップにお ヽ ては、輝度範囲設定ステップにより設定された所定の輝度範囲に、輝度範囲外よりも 多くの階調が割り当てられるように、 AZD変換における階調ステップ数を決定させる ことができ、 AZD変換ステップにおいては、決定ステップにより決定された階調ステ ップ数に基づ ヽて、画像信号を AZD変換させることができる。
[0040] 本発明のプログラムおよび記録媒体に記録されているプロクラムは、入射光量の対 数にほぼ比例した画素値である、撮像された画像信号の処理をコンピュータに実行 させるためのプログラムであって、画像信号の取得を制御する取得制御ステップと、 取得制御ステップの処理により取得が制御された画像信号の全輝度範囲のうち、所 定の輝度範囲を設定する輝度範囲設定ステップと、輝度範囲設定ステップの処理に より設定された前記所定の輝度範囲に、輝度範囲外よりも多くの階調が割り当てられ るように、取得制御ステップの処理により取得が制御された画像信号に含まれる画素 の輝度を変換する変換ステップとを含むことを特徴とする処理をコンピュータに実行 させる。
[0041] 画像信号は、例えば、半導体のサブスレツショルド特性を利用して、入射光量の対 数にほぼ比例した画素値を出力する対数変換型の撮像素子により撮像されたものと することができる。
[0042] 撮像素子は、例えば、 HDRC (High Dynamic Range CMOS (Complementary Metal
Oxide Semiconductor) )であるものとすることができる。
[0043] このような撮像素子は、人の目より広 、ダイナミックレンジで被写体を撮像すること ができる。
[0044] また、例えば、取得ステップにより取得された画像信号の全輝度範囲の画像信号を AZD変換するものとして、変換ステップには、 AZD変換によりデジタル信号に変換 された画像信号を変換させることができる。
[0045] さらに、変換ステップにお 、ては、 AZD変換によりデジタル信号に変換された画像 信号に含まれる画素の輝度の階調数より、変換後の輝度の階調数が減少するよう〖こ 、取得ステップにより取得された画像信号を変換させるようにしてもょ 、。
[0046] また、変換ステップには、取得ステップにより取得された画像信号を AZD変換する AZD変換ステップと、 AZD変換ステップによる AZD変換における階調ステップ数 を決定する決定ステップとを更に含ませるようにすることができ、決定ステップにお ヽ ては、輝度範囲設定ステップにより設定された所定の輝度範囲に、輝度範囲外よりも 多くの階調が割り当てられるように、 AZD変換における階調ステップ数を決定させる ことができ、 AZD変換ステップにおいては、決定ステップにより決定された階調ステ ップ数に基づ ヽて、画像信号を AZD変換させることができる。
[0047] 本発明の第 1の画像処理システムは、入射光量の対数にほぼ比例した画素値を出 力する撮像素子により撮像された画像信号を処理する画像処理装置と、画像処理装 置により処理された画像信号を利用した処理を実行する情報処理装置とにより構成 される画像処理システムであって、画像処理装置は、撮像素子により撮像された画像 信号を取得する取得手段と、取得手段により取得された画像信号の輝度範囲のうち 、複数の輝度範囲を設定する輝度範囲設定手段と、輝度範囲設定手段により設定さ れた輝度範囲に、輝度範囲外よりも多くの階調が割り当てられ、かつ、取得手段によ り取得された画像信号に含まれる画素の輝度の階調数より、輝度の階調数が減少す るように、取得手段により取得された画像信号を変換する変換手段と、変換手段によ り変換された画像信号の輝度の階調数を、情報処理装置が処理可能な階調数に変 換するとともに、変換後の画像信号の情報処理装置への出力を制御する出力制御 手段とを備えることを特徴とする。
[0048] 入射光量の対数にほぼ比例した画素値を出力する撮像素子を用いて撮像を行う 撮像装置を更に備えさせるようにすることができる。
[0049] 撮像素子は、例えば、半導体のサブスレツショルド特性を利用して、入射光量の対 数にほぼ比例した画素値を出力する対数変換型の撮像素子であるものとすることが でき、例えば、 HDRCであるものとすることができる。
[0050] また、この情報処理装置には、例えば、画像印刷装置、画像認識装置、画像記録 装置、画像通信装置など、画像を利用する処理を実行する各種の情報処理装置が 含まれる。変換手段により変換された画像信号は、特に、撮像対象の輝度と画像デ ータの輝度データとが一対一に対応する (撮像対象の輝度と、画像データの輝度デ ータとがリニアに対応する）必要がな!ヽ処理を実行する画像処理を実行する情報処 理装置に利用されるようにすると好適である。
[0051] 撮像対象の輝度と画像データの輝度データとが一対一に対応する必要がない処 理には、表示以外にも、例えば、印刷出力、記録処理、画像内の所定の対象物を認 識する処理、画像内のエッジ部分、または、直線部分などを検出する処理、 2値化処 理、または、このような処理を実行する他の装置への送信処理などがある。
[0052] 本発明の第 2の画像処理システムは、入射光量の対数にほぼ比例した画素値であ る、撮像された画像信号を処理する画像処理装置と、画像処理装置により処理され た画像信号を利用した処理を実行する情報処理装置とにより構成され、画像処理装 置は、画像信号を取得する取得手段と、取得手段により取得された画像信号の全輝 度範囲のうち、所定の輝度範囲を設定する輝度範囲設定手段と、取得手段により取 得された画像信号を AZD変換する AZD変換手段と、 AZD変換手段による AZD 変換における階調ステップ数を決定する決定手段と、 AZD変換手段により変換され た画像信号の情報処理装置への出力を制御する出力制御手段とを備え、決定手段 は、輝度範囲設定手段により設定された所定の輝度範隨こ、輝度範囲外よりも多く の階調が割り当てられるように、 AZD変換における階調ステップ数を決定し、 A/D 変換手段は、決定手段により決定された階調ステップ数に基づいて、画像信号を A ,D変換することを特徴とする。
[0053] 取得される画像信号は、例えば、半導体のサブスレツショルド特性を利用して、入 射光量の対数にほぼ比例した画素値を出力する対数変換型の撮像素子により撮像 されるものとすることができ、撮像素子は、例えば、 HDRCであるものとすることができ る。
[0054] 本発明の画像処理装置および画像処理方法、画像処理システム、並びに、プログ ラムにおいては、入射光量の対数にほぼ比例した画素値を出力する撮像素子により 撮像された画像信号の 度範囲のうち、所定の輝度範囲が設定され、この輝度範 囲に、輝度範囲外よりも多くの階調が割り当てられるように、画像信号に含まれる画 素の輝度が変換される。
[0055] したがって、複雑な処理を行うことなぐ輝度階調ステップ数の少な 、広ダイナミック レンジの画像を得ることができることができる。 発明の効果
[0056] 本発明によれば、撮像された画像信号を処理することができ、特に、複雑な処理を 行うことなぐ輝度階調ステップ数の少な 、広ダイナミックレンジの画像を得ることがで きる。
図面の簡単な説明
[0057] [図 1]従来の広ダイナミックレンジカメラの動作原理を示す図である。
[図 2]本発明の画像処理システムの一実施の形態を示すブロック図である。
[図 3]図 2の撮像部の一実施の形態を示すブロック図である。
[図 4]対数変換型撮像素子などの感度特性を示すグラフである。
[図 5]画像生成部の第 1の構成例を示すブロック図である。
[図 6A]入力レベルに対する出力レベルの変換について説明するための図である。
[図 6B]入力レベルに対する出力レベルの変換について説明するための図である。
[図 6C]入力レベルに対する出力レベルの変換について説明するための図である。
[図 7A]入力レベルに対する出力レベルの変換について説明するための図である。
[図 7B]入力レベルに対する出力レベルの変換について説明するための図である。
[図 7C]入力レベルに対する出力レベルの変換について説明するための図である。
[図 8A]入力信号、階調変換後の信号、および、表示される信号について説明するた めの図である。
[図 8B]入力信号、階調変換後の信号、および、表示される信号について説明するた めの図である。
[図 8C]入力信号、階調変換後の信号、および、表示される信号について説明するた めの図である。
[図 9]画像表示処理 1につ 、て説明するためのフローチャートである。
[図 10]表示画像の差異について説明するための図である。
[図 11]表示画像の差異について説明するための図である。
[図 12]表示画像の差異について説明するための図である。
[図 13]表示画像について説明するための図である。
[図 14]画像生成部の第 2の構成例を示すブロック図である。 [図 15A]入力レベルに対する出力レベルの変換について説明するための図である。
[図 15B]入力レベルに対する出力レベルの変換について説明するための図である。
[図 15C]入力レベルに対する出力レベルの変換について説明するための図である。
[図 16A]入力信号、階調変換後の信号、および、表示される信号について説明する ための図である。
[図 16B]入力信号、階調変換後の信号、および、表示される信号について説明する ための図である。
[図 16C]入力信号、階調変換後の信号、および、表示される信号について説明する ための図である。
[図 17]画像表示処理 2について説明するためのフローチャートである。
[図 18]表示画像について説明するための図である。
[図 19]表示画像について説明するための図である。
[図 20]画像生成部の第 3の構成例を示すブロック図である。
[図 21]画像生成部の第 4の構成例を示すブロック図である。
[図 22]切り出し領域にっ 、て説明するための図である。
[図 23]画像表示処理 3について説明するためのフローチャートである。
[図 24]画像生成部の第 5の構成例を示すブロック図である。
[図 25]画像表示処理 4について説明するためのフローチャートである。
[図 26]画像生成部の第 6の構成例を示すブロック図である。
[図 27]画像生成部の第 7の構成例を示すブロック図である。
[図 28]ヒストグラムの解析と輝度範囲の設定について説明するための図である。
[図 29]画像表示処理 5について説明するためのフローチャートである。
[図 30]画像生成部の第 8の構成例を示すブロック図である。
[図 31]画像表示処理 6について説明するためのフローチャートである。
[図 32]画像生成部の第 9の構成例を示すブロック図である。
[図 33]ヒストグラムの解析と輝度範囲の設定について説明するための図である。
[図 34]画像表示処理 7について説明するためのフローチャートである。
[図 35]本発明の画像処理システムの一実施の形態を示すブロック図である。 [図 36]図 35の撮像部の一実施の形態を示すブロック図である。
圆 37]階調割り当て決定部の第 1の構成例を示すブロック図である。
[図 38A]AZD変換の階調割り当てについて説明するための図である。
[図 38B]AZD変換の階調割り当てについて説明するための図である。
[図 38C]AZD変換の階調割り当てについて説明するための図である。
圆 39A]AZD変換の階調割り当てについて説明するための図である。
圆 39B]AZD変換の階調割り当てについて説明するための図である。
圆 39C]AZD変換の階調割り当てについて説明するための図である。
[図 40A]入力アナログ信号、 AZD変換後の信号、および、表示される信号について 説明するための図である。
[図 40B]入力アナログ信号、 AZD変換後の信号、および、表示される信号について 説明するための図である。
[図 40C]入力アナログ信号、 AZD変換後の信号、および、表示される信号について 説明するための図である。
圆 41A]AZD変換の階調割り当てについて説明するための図である。
圆 41B]AZD変換の階調割り当てについて説明するための図である。
圆 41C]AZD変換の階調割り当てについて説明するための図である。
[図 42A]入力アナログ信号、 AZD変換後の信号、および、表示される信号について 説明するための図である。
[図 42B]入力アナログ信号、 AZD変換後の信号、および、表示される信号について 説明するための図である。
[図 42C]入力アナログ信号、 AZD変換後の信号、および、表示される信号について 説明するための図である。
[図 43]画像表示処理 8について説明するためのフローチャートである。
圆 44]階調割り当て決定部の第 2の構成例を示すブロック図である。
圆 45A]AZD変換の階調割り当てについて説明するための図である。
圆 45B]AZD変換の階調割り当てについて説明するための図である。
圆 45C]AZD変換の階調割り当てについて説明するための図である。 [図 46A]入力アナログ信号、 AZD変換後の信号、および、表示される信号について 説明するための図である。
[図 46B]入力アナログ信号、 AZD変換後の信号、および、表示される信号について 説明するための図である。
[図 46C]入力アナログ信号、 AZD変換後の信号、および、表示される信号について 説明するための図である。
[図 47]画像表示処理 9について説明するためのフローチャートである。
[図 48]階調割り当て決定部の第 3の構成例を示すブロック図である。
[図 49]階調割り当て決定部の第 4の構成例を示すブロック図である。
[図 50]画像表示処理 10について説明するためのフローチャートである。
[図 51]階調割り当て決定部の第 5の構成例を示すブロック図である。
[図 52]画像表示処理 11につ 、て説明するためのフローチャートである。
[図 53]階調割り当て決定部の第 6の構成例を示すブロック図である。
[図 54]階調割り当て決定部の第 7の構成例を示すブロック図である。
[図 55]ヒストグラムの解析と輝度範囲の設定について説明するための図である。
[図 56]画像表示処理 12について説明するためのフローチャートである。
[図 57]階調割り当て決定部の第 8の構成例を示すブロック図である。
[図 58]画像表示処理 13について説明するためのフローチャートである。
[図 59]階調割り当て決定部の第 9の構成例を示すブロック図である。
[図 60]ヒストグラムの解析と輝度範囲の設定について説明するための図である。
[図 61]画像表示処理 14について説明するためのフローチャートである。
[図 62]パーソナルコンピュータの構成例を示すブロック図である。
符号の説明
81 画像処理装置
83 画像利用装置
91 撮像部
93 画像生成部
94 表示制御部 102 対数変換型撮像素子
131 平均輝度算出部
132 主要領域輝度範囲設定部
133 第 2の輝度領域輝度平均値算出部
134 第 2の輝度領域輝度範囲設定部
135 出力レベル変換処理部
201 主要領域切り出し部
202 主要領域輝度平均値算出部
221 領域
251 ヒストグラム解析部
252 閾値比較処理部
253 複数段階輝度範囲設定部
381 画像処理装置
391 撮像部
393 画像生成部
402 対数変換型撮像素子
411 階調割り当て決定部
412 AZD変換部
455, 465, 487, 554 階調割り当て算出部
発明を実施するための最良の形態
[0059] 以下、図を参照して、本発明の実施の形態について説明する。
[0060] 図 2は、画像処理装置 81の一実施の形態を示すブロック図である。
[0061] 撮像部 91は、操作入力部 92から供給されるユーザの操作入力に基づいて、被写 体を撮像し、得られた画像信号を画像生成部 93に供給する。撮像部 91の詳細につ いては、図 3を用いて後述する。
[0062] 操作入力部 92は、例えば、リレーズボタンなどのボタン、操作キー、タツチパネルな どの入力デバイスで構成され、ユーザの操作入力を受け、ユーザからの指令を、撮 像部 91に供給する。ユーザの操作入力は、例えば、撮像タイミングの指令（リレーズ ボタンの押下など）のみならず、例えば、動画像の撮像 (換言すれば、連続したフレ 一ムの撮像)の開始または終了の指令である場合などもあり、更に、撮像開始または 終了の時刻の設定などである場合もある。また、操作入力部 92は、ユーザにより、画 像生成部 93の処理に用いられる所定の設定値の入力を受けた場合、その設定値を 画像生成部 93に供給する。
[0063] 画像生成部 93は、撮像部 91から供給された画像信号を表示や印刷出力に適した 画像信号に変換する処理を実行し、表示制御部 94または出力制御部 95に供給する 。また、画像生成部 93は、操作入力部 92から、必要に応じて、処理に必要な設定値 の入力を受け、これを基に、撮像部 91から供給された画像信号を表示や印刷出力 に適した画像信号に変換する処理を実行する。
[0064] 表示制御部 94は、画像生成部 93から供給された処理済の画像信号を、ディスプレ ィ 82の解像度や階調数に変換する処理を行い、処理済の信号を、ディスプレイ 82に 供給する。
[0065] 出力制御部 95は、画像生成部 93から供給された処理済の画像信号を、画像利用 装置 83が処理可能な解像度や階調数に変換する処理を行い、処理済の信号を、画 像利用装置 83に出力する。
[0066] ディスプレイ 82は、例えば、表示制御部 94から供給された表示画像信号の入力を 受け、画像 (静止画像または、複数フレームよりなる動画像)を表示する。
[0067] 画像利用装置 83は、出力制御部 95から供給された画像信号の入力を請け、所定 の処理を実行する。画像利用装置 83には、例えば、画像印刷装置、画像認識装置 、画像記録装置、画像通信装置などの、画像を利用する処理を実行する、各種の情 報処理装置を用いるよう〖こすることができる。
[0068] 画像生成部 93により生成された画像信号は、特に、撮像対象の輝度と画像データ の輝度データとが 1対 1に対応する (撮像対象の輝度と、画像データの輝度データと 力 Sリニアに対応する）必要がない処理を実行する画像利用装置 83に利用されるよう にすると好適である。
[0069] 撮像対象の輝度と画像データの輝度データとが 1対 1に対応する必要がな!、処理 には、例えば、印刷出力、記録処理、画像内の所定の対象物を認識する処理、画像 内のエッジ部分、または、直線部分などを検出する処理、 2値化処理、または、このよ うな処理を実行する他の装置への送信処理などがある。
[0070] 図 3は、図 2の画像処理装置 81の撮像部 91の更に詳細な構成例を示すブロック図 である。撮像部 91は、レンズ 101、および対数変換型撮像素子 102を含むように構 成される。対数変換型撮像素子 102は、例えば、 HDRC (High Dynamic Range CM OS (Complementary Metal Oxide Semiconductor) )などの対数変換型の撮像素子と され、光検出部 111、対数変換部 112、 AZD変換部 113、および撮像タイミング制 御部 114を含むように構成される。
[0071] 撮像部 91により撮像される被写体力も発せられた光 (あるいは、被写体により反射 された光）は、レンズ 101に入射し、対数変換型撮像素子 102の光検出部 111の図 示せぬ光検出面に結像する。
[0072] 光検出部 111は、例えば、複数のフォトダイオードなど力もなる受光素子などにより 構成される。光検出部 111は、レンズ 101により結像された被写体の光を、入射され た光の明るさ（照度）に応じた電荷に変換し、変換した電荷を蓄積する。光検出部 11 1は、撮像タイミング制御部 114から供給される制御信号に同期して、蓄積した電荷 を対数変換部 112に供給する。
[0073] 対数変換部 112は、例えば、複数の MOSFET (Metal Oxide Semiconductor Field E ffect Transistor)などにより構成される。対数変換部 112は、 MOSFETのサブスレツシ ョルド特性を利用して、光検出部 111から供給される電荷を、画素ごとに電荷の数（ 電流の強さ）の対数 (被写体の光の光量の対数）にほぼ比例した電圧値に変換した アナログの電気信号を生成する。対数変換部 112は、生成したアナログの電気信号 を AZD変換部 113に供給する。
[0074] AZD変換部 113は、撮像タイミング制御部 114から供給される制御信号に同期し て、アナログの電気信号をデジタルの画像データに AZD変換する。例えば、 24bit の符号なし 2進数のデジタルの画像データに変換される場合、画像データの画素値 は、最も暗い 0から最も明るい 224— 1の範囲の値をとる。 AZD変換部 113は、変換 したデジタルの画像データを画像処理装置 92に供給する。
[0075] このように、撮像部 91は、光検出部 111に入射した被写体の光の明るさ (入射光量 )の対数に比例した画素値力もなるデジタルの画像データを出力する。なお、対数変 換型の撮像素子については、例えば、特表平 7— 506932公報などにその詳細が開 示されている。
[0076] なお、対数変換型撮像素子 102の光検出部 111においては、変換した電荷を蓄積 せずに、そのまま対数変換部 112に供給させるようにすることも可能である。
[0077] 図 4は、対数変換型撮像素子 102、 CCD (Charge Coupled Device)撮像素子、銀 塩フィルム、および、人の目の感度特性を示すグラフである。図 4の横軸は、入射す る光の照度（単位は、ルクス (lux) )の対数値を示し、縦軸は入射光の照度に対する 感度を示している。線 121は対数変換型撮像素子 102の感度特性を示し、線 122は CCD撮像素子の感度特性を示し、線 123は銀塩フィルムの感度特性を示し、線 124 は人の目の感度特性を示して 、る。
[0078] 対数変換型撮像素子 102は、上述したように、入射光量の対数にほぼ比例した輝 度値 (あるいは画素値)からなる画像データを出力するので、入射光量が大きくなつ た場合でも、対数変換型撮像素子 102を構成するフォトダイオードや MOSFETなどの 素子の容量が飽和したり、各素子に流れる電流や印加される電圧が各素子の入力 に応じた出力を行うことができる範囲を超えることがない。従って、撮像可能な輝度の 範囲内にお 、て、ほぼ正確に入射光量の変動に応じた輝度値 (ある 、は画素値)を 得ることができる。すなわち、 CCD撮像素子、銀塩フィルム、および、人の目より広い 、例えば、約 1ミリルクスから太陽光の輝度より高い約 500キロルクスまでの約 170dB のダイナミックレンジで、被写体力 の入射光量の強さをほぼ正確に反映した輝度値 (あるいは画素値)からなる画像を撮像することができる。なお、撮像部 91に用いる対 数変換型撮像素子 102のダイナミックレンジは、上述した 170dBに限定されるもので はなぐ利用目的に応じて、約 lOOdBあるいは 200dBなど、必要なダイナミックレン ジに対応したものを用いるようにすればょ 、。
[0079] 対数変換型撮像素子 102は、上述したように、入射光量の対数にほぼ比例した値 の画素値力もなる画像データを出力することにより、対数変換型撮像素子 102を構 成するフォトダイオードや MOSFETなどの容量を飽和させずに、 CCD撮像素子、銀 塩フィルム、および、人の目より広い、約 1ミリルクス力も太陽光の輝度より高い約 500 kルクスまでの約 170dBのダイナミックレンジで被写体を撮像することができる。
[0080] 従って、対数変換型撮像素子 102を用いた撮像部 91は、人が視認できる輝度範 囲において、輝度クリッピングが発生しないため、絞りやシャツタスピードなどを調整し て入射光量を調整する必要がない。すなわち、撮像部 91は、入射光量を調整しなく ても、被写体の詳細な輝度の変化を忠実に撮像することができる。
[0081] 例えば、撮像部 91は、昼間に車内から車の前方を撮像する場合、画角内に太陽が 入っていても、入射光量を調整せずに、太陽と前方の道路の状態を忠実に再現した 画像を撮像することができる。また、撮像部 91は、夜間に車内から車の前方を撮像 する場合、対向車のヘッドライトが前方力も照らされていても、入射光量を調整せず に、対向車のヘッドライトの光から自車のヘッドライトに照らされていない部分までを 忠実に再現した画像を撮像することができる。
[0082] また、 CCD撮像素子および銀塩フィルム力 線 122および線 123に示されるように 、ガンマ特性などの要因により感度特性が入射光の照度の対数に比例しないのに比 ベて、対数変換型撮像素子 102では、感度特性が、入射光の照度の対数にほぼ比 例する。
[0083] このように、対数変換型撮像素子 102を用いた撮像部 91は、輝度クリッピングの発 生、入射光量の調整、ガンマ特性の影響を受けないため、撮像部 91により撮像され た画像データの画素値は、被写体の輝度の変動および被写体の動きをほぼ忠実に 反映するように変動する。
[0084] また、撮像部 91から出力される画像データの画素値は、入射光量の対数にほぼ比 例した値となるので、被写体に照射される光の明るさ（照度）に関わらず、その被写体 を撮像した画像データにおける画素値の分布は、その被写体の反射率の分布がほ ぼ同様に反映されたものとなる。例えば、反射率の最大値と最小値の比率が 10 : 1で ある被写体を、 1回目と 2回目とで約 100倍の照度差がある光を照射して撮像した場 合、 1回目の画像データと 2回目の画像データとの画素値の分布を示すヒストグラム の幅はほぼ同じ値（l =log 10)となる。一方、画像データの画素値が入射光量に比
10
例する場合、 1回目の画像データと 2回目の画像データの画素値の分布を示すヒスト グラムの幅の差は約 100倍となる。 [0085] また、被写体の輝度 (反射率)の分布に関わらず、被写体の輝度がほぼ同じ比率で 変動した場合、その被写体を撮像した画像データの画素値の変動値は、ほぼ同様に なる。例えば、被写体内に輝度の比が 100 : 1となる 2つの領域がある場合、被写体に 照射される光の照度がほぼ一様に変化し、被写体の輝度がほぼ同じ比率の + 5%変 動したとき、 2つの領域に対応する画素値の変動値はほぼ同じ値 (log 1.05)となる。
10
一方、画像データの画素値が入射光量に比例する場合、上述した 2つの領域に対応 する画素値の変動値の差は、約 100倍となる。
[0086] ところで、図 4を用いて説明したように、対数変換型撮像素子 102は、人の目の感 度（図 4の線 124に示される特性）、 CCD撮像素子の感度（図 4の線 122に示される 特性）、および、銀塩フィルムの感度（図 4の線 123に示される特性）と比較して、その 輝度範囲が非常に広い。このため、対数変換型撮像素子 102を用いた撮像部 91に より撮像された画像データの全階調を、ディスプレイ 82に対応した階調に変換して表 示させた場合、人の目に見える像や、従来の CCD撮像素子または銀塩フィルムを用 いて撮像した画像と比較して、濃淡の差がない、換言すれば、シャープさのない画像 になってしまう。
[0087] すなわち、対数変換型撮像素子 102を用いた撮像部 91を用いることにより、非常に 暗い部分も、非常に明るい部分も忠実に撮像されるのである力 撮像された画像デ ータを、ディスプレイ 82が表示可能な階調数を基に階調変換して表示させた場合、 撮像されて ヽる非常に喑 、部分も非常に明る ヽ部分も、表示される画像を参照する ユーザからは識別不可能になってしまい、更に、ユーザから識別可能な全体の階調 の中央部分は、濃淡の差が少なくなつた状態で表示されてしまう。同様に、プリンタな どの階調数にも限りがあるため、撮像された画像データを、出力先の機器が処理可 能な階調数に変換してしまっては、印刷出力される画像は、同様に、人の目に見える 像や、従来の CCD撮像素子または銀塩フィルムを用いて撮像した画像と比較して、 濃淡の差がない、換言すれば、シャープさのない画像になってしまう。
[0088] また、例えば、対数変換型撮像素子 102を用いた撮像部 91により撮像された画像 の輝度範囲の全体をディスプレイ 82が表示可能な階調に変換するのではなぐ得ら れる輝度範囲のうち、得られた画像に含まれる画素の輝度値の最高値と最低値を抽 出し、その間の輝度範囲をディスプレイ 82が表示可能な階調に変換するようにした 場合、 1枚の画像に含まれる輝度範囲が比較的狭いときに表示される画像の画質は 明らかに向上する。し力しながら、 1枚の撮像画像中に明るい部分と暗い部分が混在 するような場合、やはり、撮像されている非常に暗い部分も非常に明るい部分も、表 示される画像を参照するユーザ力 は識別不可能であり、ユーザ力 識別可能な全 体の階調の中央部分の濃淡の差が少ない表示画像となってしまう。
[0089] そこで、画像生成部 93においては、対数変換型撮像素子 102を用いた撮像部 91 により撮像された画像データの供給を受けて、ディスプレイ 82に対応した階調で表示 させた場合、または、出力先の外部機器に対応した階調で出力させた場合であって も、ユーザ力も識別可能な状態に表示または印刷出力させることができるような画像 データを生成することができるような画像処理が実行される。
[0090] 図 5は、図 2の画像生成部 93の構成の第 1の例である画像生成部 93— 1の構成を 示すブロック図である。
[0091] 平均輝度算出部 131は、撮像部 91から供給された画像信号を取得して、この平均 輝度を算出し、平均輝度の算出結果を、主要領域輝度範囲設定部 132に供給する
[0092] 主要領域輝度範囲設定部 132は、平均輝度算出部 131から供給された画像信号 の平均輝度を基に、主要領域の輝度範囲を設定し、設定した主要領域の輝度範囲 を、出力レベル変換処理部 135、および、第 2の輝度領域輝度平均値算出部 133〖こ 供給する。
[0093] 主要領域輝度範囲設定部 132は、例えば、画像信号の平均輝度を中心とした所定 の輝度の範囲を主要領域の輝度範囲としても良 、し、画像信号の平均輝度である画 素を中心として、この輝度に近い輝度値を有するものから順番に所定ビット数の画素 を選択して主要領域の輝度範囲としても良い。
[0094] 第 2の輝度領域輝度平均値算出部 133は、撮像部 91から供給された画像信号のう ち、主要領域輝度範囲設定部 132により設定された主要領域の輝度範囲より高輝度 の範囲の画素の平均輝度を算出し、算出結果を、第 2の輝度領域輝度範囲設定部 1 34に供給する。 [0095] 第 2の輝度領域輝度範囲設定部 134は、第 2の輝度領域輝度平均値算出部 133 力 供給された主要領域の輝度範囲より高輝度の範囲の画素の平均輝度を基に、 第 2の輝度領域の輝度範囲を設定し、設定した第 2の輝度領域の輝度範囲を出カレ ベル変換処理部 135に供給する。
[0096] 第 2の輝度領域輝度範囲設定部 134は、例えば、主要領域の輝度範囲より高輝度 の範囲の画素の平均輝度を中心とした所定の輝度の範囲を第 2の輝度領域の輝度 範囲としても良いし、主要領域の輝度範囲より高輝度の範囲の画素の平均輝度であ る画素を中心として、この輝度に近い輝度値を有するものから順番に所定ビット数の 画素を選択して第 2の輝度領域の輝度範囲としても良い。
[0097] 出力レベル変換処理部 135は、撮像部 91から供給された画像信号を取得して、主 要領域輝度範囲設定部 132、および、第 2の輝度領域輝度平均値算出部 133から 供給された、主要領域の輝度範囲、および、第 2の輝度領域の輝度範囲の情報を基 に、取得した画像信号の出力レベルを変換する。
[0098] 具体的には、出力レベル変換処理部 135は、入力される輝度信号のレベルに対し て、所定のステップ数の出力レベル信号 (輝度を所定の階調ステップ数で分割した 場合のそれぞれの輝度階調レベルの信号)を割り当てて、割り当てられた出カレべ ルの信号を出力するようになされている。このとき、出力レベル変換処理部 187は、 出力レベル信号の輝度階調レベルの割り当てを、主要領域および第 2の輝度領域と して設定されている輝度範囲と、それ以外の範囲とで、異なるものとする。すなわち、 出力レベル変換処理部 187は、主要領域および第 2の輝度領域として設定されてい る輝度範囲により多くの出力レベルのステップ数を割り当てて、対応する輝度範囲の 画素の階調数が多くなるような変換処理を実行する。このようにすることにより、表示 または印刷出力される画像のうち、主要領域および第 2の輝度領域に対応する輝度 範囲の部分力 ユーザによってよりょく認識できるようになる。
[0099] 出力レベル変換処理部 135は、例えば、主要領域の輝度範囲と第 2の輝度領域の 輝度範囲に含まれる入力信号に対して、全ての階調ステップ数を分割して割り当て、 それ以外の範囲、すなわち、主要領域より低輝度の範囲、主要領域と第 2の輝度領 域の間の輝度範囲、および、第 2の輝度領域よりも高輝度となる範囲に対しては、出 カレベルのステップ数を割り当てな 、ようにすることができる。
[0100] このようにして、入力レベルに対する出力レベルの階調のステップ数が割り当てら れた場合、図 6Aに示されるように、主要領域の輝度範囲より輝度の入力レベルが低 い画素の出力レベルは 0 (すなわち、真っ黒）となる。そして、主要領域の輝度範囲内 の画素には、入力レベルに応じて、所定の階調の出力レベルが割り当てられる。また 、主要領域と第 2の輝度領域の間の輝度範囲の画素は、入力レベルにかかわらず、 主要領域の輝度範囲に割り当てられた出力レベルの最大値で出力される。第 2の輝 度領域内の画素には、主要領域と同一か略同等のステップ数で、入力レベルに応じ て、主要領域の輝度範囲に割り当てられた出力レベルの最大値から、全体の出カレ ベルの最大値までの間の階調の出力レベルが割り当てられる。そして、第 2の輝度領 域よりも高輝度の画素は、入力レベルにかかわらず、第 2の輝度領域に割り当てられ た出力レベルの最大値、すなわち、全体の出力レベルの最大値が割り当てられる。
[0101] また、出力レベル変換処理部 135は、例えば、主要領域と第 2の輝度領域に対して 、出力レベルのうちの所定のステップ数を割り当てるとともに、主要領域と第 2の輝度 領域の間の輝度範囲に対しては、主要領域や第 2の輝度領域に割り当てられたステ ップ数よりも少な 、ステップ数 (換言すれば、主要領域や第 2の輝度範囲よりも狭 ヽ 階調幅)を割り当て、主要領域より低輝度の範囲、および、第 2の輝度領域よりも高輝 度の範囲に対しては、出力レベルのステップ数を割り当てな 、ようにすることができる
[0102] このようにして、入力レベルに対する出力レベルの階調のステップ数が割り当てら れた場合、例えば、図 6Bに示されるように、主要領域の輝度範囲より低い輝度を有 する画素の出力値は 0となる。そして、主要領域の輝度範囲内の画素には、入カレ ベルに応じて、所定の階調の出力レベルが割り当てられる。また、主要領域と第 2の 輝度領域の間の輝度範囲の画素にお 、ては、主要領域の輝度範囲に割り当てられ たステップ数よりも少な ヽステップ数で、入力レベルに応じた出力レベルが割り当てら れる。第 2の輝度領域内の画素には、主要領域と同一か略同等のステップ数で、入 カレベルに応じて、主要領域と第 2の輝度領域の間の輝度範囲に割り当てられた出 カレベルの最大値力も全体の最大値となる階調までの間の出力レベルが割り当てら れる。そして、第 2の輝度領域よりも高輝度の画素に対しては、入力レベルにかかわ らず、第 2の輝度領域に割り当てられた出力レベルの最大値、すなわち、最大出カレ ベルが割り当てられる。
[0103] また、出力レベル変換処理部 135は、例えば、主要領域の輝度の上限値を中心と する所定の輝度範囲を区間 (X、第 2の輝度領域の輝度の下限値を中心とする所定 の輝度範囲を区間 βとし、主要領域または第 2の輝度領域のうち、区間 αまたは区 間 j8以外の画素に対して、出力レベルのうちの所定のステップ数を割り当て、区間 α または区間 βに、主要領域および第 2の輝度領域の区間 aまたは区間 β以外の部 分に割り当てられたステップ数よりも少な ヽステップ数を割り当て、主要領域よりも低 輝度および第 2の輝度領域よりも高輝度の画素に対しては、出力レベルのステップ数 を割り当てないようにすることができる。なお、このとき、主要領域と第 2の輝度領域の 間の輝度範囲のうち、区間 αまたは区間 j8に当てはまらない画素に対しては、区間 αまたは区間 j8に割り当てられた出力レベルのステップ数よりも少ないステップ数を 割り当てるようにしたり、ステップ数を割り当てな 、ようにすることができる。
[0104] このようにして、入力レベルに対する出力レベルの階調のステップ数が割り当てら れた場合、例えば、図 6Cに示されるように、主要領域の輝度範囲より低い輝度を有 する画素の出力値は 0となる。そして、主要領域の輝度範囲内であり、区間 α以外の 画素には、入力レベルに応じて、所定の階調の出力レベルが割り当てられる。また、 区間 aの画素には、主要領域の区間 a以外の部分に割り当てられたステップ数より も少ないステップ数で、主要領域の区間 α以外の部分に割り当てられた出力レベル の最大値より大きな所定の階調の出力レベルが割り当てられる。また、主要領域と第 2の輝度領域との間の輝度範囲のうち、区間 αまたは区間 /3に当てはまらない画素 においては、区間 aに割り当てられたステップ数よりも少ないステップ数で、入カレべ ルに応じた出力レベルが割り当てられる力 または、入力レベルにかかわらず区間 OL に割り当てられた出力レベルの最大値が割り当てられるようになされる。
[0105] また、区間 /3の画素には、主要領域の区間 a以外の部分に割り当てられたステツ プ数よりも少ないステップ数で、区間 βより低い輝度範囲における出力レベルの最大 値より大きな所定の階調の出力レベル力 区間 aと同一または略同等のステップ数 で割り当てられる。そして、第 2の輝度領域の輝度範囲内で区間 β以外の画素には、 入力レベルに応じて、区間 j8に割り当てられた階調の最大値力 全体の最大出カレ ベルまでの階調の出力レベルが割り当てられる。換言すれば、第 2の輝度領域の輝 度範囲内で区間 j8以外の画素には、主要領域のうちの区間 a以外の部分と同一か 略同じステップ数、すなわち、区間 aおよび区間 j8よりも多くのステップ数の出カレ ベルが割り当てられる。そして、第 2の輝度領域よりも高輝度の画素に対しては、入力 レベルにかかわらず、第 2の輝度領域に割り当てられた出力レベルの最大値、すな わち、最大出力レベルが割り当てられる。
[0106] なお、図 6Cにおいては、主要領域の輝度の上限値を中心とする所定の輝度範囲 を区間 a、第 2の輝度領域の輝限側の所定区間を区間 a、第 2の輝度領域の輝度 範囲内の下限側の所定区間を区間 βとしたり、主要領域の度の下限値を中心とする 所定の輝度範囲を区間 βとしたが、例えば、主要領域の輝度範囲内の上輝度範囲 の上限よりも高輝度の所定の区間を区間 oc、第 2の輝度領域の輝度範囲の下限より も低輝度の所定の区間を区間 βとするようにしても良い。更に、主要領域の輝度の下 限側、および、第 2の輝度領域の輝度の上限側に、区間 ocおよび区間 βと同様の出 カレベルのステップ数が割り当てられるような領域を設定するようにしても良 、。
[0107] また、図 6においては、主要領域の輝度範囲以下の輝度を有する画素は、すべて 出力 0 (真っ黒)であるものとし、第 2の輝度領域の輝度範囲以上の輝度を有する範 囲の画素は、すべて、第 2の輝度領域の輝度範囲の最高の輝度と同一の出カレべ ル (最大出力レベル)としたが、主要領域の輝度範囲以下、および、第 2の輝度領域 の輝度範囲以上のそれぞれの輝度範囲においても、ある程度の出力レベルのステツ プ数を割り当てることができるようにしても良 、。
[0108] すなわち、出力レベル変換処理部 135は、例えば、図 7Αに示されるように、入カレ ベルに対して出力レベルを変換することができる。すなわち、主要領域の輝度範囲よ り輝度の入力レベルが低い画素において、入力レベルに対応して、 0 (すなわち、真 つ黒)から主要領域に割り当てられるステップ数よりも少ない所定ステップ数の出カレ ベルまでが割り当てられる。そして、主要領域輝度範囲内の画素には、入力レベル に応じて、所定の階調の出力レベルが割り当てられる。また、主要領域と第 2の輝度 領域の間の輝度範囲の画素は、入力レベルにかかわらず、主要領域に割り当てられ た出力レベルの最大値で出力される。第 2の輝度領域内の画素には、入力レベルに 応じて、主要領域に割り当てられた出力レベルの最大値から、所定の階調の出カレ ベルが、主要領域と同一、または、略同等のステップ数で割り当てられる。そして、第 2の輝度領域よりも高輝度の画素に対しては、第 2の輝度領域の輝度範囲に割り当 てられた出力レベルの最大値から、最大出力レベルまで、主要領域や第 2の輝度領 域に割り当てられたステップ数よりも少な 、ステップ数となるように、入力レベルに対 応した出力レベルが割り当てられる。
[0109] また、出力レベル変換処理部 135は、例えば、図 7Bに示されるように、入力レベル に対して出力レベルを変換することができる。すなわち、主要領域の輝度範囲より輝 度の入力レベルが低い画素において、入力レベルに対応して、 0 (すなわち、真っ黒 )から主要領域に割り当てられるステップ数よりも少な 、所定ステップ数の出力レベル までが割り当てられる。そして、主要領域輝度範囲内の画素には、入力レベルに応じ て、所定の階調の出力レベルが割り当てられる。また、主要領域と第 2の輝度領域の 間の輝度範囲の画素にぉ 、ては、主要領域に割り当てられたステップ数よりも少な ヽ ステップ数で、入力レベルに応じた出力レベルが割り当てられる。第 2の輝度領域内 の画素には、入力レベルに応じて、主要領域と第 2の輝度領域の間の輝度範囲に割 り当てられた出力レベルの最大値力も所定の階調の出力レベルが、主要領域と同一 、または、略同等のステップ数で割り当てられる。そして、第 2の輝度領域よりも高輝 度の画素に対しては、第 2の輝度領域の輝度範囲に割り当てられた出力レベルの最 大値から、最大出力レベルまで、主要領域に割り当てられたステップ数よりも少ない ステップ数となるように、入力レベルに対応した出力レベルが割り当てられる。
[0110] また、出力レベル変換処理部 135は、例えば、図 7Cに示されるように、入力レベル に対して出力レベルを変換することができる。すなわち、主要領域の輝度範囲より輝 度の入力レベルが低い画素において、入力レベルに対応して、 0 (すなわち、真っ黒 )から主要領域に割り当てられるステップ数よりも少な 、所定ステップ数の出力レベル までが割り当てられる。そして、主要領域輝度範囲内であり、区間 α以外の画素には 、入力レベルに応じて、所定の階調の出力レベルが割り当てられる。また、区間 αの 画素には、主要領域の区間 a以外の部分に割り当てられたステップ数よりも少ないス テツプ数で、主要領域の区間 a以外の部分に割り当てられた出力レベルの最大値よ り大きな所定の階調の出力レベルが割り当てられる。また、主要領域と第 2の輝度領 域との間の輝度範囲のうち、区間 aまたは区間 /3に当てはまらない画素においては 、区間 aに割り当てられたステップ数よりも少ないステップ数で、入力レベルに応じた 出力レベルが割り当てられる力、または、入力レベルにかかわらず区間 OLに割り当て られた出力レベルの最大値が割り当てられるようになされる。
[0111] また、区間 /3の画素には、主要領域の区間 a以外の部分に割り当てられたステツ プ数よりも少ないステップ数で、区間 βより低い輝度範囲における出力レベルの最大 値より大きな所定の階調の出力レベルが割り当てられる。そして、第 2の輝度領域の 輝度範囲内で区間 j8以外の画素には、入力レベルに応じて、区間 j8に割り当てられ た階調の最大値力も所定の階調の出力レベルが、主要領域の区間 OC以外の輝度範 囲と同一、または、略同等のステップ数で割り当てられる。そして、第 2の輝度領域よ りも高輝度の画素に対しては、第 2の輝度領域の輝度範囲に割り当てられた出カレ ベルの最大値から、最大出力レベルまで、主要領域の区間 a以外の部分に割り当て られたステップ数よりも少ないステップ数となるように、入力レベルに対応した出カレ ベルが割り当てられる。
[0112] なお、図 7Cにおいても、主要領域の輝度の上限値を中心とする所定の輝度範囲を 区間 a、第 2の輝度領域の輝度の下限値を中心とする所定の輝度範囲を区間 βとし たが、例えば、主要領域輝度範囲内の上限側の所定区間を区間 (X、第 2の輝度領 域の輝度範囲内の下限側の所定区間を区間 βとしたり、主要領域輝度範囲の上限 よりも高輝度の所定の区間を区間 ex、第 2の輝度領域の輝度範囲の下限よりも低輝 度の所定の区間を区間 βとするようにしても良い。更に、主要領域の輝度の下限側、 および、第 2の輝度領域の輝度の上限側に、区間 aおよび区間 βと同様の出カレべ ルのステップ数が割り当てられるような領域を設定するようにしても良 、。
[0113] 更に、出力レベル変換処理部 135は、例えば、主要領域、および、第 2の輝度領域 における入力レベルに対する出力レベルの比率 (直線の傾き)よりも、それらの輝度 領域以外の輝度範囲における入力レベルに対する出力レベルの比率が低くなるよう に、それぞれの輝度領域に割り当てられる階調のステップ数を決定するようにしても よい。
[0114] 以上説明した様に、画像生成部 93— 1において設定される主要領域と第 2の輝度 領域は、予め定められた輝度範囲ではなぐ撮像された画像を基に設定されるもので ある。すなわち、画像生成部 93— 1によって生成される画像は、撮像された画像全体 のうち、例えば、画面の多くを占める被写体など、ユーザが画像を認識するために最 も重要である輝度範囲と、その輝度範囲よりも高輝度の範囲の中で、特に多くを占め て 、る輝度範囲にぉ 、て、限られた階調数のうちの多くを割り当てるようになされて!ヽ るものである。
[0115] 図 8を用いて、入力信号、出力レベル変換処理部 135による階調変換後の信号、 および、表示される信号の輝度レベルにっ 、て説明する。
[0116] 図 8Aは、図 6Aを用いて説明した階調変換が行われた場合の入力信号、出カレべ ル変換処理部 135による階調変換後の信号、および、ディスプレイ 82に表示される、 もしくは、印刷や画像認識、記録、または、画像通信などの処理のために画像利用装 置 83へ出力される信号の輝度レベルを示す図である。図 8Aに示される場合、離散 した輝度範囲である主要領域と第 2の輝度領域の信号にぉ 、て、それぞれの輝度階 調幅 (領域内の階調の最大値と最小値の間のステップ数）が充分与えられて 、る状 態で、連続した輝度階調に変換される。主要領域と第 2の輝度領域の間の輝度範囲 の画素は、全て、主要領域の最大出力レベルで出力される。そして、変換後の信号 力 表示または画像利用装置 83への出力の条件に応じて、階調変換 (階調数が圧 縮）されるようになされている。具体的には、例えば、ディスプレイ 82が、 256階調で 画像を表示することができるようになされている場合、表示制御部 94は、画像生成部 93— 1から供給された信号、すなわち、出力レベル変換処理部 135による階調変換 後の信号を、 256階調の信号に変換する。また、画像利用装置 83が、画像認識処理 であり、特定の対象物 (例えば、人間や車など)を供給された画像から検出するため に実行される画像処理において処理に用いられる階調数が、 256階調である場合、 出力制御部 95は、画像生成部 93— 1から供給された信号、すなわち、出力レベル 変換処理部 135による階調変換後の信号を、 256階調の信号に変換する。 [0117] 図 8Bは、図 6Bを用いて説明した階調変換が行われた場合の入力信号、出カレべ ル変換処理部 135による階調変換後の信号、および、ディスプレイ 82に表示される、 または、画像利用装置 83へ出力される信号の輝度レベルを示す図である。図 8Bに 示される場合、主要領域と第 2の輝度領域の間の領域には、主要領域と第 2の輝度 領域よりも少ないステップ数の階調しか与えられていない。そのため、変換後の信号 は、主要領域と第 2の輝度領域の間の領域のステップ数が少ない分、入力信号よりも 輝度の階調数が大幅に圧縮されるにもかかわらず、主要領域と第 2の輝度領域の信 号には、充分な輝度階調幅が与えられている。そして、変換後の信号が、表示または 画像利用装置 83への出力の条件に応じて、階調変換 (階調数が圧縮)されるように なされている。
[0118] 図 8Cは、図 6Cを用いて説明した階調変換が行われた場合の入力信号、出カレべ ル変換処理部 135による階調変換後の信号、および、ディスプレイ 82に表示される、 または、画像利用装置 83へ出力される信号の輝度レベルを示す図である。図 8Cに 示される場合、主要領域と第 2の輝度領域と、それらの間の領域で、割り当てられる 輝度の階調ステップ数を、上述した区間 (Xおよび区間 βによってなだらかに変化さ せるように、すなわち、区間 αおよび区間 βにおいては、主要領域と第 2の輝度領域 よりも少ないステップ数の階調が与えられるようになされている。そのため、変換後の 信号においては、主要領域と第 2の輝度領域には、充分な輝度階調幅が与えられて いる状態で、入力信号よりも輝度の階調数が大幅に圧縮される。そして、変換後の信 号が、表示または画像利用装置 83への出力の条件に応じて、階調変換 (階調数が 圧縮)されるようになされて 、る。
[0119] 次に、図 9のフローチャートを参照して、図 5を用いて説明した画像生成部 93— 1が 用いられて ヽる画像処理装置 81にお ヽて実行される画像表示処理 1につ!/、て説明 する。
[0120] ステップ S1において、撮像部 91は、操作入力部 92から供給されたユーザの操作 入力を基に被写体を撮像し、対数変換され、 AZD変換された撮像画像信号を、画 像生成部 93— 1に供給する。画像生成部 93— 1は、撮像された画像信号を取得す る。 [0121] ステップ S2において、画像生成部 93— 1の平均輝度算出部 131は、撮像された画 像全体の平均輝度を求め、算出結果を、主要領域輝度範囲設定部 132に供給する
[0122] ステップ S3において、主要領域輝度範囲設定部 132は、平均輝度算出部 131から 供給された画像全体の平均輝度を基に、主要領域の輝度範囲を設定し、設定した 主要領域の輝度範囲を、出力レベル変換処理部 135、および、第 2の輝度領域輝度 平均値算出部 133に供給する。
[0123] 主要領域輝度範囲設定部 132は、例えば、画像信号の平均輝度を中心とした所定 の輝度の範囲を主要領域の輝度範囲としても良 、し、画像信号の平均輝度である画 素を中心として、この輝度に近い輝度値を有するものから順番に所定ビット数の画素 を選択して主要領域の輝度範囲としても良い。
[0124] ステップ S4において、第 2の輝度領域輝度平均値算出部 133は、撮像部 91から供 給された画像信号のうち、主要領域輝度範囲設定部 132により設定された主要領域 の輝度範囲よりも明るい領域の平均輝度を求め、その結果を、第 2の輝度領域輝度 範囲設定部 134に供給する。
[0125] ステップ S5において、第 2の輝度領域輝度範囲設定部 134は、第 2の輝度領域輝 度平均値算出部 133から供給された主要領域の輝度範囲よりも明るい領域の平均 輝度を基に、第 2の輝度領域の輝度範囲を設定し、設定した第 2の輝度領域の輝度 範囲を出力レベル変換処理部 135に供給する。
[0126] 第 2の輝度領域輝度範囲設定部 134は、例えば、主要領域の輝度範囲より高輝度 の範囲の画素の平均輝度を中心とした所定の輝度の範囲を第 2の輝度領域の輝度 範囲としても良いし、主要領域の輝度範囲より高輝度の範囲の画素の平均輝度であ る画素を中心として、この輝度に近い輝度値を有するものから順番に所定ビット数の 画素を選択して第 2の輝度領域の輝度範囲としても良い。
[0127] ステップ S6において、出力レベル変換処理部 135は、主要領域輝度範囲設定部 1 32により設定された主要領域の輝度範囲、および、第 2の輝度領域輝度平均値算出 部 133により設定された第 2の輝度領域の輝度範囲を基に、例えば、図 6または図 7 を用 ヽて説明したような入力レベルと出力レベルの変換特性を決定する。 [0128] ステップ S7において、出力レベル変換処理部 135は、撮像部 91から供給された撮 像画像の階調を、ステップ S6において決定された変換特性に基づいて変換し、出力 制御部 95に供給する。
[0129] ステップ S8において、出力制御部 95は、供給された画像信号を、図 8を用いて説 明した様に、画像利用装置 83が実行可能な処理に適合した階調に変換する。
[0130] ステップ S9において、出力制御部 95は、画像利用装置 83が実行可能な処理に適 合した階調に変換された、変換後の画像データの画像利用装置 83への出力を制御 して、処理が終了される。
[0131] なお、ここでは、生成された画像を画像利用装置 83に出力させる処理について説 明したが、生成された画像を、表示制御部 94を介してディスプレイ 82に出力させて 表示させる場合には、ステップ S1乃至ステップ S7において基本的に同様の処理が 実行され、画像信号が表示制御部 94に供給されて、ディスプレイ 82において処理可 能な階調に変換されて出力され、その表示が制御される。
[0132] このような処理により、対数変換型撮像素子 102を用いた撮像部 91により撮像され た画像データを画像利用装置 82に対応した階調で出力させた場合であっても、広 い輝度範囲に散らばって存在するユーザが必要とする画像情報を、必要な輝度領 域の輝度の階調数を確保しつつ、画像利用装置 82にとつて扱いやすいように輝度 圧縮が行われた画像データを生成することができる。
[0133] 例えば、トンネル内のトンネル出口付近を走行している車の前面の画像を撮像して 、撮像された画像をディスプレイに表示することができるようになされて ヽる場合、
(1)対数変換型撮像素子 102を用いた撮像部 91を用いて撮像された広ダイナミクス レンジの画像を、画像生成部 93— 1を有する画像処理装置 81を用いて処理せずに 、そのままの階調特性で表示出力させる
(2)従来の CCDカメラを有して通常の露光制御において撮像された画像を、合成等 の処理を行うことなく表示出力させる
(3)対数変換型撮像素子 102を用いた撮像部 91を用いて撮像された広ダイナミクス レンジの画像を、画像生成部 93— 1を有する画像処理装置 81を用いて処理した後、 表示出力させる 以上のそれぞれの条件において、図 10乃至図 12を参照して、表示画像の差異に ついて説明する。
[0134] まず、対数変換型撮像素子 102を用いた撮像部 91を用いて撮像された広ダイナミ タスレンジの画像を、画像生成部 93— 1を有する画像処理装置 81を用いて処理しな V、場合の表示画像の例を図 10に示す。対数変換型撮像素子 102を用いた撮像部 9 1を用いて撮像された広ダイナミクスレンジの画像は、白とび、または、黒つぶれを起 こさないが、非常に広いダイナミクスレンジを、表示装置が処理可能な階調に変換す るため、濃淡の差がない（シャープさのない）画像が表示されてしまう。
[0135] 対数変換型撮像素子 102により撮像される輝度幅が広いものであっても、一般的な 表示デバイスにより表示可能な画像の階調数は、それらを忠実に表示することが可 能なほど広いものではない。具体的には、例えば、路面の明るさを基準として露光さ れた CCDで撮像された画像において異なる階調として表示される画素が、図 10に おける場合では、同一の階調、または、 CCDを用いた場合よりも少ない階調数で表 示されてしまう。
[0136] なお、対数変換型撮像素子 102により撮像可能なダイナミクスレンジのうち、得られ た撮像画像の輝度の最大値と最小値の間で階調変換を行うようになされて!、たとし ても、 1画面中の輝度の差が大きい場合 (例えば、図 10の場合、トンネル内の路面と 、トンネルの外のそれぞれの部分の輝度の差は非常に大きい）には、同様に、濃淡の 差がな ヽ画像が表示されてしまう。
[0137] 次に、従来の CCDカメラにより通常の露光制御によって撮像された画像が表示さ れる場合の表示画像の例を図 11に示す。例えば、 CCDカメラの露光が、撮像される 画像の多くの部分を占める、トンネル内の路面の明るさを基にして設定されたとき、図 11に示されるように、得られる画像のうち、トンネル内の路面よりも極端に明るいトンネ ルの外の画像は、白とびを起こしてしまう。なお、露光時間が非常に短く設定された 場合、トンネル外の部分は、図 11に示されるように白とびを起こすことはないが、トン ネル外の部分と比較して、輝度が大幅に低いトンネル内の部分に、黒つぶれが発生 してしまい、表示画像の対応する部分の識別が困難となってしまう。
[0138] そして、対数変換型撮像素子 102を用いた撮像部 91を用いて撮像された広ダイナ ミクスレンジの画像を、画像生成部 93— 1を有する画像処理装置 81を用いて処理し た場合の表示画像の例を図 12に示す。このように、トンネル内のトンネル出口付近を 走行して ヽる車の前面の画像が撮像された場合、車の前面の道路部分の輝度周辺 力 主要領域の輝度範囲として設定される。そして、主要領域よりも高輝度の画素の うちの主な部分として、トンネル外の部分が、第 2の輝度領域として設定される。すな わち、画像生成部 93— 1を有する画像処理装置 81を用いた画像変換にお ヽては、 撮像された画像のうち、トンネル内に対応する輝度範囲とトンネル外に対応する輝度 範囲において、ユーザに認識しやすいような階調ステップ数が割り当てられる。した がって、画像生成部 93— 1を有する画像処理装置 81を用いて処理した場合の表示 画像は、図 10または図 11を用いて説明した場合よりも、撮像された画像のうちの主 な部分 (ここでは、車の全面の道路部分)と、それとは離散した輝度範囲のうちの主な 部分 (ここでは、トンネルの外の部分）が、ユーザにより認識しやすいように表示される
[0139] このようにすることにより、広ダイナミツクイレンジで撮像された画像のうち、ユーザが 必要とする情報が、ユーザにより認識しやすいように、すなわち、充分な階調ステップ 数が割り当てられて表示されるように変換される。
[0140] 同様にして、上述した 3つの条件において得られた画像力 画像利用装置 83に供 給されて処理される場合にっ ヽて考える。
[0141] 例えば、 14bitで AZD変換された広ダイナミクスレンジ画像は、非常に広い輝度大 域を含むため、従来の画像利用装置 83が実行する処理では、充分に目的を達成す ることができない場合がある。例えば、 14bitで AZD変換された広ダイナミクスレンジ 画像データに対して、通常の画像データと同様に微分処理を行うラプラシアン変換 処理を施した場合、きわめてコントラストが低い画像と同等に、ノイズ状の結果しか得 ることができない。また、 14bitで AZD変換された広ダイナミクスレンジ画像データに 対して、 2値ィ匕処理を行おうとした場合、閾値となりうる輝度の候補が非常に多くなつ てしまうため、処理量が爆発的に増大してしまう。このように、広ダイナミクスレンジ画 像データを用いて一般的な画像処理を行うためには、従来実行されて ヽた画像処理 のプロセスを大幅に変更する必要が生じる場合がある。 [0142] これに対して、対数変換型撮像素子 102を用いた撮像部 91を用いて撮像された広 ダイナミクスレンジの画像を、画像生成部 93— 1を有する画像処理装置 81を用いて 処理した後、画像利用装置 83に供給することにより、画像利用装置 83においては、 従来の画像処理のプロセスをそのまま実行することが可能となる場合がある。
[0143] 一例として、上述した 3つの条件において得られた画像力 画像利用装置 83に供 給されて、画像利用装置 83が実行する画像認識処理に用いられた場合につ ヽて考 える。
[0144] 図 10に示される画像では、トンネルの外に存在する車を検出しょうとしたとき、得ら れた画像データのダイナミックレンジは申し分なく広 、のであるが、それぞれの対象 物の輝度の濃淡差がほとんどなくなってしまうため、その画像抽出のために必要な処 理 (例えば、エッジ検出やラプラシアン変換)を行ったとしても、対象物の検出精度が 非常に低いものとなってしまう。そして、図 11に示される画像では、トンネルの外に存 在する車を検出しょうとしても、必要な輝度領域のデータが得られないため、誤検出 が発生してしまう。
[0145] これに対して、図 12に示される画像では、トンネルの外に存在する車を検出するた めに必要な輝度領域のデータが、充分な輝度階調ステップ数を与えられて供給され るため、精度よく対象物を認識することができる。
[0146] また、画像利用装置 82が、生成された画像データの送信や記録などの処理を実行 するようになされている場合、対数変換型撮像素子 102を用いた撮像部 91を用いて 撮像された広ダイナミクスレンジの画像を、そのままの状態で送信または記録すること も可能ではあるが、対数変換型撮像素子 102を用いた撮像部 91を用いて撮像され た広ダイナミクスレンジの画像は、非常にデータ容量が多いため、記録された画像デ ータまたは送信された画像データの利用目的によっては、限りある記録容量または 送受信路のトラフィックを、無駄に浪費してしまうことになりかねない。そこで、記録さ れた画像データまたは送信された画像データの利用目的によって、利用される輝度 領域に主に階調ステップ数を割り当てるようにして、記録容量または送受信路のトラ フィックを節約することができるようにすると好適である。
[0147] また、対数変換型撮像素子 102を用いた場合、 1回の撮像で、広ダイナミクスレンジ の画像を得ることができる。したがって、対数変換型撮像素子 102を用いた撮像部 9 1を用いて撮像された広ダイナミクスレンジの画像を、画像生成部 93— 1を有する画 像処理装置 81を用いて処理した場合、従来の CCDを用いて異なるシャツタ時間で 撮像された画像を合成することなどにより広ダイナミクスレンジの画像を得るようになさ れている場合と比較して、特に、動画像のフレームレートを容易に高くすることができ る。
[0148] また、対数変換型撮像素子 102を用いた撮像部 91を用いて撮像された広ダイナミ タスレンジの画像を、画像生成部 93— 1を有する画像処理装置 81を用いて処理する ことにより、例えば、図 13に示されるように、夜の街中を走行する車の前面の画像を 撮像して、撮像された画像がディスプレイに表示されるようになされて!ヽる場合にお いても、他の車のヘッドライトやテールランプ、または、街灯など、画面上の多くの部 分の輝度値とは離散した輝度値を有する画素を含む画像も、白とびや黒つぶれを起 こすことなく、更に、ユーザが必要としている画像情報力 ヘッドライトやテールランプ 、または、街灯などの高輝度の画素のために認識しに《なることなぐ充分な階調を 割り当てられて表示されたり、画像処理されるようになされる。
[0149] 以上説明した画像生成部 93— 1は、主要領域の輝度範囲と、主要領域の輝度範 囲より高輝度の範囲のうちの主な部分である第 2の輝度領域の輝度範囲に対して、 多くの階調ステップ数が割り当てられるものとして説明した。これに対して、設定され る輝度範囲が、主要領域の輝度範囲と第 2の輝度領域の輝度範囲の 2つではない場 合について説明する。
[0150] 次に、図 14は、図 2の画像生成部 93の構成の第 2の例である画像生成部 93— 2の 構成を示すブロック図である。画像生成部 93— 2は、主要領域の輝度範囲以外に、 主要領域の輝度範囲より高輝度の範囲のうちの主な部分である第 2の輝度領域の輝 度範囲と、主要領域の輝度範囲より低輝度の範囲のうちの主な部分である第 3の輝 度領域の輝度範囲との 3つの輝度領域を設定し、設定された 3つの輝度領域に対し て、多くの階調ステップ数を割り当てることができるようになされて!、る。
[0151] なお、図 5における場合と対応する部分には同一の符号を付してあり、その説明は 適宜省略する。 [0152] すなわち、図 14の画像生成部 93— 2は、図 5を用いて説明した画像生成部 93— 1 と基本的に同様の平均輝度算出部 131、および、主要領域輝度範囲設定部 132を 有し、画像生成部 93— 1の第 2の輝度領域輝度平均値算出部 133および第 2の輝 度領域輝度範囲設定部 134が省略され、高輝度領域輝度平均値算出部 161、高輝 度領域輝度範囲設定部 162、低輝度領域輝度平均値算出部 163、および、低輝度 領域輝度範囲設定部 164が新たに設けられ、出力レベル変換処理部 135に代わつ て、出力レベル変換処理部 165が設けられている。
[0153] 高輝度領域輝度平均値算出部 161は、撮像部 91から供給された画像信号を取得 し、取得された画像信号のうち、主要領域輝度範囲設定部 132により設定された主 要領域の輝度範囲より高輝度の範囲の画素の平均輝度を算出し、算出結果を、高 輝度領域輝度範囲設定部 162に供給する。
[0154] 高輝度領域輝度範囲設定部 162は、高輝度領域輝度平均値算出部 161から供給 された主要領域の輝度範囲より高輝度の範囲の画素の平均輝度を基に、主要領域 より高輝度である第 2の輝度領域の輝度範囲を設定し、設定した第 2の輝度領域の 輝度範囲を出力レベル変換処理部 165に供給する。
[0155] 高輝度領域輝度範囲設定部 162は、例えば、主要領域の輝度範囲より高輝度の 範囲の画素の平均輝度を中心とした所定の輝度の範囲を第 2の輝度領域の輝度範 囲としても良いし、主要領域の輝度範囲より高輝度の範囲の画素の平均輝度である 画素を中心として、この輝度に近い輝度値を有するものから順番に所定ビット数の画 素を選択して第 2の輝度領域の輝度範囲としても良い。
[0156] 低輝度領域輝度平均値算出部 163は、撮像部 91から供給された画像信号を取得 し、取得された画像信号のうち、主要領域輝度範囲設定部 132により設定された主 要領域の輝度範囲より低輝度の範囲の画素の平均輝度を算出し、算出結果を、低 輝度領域輝度範囲設定部 164に供給する。
[0157] 低輝度領域輝度範囲設定部 164は、低輝度領域輝度平均値算出部 163から供給 された主要領域の輝度範囲より低輝度の範囲の画素の平均輝度を基に、主要領域 より低輝度である第 3の輝度領域の輝度範囲を設定し、設定した第 3の輝度領域の 輝度範囲を出力レベル変換処理部 165に供給する。 [0158] 低輝度領域輝度範囲設定部 164は、例えば、主要領域の輝度範囲より低輝度の 範囲の画素の平均輝度を中心とした所定の輝度の範囲を第 3の輝度領域の輝度範 囲としても良いし、主要領域の輝度範囲より低輝度の範囲の画素の平均輝度である 画素を中心として、この輝度に近い輝度値を有するものから順番に所定ビット数の画 素を選択して第 3の域輝度範囲としても良い。
[0159] 出力レベル変換処理部 165は、撮像部 91から供給された画像信号を取得して、主 要領域輝度範囲設定部 132、高輝度領域輝度範囲設定部 162、および、低輝度領 域輝度範囲設定部 164から供給された、主要領域の輝度範囲、第 2の輝度領域の 輝度範囲、および、第 3の輝度領域の輝度範囲の情報を基に、取得した画像信号の 出力レベルを変換する。
[0160] 具体的には、出力レベル変換処理部 165は、例えば、図 15Aに示されるように、入 カレベルに対して出力レベルを変換することができる。すなわち、第 3の輝度領域より 輝度の入力レベルが低い画素は、入力レベルにかかわらず、出力レベルは 0 (すな わち、真っ黒)とされる。そして、第 3の輝度領域内、主要領域内、および、第 2の輝度 領域内の画素には、入力レベルに応じて、所定の階調の出力レベルが割り当てられ る。また、第 3の輝度領域と主要領域の間の輝度範囲、および、主要領域と第 2の輝 度領域の間の輝度範囲の画素は、入力レベルにかかわらず、その範囲の直前に割り 当てられた出力レベルで出力される。そして、第 2の輝度領域よりも高輝度の画素に 対しては、第 2の輝度領域の輝度範囲に割り当てられた出力レベルの最大値となる 出力レベルが割り当てられる。
[0161] また、出力レベル変換処理部 165は、例えば、図 15Bに示されるように、入カレべ ルに対して出力レベルを変換することができる。すなわち、第 3の輝度領域より輝度 の入力レベルが低い画素は、入力レベルにかかわらず、出力レベルは 0 (すなわち、 真っ黒)とされる。そして、第 3の輝度領域内、主要領域内、および、第 2の輝度領域 内の画素には、入力レベルに応じて、所定の階調の出力レベルが割り当てられる。ま た、第 3の輝度領域と主要領域の間の輝度範囲、および、主要領域と第 2の輝度領 域の間の輝度範囲の画素は、主要領域などに割り当てられたステップ数よりも少な!/ヽ ステップ数で、入力レベルに応じた出力レベルが割り当てられる。そして、第 2の輝度 領域よりも高輝度の画素に対しては、第 2の輝度領域に割り当てられた出力レベルの 最大値となる出力レベルが割り当てられる。
[0162] また、出力レベル変換処理部 165は、例えば、図 15Cに示されるように、入カレべ ルに対して出力レベルを変換することができる。すなわち、出力レベル変換処理部 1 65は、例えば、第 3の輝度領域の輝度の上限値を中心とする所定の輝度範囲を区 間 O、主要領域の輝度の下限値を中心とする所定の輝度範囲を区間 β、主要領域 の輝度の上限値を中心とする所定の輝度範囲を区間 γ、第 2の輝度領域の輝度の 下限値を中心とする所定の輝度範囲を区間 δとする。そして、第 3の輝度領域より輝 度の入力レベルが低い画素は、入力レベルにかかわらず、出力レベルは 0 (すなわ ち、真っ黒)とされる。第 3の輝度領域内であり、区間 oc以外の画素、主要領域輝度 の範囲内であり、区間 βまたは区間 γ以外の画素、および、第 2の輝度領域の範囲 内であり、区間 δ以外の画素には、入力レベルに応じて、所定の階調の出力レベル が割り当てられる。また、区間 α、区間 /3、区間 γ、および、区間 δの画素には、主 要領域輝度範囲などであって、区間 O乃至区間 δ以外の部分に割り当てられたステ ップ数よりも少ないステップ数の所定の階調の出力レベルが割り当てられる。そして、 第 2の輝度領域よりも高輝度の画素に対しては、第 2の輝度領域に割り当てられた出 カレベルの最大値となる出力レベルが割り当てられる。
[0163] なお、図 15Cにおいては、第 3の輝度領域の輝度の上限値を中心とする所定の輝 度範囲を区間 O、主要領域の輝度の下限値を中心とする所定の輝度範囲を区間 β 、主要領域の輝度の上限値を中心とする所定の輝度範囲を区間 γ、第 2の輝度領域 の輝度の下限値を中心とする所定の輝度範囲を区間 δとしたが、例えば、第 3の輝 度領域内の上限側の所定の輝度範囲を区間 OC、主要領域内の下限側の所定の輝 度範囲を区間 β、主要領域内の上限側の所定の輝度範囲を区間 γ、第 2の輝度領 域内の下限側の所定の輝度範囲を区間 δとしたり、第 3の輝度領域の上限よりも高 輝度の所定の輝度範囲を区間 OC、主要領域の下限よりも低輝度の所定の輝度範囲 を区間 β、主要領域の上限よりも高輝度の所定の輝度範囲を区間 γ、第 2の輝度領 域の下限よりも低輝度の所定の輝度範囲を区間 δとするようにしても良い。更に、第 3の輝度領域の輝度の下限側、および、第 2の輝度領域の輝度の上限側に、区間ひ 乃至区間 δと同様の出力レベルのステップ数が割り当てられるような領域を設定する ようにしても良い。
[0164] また、図 15においては、第 3の輝度領域よりも低輝度、および、第 2の輝度領域より も高輝度の範囲にぉ 、て、出力レベルのステップ数（階調のステップ数)を割り当て ない場合について説明した。これに対して、出力レベル変換処理部 165は、例えば、 図 7を用いて説明した場合と同様に、第 3の輝度領域よりも低輝度、および、第 2の輝 度領域よりも高輝度の範囲においても、主要領域、第 2の輝度領域、および、第 3の 輝度領域よりも少な 、ステップ数を割り当てるようにしてもょ 、。
[0165] 更に、出力レベル変換処理部 165は、例えば、主要領域、第 2の輝度領域、および 、第 3の輝度領域における入力レベルに対する出力レベルの比率 (直線の傾き）より も、これらの領域以外の輝度範囲における入力レベルに対する出力レベルの比率が 低くなるように、それぞれの輝度領域に割り当てられる階調のステップ数を決定する ようにしてもよい。
[0166] 次に、図 16を用いて、入力信号、出力レベル変換処理部 165による階調変換後の 信号、および、表示される信号の輝度レベルについて説明する。
[0167] 図 16Aは、図 15Aを用いて説明した階調変換が行われた場合の入力信号、出力 レベル変換処理部 165による階調変換後の信号、および、ディスプレイ 82に表示さ れる、もしくは、印刷や画像認識、記録、または、画像通信などの処理のために画像 利用装置 83へ出力される信号の輝度レベルを示す図である。図 16Aに示される場 合、離散した輝度範囲である主要領域、第 2の輝度領域、および第 3の輝度領域の 信号の輝度階調幅が充分与えられて ヽる状態で、連続した輝度階調に変換される。 第 3の輝度領域と主要領域の間の輝度範囲の画素は、全て、第 3の輝度領域の最大 出力レベルで出力され、主要領域と第 2の輝度領域の間の輝度範囲の画素は、全て 、主要領域の最大出力レベルで出力される。そして、変換後の信号が、表示または 画像利用装置 83への出力の条件に応じて、階調変換 (階調数が圧縮)されるように なされている。
[0168] 図 16Bは、図 15Bを用いて説明した階調変換が行われた場合の入力信号、出カレ ベル変換処理部 165による階調変換後の信号、および、ディスプレイ 82に表示され る、または、画像利用装置 83へ出力される信号の輝度レベルを示す図である。図 16 Bに示される場合、第 3の輝度領域と主要領域の間、および、主要領域と第 2の輝度 領域の間の領域には、主要領域、第 2の輝度領域、および第 3の輝度領域よりも少な いステップ数の階調しか与えられていない。そのため、変換後の信号は、第 3の輝度 領域と主要領域の間、および、主要領域と第 2の輝度領域の間の領域のステップ数 が少ない分、入力信号よりも輝度の階調数が大幅に圧縮されるにもかかわらず、主 要領域、第 2の輝度領域、および第 3の輝度領域の信号の輝度階調幅は充分に与 えられている。そして、変換後の信号が、表示または画像利用装置 83への出力の条 件に応じて、階調変換 (階調数が圧縮)されるようになされて!、る。
[0169] 図 16Cは、図 15Cを用いて説明した階調変換が行われた場合の入力信号、出カレ ベル変換処理部 165による階調変換後の信号、および、ディスプレイ 82に表示され る、または、画像利用装置 83へ出力される信号の輝度レベルを示す図である。図 16 Cに示される場合、主要領域、第 2の輝度領域、および第 3の輝度領域と、それらの 間の領域で、割り当てられる輝度の階調ステップ数を、上述した区間 (X乃至区間 δ によってなだらかに変化させるように、すなわち、区間 α乃至区間 δにおいては、主 要領域、第 2の輝度領域、および第 3の輝度領域の区間 oc乃至区間 δ以外の部分よ りも少ないステップ数の階調が与えられるようになされている。そのため、変換後の信 号においては、主要領域、第 2の輝度領域、および第 3の輝度領域に充分な輝度階 調幅が与えられている状態で、入力信号よりも輝度の階調数が大幅に圧縮される。 そして、変換後の信号が、表示または画像利用装置 83への出力の条件に応じて、階 調変換 (階調数が圧縮)されるようになされて!、る。
[0170] 次に、図 17のフローチャートを参照して、図 14の画像生成部 93— 2を含む画像処 理装置 81にお 、て実行される画像表示処理 2につ 、て説明する。
[0171] ステップ S31において、撮像部 91は、操作入力部 92から供給されたユーザの操作 入力を基に被写体を撮像し、対数変換され、 AZD変換された撮像画像信号を、画 像生成部 93— 2に供給する。画像生成部 93— 2は、撮像された画像信号を取得す る。
[0172] ステップ S32において、画像生成部 93— 2の平均輝度算出部 131は、撮像された 画像全体の平均輝度を求め、算出結果を、主要領域輝度範囲設定部 132に供給す る。
[0173] ステップ S33において、主要領域輝度範囲設定部 132は、平均輝度算出部 131か ら供給された画像全体の平均輝度を基に、主要領域の輝度範囲を設定し、設定した 主要領域の輝度範囲を、出力レベル変換処理部 165、高輝度領域輝度平均値算出 部 161、および、低輝度領域輝度平均値算出部 163に供給する。
[0174] 主要領域輝度範囲設定部 132は、例えば、画像信号の平均輝度を中心とした所定 の輝度の範囲を主要領域の輝度範囲としても良 、し、画像信号の平均輝度である画 素を中心として、この輝度に近い輝度値を有するものから順番に所定ビット数の画素 を選択して主要領域の輝度範囲としても良い。
[0175] ステップ S34において、高輝度領域輝度平均値算出部 161は、撮像部 91から供給 された画像信号のうち、主要領域輝度範囲設定部 132により設定された主要領域の 輝度範囲よりも明るい領域の平均輝度を求め、その結果を、高輝度領域輝度範囲設 定部 162に供給する。
[0176] ステップ S35において、高輝度領域輝度範囲設定部 162は、高輝度領域輝度平均 値算出部 161から供給された主要領域の輝度範囲よりも明るい領域の平均輝度を基 に、第 2の輝度領域の輝度範囲を設定し、設定した第 2の輝度領域の輝度範囲を出 力レベル変換処理部 165に供給する。
[0177] 高輝度領域輝度範囲設定部 162は、例えば、主要領域の輝度範囲より高輝度の 範囲の画素の平均輝度を中心とした所定の輝度の範囲を第 2の輝度領域の輝度範 囲としても良いし、主要領域の輝度範囲より高輝度の範囲の画素の平均輝度である 画素を中心として、この輝度に近い輝度値を有するものから順番に所定ビット数の画 素を選択して第 2の輝度領域の輝度範囲としても良い。
[0178] ステップ S36において、低輝度領域輝度平均値算出部 163は、撮像部 91から供給 された画像信号のうち、主要領域輝度範囲設定部 132により設定された主要領域の 輝度範囲よりも暗い領域の平均輝度を求め、その結果を、低輝度領域輝度範囲設定 部 164に供給する。
[0179] ステップ S37にお ヽて、低輝度領域輝度範囲設定部 164は、低輝度領域輝度平均 値算出部 163から供給された主要領域の輝度範囲よりも暗い領域の平均輝度を基 に、第 3の輝度領域の輝度範囲を設定し、設定した第 3の輝度領域の輝度範囲を出 力レベル変換処理部 165に供給する。
[0180] 低輝度領域輝度範囲設定部 164は、例えば、主要領域の輝度範囲より低輝度の 範囲の画素の平均輝度を中心とした所定の輝度の範囲を第 3の輝度領域の輝度範 囲としても良いし、主要領域の輝度範囲より低輝度の範囲の画素の平均輝度である 画素を中心として、この輝度に近い輝度値を有するものから順番に所定ビット数の画 素を選択して第 3の域輝度範囲としても良い。
[0181] ステップ S38において、出力レベル変換処理部 165は、主要領域輝度範囲設定部 132により設定された主要領域の輝度範囲、高輝度領域輝度範囲設定部 162により 設定された第 2の輝度領域の輝度範囲、および、低輝度領域輝度範囲設定部 164 により設定された第 3の輝度領域の輝度範囲を基に、例えば、図 15を用いて説明し たような入力レベルと出力レベルの変換特性を決定する。
[0182] ステップ S39において、出力レベル変換処理部 165は、撮像部 91から供給された 撮像された画像の階調を、ステップ S39にお ヽて決定された変換特性に基づ!/ヽて変 換し、出力制御部 95に供給する。
[0183] ステップ S40において、出力制御部 95は、供給された画像信号を、図 16を用いて 説明した様に、画像利用装置 83が実行可能な処理に適合した階調に変換する。
[0184] ステップ S41において、出力制御部 95は、画像利用装置 83が実行可能な処理に 適合した階調に変換された、変換後の画像データの画像利用装置 83への出力を制 御して、処理が終了される。
[0185] なお、ここでは、生成された画像を画像利用装置 83に出力させる処理について説 明したが、生成された画像を、表示制御部 94を介してディスプレイ 82に出力させて 表示させる場合には、ステップ S31乃至ステップ S39において基本的に同様の処理 が実行され、画像信号が表示制御部 94に供給されて、ディスプレイ 82において処理 可能な階調に変換されて出力され、その表示が制御される。
[0186] このような処理により、対数変換型撮像素子 102を用いた撮像部 91により撮像され た画像データにおいて、広い輝度範囲に、特に、主な輝度範囲力も離散した高輝度 と低輝度の領域のいずれにも、ユーザが必要とする画像情報が存在するような場合 であっても、このような画像をディスプレイ 82に対応した階調で表示させたり、または 、画像利用装置 83が実行する処理に対応した階調で出力させたときに、ユーザから 識別可能な状態に表示または印刷出力させたり、画像利用装置 83が容易に処理す ることができるような画像データを生成することができる。
[0187] 図 14の画像生成部 93— 2を含む画像処理装置 81により表示される画像は、具体 的には、例えば、図 18に示されるように、撮像される画像のほとんどの部分が路面で あり、その路面の輝度より非常に高輝度である空の部分が画角に含まれており、更に 、路面の輝度より非常に低輝度である黒!ヽスーツを着た人が画角に含まれて ヽる場 合であっても、路面、空、黒いスーツを着た人のそれぞれに対応する輝度付近に、多 くの階調ステップ数が割り当てられるようになされている。したがって、図 14の画像生 成部 93— 2を含む画像処理装置 81を用いることにより、画像表示処理において、空 の部分が白飛びして認識しにくい画像が表示されたり、撮像されているにもかかわら ず、黒 、スーツを着た人がユーザ力も判別できな 、ように黒くつぶれて表示されてし まったり、画像認識処理において、黒いスーツを着た人を認識 (または抽出）できない ようなことを防ぐことが可能となる。
[0188] 更に、同様にして、図 14の画像生成部 93— 2を含む画像処理装置 81により表示さ れる画像は、具体的には、例えば、図 19に示されるように、撮像される画像のほとん どの部分がトンネル内の暗い路面であり、その路面の輝度よりやや高輝度であるトン ネル内の白い壁や、非常に高輝度であるトンネル外の部分が画角に含まれており、 更に、トンネル内の路面の輝度より非常に低輝度である、トンネル内の黒い車が画角 に含まれている場合であっても、トンネル内の路面、トンネルの壁やトンネルの外、そ して、トンネル内の黒い車のそれぞれに対応する輝度付近に、多くの階調ステップ数 が割り当てられるようになされて!、る。図 14の画像生成部 93— 2を含む画像処理装 置 81を用いることにより、例えば、画像表示処理において、トンネルの外の部分が白 飛びして認識しにくい画像が表示されたり、撮像されているにもかかわらず、トンネル 内の黒 、車がユーザから判別できな 、ように黒くつぶれて表示されてしまうようなこと を防いだり、画像認識処理において、トンネルの外の部分の車やガードレールなど、 または、トンネルの中の黒 ヽ車を認識対象物として抽出できな 、ようなことを防ぐこと が可能となる。
[0189] 更に、画像生成部 93においては、 3つ以上の領域を設定して、設定された領域と 設定されていない領域に割り当てられる階調ステップ数を異なるものとすることができ るようにしても良い。
[0190] 次に、図 20は、図 2の画像生成部 93の構成の第 3の例である画像生成部 93— 3の 構成を示すブロック図である。画像生成部 93— 3は、主要領域の輝度範囲以外に、 複数の輝度領域とそれらの輝度範囲を設定し、設定された複数の輝度範囲に対して 、設定されていない輝度範囲よりも多くの階調ステップ数を割り当てることができるよう になされている。
[0191] なお、図 5における場合と対応する部分には同一の符号を付してあり、その説明は 適宜省略する。
[0192] すなわち、図 20の画像生成部 93— 3は、図 5を用いて説明した画像生成部 93— 1 と基本的に同様の平均輝度算出部 131、および、主要領域輝度範囲設定部 132を 有し、画像生成部 93— 1の第 2の輝度領域輝度平均値算出部 133および第 2の輝 度領域輝度範囲設定部 134が省略され、第 2の輝度領域輝度平均値算出部 181、 第 2の輝度領域輝度範囲設定部 182、第 3の輝度領域輝度平均値算出部 183、第 3 の輝度領域輝度範囲設定部 184、第 4の輝度領域輝度平均値算出部 185、および 、第 4の輝度領域輝度範囲設定部 186が新たに設けられ、出力レベル変換処理部 1 35に代わって、出力レベル変換処理部 187が設けられている。
[0193] 第 2の輝度領域輝度平均値算出部 181は、撮像部 91から供給された画像信号のう ち、主要領域輝度範囲設定部 132により設定された主要領域の輝度範囲以外の所 定の範囲 (例えば、主要領域の輝度範囲より高輝度の範囲を更に 2分割し、その最も 高輝度の部分など）に含まれる輝度を有する画素の平均輝度を算出し、算出結果を 、第 2の輝度領域輝度範囲設定部 182に供給する。
[0194] 第 2の輝度領域輝度範囲設定部 182は、第 2の輝度領域輝度平均値算出部 181 力 供給された主要領域以外の所定の範囲に含まれる輝度を有する画素の平均輝 度を基に、第 2の輝度領域の輝度範囲を設定し、設定した第 2の輝度領域の輝度範 囲を出力レベル変換処理部 187に供給する。
[0195] 第 2の輝度領域輝度範囲設定部 182は、例えば、所定の範囲の輝度を有する画素 の平均輝度を中心とした所定の輝度の範囲を第 2の輝度領域の輝度範囲としても良 いし、所定の範囲の輝度を有する画素の平均輝度である画素を中心として、この輝 度に近い輝度値を有するものから順番に所定ビット数の画素を選択して第 2の輝度 領域の輝度範囲としても良い。
[0196] 第 3の輝度領域輝度平均値算出部 183は、撮像部 91から供給された画像信号のう ち、主要領域輝度範囲設定部 132により設定された主要領域の輝度範囲以外の所 定の範囲 (例えば、主要領域の輝度範囲より高輝度の範囲を更に 2分割し、 2分割さ れたうちの低輝度の部分など）に含まれる輝度を有する画素の平均輝度を算出し、 算出結果を、第 3の輝度領域輝度範囲設定部 184に供給する。
[0197] 第 3の輝度領域輝度範囲設定部 184は、第 3の輝度領域輝度平均値算出部 183 力 供給された主要領域以外の所定の範囲に含まれる輝度を有する画素の平均輝 度を基に、第 3の輝度領域の輝度範囲を設定し、設定した第 3の輝度領域の輝度範 囲を出力レベル変換処理部 187に供給する。
[0198] 第 3の輝度領域輝度範囲設定部 184は、例えば、所定の範囲の輝度を有する画素 の平均輝度を中心とした所定の輝度の範囲を第 3の輝度領域の輝度範囲としても良 いし、所定の範囲の輝度を有する画素の平均輝度である画素を中心として、この輝 度に近い輝度値を有するものから順番に所定ビット数の画素を選択して第 3の域輝 度範囲としても良い。
[0199] 第 4の輝度領域輝度平均値算出部 185は、撮像部 91から供給された画像信号のう ち、主要領域輝度範囲設定部 132により設定された主要領域の輝度範囲以外の所 定の範囲 (例えば、主要領域の輝度範囲より低輝度の範囲を更に 2分割し、 2分割さ れたうちの低輝度の部分など）に含まれる輝度を有する画素の平均輝度を算出し、 算出結果を、第 4の輝度領域輝度範囲設定部 186に供給する。
[0200] 第 4の輝度領域輝度範囲設定部 186は、第 4の輝度領域輝度平均値算出部 185 力 供給された主要領域以外の所定の範囲に含まれる輝度を有する画素の平均輝 度を基に、第 4の輝度領域の輝度範囲を設定し、設定した第 4の輝度領域の輝度範 囲を出力レベル変換処理部 187に供給する。
[0201] 第 4の輝度領域輝度範囲設定部 186は、例えば、所定の範囲の輝度を有する画素 の平均輝度を中心とした所定の輝度の範囲を第 4の輝度領域の輝度範囲としても良 いし、所定の範囲の輝度を有する画素の平均輝度である画素を中心として、この輝 度に近い輝度値を有するものから順番に所定ビット数の画素を選択して第 4の域輝 度範囲としても良い。
[0202] 出力レベル変換処理部 187は、撮像部 91から供給された画像信号を取得して、主 要領域輝度範囲設定部 132、第 2の輝度領域輝度範囲設定部 182、第 3の輝度領 域輝度範囲設定部 184、および、第 4の輝度領域輝度範囲設定部 186から供給され た、主要領域の輝度範囲、第 2の輝度領域の輝度範囲、第 3の輝度領域の輝度範囲 および、第 4の輝度領域の輝度範囲の情報を基に、取得した画像信号の出力レベル を変換する。
[0203] 出力レベル変換処理部 187は、入力される輝度信号のレベルに対して、所定のス テツプ数の出力レベル信号 (輝度を所定の階調ステップ数で分割した場合のそれぞ れの輝度階調レベルの信号)を割り当てて、割り当てられた出力レベルの信号を出 力するようになされている。出力レベル変換処理部 187は、出力レベル信号の輝度 階調レベルの割り当てを、例えば、図 6、図 7、または、図 15を用いて説明した場合と 同様に、主要領域および他の領域として設定されている輝度範囲と、それ以外の範 囲とで、異なるものとする。すなわち、出力レベル変換処理部 187は、主要領域およ び他の領域として設定されている輝度範囲により多くの出力レベルのステップ数を割 り当てて、対応する輝度範囲の画素の階調数が多くなり、表示または印刷出力される 画像の対応する輝度範囲の部分がユーザによってよりょく認識できるような変換処理 を実行する。
[0204] なお、図 20には、主要領域以外に、第 2乃至第 4の輝度領域を設定するための、 第 2の輝度領域輝度平均値算出部 181、第 2の輝度領域輝度範囲設定部 182、第 3 の輝度領域輝度平均値算出部 183、第 3の輝度領域輝度範囲設定部 184、第 4の 輝度領域輝度平均値算出部 185、および、第 4の輝度領域輝度範囲設定部 186が 図示されているが、画像生成部 93— 3には、更に、多くの輝度領域を設定することが できるように、他の輝度領域輝度平均値算出部および輝度領域輝度範囲設定部を 設けるようにしても良い。
[0205] また、図 20の画像生成部 93— 3が実行する処理は、図 17を用いて説明した画像 表示処理 2の処理と基本的には同様であり、設定される領域数を増やした場合に対 応するので、その説明は省略する。
[0206] 以上説明した画像生成部 93— 1乃至画像生成部 93— 3は、撮像された画像の全 体の輝度の平均値を基に、主要領域を設定するようになされていた。これに対して、 撮像された画像のうち、予め定められた領域に含まれる画素の輝度の平均値を基に 、主要領域を設定するようにしても良い。
[0207] 図 21は、図 2の画像生成部 93の構成の第 4の例である画像生成部 93— 4の構成 を示すブロック図である。画像生成部 93— 4は、撮像された画像のうち、予め定めら れた領域に含まれる画素を切り出し、切り出された領域の輝度の平均値を基に、主 要領域を設定するようになされて ヽる。
[0208] なお、図 5における場合と対応する部分には同一の符号を付してあり、その説明は 適宜省略する。
[0209] すなわち、図 21の画像生成部 93— 4は、平均輝度算出部 131に代わって、主要領 域切り出し部 201および主要領域輝度平均値算出部 202が設けられている以外は、 基本的に、図 5の画像生成部 93— 1と同様の構成を有している。
[0210] 主要領域切り出し部 201は、撮像部 91から供給された画像信号を取得し、取得さ れた画像信号のうち、予め設定されている画像領域を切り出し、切り出した領域の画 素を主要領域輝度平均値算出部 202に供給する。
[0211] 例えば、走行して ヽる車の前面の画像を撮像して、撮像された画像をディスプレイ に表示されるようになされて ヽる場合、走行中に撮像されて表示される画像は常に変 化する。上述したように、走行している車において撮像された画像全体の平均値を用 V、て主要領域を設定した場合、画角内に極端に明る!/、ものや極端に喑 、ものが入つ たときに、主要領域の輝度範囲が変更され、表示される画像全体の明るさが変更さ れてしまう。これにより、表示画面の主な部分を占める路面などの明るさが頻繁に変 更され、運転者が感じる表示画像の明るさがちらついてしまう可能性がある。また、走 行している車の前面の画像を撮像して、撮像された画像を基に、対象物（車や人、ま たは、センターラインなど）を検出するようになされている場合、上述したように、走行 して 、る車にぉ 、て撮像された画像全体の平均値を用いて主要領域を設定してしま つては、画角内に極端に明るいものや極端に暗いものが入ったときに、主要領域の 輝度範囲が変更され、対象物の抽出のための閾値その他のパラメータをそのつど変 更する必要が生じてしまう。
[0212] そこで、主要領域切り出し部 201により切り出される画像の領域を、図 22に示される ように、定常的に路面が撮像されると思われる、例えば、画面中央やや左よりの下部 の領域 221とする。切り出される領域を、定常的に同じものが撮像されると思われる 領域とすることにより、表示される画像のうちの主な部分を占める路面の表示の明るさ を、略一定にすることができるので、運転者が感じる表示画像の明るさが頻繁にちら つくことを防止したり、対象物の抽出のためのパラメータをそのつど変更せずに処理 することが可能となる。
[0213] 主要領域輝度平均値算出部 202は、主要領域切り出し部 201から供給された、切 り出された領域の画素の平均輝度を算出し、平均輝度の算出結果を、主要領域輝度 範囲設定部 132に供給する。
[0214] そして、図 21の画像生成部 93— 4においては、主要領域輝度平均値算出部 202 により算出された、切り出された領域の平均輝度を基に、主要領域の輝度範囲が設 定され、主要領域の輝度範囲を基に、主要領域の輝度範囲より高輝度の範囲の第 2 の輝度領域の輝度範囲が設定される。そして、出力レベル変換処理部 135により、 主要領域および第 2の輝度領域として設定されている輝度範囲により多くの出カレべ ルのステップが割り当てられ、図 6乃至図 8を用いて説明した場合と同様に、対応す る輝度範囲の画素の階調数が多くなり、表示または印刷出力される画像の対応する 輝度範囲の部分がユーザによってよりょく認識できたり、画像利用装置 83において 処理するのに好適な画像データを生成することができるような変換処理が実行される
[0215] 次に、図 23のフローチャートを参照して、図 21の画像生成部 93— 4が用いられて V、る画像処理装置 81にお 、て実行される画像表示処理 3につ 、て説明する。 [0216] ステップ S71において、撮像部 91は、操作入力部 92から供給されたユーザの操作 入力を基に被写体を撮像し、対数変換され、 AZD変換された撮像画像信号を、画 像生成部 93— 4に供給する。画像生成部 93— 4は、撮像された画像信号を取得す る。
[0217] ステップ S72において、画像生成部 93— 4の主要領域切り出し部 201は、撮像部 9 1から供給された画像信号のうち、例えば、図 22を用いて説明したような、予め設定 されて ヽる画像領域を切り出し、切り出した領域の画素を主要領域輝度平均値算出 部 202に供給する。
[0218] ステップ S73において、主要領域輝度平均値算出部 202は、主要領域切り出し部 201から供給された切り出された領域の画素の平均輝度を求め、算出結果を、主要 領域輝度範囲設定部 132に供給する。
[0219] ステップ S74において、主要領域輝度範囲設定部 132は、主要領域輝度平均値算 出部 202から供給された、切り出された領域の画素の平均輝度を基に、主要領域の 輝度範囲を設定し、設定した主要領域の輝度範囲を、第 2の輝度領域輝度平均値 算出部 133および出力レベル変換処理部 135に供給する。
[0220] そして、ステップ S75乃至ステップ S80において、図 9のステップ S4乃至ステップ S 9と基本的に同等の処理が実行される。
[0221] すなわち、第 2の輝度領域輝度平均値算出部 133は、撮像部 91から供給された画 像信号のうち、主要領域の輝度範囲よりも明るい領域の平均輝度を求め、第 2の輝 度領域輝度範囲設定部 134は、主要領域の輝度範囲よりも明るい領域の平均輝度 を基に、第 2の輝度領域の輝度範囲を設定する。
[0222] そして、出力レベル変換処理部 135は、主要領域輝度範囲、および、第 2の輝度領 域の輝度範囲を基に、例えば、図 6または図 7を用いて説明したような入力レベルと 出力レベルの変換特性を決定し、撮像部 91から供給された撮像画像の階調を、変 換特性に基づいて変換し、出力制御部 95に供給する。出力制御部 95は、供給され た画像信号を、図 8を用いて説明した様に、画像利用装置 83が実行可能な処理に 適合した階調に変換し、変換された画像信号の画像利用装置 83への出力を制御し て、処理が終了される。 [0223] なお、ここでは、生成された画像を画像利用装置 83に出力させる処理について説 明したが、生成された画像を、表示制御部 94を介してディスプレイ 82に出力させて 表示させる場合には、ステップ S71乃至ステップ S78において基本的に同様の処理 が実行され、画像信号が表示制御部 94に供給されて、ディスプレイ 82において処理 可能な階調に変換されて出力され、その表示が制御される。
[0224] このような処理により、対数変換型撮像素子 102を用いた撮像部 91により撮像され た画像データをディスプレイ 82に対応した階調で表示させたい場合、または、出力 先の外部機器に対応した階調で出力させたい場合であっても、広い輝度範囲に散ら ばって存在するユーザが必要とする画像情報を、ユーザから識別可能な状態に表示 させたり、または、印刷や各種処理のために画像利用装置 83に出力させることができ るような画像データを生成することができる。更に、所定の領域を基準として、多くの 階調が割り当てられる輝度範囲が設定されるので、特に、動画像を表示させる場合 に表示画像の明るさが頻繁にちらつくことを防止したり、対象物の抽出のためのパラ メータをそのつど変更せずに処理することが可能となる。
[0225] 以上説明した画像生成部 93— 4は、撮像された画像内の所定の領域を切り出して 、切り出された領域の画素を基に主要領域の輝度範囲を設定し、主要領域の輝度範 囲と、主要領域の輝度範囲より高輝度の範囲のうちの主な部分である第 2の輝度領 域の輝度範囲に対して、多くの階調ステップ数が割り当てられるものとして説明した。 これに対して、設定される輝度範囲が、主要領域の輝度範囲と第 2の輝度領域の輝 度範囲の 2つではな 、場合にっ 、て説明する。
[0226] 次に、図 24は、図 2の画像生成部 93の構成の第 5の例である画像生成部 93— 5の 構成を示すブロック図である。画像生成部 93— 5は、撮像された画像内の所定の領 域を切り出して、切り出された領域の画素を基に主要領域の輝度範囲を設定し、主 要領域の輝度範囲以外に、主要領域の輝度範囲より高輝度の範囲のうちの主な部 分である第 2の輝度領域の輝度範囲と、主要領域の輝度範囲より低輝度の範囲のう ちの主な部分である第 3の輝度領域の輝度範囲との 3つの輝度領域を設定し、設定 された 3つの輝度領域に対して、多くの階調ステップ数を割り当てることができるよう になされている。 [0227] なお、図 14または図 21における場合と対応する部分には同一の符号を付してあり 、その説明は適宜省略する。
[0228] すなわち、図 24の画像生成部 93— 5は、図 21を用いて説明した場合と同様の主 要領域切り出し部 201および主要領域輝度平均値算出部 202を備えるとともに、図 1 4を用いて説明した場合と同様の、主要領域輝度範囲設定部 132、高輝度領域輝度 平均値算出部 161、高輝度領域輝度範囲設定部 162、低輝度領域輝度平均値算 出部 163、低輝度領域輝度範囲設定部 164、および、出力レベル変換処理部 165 が設けられている。
[0229] 図 24の画像生成部 93— 5は、図 21を用いて説明した画像生成部 93— 4と同様に して、撮像された画像内の所定の領域を切り出して、切り出された領域の画素を基に 主要領域の輝度範囲を設定するものであり、かつ、図 14を用いて説明した画像生成 部 93— 2と同様にして、主要領域の輝度範囲以外に、主要領域の輝度範囲より高輝 度の範囲のうちの主な部分である第 2の輝度領域の輝度範囲と、主要領域の輝度範 囲より低輝度の範囲のうちの主な部分である第 3の輝度領域の輝度範囲との 3つの 輝度領域を設定し、設定された 3つの輝度領域に対して、多くの階調ステップ数を割 り当てることができるようになされて!、る。
[0230] 具体的には、画像全体の明るさより極端に暗いものが撮像される画像内にある場合 、例えば、夜、黒い服を着た歩行者が画角に含まれていた場合など、ユーザから肉 眼で確認しにくい被写体をはっきりと表示させることが望まれる。特に、上述したように 、走行している車の前面の画像を撮像して、撮像された画像をディスプレイに表示さ れるようになされて ヽる場合、広ダイナミックレンジで撮像された撮像画像信号から、 夜に黒い服を着た歩行者を運転者がはっきりと認識することができるような表示画像 を生成することが望まれる。そのため、切り出される領域を、周辺の明るさにより反射 光量が変更され、かつ定常的に同じものが撮像されると思われる領域とすることによ り、画面のちらつきを防止しつつ、運転者にとって必要な情報を運転者から認識しや す 、状態で表示させるようにすることが可能となる。
[0231] 図 25のフローチャートを参照して、図 24の画像生成部 93— 5を含む画像処理装置 81にお ヽて実行される画像表示処理 4につ 、て説明する。 [0232] ステップ S101乃至ステップ S103において、図 23のステップ S71乃至ステップ S73 と基本的に同様の処理が実行される。
[0233] すなわち、撮像部 91は、操作入力部 92から供給されたユーザの操作入力を基に 被写体を撮像し、対数変換され、 A,D変換された撮像画像信号を、画像生成部 93 5に供給する。画像生成部 93— 5は、撮像された画像信号を取得する。画像生成 部 93— 5の主要領域切り出し部 201は、撮像部 91から供給された画像信号のうち、 例えば、図 22を用いて説明したような、予め設定されている画像領域を切り出し、切 り出した領域の画素を主要領域輝度平均値算出部 202に供給する。主要領域輝度 平均値算出部 202は、主要領域切り出し部 201から供給された切り出された領域の 画素の平均輝度を求め、算出結果を、主要領域輝度範囲設定部 132に供給する。
[0234] ステップ S104において、主要領域輝度範囲設定部 132は、主要領域輝度平均値 算出部 202から供給された、切り出された領域の画素の平均輝度を基に、主要領域 の輝度範囲を設定し、設定した主要領域の輝度範囲を、出力レベル変換処理部 16 5、高輝度領域輝度平均値算出部 161および、低輝度領域輝度平均値算出部 163 に供給する。
[0235] そして、ステップ S105乃至ステップ S112において、図 17のステップ S 34乃至ステ ップ S41と基本的に同等の処理が実行される。
[0236] すなわち、高輝度領域輝度平均値算出部 161は、撮像部 91から供給された画像 信号のうち、主要領域の輝度範囲よりも明るい領域の平均輝度を求め、高輝度領域 輝度範囲設定部 162は、主要領域の輝度範囲よりも明るい領域の平均輝度を基に、 第 2の輝度領域の輝度範囲を設定し、設定した第 2の輝度領域の輝度範囲を出カレ ベル変換処理部 165に供給する。
[0237] そして、低輝度領域輝度平均値算出部 163は、撮像部 91から供給された画像信 号のうち、主要領域の輝度範囲よりも暗い領域の平均輝度を求め、低輝度領域輝度 範囲設定部 164は、主要領域の輝度範囲よりも暗い領域の平均輝度を基に、第 3の 輝度領域の輝度範囲を設定し、設定した第 3の輝度領域の輝度範囲を出力レベル 変換処理部 165に供給する。
[0238] そして、出力レベル変換処理部 165は、設定された主要領域の輝度範囲、第 2の 輝度領域の輝度範囲、および、第 3の輝度領域の輝度範囲を基に、例えば、図 15を 用いて説明したような入力レベルと出力レベルの変換特性を決定し、撮像部 91から 供給された撮像された画像の階調を、決定された変換特性に基づいて変換し、出力 制御部 95に供給する。出力制御部 95は、供給された画像信号を、図 16を用いて説 明した様に、画像利用装置 83が実行可能な処理に適合した階調に変換し、表示素 子に適した階調に変換された画像信号の画像利用装置 83への出力を制御して、処 理が終了される。
[0239] なお、ここでも、生成された画像を画像利用装置 83に出力させる処理について説 明したが、生成された画像を、表示制御部 94を介してディスプレイ 82に出力させて 表示させる場合には、ステップ S101乃至ステップ S110において基本的に同様の処 理が実行され、画像信号が表示制御部 94に供給されて、ディスプレイ 82において処 理可能な階調に変換されて出力され、その表示が制御される。
[0240] このような処理により、対数変換型撮像素子 102を用いた撮像部 91により撮像され た画像データにおいて、広い輝度範囲に、特に、主な輝度範囲力も離散した高輝度 と低輝度の領域の!/、ずれも、ユーザが必要とする画像情報が存在するような場合で あっても、このような画像をディスプレイ 82に対応した階調で表示させたり、または、 画像利用装置 83が実行する処理に対応した階調で出力させたときに、ユーザカも識 別可能な状態に表示させたり、または、印刷出力や画像認識処理、記録処理、送信 処理などに適した画像データを生成することができる。更に、所定の領域を基準とし て、多くの階調が割り当てられる 3つの輝度領域が設定されるので、特に、動画像が 表示される場合に表示画像の明るさが頻繁にちらつくことを防止したり、画像認識の ためのパラメータを頻繁に変更することなどを防止することができる。
[0241] 更に、画像生成部 93においては、撮像された画像内の所定の領域を切り出して、 切り出された領域の画素を基に、 3つ以上の領域を設定するようにしても良い。そして 、画像生成部 93は、設定された領域と設定されていない領域に割り当てられる階調 ステップ数を異なるものとすることができる。
[0242] 次に、図 26は、図 2の画像生成部 93の構成の第 6の例である画像生成部 93— 6の 構成を示すブロック図である。画像生成部 93— 6は、撮像された画像内の所定の領 域を切り出して、切り出された領域の画素を基に主要領域の輝度範囲を設定し、主 要領域の輝度範囲以外に、複数の輝度領域の対応する輝度範囲を設定し、設定さ れた複数の輝度範囲に対して、設定範囲外よりも多くの階調ステップ数を割り当てる ことができるようになされて!、る。
[0243] なお、図 20または図 21における場合と対応する部分には同一の符号を付してあり 、その説明は適宜省略する。
[0244] すなわち、図 26の画像生成部 93— 6は、図 21を用いて説明した場合と同様の主 要領域切り出し部 201および主要領域輝度平均値算出部 202が設けられているとと もに、図 20を用いて説明した場合と同様の、主要領域輝度範囲設定部 132、第 2の 輝度領域輝度平均値算出部 181、第 2の輝度領域輝度範囲設定部 182、第 3の輝 度領域輝度平均値算出部 183、第 3の輝度領域輝度範囲設定部 184、第 4の輝度 領域輝度平均値算出部 185、第 4の輝度領域輝度範囲設定部 186、および、出カレ ベル変換処理部 187が設けられて 、る。
[0245] 図 26の画像生成部 93— 6は、図 21を用いて説明した画像生成部 93— 4と同様に して、撮像された画像内の所定の領域を切り出して、切り出された領域の画素を基に 主要領域の輝度範囲を設定するものであり、かつ、図 20を用いて説明した画像生成 部 93— 3と同様にして、主要領域の輝度範囲以外に、複数の輝度領域のそれぞれ の輝度範囲を設定し、設定された複数の輝度範囲に対して、設定範囲外よりも多くの 階調ステップ数を割り当てることができるようになされて!ヽる。
[0246] なお、図 26には、主要領域以外に、第 2乃至第 4の輝度領域を設定するための、 第 2の輝度領域輝度平均値算出部 181、第 2の輝度領域輝度範囲設定部 182、第 3 の輝度領域輝度平均値算出部 183、第 3の輝度領域輝度範囲設定部 184、第 4の 輝度領域輝度平均値算出部 185、および、第 4の輝度領域輝度範囲設定部 186が 図示されているが、画像生成部 93— 3には、更に、多くの輝度領域を設定することが できるように、他の輝度領域輝度平均値算出部および輝度領域輝度範囲設定部を 設けるようにしても良い。
[0247] また、図 26の画像生成部 93— 6が実行する処理は、図 25を用いて説明した画像 表示処理 4の処理と基本的には同様であり、設定される領域数を増やした場合に対 応するので、その説明は省略する。
[0248] 以上説明した画像生成部 93— 1乃至画像生成部 93— 6は、撮像された画像の全 体、または、所定の部分の輝度の平均値を基に、主要領域を設定するようになされて いた。これに対して、撮像された画像に含まれる画素の輝度値の分布を示すヒストグ ラムを作成し、これを解析することにより、複数の輝度範囲を設定して、設定された輝 度範囲に対して、設定範囲外よりも多くの階調ステップ数を割り当てることができるよ うにしても良い。
[0249] 図 27は、図 2の画像生成部 93の構成の第 7の例である画像生成部 93— 7の構成 を示すブロック図である。画像生成部 93— 7は、撮像された画像の各画素の輝度値 のヒストグラムを解析し、解析結果を基に、複数の輝度範囲を設定するようになされて いる。
[0250] 画像生成部 93— 7は、ヒストグラム解析部 251、閾値比較処理部 252、複数段階輝 度範囲設定部 253、および、出力レベル変換処理部 254により構成されている。
[0251] ヒストグラム解析部 251は、撮像部 91から供給された画像信号を取得し、取得され た画像信号を基に、撮像された画像の各画素の輝度値の分布を示すヒストグラムを 生成して解析し、解析結果を閾値比較処理部 252に供給する。
[0252] 閾値比較処理部 252は、ヒストグラム解析部 251から供給されたヒストグラムの解析 結果を基に、入力信号のそれぞれの輝度値に対応する画素の数を所定の閾値と比 較する。換言すれば、閾値比較処理部 252は、撮像された画像の輝度範囲のうち、 一定数以上の画素数を持つものを抽出する。閾値比較処理部 252は、閾値と比較し た結果、画素数が閾値以上であると判断された輝度値を示す情報を複数段階輝度 範囲設定部 253に供給する。
[0253] ここで、閾値は、実験的経験的に求められて予め設定されているものであっても、ュ 一ザにより適宜設定することが可能な値であっても良い。閾値が低く設定されすぎて しまった場合、ほとんどの情報が残ってしまうため、得られる画像は、例えば、図 10を 用いて説明した、対数変換型撮像素子 102を用いて撮像された広ダイナミクスレンジ の画像を、画像処理装置 81を用いて処理しない場合の表示画像のように、濃淡の差 がない (シャープさのない)画像となってしまう。一方、閾値が高く設定されすぎてしま つた場合、情報の取りこぼしが多くなつてしまい、一部の輝度範囲のみが鮮明に表示 されて 、る画像となってしまう可能性がある。
[0254] 複数段階輝度範囲設定部 253は、閾値比較処理部 252から供給される、画素数が 閾値以上であると判断された輝度値を基に、設定範囲外よりも多くの階調ステップ数 を割り当てる輝度範囲を複数設定し、設定された輝度範囲を、出力レベル変換処理 部 254に供給する。複数段階輝度範囲設定部 253により設定される輝度範囲の数は 、閾値比較処理部 252から供給される比較結果によって決まる力 例えば、その数の 上限を予め定めておくようにしても良 、。
[0255] 出力レベル変換処理部 254は、撮像部 91から供給された画像信号を取得して、複 数段階輝度範囲設定部 253から供給された、設定された輝度範囲の情報を基に、例 えば、図 6、図 7、または、図 15を用いて説明した場合と基本的に同様にして、設定さ れた輝度領域に割り当てられる出力レベル信号の輝度階調レベルのステップ数が、 それ以外の輝度領域に割り当てられる出力レベル信号の輝度階調レベルのステップ 数よりも多くなるようにして、取得した画像信号の出力レベルを変換する。
[0256] 具体的には、画像生成部 93— 7においては、図 28に示されるように、ヒストグラム解 析部 251により、撮像された画像の各画素の輝度値の分布を示すヒストグラムが解析 されて、閾値比較処理部 252において閾値と比較され、同一画像内（1フレーム内） に閾値以上の画素数を有する輝度が抽出される。そして、抽出された輝度を基に、 複数段階輝度範囲設定部 253において、複数の輝度範囲が設定されて、出カレべ ル変換処理部 254において、その範囲内に階調ステップ数が優先的に割り当てられ るように入力レベルに対する出力レベルの変換特性が求められるので、設定された 輝度範囲それぞれの輝度階調幅が充分与えられるようになされている。そして、変換 後の信号が、表示制御部 94または出力制御部 95において、表示または印刷をはじ めとする各種処理の条件に応じて、階調変換 (階調数が圧縮)され、出力されるように なされている。
[0257] 次に、図 29のフローチャートを参照して、図 27の画像生成部 93— 7が用いられて
V、る画像処理装置 81にお 、て実行される画像表示処理 5につ 、て説明する。
[0258] ステップ S141において、撮像部 91は、操作入力部 92から供給されたユーザの操 作入力を基に被写体を撮像し、対数変換され、 AZD変換された撮像画像信号を、 画像生成部 93— 7に供給する。画像生成部 93— 7は、撮像された画像信号を取得 する。
[0259] ステップ S142において、画像生成部 93— 7のヒストグラム解析部 251は、撮像部 9 1から供給された画像信号を基に、撮像された画像の各画素の輝度の分布を示すヒ ストグラムを生成して解析し、解析結果を閾値比較処理部 252に供給する。
[0260] ステップ S 143において、閾値比較処理部 252は、ヒストグラム解析部 251から供給 されたヒストグラムの解析結果を基に、それぞれの入力信号の輝度値に対応する画 素数を所定の閾値と比較する。閾値比較処理部 252は、閾値と比較した結果、画素 数が閾値以上であると判断された輝度値を示す情報を複数段階輝度範囲設定部 25 3に供給する。
[0261] ステップ S144において、複数段階輝度範囲設定部 253は、閾値比較処理部 252 力も供給される、閾値以上であると判断された輝度値を基に、設定範囲外よりも多く の階調ステップ数を割り当てる輝度範囲を複数設定し、設定された輝度範囲を、出 力レベル変換処理部 254に供給する
[0262] ステップ S145において、出力レベル変換処理部 254は、複数段階輝度範囲設定 部 253から供給された、設定された輝度範囲の情報を基に、例えば、図 6、図 7、また は、図 15を用いて説明した場合と基本的に同様にして、入力レベルと出力レベルの 変換特性を決定する。
[0263] ステップ S146において、出力レベル変換処理部 254は、入力レベルと出力レベル の変換特性を基に、設定された複数の輝度範囲に割り当てられる出力レベル信号の 輝度階調レベルのステップ数が、それ以外の輝度範囲に割り当てられる出力レベル 信号の輝度階調レベルのステップ数よりも多くなるようにして、撮像部 91から供給さ れた画像信号の出力レベルを変換し、出力制御部 95に供給する。
[0264] ステップ S147において、出力制御部 95は、供給された画像信号を、図 28を用い て説明したように、画像利用装置 83において実行される処理に適合した階調に変換 する。
[0265] ステップ S148において、出力制御部 95は、画像利用装置 83が実行可能な処理 に適合した階調に変換された、変換後の画像データの画像利用装置 83への出力を 制御して、処理が終了される。
[0266] なお、ここでも、生成された画像を画像利用装置 83に出力させる処理について説 明したが、生成された画像を、表示制御部 94を介してディスプレイ 82に出力させて 表示させる場合には、ステップ S 141乃至ステップ S 146にお!/、て基本的に同様の処 理が実行され、画像信号が表示制御部 94に供給されて、ディスプレイ 82において処 理可能な階調に変換されて出力され、その表示が制御される。
[0267] このような処理により、対数変換型撮像素子 102を用いた撮像部 91により撮像され た画像データにおいて、広い輝度範囲に、離散的に、ユーザが必要とする画像情報 が存在するような場合であっても、図 27の画像生成部 93— 7が用いられている画像 処理装置 81を用いて画像を処理することにより、処理済の画像を、ディスプレイ 82に 対応した階調で表示させたり、または、画像利用装置 83が実行する処理に対応した 階調で出力させても、ユーザ力 識別可能な状態に表示させたり、または、各種処理 を容易〖こ実行させることができる。
[0268] 以上説明した画像生成部 93— 1乃至画像生成部 93— 7においては、撮像された 画像を基に、多くの階調ステップ数が割り当てられる輝度領域が設定されていた。こ れに対して、多くの階調ステップ数が割り当てられる輝度領域を予め定めておいたり 、ユーザ力もの操作入力により設定可能なようにしても良い。例えば、撮像される画 像の画角が固定であったり、一定の照明が被写体に照射されるなどして、撮像される 画像のうち、ユーザが必要とする画像情報に対応する画素の輝度領域が予め分かつ ている場合、多くの階調ステップ数が割り当てられる輝度領域を予め定めておくこと ができる。これにより、処理を簡単にすることができ、装置のコストを下げることが可能 となる。
[0269] 図 30は、図 2の画像生成部 93の構成の第 8の例である画像生成部 93— 8の構成 を示すブロック図である。画像生成部 93— 8は、多くの階調ステップ数が割り当てら れる輝度領域が予め定められて 、る場合に用いられる。
[0270] 第 1の輝度領域輝度範囲設定部 281は、操作入力部 92から、第 1の輝度領域の輝 度範囲の設定値の入力を受ける力 または、図示しない記憶部に記憶されている第 1の輝度領域の設定値を取得し、第 1の輝度範囲の設定値を、出力レベル変換処理 部 187に供給する。
[0271] 第 2の輝度領域輝度範囲設定部 282は、操作入力部 92から、第 2の輝度領域の輝 度範囲の設定値の入力を受ける力 または、図示しない記憶部に記憶されている第 2の輝度領域の設定値を取得し、第 2の輝度領域の輝度範囲の設定値を、出カレべ ル変換処理部 187に供給する。
[0272] 第 3の輝度領域輝度範囲設定部 283は、操作入力部 92から、第 3の輝度領域の輝 度範囲の設定値の入力を受ける力 または、図示しない記憶部に記憶されている第 3の輝度領域の設定値を取得し、第 3の輝度領域の輝度範囲の設定値を、出カレべ ル変換処理部 187に供給する。
[0273] 出力レベル変換処理部 187は、図 20の画像生成部 93— 3における場合と基本的 に同様の処理を実行するものであり、設定された複数の輝度範囲を基に、撮像部 91 力も供給された画像信号を取得してその出力レベルを変換する。すなわち、出カレ ベル変換処理部 187は、第 1の輝度領域輝度範囲設定部 281、第 2の輝度領域輝 度範囲設定部 282、および、第 3の輝度領域輝度範囲設定部 283から供給された、 第 1の輝度範囲、第 2の輝度領域の輝度範囲、および第 3の輝度領域の輝度範囲の 情報を基に、撮像部 91から供給された画像信号の出力レベルを変換する。
[0274] なお、図 30には、第 1乃至第 3の輝度領域の輝度範囲を設定するための、第 1の輝 度領域輝度範囲設定部 281、第 2の輝度領域輝度範囲設定部 282、および、第 3の 輝度領域輝度範囲設定部 283が図示されている力 画像生成部 93— 8には、更に、 多くの輝度領域の輝度範囲の設定を受けることができるように、他の輝度領域輝度範 囲設定部を設けるようにしても良 、。
[0275] 次に、図 31のフローチャートを参照して、図 30の画像生成部 93— 8が用いられて V、る画像処理装置 81にお 、て実行される画像表示処理 6につ 、て説明する。
[0276] ステップ S171において、操作入力部 92は、ユーザ力も複数の輝度範囲の設定値 の入力を受け、入力された設定値を、画像生成部 93— 8に供給する。
[0277] ステップ S172において、撮像部 91は、操作入力部 92から供給されたユーザの操 作入力を基に被写体を撮像し、対数変換され、 AZD変換された撮像画像信号を、 画像生成部 93— 8に供給する。画像生成部 93— 8は、撮像された画像信号を取得 する。
[0278] ステップ S173において、画像生成部 93— 8の第 1の輝度領域輝度範囲設定部 28 1、第 2の輝度領域輝度範囲設定部 282、および、第 3の輝度領域輝度範囲設定部 283は、操作入力部 92から供給された複数の輝度範囲の設定値を取得し、出カレ ベル変換処理部 187に供給する。
[0279] ステップ S174において、出力レベル変換処理部 187は、第 1の輝度領域輝度範囲 設定部 281、第 2の輝度領域輝度範囲設定部 282、および、第 3の輝度領域輝度範 囲設定部 283から供給された複数の輝度範囲の設定値を基に、例えば、図 6、図 7、 または図 15を用いて説明したような入力レベルと出力レベルの変換特性を決定する
[0280] ステップ S175において、出力レベル変換処理部 187は、撮像部 91から供給され た撮像画像の階調を、ステップ S174において決定された変換特性に基づいて変換 し、出力制御部 95に供給する。
[0281] ステップ S176において、出力制御部 95は、供給された画像信号を、例えば、図 8 や図 16を用いて説明したように、出力制御部 95が実行する処理に適合した階調に 変換する。
[0282] ステップ S177において、出力制御部 95は、画像利用装置 83が実行可能な処理 に適合した階調に変換された、変換後の画像データの画像利用装置 83への出力を 制御して、処理が終了される。
[0283] なお、ここでも、生成された画像を画像利用装置 83に出力させる処理について説 明したが、生成された画像を、表示制御部 94を介してディスプレイ 82に出力させて 表示させる場合には、ステップ S 171乃至ステップ S 175にお!/、て基本的に同様の処 理が実行され、画像信号が表示制御部 94に供給されて、ディスプレイ 82において処 理可能な階調に変換されて出力され、その表示が制御される。
[0284] また、ここでは、操作入力部 92から、それぞれの輝度領域の輝度範囲の設定値の 入力を受けるものとして説明した力 それぞれの輝度領域の輝度範囲があら力じめ 図示しな!、記憶部に記憶されて 、る場合、記憶されて 、る輝度領域の設定値を取得 するものとしてもよ 、ことは言うまでもな 、。
[0285] このような処理により、対数変換型撮像素子 102を用いた撮像部 91により撮像され た画像データをディスプレイ 82に対応した階調で表示させたい場合、または、出力 先の外部機器に対応した階調で出力させたい場合であっても、ユーザが必要とする 画像情報に対応する画素の輝度領域が予め分力つているのであれば、多くの階調ス テツプ数が割り当てられる輝度領域を予め定めておくことにより、簡単な処理で、ユー ザが必要とする画像情報を、ユーザ力 識別可能な状態に表示させたり、または、印 刷、画像認識、記録、または、送信などの各種処理の実行に好適な画像データを生 成することができ、更に、装置のコストを下げることが可能となる。
[0286] また、予め定められた輝度領域の中で、撮像された画像に含まれる画素の輝度値 の分布を示すヒストグラムを解析し、定められた輝度範囲のうち、一定数以上の画素 数を持つ輝度を抽出し、抽出結果を基に、多くの階調ステップ数が割り当てられる輝 度領域を定めることができるようにしても良 、。
[0287] 図 32は、図 2の画像生成部 93の構成の第 9の例である画像生成部 93— 9の構成 を示すブロック図である。画像生成部 93— 9は、予め定められた輝度領域の中で、ヒ ストグラム解析により一定数以上の画素数を持つ輝度を抽出し、抽出結果を基に、多 くの階調ステップ数が割り当てられる輝度領域を定めるようになされて ヽる。
[0288] なお、図 27または図 30における場合と対応する部分には同一の符号を付してあり 、その説明は適宜省略する。
[0289] すなわち、図 32の画像生成部 93— 9は、図 30を用いて説明した画像生成部 93— 8の第 1の輝度領域輝度範囲設定部 281、第 2の輝度領域輝度範囲設定部 282、お よび、第 3の輝度領域輝度範囲設定部 283、並びに、出力レベル変換処理部 187を 備えている。更に、画像生成部 93— 9には、それぞれから出力される輝度範囲の設 定値を基に、ヒストグラムを解析して所定の閾値と比較するために、図 27を用いて説 明した画像生成部 93— 7に備えられていたヒストグラム解析部 251および閾値比較 処理部 252と同様の処理を実行することができる、ヒストグラム解析部 251—1乃至 2 51— 3および閾値比較処理部 252— 1乃至 252— 3が設けられている。
[0290] 具体的には、画像生成部 93— 9においては、図 33に示されるように、第 1の輝度領 域輝度範囲設定部 281により設定される第 1の範囲、第 2の輝度領域輝度範囲設定 部 282により設定される第 2の範囲、および、第 3の輝度領域輝度範囲設定部 283に より設定される第 3の範囲内のそれぞれにおいて、ヒストグラム解析部 251— 1乃至 2 51— 3により、撮像された画像の各画素の輝度値のヒストグラムが解析されて、閾値 比較処理部 252— 1乃至 252— 3において閾値と比較され、所定の閾値以上の画素 数を有する輝度が抽出される。
[0291] すなわち、第 1の範囲、第 2の範囲、および、第 3の範囲以外の輝度範囲において 、閾値より多い画素数を有する輝度が存在しても、その輝度は、階調ステップ数が優 先的に割り当てられる輝度範囲には設定されない。
[0292] そして、抽出された輝度を基に、出力レベル変換処理部 187において、その範囲 内の画素に階調ステップ数が優先的に割り当てられて、設定された輝度範囲それぞ れの輝度階調幅が充分与えられている状態で、連続した輝度階調に変換されるよう になされている。そして、変換後の信号が、表示制御部 94または出力制御部 95にお いて、表示または印刷出力の条件に応じて、階調変換 (階調数が圧縮)され、表示さ れたり、または、印刷、画像認識、記録、または、送信などの各種処理のために出力 されるようになされている。
[0293] 例えば、撮像される画像の画角が固定であったり、一定の照明が被写体に照射さ れるなどして、撮像される画像のうち、ユーザが必要とする画像情報に対応する画素 の輝度領域が予め分力つている力 例えば、時間によって、ユーザが必要とする画 像情報に対応する画素の輝度領域が、何パターンかに変化するような場合、同じ輝 度領域でも、昼には多くの情報を有し、夕方にはほとんど情報を有していなカゝつたり、 夕方や夜間には多くの情報を有する力 朝や昼には、ほとんど情報を有していないこ とがある。
[0294] このような場合、ユーザが必要とする画像情報を含む可能性のある全ての輝度領 域を予め設定しておいても、ヒストグラム解析と閾値との比較を実行することにより、必 要な情報を有していない輝度領域に、階調ステップ数が優先的に割り当てられること を避けることが可能となる。
[0295] 次に、図 34のフローチャートを参照して、図 32の画像生成部 93— 9が用いられて ヽる画像処理装置 81にお ヽて実行される画像表示処理 7につ 、て説明する。
[0296] ステップ S201において、操作入力部 92は、ユーザ力も複数の輝度範囲の設定値 の入力を受け、入力された設定値を、画像生成部 93— 9に供給する。画像生成部 9
3— 9は、撮像された画像信号を取得する。
[0297] ステップ S202において、撮像部 91は、操作入力部 92から供給されたユーザの操 作入力を基に被写体を撮像し、対数変換され、 AZD変換された撮像画像信号を、 画像生成部 93— 9に供給する。
[0298] ステップ S203において、画像生成部 93— 9の第 1の輝度領域輝度範囲設定部 28
1、第 2の輝度領域輝度範囲設定部 282、および、第 3の輝度領域輝度範囲設定部
283は、操作入力部 92から供給された複数の輝度範囲の設定値を取得し、ヒストグ ラム解析部 251— 1乃至 251— 3にそれぞれ供給する。
[0299] ステップ S204において、ヒストグラム解析部 251— 1乃至 251— 3は、撮像部 91か ら供給された画像信号を基に、図 33を用いて説明したように、撮像された画像の第 1 乃至第 3の範囲内の輝度値の分布を示すヒストグラムをそれぞれ生成して解析し、解 析結果を閾値比較処理部 252— 1乃至 252— 3に供給する。
[0300] ステップ S205において、閾値比較処理部 252— 1乃至 252— 3は、ヒストグラム解 析部 251— 1乃至 251— 3から供給された第 1乃至第 3の範囲内のヒストグラムの解 析結果を基に、それぞれの入力信号の輝度値に対応する画素数を所定の閾値と比 較する。閾値比較処理部 252—1乃至 252— 3は、閾値と比較した結果、画素数が 閾値以上であると判断された輝度値を、出力レベル変換処理部 187に供給する。
[0301] ステップ S206において、出力レベル変換処理部 187は、閾値比較処理部 252— 1 乃至 252— 3から供給された輝度値を基に、多くの階調ステップ数が割り当てられる 輝度範囲を設定する。
[0302] ステップ S207において、出力レベル変換処理部 187は、例えば、図 6、図 7、また は図 15を用 ヽて説明したような入力レベルと出力レベルの変換特性を決定する。
[0303] ステップ S208において、出力レベル変換処理部 187は、撮像部 91から供給され た撮像画像の階調を、ステップ S 74にお 、て決定された変換特性に基づ!/、て変換し 、出力制御部 95に供給する。 [0304] ステップ S209において、出力制御部 95は、供給された画像信号を、例えば、図 33 を用いて説明したように、出力制御部 95の処理に適合した階調に変換する。
[0305] ステップ S210において、出力制御部 95は、画像利用装置 83が実行可能な処理 に適合した階調に変換された、変換後の画像データの画像利用装置 83への出力を 制御して、処理が終了される。
[0306] なお、ここでも、生成された画像を画像利用装置 83に出力させる処理について説 明したが、生成された画像を、表示制御部 94を介してディスプレイ 82に出力させて 表示させる場合には、ステップ S201乃至ステップ S208において基本的に同様の処 理が実行され、画像信号が表示制御部 94に供給されて、ディスプレイ 82において処 理可能な階調に変換されて出力され、その表示が制御される。
[0307] また、ここでは、操作入力部 92から、それぞれの輝度領域の輝度範囲の設定値の 入力を受けるものとして説明した力 それぞれの輝度領域の輝度範囲があら力じめ 図示しな!、記憶部に記憶されて 、る場合、記憶されて 、る輝度領域の設定値を取得 するものとしてもよ 、ことは言うまでもな 、。
[0308] このような処理により、例えば、時間によって、ユーザが必要とする画像情報に対応 する画素の輝度領域が、何パターンかに変化するような場合、具体的には、同じ輝 度領域でも、昼には多くの情報を有し、夕方にはほとんど情報を有していなカゝつたり、 夕方や夜間には多くの情報を有する力 朝や昼には、ほとんど情報を有していない 場合であっても、ユーザが必要とする画像情報を含む可能性のある全ての輝度領域 を予め設定して、ヒストグラム解析と閾値との比較を実行することにより、必要な情報 を有していない輝度領域に、階調ステップ数が優先的に割り当てられることを避ける ことが可能となる。
[0309] 以上説明したように、画像生成部 93— 1乃至 93— 9が用いられている画像処理装 置 81にお 、ては、対数変換型撮像素子 102を用いた撮像部 91により撮像された画 像データにおいて、広い輝度範囲にユーザが必要とする画像情報が存在するような 場合であっても、このような画像をディスプレイ 82に対応した階調で表示させたり、ま たは、出力先の外部機器に対応した階調で出力させたときに、ユーザが必要とする 情報 (例えば、暗い中の黒い物体や、暗いものと同一の画各内に存在する明るい部 分など)を識別可能な状態に表示させたり、印刷、画像認識、記憶、送信などの各種 処理に用いて好適な画像データを生成することができる。
[0310] すなわち、以上説明した画像処理を行うことで、表示または印刷出力された画像に お 、て、ユーザが見やす 、ように輝度が圧縮された画像データを得ることができる。 このようにして得られる画像データは、輝度圧縮が行われた広ダイナミックレンジ画像 データであり、画像利用装置 83においても扱いやすいものとなる。輝度圧縮とは、画 像データの輝度値の階調数 (階調ステップ数)を減少させることである。
[0311] 輝度階調のステップ数が、全輝度領域において一定の比率で減少された場合、表 示または印刷出力したときの画像の濃淡差がなくなってしまったり、 2値化や所定対 象物の検出などの一般的な画像処理が困難となってしまう。しかしながら、所定の処 理により設定された前記所定の輝度範囲に、輝度範囲外よりも多くの階調が割り当て られるようにして、設定された輝度範囲の階調解像度を維持することができるようにし 、一方、設定されていない輝度範囲に対して、階調ステップ数をまったぐまたは、ほ とんど割り当てないようにして、画像データ全体としては、階調数を減少させるようにし た。このため、本発明が適用された画像変換処理が実行されることにより、例えば、ュ 一ザが認識すべき輝度領域部分が充分な濃淡差を持って表示または印刷出力され たり、または、各種画像処理において、 2値ィ匕の閾値を容易に決定したり、画像を基 に所定対象物を容易に検出することなどが可能となる。
[0312] また、画像利用装置 83は、上述したように、例えば、画像印刷出力処理、画像認識 処理、画像記録処理、画像通信処理など、画像を利用する処理を実行する装置であ る。
[0313] 上述したようにして得られた、輝度圧縮が行われた広ダイナミックレンジ画像データ は、もとの広ダイナミックレンジ画像のうち、対象の内容を認知するのに必要な情報を 含み、かつ、データ量が大幅に削減されたものとなっている。したがって、 1画素ごと に撮影した対象の輝度と 1対 1に対応する輝度情報が不要であるような処理において は、上述したようにして得られた、輝度圧縮が行われた広ダイナミックレンジ画像デー タを利用することができる。
[0314] 例えば、 14bitで AZD変換された広ダイナミックレンジ画像は非常に広い輝度帯 域を含むため、従来の画像処理装置ではそのまま対応することができない。具体的 には、例えば、微分処理を行うラプラシアン変換を行った場合に、ノイズ状の結果し か得られなかったり、 2値ィ匕処理の閾値となりうる輝度の候補が多すぎるため、その処 理量が爆発的に増大するなどの問題が発生してしまう。同様にして、他の画像処理 手法の多くについても、広ダイナミックレンジ画像は、従来の画像処理において用い られてきた画像と、その性質が異なるため、従来の画像処理と同様の目的を有してい る場合でも、広ダイナミックレンジ画像を利用する場合には、処理プロセスに、大幅な 修正が必要となる。
[0315] また、例えば、画像の内容が認識できれば十分であるような処理が実行されることを 目的として画像が記録または送信される場合において、広ダイナミックレンジ画像デ ータは、利用されることがない情報まで含む非常に巨大なデータであり、このようなデ ータを扱うことは、効率が悪い。
[0316] これに対して、本発明によれば、処理対象となる被写体が、乖離した輝度領域に分 散しているような場合にも、輝度圧縮が行われて、人が見たときに通常の画像として みても、従来の撮像素子で狭い輝度範囲を撮影したときと同様に、人間の目で観察 して全く違和感のない画像が得られるので、例えば、従来の画像認識装置をそのま まの処理プロセスにて適用することができる。
[0317] また、本発明によれば、画像の内容が認識可能な状態で輝度圧縮されるので、不 必要な情報を含む巨大なデータを記録または送信することを防止することが可能とな る。
[0318] また、図 6、図 7、または、図 15において説明した様に、選択された輝度領域に割り 当てられる、入力信号レベルに対する出力信号レベルの対応曲線の傾きによって、 画像データの圧縮率は定められる。したがって、入力信号レベルに対する出力信号 レベルの対応曲線の傾き、すなわち、入力レベルと出力レベルの変換特性は、画像 利用装置 83が必要とする階調ステップ数に応じて定めればよ!、。入力レベルと出力 レベルの変換特性の傾きを緩やかにすれば、圧縮率を高く設定することができ、変 換特性の傾きを急にすれば、圧縮率を低く設定することができる。
[0319] また、画像利用装置 83が、例えば、走行して ヽる車の前面の画像を撮像して、車 道の白線を検知する処理を実行する検知装置のような、 2値化画像に近い画像を用 いる装置である場合には、圧縮率を高く設定すると好適である。逆に、画像を記録す る場合など、ある程度の階調を必要とする場合には、必用な階調ステップ数が割り当 てられるようにすると好適である。
[0320] また、画像利用装置 83が、例えば、走行して ヽる車の前面の画像を撮像して、走 行している路面の状態、具体的には、路面が乾燥状態、湿潤状態、凍結状態、また は、積雪状態である力否力などを検出するような道路状態検知装置である場合には 、路面に相当する輝度領域については広い輝度範囲を選択し、それ以外の輝度範 囲では相対的に狭い輝度範囲を選択するようにすれば、路面の情報量を減らさずに 、圧縮率を高めることができる。
[0321] 更に、画像利用装置 83が、例えば、ナイトビジョン (夜間前方画像表示装置）の記 録装置である場合には、暗い領域の階調に対して明るい領域の階調を少なめにする ことで、重要な輝度領域の画質を落とさずに圧縮率を高めることができる。
[0322] また、例えば、センサ等の他の手段を用いて、昼と夜などの撮像環境の状態が判定 できる場合には、画像処理装置 81には、対象の状態に応じて異なるパターンで輝度 範囲を設定することが望ましい。例えば、昼は比較的明るい領域に多くの輝度を割り 当て、夜は低輝度、中央の輝度、高輝度領域に平均的に割り当てるようにすれば、 輝度圧縮率を高めることができる。
[0323] また、輝度圧縮率を少しでも高めて利用した！/ヽ画像利用装置 83にお 、ては、図 6
A、図 7A、または、図 15Aを用いて説明した方法を用いることが望ましい。一方、選 択された輝度領域以外の階調を必要とするような処理を実行する画像利用装置 83 の場合には、図 6B、図 7B、または、図 15Bの方法を用いることが望ましい。そして、 輝度変換カーブの急な傾きに影響を受けるような処理を画像利用装置 83が実行す る場合には、図 6C、図 7C、または、図 15Cの方法を用いることが望ましい。
[0324] 更に、輝度圧縮が行われた広ダイナミックレンジ画像を、濃度分布の影響を受ける ような処理を実行する画像利用装置 83において利用する場合、図 6および図 7の A,
B, Cそれぞれで示される主要領域輝度範囲と第 2の輝度範囲における入力レベルと 出力レベルの変換特性の傾きは、同一であることが望ましい。これは、例えば、図 12 に示すトンネルの画像にぉ 、て、トンネル内とトンネル外の輝度分布を一致させるた めである。同様に、輝度圧縮が行われた広ダイナミックレンジ画像を、濃度分布の影 響を受けるような処理を実行する画像利用装置 83において利用する場合にも、図 1 5A, B, Cのそれぞれにおいて、主要輝度範囲、第 2の輝度範囲、および、第 3の輝 度範囲の、それぞれにおける入力レベルと出力レベルの変換特性の傾きは同一であ ることが望ましい。逆に、輝度分布の影響を受けない処理を実行する画像利用装置 8 3の場合には、領域ごとに、必要に応じて入力レベルと出力レベルの変換特性の傾 きを変えるようにすれば、圧縮率を高くすることができる。
[0325] また、撮像対象の反射率や色が既知の領域があり、その周辺の輝度分布範囲が予 め想定できる場合には、それに応じて輝度範囲を定めるようにすれば、輝度圧縮率 を高めることができる。例えば、車載カメラで前方を撮影すると、画面中央下部には路 面が写るので、その路面の輝度を基準にして上下の輝度範囲を決定すれば、必要な 輝度範囲を正確に設定することが可能となり、必要な輝度範囲を失うことなく圧縮率 を高めることができる。
[0326] ところで、上述したように、例えば、 14bitで AZD変換された広ダイナミックレンジ画 像は非常に広い輝度帯域を含むため、従来の画像処理装置ではそのまま対応する ことができない。具体的には、例えば、微分処理を行うラプラシアン変換を行った場 合に、ノイズ状の結果しか得られな力つたり、 2値ィ匕処理の閾値となりうる輝度の候補 が多すぎるため、その処理量が爆発的に増大するなどの問題が発生してしまう。同様 にして、他の画像処理手法の多くについても、広ダイナミックレンジ画像は、従来の 画像処理において用いられてきた画像と、その性質が異なるため、従来の画像処理 と同様の目的を有している場合でも、広ダイナミックレンジ画像を利用する場合には、 処理プロセスに、大幅な修正が必要となる。
[0327] また、例えば、画像の内容が認識できれば十分であるような処理が実行されることを 目的として画像が記録または送信される場合において、広ダイナミックレンジ画像デ ータは、利用されることがない情報まで含む非常に巨大なデータであり、このようなデ ータを扱うことは、効率が悪い。
[0328] 上述した処理においては、処理対象となる被写体が、乖離した輝度領域に分散し て ヽるような場合にも、 AZD変換された広ダイナミックレンジ画像の輝度圧縮が行わ れるようになされているので、従来の画像認識装置をそのままの処理プロセスにて適 用することができ、従来の撮像素子で狭い輝度範囲を撮影したときと同様に、人間の 目で観察して全く違和感のな ヽ画像が得られるようになされて 、る。
[0329] これに対して、撮像された広ダイナミックレンジ画像データを AZD変換する際に、 AZD変換における階調割り当てを、撮像された広ダイナミックレンジ画像データの 輝度範囲全体に均一に割り当てるのではなぐ必要な輝度領域に階調が充分割り当 てられるように設定することによつても、従来の撮像素子で狭い輝度範囲を撮影した ときと同様に、人間の目で観察して全く違和感のない画像を得ることができる。これに よっても、例えば、従来の画像認識装置をそのままの処理プロセスにて適用すること ができたり、不必要な情報を含む巨大なデータを記録または送信することを防止する ことが可能となるような、上述した場合と同様の効果を得ることができる。
[0330] 換言すれば、階調割り当ての bit数が少ない AZD変換素子を用いて、撮像された 広ダイナミックレンジ画像データを AZD変換する場合に、 AZD変換における階調 割り当てを、撮像された広ダイナミックレンジ画像データの輝度範囲全体に均一に割 り当ててしまっては、不自然な、違和感のある画像となってしまう。
[0331] 例えば、所定の輝度範囲を 12bitの AZD変換部によって均等に AZD変換すると、 4096階調の画像データが得られる。図 4を用いて説明したように、 CCD撮像素子や CMOS撮像素子においては、撮影できる輝度範囲が、本発明で用いる対数変換型 撮像素子と比較して非常に狭ぐ撮像可能な輝度範囲以外の階調は全く得られない ので、その輝度範囲を 4096階調で表現しても、人間の目で観察して全く違和感のな い画像を得ることができる。しかしながら、本発明で用いる対数変換型撮像素子にお いては、図 4を用いて説明したように、夜間の暗闇から直射日光までの輝度範囲を撮 像することができるので、そのような広い輝度範囲を 4096階調で表現しても、不自然 な、違和感のある画像となってしまう。
[0332] 本発明で用いる対数変換型撮像素子は、撮像によって得られた輝度レベルを対数 変換した信号を AZD変換する構成となっている。したがって、単一の光源 (例えば 太陽や、 1個の街灯）によって照らされた範囲の画像は、多くの場合、全体の 1Z16 程度の輝度範囲に分布する。それに対して、例えば、路面の色は通常グレーである ので、全体の 1Z16程度の狭い輝度範囲の中の比較的暗い領域に分布する。この ように、例えば、路面の輝度範囲力 全体の 1Z16程度の狭い輝度範囲の中の更に 1Z2の輝度領域である場合、路面部分に割り当てられる AZD変換の階調ステップ 数は、 4096Z (16 * 2) = 128階調となる。視覚的に対象の状態を正確に把握する ためには 256階調程度が必要であることを考えると、 128階調では、階調が不足する ため表示した場合に不自然な部分が現れる。具体的には、路面に描かれた白線や 停止線や横断歩道などのペイントを画像処理で認識する場合に、量子化誤差によつ てわずかな輝度差が 1Z128の大きな差となって出力されてしまうため、誤認識の可 能性が高くなる。
[0333] これに対して、人間の目で観察して全く違和感のな 、画像を得ることができ、従来 の画像認識装置をそのままの処理プロセスにて適用することができ、更に、不必要な 情報を含む巨大なデータを記録または送信することを防止することが可能となるよう に、撮像された広ダイナミックレンジ画像データを AZD変換する際に、 AZD変換に おける階調割り当てを、撮像された広ダイナミックレンジ画像データの輝度範囲全体 に均一に割り当てるのではなぐ必要な輝度領域に階調が充分割り当てられるように 設定する画像処理装置について、以下に説明する。
[0334] 図 35は、撮像された広ダイナミックレンジ画像データを AZD変換する際に、 A/D 変換における階調割り当てを、撮像された広ダイナミックレンジ画像データの全体で はなぐ必要な輝度領域に階調が充分割り当てられるように設定するようになされて いる画像処理装置 381の構成を示すブロック図である。
[0335] なお、図 2における場合と同一の部分には、同一の符号を付してあり、その詳細な 説明は省略する。すなわち、図 35の画像処理装置 381は、撮像部 91に代わって、 撮像部 391が設けられ、画像生成部 93に代わって、画像生成部 392が設けられて いる以外は、図 2を用いて説明した画像処理装置 81と基本的に同様の構成を有する ものである。
[0336] 撮像部 391は、操作入力部 92から供給されるユーザの操作入力に基づいて、被写 体を撮像し、撮像された画像信号を基に、または、ユーザによる操作入力を基に、輝 度範囲ごとに階調割り当てを決定して AZD変換を行い、得られた画像信号を画像 生成部 392に供給する。撮像部 391の詳細については、図 36を用いて後述する。
[0337] 操作入力部 92は、例えば、リレーズボタンなどのボタン、操作キー、タツチパネルな どの入力デバイスで構成され、ユーザの操作入力を受け、ユーザからの指令を、撮 像部 391および画像生成部 392に供給する。また、操作入力部 92は、ユーザにより 、撮像部 391にお ヽて実行される AZD変換処理の階調割り当てに関する所定の設 定値の入力を受けた場合、その設定値を撮像部 391に供給する。
[0338] 画像生成部 392は、撮像部 391から供給された画像信号を表示や印刷出力に適し た画像信号に変換する処理を実行し、表示制御部 94または出力制御部 95に供給 する。ここで、画像生成部 392は、図 5乃至図 61を用いて説明したような輝度範囲の 設定処理や出力レベルの変換処理は実行せず、従来行われて！/、たような画像信号 の生成処理のみを実行するものである。
[0339] すなわち、画像生成部 392は、例えば、操作入力部 92から、表示される、または、 印刷出力される画像の範囲設定を受けた場合、画像領域の切り出しを実行したり、 全体のコントラストを調整する操作入力を受けた場合、画像の全体のコントラストを調 整するが、撮像部 391において実行される AZD変換処理の階調割り当てを変更す るような処理は行わない。
[0340] 表示制御部 94は、画像生成部 392から供給された処理済の画像信号を、ディスプ レイ 82の解像度や階調数に変換する処理を行い、処理済の信号を、ディスプレイ 82 に供給する。
[0341] 出力制御部 95は、画像生成部 392から供給された処理済の画像信号を、画像利 用装置 83が処理可能な解像度や階調数に変換する処理を行い、処理済の信号を、 画像利用装置 83に出力する。
[0342] ディスプレイ 82は、例えば、表示制御部 94から供給された表示画像信号の入力を 受け、画像 (静止画像または、複数フレームよりなる動画像)を表示する。
[0343] 画像利用装置 83は、出力制御部 95から供給された画像信号の入力を請け、所定 の処理を実行する。画像利用装置 83には、例えば、画像印刷装置、画像認識装置 、画像記録装置、画像通信装置などの、画像を利用する処理を実行する、各種の情 報処理装置を用いるよう〖こすることができる。
[0344] 画像生成部 392により生成された画像信号も、上述した場合と同様に、特に、撮像 対象の輝度と画像データの輝度データとが 1対 1に対応する (撮像対象の輝度と、画 像データの輝度データとがリニアに対応する）必要がな！ヽ処理を実行する画像利用 装置 83に利用されるようにすると好適である。
[0345] 撮像対象の輝度と画像データの輝度データとが 1対 1に対応する必要がな!、処理 には、例えば、印刷出力、記録処理、画像内の所定の対象物を認識する処理、画像 内のエッジ部分、または、直線部分などを検出する処理、 2値化処理、または、このよ うな処理を実行する他の装置への送信処理などがある。
[0346] 図 36は、図 35の画像処理装置 381の撮像部 391の更に詳細な構成例を示すプロ ック図である。
[0347] なお、図 3における場合と同一の部分には、同一の符号を付してあり、その詳細な 説明は省略する。すなわち、撮像部 391は、対数変換型撮像素子 102に代わって、 対数変換型撮像素子 401が設けられている以外は、基本的に、図 3の撮像部 39と同 様の構成を有している。また、対数変換型撮像素子 401は、階調割り当て決定部 41 1が新たに設けられ、 AZD変換部 113に代わって、 AZD変換部 412が設けられて いる以外は、基本的に、図 3の対数変換型撮像素子 102と同様の構成を有している
[0348] 対数変換型撮像素子 401は、例えば、 HDRCなどの対数変換型の撮像素子とさ れ、光検出部 111、対数変換部 112、階調割り当て決定部 411、 AZD変換部 412、 および撮像タイミング制御部 114を含むように構成される。
[0349] 撮像部 391により撮像される被写体力も発せられた光 (あるいは、被写体により反射 された光）は、レンズ 101に入射し、対数変換型撮像素子 401の光検出部 111の図 示せぬ光検出面に結像する。光検出部 111は、レンズ 101により結像された被写体 の光を、入射された光の明るさ（照度）に応じた電荷に変換し、変換した電荷を蓄積 する。光検出部 111は、撮像タイミング制御部 114から供給される制御信号に同期し て、蓄積した電荷を対数変換部 112に供給する。対数変換部 112は、 MOSFETのサ ブスレツショルド特性を利用して、光検出部 111から供給される電荷を画素ごとに電 荷の数 (電流の強さ）の対数 (被写体の光の光量の対数）にほぼ比例した電圧値に変 換したアナログの電気信号を生成する。対数変換部 112は、生成したアナログの電 気信号を AZD変換部 412に供給するとともに、階調割り当て決定部 411に供給す る。
[0350] 階調割り当て決定部 411は、対数変換部 112から供給されたアナログの電気信号 を解析し、 AZD変換部 412において実行される AZD変換の階調割り当てを決定 する。
[0351] 具体的には、階調割り当て決定部 411は、入力画像の輝度分布において、主な輝 度範囲 (輝度領域)を検出し、その輝度範囲の画像が充分認識可能なように、 A/D 変換の階調ステップ数を割り当てるものである。輝度範囲の設定は、 1つである場合 や、複数である場合があり、また、複数領域の間の領域には、全く階調ステップを与 えな 、ようにする場合も、所定の輝度領域よりも粗 、階調が得られるようになれて 、る 場合もある。さらに、設定される輝度範囲は、撮像される画像から自動的に選択設定 されるようにしてもょ 、し、ユーザの操作入力により設定することも可能なようにしても よい。
[0352] 階調割り当て決定部 411の詳細については、図 37乃至図 61を用いて後述する。
[0353] 八 0変換部412は、撮像タイミング制御部 114から供給される制御信号に同期し て、アナログの電気信号をデジタルの画像データに AZD変換する。このとき、 AZD 変換部 412は、階調割り当て決定部 411により決定された階調割り当てに従って A
ZD変換を実行する。 AZD変換部 412は、変換したデジタルの画像データを画像 処理装置 92に供給する。
[0354] このように、撮像部 391は、光検出部 111に入射した被写体の光の明るさ (入射光 量)の対数に比例せず、階調割り当て決定部 411により割り当てられた階調に基づ!/ヽ て AZD変換されたデジタルの画像データを出力する。
[0355] 図 37は、図 36の階調割り当て決定部 411の構成の第 1の例である階調割り当て決 定部 411 - 1の構成を示すブロック図である。
[0356] 平均輝度算出部 451は、対数変換部 112から供給されたアナログの画像信号を取 得して、この平均輝度を算出し、平均輝度の算出結果を、主要領域輝度範囲設定部 452に供給する。
[0357] 主要領域輝度範囲設定部 452は、平均輝度算出部 451から供給された画像信号 の平均輝度を基に、主要領域の輝度範囲を設定し、設定した主要領域の輝度範囲 を、階調割り当て算出部 455、および、第 2の輝度領域輝度平均値算出部 453に供 給する。
[0358] 主要領域輝度範囲設定部 452は、例えば、画像信号の平均輝度を中心とした所定 の輝度の範囲を主要領域の輝度範囲としても良 、し、画像信号の平均輝度である画 素を中心として、この輝度に近い輝度値を有するものから順番に所定数の画素を選 択して主要領域の輝度範囲としても良い。
[0359] 第 2の輝度領域輝度平均値算出部 453は、対数変換部 112から供給された画像信 号のうち、主要領域輝度範囲設定部 452により設定された主要領域の輝度範囲より 高輝度の範囲の画素の平均輝度を算出し、算出結果を、第 2の輝度領域輝度範囲 設定部 454に供給する。
[0360] 第 2の輝度領域輝度範囲設定部 454は、第 2の輝度領域輝度平均値算出部 453 力 供給された主要領域の輝度範囲より高輝度の範囲の画素の平均輝度を基に、 第 2の輝度領域の輝度範囲を設定し、設定した第 2の輝度領域の輝度範囲を階調割 り当て算出部 455に供給する。
[0361] 第 2の輝度領域輝度範囲設定部 454は、例えば、主要領域の輝度範囲より高輝度 の範囲の画素の平均輝度を中心とした所定の輝度の範囲を第 2の輝度領域の輝度 範囲としても良いし、主要領域の輝度範囲より高輝度の範囲の画素の平均輝度であ る画素を中心として、この輝度に近い輝度値を有するものから順番に所定数の画素 を選択して第 2の輝度領域の輝度範囲としても良い。
[0362] 階調割り当て算出部 455は、対数変換部 112から供給された画像信号を取得して 、主要領域輝度範囲設定部 452、および、第 2の輝度領域輝度平均値算出部 453 力 供給された、主要領域の輝度範囲、および、第 2の輝度領域の輝度範囲の情報 を基に、 AZD変換部 412による AZD変換において、いずれの輝度範囲にどれだ けの階調ステップ数を割り当てるかを決定する。
[0363] 具体的には、階調割り当て算出部 455は、入力される輝度信号のレベルに対して、 AZD変換の階調ステップ数の割り当てを、主要領域および第 2の輝度領域として設 定されている輝度範囲と、それ以外の範囲とで、異なるものとする。すなわち、階調割 り当て算出部 455は、主要領域および第 2の輝度領域として設定されている輝度範 囲により多くの階調ステップ数が割り当てられるように、階調割り当てを決定するので 、 AZD変換部 412においては、対応する輝度範囲の画素の階調数が多くなるような AZD変換処理が実行される。このようにすることにより、表示または印刷出力される 画像のうち、主要領域および第 2の輝度領域に対応する輝度範囲の部分が、ユーザ によってよりょく認識できるようになる。
[0364] 階調割り当て算出部 455は、例えば、主要領域の輝度範囲と第 2の輝度領域の輝 度範囲に対して、全ての階調ステップ数を分割して割り当て、それ以外の範囲、すな わち、主要領域より低輝度の範囲、主要領域と第 2の輝度領域の間の輝度範囲、お よび、第 2の輝度領域よりも高輝度となる範囲に対しては、 AZD変換の階調ステップ 数を割り当てな 、ようにすることができる。
[0365] このようにして、 AZD変換における階調のステップ数が割り当てられた場合、 A/ D変換部 412に入力されるアナログ信号に対して、 AZD変換されて出力されるデジ タル信号においては、図 38Aに示されるように、主要領域の輝度範囲より輝度の入 カレベルが低い画素の出力レベルは 0 (すなわち、真っ黒）となる。そして、主要領域 の輝度範囲内の画素には、入力レベルに応じて、所定の階調ステップ数が割り当て られて、 AZD変換が実行される。また、主要領域と第 2の輝度領域の間の輝度範囲 の画素は、入力レベルにかかわらず、主要領域の輝度範囲に割り当てられた出カレ ベルの最大値と同一の階調のデジタル信号として出力される。第 2の輝度領域内の 画素には、主要領域と同一か略同等のステップ数で、入力レベルに応じて、主要領 域の輝度範囲に割り当てられた階調の最大値から、全体の階調の最大値までの間 の階調ステップ数が割り当てられて、 AZD変換が実行される。そして、第 2の輝度領 域よりも高輝度の画素は、入力レベルにかかわらず、第 2の輝度領域に割り当てられ た階調の最大値、すなわち、全体の階調の最大値 (最大出力レベル)のデジタル信 号として出力される。
[0366] また、階調割り当て算出部 455は、例えば、主要領域と第 2の輝度領域に対して、 AZD変換における全階調ステップ数のうちの所定のステップ数を割り当てるとともに
、主要領域と第 2の輝度領域の間の輝度範囲に対しては、主要領域や第 2の輝度領 域に割り当てられたステップ数よりも少な 、ステップ数 (換言すれば、主要領域や第 2 の輝度範囲よりも狭い階調幅)を割り当て、主要領域より低輝度の範囲、および、第 2 の輝度領域よりも高輝度の範囲に対しては、 AZD変換におけるステップ数を割り当 てな 、ようにすることができる。
[0367] このようにして、 AZD変換における階調のステップ数が割り当てられた場合、例え ば、図 38Bに示されるように、主要領域の輝度範囲より低い輝度を有する画素にお いては、 AZD変換部 412に入力されるアナログ信号に対して、 AZD変換されて出 力されるデジタル信号の出力値は 0となる。そして、主要領域の輝度範囲内の画素に は、入力レベルに応じて、所定の階調の出力レベルが割り当てられて、 AZD変換が 実行される。また、主要領域と第 2の輝度領域の間の輝度範囲の画素においては、 主要領域の輝度範囲に割り当てられたステップ数よりも少な 、ステップ数の階調が割 り当てられて、 AZD変換が実行される。第 2の輝度領域内の画素には、主要領域と 同一か略同等のステップ数で、入力レベルに応じて、主要領域と第 2の輝度領域の 間の輝度範囲に割り当てられた階調の最大値力 全体の最大値となる階調までの間 の階調ステップが割り当てられて、 AZD変換が実行される。そして、第 2の輝度領域 よりも高輝度の画素は、入力レベルにかかわらず、第 2の輝度領域に割り当てられた 階調の最大値、すなわち、最大出力レベルのデジタル信号として出力される。
[0368] また、階調割り当て算出部 455は、例えば、主要領域の輝度の上限値を中心とする 所定の輝度範囲を区間 ex、第 2の輝度領域の輝度の下限値を中心とする所定の輝 度範囲を区間 βとし、主要領域または第 2の輝度領域のうち、区間 αまたは区間 β 以外の画素に対して、 AZD変換における階調ステップ数のうちの所定の階調ステツ プ数を割り当て、区間 αまたは区間 βに、主要領域および第 2の輝度領域の区間 oc または区間 β以外の部分に割り当てられた階調ステップ数よりも少ない階調ステップ 数を割り当て、主要領域よりも低輝度および第 2の輝度領域よりも高輝度の画素に対 しては、階調ステップ数を割り当てないようにすることができる。なお、このとき、主要 領域と第 2の輝度領域の間の輝度範囲のうち、区間 αまたは区間 βに当てはまらな い輝度範囲内の画素に対しては、区間 αまたは区間 13に割り当てられた階調ステツ プ数よりも少ない階調ステップ数を割り当てるようにしたり、階調ステップ数を割り当て ないようにすることができる。
[0369] このようにして、 AZD変換における階調のステップ数が割り当てられた場合、例え ば、図 38Cに示されるように、主要領域の輝度範囲より低い輝度を有する画素にお いては、 AZD変換部 412に入力されるアナログ信号に対して、 AZD変換されて出 力されるデジタル信号の出力値は 0となる。そして、主要領域の輝度範囲内であり、 区間 α以外の画素には、入力レベルに応じて、所定の階調ステップ数が割り当てら れて、 AZD変換が実行される。また、区間 aの画素には、主要領域の区間 a以外 の部分に割り当てられたステップ数よりも少ないステップ数で、主要領域の区間 α以 外の部分に割り当てられた階調の最大値より大きな所定の階調が割り当てられて、 A ZD変換が実行される。また、主要領域と第 2の輝度領域との間の輝度範囲のうち、 区間 αまたは区間 13に当てはまらない画素においては、区間 (Xに割り当てられたス テツプ数よりも少ないステップ数で階調ステップ数が割り当てられる力、または、入力 レベルにかかわらず区間 aに割り当てられた最大値と同一の階調が割り当てられる ようになされる。
[0370] また、区間 /3の画素には、主要領域の区間 a以外の部分に割り当てられたステツ プ数よりも少ないステップ数で、区間 βより低い輝度範囲における階調の最大値より 大きな所定の階調レベルが、区間 OCと同一または略同等のステップ数で割り当てら れて、 AZD変換が実行される。そして、第 2の輝度領域の輝度範囲内で区間 β以 外の画素には、入力レベルに応じて、区間 /3に割り当てられた階調の最大値力も全 体の最大出力レベルまでの階調ステップが割り当てられる。換言すれば、第 2の輝度 領域の輝度範囲内で区間 β以外の画素には、主要領域のうちの区間 OC以外の部分 と同一か略同じ階調ステップ数、すなわち、区間 (Xおよび区間 βよりも多く階調ステ ップ数が割り当てられる。そして、第 2の輝度領域よりも高輝度の画素は、入力レベル にかかわらず、第 2の輝度領域に割り当てられた階調の最大値、すなわち、最大出 カレベルのデジタル信号として出力される。
[0371] なお、図 38Cにおいては、主要領域の輝度の上限値を中心とする所定の輝度範囲 を区間 o、第 2の輝度領域の輝度の下限値を中心とする所定の輝度範囲を区間 βと したが、例えば、主要領域の輝度範囲内の上限側の所定区間を区間 (X、第 2の輝度 領域の輝度範囲内の下限側の所定区間を区間 βとしたり、主要領域の輝度範囲の 上限よりも高輝度の所定の区間を区間 (X、第 2の輝度領域の輝度範囲の下限よりも 低輝度の所定の区間を区間 βとするようにしても良い。更に、主要領域の輝度の下 限側、および、第 2の輝度領域の輝度の上限側に、区間 ocおよび区間 βと同様の出 カレベルのステップ数が割り当てられるような領域を設定するようにしても良 、。
[0372] また、図 38においては、主要領域の輝度範囲以下の輝度を有する画素は、すべて 出力 0 (真っ黒)であるものとし、第 2の輝度領域の輝度範囲以上の輝度を有する範 囲の画素は、すべて、第 2の輝度領域の輝度範囲の最高の輝度と同一の出カレべ ル (最大出力レベル)としたが、主要領域の輝度範囲以下、および、第 2の輝度領域 の輝度範囲以上のそれぞれの輝度範囲にぉ 、ても、ある程度の階調ステップ数を割 り当てることができるようにしても良!、。
[0373] すなわち、階調割り当て算出部 455.は、例えば、図 39Αに示されるように、 A/D 変換の階調ステップ数の割り当てを決定することができる。すなわち、主要領域の輝 度範囲より輝度の入力レベルが低い画素において、入力レベルに対応して、 0 (すな わち、真っ黒)から主要領域に割り当てられるステップ数よりも少ない所定数の階調ス テツプ数が割り当てられて、 AZD変換が実行される。そして、主要領域輝度範囲内 の画素には、入力レベルに応じて、所定の階調ステップ数が割り当てられて、 A/D 変換が実行される。また、主要領域と第 2の輝度領域の間の輝度範囲の画素は、入 カレベルにかかわらず、主要領域に割り当てられた階調の最大値のデジタル信号と して出力される。第 2の輝度領域内の画素には、入力レベルに応じて、主要領域に 割り当てられた出力レベルの最大値から、所定の階調ステップ数が、主要領域と同 一、または、略同等のステップ数で割り当てられて、 A/D変換が実行される。そして 、第 2の輝度領域よりも高輝度の画素に対しては、第 2の輝度領域の輝度範囲に割り 当てられた階調ステップの最大値から、最大の階調まで、主要領域や第 2の輝度領 域に割り当てられたステップ数よりも少な 、ステップ数となるように、入力レベルに対 応した階調ステップ数が割り当てられて、 AZD変換が実行される。 [0374] また、階調割り当て算出部 455は、例えば、図 39Bに示されるように、 AZD変換の 階調ステップ数の割り当てを決定することができる。すなわち、主要領域の輝度範囲 より輝度の入力レベルが低い画素において、入力レベルに対応して、 0 (すなわち、 真っ黒)から主要領域に割り当てられるステップ数よりも少な 、所定の階調ステップ数 が割り当てられて、 AZD変換が実行される。そして、主要領域輝度範囲内の画素に は、入力レベルに応じて、所定の階調ステップ数が割り当てられて、 AZD変換が実 行される。また、主要領域と第 2の輝度領域の間の輝度範囲の画素においては、主 要領域に割り当てられたステップ数よりも少な 、ステップ数で、入力レベルに応じた 階調ステップ数が割り当てられて、 AZD変換が実行される。第 2の輝度領域内の画 素には、入力レベルに応じて、主要領域と第 2の輝度領域の間の輝度範囲に割り当 てられた階調の最大値力 所定の階調のステップが、主要領域と同一、または、略同 等のステップ数で割り当てられて、 AZD変換が実行される。そして、第 2の輝度領域 よりも高輝度の画素に対しては、第 2の輝度領域の輝度範囲に割り当てられた階調 の最大値から、最大階調まで、主要領域に割り当てられたステップ数よりも少ないス テツプ数となるように、入力レベルに対応した階調ステップ数が割り当てられて、 AZ D変換が実行される。
[0375] また、階調割り当て算出部 455は、例えば、図 56Cに示されるように AZD変換の 階調ステップ数の割り当てを決定することができる。すなわち、主要領域の輝度範囲 より輝度の入力レベルが低い画素において、入力レベルに対応して、 0 (すなわち、 真っ黒)から主要領域に割り当てられるステップ数よりも少な 、所定の階調ステップ数 が割り当てられて、 AZD変換が実行される。そして、主要領域輝度範囲内であり、区 間 α以外の画素には、入力レベルに応じて、所定の階調ステップ数が割り当てられ て、 AZD変換が実行される。また、区間 aの画素には、主要領域の区間 a以外の 部分に割り当てられたステップ数よりも少ないステップ数で、主要領域の区間 α以外 の部分に割り当てられた階調の最大値より大きな所定の階調ステップが割り当てられ て、 AZD変換が実行される。また、主要領域と第 2の輝度領域との間の輝度範囲の うち、区間 αまたは区間 j8に当てはまらない画素においては、区間 aに割り当てられ たステップ数よりも少な ヽステップ数で、入力レベルに応じた階調が割り当てられるか 、または、入力レベルにかかわらず区間 (Xに割り当てられた階調の最大値が割り当 てられて、 AZD変換が実行されるようになされる。
[0376] また、区間 /3の画素には、主要領域の区間 a以外の部分に割り当てられたステツ プ数よりも少ないステップ数で、区間 βより低い輝度範囲における階調の最大値より 大きな所定数の階調が割り当てられる。そして、第 2の輝度領域の輝度範囲内で区 間 j8以外の画素には、入力レベルに応じて、区間 j8に割り当てられた階調の最大値 から、主要領域の区間 α以外の輝度範囲と同一、または、略同等のステップ数での 階調が割り当てられる。そして、第 2の輝度領域よりも高輝度の画素に対しては、第 2 の輝度領域の輝度範囲に割り当てられた階調の最大値から、最大階調まで、主要領 域の区間 a以外の部分に割り当てられたステップ数よりも少ないステップ数となるよう に、入力レベルに対応した階調が割り当てられる。
[0377] なお、図 39Cにおいても、主要領域の輝度の上限値を中心とする所定の輝度範囲 を区間 a、第 2の輝度領域の輝度の下限値を中心とする所定の輝度範囲を区間 βと したが、例えば、主要領域輝度範囲内の上限側の所定区間を区間 (X、第 2の輝度領 域の輝度範囲内の下限側の所定区間を区間 βとしたり、主要領域輝度範囲の上限 よりも高輝度の所定の区間を区間 ex、第 2の輝度領域の輝度範囲の下限よりも低輝 度の所定の区間を区間 βとするようにしても良い。更に、主要領域の輝度の下限側、 および、第 2の輝度領域の輝度の上限側に、区間 aおよび区間 βと同様の出カレべ ルのステップ数が割り当てられるような領域を設定するようにしても良 、。
[0378] 更に、階調割り当て算出部 455は、例えば、主要領域、および、第 2の輝度領域に おける入力レベルに対して割り当てられる階調ステップ数の比率 (直線の傾き）よりも 、それらの輝度領域以外の輝度範囲における入力レベルに対して割り当てられる階 調ステップ数の比率が低くなるように、それぞれの輝度領域に割り当てられる階調の ステップ数を決定するようにしてもょ 、。
[0379] 以上説明した様に、階調割り当て決定部 411 - 1にお ヽて設定される主要領域と 第 2の輝度領域は、予め定められた輝度範囲ではなぐ撮像された画像を基に設定 されるものである。すなわち、階調割り当て決定部 411—1によって決定される AZD 変換における階調割り当ては、撮像された画像全体のうち、例えば、画面の多くを占 める被写体など、ユーザが画像を認識するために最も重要である輝度範囲と、その 輝度範囲よりも高輝度の範囲の中で、特に多くを占めている輝度範囲において、限 られた階調数のうちの多くを割り当てるようになされて!ヽるものである。
[0380] これにより、 AZD変換部 412が有する限られた階調ステップ数を有効に配分して、 撮像された画像が広ダイナミックレンジであっても、主要領域および第 2の輝度領域 に対応する輝度範囲の部分が、ユーザによってよりょく認識できるような階調数を有 する、表示または印刷出力画像を得ることが可能となる。
[0381] 図 40を用いて、入力信号、階調割り当て算出部 455による階調ステップの割り当て に基づいた AZD変換後の信号、および、表示される信号の輝度レベルについて説 明する。
[0382] 図 40Aは、図 38Aを用いて説明した階調ステップの割り当てに基づいた AZD変 換が行われた場合における、アナログの入力信号、階調割り当て算出部 455による 階調ステップ数の割り当てに基づいた AZD変換後のデジタル信号、および、デイス プレイ 82に表示される、もしくは、印刷や画像認識、記録、または、画像通信などの 処理のために画像利用装置 83へ出力される信号の輝度レベルを示す図である。
[0383] 図 40Aに示される場合、離散した輝度範囲である主要領域と第 2の輝度領域にお いて、多くの階調ステップ数が割り当てられて AZD変換が実行される。主要領域と 第 2の輝度領域の間の輝度範囲の画素は、全て、主要領域の最大出力レベルで出 力される。そして、 AZD変換後の信号が、画像生成部 392により、表示または画像 利用装置 83への出力の条件に応じて画像処理される力 ここでは、上述した画像生 成部 93のように、階調変換は行われない。すなわち、画像生成部 392は、階調割り 当て決定部 411— 1から供給された信号、すなわち、階調割り当て算出部 445による 階調割り当てに基づいた AZD変換後の信号を処理するとき、その階調の割り当て の割合を変更しない。
[0384] 図 40Bは、図 38Bを用いて説明した階調ステップの割り当てに基づいた AZD変換 が行われた場合における、アナログの入力信号、階調割り当て算出部 455による階 調ステップ数の割り当てに基づいた AZD変換後のデジタル信号、および、ディスプ レイ 82に表示される、もしくは、印刷や画像認識、記録、または、画像通信などの処 理のために画像利用装置 83へ出力される信号の輝度レベルを示す図である。図 40 Bに示される場合、主要領域と第 2の輝度領域の間の領域には、主要領域と第 2の輝 度領域よりも少ないステップ数の階調しか与えられていない。そのため、画像の全体 に与えられる階調ステップ数が少ないのにもかかわらず、主要領域と第 2の輝度領域 の間の領域のステップ数が少ない分、主要領域と第 2の輝度領域の信号には、充分 な輝度階調幅が与えられて 、る。
[0385] 図 40Cは、図 38Cを用いて説明した階調ステップの割り当てに基づいた AZD変 換が行われた場合における、アナログの入力信号、階調割り当て算出部 455による 階調ステップ数の割り当てに基づいた AZD変換後のデジタル信号、および、デイス プレイ 82に表示される、もしくは、印刷や画像認識、記録、または、画像通信などの 処理のために画像利用装置 83へ出力される信号の輝度レベルを示す図である。図 40Cに示される場合、主要領域と第 2の輝度領域と、それらの間の領域で、割り当て られる階調ステップ数を、上述した区間 (Xおよび区間 βによってなだらかに変化させ るように、すなわち、区間 αおよび区間 βにおいては、主要領域と第 2の輝度領域よ りも少ないステップ数の階調が与えられるようになされている。そのため、画像の全体 に与えられる階調ステップ数が少なくても、主要領域と第 2の輝度領域には、充分な 輝度階調幅が与えられているとともに、 1階調のみで表現されてしまう輝度領域を少 なくすることが可能となる。
[0386] なお、特に階調ステップ数を多く配分する輝度範囲が 1つのみでよい場合、第 2の 輝度領域輝度平均値算出部 453および第 2の輝度領域輝度範囲設定部 454がそれ ぞれ処理を実行しないようにすればよい。このようにすることにより、主要領域輝度範 囲にのみ多くの階調ステップ数が割り当てられるので、例えば、図 41に示されるよう に、 AZD変換部 412に入力されるアナログ信号に対して、 AZD変換されて出力さ れるデジタル信号を得ることができる。
[0387] 具体的には、主要領域輝度範囲にすべての階調ステップ数が割り当てられた場合 、図 41Aに示されるように、 AZD変換部 412に入力されるアナログ信号に対して、 A ZD変換されて出力されるデジタル信号を得ることができる。また、主要領域輝度範 囲の前後にも、主要領域輝度範囲よりも少ない階調ステップ数が割り当てられた場合 、図 41Bに示されるように、 AZD変換部 412に入力されるアナログ信号に対して、 A ZD変換されて出力されるデジタル信号を得ることができる。そして、主要領域の輝 度範囲内の上限側の所定区間である区間 ocおよび主要領域の輝度範囲内の下限 側の所定区間である区間 βに、主要領域輝度範囲よりも少ない階調ステップ数が割 り当てられ、主要領域輝度範囲、区間 OC、および区間 β以外の輝度範囲にも、区間 aおよび区間 βよりも少ない階調ステップ数が割り当てられた場合、図 41Cに示され るように、 AZD変換部 412に入力されるアナログ信号に対して、 AZD変換されて出 力されるデジタル信号を得ることができる。
[0388] 図 42は、図 41を用いて説明した階調割り当てを行った場合の、入力信号、階調割 り当て算出部 455による階調ステップの割り当てに基づいた AZD変換後の信号、お よび、表示される信号の輝度レベルを示す図である。
[0389] 図 42Αは、図 41Aを用いて説明した階調ステップの割り当てに基づいた AZD変 換が行われた場合における、アナログの入力信号、階調割り当て算出部 455による 階調ステップ数の割り当てに基づいた AZD変換後のデジタル信号、および、デイス プレイ 82に表示される、もしくは、印刷や画像認識、記録、または、画像通信などの 処理のために画像利用装置 83へ出力される信号の輝度レベルを示す図である。図 42Αに示される場合、主要領域にのみ多くの階調ステップ数が割り当てられて AZD 変換が実行され、主要領域以下の輝度範囲の画素は、全て、出力レベル 0で出力さ れ、主要領域以上の輝度範囲の画素は、全て、主要領域の最大出力レベルで出力 される。
[0390] 図 42Βは、図 41Bを用いて説明した階調ステップの割り当てに基づいた AZD変換 が行われた場合における、アナログの入力信号、階調割り当て算出部 455による階 調ステップ数の割り当てに基づいた AZD変換後のデジタル信号、および、ディスプ レイ 82に表示される、もしくは、印刷や画像認識、記録、または、画像通信などの処 理のために画像利用装置 83へ出力される信号の輝度レベルを示す図である。図 42 Βに示される場合、主要領域以外の領域には、主要領域よりも少ないステップ数の階 調しか与えられていない。そのため、変換後の信号は、画像の全体に与えられる階 調ステップ数が少な 、のにもかかわらず、主要領域以外の領域のステップ数が少な い分、主要領域の信号には、充分な輝度階調幅が与えられている。
[0391] 図 42Cは、図 41Cを用いて説明した階調ステップの割り当てに基づいた AZD変 換が行われた場合における、アナログの入力信号、階調割り当て算出部 455による 階調ステップ数の割り当てに基づいた AZD変換後のデジタル信号、および、デイス プレイ 82に表示される、もしくは、印刷や画像認識、記録、または、画像通信などの 処理のために画像利用装置 83へ出力される信号の輝度レベルを示す図である。図 42Cに示される場合、主要領域とそれ以外の領域で、割り当てられる階調ステップ数 を、上述した区間 (Xおよび区間 βによってなだらかに変化させるように、すなわち、 区間 (Xおよび区間 βにおいては、主要領域よりも少なぐ主要領域以外の領域よりも 多いステップ数の階調が与えられるようになされている。そのため、画像の全体に与 えられる階調ステップ数が少なくても、変換後の信号においては、主要領域には、充 分な輝度階調幅が与えられているとともに、主要領域近傍の輝度領域には、主要領 域と乖離した輝度領域よりも比較的多くの階調ステップ数を割り当てることができる。
[0392] 次に、図 43のフローチャートを参照して、図 37を用いて説明した階調割り当て決定 部 411 1が用いられて ヽる画像処理装置 381にお ヽて実行される画像表示処理 8 について説明する。
[0393] ステップ S301において、撮像部 391の光検出部 111は、撮像タイミング制御部 11 4から供給される制御信号に同期して、蓄積した電荷を対数変換部 112に供給する。 すなわち、撮像された画像信号を取得する。対数変換部 112は、 MOSFETのサブス レツショルド特性を利用して、光検出部 111から供給される電荷を画素ごとに電荷の 数の対数にほぼ比例した電圧値に変換したアナログの電気信号を生成し、 AZD変 換部 412に供給するとともに、階調割り当て決定部 411 - 1に供給する。
[0394] ステップ S302において、階調割り当て決定部 411— 1の平均輝度算出部 451は、 撮像された画像全体の平均輝度を求め、算出結果を、主要領域輝度範囲設定部 45 2に供給する。
[0395] ステップ S303において、主要領域輝度範囲設定部 452は、平均輝度算出部 451 から供給された画像全体の平均輝度を基に、主要領域の輝度範囲を設定し、設定し た主要領域の輝度範囲を、階調割り当て算出部 455、および、第 2の輝度領域輝度 平均値算出部 453に供給する。
[0396] 主要領域輝度範囲設定部 452は、例えば、画像信号の平均輝度を中心とした所定 の輝度の範囲を主要領域の輝度範囲としても良 、し、画像信号の平均輝度である画 素を中心として、この輝度に近い輝度値を有するものから順番に所定数の画素を選 択して主要領域の輝度範囲としても良い。
[0397] ステップ S304において、第 2の輝度領域輝度平均値算出部 453は、対数変換部 1 12から供給された画像信号のうち、主要領域輝度範囲設定部 452により設定された 主要領域の輝度範囲よりも明るい領域の平均輝度を求め、その結果を、第 2の輝度 領域輝度範囲設定部 454に供給する。
[0398] ステップ S305において、第 2の輝度領域輝度範囲設定部 454は、第 2の輝度領域 輝度平均値算出部 453から供給された主要領域の輝度範囲よりも明るい領域の平 均輝度を基に、第 2の輝度領域の輝度範囲を設定し、設定した第 2の輝度領域の輝 度範囲を階調割り当て算出部 455に供給する。
[0399] 第 2の輝度領域輝度範囲設定部 454は、例えば、主要領域の輝度範囲より高輝度 の範囲の画素の平均輝度を中心とした所定の輝度の範囲を第 2の輝度領域の輝度 範囲としても良いし、主要領域の輝度範囲より高輝度の範囲の画素の平均輝度であ る画素を中心として、この輝度に近い輝度値を有するものから順番に所定数の画素 を選択して第 2の輝度領域の輝度範囲としても良い。
[0400] ステップ S306において、階調割り当て算出部 455は、主要領域輝度範囲設定部 4 52により設定された主要領域の輝度範囲、および、第 2の輝度領域輝度平均値算出 部 453により設定された第 2の輝度領域の輝度範囲を基に、例えば、図 38または図 39を用いて説明したように、それぞれの領域における AZD変換の階調割り当てを 決定し、 AZD変換部 412に供給する。
[0401] ステップ S307において、 AZD変換部 412は、階調割り当て算出部 455から供給 された階調割り当てに基づいて、対数変換部 112から供給されたアナログの電気信 号をデジタル信号に変換し、画像生成部 392に供給する。
[0402] ステップ S308にお 、て、画像生成部 392は、供給された画像信号に対して画像処 理を施して（階調変換は行わない）、出力制御部 95に供給する。 [0403] ステップ S309において、出力制御部 95は、画像処理後の画像データの画像利用 装置 83への出力を制御して、処理が終了される。
[0404] なお、ここでは、生成された画像を画像利用装置 83に出力させる処理について説 明したが、生成された画像を、表示制御部 94を介してディスプレイ 82に出力させて 表示させる場合には、ステップ S301乃至ステップ S307において基本的に同様の処 理が実行され、画像信号が表示制御部 94に供給されて、ディスプレイ 82への表示 が制御される。
[0405] このような処理により、対数変換型撮像素子 401を用いた撮像部 391により撮像さ れ、 AZD変換された画像データは、 AZD変換部 412が有する限られた階調ステツ プ数が有効に配分されて 、るので、撮像された画像が広ダイナミックレンジであって も、主要領域および第 2の輝度領域に対応する輝度範囲の部分が、ユーザによって よりょく認識できるような、表示または印刷出力画像を得ることが可能となる。
[0406] これにより、例えば、図 10乃至図 12を参照して説明した場合と同様にして、広ダイ ナミツクイレンジで撮像された画像のうち、ユーザが必要とする情報力 ユーザにより 認識しやすいように、すなわち、充分な階調ステップ数が割り当てられて AZD変換 された後、表示または印刷出力される。
[0407] 例えば、 16bitなど、多くの bit数が割り当てられた（階調ステップ数が多い) AZD変 換により得られる広ダイナミクスレンジ画像は、非常に広い輝度大域を含むため、通 常の画像データと同様に微分処理を行うラプラシアン変換処理を施した場合、きわめ てコントラストが低い画像と同等に、ノイズ状の結果し力得ることができない。また、 2 値ィ匕処理を行おうとした場合、閾値となりうる輝度の候補が非常に多くなつてしまうた め、処理量が爆発的に増大してしまう。このように、広ダイナミクスレンジ画像データを 用いて一般的な画像処理を行うためには、従来実行されて！ヽた画像処理のプロセス を大幅に変更する必要が生じる場合がある。
[0408] これに対して、対数変換型撮像素子 401を用いた撮像部 391を用いて、階調割り 当て決定部 411 - 1により決定される階調ステップ数の割り当てに基づ 、て、 A/D 変換部 412が有する限られた階調ステップ数 (例えば、 12bitなど、撮影できる輝度 範囲が、本発明で用いる対数変換型撮像素子と比較して非常に狭ぐ撮像可能な輝 度範囲以外の階調は全く得られない従来の CCD撮像素子や CMOS撮像素子によ り撮像される画像信号の AZD変換における場合とほぼ同様の bit数)を有効に配分 して、 AZD変換を施すようになされた場合、画像生成部 392においては、従来の画 像処理のプロセスをそのまま実行することが可能となる。
[0409] また、画像利用装置 82が、生成された画像データの送信や記録などの処理を実行 するようになされて!ヽる場合、対数変換型撮像素子 401を用 ヽた撮像部 391を用い て撮像された広ダイナミクスレンジの画像は、利用される輝度領域に主に階調ステツ プ数が割り当てられているので、必要な情報を伝送しつつ、記録容量または送受信 路のトラフィックを節約することができる。
[0410] また、撮像された広ダイナミクスレンジの画像を、階調割り当て決定部 411 - 1によ つて決定された階調割り当てに基づいて AZD変換処理することにより、例えば、図 1 3を用いて説明したように、夜の街中を走行する車の前面の画像を撮像して、撮像さ れた画像がディスプレイに表示されるようになされて!ヽる場合にぉ 、ても、他の車の ヘッドライトやテールランプ、または、街灯など、画面上の多くの部分の輝度値とは離 散した輝度値を有する画素を含む画像も、白とびや黒つぶれを起こすことなぐ更に 、ユーザが必要としている画像情報力 ヘッドライトやテールランプ、または、街灯な どの高輝度の画素のために認識しにくくなることなぐ充分な階調を割り当てられて表 示されたり、画像処理されるようになされる。
[0411] 以上説明した階調割り当て決定部 411 1にお ヽては、主要領域の輝度範囲と、 主要領域の輝度範囲より高輝度の範囲のうちの主な部分である第 2の輝度領域の輝 度範囲 (または、主要領域に輝度範囲のみ）に対して、多くの階調ステップ数が割り 当てられて、 AZD変換が行われるものとして説明した。これに対して、設定される輝 度範囲が、主要領域の輝度範囲と第 2の輝度領域の輝度範囲の 2つではない場合 について説明する。
[0412] 次に、図 44は、図 36の階調割り当て決定部 411の構成の第 2の例である階調割り 当て決定部 411 - 2の構成を示すブロック図である。階調割り当て決定部 411 - 2は 、主要領域の輝度範囲以外に、主要領域の輝度範囲より高輝度の範囲のうちの主な 部分である第 2の輝度領域の輝度範囲と、主要領域の輝度範囲より低輝度の範囲の うちの主な部分である第 3の輝度領域の輝度範囲との 3つの輝度領域を設定し、設 定された 3つの輝度領域に対して、多くの階調ステップ数を割り当てることができるよ うになされている。
[0413] なお、図 37における場合と対応する部分には同一の符号を付してあり、その説明 は適宜省略する。
[0414] すなわち、図 44の階調割り当て決定部 411— 2は、図 37を用いて説明した階調割 り当て決定部 411—1と基本的に同様の平均輝度算出部 451、および、主要領域輝 度範囲設定部 452を有し、階調割り当て決定部 411 - 1の第 2の輝度領域輝度平均 値算出部 453および第 2の輝度領域輝度範囲設定部 454が省略され、高輝度領域 輝度平均値算出部 461、高輝度領域輝度範囲設定部 462、低輝度領域輝度平均 値算出部 463、および、低輝度領域輝度範囲設定部 464が新たに設けられ、階調 割り当て算出部 455に代わって、階調割り当て算出部 465が設けられている。
[0415] 高輝度領域輝度平均値算出部 461は、対数変換部 112から供給された画像信号 を取得し、取得された画像信号のうち、主要領域輝度範囲設定部 452により設定さ れた主要領域の輝度範囲より高輝度の範囲の画素の平均輝度を算出し、算出結果 を、高輝度領域輝度範囲設定部 462に供給する。
[0416] 高輝度領域輝度範囲設定部 462は、高輝度領域輝度平均値算出部 461から供給 された主要領域の輝度範囲より高輝度の範囲の画素の平均輝度を基に、主要領域 より高輝度である第 2の輝度領域の輝度範囲を設定し、設定した第 2の輝度領域の 輝度範囲を階調割り当て算出部 465に供給する。
[0417] 高輝度領域輝度範囲設定部 462は、例えば、主要領域の輝度範囲より高輝度の 範囲の画素の平均輝度を中心とした所定の輝度の範囲を第 2の輝度領域の輝度範 囲としても良いし、主要領域の輝度範囲より高輝度の範囲の画素の平均輝度である 画素を中心として、この輝度に近い輝度値を有するものから順番に所定数の画素を 選択して第 2の輝度領域の輝度範囲としても良い。
[0418] 低輝度領域輝度平均値算出部 463は、対数変換部 112から供給された画像信号 を取得し、取得された画像信号のうち、主要領域輝度範囲設定部 452により設定さ れた主要領域の輝度範囲より低輝度の範囲の画素の平均輝度を算出し、算出結果 を、低輝度領域輝度範囲設定部 464に供給する。
[0419] 低輝度領域輝度範囲設定部 464は、低輝度領域輝度平均値算出部 463から供給 された主要領域の輝度範囲より低輝度の範囲の画素の平均輝度を基に、主要領域 より低輝度である第 3の輝度領域の輝度範囲を設定し、設定した第 3の輝度領域の 輝度範囲を階調割り当て算出部 465に供給する。
[0420] 低輝度領域輝度範囲設定部 464は、例えば、主要領域の輝度範囲より低輝度の 範囲の画素の平均輝度を中心とした所定の輝度の範囲を第 3の輝度領域の輝度範 囲としても良いし、主要領域の輝度範囲より低輝度の範囲の画素の平均輝度である 画素を中心として、この輝度に近い輝度値を有するものから順番に所定数の画素を 選択して第 3の域輝度範囲としても良い。
[0421] 階調割り当て算出部 465は、対数変換部 112から供給された画像信号を取得して 、主要領域輝度範囲設定部 452、高輝度領域輝度範囲設定部 462、および、低輝 度領域輝度範囲設定部 464から供給された、主要領域の輝度範囲、第 2の輝度領 域の輝度範囲、および、第 3の輝度領域の輝度範囲の情報を基に、 AZD変換部 41 2による AZD変換にぉ 、て、 、ずれの輝度範囲にどれだけの階調ステップ数を割り 当てるかを決定する。
[0422] 具体的には、階調割り当て算出部 465は、入力される輝度信号のレベルに対して、 AZD変換の階調ステップ数の割り当てを、主要領域、第 2の輝度領域、および、第 3 の輝度領域として設定されている輝度範囲と、それ以外の範囲とで、異なるものとす る。すなわち、階調割り当て算出部 465は、主要領域、第 2の輝度領域、および、第 3 の輝度領域として設定されている輝度範囲により多くの階調ステップ数が割り当てら れるように、階調割り当てを決定するので、 AZD変換部 412においては、対応する 輝度範囲の画素の階調数が多くなるような AZD変換処理が実行される。このよう〖こ することにより、表示または印刷出力される画像のうち、主要領域、第 2の輝度領域、 および、第 3の輝度領域に対応する輝度範囲の部分が、ユーザによってよりょく認識 でさるよう〖こなる。
[0423] 階調割り当て算出部 465は、例えば、 AZD変換部 412に入力されるアナログ信号 に対して、 AZD変換されて出力されるデジタル信号が図 45Aに示されるものとなる ように、階調を割り当てることができる。すなわち、 AZD変換部 412に入力されるァ ナログ信号に対して、 AZD変換されて出力されるデジタル信号においては、第 3の 輝度領域の輝度範囲より輝度の入力レベルが低い画素の出力レベルは 0 (すなわち 、真っ黒)となる。そして、第 3の輝度領域内、主要領域内、および、第 2の輝度領域 内の画素には、入力レベルに応じて、所定の階調ステップ数が割り当てられて、 AZ D変換が実行される。また、第 3の輝度領域と主要領域の間の輝度範囲、および、主 要領域と第 2の輝度領域の間の輝度範囲の画素は、入力レベルにかかわらず、その 範囲の直前に割り当てられた出力レベルの最大値と同一の階調のデジタル信号とし て出力される。そして、第 2の輝度領域よりも高輝度の画素は、第 2の輝度領域の輝 度範囲に割り当てられた階調の最大値、すなわち、全体の階調の最大値 (最大出力 レベル）のデジタル信号として出力される。
[0424] また、階調割り当て算出部 465は、例えば、 AZD変換部 412に入力されるアナ口 グ信号に対して、 AZD変換されて出力されるデジタル信号が図 45Bに示されるもの となるように、階調を割り当てることができる。すなわち、 AZD変換部 412に入力され るアナログ信号に対して、 AZD変換されて出力されるデジタル信号においては、第 3の輝度領域の輝度範囲より輝度の入力レベルが低い画素の出力レベルは 0 (すな わち、真っ黒)となる。そして、第 3の輝度領域内、主要領域内、および、第 2の輝度 領域内の画素には、入力レベルに応じて、所定の階調の出力レベルが割り当てられ て、 AZD変換が実行される。また、第 3の輝度領域と主要領域の間の輝度範囲、お よび、主要領域と第 2の輝度領域の間の輝度範囲の画素は、主要領域などに割り当 てられたステップ数よりも少な ヽステップ数で、入力レベルに応じた出力レベルが割り 当てられて、 AZD変換が実行される。そして、第 2の輝度領域よりも高輝度の画素は 、入力レベルにかかわらず、第 2の輝度領域に割り当てられた階調の最大値、すなわ ち、全体の階調の最大値 (最大出力レベル)のデジタル信号として出力される。
[0425] また、階調割り当て算出部 465は、例えば、 AZD変換部 412に入力されるアナ口 グ信号に対して、 AZD変換されて出力されるデジタル信号が図 45Cに示されるもの となるように、階調を割り当てることができる。例えば、第 3の輝度領域の輝度の上限 値を中心とする所定の輝度範囲を区間 α、主要領域の輝度の下限値を中心とする 所定の輝度範囲を区間 β、主要領域の輝度の上限値を中心とする所定の輝度範囲 を区間 γ、第 2の輝度領域の輝度の下限値を中心とする所定の輝度範囲を区間 δと する。そして、 AZD変換部 412に入力されるアナログ信号に対して、 AZD変換され て出力されるデジタル信号において、第 3の輝度領域より輝度の入力レベルが低い 画素は、入力レベルにかかわらず、出力レベルは 0 (すなわち、真っ黒）とされる。第 3 の輝度領域内であり、区間 OC以外の画素、主要領域輝度の範囲内であり、区間 βま たは区間 γ以外の画素、および、第 2の輝度領域の範囲内であり、区間 δ以外の画 素には、入力レベルに応じて、所定の階調の出力レベルが割り当てられて、 AZD変 換が実行される。また、区間 a、区間 j8、区間 γ、および、区間 δの画素には、主要 領域輝度範囲などであって、区間 O乃至区間 δ以外の部分に割り当てられたステツ プ数よりも少な ヽステップ数の所定の階調の出力レベルが割り当てられて、 AZD変 換が実行される。そして、第 2の輝度領域よりも高輝度の画素は、入力レベルにかか わらず、第 2の輝度領域に割り当てられた階調の最大値、すなわち、全体の階調の 最大値 (最大出力レベル)のデジタル信号として出力される。
[0426] なお、図 45Cにおいては、第 3の輝度領域の輝度の上限値を中心とする所定の輝 度範囲を区間 O、主要領域の輝度の下限値を中心とする所定の輝度範囲を区間 β 、主要領域の輝度の上限値を中心とする所定の輝度範囲を区間 γ、第 2の輝度領域 の輝度の下限値を中心とする所定の輝度範囲を区間 δとしたが、例えば、第 3の輝 度領域内の上限側の所定の輝度範囲を区間 OC、主要領域内の下限側の所定の輝 度範囲を区間 β、主要領域内の上限側の所定の輝度範囲を区間 γ、第 2の輝度領 域内の下限側の所定の輝度範囲を区間 δとしたり、第 3の輝度領域の上限よりも高 輝度の所定の輝度範囲を区間 OC、主要領域の下限よりも低輝度の所定の輝度範囲 を区間 β、主要領域の上限よりも高輝度の所定の輝度範囲を区間 γ、第 2の輝度領 域の下限よりも低輝度の所定の輝度範囲を区間 δとするようにしても良い。更に、第 3の輝度領域の輝度の下限側、および、第 2の輝度領域の輝度の上限側に、区間ひ 乃至区間 δと同様の出力レベルのステップ数が割り当てられるような領域を設定する ようにしても良い。
[0427] また、図 45においては、第 3の輝度領域よりも低輝度、および、第 2の輝度領域より も高輝度の範囲にぉ 、て、出力レベルのステップ数（階調のステップ数)を割り当て ない場合について説明した。これに対して、階調割り当て算出部 465は、例えば、図 39を用いて説明した場合と同様に、第 3の輝度領域よりも低輝度、および、第 2の輝 度領域よりも高輝度の範囲においても、主要領域、第 2の輝度領域、および、第 3の 輝度領域よりも少な 、ステップ数を割り当てるようにしてもょ 、。
[0428] 更に、階調割り当て算出部 465は、例えば、主要領域、第 2の輝度領域、および、 第 3の輝度領域における入力レベルに対する出力レベルの比率 (直線の傾き）よりも 、それらの輝度領域以外の輝度範囲における入力レベルに対して割り当てられる階 調ステップ数の比率が低くなるように、それぞれの輝度領域に割り当てられる階調の ステップ数を決定するようにしてもょ 、。
[0429] 次に、図 46を用いて、入力信号、階調割り当て算出部 465による階調ステップの割 り当てに基づいた AZD変換後の信号、および、表示される信号の輝度レベルにつ いて説明する。
[0430] 図 46Aは、図 45Aを用いて説明した階調ステップの割り当てに基づいた AZD変 換が行われた場合における、アナログの入力信号、階調割り当て算出部 465による 階調ステップの割り当てに基づいた AZD変換後の信号、および、ディスプレイ 82に 表示される、もしくは、印刷や画像認識、記録、または、画像通信などの処理のため に画像利用装置 83へ出力される信号の輝度レベルを示す図である。図 46Aに示さ れる場合、離散した輝度範囲である主要領域、第 2の輝度領域、および第 3の輝度 領域において、多くの階調ステップ数が割り当てられて AZD変換が実行される。第 3の輝度領域と主要領域の間の輝度範囲の画素は、全て、第 3の輝度領域の最大出 カレベルで出力され、主要領域と第 2の輝度領域の間の輝度範囲の画素は、全て、 主要領域の最大出力レベルで出力される。
[0431] 図 46Bは、図 45Bを用いて説明した階調ステップの割り当てに基づいた AZD変換 が行われた場合における、アナログの入力信号、階調割り当て算出部 465よる階調 ステップの割り当てに基づいた AZD変換後の信号、および、ディスプレイ 82に表示 される、または、画像利用装置 83へ出力される信号の輝度レベルを示す図である。 図 46Bに示される場合、第 3の輝度領域と主要領域の間、および、主要領域と第 2の 輝度領域の間の領域には、主要領域、第 2の輝度領域、および第 3の輝度領域よりも 少ないステップ数の階調しか与えられていない。そのため、画像の全体に与えられる 階調ステップ数が少ないのにもかかわらず、第 3の輝度領域と主要領域の間、および 、主要領域と第 2の輝度領域の間の領域のステップ数が少ない分、主要領域、第 2の 輝度領域、および第 3の輝度領域の信号には、充分な輝度階調幅が与えられて、 A ZD変換が実行される。
[0432] 図 46Cは、図 45Cを用いて説明した階調ステップの割り当てに基づいた AZD変 換が行われた場合における、アナログの入力信号、階調割り当て算出部 465による 階調ステップの割り当てに基づいた AZD変換後の信号、および、ディスプレイ 82に 表示される、または、画像利用装置 83へ出力される信号の輝度レベルを示す図であ る。図 46Cに示される場合、主要領域、第 2の輝度領域、および第 3の輝度領域と、 それらの間の領域で、割り当てられる輝度の階調ステップ数を、上述した区間 oc乃至 区間 δによってなだらかに変化させるように、すなわち、区間 α乃至区間 δにおいて は、主要領域、第 2の輝度領域、および第 3の輝度領域の区間 oc乃至区間 δ以外の 部分よりも少ない階調ステップ数が与えられるようになされている。そのため、画像の 全体に与えられる階調ステップ数が少なくても、主要領域、第 2の輝度領域、および 第 3の輝度領域に充分な輝度階調幅が与えられて、 AZD変換が実行されるとともに 、 1階調のみで表現されてしまう輝度領域を少なくすることが可能となる。
[0433] 次に、図 47のフローチャートを参照して、図 44の階調割り当て決定部 411—2を含 む画像処理装置 381にお ヽて実行される画像表示処理 9につ 、て説明する。
[0434] ステップ S331において、撮像部 391の光検出部 111は、撮像タイミング制御部 11 4から供給される制御信号に同期して、蓄積した電荷を対数変換部 112に供給する。 すなわち、撮像された画像信号を取得する。対数変換部 112は、 MOSFETのサブス レツショルド特性を利用して、光検出部 111から供給される電荷を画素ごとに電荷の 数の対数にほぼ比例した電圧値に変換したアナログの電気信号を生成し、 AZD変 換部 412に供給するとともに、階調割り当て決定部 411— 2に供給する。
[0435] ステップ S332において、階調割り当て決定部 411— 2の平均輝度算出部 451は、 撮像された画像全体の平均輝度を求め、算出結果を、主要領域輝度範囲設定部 45 2に供給する。
[0436] ステップ S333において、主要領域輝度範囲設定部 452は、平均輝度算出部 451 から供給された画像全体の平均輝度を基に、主要領域の輝度範囲を設定し、設定し た主要領域の輝度範囲を、階調割り当て算出部 465、高輝度領域輝度平均値算出 部 461、および、低輝度領域輝度平均値算出部 463に供給する。
[0437] 主要領域輝度範囲設定部 452は、例えば、画像信号の平均輝度を中心とした所定 の輝度の範囲を主要領域の輝度範囲としても良 、し、画像信号の平均輝度である画 素を中心として、この輝度に近い輝度値を有するものから順番に所定数の画素を選 択して主要領域の輝度範囲としても良い。
[0438] ステップ S334において、高輝度領域輝度平均値算出部 461は、対数変換部 112 から供給された画像信号のうち、主要領域輝度範囲設定部 452により設定された主 要領域の輝度範囲よりも明るい領域の平均輝度を求め、その結果を、高輝度領域輝 度範囲設定部 462に供給する。
[0439] ステップ S335において、高輝度領域輝度範囲設定部 462は、高輝度領域輝度平 均値算出部 461から供給された主要領域の輝度範囲よりも明るい領域の平均輝度を 基に、第 2の輝度領域の輝度範囲を設定し、設定した第 2の輝度領域の輝度範囲を 階調割り当て算出部 465に供給する。
[0440] 高輝度領域輝度範囲設定部 462は、例えば、主要領域の輝度範囲より高輝度の 範囲の画素の平均輝度を中心とした所定の輝度の範囲を第 2の輝度領域の輝度範 囲としても良いし、主要領域の輝度範囲より高輝度の範囲の画素の平均輝度である 画素を中心として、この輝度に近い輝度値を有するものから順番に所定数の画素を 選択して第 2の輝度領域の輝度範囲としても良い。
[0441] ステップ S336において、低輝度領域輝度平均値算出部 463は、対数変換部 112 から供給された画像信号のうち、主要領域輝度範囲設定部 452により設定された主 要領域の輝度範囲よりも暗い領域の平均輝度を求め、その結果を、低輝度領域輝度 範囲設定部 464に供給する。
[0442] ステップ S337にお ヽて、低輝度領域輝度範囲設定部 464は、低輝度領域輝度平 均値算出部 463から供給された主要領域の輝度範囲よりも暗い領域の平均輝度を 基に、第 3の輝度領域の輝度範囲を設定し、設定した第 3の輝度領域の輝度範囲を 階調割り当て算出部 465に供給する。
[0443] 低輝度領域輝度範囲設定部 464は、例えば、主要領域の輝度範囲より低輝度の 範囲の画素の平均輝度を中心とした所定の輝度の範囲を第 3の輝度領域の輝度範 囲としても良いし、主要領域の輝度範囲より低輝度の範囲の画素の平均輝度である 画素を中心として、この輝度に近い輝度値を有するものから順番に所定数の画素を 選択して第 3の域輝度範囲としても良い。
[0444] ステップ S338において、階調割り当て算出部 465は、主要領域輝度範囲設定部 4 52により設定された主要領域の輝度範囲、高輝度領域輝度範囲設定部 462により 設定された第 2の輝度領域の輝度範囲、および、低輝度領域輝度範囲設定部 464 により設定された第 3の輝度領域の輝度範囲を基に、例えば、図 45を用いて説明し たように、それぞれの領域における AZD変換の階調割り当てを決定し、 AZD変換 部 412に供給する。
[0445] ステップ S339において、 AZD変換部 412は、階調割り当て算出部 465から供給 された階調割り当てに基づいて、対数変換部 112から供給されたアナログの電気信 号をデジタル信号に変換し、画像生成部 392に供給する。
[0446] ステップ S340にお ヽて、画像生成部 392は、供給された画像信号に対して画像処 理を施して（階調変換は行わない）、出力制御部 95に供給する。
[0447] ステップ S341にお 、て、出力制御部 95は、画像処理後の画像データの画像利用 装置 83への出力を制御して、処理が終了される。
[0448] なお、ここでは、生成された画像を画像利用装置 83に出力させる処理について説 明したが、生成された画像を、表示制御部 94を介してディスプレイ 82に出力させて 表示させる場合には、ステップ S331乃至ステップ S339において基本的に同様の処 理が実行され、画像信号が表示制御部 94に供給されて、その表示が制御される。
[0449] このような処理により、対数変換型撮像素子 401を用いた撮像部 391により撮像さ れた画像データが、特に、広い輝度範囲において、主な輝度範囲力も離散した高輝 度と低輝度の領域のいずれにも、ユーザが必要とする画像情報が存在するような場 合であっても、 AZD変換部 412が有する限られた階調ステップ数が有効に配分され て、 AZD変換が実行されているので、撮像された画像が広ダイナミックレンジであつ ても、主要領域および第 2の輝度領域に対応する輝度範囲の部分が、ユーザによつ てよりよく認識できるような、表示または印刷出力画像を得ることが可能となる。
[0450] 図 44の階調割り当て決定部 411 2を含む画像処理装置 381により表示される画 像は、具体的には、例えば、図 18を用いて説明したように、撮像される画像のほとん どの部分が路面であり、その路面の輝度より非常に高輝度である空の部分が画角に 含まれており、更に、路面の輝度より非常に低輝度である黒いスーツを着た人が画角 に含まれている場合であっても、路面、空、黒いスーツを着た人のそれぞれに対応す る輝度付近に、多くの階調ステップ数が割り当てられるようになされている。したがつ て、図 44の階調割り当て決定部 411—2を含む画像処理装置 381を用いることにより 、画像表示処理において、空の部分が白飛びして認識しにくい画像が表示されたり、 撮像されて 、るにもかかわらず、黒 、スーツを着た人がユーザ力も判別できな 、よう に黒くつぶれて表示されてしまったり、画像認識処理において、黒いスーツを着た人 を認識 (または抽出)できないようなことを防ぐことが可能となる。
[0451] 更に、同様にして、図 44の階調割り当て決定部 411—2を含む画像処理装置 381 により表示される画像は、具体的には、例えば、図 19を用いて説明したように、撮像 される画像のほとんどの部分がトンネル内の暗い路面であり、その路面の輝度よりや や高輝度であるトンネル内の白い壁や、非常に高輝度であるトンネル外の部分が画 角に含まれており、更に、トンネル内の路面の輝度より非常に低輝度である、トンネル 内の黒い車が画角に含まれている場合であっても、トンネル内の路面、トンネルの壁 やトンネルの外、そして、トンネル内の黒い車のそれぞれに対応する輝度付近に、多 くの階調ステップ数が割り当てられるようになされて!ヽる。図 44の階調割り当て決定 部 411— 2を含む画像処理装置 381を用いることにより、例えば、画像表示処理にお いて、トンネルの外の部分が白飛びして認識しにくい画像が表示されたり、撮像され て 、るにもかかわらず、トンネル内の黒 、車がユーザから判別できな 、ように黒くつ ぶれて表示されてしまうようなことを防いだり、画像認識処理において、トンネルの外 の部分の車やガードレールなど、または、トンネルの中の黒い車を認識対象物として 抽出できないようなことを防ぐことが可能となる。 [0452] 更に、階調割り当て決定部 411においては、 3つ以上の領域を設定して、設定され た領域と設定されて ヽな ヽ領域に割り当てられる階調ステップ数を異なるものとする ことができるようにしても良!、。
[0453] 次に、図 48は、図 36の階調割り当て決定部 411の構成の第 3の例である階調割り 当て決定部 411 - 3の構成を示すブロック図である。階調割り当て決定部 411— 3は 、主要領域の輝度範囲以外に、複数の輝度領域とそれらの輝度範囲を設定し、設定 された複数の輝度範囲に対して、設定されていない輝度範囲よりも多くの階調ステツ プ数を割り当てることができるようになされて!ヽる。
[0454] なお、図 37における場合と対応する部分には同一の符号を付してあり、その説明 は適宜省略する。
[0455] すなわち、図 48の階調割り当て決定部 411— 3は、図 37を用いて説明した階調割 り当て決定部 411—1と基本的に同様の平均輝度算出部 451、および、主要領域輝 度範囲設定部 452を有し、階調割り当て決定部 411 - 1の第 2の輝度領域輝度平均 値算出部 453および第 2の輝度領域輝度範囲設定部 454が省略され、第 2の輝度 領域輝度平均値算出部 481、第 2の輝度領域輝度範囲設定部 482、第 3の輝度領 域輝度平均値算出部 483、第 3の輝度領域輝度範囲設定部 484、第 4の輝度領域 輝度平均値算出部 485、および、第 4の輝度領域輝度範囲設定部 486が新たに設 けられ、階調割り当て算出部 455に代わって、階調割り当て算出部 487が設けられ ている。
[0456] 第 2の輝度領域輝度平均値算出部 481は、対数変換部 112から供給された画像信 号のうち、主要領域輝度範囲設定部 452により設定された主要領域の輝度範囲以 外の所定の範囲 (例えば、主要領域の輝度範囲より高輝度の範囲を更に 2分割し、 その最も高輝度の部分など）に含まれる輝度を有する画素の平均輝度を算出し、算 出結果を、第 2の輝度領域輝度範囲設定部 482に供給する。
[0457] 第 2の輝度領域輝度範囲設定部 482は、第 2の輝度領域輝度平均値算出部 481 力 供給された主要領域以外の所定の範囲に含まれる輝度を有する画素の平均輝 度を基に、第 2の輝度領域の輝度範囲を設定し、設定した第 2の輝度領域の輝度範 囲を階調割り当て算出部 487に供給する。 [0458] 第 2の輝度領域輝度範囲設定部 482は、例えば、所定の範囲の輝度を有する画素 の平均輝度を中心とした所定の輝度の範囲を第 2の輝度領域の輝度範囲としても良 いし、所定の範囲の輝度を有する画素の平均輝度である画素を中心として、この輝 度に近い輝度値を有するものから順番に所定数の画素を選択して第 2の輝度領域の 輝度範囲としても良い。
[0459] 第 3の輝度領域輝度平均値算出部 483は、対数変換部 112から供給された画像信 号のうち、主要領域輝度範囲設定部 452により設定された主要領域の輝度範囲以 外の所定の範囲 (例えば、主要領域の輝度範囲より高輝度の範囲を更に 2分割し、 2 分割されたうちの低輝度の部分など）に含まれる輝度を有する画素の平均輝度を算 出し、算出結果を、第 3の輝度領域輝度範囲設定部 484に供給する。
[0460] 第 3の輝度領域輝度範囲設定部 484は、第 3の輝度領域輝度平均値算出部 483 力 供給された主要領域以外の所定の範囲に含まれる輝度を有する画素の平均輝 度を基に、第 3の輝度領域の輝度範囲を設定し、設定した第 3の輝度領域の輝度範 囲を階調割り当て算出部 487に供給する。
[0461] 第 3の輝度領域輝度範囲設定部 484は、例えば、所定の範囲の輝度を有する画素 の平均輝度を中心とした所定の輝度の範囲を第 3の輝度領域の輝度範囲としても良 いし、所定の範囲の輝度を有する画素の平均輝度である画素を中心として、この輝 度に近い輝度値を有するものから順番に所定数の画素を選択して第 3の域輝度範 囲としても良い。
[0462] 第 4の輝度領域輝度平均値算出部 485は、対数変換部 112から供給された画像信 号のうち、主要領域輝度範囲設定部 452により設定された主要領域の輝度範囲以 外の所定の範囲（例えば、主要領域の輝度範囲より低輝度の範囲を更に 2分割し、 2 分割されたうちの低輝度の部分など）に含まれる輝度を有する画素の平均輝度を算 出し、算出結果を、第 4の輝度領域輝度範囲設定部 486に供給する。
[0463] 第 4の輝度領域輝度範囲設定部 486は、第 4の輝度領域輝度平均値算出部 485 力 供給された主要領域以外の所定の範囲に含まれる輝度を有する画素の平均輝 度を基に、第 4の輝度領域の輝度範囲を設定し、設定した第 4の輝度領域の輝度範 囲を階調割り当て算出部 487に供給する。 [0464] 第 4の輝度領域輝度範囲設定部 486は、例えば、所定の範囲の輝度を有する画素 の平均輝度を中心とした所定の輝度の範囲を第 4の輝度領域の輝度範囲としても良 いし、所定の範囲の輝度を有する画素の平均輝度である画素を中心として、この輝 度に近い輝度値を有するものから順番に所定数の画素を選択して第 4の域輝度範 囲としても良い。
[0465] 階調割り当て算出部 487は、対数変換部 112から供給された画像信号を取得して 、主要領域輝度範囲設定部 452、第 2の輝度領域輝度範囲設定部 482、第 3の輝度 領域輝度範囲設定部 484、および、第 4の輝度領域輝度範囲設定部 486から供給さ れた、主要領域の輝度範囲、第 2の輝度領域の輝度範囲、第 3の輝度領域の輝度範 囲および、第 4の輝度領域の輝度範囲の情報を基に、 AZD変換部 412による AZ D変換にぉ 、て、 V、ずれの輝度範囲にどれだけの階調ステップ数を割り当てるかを 決定する。
[0466] 階調割り当て算出部 487は、 AZD変換の階調ステップ数の割り当てを、例えば、 図 38、図 39、または、図 45を用いて説明した場合と同様に、主要領域および他の領 域として設定されている輝度範囲と、それ以外の範囲とで、異なるものとする。すなわ ち、階調割り当て算出部 487は、主要領域および他の領域として設定されている輝 度範囲により多くの階調ステップ数が割り当てられるように、階調割り当てを決定する ので、 AZD変換部 412においては、対応する輝度範囲の画素の階調数が多くなる ような AZD変換処理が実行される。このようにすることにより、表示または印刷出力さ れる画像のうち、設定されている輝度領域に対応する輝度範囲の部分がユーザによ つてよりよく認識できるようになる。
[0467] なお、図 48には、主要領域以外に、第 2乃至第 4の輝度領域を設定するための、 第 2の輝度領域輝度平均値算出部 481、第 2の輝度領域輝度範囲設定部 482、第 3 の輝度領域輝度平均値算出部 483、第 3の輝度領域輝度範囲設定部 484、第 4の 輝度領域輝度平均値算出部 485、および、第 4の輝度領域輝度範囲設定部 486が 図示されているが、階調割り当て決定部 411— 3には、更に、多くの輝度領域を設定 することができるように、他の輝度領域輝度平均値算出部および輝度領域輝度範囲 設定部を設けるようにしても良 、。 [0468] また、図 48の階調割り当て決定部 411—3が実行する処理は、図 47を用いて説明 した画像表示処理 9の処理と基本的には同様であり、設定される領域数を増やした 場合に対応するので、その説明は省略する。
[0469] 以上説明した階調割り当て決定部 411 - 1乃至階調割り当て決定部 411— 3は、 撮像された画像の全体の輝度の平均値を基に、主要領域を設定するようになされて いた。これに対して、撮像された画像のうち、予め定められた領域に含まれる画素の 輝度の平均値を基に、主要領域を設定するようにしても良 ヽ。
[0470] 図 49は、図 36の階調割り当て決定部 411の構成の第 4の例である階調割り当て決 定部 411—4の構成を示すブロック図である。階調割り当て決定部 411—4は、撮像 された画像のうち、予め定められた領域に含まれる画素を切り出し、切り出された領 域の輝度の平均値を基に、主要領域を設定するようになされて!ヽる。
[0471] なお、図 37における場合と対応する部分には同一の符号を付してあり、その説明 は適宜省略する。
[0472] すなわち、図 49の階調割り当て決定部 411—4は、平均輝度算出部 451に代わつ て、主要領域切り出し部 501および主要領域輝度平均値算出部 502が設けられて いる以外は、基本的に、図 37の階調割り当て決定部 411—1と同様の構成を有して いる。
[0473] 主要領域切り出し部 501は、対数変換部 112から供給された画像信号を取得し、 取得された画像信号のうち、予め設定されている画像領域を切り出し、切り出した領 域の画素を主要領域輝度平均値算出部 502に供給する。
[0474] 上述した場合と同様に、例えば、走行して ヽる車の前面の画像を撮像して、撮像さ れた画像全体の平均値を用いて主要領域を設定した場合、画角内に極端に明る ヽ ものや極端に暗いものが入ったときに、主要領域の輝度範囲が変更され、表示される 画像全体の明るさが変更されてしまう。これにより、表示画面の主な部分を占める路 面などの明るさが頻繁に変更され、運転者が感じる表示画像の明るさがちらついてし まったり、対象物（車や人、または、センターラインなど）の抽出のための閾値その他 のパラメータをそのつど変更する必要が生じてしまう。
[0475] そこで、主要領域切り出し部 501により切り出される画像の領域を、図 22を用いて 説明した場合と同様に、定常的に路面が撮像されると思われる、例えば、画面中央 やや左よりの下部の領域 221とする。切り出される領域を、定常的に同じものが撮像 されると思われる領域とすることにより、表示される画像のうちの主な部分を占める路 面の表示の明るさを、略一定にすることができるので、運転者が感じる表示画像の明 るさが頻繁にちらつくことを防止したり、対象物の抽出のためのパラメータをそのつど 変更せずに処理することが可能となる。
[0476] 主要領域輝度平均値算出部 502は、主要領域切り出し部 501から供給された、切 り出された領域の画素の平均輝度を算出し、平均輝度の算出結果を、主要領域輝度 範囲設定部 452に供給する。
[0477] そして、図 49の階調割り当て決定部 411—4においては、主要領域輝度平均値算 出部 502により算出された、切り出された領域の平均輝度を基に、主要領域の輝度 範囲が設定され、主要領域の輝度範囲を基に、主要領域の輝度範囲より高輝度の 範囲の第 2の輝度領域の輝度範囲が設定される。そして、階調割り当て算出部 455 により、主要領域および第 2の輝度領域として設定されている輝度範囲により多くの 階調ステップが割り当てられて AZD変換が実行されるようになされて ヽるので、表示 または印刷出力される画像の対応する輝度範囲の部分がユーザによってよりょく認 識できたり、画像利用装置 83において処理するのに好適な画像データを生成するこ とがでさる。
[0478] 次に、図 50のフローチャートを参照して、図 49の階調割り当て決定部 411—4が用 V、られて 、る画像処理装置 381にお 、て実行される画像表示処理 10につ 、て説明 する。
[0479] ステップ S371において、撮像部 391の光検出部 111は、撮像タイミング制御部 11 4から供給される制御信号に同期して、蓄積した電荷を対数変換部 112に供給する。 すなわち、撮像された画像信号を取得する。対数変換部 112は、 MOSFETのサブス レツショルド特性を利用して、光検出部 111から供給される電荷を画素ごとに電荷の 数の対数にほぼ比例した電圧値に変換したアナログの電気信号を生成し、 AZD変 換部 412に供給するとともに、階調割り当て決定部 411— 4に供給する。
[0480] ステップ S372において、階調割り当て決定部 411—4の主要領域切り出し部 501 は、対数変換部 112から供給された画像信号のうち、例えば、図 22を用いて説明し たような、予め設定されている画像領域を切り出し、切り出した領域の画素を主要領 域輝度平均値算出部 502に供給する。
[0481] ステップ S373において、主要領域輝度平均値算出部 502は、主要領域切り出し 部 501から供給された切り出された領域の画素の平均輝度を求め、算出結果を、主 要領域輝度範囲設定部 452に供給する。
[0482] ステップ S374において、主要領域輝度範囲設定部 452は、主要領域輝度平均値 算出部 502から供給された、切り出された領域の画素の平均輝度を基に、主要領域 の輝度範囲を設定し、設定した主要領域の輝度範囲を、第 2の輝度領域輝度平均 値算出部 453および階調割り当て算出部 455に供給する。
[0483] そして、ステップ S375乃至ステップ S380において、図 43のステップ S304乃至ス テツプ S309と基本的に同等の処理が実行される。
[0484] すなわち、第 2の輝度領域輝度平均値算出部 453は、対数変換部 112から供給さ れた画像信号のうち、主要領域の輝度範囲よりも明るい領域の平均輝度を求め、第 2 の輝度領域輝度範囲設定部 454は、主要領域の輝度範囲よりも明るい領域の平均 輝度を基に、第 2の輝度領域の輝度範囲を設定する。
[0485] そして、階調割り当て算出部 455は、主要領域輝度範囲、および、第 2の輝度領域 の輝度範囲を基に、例えば、図 38または図 39を用いて説明したように、それぞれの 領域における AZD変換の階調割り当てを決定し、 AZD変換部 412に供給する。 A ZD変換部 412は、階調割り当て算出部 465から供給された階調割り当てに基づい て、対数変換部 112から供給されたアナログの電気信号をデジタル信号に変換し、 画像生成部 392に供給する。画像生成部 392は、供給された画像信号に対して画 像処理を施して（階調変換は行わない）、出力制御部 95に供給する。出力制御部 95 は、画像処理後の画像データの画像利用装置 83への出力を制御して、処理が終了 される。
[0486] なお、ここでは、生成された画像を画像利用装置 83に出力させる処理について説 明したが、生成された画像を、表示制御部 94を介してディスプレイ 82に出力させて 表示させる場合には、ステップ S371乃至ステップ S378において基本的に同様の処 理が実行され、画像信号が表示制御部 94に供給されて、ディスプレイ 82において処 理可能な階調に変換されて出力され、その表示が制御される。
[0487] このような処理により、対数変換型撮像素子 401を用いた撮像部 391により撮像さ れた広ダイナミックレンジの画像データに対して、 AZD変換部 412が有する限られ た階調ステップ数が有効に配分されて、 AZD変換が実行されているので、撮像され た画像が広ダイナミックレンジであっても、主要領域および第 2の輝度領域に対応す る輝度範囲の部分が、ユーザによってよりょく認識できるような、表示または印刷出力 画像を得ることが可能となる。特に、定常的に同じものが撮像されると思われる領域を 切り出して、この領域の輝度を基に処理を行うようにすることにより、動画像を表示さ せる場合に表示画像の明るさが頻繁にちらつくことを防止したり、対象物の抽出のた めのパラメータをそのつど変更せずに処理することが可能となる。
[0488] 以上説明した階調割り当て決定部 411—4は、撮像された画像内の所定の領域を 切り出して、切り出された領域の画素を基に主要領域の輝度範囲を設定し、主要領 域の輝度範囲と、主要領域の輝度範囲より高輝度の範囲のうちの主な部分である第 2の輝度領域の輝度範囲に対して、多くの階調ステップ数が割り当てられるものとして 説明した。これに対して、設定される輝度範囲が、主要領域の輝度範囲と第 2の輝度 領域の輝度範囲の 2つではな 、場合にっ 、て説明する。
[0489] 次に、図 51は、図 36の階調割り当て決定部 411の構成の第 5の例である階調割り 当て決定部 411 - 5の構成を示すブロック図である。階調割り当て決定部 411— 5は 、撮像された画像内の所定の領域を切り出して、切り出された領域の画素を基に主 要領域の輝度範囲を設定し、主要領域の輝度範囲以外に、主要領域の輝度範囲よ り高輝度の範囲のうちの主な部分である第 2の輝度領域の輝度範囲と、主要領域の 輝度範囲より低輝度の範囲のうちの主な部分である第 3の輝度領域の輝度範囲との 3つの輝度領域を設定し、設定された 3つの輝度領域に対して、多くの階調ステップ 数を割り当てることができるようになされて!、る。
[0490] なお、図 44または図 49における場合と対応する部分には同一の符号を付してあり 、その説明は適宜省略する。
[0491] すなわち、図 51の階調割り当て決定部 411— 5は、図 49を用いて説明した場合と 同様の主要領域切り出し部 501および主要領域輝度平均値算出部 502を備えるとと もに、図 44を用いて説明した場合と同様の、主要領域輝度範囲設定部 452、高輝度 領域輝度平均値算出部 461、高輝度領域輝度範囲設定部 462、低輝度領域輝度 平均値算出部 463、低輝度領域輝度範囲設定部 464、および、階調割り当て算出 部 465が設けられている。
[0492] 図 51の階調割り当て決定部 411— 5は、図 49を用いて説明した階調割り当て決定 部 411—4と同様にして、撮像された画像内の所定の領域を切り出して、切り出され た領域の画素を基に主要領域の輝度範囲を設定し、かつ、図 44を用いて説明した 階調割り当て決定部 411— 2と同様にして、主要領域の輝度範囲以外に、主要領域 の輝度範囲より高輝度の範囲のうちの主な部分である第 2の輝度領域の輝度範囲と 、主要領域の輝度範囲より低輝度の範囲のうちの主な部分である第 3の輝度領域の 輝度範囲との 3つの輝度領域を設定し、設定された 3つの輝度領域に対して、多くの 階調ステップ数が割り当てられて AZD変換が実行されるようになされて ヽる。
[0493] 具体的には、画像全体の明るさより極端に暗いものが撮像される画像内にある場合 、例えば、夜、黒い服を着た歩行者が画角に含まれていた場合など、ユーザから肉 眼で確認しにくい被写体をはっきりと表示させることが望まれる。特に、上述したように 、走行している車の前面の画像を撮像して、撮像された画像をディスプレイに表示さ れるようになされて ヽる場合、広ダイナミックレンジで撮像された撮像画像信号から、 夜に黒い服を着た歩行者を運転者がはっきりと認識することができるような表示画像 を生成することが望まれる。そのため、切り出される領域を、周辺の明るさにより反射 光量が変更され、かつ定常的に同じものが撮像されると思われる領域とすることによ り、画面のちらつきを防止しつつ、運転者にとって必要な情報を運転者から認識しや す 、状態で表示させるようにすることが可能となる。
[0494] 図 52のフローチャートを参照して、図 51の階調割り当て決定部 411—5を含む画 像処理装置 381にお 、て実行される画像表示処理 11につ 、て説明する。
[0495] ステップ S401乃至ステップ S403において、図 50のステップ S371乃至ステップ S3 73と基本的に同様の処理が実行される。
[0496] すなわち、撮像部 391の光検出部 111は、撮像タイミング制御部 114から供給され る制御信号に同期して、蓄積した電荷を対数変換部 112に供給する。すなわち、撮 像された画像信号を取得する。対数変換部 112は、 MOSFETのサブスレツショルド特 性を利用して、光検出部 111から供給される電荷を画素ごとに電荷の数の対数にほ ぼ比例した電圧値に変換したアナログの電気信号を生成し、 AZD変換部 412に供 給するとともに、階調割り当て決定部 411— 4に供給する。階調割り当て決定部 411 —4の主要領域切り出し部 501は、対数変換部 112から供給された画像信号のうち、 例えば、図 22を用いて説明したような、予め設定されている画像領域を切り出し、切 り出した領域の画素を主要領域輝度平均値算出部 502に供給する。主要領域輝度 平均値算出部 502は、主要領域切り出し部 501から供給された切り出された領域の 画素の平均輝度を求め、算出結果を、主要領域輝度範囲設定部 452に供給する。
[0497] ステップ S404において、主要領域輝度範囲設定部 452は、主要領域輝度平均値 算出部 502から供給された、切り出された領域の画素の平均輝度を基に、主要領域 の輝度範囲を設定し、設定した主要領域の輝度範囲を、階調割り当て算出部 465、 高輝度領域輝度平均値算出部 461および、低輝度領域輝度平均値算出部 463〖こ 供給する。
[0498] そして、ステップ S405乃至ステップ S412において、図 47のステップ S334乃至ス テツプ S341と基本的に同等の処理が実行される。
[0499] すなわち、高輝度領域輝度平均値算出部 461は、対数変換部 112から供給された 画像信号のうち、主要領域の輝度範囲よりも明るい領域の平均輝度を求め、高輝度 領域輝度範囲設定部 462は、主要領域の輝度範囲よりも明るい領域の平均輝度を 基に、第 2の輝度領域の輝度範囲を設定し、設定した第 2の輝度領域の輝度範囲を 階調割り当て算出部 465に供給する。
[0500] そして、低輝度領域輝度平均値算出部 463は、対数変換部 112から供給された画 像信号のうち、主要領域の輝度範囲よりも暗い領域の平均輝度を求め、低輝度領域 輝度範囲設定部 464は、主要領域の輝度範囲よりも暗い領域の平均輝度を基に、 第 3の輝度領域の輝度範囲を設定し、設定した第 3の輝度領域の輝度範囲を階調割 り当て算出部 465に供給する。
[0501] そして、階調割り当て算出部 465は、設定された主要領域の輝度範囲、第 2の輝度 領域の輝度範囲、および、第 3の輝度領域の輝度範囲を基に、例えば、図 45を用い て説明したように、それぞれの領域における AZD変換の階調割り当てを決定し、 A ZD変換部 412に供給する。 AZD変換部 412は、階調割り当て算出部 465から供 給された階調割り当てに基づいて、対数変換部 112から供給されたアナログの電気 信号をデジタル信号に変換し、画像生成部 392に供給する。画像生成部 392は、供 給された画像信号に対して画像処理を施して（階調変換は行わな！/ヽ）、出力制御部 9 5に供給する。出力制御部 95は、画像処理後の画像データの画像利用装置 83への 出力を制御して、処理が終了される。
[0502] なお、ここでも、生成された画像を画像利用装置 83に出力させる処理について説 明したが、生成された画像を、表示制御部 94を介してディスプレイ 82に出力させて 表示させる場合には、ステップ S401乃至ステップ S410において基本的に同様の処 理が実行され、画像信号が表示制御部 94に供給されて、ディスプレイ 82において処 理可能な階調に変換されて出力され、その表示が制御される。
[0503] このような処理により、対数変換型撮像素子 401を用いた撮像部 391により撮像さ れ、 AZD変換された画像データには、 AZD変換部 412が有する限られた階調ステ ップ数が有効に配分されて ヽるので、撮像された画像が広ダイナミックレンジであつ ても、主要領域、第 2の輝度領域、および、第 3の輝度領域に対応する輝度範囲の部 分力 ユーザによってよりょく認識できるような、表示または印刷出力画像を得ること が可能となる。特に、動画像を表示させる場合に表示画像の明るさが頻繁にちらつく ことを防止したり、対象物の抽出のためのパラメータをそのつど変更せずに処理する ことが可能となる。
[0504] 更に、階調割り当て決定部 411にお ヽては、撮像された画像内の所定の領域を切 り出して、切り出された領域の画素を基に、 3つ以上の領域を設定するようにしても良 い。そして、階調割り当て決定部 411は、設定された領域と設定されていない領域に 割り当てられる階調ステップ数を異なるものとすることができる。
[0505] 次に、図 53は、図 36の階調割り当て決定部 411の構成の第 6の例である階調割り 当て決定部 411 - 6の構成を示すブロック図である。階調割り当て決定部 411— 6は 、撮像された画像内の所定の領域を切り出して、切り出された領域の画素を基に主 要領域の輝度範囲を設定し、主要領域の輝度範囲以外に、複数の輝度領域の対応 する輝度範囲を設定し、設定された複数の輝度範囲に対して、設定範囲外よりも多く の階調ステップ数を割り当てることができるようになされて 、る。
[0506] なお、図 48または図 49における場合と対応する部分には同一の符号を付してあり 、その説明は適宜省略する。
[0507] すなわち、図 53の階調割り当て決定部 411— 6は、図 49を用いて説明した場合と 同様の主要領域切り出し部 501および主要領域輝度平均値算出部 502が設けられ ているとともに、図 48を用いて説明した場合と同様の、主要領域輝度範囲設定部 45 2、第 2の輝度領域輝度平均値算出部 481、第 2の輝度領域輝度範囲設定部 482、 第 3の輝度領域輝度平均値算出部 483、第 3の輝度領域輝度範囲設定部 484、第 4 の輝度領域輝度平均値算出部 485、第 4の輝度領域輝度範囲設定部 486、および 、階調割り当て算出部 487が設けられている。
[0508] 図 53の階調割り当て決定部 411— 6は、図 49を用いて説明した階調割り当て決定 部 411—4と同様にして、撮像された画像内の所定の領域を切り出して、切り出され た領域の画素を基に主要領域の輝度範囲を設定するものであり、かつ、図 48を用い て説明した階調割り当て決定部 411— 3と同様にして、主要領域の輝度範囲以外に 、複数の輝度領域のそれぞれの輝度範囲を設定し、設定された複数の輝度範囲に 対して、設定範囲外よりも多くの階調ステップ数を割り当てることができるようになされ ている。
[0509] なお、図 53には、主要領域以外に、第 2乃至第 4の輝度領域を設定するための、 第 2の輝度領域輝度平均値算出部 481、第 2の輝度領域輝度範囲設定部 482、第 3 の輝度領域輝度平均値算出部 483、第 3の輝度領域輝度範囲設定部 484、第 4の 輝度領域輝度平均値算出部 485、および、第 4の輝度領域輝度範囲設定部 486が 図示されているが、階調割り当て決定部 411— 3には、更に、多くの輝度領域を設定 することができるように、他の輝度領域輝度平均値算出部および輝度領域輝度範囲 設定部を設けるようにしても良 、。
[0510] また、図 53の階調割り当て決定部 411— 6が実行する処理は、図 52を用いて説明 した画像表示処理 11の処理と基本的には同様であり、設定される領域数を増やした 場合に対応するので、その説明は省略する。
[0511] 以上説明した階調割り当て決定部 411— 1乃至階調割り当て決定部 411— 6は、 撮像された画像の全体、または、所定の部分の輝度の平均値を基に、主要領域を設 定するようになされていた。これに対して、撮像された画像に含まれる画素の輝度値 の分布を示すヒストグラムを作成し、これを解析することにより、複数の輝度範囲を設 定して、設定された輝度範囲に対して、設定範囲外よりも多くの階調ステップ数を割り 当てて AZD変換を行うことができることができるようにしても良 、。
[0512] 図 54は、図 36の階調割り当て決定部 411の構成の第 7の例である階調割り当て決 定部 411—7の構成を示すブロック図である。階調割り当て決定部 411—7は、撮像 された画像の各画素の輝度値のヒストグラムを解析し、解析結果を基に、複数の輝度 範囲を設定するようになされて ヽる。
[0513] 階調割り当て決定部 411—7は、ヒストグラム解析部 551、閾値比較処理部 552、複 数段階輝度範囲設定部 553、および、階調割り当て算出部 554により構成されてい る。
[0514] ヒストグラム解析部 551は、対数変換部 112から供給された画像信号を取得し、取 得された画像信号を基に、撮像された画像の各画素の輝度値の分布を示すヒストグ ラムを生成して解析し、解析結果を閾値比較処理部 552に供給する。
[0515] 閾値比較処理部 552は、ヒストグラム解析部 551から供給されたヒストグラムの解析 結果を基に、入力信号のそれぞれの輝度値に対応する画素の数を所定の閾値と比 較する。換言すれば、閾値比較処理部 552は、撮像された画像の輝度範囲のうち、 一定数以上の画素数を持つものを抽出する。閾値比較処理部 552は、閾値と比較し た結果、画素数が閾値以上であると判断された輝度値を示す情報を複数段階輝度 範囲設定部 553に供給する。
[0516] ここで、閾値は、実験的経験的に求められて予め設定されているものであっても、ュ 一ザにより適宜設定することが可能な値であっても良い。閾値が低く設定されすぎて しまった場合、ほとんどの情報が残ってしまうため、得られる画像は、例えば、図 10を 用いて説明した、対数変換型撮像素子 401を用いて撮像された広ダイナミクスレンジ の画像を、画像処理装置 381を用いて処理しない場合の表示画像のように、濃淡の 差がない (シャープさのない)画像となってしまう。一方、閾値が高く設定されすぎてし まった場合、情報の取りこぼしが多くなつてしまい、一部の輝度範囲のみが鮮明に表 示されて!/、る画像となってしまう可能性がある。
[0517] 複数段階輝度範囲設定部 553は、閾値比較処理部 552から供給される、画素数が 閾値以上であると判断された輝度値を基に、設定範囲外よりも多くの階調ステップ数 を割り当てる輝度範囲を複数設定し、設定された輝度範囲を、階調割り当て算出部 5 54に供給する。複数段階輝度範囲設定部 553により設定される輝度範囲の数は、 閾値比較処理部 552から供給される比較結果によって決まるが、例えば、その数の 上限を予め定めておくようにしても良 、。
[0518] 階調割り当て算出部 554は、対数変換部 112から供給された画像信号を取得して 、複数段階輝度範囲設定部 553から供給された、設定された輝度範囲の情報を基に 、 AZD変換部 412による AZD変換において、いずれの輝度範囲にどれだけの階 調ステップ数を割り当てるかを決定する。階調割り当て算出部 554は、例えば、図 38 、図 39、または、図 45を用いて説明した場合と基本的に同様にして、設定された輝 度領域の AZD変換の階調ステップ数の割り当てを、それ以外の輝度領域に割り当 てられる AZD変換の階調ステップ数よりも多くなるようにして、階調ステップ数の割り 当てを決定する。
[0519] 具体的には、階調割り当て決定部 411—7においては、図 55に示されるように、ヒス トグラム解析部 551により、撮像された画像の各画素の輝度値 (アナログ信号)の分 布を示すヒストグラムが解析されて、閾値比較処理部 552において閾値と比較され、 同一画像内（1フレーム内）に閾値以上の画素数を有する輝度が抽出される。そして 、抽出された輝度を基に、複数段階輝度範囲設定部 553において、複数の輝度範 囲が設定されて、階調割り当て算出部 554において、その範囲内に階調ステップ数 が優先的に割り当てられるように、 AZD変換の階調ステップ数の割り当てが算出さ れるので、設定された輝度範囲それぞれの輝度階調幅が充分与えられるようになさ れている。
[0520] 次に、図 56のフローチャートを参照して、図 54の階調割り当て決定部 411—7が用 V、られて 、る画像処理装置 381にお 、て実行される画像表示処理 12につ 、て説明 する。
[0521] ステップ S441において、撮像部 391の光検出部 111は、撮像タイミング制御部 11 4から供給される制御信号に同期して、蓄積した電荷を対数変換部 112に供給する。 すなわち、撮像された画像信号を取得する。対数変換部 112は、 MOSFETのサブス レツショルド特性を利用して、光検出部 111から供給される電荷を画素ごとに電荷の 数の対数にほぼ比例した電圧値に変換したアナログの電気信号を生成し、 AZD変 換部 412に供給するとともに、階調割り当て決定部 411— 7に供給する。
[0522] ステップ S442において、階調割り当て決定部 411— 7のヒストグラム解析部 551は 、対数変換部 112から供給された画像信号を基に、撮像された画像の各画素の輝度 の分布を示すヒストグラムを生成して解析し、解析結果を閾値比較処理部 552に供 給する。
[0523] ステップ S443において、閾値比較処理部 552は、ヒストグラム解析部 551から供給 されたヒストグラムの解析結果を基に、それぞれの入力信号の輝度値に対応する画 素数を所定の閾値と比較する。閾値比較処理部 552は、閾値と比較した結果、画素 数が閾値以上であると判断された輝度値を示す情報を複数段階輝度範囲設定部 55 3に供給する。
[0524] ステップ S444において、複数段階輝度範囲設定部 553は、閾値比較処理部 552 力も供給される、閾値以上であると判断された輝度値を基に、設定範囲外よりも多く の階調ステップ数を割り当てる輝度範囲を複数設定し、設定された輝度範囲を、階 調割り当て算出部 554に供給する
[0525] ステップ S445において、階調割り当て算出部 554は、複数段階輝度範囲設定部 5 53から供給された、設定された輝度範囲の情報を基に、例えば、図 38、図 39、また は、図 45を用いて説明した場合と基本的に同様にして、それぞれの領域における A ZD変換の階調割り当てを決定し、 AZD変換部 412に供給する。
[0526] ステップ S446において、 AZD変換部 412は、階調割り当て算出部 465から供給 された階調割り当てに基づいて、対数変換部 112から供給されたアナログの電気信 号をデジタル信号に変換し、画像生成部 392に供給する。
[0527] ステップ S447にお 、て、画像生成部 392は、供給された画像信号に対して画像処 理を施して（階調変換は行わない）、出力制御部 95に供給する。
[0528] ステップ S448において、出力制御部 95は、画像処理後の画像データの画像利用 装置 83への出力を制御して、処理が終了される。
[0529] なお、ここでも、生成された画像を画像利用装置 83に出力させる処理について説 明したが、生成された画像を、表示制御部 94を介してディスプレイ 82に出力させて 表示させる場合には、ステップ S441乃至ステップ S446にお!/、て基本的に同様の処 理が実行され、画像信号が表示制御部 94に供給されて、その表示が制御される。
[0530] このような処理により、対数変換型撮像素子 401を用いた撮像部 391により撮像さ れた画像データにおいて、広い輝度範囲に、離散的に、ユーザが必要とする画像情 報が存在するような場合であっても、図 54の階調割り当て決定部 411—7が用いられ ている画像処理装置 381を用いて画像を処理することにより、画像内の主な輝度分 布の範囲が検出されて、その範囲内に AZD変換における階調ステップ数が多く割り 当てられるので、広ダイナミックレンジで撮像された画像をユーザカゝら識別可能な状 態に表示させたり、または、各種処理を容易に実行させることができる。
[0531] 以上説明した階調割り当て決定部 411 1乃至階調割り当て決定部 411 7にお いては、撮像された画像を基に、多くの階調ステップ数が割り当てられる輝度領域が 設定されていた。これに対して、多くの階調ステップ数が割り当てられる輝度領域を 予め定めておいたり、ユーザからの操作入力により設定可能なようにしても良い。例 えば、撮像される画像の画角が固定であったり、一定の照明が被写体に照射される などして、撮像される画像のうち、ユーザが必要とする画像情報に対応する画素の輝 度領域が予め分力つている場合、多くの階調ステップ数が割り当てられる輝度領域を 予め定めておくことができる。これにより、処理を簡単にすることができ、装置のコスト を下げることが可能となる。
[0532] 図 57は、図 36の階調割り当て決定部 411の構成の第 8の例である階調割り当て決 定部 411—8の構成を示すブロック図である。階調割り当て決定部 411— 8は、多く の階調ステップ数が割り当てられる輝度領域が予め定められている場合に用いられ る。
[0533] 第 1の輝度領域輝度範囲設定部 581は、操作入力部 92から、第 1の輝度領域の輝 度範囲の設定値の入力を受ける力 または、図示しない記憶部に記憶されている第
1の輝度領域の設定値を取得し、第 1の輝度範囲の設定値を、階調割り当て算出部 487に供給する。
[0534] 第 2の輝度領域輝度範囲設定部 582は、操作入力部 92から、第 2の輝度領域の輝 度範囲の設定値の入力を受ける力 または、図示しない記憶部に記憶されている第 2の輝度領域の設定値を取得し、第 2の輝度領域の輝度範囲の設定値を、階調割り 当て算出部 487に供給する。
[0535] 第 3の輝度領域輝度範囲設定部 583は、操作入力部 92から、第 3の輝度領域の輝 度範囲の設定値の入力を受ける力 または、図示しない記憶部に記憶されている第 3の輝度領域の設定値を取得し、第 3の輝度領域の輝度範囲の設定値を、階調割り 当て算出部 487に供給する。
[0536] 階調割り当て算出部 487は、図 48の階調割り当て決定部 411— 3における場合と 基本的に同様の処理を実行するものであり、設定された複数の輝度範囲を基に、 A /D変換部 412による AZD変換において、いずれの輝度範囲にどれだけの階調ス テツプ数を割り当てるかを決定する。すなわち、階調割り当て算出部 487は、第 1の 輝度領域輝度範囲設定部 581、第 2の輝度領域輝度範囲設定部 582、および、第 3 の輝度領域輝度範囲設定部 583から供給された、第 1の輝度範囲、第 2の輝度領域 の輝度範囲、および第 3の輝度領域の輝度範囲の情報を基に、それぞれの輝度範 囲に割り当てられる AZD変換の階調ステップ数を決定する。
[0537] なお、図 57には、第 1乃至第 3の輝度領域の輝度範囲を設定するための、第 1の輝 度領域輝度範囲設定部 581、第 2の輝度領域輝度範囲設定部 582、および、第 3の 輝度領域輝度範囲設定部 583が図示されているが、階調割り当て決定部 411— 8に は、更に、多くの輝度領域の輝度範囲の設定を受けることができるように、他の輝度 領域輝度範囲設定部を設けるようにしても良 ヽ。
[0538] 次に、図 58のフローチャートを参照して、図 57の階調割り当て決定部 411— 8が用 V、られて 、る画像処理装置 381にお 、て実行される画像表示処理 13につ 、て説明 する。
[0539] ステップ S471において、操作入力部 92は、ユーザ力も複数の輝度範囲の設定値 の入力を受け、入力された設定値を、階調割り当て決定部 411 8に供給する。
[0540] ステップ S472において、撮像部 391の光検出部 111は、撮像タイミング制御部 11 4から供給される制御信号に同期して、蓄積した電荷を対数変換部 112に供給する。 すなわち、撮像された画像信号を取得する。対数変換部 112は、 MOSFETのサブス レツショルド特性を利用して、光検出部 111から供給される電荷を画素ごとに電荷の 数の対数にほぼ比例した電圧値に変換したアナログの電気信号を生成し、 AZD変 換部 412に供給するとともに、階調割り当て決定部 411— 8に供給する。
[0541] ステップ S473において、階調割り当て決定部 411— 8の第 1の輝度領域輝度範囲 設定部 581、第 2の輝度領域輝度範囲設定部 582、および、第 3の輝度領域輝度範 囲設定部 583は、操作入力部 92から供給された複数の輝度範囲の設定値を取得し 、階調割り当て算出部 487に供給する。
[0542] ステップ S474において、階調割り当て算出部 487は、第 1の輝度領域輝度範囲設 定部 581、第 2の輝度領域輝度範囲設定部 582、および、第 3の輝度領域輝度範囲 設定部 583から供給された複数の輝度範囲の設定値を基に、例えば、図 38、図 39、 または図 45を用いて説明したようにして、それぞれの領域における AZD変換の階 調割り当てを決定し、 AZD変換部 412に供給する。
[0543] ステップ S475において、 AZD変換部 412は、階調割り当て算出部 465から供給 された階調割り当てに基づいて、対数変換部 112から供給されたアナログの電気信 号をデジタル信号に変換し、画像生成部 392に供給する。
[0544] ステップ S476にお ヽて、画像生成部 392は、供給された画像信号に対して画像処 理を施して（階調変換は行わない）、出力制御部 95に供給する。
[0545] ステップ S477において、出力制御部 95は画像処理後の画像データの画像利用 装置 83への出力を制御して、処理が終了される。
[0546] なお、ここでも、生成された画像を画像利用装置 83に出力させる処理について説 明したが、生成された画像を、表示制御部 94を介してディスプレイ 82に出力させて 表示させる場合には、ステップ S471乃至ステップ S475〖こお!/、て基本的に同様の処 理が実行され、画像信号が表示制御部 94に供給されて、その表示が制御される。
[0547] また、ここでは、操作入力部 92から、それぞれの輝度領域の輝度範囲の設定値の 入力を受けるものとして説明した力 それぞれの輝度領域の輝度範囲があら力じめ 図示しな!、記憶部に記憶されて 、る場合、記憶されて 、る輝度領域の設定値を取得 するものとしてもよ 、ことは言うまでもな 、。
[0548] このような処理により、対数変換型撮像素子 401を用いて撮像された広ダイナミック レンジの撮像画像データのうち、ユーザが必要とする画像情報に対応する画素の輝 度領域が予め分力つているのであれば、多くの階調ステップ数が割り当てられる輝度 領域を予め定めておくことにより、簡単な処理で、ユーザが必要とする画像情報を、 ユーザ力 識別可能な状態に表示させたり、または、印刷、画像認識、記録、または
、送信などの各種処理の実行に好適な画像データを生成することができ、更に、装 置のコストを下げることが可能となる。
[0549] また、予め定められた輝度領域の中で、撮像された画像に含まれる画素の輝度値 の分布を示すヒストグラムを解析し、定められた輝度範囲のうち、一定数以上の画素 数を持つ輝度を抽出し、抽出結果を基に、多くの階調ステップ数が割り当てられる輝 度領域を定めることができるようにしても良 、。
[0550] 図 59は、図 36の階調割り当て決定部 411の構成の第 9の例である階調割り当て決 定部 411—9の構成を示すブロック図である。階調割り当て決定部 411—9は、予め 定められた輝度領域の中で、ヒストグラム解析により一定数以上の画素数を持つ輝度 を抽出し、抽出結果を基に、多くの階調ステップ数が割り当てられる輝度領域を定め るようになされている。
[0551] なお、図 54または図 57における場合と対応する部分には同一の符号を付してあり 、その説明は適宜省略する。
[0552] すなわち、図 59の階調割り当て決定部 411— 9は、図 57を用いて説明した階調割 り当て決定部 411— 8の第 1の輝度領域輝度範囲設定部 581、第 2の輝度領域輝度 範囲設定部 582、および、第 3の輝度領域輝度範囲設定部 583、並びに、階調割り 当て算出部 487を備えている。更に、階調割り当て決定部 411—9には、それぞれか ら出力される輝度範囲の設定値を基に、ヒストグラムを解析して所定の閾値と比較す るために、図 54を用いて説明した階調割り当て決定部 411— 7に備えられて 、たヒス トグラム解析部 551および閾値比較処理部 552と同様の処理を実行することができる 、ヒストグラム解析部 551— 1乃至 251— 3および閾値比較処理部 552— 1乃至 252 3が設けられている。
[0553] 具体的には、階調割り当て決定部 411—9においては、図 60に示されるように、第 1の輝度領域輝度範囲設定部 581により設定される第 1の範囲、第 2の輝度領域輝 度範囲設定部 582により設定される第 2の範囲、および、第 3の輝度領域輝度範囲 設定部 583により設定される第 3の範囲内のそれぞれにおいて、ヒストグラム解析部 5 51— 1乃至 251— 3により、撮像された画像の各画素の輝度値のヒストグラムが解析 されて、閾値比較処理部 552— 1乃至 252— 3において閾値と比較され、所定の閾 値以上の画素数を有する輝度が抽出される。
[0554] すなわち、第 1の範囲、第 2の範囲、および、第 3の範囲以外の輝度範囲において 、閾値より多い画素数を有する輝度が存在しても、その輝度は、階調ステップ数が優 先的に割り当てられる輝度範囲には設定されない。
[0555] そして、抽出された輝度を基に、階調割り当て算出部 487において、その範囲内の 画素に階調ステップ数が優先的に割り当てられて、階調ステップの割り当てに基づい て AZD変換が実行されるようになされて ヽる。
[0556] 例えば、撮像される画像の画角が固定であったり、一定の照明が被写体に照射さ れるなどして、撮像される画像のうち、ユーザが必要とする画像情報に対応する画素 の輝度領域が予め分力つている力 例えば、時間によって、ユーザが必要とする画 像情報に対応する画素の輝度領域が、何パターンかに変化するような場合、同じ輝 度領域でも、昼には多くの情報を有し、夕方にはほとんど情報を有していなカゝつたり、 夕方や夜間には多くの情報を有する力 朝や昼には、ほとんど情報を有していないこ とがある。
[0557] このような場合、ユーザが必要とする画像情報を含む可能性のある全ての輝度領 域を予め設定しておいても、ヒストグラム解析と閾値との比較を実行することにより、必 要な情報を有していない輝度領域に、階調ステップ数が優先的に割り当てられること を避けることが可能となる。
[0558] 次に、図 61のフローチャートを参照して、図 59の階調割り当て決定部 411—9が用 V、られて 、る画像処理装置 381にお 、て実行される画像表示処理 14につ 、て説明 する。
[0559] ステップ S501において、操作入力部 92は、ユーザ力も複数の輝度範囲の設定値 の入力を受け、入力された設定値を、階調割り当て決定部 411 9に供給する。
[0560] ステップ S502において、撮像部 391の光検出部 111は、撮像タイミング制御部 11 4から供給される制御信号に同期して、蓄積した電荷を対数変換部 112に供給する。 すなわち、撮像された画像信号を取得する。対数変換部 112は、 MOSFETのサブス レツショルド特性を利用して、光検出部 111から供給される電荷を画素ごとに電荷の 数の対数にほぼ比例した電圧値に変換したアナログの電気信号を生成し、 AZD変 換部 412に供給するとともに、階調割り当て決定部 411— 9に供給する。
[0561] ステップ S503において、階調割り当て決定部 411—9の第 1の輝度領域輝度範囲 設定部 581、第 2の輝度領域輝度範囲設定部 582、および、第 3の輝度領域輝度範 囲設定部 583は、操作入力部 92から供給された複数の輝度範囲の設定値を取得し 、ヒストグラム解析部 551— 1乃至 251— 3にそれぞれ供給する。
[0562] ステップ S504において、ヒストグラム解析部 551— 1乃至 251— 3は、対数変換部 1 12から供給された画像信号を基に、図 60を用いて説明したように、撮像された画像 の第 1乃至第 3の範囲内の輝度値の分布を示すヒストグラムをそれぞれ生成して解析 し、解析結果を閾値比較処理部 552—1乃至 252— 3に供給する。
[0563] ステップ S505において、閾値比較処理部 552— 1乃至 252— 3は、ヒストグラム解 析部 551— 1乃至 251— 3から供給された第 1乃至第 3の範囲内のヒストグラムの解 析結果を基に、それぞれの入力信号の輝度値に対応する画素数を所定の閾値と比 較する。閾値比較処理部 552—1乃至 252— 3は、閾値と比較した結果、画素数が 閾値以上であると判断された輝度値を、階調割り当て算出部 487に供給する。
[0564] ステップ S506において、階調割り当て算出部 487は、閾値比較処理部 552— 1乃 至 252— 3から供給された輝度値を基に、多くの階調ステップ数が割り当てられる輝 度範囲を設定する。
[0565] ステップ S507において、階調割り当て算出部 487は、例えば、図 38、図 39、また は図 45を用いて説明したようにして、それぞれの領域における AZD変換の階調割り 当てを決定し、 AZD変換部 412に供給する。 [0566] ステップ S508において、 AZD変換部 412は、階調割り当て算出部 465から供給 された階調割り当てに基づいて、対数変換部 112から供給されたアナログの電気信 号をデジタル信号に変換し、画像生成部 392に供給する。
[0567] ステップ S509にお 、て、画像生成部 392は、供給された画像信号に対して画像処 理を施して（階調変換は行わない）、出力制御部 95に供給する。
[0568] ステップ S510において、出力制御部 95は、画像処理後の画像データの画像利用 装置 83への出力を制御して、処理が終了される。
[0569] なお、ここでも、生成された画像を画像利用装置 83に出力させる処理について説 明したが、生成された画像を、表示制御部 94を介してディスプレイ 82に出力させて 表示させる場合には、ステップ S501乃至ステップ S508において基本的に同様の処 理が実行され、画像信号が表示制御部 94に供給されて、ディスプレイ 82において処 理可能な階調に変換されて出力され、その表示が制御される。
[0570] また、ここでは、操作入力部 92から、それぞれの輝度領域の輝度範囲の設定値の 入力を受けるものとして説明した力 それぞれの輝度領域の輝度範囲があら力じめ 図示しな!、記憶部に記憶されて 、る場合、記憶されて 、る輝度領域の設定値を取得 するものとしてもよ 、ことは言うまでもな 、。
[0571] このような処理により、例えば、時間によって、ユーザが必要とする画像情報に対応 する画素の輝度領域が、何パターンかに変化するような場合、具体的には、同じ輝 度領域でも、昼には多くの情報を有し、夕方にはほとんど情報を有していなカゝつたり、 夕方や夜間には多くの情報を有する力 朝や昼には、ほとんど情報を有していない 場合であっても、ユーザが必要とする画像情報を含む可能性のある全ての輝度領域 を予め設定して、ヒストグラム解析と閾値との比較を実行することにより、必要な情報 を有していない輝度領域に、階調ステップ数が優先的に割り当てられることを避けて 、AZD変換における階調ステップ数を効率よく割り当てることが可能となる。
[0572] 以上説明したように、階調割り当て決定部 411が用いられている画像処理装置 381 においては、対数変換型撮像素子 401により撮像された画像データにおいて、広い 輝度範囲にユーザが必要とする画像情報が存在するような場合であっても、 AZD変 換における階調ステップ数を効率よく割り当てることにより、 AZD変換における階調 ステップ数が予め限られている場合であっても、ユーザが必要とする情報 (例えば、 喑 、中の黒 、物体や、喑 、ものと同一の画各内に存在する明る 、部分など）を識別 可能な状態に表示させたり、印刷、画像認識、記憶、送信などの各種処理に用いて 好適な画像データを生成することができる。
[0573] すなわち、以上説明した画像処理を行うことで、表示または印刷出力された画像に お 、て、ユーザが見やす 、ように輝度が圧縮された画像データを得ることができる。 このようにして得られる画像データは、必要な輝度範囲に割り当てられる階調数を極 端に減少させることなく輝度圧縮が行われた広ダイナミックレンジ画像データであり、 画像利用装置 83においても扱いやすいものとなる。輝度圧縮とは、画像データの輝 度値の階調数 (階調ステップ数)を減少させることである。
[0574] 輝度階調のステップ数が、 ^^度領域にお ヽて一定の比率で減少された場合、表 示または印刷出力したときの画像の濃淡差がなくなってしまったり、 2値化や所定対 象物の検出などの一般的な画像処理が困難となってしまう。しかしながら、所定の処 理により設定された輝度範囲に、輝度範囲外よりも多くの階調が割り当てられるように して、設定された輝度範囲の階調解像度を維持することができるようにし、一方、設 定されていない輝度範囲に対して、階調ステップ数をまったぐまたは、ほとんど割り 当てないようにして、画像データ全体としては、階調数を減少させるようにした。このた め、本発明が適用された画像変換処理が実行されることにより、例えば、ユーザが認 識すべき輝度領域部分が充分な濃淡差を持って表示または印刷出力されたり、また は、各種画像処理において、 2値化の閾値を容易に決定したり、画像を基に所定対 象物を容易に検出することなどが可能となる。
[0575] また、例えば、画像の内容が認識できれば十分であるような処理が実行されることを 目的として画像が記録または送信される場合において、広ダイナミックレンジ画像デ ータは、利用されることがない情報まで含む非常に巨大なデータであり、このようなデ ータを扱うことは、効率が悪い。
[0576] これに対して、本発明によれば、処理対象となる被写体が、乖離した輝度領域に分 散しているような場合にも、輝度圧縮が行われて、人が見たときに通常の画像として みても、従来の撮像素子で狭い輝度範囲を撮影したときと同様に、人間の目で観察 して全く違和感のない画像が得られるので、例えば、従来の画像認識装置をそのま まの処理プロセスにて適用することができる。
[0577] また、本発明によれば、画像の内容が認識可能な状態で輝度圧縮されるので、不 必要な情報を含む巨大なデータを記録または送信することを防止することが可能とな る。
[0578] また、例えば、センサ等の他の手段を用いて、昼と夜などの撮像環境の状態が判定 できる場合には、画像処理装置 381には、対象の状態に応じて異なるパターンで輝 度範囲を設定することが望ましい。例えば、昼は比較的明るい領域に多くの輝度を割 り当て、夜は低輝度、中央の輝度、高輝度領域に平均的に割り当てるようにすれば、 輝度圧縮率を高めることができる。
[0579] 更に、本発明の方法で得られた画像は階調が自然に見えるように圧縮されたもの であるため、従来の JPEGや MPEGなどの一般的な静止画 Z動画圧縮方法をその まま適用することができる。結果として、非常に高い圧縮率を得ることができる。
[0580] 上述した一連の処理は、ソフトウェアにより実行することもできる。そのソフトウェアは 、そのソフトウェアを構成するプログラム力 専用のハードウェアに組み込まれている コンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行 することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体力もインス トールされる。この場合、例えば、図 2を用いて説明した画像処理装置 81のすベて、 または、一部（例えば、画像生成部 93および表示制御部 94)は、図 62に示されるよう なパーソナルコンピュータ 301により構成される。
[0581] 図 62において、 CPU (Central Processing Unit) 311は、 ROM (Read Only Memor y) 312に記憶されているプログラム、または記憶部 318から RAM (Random Access M emory) 313にロードされたプログラムにしたがって、各種の処理を実行する。 RAM3 13にはまた、 CPU311が各種の処理を実行する上にぉ 、て必要なデータなども適 宜記憶される。
[0582] CPU311、 ROM312、および RAM313は、バス 314を介して相互に接続されて いる。このバス 314にはまた、入出力インタフェース 315も接続されている。
[0583] 入出力インタフェース 315には、キーボード、マウスなどよりなる入力部 316、デイス プレイやスピーカなどよりなる出力部 317、ハードディスクなどより構成される記憶部 3 18、モデム、ターミナルアダプタなどより構成される通信部 319が接続されている。通 信部 319は、インターネットを含むネットワークを介しての通信処理を行う。
[0584] 入出力インタフェース 315にはまた、必要に応じてドライブ 320が接続され、磁気デ イスク 331、光ディスク 332、光磁気ディスク 333、もしくは、半導体メモリ 334などが適 宜装着され、それら力 読み出されたコンピュータプログラムが、必要に応じて記憶 部 318にインス卜一ノレされる。
[0585] 一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプ ログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプ ログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用 のパーソナルコンピュータなどに、ネットワークや記録媒体力 インストールされる。
[0586] この記録媒体は、図 62に示されるように、装置本体とは別に、ユーザにプログラム を供給するために配布される、プログラムが記憶されている磁気ディスク 331 (フロッ ピディスクを含む）、光ディスク 332 (CD- ROM (Compact Disk-Read Only Memory) , DVD (Digital Versatile Disk)を含む）、光磁気ディスク 333 (MD (Mini- Disk) (商標 )を含む）、もしくは半導体メモリ 334などよりなるノ ッケージメディアにより構成される だけでなぐ装置本体に予め組み込まれた状態でユーザに供給される、プログラムが 記憶されて ヽる ROM312や、記憶部 318に含まれるハードディスクなどで構成され る。
[0587] また、本明細書にぉ 、て、記録媒体に記録されるプログラムを記述するステップは、 記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に 処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
[0588] また、本明細書において、 1つの装置が実行する処理力 複数の装置によって実現 される場合であっても、本発明は適用可能であることは言うまでもない。

Claims

請求の範囲
[1] 入射光量の対数にほぼ比例した画素値により構成される画像信号を取得する取得 手段と、
前記取得手段により取得された前記画像信号の全輝度範囲のうち、所定の輝度範 囲を設定する輝度範囲設定手段と、
前記輝度範囲設定手段により設定された前記所定の輝度範囲に、前記輝度範囲 外よりも多くの階調が割り当てられるように、前記取得手段により取得された前記画像 信号を変換する変換手段と
を備えることを特徴とする画像処理装置。
[2] 前記輝度範囲設定手段は、前記所定の輝度範囲を複数設定する
ことを特徴とする請求項 1に記載の画像処理装置。
[3] 前記取得手段により取得された前記画像信号の全輝度範囲の画像信号を AZD 変換する AZD変換手段を更に備え、
前記変換手段は、前記 AZD変換手段によりデジタル信号に変換された前記画像 信号を変換する
ことを特徴とする請求項 1に記載の画像処理装置。
[4] 前記変換手段は、前記 AZD変換手段によりデジタル信号に変換された前記画像 信号に含まれる画素の輝度の階調数より、変換後の輝度の階調数が減少するよう〖こ 、前記取得手段により取得された前記画像信号を変換する
ことを特徴とする請求項 3に記載の画像処理装置。
[5] 前記変換手段により変換された前記画像信号の輝度の階調数を、所定の外部装 置が処理可能な階調数に変換するとともに、変換後の前記画像信号の前記外部装 置への出力を制御する出力制御手段
を更に備えることを特徴とする請求項 4に記載の画像処理装置。
[6] 前記変換手段は、
取得手段により取得された前記画像信号を AZD変換する AZD変換手段と、 前記 AZD変換手段による AZD変換における階調ステップ数を決定する決定手 段と を更に備え、
前記決定手段は、前記輝度範囲設定手段により設定された前記所定の輝度範囲 に、前記輝度範囲外よりも多くの階調が割り当てられるように、 AZD変換における階 調ステップ数を決定し、
前記 AZD変換手段は、前記決定手段により決定された前記階調ステップ数に基 づいて、前記前記画像信号を AZD変換する
ことを特徴とする請求項 1に記載の画像処理装置。
[7] 前記画像信号は、半導体のサブスレツショルド特性を利用して、入射光量の対数に ほぼ比例した画素値を出力する対数変換型の撮像素子により撮像されたものである ことを特徴とする請求項 1に記載の画像処理装置。
[8] 入射光量の対数にほぼ比例した画素値である、撮像された画像信号を処理する画 像処理装置の画像処理方法にぉ 、て、
前記画像信号を取得する取得ステップと、
前記取得ステップの処理により取得された前記画像信号の全輝度範囲のうち、所 定の輝度範囲を設定する輝度範囲設定ステップと、
前記輝度範囲設定ステップの処理により設定された前記所定の輝度範囲に、前記 輝度範囲外よりも多くの階調が割り当てられるように、前記取得ステップの処理により 取得された前記画像信号に含まれる画素の輝度を変換する変換ステップと
を含むことを特徴とする画像処理方法。
[9] 入射光量の対数にほぼ比例した画素値である、撮像された画像信号の処理をコン ピュータに実行させるためのプログラムであって、
前記画像信号の取得を制御する取得制御ステップと、
前記取得制御ステップの処理により取得が制御された前記画像信号の全輝度範囲 のうち、所定の輝度範囲を設定する輝度範囲設定ステップと、
前記輝度範囲設定ステップの処理により設定された前記所定の輝度範囲に、前記 輝度範囲外よりも多くの階調が割り当てられるように、前記取得制御ステップの処理 により取得が制御された前記画像信号に含まれる画素の輝度を変換する変換ステツ プと を含むことを特徴とする処理をコンピュータに実行させるためのプログラム。
[10] 請求項 9に記載のプログラムを記録した記録媒体。
[11] 入射光量の対数にほぼ比例した画素値を出力する撮像素子により撮像された画像 信号を処理する画像処理装置と、
前記画像処理装置により処理された前記画像信号を利用した処理を実行する情報 処理装置と
により構成される、画像処理システムであって、
前記画像処理装置は、
前記撮像素子により撮像された画像信号を取得する取得手段と、
前記取得手段により取得された前記画像信号の輝度範囲のうち、複数の輝度範 囲を設定する輝度範囲設定手段と、
前記輝度範囲設定手段により設定された前記所定の輝度範囲に、前記輝度範囲 外よりも多くの階調が割り当てられ、かつ、前記取得手段により取得された前記画像 信号に含まれる画素の輝度の階調数より、輝度の階調数が減少するように、前記取 得手段により取得された前記画像信号を変換する変換手段と、
前記変換手段により変換された前記画像信号の輝度の階調数を、前記情報処理 装置が処理可能な階調数に変換するとともに、変換後の前記画像信号の前記情報 処理装置への出力を制御する出力制御手段と
を備えることを特徴とする画像処理システム。
[12] 入射光量の対数にほぼ比例した画素値を出力する前記撮像素子を用いて撮像を 行う撮像装置
を更に備えることを特徴とする請求項 11に記載の画像処理システム。
[13] 入射光量の対数にほぼ比例した画素値である、撮像された画像信号を処理する画 像処理装置と、
前記画像処理装置により処理された前記画像信号を利用した処理を実行する情報 処理装置と
により構成される、画像処理システムであって、
前記画像処理装置は、 前記画像信号を取得する取得手段と、
前記取得手段により取得された前記画像信号の全輝度範囲のうち、所定の輝度 範囲を設定する輝度範囲設定手段と、
取得手段により取得された前記画像信号を AZD変換する AZD変換手段と、 前記 AZD変換手段による AZD変換における階調ステップ数を決定する決定手 段と、
前記 AZD変換手段により変換された前記画像信号の前記情報処理装置への出 力を制御する出力制御手段と
を備え、
前記決定手段は、前記輝度範囲設定手段により設定された前記所定の輝度範囲 に、前記輝度範囲外よりも多くの階調が割り当てられるように、 AZD変換における階 調ステップ数を決定し、
前記 AZD変換手段は、前記決定手段により決定された前記階調ステップ数に基 づいて、前記前記画像信号を AZD変換する
ことを特徴とする画像処理システム。
PCT/JP2006/305117 2005-03-15 2006-03-15 画像処理装置および画像処理方法、画像処理システム、プログラム、並びに、記録媒体 WO2006098360A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP06729138A EP1871093A4 (en) 2005-03-15 2006-03-15 IMAGE PROCESSOR, IMAGE PROCESSING METHOD AND SYSTEM, PROGRAM, AND RECORDING MEDIUM
JP2007508177A JP5182555B2 (ja) 2005-03-15 2006-03-15 画像処理装置および画像処理方法、画像処理システム、プログラム、並びに、記録媒体
US11/908,955 US20090051794A1 (en) 2005-03-15 2006-03-15 Image processing apparatus, image processing method, image processing system, program and recording medium
CN2006800086218A CN101142810B (zh) 2005-03-15 2006-03-15 图像处理装置和图像处理方法、图像处理系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005072840 2005-03-15
JP2005-072840 2005-03-15

Publications (1)

Publication Number Publication Date
WO2006098360A1 true WO2006098360A1 (ja) 2006-09-21

Family

ID=36991702

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/305117 WO2006098360A1 (ja) 2005-03-15 2006-03-15 画像処理装置および画像処理方法、画像処理システム、プログラム、並びに、記録媒体

Country Status (5)

Country Link
US (1) US20090051794A1 (ja)
EP (1) EP1871093A4 (ja)
JP (1) JP5182555B2 (ja)
CN (1) CN101142810B (ja)
WO (1) WO2006098360A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009177309A (ja) * 2008-01-22 2009-08-06 Fuji Heavy Ind Ltd 撮像手段の調整装置および車外監視装置
WO2013153848A1 (ja) * 2012-04-13 2013-10-17 株式会社デンソー 画像処理装置及び方法
JP2014518030A (ja) * 2011-04-28 2014-07-24 コーニンクレッカ フィリップス エヌ ヴェ Ｈｄｒ画像を符号化及び復号化するための装置及び方法
WO2014181743A1 (ja) * 2013-05-07 2014-11-13 株式会社デンソー 画像処理装置及び画像処理方法
JP2018037061A (ja) * 2016-09-01 2018-03-08 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 自律走行車両のためのビジョンセンサの制御方法及び装置

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5223675B2 (ja) * 2006-08-18 2013-06-26 日本電気株式会社 車両検知装置，車両検知方法並びに車両検知プログラム
JP4961982B2 (ja) * 2006-12-07 2012-06-27 ソニー株式会社 固体撮像装置、固体撮像装置の駆動方法および撮像装置
JP5439197B2 (ja) * 2010-01-15 2014-03-12 オリンパスイメージング株式会社 撮像装置、撮像方法、および、撮像プログラム
CN101867721B (zh) * 2010-04-15 2012-07-04 青岛海信网络科技股份有限公司 宽动态图像的实现方法、实现装置及成像设备
JP2012044382A (ja) * 2010-08-18 2012-03-01 Sony Corp 映像データ処理装置、コントラスト補正方法
CN102497490B (zh) * 2011-12-16 2014-08-13 上海富瀚微电子有限公司 实现图像高动态范围压缩的系统及其方法
CN103182985B (zh) * 2011-12-27 2016-08-17 大陆汽车电子(长春)有限公司 利用图像处理装置的车辆安全装置和车辆安全控制方法
KR101889932B1 (ko) * 2012-07-25 2018-09-28 삼성전자주식회사 촬영 장치 및 이에 적용되는 촬영 방법
JPWO2015049899A1 (ja) * 2013-10-01 2017-03-09 オリンパス株式会社 画像表示装置および画像表示方法
JP6414386B2 (ja) * 2014-03-20 2018-10-31 株式会社島津製作所 画像処理装置および画像処理プログラム
US10453214B2 (en) * 2015-01-22 2019-10-22 Mitsubishi Electric Corporation Image capturing device and method, program, and record medium to perform exposure control based on the brightness in an attention area corresponding to a detected object
JP6390512B2 (ja) * 2015-05-21 2018-09-19 株式会社デンソー 車載カメラ装置
JP6700731B2 (ja) * 2015-11-13 2020-05-27 キヤノン株式会社 投影装置および投影システム
JP6789877B2 (ja) * 2017-04-28 2020-11-25 キヤノン株式会社 情報処理装置、画像処理システム、制御システム及び情報処理方法
JP7069751B2 (ja) * 2018-01-29 2022-05-18 カシオ計算機株式会社 印刷装置
CN108805834A (zh) * 2018-05-28 2018-11-13 电子科技大学 一种内窥镜自动调光的图像处理算法
US10991082B2 (en) * 2019-08-22 2021-04-27 Mikhail Dichenko Determining an optimality coefficient of an image
US11341621B2 (en) * 2020-03-04 2022-05-24 GM Global Technology Operations LLC Enhanced imaging system for a motor vehicle

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09224174A (ja) * 1996-01-18 1997-08-26 Samsung Electron Co Ltd 積分ルックアップテーブルを用いる適応型ガンマ補正装置
JP2001245214A (ja) * 2000-02-28 2001-09-07 Minolta Co Ltd 固体撮像装置
JP2002077619A (ja) * 2000-09-01 2002-03-15 Rohm Co Ltd 画像処理装置
JP2002132243A (ja) * 2000-10-27 2002-05-09 Sony Corp 画像処理装置および方法、並びに記録媒体
JP2002217733A (ja) * 2001-01-24 2002-08-02 Fujitsu Kiden Ltd Ａ／ｄ変換器、映像表示装置及びａ／ｄ変換方法
JP2004221644A (ja) * 2003-01-09 2004-08-05 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5249241A (en) * 1991-07-09 1993-09-28 The United States Of America As Represented By The Secretary Of The Air Force Real-time automated scene display for infrared cameras
DE4209536C3 (de) * 1992-03-24 2000-10-05 Stuttgart Mikroelektronik Bildzelle für einen Bildaufnehmer-Chip
EP1152604A1 (en) * 2000-04-24 2001-11-07 Pulnix America, Inc. Video glare reduction
TW565684B (en) * 2001-02-14 2003-12-11 Honda Motor Co Ltd Welding state monitoring device
GB0110748D0 (en) * 2001-05-02 2001-06-27 Apical Ltd Image enhancement methods and apparatus therefor

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09224174A (ja) * 1996-01-18 1997-08-26 Samsung Electron Co Ltd 積分ルックアップテーブルを用いる適応型ガンマ補正装置
JP2001245214A (ja) * 2000-02-28 2001-09-07 Minolta Co Ltd 固体撮像装置
JP2002077619A (ja) * 2000-09-01 2002-03-15 Rohm Co Ltd 画像処理装置
JP2002132243A (ja) * 2000-10-27 2002-05-09 Sony Corp 画像処理装置および方法、並びに記録媒体
JP2002217733A (ja) * 2001-01-24 2002-08-02 Fujitsu Kiden Ltd Ａ／ｄ変換器、映像表示装置及びａ／ｄ変換方法
JP2004221644A (ja) * 2003-01-09 2004-08-05 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1871093A4 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009177309A (ja) * 2008-01-22 2009-08-06 Fuji Heavy Ind Ltd 撮像手段の調整装置および車外監視装置
JP2014518030A (ja) * 2011-04-28 2014-07-24 コーニンクレッカ フィリップス エヌ ヴェ Ｈｄｒ画像を符号化及び復号化するための装置及び方法
JP2014519730A (ja) * 2011-04-28 2014-08-14 コーニンクレッカ フィリップス エヌ ヴェ Ｈｄｒ画像を符号化及び復号するための装置及び方法
WO2013153848A1 (ja) * 2012-04-13 2013-10-17 株式会社デンソー 画像処理装置及び方法
JP2013222261A (ja) * 2012-04-13 2013-10-28 Denso Corp 画像処理装置
US9396527B2 (en) 2012-04-13 2016-07-19 Denso Corporation Image processing device and method
WO2014181743A1 (ja) * 2013-05-07 2014-11-13 株式会社デンソー 画像処理装置及び画像処理方法
JP2014219790A (ja) * 2013-05-07 2014-11-20 株式会社デンソー 画像処理装置及び画像処理方法
US9800881B2 (en) 2013-05-07 2017-10-24 Denso Corporation Image processing apparatus and image processing method
JP2018037061A (ja) * 2016-09-01 2018-03-08 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 自律走行車両のためのビジョンセンサの制御方法及び装置

Also Published As

Publication number Publication date
CN101142810A (zh) 2008-03-12
US20090051794A1 (en) 2009-02-26
EP1871093A4 (en) 2009-09-02
CN101142810B (zh) 2010-09-01
JP5182555B2 (ja) 2013-04-17
JPWO2006098360A1 (ja) 2008-08-28
EP1871093A1 (en) 2007-12-26

Similar Documents

Publication Publication Date Title
JP5182555B2 (ja) 画像処理装置および画像処理方法、画像処理システム、プログラム、並びに、記録媒体
JP4835593B2 (ja) 画像処理装置および画像処理方法、プログラム、並びに、記録媒体
JP4985394B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
JP4678487B2 (ja) 画像処理システム、画像処理装置および方法、記録媒体、並びにプログラム
JP4766302B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP4372747B2 (ja) 輝度レベル変換装置、輝度レベル変換方法、固体撮像装置、輝度レベル変換プログラム、および記録媒体
KR101353052B1 (ko) 교통표지판 인식을 위한 차량용 영상인식시스템
JPWO2006109398A1 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
KR20090127602A (ko) 엔트로피를 이용한 영상 획득 방법 및 장치
JP6740866B2 (ja) 画像出力装置
WO2007074659A1 (ja) 映像信号処理方法および映像信号処理装置
US10091422B2 (en) Image processing device and recording medium
CN110047060B (zh) 图像处理方法、装置、存储介质及电子设备
JP6531542B2 (ja) 画像処理システム、画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体
JP2006237851A (ja) 画像入力装置
KR20160143419A (ko) 영상 데이터의 제어 방법 및 장치
JP2020071809A (ja) 画像処理装置および画像処理方法
CN112822413A (zh) 拍摄预览方法、装置、终端和计算机可读存储介质
JP2016173777A (ja) 画像処理装置
JP4304610B2 (ja) カメラ式車両感知器における画面の輝度調整方法及び装置
JP2005148309A (ja) 白線検出用カメラの露出制御装置
JP2007249568A (ja) 画像処理装置および方法、記録媒体、並びに、プログラム
JP2009044451A (ja) 画像処理装置、車載用画像処理装置および車載用画像処理方法
JP2023130999A (ja) 撮像システム、撮像システム制御方法、及びプログラム
JPH11337998A (ja) 画像処理装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200680008621.8

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application
DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
WWE Wipo information: entry into national phase

Ref document number: 11908955

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2006729138

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: RU

WWP Wipo information: published in national office

Ref document number: 2006729138

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2007508177

Country of ref document: JP

Kind code of ref document: A