WO2025258476A1 - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法

Info

Publication number
WO2025258476A1
WO2025258476A1 PCT/JP2025/020201 JP2025020201W WO2025258476A1 WO 2025258476 A1 WO2025258476 A1 WO 2025258476A1 JP 2025020201 W JP2025020201 W JP 2025020201W WO 2025258476 A1 WO2025258476 A1 WO 2025258476A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
region
image data
image
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2025/020201
Other languages
English (en)
French (fr)
Inventor
智己 湯野
尚 米山
泰輝 佐藤
邦彦 江平
勝俊 安藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of WO2025258476A1 publication Critical patent/WO2025258476A1/ja
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement

Definitions

  • This disclosure relates to an image processing device and an image processing method.
  • HDR High Dynamic Range
  • Patent Document 1 Local tone mapping processing has been proposed, which adjusts the compression rate according to the contrast of each pixel, improving the reproducibility of contrast in light and dark areas (see Patent Document 1).
  • Patent Document 1 a gamma curve calculated based on the histogram of each local area is used to correct the image data to the optimal contrast for shape measurement, and bit compression is also performed.
  • Patent Document 1 requires a circuit to generate a histogram, and generating the histogram also requires a large amount of memory. For this reason, it is difficult to implement the method described in Patent Document 1 in a solid-state imaging device such as an image sensor.
  • This disclosure therefore provides an image processing device and image processing method that can reduce circuit size and improve measurement accuracy.
  • an image pickup apparatus comprising: a plurality of pixels each outputting a pixel signal including luminance information corresponding to the amount of incident light; an image generating unit that generates image data having uniform brightness regardless of local brightness differences between pixels based on the brightness information of the plurality of pixels, An image processing device is provided.
  • a method for detecting an image of an object comprising: detecting an image of an object to be detected by the image sensor based on an image of the object to be detected; an image generating unit that generates at least two types of image data from two or more types of image data that are generated by performing different image processing based on the luminance information of the plurality of pixels, and image data that is generated without performing the image processing; an image selection unit that selects and outputs some or all of the image data from the at least two image data generated by the image generation unit, An image processing device is provided.
  • the semiconductor device includes: an average luminance calculation unit that calculates an average luminance value for each first region including two or more of the pixels that are arranged adjacent to each other; a correction value calculation unit that calculates a correction value according to the average luminance value of the first region based on the average luminance value of the first region and luminance information about the periphery of the first region,
  • the image generating section may generate the image data based on a plurality of the correction values corresponding to a plurality of the first regions.
  • the correction value calculation unit may calculate the correction value for the specific first region based on the average luminance value of the specific first region for which the correction value is to be calculated and the average luminance values of first regions other than the specific first region that are included in a second region that includes the specific first region and is larger than the specific first region.
  • the correction value calculation unit a first processing unit that corrects the average luminance value of the specific first region by performing a convolution process on the average luminance value of the specific first region using average luminance values of first regions other than the specific first region that are included in the second region located around the specific first region;
  • the image processing device may further include a second processing unit that calculates the correction value for the specific first region based on the average luminance value of the specific first region corrected by the first processing unit.
  • the second processing unit may calculate the correction value by dividing a predetermined target signal value by the average luminance value of the specific first region corrected by the first processing unit.
  • the correction value calculation unit repeatedly performs a process of calculating the correction value while changing the specific first region;
  • the image generating section may generate the binarized image data based on a plurality of the correction values corresponding to a plurality of the first regions.
  • the binarized image data may be generated based on the comparison result between a threshold value set based on the target signal value and the correction value.
  • the correction value calculation unit repeatedly performs a process of calculating the correction value while changing the specific first region;
  • the image generating section may perform an interpolation process on luminance information of each of the plurality of pixels based on the plurality of correction values corresponding to the plurality of first regions, to generate pixel data having uniform luminance.
  • the image generation unit may include a compression unit that generates image data in which the luminance information of the plurality of pixels is compressed.
  • the semiconductor device includes: a pixel array unit including the plurality of pixels; an average luminance calculation unit that calculates an average luminance value of the entire area of the pixel array unit;
  • the correction value calculation unit a first processing unit that corrects the average luminance value of the specific first region by performing a convolution process on the average luminance value of the specific first region using average luminance values of first regions other than the specific first region that are included in the second region located around the specific first region; a second processing unit that calculates a first correction value for the specific first region by dividing a predetermined target signal value by the average luminance value of the specific first region corrected by the first processing unit; a third processing unit that calculates a second correction value by dividing the target signal value by the average luminance value calculated by the average luminance calculation unit;
  • the image forming apparatus may further include a fourth processing unit that calculates the correction value based on the first correction value and the second correction value.
  • the semiconductor device includes: an input unit for inputting the size of the first region and the size of the second region;
  • the image forming apparatus may include at least one of a storage unit that stores the size of the first region and a storage unit that stores the size of the second region.
  • the semiconductor device includes: an input unit for inputting the size of the first region, the size of the second region, and the target signal value;
  • the image processing device may include at least one of a storage unit that stores the size of the first region, the size of the second region, and the target signal value.
  • the semiconductor device includes: a pixel array unit including the plurality of pixels; an attention area extraction unit that extracts an attention area including two or more of the pixels in the pixel array unit,
  • the image generating section, the average luminance calculating section, and the correction value calculating section may perform processing on the two or more pixels included in the region of interest.
  • the semiconductor device includes: an area extraction unit that extracts a partial pixel area included in the image data generated by the image generation unit;
  • the image processing device may further include a region image generating section that generates image data of the partial pixel region based on the partial pixel region extracted by the region extracting section and luminance information of the plurality of pixels.
  • the semiconductor device includes a luminance information extraction unit that extracts luminance information for each pixel from a plurality of pixel signals including color information and luminance information output from each of the plurality of pixels;
  • the image generating section may generate the image data based on the luminance information for each pixel extracted by the luminance information extracting section.
  • the device may further include an image processing unit that performs predetermined image processing based on the image data output from the semiconductor device.
  • an average luminance value is calculated for each first region including two or more adjacently arranged pixels, calculating the correction value for a specific first region based on an average luminance value of the specific first region among the plurality of first regions and an average luminance value of a first region other than the specific first region that is included in a second region that includes the specific first region and is larger than the specific first region; generating image data based on the plurality of correction values corresponding to the plurality of first regions; An image processing method is provided.
  • FIG. 1 is a block diagram showing a configuration of an image processing apparatus according to a first embodiment of the present disclosure.
  • FIG. 2 is a block diagram showing the configuration of an image generating unit according to the first embodiment of the present disclosure.
  • 3 is a flowchart illustrating the operation of the image generating unit in FIG. 2 .
  • FIG. FIG. 10 is a diagram showing calculation results of an average brightness value of a local area.
  • FIG. 10 is a diagram illustrating the operation of a filter process.
  • FIG. 2 is a diagram showing a filter block.
  • FIG. 4 is a diagram showing an example of a filter set in a filter processing unit.
  • FIG. 10 is a diagram showing the calculation results of a first correction value for a local area.
  • 4A and 4B are diagrams showing binary image data generated by a binary image generating unit;
  • FIG. 10 is a diagram showing image data indicating a feature extraction result.
  • FIG. 10 is a block diagram showing the configuration of an image generation unit according to a first modified example of the first embodiment of the present disclosure.
  • 6 is a flowchart illustrating the operation of the image generating unit in FIG. 5 .
  • FIG. 10 is a diagram illustrating bilinear interpolation.
  • FIG. 5A and 5B are diagrams showing corrected image data generated by a corrected image generating unit; 4B is a histogram showing luminance information of the captured image data of FIG. 4A; 7C is a histogram showing luminance information of the corrected image data of FIG. 7B.
  • FIG. 10 is a block diagram showing the configuration of an image generation unit according to a second modified example of the first embodiment of the present disclosure.
  • FIG. 10 is a block diagram showing the configuration of an image generating unit according to a comparative example.
  • 11 is a diagram showing corrected image data generated by the corrected image generating unit in FIG. 10 .
  • 11B is a histogram showing luminance information of the corrected image data of FIG.
  • FIG. 10 is a block diagram showing the configuration of an image generating unit according to a second embodiment of the present disclosure. 10 is an image showing a corrected image generated by an image generating unit according to a second embodiment of the present disclosure. Image captured without correction. 10 is an extracted image generated by an image generating unit according to a second embodiment of the present disclosure. An extracted image based on a captured image.
  • FIG. 10 is a block diagram showing the configuration of an image generating unit according to a second embodiment of the present disclosure. 10 is an image showing a corrected image generated by an image generating unit according to a second embodiment of the present disclosure. Image captured without correction. 10 is an extracted image generated by an image generating unit according to a second embodiment of the present disclosure. An extracted image based on a captured image.
  • FIG. 10 is an illustration of a corrected image generated by an image generating section according to a comparative example. 1 is an extracted image generated by an image generating unit according to the first embodiment of the present disclosure. 10 is an extracted image generated by an image generating unit according to
  • FIG. 10 is a block diagram showing the configuration of an image generating unit according to a third embodiment of the present disclosure.
  • FIG. 2 is a block diagram showing the configuration of a luminance information extraction unit.
  • 10 is a flowchart showing the operation of a luminance information extraction unit.
  • FIG. 10 is a block diagram showing the configuration of an image generating unit according to a fourth embodiment of the present disclosure.
  • FIG. 13 is a block diagram showing the configuration of an image generating unit according to a fifth embodiment of the present disclosure.
  • FIG. 4 is a diagram showing image data generated by an area selection unit.
  • FIG. 13 is a block diagram showing the configuration of an image generating unit according to a sixth embodiment of the present disclosure.
  • FIG. 10 is a block diagram showing the configuration of a semiconductor device according to a seventh embodiment of the present disclosure.
  • FIG. 1 is a block diagram showing an example of a schematic configuration of a vehicle control system.
  • FIG. 4 is an explanatory diagram showing an example of the installation positions of an outside-vehicle information detection unit and an imaging unit.
  • Embodiments of an image processing device and an image processing method will be described below with reference to the drawings.
  • the following description will focus on the main components of the image processing device and the image processing method, but the image processing device and the image processing method may include components and functions that are not shown or described.
  • the following description does not exclude components and functions that are not shown or described.
  • the image processing device 1 includes a semiconductor device 10.
  • the semiconductor device 10 is, for example, an image sensor.
  • the semiconductor device 10 may be configured from one or more semiconductor chips.
  • the semiconductor device 10 includes a pixel array unit 2 and an image generation unit 3. In this specification, the semiconductor device 10 may be referred to as the image processing device 1.
  • the pixel array section 2 has a plurality of pixels.
  • the plurality of pixels are, for example, arranged in a two-dimensional array.
  • Each pixel has a photoelectric conversion element (e.g., a photodiode) that generates an electric charge according to the amount of incident light, and outputs a pixel signal based on the charge of the photoelectric conversion element via a pixel circuit (not shown) or the like.
  • the plurality of pixel signals output from the plurality of pixels contain brightness information according to the amount of incident light.
  • the image generation unit 3 acquires multiple pixel signals from the pixel array unit 2.
  • the image generation unit 3 acquires brightness information for multiple pixels from the multiple pixel signals.
  • the image generation unit 3 generates image data by performing predetermined image processing based on the luminance information.
  • the predetermined image processing includes local tone mapping processing that compresses the dynamic range of the luminance information.
  • the predetermined image processing also includes compression of the image data, binarization of the image data, etc.
  • the image generation unit 3 may be configured to generate a single image data set from luminance information using a single type of image processing.
  • the image generation unit 3 may also be configured to generate multiple image data sets from the same luminance information using multiple types of image processing.
  • the image generation unit 3 may generate one or multiple image data sets using image processing, or may generate image data without compressing the dynamic range, without performing any image processing.
  • the image generation unit 3 may have a function to extract features of the subject, for example.
  • the image generation unit 3 may output image data that can improve the accuracy of feature extraction when feature extraction is performed by a downstream information processing device (for example, a SoC: System on a Chip).
  • a downstream information processing device for example, a SoC: System on a Chip.
  • the semiconductor device 10 may have a configuration including a transfer unit 4.
  • the transfer unit 4 may be, for example, a mobile industry processor interface (MIPI) scalable low voltage signaling (SVLS) or SLVS-EC (SLVS with embedded clock signaling).
  • MIPI mobile industry processor interface
  • SVLS scalable low voltage signaling
  • SLVS-EC SLVS with embedded clock signaling
  • the semiconductor device 10 may be configured to have at least one of a setting input unit (input unit) 5 or a register block (storage unit) 6.
  • the setting input unit 5 inputs the settings required for local tone mapping processing to the image generation unit 3.
  • the register block 6 stores the settings required for local tone mapping processing and provides them to the image generation unit 3.
  • a user or the like can input the settings required for local tone mapping processing through the setting input unit 5.
  • the register block 6 may save the settings input from the setting input unit 5, or may store predetermined settings when the semiconductor device 10 is shipped.
  • the settings input unit 5 or register block 6 may receive settings required for local tone mapping processing from a subsequent SoC or the like, for example, via SPI (Serial Peripheral Interface) or I2C (Inter-Integrated Circuit).
  • SPI Serial Peripheral Interface
  • I2C Inter-Integrated Circuit
  • the semiconductor device 10 may be configured to include a row selection unit 7.
  • the row selection unit 7 is composed of, for example, a shift register, an address decoder, etc.
  • the pixel array unit 2 has, for example, multiple pixel rows, each of which has multiple pixels arranged in a row.
  • the row selection unit 7 sequentially selects one row from the multiple pixel rows in the pixel array unit 2 and instructs the selected row to output a pixel signal.
  • the image generation unit 3 can acquire luminance information for each pixel row.
  • the image generation unit 3 according to the first embodiment of the present disclosure can generate image data for one or more pixel rows, without waiting for all pixels in the pixel array unit 2 to output pixel signals.
  • the process of generating image data corresponding to one pixel row may be performed in parallel with the process of acquiring pixel signals from other pixel rows. This allows the image generation unit 3 to generate image data at high speed.
  • the process of generating image data for one or more pixel rows is also referred to as line-based processing.
  • the semiconductor device 10 may be provided with a line memory or the like that temporarily stores luminance information for one or more rows required for generating image data.
  • the line memory may overwrite old luminance information with new luminance information each time luminance information is acquired from a pixel row. This allows the semiconductor device 10 to reduce its memory capacity, which in turn reduces its circuit scale.
  • the image generation unit 3 does not necessarily need to perform line-based processing, and may instead be configured to generate image data for each pixel in the pixel array unit 2.
  • This specification describes an example in which local tone mapping processing is performed within a semiconductor device 10 having a pixel array section 2. However, this is not limited to this, and local tone mapping processing may also be performed by a downstream information processing device, etc.
  • the image processing device 1 may be configured to include an image processing unit (image output unit) 8.
  • the image processing unit 8 may perform image processing such as feature extraction on the image data obtained from the transfer unit 4.
  • the image processing unit 8 may display the image data obtained from the transfer unit 4 on a display or the like.
  • the image processing device 1 may be configured to include a control unit 9.
  • the control unit 9 can input predetermined settings to the setting input unit 5 and control the imaging operation and image data generation operation of the semiconductor device 10.
  • FIG. 2 is a block diagram showing the configuration of an image generation unit according to the first embodiment of the present disclosure.
  • the image generation unit 3 in FIG. 2 includes a captured image generation unit 11, a local area average calculation unit (average brightness calculation unit) 12, a filter processing unit (first processing unit) 13, a division processing unit (second processing unit) 14, and a binary image generation unit 15.
  • the division processing unit 14 is also referred to as a threshold generation unit.
  • the image generation unit 3 in Figure 2 can generate binary image data.
  • Binary image data expresses the subject in either black or white (e.g., black), and parts other than the subject in the other color (e.g., white). This clarifies the shape of the subject, making it easier to extract features later.
  • FIG. 3 is a flowchart illustrating the operation of the image generation unit 3 according to the first embodiment of the present disclosure. Below, the function of each component of the image generation unit 3 in FIG. 2 will be explained using the flowchart in FIG. 3.
  • the captured image generation unit 11 acquires luminance information (step S1).
  • the captured image generation unit 11 acquires pixel signals from the pixel array unit 2, acquires luminance information from the pixel signals, and generates captured image data (first image data) based on the luminance information.
  • Figure 4A shows the captured image data generated by the captured image generation unit 11.
  • Captured image data generated by the captured image generation unit 11 may have localized differences in brightness.
  • the upper part of the image is dark and the lower part is light.
  • the dark upper part of the image makes it difficult to distinguish the boundary between the upper part of the subject 21 (the screw in the example of Figure 4A) and the part other than the subject (hereinafter also referred to as the background).
  • binarization or feature extraction
  • the contour of the subject 21 may not be sufficiently detected. Note that in this specification, the part of the image data that is the subject of feature extraction, shape extraction, or contour extraction is also referred to as the subject.
  • local tone mapping processing is performed to equalize the local brightness differences in the captured image data and emphasize the brightness difference between the subject 21 and the background, correcting the captured image so that it becomes image data suitable for binarization (or feature extraction).
  • the local area average calculation unit 12 calculates the average brightness value of the local area (step S2 in Figure 3).
  • the local area average calculation unit 12 divides the pixel array unit 2 into multiple local areas (first regions) 22. Each of the multiple local areas 22 has two or more pixels arranged adjacently.
  • the captured image data generated by the image generation unit 3 can also be divided into regions (hereinafter simply referred to as local areas 22) corresponding to the multiple local areas 22.
  • FIG. 4B is a diagram showing captured image data divided into multiple local areas 22 by the local area average calculation unit 12.
  • the horizontal direction in FIG. 4B is also referred to as the first direction X (x coordinate)
  • the vertical direction is also referred to as the second direction Y (y coordinate).
  • the position of an arbitrary pixel (pixel position) is [x(i), y(j)], and the luminance value (pixel value) of that position is p[x(i), y(j)].
  • the block position of the local area 22 is [kx, ky]
  • the size of the local area 22 in the first direction X is Nx
  • the size in the second direction Y is Ny.
  • the size (block size) of the local area 22 is, for example, the number of pixels included in the local area 22.
  • the average luminance value q[kx, ky] of the local area 22 at the position [kx, ky] is expressed by the following equation (1).
  • Figure 4C is a diagram showing the calculation results of the average brightness value of the local area 22.
  • the local area average calculation unit 12 can generate mosaic image data based on the average brightness values of each of the multiple local areas 22.
  • the filter processing unit 13 performs filtering based on the average brightness value calculated by the local area average calculation unit 12 (step S3 in Figure 3).
  • Figure 4D is a diagram explaining the operation of the filtering process.
  • the filter processing unit 13 sets a filter block (second region) 23 having multiple local areas 22.
  • FIG. 4E is a diagram showing a filter block 23.
  • the filter processing unit 13 performs a convolution operation using multiple local areas 22 included in the filter block 23 to calculate a filter correction value for a specific local area 22.
  • the filter block 23 in FIG. 4E has a specific local area 24 for which a filter correction value is to be calculated.
  • the specific local area 24 is located, for example, at the center of the filter block 23 or in its vicinity.
  • the filter correction value r a [k x , ky] of a specific local area 24 is calculated by the following formula (2) using the size B x of the filter block 23 in the first direction X, the size By of the filter block 23 in the second direction Y, the average luminance value q [k x (i), ky (j)] of the local area 22, and a predetermined filter coefficient F [f x (i), f y (j)].
  • the size of the filter block 23 (filter size) is, for example, the number of local areas 22 included in the filter block 23. The filter coefficient will be described later.
  • the average luminance value q [kx(i), ky(j)] indicates the average luminance value of each of the local areas 22 and 24 contained in the filter block 23.
  • the filter correction value r a [k x , ky] calculated by the above formula (2) is a value obtained by incorporating information about the average brightness value of the surrounding local areas 22 (i.e., those located in the filter block 23) into a specific local area 24.
  • the filter coefficient F[fx(i), fy(j)] is a value that weights the average brightness value of each local area 22 that is incorporated into the filter correction value ra[kx, ky].
  • a filter having information on multiple filter coefficients is set in the filter processing unit 13.
  • FIG. 4F is a diagram showing an example of a filter 25 set in the filter processing unit 13.
  • the filter 25 has a plurality of filter elements 26, each having information on a filter coefficient.
  • the plurality of filter elements 26 are arranged corresponding to the local areas 22 and 24 in the filter block 23.
  • the position [fx(i), fy(j)] of the filter element 26 is expressed, for example, by the following equations (3) and (4) using the position [kx, ky] of a specific local area 24 and the position [kx(i), ky(j)] of the corresponding local area 22.
  • the filter coefficients of the multiple filter elements 26 are set highest, for example, for the filter element 27 corresponding to a specific local area 24. Furthermore, filter elements 26 positioned closer to the filter element 27 are set to have higher filter coefficients, and filter elements 26 positioned further away are set to have lower filter coefficients. This allows a specific local area 24 to preferentially capture the average brightness value of a local area 22 positioned closer to it.
  • the sum of the filter coefficients in the filter 25 be adjusted to be the same as the block size, for example, as shown in equation (5).
  • the filter processing unit 13 sequentially designates multiple local areas 22 as specific local areas 24, performs the convolution operation shown in equation (2), and calculates the filter correction value.
  • the filter processing by the filter processing unit 13 performs the convolution operation while changing the position of the filter block 23 in units of local areas 22, as shown in Figure 4D.
  • the filter processing unit 13 generates a plurality of filter correction values by respectively correcting the average brightness values of a plurality of local areas 22.
  • the characteristic of the plurality of filter correction values is that the corresponding local area 22 incorporates the brightness values of the surrounding area. If the brightness value around the local area 22 is low, the filter correction value will also be low, and if the brightness value around the local area 22 is high, the filter correction value will also be high.
  • the filter correction value is characterized by its tendency to reflect local brightness differences in the captured image data of Figure 4A (for example, the brightness difference between the top and bottom of Figure 4A).
  • the filter correction value is characterized by the fact that it is difficult to reflect brightness differences between multiple local areas 22 arranged nearby.
  • the division processing unit 14 performs a process of dividing a predetermined target signal value M by the filter correction value (step S4 in FIG. 3).
  • the first correction value rb[kx, ky] generated by the division processing unit 14 is expressed by the following equation (6).
  • FIG. 4G is a diagram showing the calculation results of the first correction value for the local area 22.
  • the division processing unit 14 can generate image data (second image data) based on multiple first correction values for multiple local areas 22.
  • the image data in Figure 4G is generated by a division process using the filter correction value, and is image data in which the brightness values of the captured image data in Figure 4A are inverted and the brightness of a specific local area is corrected based on the brightness of the surrounding local area.
  • the image data in Figure 4G reflects the characteristics of the filter correction value described above. Specifically, the corrected image data is likely to reflect the local brightness differences of the captured image data in Figure 4A (inverted state). On the other hand, the corrected image data is an image in which the brightness difference between the brightness of the specific local area 24 and the brightness of the surrounding local area 22 is suppressed. As a result, the corrected image data is an image in which the contours of the subject 21 are blurred compared to Figure 4A.
  • the filter processing unit 13 and division processing unit 14 in Figure 2 calculate correction values for multiple local areas 22, and therefore are collectively referred to in this specification as the correction value calculation unit 16.
  • the binary image generation unit 15 generates a binary image based on the first correction value (step S5 in Figure 3).
  • the binary image generation unit 15 compares the first correction value with a predetermined binary threshold value.
  • Figure 4H is a diagram showing binary image data (third image data) generated by the binary image generation unit 15.
  • the binary image data in Figure 4H shows an example in which white is output when the first correction value exceeds a predetermined binary threshold, and black is output when the first correction value is below a predetermined binary threshold.
  • the image generation unit 3 in Figure 2 may be configured to include a feature extraction unit 17.
  • the feature extraction unit 17 extracts the contour of the subject 21 from the binarized image data in Figure 4H.
  • Figure 4I shows image data (fourth image data) indicating the feature extraction results.
  • the image generation unit 3 in Figure 2 can correct the captured image data in Figure 4A and generate the binarized image data in Figure 4H. This enables the feature extraction unit 17 (or a downstream SoC, etc.) to extract features with high accuracy.
  • the block sizes Nx and Ny used by the local area average calculation unit 12, the filter sizes Bx and By used by the filter processing unit 13, the target signal value M used by the division processing unit 14, and some or all of the binarization threshold values used by the binarized image generation unit 15 can be acquired from the setting input unit 5 or the register block 6.
  • Figure 2 shows an example in which the above input parameters are input from the setting input unit 5.
  • the input parameters may include a filter type.
  • the filter type is input to the filter processing unit 13 and is used to set the filter coefficients of the filter 25.
  • a weighted average filter with different filter coefficients for a specific local area 24 and other local areas 22 can be specified as the filter 25.
  • a moving average filter with the same filter coefficients for the local area 24 and other local areas 22 may also be used as the filter 25.
  • a smoothing filter, sharpening filter, bilateral filter, or the like may also be used depending on the application of the corrected image data.
  • the binarization threshold may be set based on the target signal value M.
  • the binarization rate C may be input as an input parameter from the setting input unit 5, etc.
  • the processing of the local area average calculation unit 12 includes division by the block size Nx ⁇ Ny, as shown in equation (1).
  • This division can be achieved by placing a division circuit within the local area average calculation unit 12.
  • the division can be achieved by, for example, shifting the number of bits according to the block size, and the division circuit can be omitted. This allows for a reduction in circuit size.
  • the processing of the filter processing unit 13 includes a division process by the size Bx ⁇ By of the filter block 23, as shown in equation (2).
  • the division circuit can be omitted from the filter processing unit 13, thereby reducing the circuit size.
  • FIG. 5 is a block diagram showing the configuration of an image generation unit according to a first modified example of the first embodiment of the present disclosure.
  • the image generation unit 3a in FIG. 5 differs from the image generation unit 3 in FIG. 2 in that it does not have a binary image generation unit 15 but has a corrected image generation unit 31.
  • the image generation unit 3a in Figure 5 can generate corrected image data with uniform brightness regardless of local brightness differences between pixels.
  • Corrected image data with uniform brightness is image data in which the difference between the maximum and minimum brightness values is small compared to the captured image data, and in which halos, described below, are suppressed.
  • FIG. 6 is a flowchart illustrating the operation of the image generation unit 3a according to the first embodiment of the present disclosure. Below, the function of the image generation unit 3a in FIG. 5 will be explained using the flowchart in FIG. 6.
  • the operations in steps S1 to S4 are the same as those in FIG. 3.
  • step S4 a first correction value for the local area 22 is generated.
  • the image generation unit 3a in FIG. 5 may be configured to include an interpolation calculation unit 32.
  • the interpolation calculation unit 32 performs an interpolation calculation to convert the first correction value rb[kx,ky] for each local area 22 into an interpolated value rc[x,y] for each pixel (step S21 in FIG. 6).
  • bilinear interpolation can be used for the interpolation calculation.
  • FIG. 7A is a diagram illustrating bilinear interpolation. As described above, one local area 22 includes multiple pixels 41. FIG. 7A illustrates an example of generating an interpolated value rc[x, y] for a specific pixel 42 among the multiple pixels 41.
  • local area 22a in which pixel 42 is located is obtained from the multiple local areas 22 arranged in the pixel array unit 2.
  • local area 22b closest to pixel 42 is obtained.
  • local area 22c closest to pixel 42 is obtained.
  • local area 22d is obtained, which is adjacent to local area 22b in the second direction Y and adjacent to local area 22c in the first direction X.
  • Calculation points 43a, 43b, 43c, and 43d are located at the centers of gravity of local areas 22a, 22b, 22c, and 22d.
  • Calculation points 43a to 43d have information on the first correction values rb[kx, ky] of local areas 22a to 22d, respectively.
  • calculation point 44a is placed at the same x coordinate as the center of gravity of pixel 42.
  • calculation point 44b is placed at the same x coordinate as the center of gravity of pixel 42.
  • the correction values Si and Sj of calculation points 44a and 44b are expressed by the following equations (7) and (8) using first correction values Ta, Tb, Tc, and Td of calculation points 43a, 43, 43c, and 43d, distance Lx from calculation point 43a to calculation point 43b, distance Lxi from calculation point 43a to calculation point 44a, and distance Lxj from calculation point 43b to calculation point 44a.
  • the interpolated value r[x, y] of the pixel 42 is expressed by the following equation (9) using the distance Ly from the calculation point 44a to the calculation point 44b, the distance Lyi from the center of gravity of the pixel 42 to the calculation point 44a, and the distance Lyj from the center of gravity of the pixel 42 to the calculation point 44a.
  • Fig. 7B is a diagram showing corrected image data (fifth image data) generated by the corrected image generation unit 31.
  • the luminance values g[x, y] of multiple pixels 42 in the corrected image data can be expressed by the following equation (10) using the luminance values p[x, y] of the captured image data.
  • the image generation unit 3a in Figure 5 can output corrected image data that enables highly accurate shape measurement, as shown in Figure 7B. Comparing the captured image data in Figure 4A with the corrected image data in Figure 7B, the corrected image data in Figure 7B has corrected the local brightness differences as in Figure 4A. Furthermore, the corrected image data has a clearer outline of the subject 21 than the captured image data. Therefore, the corrected image data enables more accurate feature extraction and more accurate shape measurement of the subject 21 than the captured image data.
  • the luminance values g[x, y] of the multiple pixels 42 in the corrected image data of FIG. 7B are expressed by the following equation (11) using the first correction values r[kx, ky] of the local area 22 in which the pixels 42 are located.
  • the corrected image data in Figure 7B has a luminance value obtained by multiplying the captured image data by the target signal value and dividing it by the filter correction value, as shown in equation (11).
  • the average luminance value of the corrected image data is adjusted to approximately match the target signal value M.
  • the filter correction value by dividing it by the filter correction value, local brightness differences in the captured image data are corrected.
  • the filter correction value does not readily reflect differences in brightness between nearby local areas 22, dividing the filter correction value does not lose information about the boundaries between high-brightness and low-brightness areas of the captured image data (specifically, information about the contours of the subject 21). Furthermore, by correcting the local differences in brightness, the contours of the subject 21 are relatively emphasized in the corrected image data.
  • the image generation unit 3a in FIG. 5 can generate corrected image data that satisfies the following conditions.
  • the conditions are expressed by the following equations (12) and (13) using the maximum luminance value Vmax of the captured image data, the minimum luminance value Vmin of the captured image data, the average luminance value AVE(V) of the captured image data, the maximum luminance value Rmax of the corrected image data, the minimum luminance value Rmin of the corrected image data, the average luminance value AVE(R) of the corrected image data, the average luminance values Ri and Rj (where Ri ⁇ Rj) of the corrected image data of any two local areas 22 belonging to the same filter block, and the average luminance values Vi and Vj (where Vi ⁇ Vj) of the captured image data of the two local areas 22.
  • the corrected image data can narrow the gap between the maximum and minimum luminance values and equalize the overall luminance difference.
  • Ri and Rj in equation (13) are the luminances of the subject and background, respectively, the luminance difference between the two can be emphasized.
  • the corrected image data generated by the image generation unit 3a is not limited to image data that satisfies these conditions.
  • the image generation unit 3a in Figure 5 can correct captured image data and output corrected image data that enables highly accurate shape measurement of the subject 21.
  • the image generation unit 3a may be configured to include a compression unit 33 that compresses brightness information after the corrected image generation unit 31.
  • the corrected image data shown in Figure 7B has the advantage that it is easier to compress than the captured image data shown in Figure 4A.
  • Fig. 8A is a histogram showing the luminance information of the captured image data of Fig. 4A.
  • Fig. 8B is a histogram showing the luminance information of the corrected image data of Fig. 7B.
  • the horizontal axes of Figs. 8A and 8B represent luminance values, and the vertical axes of Figs. 8A and 8B represent the number of pixels.
  • the shape of the histogram in Figure 8B is compressed in the horizontal axis (brightness difference) direction.
  • the corrected image data is adjusted so that the average brightness value roughly matches the target signal value, so the center of gravity of the histogram in Figure 8B is located near the target signal value.
  • the histogram of the corrected image data is compressed compared to the histogram of the captured image data, it is possible to generate an area with almost no bin data in the horizontal axis (brightness difference) direction.
  • the histogram in Figure 8B has almost no bin data with high brightness values. Therefore, even if the compression unit 33 deletes data with high brightness values, the data volume of the corrected image data can be reduced without losing much information from the corrected image data.
  • the image processing device 1 can generate, for example, 20-bit HDR image data per pixel as captured image data.
  • downstream SoCs and the like may only support a maximum of 12-bit image data per pixel as a transmission interface (IF).
  • IF transmission interface
  • image data compression is required.
  • the compression unit 33 in Figure 5 can compress a 20-bit HDR image to, for example, 8 bits while minimizing information loss, making it possible to transfer highly accurate compressed data to downstream SoCs and the like.
  • the image generation unit 3 in Figure 2 can compress the image data to be output through binarization processing by the binary image generation unit 15. This makes it possible to omit the compression unit 33 in Figure 5.
  • the transfer unit 4 in Figure 1 can output image data with a smaller data volume than the captured image data, which has undergone at least one of data compression processing by the compression unit 33 and binarization processing by the binarized image generation unit 15.
  • the image generation unit 3a in Figure 5 may be configured to have a binary image generation unit 15 (and feature extraction unit 17) after the corrected image generation unit 31.
  • the binary image generation unit 15 may perform binarization processing on the corrected image data in Figure 7B.
  • the binary image generation unit 15 may be located after the compression unit 33.
  • FIG. 9 is a block diagram showing the configuration of an image generation unit according to a second modified example of the first embodiment of the present disclosure.
  • the image generation unit 3b in FIG. 9 differs from the image generation unit 3a in FIG. 5 in that it has a feature extraction unit 17 subsequent to the compression unit 33.
  • the feature extraction unit 17 in Figure 9 receives corrected image data whose data volume has been compressed by the compression unit 33. This reduces the amount of calculation required by the feature extraction unit 17 compared to when corrected image data is input directly from the corrected image generation unit 31 to the feature extraction unit 17. In this case, features can be extracted with a low calculation load, even without performing binarization processing on the corrected image data.
  • the binary image generating unit 15 in FIG. 2 may use the reciprocal of the first correction value (1/rb[kx, ky]) as the binary threshold.
  • the binary image data may be generated using the captured image data in FIG. 4A and the reciprocal of the first correction value (binarization threshold).
  • black may be output when the condition of the following formula (14) is satisfied, and white may be output otherwise.
  • Formula (14) can be modified as shown in formula (15).
  • equation (15) when determining whether to perform binarization, a process equivalent to division of the filter correction value is performed, which makes it possible to remove the effects of local brightness differences in the captured image data, as with equation (11).
  • the reciprocal of the first correction value can be calculated, for example, in the division processing unit 14 by dividing the filter correction value generated by the filter processing unit 13 by the target signal value M.
  • the target signal value M may be set to a value that is a power of 2. This makes it possible to omit the division circuit.
  • the above method is characterized by the fact that it directly corrects the binarization threshold rather than the captured image data.
  • This specification also refers to the above method as the direct threshold correction method (first method).
  • first method the direct threshold correction method
  • the binarized image generation unit 15 may be configured to use the interpolated value generated by the interpolation calculation unit 32 in Figure 5 as the binarization threshold.
  • the image generation units 3, 3a, and 3b (hereinafter simply referred to as image generation unit 3) in Figures 2, 5, and 9 are capable of line-based processing. More specifically, the captured image generation unit 11 can generate captured image data for each pixel row, for example.
  • the local area average calculation unit 12 can calculate the average brightness for each of the multiple pixel rows that make up a single local area.
  • the filter processing unit 13 can perform convolution operations for each of the multiple pixel rows that make up a single filter.
  • the captured image generation unit 11, local area average calculation unit 12, filter processing unit (first processing unit) 13, division processing unit 14, binary image generation unit 15, corrected image generation unit 31, and interpolation calculation unit 32 do not need to wait for pixel signals to be output from all pixel rows in the pixel array unit 2. Furthermore, the generation of corrected image data corresponding to a certain pixel 41 can be performed in parallel with the acquisition of pixel signals from other pixels 41. This allows the image generation unit 3 to generate corrected image data at high speed.
  • the image processing device 1 is also characterized by its input parameters. For example, two area sizes, the block size and the filter size, can be specified as input parameters.
  • the image processing device 1 can adjust the average luminance value of the corrected image data using a single target signal value M. This allows the image processing device 1 to omit the AE (Auto Exposure) function.
  • AE Auto Exposure
  • the binarized image generation unit 15 in Figure 2 is characterized by receiving as input a correction value or corrected image data in which the average luminance value has been adjusted to be close to the target signal value M. As a result, the image processing device 1 does not need to adjust the binarization threshold value depending on the brightness of the imaging environment.
  • multiple target signal values M may be input as input parameters, and the division processing unit 14 may be configured to be able to input multiple target signal values.
  • FIG. 10 is a block diagram showing the configuration of an image generation unit according to a comparative example.
  • the image generation unit 100 shown in FIG. 10 differs from the image generation unit 3 in FIG. 2 in that it does not have a filter processing unit 13.
  • the division processing unit 14 in Fig. 10 performs processing to divide a predetermined target signal value M by the average luminance value q[kx, ky] calculated by the local area average calculation unit 12.
  • the correction value rd[kx, ky] generated by the division processing unit 14 can be expressed by the following equation (16).
  • the corrected image generation unit 31 in Fig. 10 generates corrected image data based on the correction value generated by the division processing unit 14 and the captured image data generated by the captured image generation unit 11.
  • the luminance values gb[x, y] of multiple pixels 42 in the corrected image data can be expressed by the following equation (17) using the luminance values p[x, y] of the captured image data.
  • FIG. 11A is a diagram showing corrected image data generated by the corrected image generation unit 31 of FIG. 10. As shown in FIG. 11A, the corrected image generation unit 31 of FIG. 10 can also correct local differences in brightness in the captured image data of FIG. 4A and equalize the overall brightness values.
  • FIG. 11B is a histogram showing brightness information for the corrected image data of FIG. 11A.
  • the image generation unit 100 in Figure 10 can output binary image data and extract features using the binary image generation unit 15 and feature extraction unit 17.
  • the binary image generation unit 15 in Figure 10 compares and determines the luminance value of the corrected image data in Figure 11A with a predetermined binary threshold.
  • the method in Figure 10 is also referred to as the division method for each local area (second method).
  • the corrected image data in FIG. 7B is corrected using a correction value generated by a convolution operation.
  • the correction value of the corrected image data in FIG. 7B includes information on the nearby local area 22.
  • the corrected image data in FIG. 7B has improved halo compared to the corrected image data in FIG. 11A, and can further improve feature extraction accuracy.
  • the histogram in Figure 11B has been extremely compressed in the horizontal axis (brightness difference) direction from the histogram of the captured image data in Figure 8A.
  • the brightness difference (contrast) between the subject 21 and the background has been reduced, making it difficult for the feature extraction unit 17 to distinguish the subject 21 and reducing the accuracy of feature extraction.
  • the histogram in Figure 11B has lost the shape of the histogram in Figure 8A, resulting in a significant loss of information.
  • the histogram in Figure 8B has a sufficiently wide width along the horizontal axis (brightness difference). This means there is a sufficient brightness difference (contrast) between the subject 21 and the background, making feature extraction easy. Furthermore, the histogram in Figure 8B retains the shape of the histogram in Figure 8A, resulting in little loss of information.
  • feature extraction also includes a histogram measurement method for each local area (third method).
  • the third method generates a histogram of brightness values for each local area and flattens the histogram using gamma processing.
  • One example is CLAHE (Contrast Limited Adaptive Histogram Equalization).
  • Table 1 below shows an example of the circuit scale and memory capacity for methods 1 to 3.
  • SRAM Static Random Access Memory
  • the resolution of the captured image data is 2472 x 2064.
  • the data capacity per pixel is 8 bits.
  • the size of the local area is 16 x 16 pixels.
  • the number of bins in the histogram used in method 3 is 256.
  • the first method does not require complex processing such as histogram measurement, which allows for significant reductions in circuit size and memory capacity.
  • the first method has faster processing speeds than the third method.
  • the third method does not allow line-based processing.
  • the speed of generating corrected image data and extracting features is approximately several tens of fps.
  • the first method allows line-based processing, so for example, for 5MB of captured image data, it is possible to generate corrected image data and extract features at 1000 fps or 500 fps.
  • the first method does not require the process of multiplying the brightness value and correction value for each pixel, as shown in equation (17).
  • the first method can be achieved by simply comparing the brightness value with a predetermined binarization threshold, as shown in equation (14), so it does not require a product-sum circuit, etc. As a result, the circuit scale of the first method can be reduced to about one-quarter of that of the second method.
  • the inventor conducted an experiment using the image generation unit 3a in Figure 5 and the image generation unit 100 in Figure 10 to capture an image of a subject containing a barcode and extract the barcode.
  • FIG. 12A shows a corrected image generated by image generation unit 3a
  • FIG. 12B shows a corrected image generated by image generation unit 100
  • FIG. 13A shows an extracted image of the barcode generated by image generation unit 3a
  • FIG. 13B shows an extracted image of the barcode generated by image generation unit 100.
  • a luminance correction value is calculated based on the luminance of multiple surrounding local areas.
  • the corrected image data generated using the correction value for each local area has uniform luminance regardless of local brightness differences, making it possible to suppress halos.
  • a binarized image can be easily generated.
  • By extracting feature amounts based on the binarized image it is possible to improve measurement accuracy with a small circuit scale.
  • a first feature of the image processing device 1 according to the first embodiment is that it can output corrected image data such as that shown in Figure 7B.
  • the corrected image data output by the image processing device 1 has a generally uniform brightness value overall.
  • the corrected image data does not lose brightness differences at the boundary between the subject and background, and is therefore characterized by relatively large brightness differences at the boundary. This makes it possible to improve the accuracy of extracting edges of subjects, etc. during feature extraction.
  • the corrected image data has reduced halos, resulting in less noise during feature extraction.
  • corrected image data has the advantage that the range of brightness values is compressed while maintaining, for example, the contrast between the subject and the background. Therefore, even when corrected image data is compressed, there is little loss of information such as the subject's contours.
  • a second feature of the image processing device 1 is its high robustness to brightness differences in the surrounding environment. For example, even when capturing an image of a subject under varying lighting conditions, the image processing device 1 can generate corrected image data with an approximately constant average brightness value near a predetermined target signal value, and is capable of highly accurate feature extraction. Furthermore, the image processing device 1 can generate corrected image data with approximately uniform brightness values even when brightness differences are present in the imaging range. Furthermore, there is no need to adjust binarization thresholds or the like depending on the imaging environment.
  • a third feature of the image processing device 1 is that it is capable of processing on a pixel row basis.
  • the image processing device 1 can convert output pixel signals into corrected image data in sequence, without waiting for all pixel rows in the pixel array unit 2 to output pixel signals. This allows the image processing device 1 to output corrected image data at high speed. Furthermore, the pixel signals used to convert the corrected image data do not need to be stored in the storage unit, which reduces memory capacity.
  • a fourth feature of the image processing device 1 is that it can be implemented with a small circuit scale. Compared to methods such as creating a histogram for each local area, the image processing device 1 can be implemented with a small circuit scale because its processing content is simpler. In addition, by adjusting the size of the local area to a power of two, it is possible to omit the division circuit and further reduce the circuit scale.
  • the binary threshold can be directly corrected. This eliminates the need for multiply-and-accumulate operations between the brightness value and correction value for each pixel, further reducing the circuit size.
  • the image generation unit 3 according to the first embodiment of the present disclosure can be implemented with a sufficiently small circuit scale, allowing it to be mounted on an image sensor, etc. This makes it possible to directly perform highly accurate correction or highly accurate compression on the captured image data created within the image sensor.
  • a fifth feature of the image processing device 1 is that the block size and filter size are adjustable. By adjusting the block size, it is possible to adjust whether the captured image data is corrected with high precision or output at high speed. By appropriately adjusting the filter size, it is possible to correct differences in brightness due to lighting conditions, etc., while preventing the loss of brightness differences used for feature extraction.
  • the image generation unit 3 according to the first embodiment performs local tone mapping processing to correct the luminance of each local area using a plurality of local areas surrounding the local area, whereas the image generation unit 3 according to the second embodiment performs global tone mapping processing to correct the luminance of each pixel using the average luminance value across the entire area of the pixel array unit 2.
  • FIG. 14 is a block diagram showing the configuration of an image generation unit according to a second embodiment of the present disclosure.
  • the image generation unit 50 shown in FIG. 14 differs from the image generation unit 100 in FIG. 10 in that it has a screen average calculation unit 51 instead of the local area average calculation unit 12.
  • the screen average calculation unit 51 in Fig. 14 calculates the average luminance value AVE(p) of the entire area of the pixel array unit 2.
  • the division processing unit 14 in Fig. 14 divides the target signal value M by the average luminance value AVE(p).
  • the corrected image generation unit 31 in Fig. 14 generates corrected image data based on the correction value generated by the division processing unit 14 and the captured image data.
  • the luminance values gb[x, y] of the multiple pixels 42 of the corrected image data can be expressed by the following equation (18).
  • the image generation unit 50 shown in Figure 14 performs the same correction processing on the entire pixel array unit 2. This processing is also called global tone mapping processing.
  • the inventor conducted an experiment to compare the extraction of a barcode using a captured image of a subject containing a barcode as is, with the extraction of a barcode from a corrected image generated by inputting the captured image into the image generation unit 50 shown in Figure 14.
  • Fig. 15A shows a corrected image generated by the image generation unit 50
  • Fig. 15B shows a captured image without correction
  • Fig. 16A shows an extracted image of the barcode generated by the image generation unit 50
  • Fig. 16B shows an extracted image of the barcode generated from the captured image.
  • the second embodiment global tone mapping processing is performed instead of local tone mapping processing, so a corrected image can be generated using simpler processing than local tone mapping processing, and circuit scale can be reduced.
  • the first embodiment is superior.
  • the captured image generation unit 11 in Figure 17 acquires multiple pixel signals containing color information and luminance information from the pixel array unit 2.
  • the luminance information extraction unit 61 extracts luminance information for each pixel from the multiple pixel signals.
  • the local area average calculation unit 12 calculates the average luminance value of the local area from the luminance information extracted for each pixel, as in Figure 2.
  • the processing details of the correction value calculation unit 16 and the interpolation calculation unit 32 are the same as in Figure 2.
  • FIG 18 is a block diagram showing the configuration of the luminance information extraction unit 61.
  • the luminance information extraction unit 61 has a temporary storage unit 62 and a luminance value extraction unit 63.
  • the luminance information extraction unit 61 extracts one luminance value from the pixel group 65 and transfers it to the local area average calculation unit 12.
  • One luminance value is, for example, the maximum luminance value of the four pixels 41 in the pixel group 65.
  • the luminance information extraction unit 61 may also obtain the average luminance value of the four pixels 41 in the pixel group 65 as one luminance value. An example in which the luminance information extraction unit 61 obtains the maximum luminance value in the pixel group 65 will be described below.
  • FIG 19 is a flowchart showing the operation of the luminance information extraction unit 61.
  • the pixel array unit 2 outputs pixel signals for each pixel row.
  • the pixel array unit 2 outputs the pixel signal for one pixel row 64a, for example.
  • the luminance information extraction unit 61 can obtain the luminance information and color information (i.e., R and G1 color information) of pixels 41a and 41b via the captured image generation unit 11 (step S31).
  • the larger the blending coefficient D the larger the component of the first correction value rb[kx,ky] in the blending value rf[kx,ky]. Also, the smaller the blending coefficient D, the larger the component of the second correction value re in the blending value rf[kx,ky].
  • the first division processing unit 71a, second division processing unit 71b, and blending processing unit 72 according to the fourth embodiment of the present disclosure can be applied to any of the image generation units 3 to 3c (and 50) according to the first to third embodiments.
  • the image generation unit 3e of Fig. 21 differs from the image generation unit 3a of Fig. 5 in that it includes a region of interest extraction unit 81 and a region selection unit 82.
  • the region of interest extraction unit 81 extracts a region of interest (ROI) from image data generated by the binarized image generation unit 15.
  • ROI region of interest
  • the extracted region of interest is fed back to the region selection unit 82.
  • the region selection unit 82 is disposed between the captured image generation unit 11 and the local area average calculation unit 12.
  • the region selection unit 82 generates image data by extracting image data of the region of interest from the captured image data generated by the image generation unit.
  • FIG. 22 is a diagram showing image data generated by the region selection unit 82.
  • the local area average calculation unit 12 and correction value calculation unit 16, etc. process two or more pixels included in the ROI (region of interest, or pixel region) in FIG. 22. This reduces the region to be processed, allowing the image generation unit 3e to generate image data more efficiently and at even higher speeds.
  • the increased efficiency of image data generation using this method is particularly effective when the subject 21 is small compared to the overall captured image data.
  • the compression unit 33 can be omitted when outputting corrected image data such as that shown in FIG. 7B.
  • the region-of-interest extraction unit 81 may also be configured to control the pixel array unit 2 in FIG. 1 so that it does not output pixel signals from pixels that are not located in the region of interest.
  • FIG. 23 is a block diagram showing the configuration of an image generation unit 3f according to a sixth embodiment of the present disclosure.
  • the image generation unit 3f in Fig. 23 differs from the image generation unit 3a in Fig. 5 in that it includes a region extraction unit 83 and a region image generation unit 84.
  • the image data generated by the area image generation unit 84 is output to a downstream SoC, for example, via the transfer unit 4 in Figure 1. This allows the data volume of the image data to be transferred to be reduced compared to captured image data.
  • the reduced data volume of the image data reduces the amount of calculations required on the downstream SoC, thereby easing the processing burden on the SoC.
  • the region extraction unit 83 and region image generation unit 84 according to the sixth embodiment of the present disclosure can be applied to any of the image generation units 3 to 3e (and 50) according to the first to fifth embodiments.
  • Seventh Embodiment Fig. 24 is a block diagram showing the configuration of a semiconductor device 10a according to a seventh embodiment of the present disclosure.
  • the semiconductor device 10a in Fig. 24 differs from the semiconductor device 10 in Fig. 1 in that it includes an image selection unit 91.
  • the image selection unit 91 selects and outputs some or all of the image data from among two or more pieces of image data generated by the image generation unit 3g.
  • the image selection unit 91 may select an image to output in response to a user request, or may select an image to output in response to a request from a downstream device such as an SoC.
  • the image selection unit 91 may also select an image to output based on information input from the setting input unit 5 or information stored in the register block 6.
  • the image generation unit 3g can generate the captured image data (e.g., FIG. 4A or FIG. 13A) generated by the captured image generation unit 11 in FIG. 2 as image data that has not undergone image processing.
  • the captured image data e.g., FIG. 4A or FIG. 13A
  • the image generation unit 3g can output two or more of the image data generated by performing local tone mapping processing including filtering (e.g., FIG. 7B or FIG. 16A), image data generated by performing local tone mapping processing not including filtering (e.g., FIG. 11A or FIG. 15A), or image data generated by performing global tone mapping processing (e.g., FIG. 14A), as two or more types of image data generated by performing different image processing.
  • local tone mapping processing including filtering (e.g., FIG. 7B or FIG. 16A)
  • image data generated by performing local tone mapping processing not including filtering e.g., FIG. 11A or FIG. 15A
  • image data generated by performing global tone mapping processing e.g., FIG. 14A
  • the image generation unit 3g may output image data compressed by the compression unit 33, image data generated by the binary image generation unit 15 (e.g., Figure 4H), image data generated by the feature extraction unit 17 (e.g., Figure 4I), image data generated by the local area average calculation unit 12 (e.g., Figure 4C), or image data generated by the division processing unit 14 (e.g., Figure 4G).
  • image data generated by the binary image generation unit 15 e.g., Figure 4H
  • image data generated by the feature extraction unit 17 e.g., Figure 4I
  • image data generated by the local area average calculation unit 12 e.g., Figure 4C
  • image data generated by the division processing unit 14 e.g., Figure 4G
  • the image generation unit 3g may output color image data having color information, image data that has been blended by the blend processing unit 72, or image data of the region of interest extracted by the region of interest extraction unit 81 (e.g., Figure 22).
  • Image generation unit 3g has a configuration similar to any of image generation units 3 to 3f (and 50).
  • Image generation unit 3g may have a configuration that has the functions of two or more of image generation units 3 to 3f (and 50).
  • image generation unit 3g may have, in parallel, the binary image generation unit 15 and feature extraction unit 17 of FIG. 2, and the interpolation calculation unit 32 and corrected image generation unit 31 of FIG. 5.
  • Image generation unit 3g may output at least one of the corrected image data of FIG. 7B or the feature extraction data of FIG. 4I, based on the selection made by image selection unit 91.
  • the image selection unit 91 can output any one of the following (1) to (5): Note that the image selection unit 91 is not limited to (1) to (5) and can output any of a plurality of types of image data.
  • Captured image data (FIG. 4A) and image data of feature extraction results (FIG. 4I) (2) Captured image data (FIG. 4A) and corrected image data (FIG. 7B) (3) Corrected image data (FIG. 7B) and image data of feature extraction results (FIG. 4I)
  • the semiconductor device 10a By switching the image data it outputs, the semiconductor device 10a can accommodate a variety of image processing tasks in downstream SoCs, etc.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure may be realized as a device mounted on any type of moving body, such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, personal mobility, an airplane, a drone, a ship, a robot, construction machinery, or agricultural machinery (tractor).
  • FIG. 25 is a block diagram showing a schematic configuration example of a vehicle control system 7000, which is an example of a mobile object control system to which the technology disclosed herein can be applied.
  • the vehicle control system 7000 includes multiple electronic control units connected via a communication network 7010.
  • the vehicle control system 7000 includes a drive system control unit 7100, a body system control unit 7200, a battery control unit 7300, an outside-vehicle information detection unit 7400, an inside-vehicle information detection unit 7500, and an integrated control unit 7600.
  • the communication network 7010 connecting these multiple control units may be an in-vehicle communication network conforming to any standard, such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), or FlexRay (registered trademark).
  • CAN Controller Area Network
  • LIN Local Interconnect Network
  • LAN Local Area Network
  • FlexRay registered trademark
  • Each control unit includes a microcomputer that performs arithmetic processing in accordance with various programs, a memory unit that stores the programs executed by the microcomputer or parameters used in various calculations, and a drive circuit that drives various controlled devices.
  • Each control unit includes a network I/F for communicating with other control units via the communication network 7010, as well as a communication I/F for communicating with devices or sensors inside and outside the vehicle via wired or wireless communication.
  • Figure 25 illustrates the functional configuration of the integrated control unit 7600, including a microcomputer 7610, a general-purpose communication I/F 7620, a dedicated communication I/F 7630, a positioning unit 7640, a beacon receiving unit 7650, an in-vehicle device I/F 7660, an audio/video output unit 7670, an in-vehicle network I/F 7680, and a memory unit 7690.
  • Other control units similarly include microcomputers, communication I/Fs, memory units, etc.
  • the drivetrain control unit 7100 controls the operation of devices related to the vehicle's drivetrain in accordance with various programs.
  • the drivetrain control unit 7100 functions as a control device for a driveforce generating device for generating vehicle driveforce, such as an internal combustion engine or drive motor, a driveforce transmission mechanism for transmitting driveforce to the wheels, a steering mechanism for adjusting the steering angle of the vehicle, and a braking device for generating vehicle braking force.
  • the drivetrain control unit 7100 may also function as a control device for an ABS (Antilock Brake System) or ESC (Electronic Stability Control), etc.
  • a vehicle state detection unit 7110 is connected to the drivetrain control unit 7100.
  • the vehicle state detection unit 7110 includes at least one of the following: a gyro sensor that detects the angular velocity of the axial rotational movement of the vehicle body; an acceleration sensor that detects the acceleration of the vehicle; or a sensor for detecting the amount of accelerator pedal operation, the amount of brake pedal operation, the steering angle of the steering wheel, engine rotation speed, or wheel rotation speed.
  • the drivetrain control unit 7100 performs arithmetic processing using signals input from the vehicle state detection unit 7110, and controls the internal combustion engine, drive motor, electric power steering device, brake device, etc.
  • the body system control unit 7200 controls the operation of various devices installed in the vehicle body according to various programs.
  • the body system control unit 7200 functions as a control device for a keyless entry system, a smart key system, a power window device, or various lamps such as headlamps, backup lamps, brake lamps, turn signals, and fog lamps.
  • radio waves transmitted from a portable device that serves as a key or signals from various switches can be input to the body system control unit 7200.
  • the body system control unit 7200 accepts these radio waves or signal inputs and controls the vehicle's door lock device, power window device, lamps, etc.
  • the battery control unit 7300 controls the secondary battery 7310, which is the power supply source for the drive motor, in accordance with various programs. For example, information such as battery temperature, battery output voltage, or remaining battery capacity is input to the battery control unit 7300 from a battery device equipped with the secondary battery 7310. The battery control unit 7300 performs calculations using these signals, and controls the temperature regulation of the secondary battery 7310 or the cooling device or other components equipped in the battery device.
  • the outside vehicle information detection unit 7400 detects information outside the vehicle equipped with the vehicle control system 7000.
  • an imaging unit 7410 and an outside vehicle information detection unit 7420 is connected to the outside vehicle information detection unit 7400.
  • the imaging unit 7410 includes at least one of a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the outside vehicle information detection unit 7420 includes at least one of, for example, an environmental sensor for detecting the current weather or climate, or a surrounding information detection sensor for detecting other vehicles, obstacles, pedestrians, etc. around the vehicle equipped with the vehicle control system 7000.
  • the environmental sensor may be, for example, at least one of a raindrop sensor that detects rain, a fog sensor that detects fog, a sunshine sensor that detects the level of sunlight, and a snow sensor that detects snowfall.
  • the surrounding information detection sensor may be at least one of an ultrasonic sensor, a radar device, and a LIDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) device.
  • the imaging unit 7410 and the outside vehicle information detection unit 7420 may each be provided as an independent sensor or device, or may be provided as a device that integrates multiple sensors or devices.
  • Figure 26 shows an example of the installation locations of the imaging unit 7410 and the vehicle exterior information detection unit 7420.
  • the imaging units 7910, 7912, 7914, 7916, and 7918 are installed, for example, at least one of the front nose, side mirrors, rear bumper, back door, and the top of the windshield inside the vehicle cabin of the vehicle 7900.
  • the imaging unit 7910 installed on the front nose and the imaging unit 7918 installed on the top of the windshield inside the vehicle cabin mainly capture images of the front of the vehicle 7900.
  • the imaging units 7912 and 7914 installed on the side mirrors mainly capture images of the sides of the vehicle 7900.
  • the imaging unit 7916 installed on the rear bumper or back door mainly captures images of the rear of the vehicle 7900.
  • the imaging unit 7918 which is mounted above the windshield inside the vehicle, is primarily used to detect preceding vehicles, pedestrians, obstacles, traffic lights, traffic signs, lane marks, etc.
  • Imaging range a indicates the imaging range of the imaging unit 7910 provided on the front nose
  • imaging ranges b and c indicate the imaging ranges of the imaging units 7912 and 7914 provided on the side mirrors, respectively
  • imaging range d indicates the imaging range of the imaging unit 7916 provided on the rear bumper or back door.
  • External vehicle information detection units 7920, 7922, 7924, 7926, 7928, and 7930 installed on the front, rear, sides, corners, and above the windshield inside the vehicle cabin of vehicle 7900 may be, for example, ultrasonic sensors or radar devices.
  • External vehicle information detection units 7920, 7926, and 7930 installed on the front nose, rear bumper, back door, and above the windshield inside the vehicle cabin of vehicle 7900 may be, for example, LIDAR devices.
  • These external vehicle information detection units 7920 to 7930 are primarily used to detect preceding vehicles, pedestrians, obstacles, etc.
  • the outside vehicle information detection unit 7400 causes the imaging unit 7410 to capture images outside the vehicle and receives the captured image data.
  • the outside vehicle information detection unit 7400 also receives detection information from the connected outside vehicle information detection unit 7420. If the outside vehicle information detection unit 7420 is an ultrasonic sensor, radar device, or LIDAR device, the outside vehicle information detection unit 7400 emits ultrasonic waves or electromagnetic waves, and receives information on the received reflected waves. Based on the received information, the outside vehicle information detection unit 7400 may perform object detection processing or distance detection processing for people, vehicles, obstacles, signs, text on the road, etc. Based on the received information, the outside vehicle information detection unit 7400 may also perform environmental recognition processing to recognize rainfall, fog, road conditions, etc. Based on the received information, the outside vehicle information detection unit 7400 may also calculate the distance to objects outside the vehicle.
  • the outside vehicle information detection unit 7400 may also perform image recognition processing or distance detection processing to recognize people, cars, obstacles, signs, or text on the road surface based on the received image data.
  • the outside vehicle information detection unit 7400 may also perform processing such as distortion correction or alignment on the received image data, and may also generate an overhead image or panoramic image by combining image data captured by different image capture units 7410.
  • the outside vehicle information detection unit 7400 may also perform viewpoint conversion processing using image data captured by different image capture units 7410.
  • the in-vehicle information detection unit 7500 detects information inside the vehicle.
  • a driver state detection unit 7510 that detects the driver's state.
  • the driver state detection unit 7510 may include a camera that captures an image of the driver, a biosensor that detects the driver's biometric information, or a microphone that collects audio from within the vehicle cabin.
  • the biosensor is provided, for example, on the seat or steering wheel, and detects the biometric information of a passenger sitting in the seat or the driver gripping the steering wheel.
  • the in-vehicle information detection unit 7500 may calculate the driver's level of fatigue or concentration based on the detection information input from the driver state detection unit 7510, or may determine whether the driver is dozing off.
  • the in-vehicle information detection unit 7500 may perform processing such as noise canceling on the collected audio signal.
  • the integrated control unit 7600 controls the overall operation of the vehicle control system 7000 in accordance with various programs.
  • An input unit 7800 is connected to the integrated control unit 7600.
  • the input unit 7800 is realized by a device that can be operated by the occupant for input, such as a touch panel, button, microphone, switch, or lever. Data obtained by voice recognition of voice input through a microphone may be input to the integrated control unit 7600.
  • the input unit 7800 may be, for example, a remote control device that uses infrared or other radio waves, or an externally connected device such as a mobile phone or PDA (Personal Digital Assistant) that is compatible with the operation of the vehicle control system 7000.
  • the input unit 7800 may be, for example, a camera, in which case the occupant can input information using gestures.
  • the input unit 7800 may include, for example, an input control circuit that generates an input signal based on information input by a passenger or the like using the input unit 7800 and outputs the signal to the integrated control unit 7600.
  • the passenger or the like inputs various data to the vehicle control system 7000 and instructs it to perform processing operations.
  • the memory unit 7690 may include a ROM (Read Only Memory) that stores various programs executed by the microcomputer, and a RAM (Random Access Memory) that stores various parameters, calculation results, sensor values, etc.
  • the memory unit 7690 may also be realized by a magnetic memory device such as an HDD (Hard Disc Drive), a semiconductor memory device, an optical memory device, or a magneto-optical memory device.
  • the general-purpose communication I/F 7620 is a general-purpose communication I/F that mediates communication between various devices present in the external environment 7750.
  • the general-purpose communication I/F 7620 may implement cellular communication protocols such as GSM (registered trademark) (Global System of Mobile communications), WiMAX (registered trademark), LTE (registered trademark) (Long Term Evolution) or LTE-Advanced (LTE-A), or other wireless communication protocols such as wireless LAN (also known as Wi-Fi (registered trademark)) and Bluetooth (registered trademark).
  • GSM Global System of Mobile communications
  • WiMAX registered trademark
  • LTE registered trademark
  • LTE-Advanced LTE-Advanced
  • wireless LAN also known as Wi-Fi (registered trademark)
  • Bluetooth registered trademark
  • the general-purpose communication I/F 7620 may connect to devices (e.g., application servers or control servers) present on an external network (e.g., the Internet, a cloud network, or an operator-specific network) via, for example, a base station or access point. Additionally, the general-purpose communication I/F 7620 may connect to a terminal located near the vehicle (for example, a terminal of a driver, pedestrian, or store, or an MTC (Machine Type Communication) terminal) using, for example, P2P (Peer To Peer) technology.
  • P2P Peer To Peer
  • the dedicated communication I/F 7630 is a communication I/F that supports communication protocols designed for use in vehicles.
  • the dedicated communication I/F 7630 may implement standard protocols such as WAVE (Wireless Access in Vehicle Environment), which is a combination of the lower layer IEEE 802.11p and the upper layer IEEE 1609, DSRC (Dedicated Short Range Communications), or a cellular communication protocol.
  • WAVE Wireless Access in Vehicle Environment
  • DSRC Dedicated Short Range Communications
  • the dedicated communication I/F 7630 typically performs V2X communication, a concept that includes one or more of vehicle-to-vehicle communication, vehicle-to-infrastructure communication, vehicle-to-home communication, and vehicle-to-pedestrian communication.
  • the positioning unit 7640 performs positioning by receiving, for example, GNSS signals from GNSS (Global Navigation Satellite System) satellites (e.g., GPS signals from GPS (Global Positioning System) satellites), and generates location information including the vehicle's latitude, longitude, and altitude.
  • GNSS Global Navigation Satellite System
  • GPS Global Positioning System
  • the positioning unit 7640 may determine the current location by exchanging signals with a wireless access point, or may obtain location information from a terminal with positioning capabilities, such as a mobile phone, PHS, or smartphone.
  • the beacon receiver 7650 receives, for example, radio waves or electromagnetic waves transmitted from radio stations installed on the road, and acquires information such as the current location, congestion, road closures, and travel time.
  • the functions of the beacon receiver 7650 may be included in the dedicated communication I/F 7630 described above.
  • the in-vehicle device I/F 7660 is a communication interface that mediates connections between the microcomputer 7610 and various in-vehicle devices 7760 present in the vehicle.
  • the in-vehicle device I/F 7660 may establish wireless connections using wireless communication protocols such as wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), or WUSB (Wireless USB).
  • the in-vehicle device I/F 7660 may also establish a wired connection such as USB (Universal Serial Bus), HDMI (High-Definition Multimedia Interface), or MHL (Mobile High-Definition Link) via a connection terminal (and a cable, if necessary) not shown.
  • USB Universal Serial Bus
  • HDMI High-Definition Multimedia Interface
  • MHL Mobile High-Definition Link
  • the in-vehicle device 7760 may include, for example, at least one of a mobile device or wearable device owned by the passenger, or an information device carried into or attached to the vehicle.
  • the in-vehicle device 7760 may also include a navigation device that searches for a route to an arbitrary destination.
  • the in-vehicle device I/F 7660 exchanges control signals or data signals with these in-vehicle devices 7760.
  • the in-vehicle network I/F 7680 is an interface that mediates communication between the microcomputer 7610 and the communication network 7010.
  • the in-vehicle network I/F 7680 sends and receives signals in accordance with a specific protocol supported by the communication network 7010.
  • the microcomputer 7610 of the integrated control unit 7600 controls the vehicle control system 7000 in accordance with various programs based on information acquired via at least one of the general-purpose communication I/F 7620, dedicated communication I/F 7630, positioning unit 7640, beacon receiving unit 7650, in-vehicle device I/F 7660, and in-vehicle network I/F 7680.
  • the microcomputer 7610 may calculate control target values for the driving force generating device, steering mechanism, or braking device based on acquired information from inside and outside the vehicle, and output control commands to the drivetrain control unit 7100.
  • the microcomputer 7610 may perform cooperative control aimed at realizing the functions of an Advanced Driver Assistance System (ADAS), including vehicle collision avoidance or impact mitigation, following driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, and vehicle lane departure warning.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 7610 may perform cooperative control for the purpose of autonomous driving, which allows the vehicle to travel autonomously without relying on driver operation, by controlling the driving force generation device, steering mechanism, braking device, etc. based on the acquired information about the vehicle's surroundings.
  • the microcomputer 7610 may generate three-dimensional distance information between the vehicle and surrounding objects such as structures and people based on information acquired via at least one of the general-purpose communication I/F 7620, dedicated communication I/F 7630, positioning unit 7640, beacon receiving unit 7650, in-vehicle equipment I/F 7660, and in-vehicle network I/F 7680, and may create local map information including information about the area around the vehicle's current location. Furthermore, the microcomputer 7610 may predict dangers such as a vehicle collision, approaching pedestrians, or entering a closed road based on the acquired information, and generate a warning signal.
  • the warning signal may be, for example, a signal to generate a warning sound or turn on a warning lamp.
  • the audio/video output unit 7670 transmits at least one audio and/or image output signal to an output device capable of visually or audibly notifying vehicle occupants or the outside of the vehicle of information.
  • an audio speaker 7710, a display unit 7720, and an instrument panel 7730 are exemplified as output devices.
  • the display unit 7720 may include, for example, at least one of an on-board display and a head-up display.
  • the display unit 7720 may have an AR (Augmented Reality) display function.
  • the output device may also be other devices such as headphones, wearable devices such as eyeglass-type displays worn by the occupants, projectors, or lamps.
  • the output device When the output device is a display device, the display device visually displays the results obtained by various processes performed by the microcomputer 7610 or information received from other control units in various formats such as text, images, tables, and graphs.
  • the output device is an audio output device, the audio output device converts audio signals consisting of reproduced audio data or acoustic data into analog signals and outputs them audibly.
  • At least two control units connected via the communication network 7010 may be integrated into a single control unit.
  • each control unit may be made up of multiple control units.
  • the vehicle control system 7000 may include another control unit not shown.
  • some or all of the functions performed by one of the control units may be carried out by another control unit. In other words, as long as information is sent and received via the communication network 7010, predetermined calculation processing may be performed by one of the control units.
  • a sensor or device connected to one of the control units may be connected to another control unit, and multiple control units may send and receive detection information to each other via the communication network 7010.
  • a computer program for realizing each function of the image processing device 1 according to this embodiment described with reference to FIG. 1 can be implemented in any control unit, etc.
  • a computer-readable recording medium on which such a computer program is stored can be provided. Examples of recording media include magnetic disks, optical disks, magneto-optical disks, and flash memory.
  • the above-mentioned computer program may be distributed, for example, via a network, without using a recording medium.
  • the image processing device 1 described using FIG. 1 can be applied to the imaging unit 7410 of the application example shown in FIG. 25.
  • the image processing device 1 of FIG. 1 can be applied to a camera or the like of the imaging unit 7410. This makes it possible to measure shapes with high precision and speed even in image processing devices with limited circuit scale, such as cameras, and enables faster and more accurate detection of vehicles or people.
  • the components of the image processing device 1 described using FIG. 1 may be implemented in a module (e.g., an integrated circuit module configured on a single die) for the integrated control unit 7600 shown in FIG. 25.
  • the image processing device 1 described using FIG. 1 may be implemented by multiple control units of the vehicle control system 7000 shown in FIG. 25.
  • the present technology can be configured as follows: (1) a plurality of pixels each outputting a pixel signal including luminance information corresponding to the amount of incident light; an image generating unit that generates image data having uniform brightness regardless of local brightness differences between pixels based on the brightness information of the plurality of pixels, Image processing device.
  • the semiconductor device is an average luminance calculation unit that calculates an average luminance value for each first region including two or more of the pixels that are arranged adjacent to each other; a correction value calculation unit that calculates a correction value according to the average luminance value of the first region based on the average luminance value of the first region and luminance information about the periphery of the first region, the image generation unit generates the image data based on a plurality of the correction values corresponding to a plurality of the first regions.
  • An image processing device according to (1) or (2).
  • the correction value calculation unit calculates the correction value of the specific first region based on an average luminance value of the specific first region that is the calculation target of the correction value and an average luminance value of a first region other than the specific first region that is included in a second region that includes the specific first region and is larger than the specific first region.
  • the correction value calculation unit a first processing unit that corrects the average luminance value of the specific first region by performing a convolution process on the average luminance value of the specific first region using average luminance values of first regions other than the specific first region that are included in the second region located around the specific first region; a second processing unit that calculates the correction value for the specific first region based on the average luminance value of the specific first region corrected by the first processing unit, (4) An image processing device according to (4).
  • the second processing unit calculates the correction value by dividing a predetermined target signal value by the average luminance value of the specific first region corrected by the first processing unit.
  • An image processing device according to (5).
  • the correction value calculation unit repeatedly performs a process of calculating the correction value while changing the specific first region; the image generation unit generates the binarized image data based on a plurality of the correction values corresponding to a plurality of the first regions.
  • An image processing device (6)
  • (8) generating the binarized image data based on a comparison result between a threshold value set based on the target signal value and the correction value; (7)
  • An image processing device according to (7).
  • the correction value calculation unit repeatedly performs a process of calculating the correction value while changing the specific first region; the image generation unit performs an interpolation process on luminance information of each of the plurality of pixels based on the plurality of correction values corresponding to the plurality of first regions, to generate pixel data having uniform luminance.
  • An image processing device according to (6).
  • the image generation unit includes a compression unit that generates image data in which luminance information of the plurality of pixels is compressed.
  • the semiconductor device is a pixel array unit including the plurality of pixels; an average luminance calculation unit that calculates an average luminance value of the entire area of the pixel array unit;
  • the correction value calculation unit a first processing unit that corrects the average luminance value of the specific first region by performing a convolution process on the average luminance value of the specific first region using average luminance values of first regions other than the specific first region that are included in the second region located around the specific first region; a second processing unit that calculates a first correction value for the specific first region by dividing a predetermined target signal value by the average luminance value of the specific first region corrected by the first processing unit; a third processing unit that calculates a second correction value by dividing the target signal value by the average luminance value calculated by the average luminance calculation unit; a fourth processing unit that calculates the correction value based on the first correction value and the second correction value, (4) An image processing device according to (4).
  • the semiconductor device is an input unit for inputting the size of the first region and the size of the second region; Alternatively, the device may have at least one of a storage unit that stores the size of the first region and the size of the second region.
  • the image processing device according to any one of (4) to (11).
  • the semiconductor device is an input unit for inputting the size of the first region, the size of the second region, and the target signal value; Alternatively, the device may include at least one of a storage unit that stores the size of the first region, the size of the second region, and the target signal value.
  • the image processing device according to any one of (6) to (11).
  • the semiconductor device is a pixel array unit including the plurality of pixels; an attention area extraction unit that extracts an attention area including two or more of the pixels in the pixel array unit, the image generation unit, the average luminance calculation unit, and the correction value calculation unit perform processing on the two or more pixels included in the region of interest.
  • the image processing device according to any one of (3) to (13).
  • the semiconductor device is an area extraction unit that extracts a partial pixel area included in the image data generated by the image generation unit; a region image generating unit that generates image data of the partial pixel region based on the partial pixel region extracted by the region extracting unit and luminance information of the plurality of pixels, The image processing device according to any one of (1) to (13).
  • the semiconductor device includes a luminance information extraction unit that extracts luminance information for each pixel from a plurality of pixel signals including color information and luminance information output from each of the plurality of pixels, the image generation unit generates the image data based on the luminance information for each pixel extracted by the luminance information extraction unit.
  • the image processing device according to any one of (1) to (15).
  • the image processing unit may further include an image processing unit that performs predetermined image processing based on the image data output from the semiconductor device.
  • the image processing device according to any one of (1) to (16).
  • Image processing device 2. Pixel array unit, 3, 3a, 3b, 3c, 3d, 3e, 3f, 3g, 50, 100.
  • Image generation unit 4. Transfer unit, 5. Setting input unit, 6. Register block, 7. Row selection unit, 8. Image processing unit, 9. Control unit, 10, 10a.
  • Semiconductor device 11. Captured image generation unit, 12. Local area average calculation unit, 13. Filter processing unit, 14. Division processing unit, 15. Binarized image generation unit, 16. Correction value calculation unit, 17. Feature extraction unit, 21. Subject, 22, 22a, 22b, 22c, 22d, 24. Local area, 23. Filter block, 25.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

［課題］回路規模を削減可能で、かつ計測精度を向上できる。 ［解決手段］画像処理装置は、入射光の光量に応じた輝度情報を含む画素信号をそれぞれ出力する複数の画素と、前記複数の画素の前記輝度情報に基づいて、画素ごとの局所的な明暗差に関わらず均一な輝度を有する画像データを生成する画像生成部と、を有する半導体装置を備える。

Description

画像処理装置及び画像処理方法
　本開示は、画像処理装置及び画像処理方法に関する。
　感度を変化させて撮像した画像を合成させるＨＤＲ（High Dynamic Range：ハイダイナミックレンジ）技術が普及している。ＨＤＲ技術では、演算量及びメモリ量が莫大なものとなることに加え、画面内明暗差が顕著になるため、輝度差を忠実に検出するのが困難であり、特徴量等の計測精度が悪化するという課題がある。
　画素ごとのコントラストに応じて圧縮率を調整し、明部及び暗部のコントラストの再現性を向上させるローカルトーンマッピング処理が提案されている（特許文献１参照）。特許文献１では、局所エリア毎のヒストグラムに基づいて算出したガンマカーブを用いて、画像データを形状計測に最適なコントラストへ補正するとともにｂｉｔ圧縮を行う。
特開２０２１－１１７７４８号公報
　しかしながら、特許文献１の手法では、ヒストグラムを生成する回路が必要であり、また、ヒストグラムの生成には大容量のメモリが必要になる。このため、特許文献１の手法をイメージセンサ等の固体撮像装置に実装するのは困難である。
　そこで、本開示では、回路規模を削減可能で、かつ計測精度を向上できる画像処理装置及び画像処理方法を提供するものである。
　上記の課題を解決するために、本開示によれば、入射光の光量に応じた輝度情報を含む画素信号をそれぞれ出力する複数の画素と、
　前記複数の画素の前記輝度情報に基づいて、画素ごとの局所的な明暗差に関わらず均一な輝度を有する画像データを生成する画像生成部と、を有する半導体装置を備える、
　画像処理装置が提供される。
　また、本開示によれば、入射光の光量に応じた輝度情報を含む画素信号をそれぞれ出力する複数の画素と、
　前記複数の画素の前記輝度情報に基づいて、それぞれ異なる画像処理を行って生成される２種類以上の画像データと、前記画像処理を行わずに生成される画像データとのうち、少なくとも２つの画像データを生成する画像生成部と、
　前記画像生成部で生成された少なくとも２つの画像データのうち、一部又はすべての画像データを選択して出力する画像選択部と、を有する半導体装置を備える、
　画像処理装置が提供される。
　前記半導体装置は、
　隣接して配置される２以上の前記画素を含む第１領域ごとに平均輝度値を算出する平均輝度算出部と、
　前記第１領域の平均輝度値と前記第１領域の周囲の輝度情報とに基づいて、前記第１領域の平均輝度値に応じた補正値を算出する補正値算出部と、を有し、
　前記画像生成部は、複数の前記第１領域に対応する複数の前記補正値に基づいて、前記画像データを生成してもよい。
　前記補正値算出部は、前記補正値の算出対象となる特定の前記第１領域の平均輝度値と、前記特定の第１領域を含み前記特定の第１領域よりも広い第２領域に含まれる前記特定の第１領域以外の第１領域の平均輝度値と、に基づいて、前記特定の第１領域の前記補正値を算出してもよい。
　前記補正値算出部は、
　前記特定の第１領域の平均輝度値に対して、前記特定の第１領域の周囲に位置する前記第２領域に含まれる前記特定の第１領域以外の第１領域の平均輝度値を用いた畳み込み処理を行うことにより、前記特定の第１領域の平均輝度値を補正する第１処理部と、
　前記第１処理部で補正された前記特定の第１領域の平均輝度値に基づいて、前記特定の第１領域の前記補正値を算出する第２処理部と、を有してもよい。
　前記第２処理部は、予め定めた目標信号値を前記第１処理部で補正された前記特定の第１領域の平均輝度値で割ることにより、前記補正値を算出してもよい。
　前記補正値算出部は、前記特定の第１領域を変えながら前記補正値を算出する処理を繰り返し行い、
　前記画像生成部は、複数の前記第１領域に対応する複数の前記補正値に基づいて、二値化された前記画像データを生成してもよい。
　前記目標信号値に基づいて設定される閾値と前記補正値との比較結果に基づいて、前記二値化された画像データを生成してもよい。
　前記補正値算出部は、前記特定の第１領域を変えながら前記補正値を算出する処理を繰り返し行い、
　前記画像生成部は、複数の前記第１領域に対応する複数の前記補正値に基づいて、前記複数の画素のそれぞれの輝度情報の補間処理を行って、均一な輝度を有する画素データを生成してもよい。
　前記画像生成部は、前記複数の画素の輝度情報が圧縮された画像データを生成する圧縮部を備えてもよい。
　前記半導体装置は、
　前記複数の画素を含む画素アレイ部と、
　前記画素アレイ部の全域の平均輝度値を算出する平均輝度算出部を有し、
　前記補正値算出部は、
　前記特定の第１領域の平均輝度値に対して、前記特定の第１領域の周囲に位置する前記第２領域に含まれる前記特定の第１領域以外の第１領域の平均輝度値を用いた畳み込み処理を行うことにより、前記特定の第１領域の平均輝度値を補正する第１処理部と、
　予め定めた目標信号値を前記第１処理部で補正された前記特定の第１領域の平均輝度値で割ることにより、前記特定の第１領域の第１補正値を算出する第２処理部と、
　前記目標信号値を前記平均輝度算出部で算出された平均輝度値で割ることにより、第２補正値を算出する第３処理部と、
　前記第１補正値及び前記第２補正値に基づいて、前記補正値を算出する第４処理部と、を有してもよい。
　前記半導体装置は、
　前記第１領域のサイズと前記第２領域のサイズとを入力する入力部、
　又は、前記第１領域のサイズ及び前記第２領域のサイズを記憶する記憶部の、少なくとも一方を有してもよい。
　前記半導体装置は、
　前記第１領域のサイズと前記第２領域のサイズと前記目標信号値とを入力する入力部、
　又は、前記第１領域のサイズと前記第２領域のサイズと前記目標信号値とを記憶する記憶部の、少なくとも一方を有してもよい。
　前記半導体装置は、
　前記複数の画素を含む画素アレイ部と、
　前記画素アレイ部における２以上の前記画素を含む注目領域を抽出する注目領域抽出部と、を有し、
　前記画像生成部、前記平均輝度算出部、及び前記補正値算出部は、前記注目領域に含まれる前記２以上の画素に対して処理を行ってもよい。
　前記半導体装置は、
　前記画像生成部で生成された前記画像データに含まれる一部の画素領域を抽出する領域抽出部と、
　前記領域抽出部で抽出された前記一部の画素領域と、前記複数の画素の輝度情報とに基づいて、前記一部の画素領域の画像データを生成する領域画像生成部と、を有してもよい。
　前記半導体装置は、前記複数の画素のそれぞれから出力された色情報及び輝度情報を含む複数の画素信号から、画素ごとに輝度情報を抽出する輝度情報抽出部を有し、
　前記画像生成部は、前記輝度情報抽出部で抽出された画素ごとの輝度情報に基づいて前記画像データを生成してもよい。
　前記半導体装置から出力された前記画像データに基づいて、所定の画像処理を行う画像処理部をさらに備えてもよい。
　また、本開示によれば、隣接して配置される２以上の画素を含む第１領域ごとに平均輝度値を算出し、
　複数の前記第１領域のうち特定の前記第１領域の平均輝度値と、前記特定の第１領域を含み前記特定の第１領域よりも広い第２領域に含まれる前記特定の第１領域以外の第１領域の平均輝度値とに基づいて、前記特定の第１領域の前記補正値を算出し、
　前記複数の第１領域に対応する複数の前記補正値に基づいて画像データを生成する、
　画像処理方法が提供される。
本開示の第１の実施形態に係る画像処理装置の構成を示すブロック図。 本開示の第１の実施形態に係る画像生成部の構成を示すブロック図。 図２の画像生成部の動作を説明するフローチャート。 画像データ生成部が生成した撮像画像データを示す図。 局所エリア平均算出部に複数の局所エリアに分割された撮像画像データを示す図。 局所エリアの平均輝度値の算出結果を示す図。 フィルタ処理の動作を説明する図。 フィルタブロックを示す図。 フィルタ処理部に設定されるフィルタの一例を示す図。 局所エリアの第１補正値の算出結果を示す図。 二値化画像生成部が生成する二値化画像データを示す図。 特徴抽出結果を示す画像データを示す図。 本開示の第１の実施形態の第１変形例に係る画像生成部の構成を示すブロック図。 図５の画像生成部の動作を説明するフローチャート。 バイリニア補間を説明する図。 補正画像生成部が生成する補正画像データを示す図。 図４Ａの撮像画像データの輝度情報を示すヒストグラム。 図７Ｂの補正画像データの輝度情報を示すヒストグラム。 本開示の第１の実施形態の第２変形例に係る画像生成部の構成を示すブロック図。 一比較例に係る画像生成部の構成を示すブロック図。 図１０の補正画像生成部が生成する補正画像データを示す図。 図１１Ａの補正画像データの輝度情報を示すヒストグラム。 本開示の第１の実施形態に係る画像生成部により生成される補正画像。 一比較例に係る画像生成部により生成される補正画像。 本開示の第１の実施形態に係る画像生成部により生成される抽出画像。 一比較例に係る画像生成部により生成される抽出画像。 本開示の第２の実施形態に係る画像生成部の構成を示すブロック図。 本開示の第２の実施形態に係る画像生成部により生成される補正画像。 補正なしの撮像画像。 本開示の第２の実施形態に係る画像生成部により生成される抽出画像。 撮像画像に基づく抽出画像。 本開示の第３の実施形態に係る画像生成部の構成を示すブロック図。 輝度情報抽出部の構成を示すブロック図。 輝度情報抽出部の動作を示すフローチャート。 本開示の第４の実施形態に係る画像生成部の構成を示すブロック図。 本開示の第５の実施形態に係る画像生成部の構成を示すブロック図。 領域選択部が生成した画像データを示す図。 本開示の第６の実施形態に係る画像生成部の構成を示すブロック図。 本開示の第７の実施形態に係る半導体装置の構成を示すブロック図。 車両制御システムの概略的な構成の一例を示すブロック図。 車外情報検出部及び撮像部の設置位置の一例を示す説明図。
　以下、図面を参照して、画像処理装置及び画像処理方法の実施形態について説明する。以下では、画像処理装置及び画像処理方法の主要な構成部分を中心に説明するが、画像処理装置及び画像処理方法には、図示又は説明されていない構成部分や機能が存在しうる。以下の説明は、図示又は説明されていない構成部分や機能を除外するものではない。
　（第１の実施形態）
　図１は、本開示の第１の実施形態に係る画像処理装置１の構成を示すブロック図である。画像処理装置１は、半導体装置１０を有する。半導体装置１０は、例えばイメージセンサである。半導体装置１０は、１つ又は複数の半導体チップから構成されてもよい。半導体装置１０は、画素アレイ部２及び画像生成部３を有する。本明細書では、半導体装置１０のことを、画像処理装置１と呼ぶことがある。
　画素アレイ部２は、複数の画素を有する。複数の画素は、例えば、二次元方向に複数配列される。画素は、それぞれ入射光の光量に応じた電荷を生成する光電変換素子（例えば、フォトダイオード）を有し、不図示の画素回路等を介して、光電変換素子の電荷に基づく画素信号をそれぞれ出力する。複数の画素から出力される複数の画素信号は、入射光の光量に応じた輝度情報を含む。
　画像生成部３は、画素アレイ部２から複数の画素信号を取得する。画像生成部３は、複数の画素信号から複数の画素の輝度情報を取得する。
　画像生成部３は、輝度情報に基づいて所定の画像処理を行うことで、画像データを生成する。所定の画像処理には、輝度情報のダイナミックレンジを圧縮するローカルトーンマッピング処理が含まれる。また、所定の画像処理には、画像データの圧縮、又は画像データの二値化処理等が含まれる。
　画像生成部３は、単一の画像処理により、輝度情報から単一の画像データを生成する構成であってもよい。また、画像生成部３は、複数種類の画像処理により、同じ輝度情報から複数の画像データを生成する構成であってもよい。また、画像生成部３は画像処理によって１つ又は複数の画像データを生成するとともに、画像処理を行わないで、ダイナミックレンジを圧縮しない画像データを生成してもよい。
　画像生成部３は、例えば、被写体の特徴抽出等を行う機能を有してもよい。または、画像生成部３は、後段の情報処理装置（例えば、ＳｏＣ：System on a Chip）等が特徴抽出を行う場合に、特徴抽出の精度を向上できる画像データを出力してもよい。
　半導体装置１０は、転送部４を有する構成であってもよい。転送部４は、例えば、ＭＩＰＩ（Mobile Industry Processor Interface）ＳＶＬＳ（Scalable Low Voltage Signaling：スケーラブル低電圧信号伝送）、又はＳＬＶＳ－ＥＣ（SLVS with Embedded Clock
）等のインタフェースを有する。転送部４は、画像生成部３が出力した画像データを、後段のＳｏＣ等に転送する。
　半導体装置１０は、設定入力部（入力部）５又はレジスタブロック（記憶部）６のうち少なくとも一方を有する構成であってもよい。設定入力部５は、画像生成部３に対して、ローカルトーンマッピング処理に必要な設定を入力する。レジスタブロック６は、ローカルトーンマッピング処理に必要な設定を記憶し、画像生成部３に提供する。ユーザ等は、設定入力部５を通じて、ローカルトーンマッピング処理に必要な設定を入力できる。レジスタブロック６には、設定入力部５から入力された設定を保存してもよいし、半導体装置１０の出荷時に、所定の設定が記憶されてもよい。
　設定入力部５又はレジスタブロック６は、後段のＳｏＣ等から、例えば、ＳＰＩ（Serial Peripheral Interface）又はＩ２Ｃ（Inter-Integrated Circuit）等を介して、ローカルトーンマッピング処理に必要な設定が入力されてもよい。
　半導体装置１０は、行選択部７を有する構成であってもよい。行選択部７は、例えば、シフトレジスタ及びアドレスデコーダ等から構成される。画素アレイ部２は、例えば、複数の画素が一行に配列された画素行を複数有する。行選択部７は、画素アレイ部２内の複数の画素行のうち、一行を順に選択し、選択した一行に画素信号の出力を指示する。
　すなわち、画像生成部３には画素行ごとに輝度情報を取得することができる。本開示の第１の実施形態に係る画像生成部３は、画素アレイ部２内の全ての画素が画素信号を出力するのを待つことなく、１行又は複数行の画素行ごとに画像データを生成できる。１つの画素行に対応する画像データの生成処理は、他の画素行からの画素信号の取得処理と並行して行われてもよい。これにより、画像生成部３は、高速に画像データを生成することができる。本明細書では、１行又は複数行の画素行ごとの画像データの生成処理を、ラインベースの処理とも呼ぶ。
　また、ラインベースの処理では、画像データが生成されるまでの間に、全ての画素の輝度情報を記憶しておく必要がない。例えば、半導体装置１０には、画像データの生成に必要な１つ又な複数行の輝度情報を一時的に記憶するラインメモリ等が配置されてもよい。ラインメモリは、１つの画素行から輝度情報を取得するたびに、新しい輝度情報が古い輝度情報に上書き保存されてもよい。これにより、半導体装置１０はメモリ容量を削減でき、すなわち回路規模を削減することができる。
　なお、画像生成部３は必ずしもラインベースの処理をする必要はなく、画素アレイ部２内の全画素ごとに画像データを生成する構成であってもよい。
　本明細書では、画素アレイ部２を有する半導体装置１０内でローカルトーンマッピング処理を行う例を説明する。なお、これに限らずローカルトーンマッピング処理は後段の情報処理装置等が行ってもよい。
　画像処理装置１は、画像処理部（画像出力部）８を有する構成であってもよい。画像処理部８は、転送部４から取得した画像データに対して特徴抽出等の画像処理を行うことができる。または、画像処理部８は、転送部４から取得した画像データをディスプレイ等に表示してもよい。
　画像処理装置１は、制御部９を有する構成であってもよい。制御部９は、設定入力部５に所定の設定を入力し、半導体装置１０の撮像動作及び画像データ生成動作を制御することができる。
　図２は、本開示の第１の実施形態に係る画像生成部の構成を示すブロック図である。図２の画像生成部３は、撮像画像生成部１１、局所エリア平均算出部（平均輝度算出部）１２、フィルタ処理部（第１処理部）１３、除算処理部（第２処理部）１４、及び二値化画像生成部１５を有する。図２の画像生成部３では、除算処理部１４を、閾値生成部とも呼ぶ。
　図２の画像生成部３は、二値化画像データを生成できる。二値化画像データは、例えば、被写体を黒又は白の一方（例えば、黒）、被写体以外の部分を黒又は白の他方（例えば、白）で表現する。これにより、被写体の形状が明確になり、後段における特徴抽出が容易になる。
　図３は、本開示の第１の実施形態に係る画像生成部３の動作を説明するフローチャートである。以下では、図３のフローチャートを用いて、図２の画像生成部３の各構成要素の機能を説明する。
　まず、撮像画像生成部１１が輝度情報を取得する（ステップＳ１）。撮像画像生成部１１は、画素アレイ部２から画素信号を取得し、画素信号から輝度情報を取得し、輝度情報に基づいて撮像画像データ（第１画像データ）を生成する。図４Ａは、撮像画像生成部１１が生成した撮像画像データを示す図である。
　撮像画像生成部１１が生成する撮像画像データには、局所的な明暗差がある場合がある。図４Ａの例では、図の上部が暗く、図の下部は明るい。特に図４Ａでは、図の上部が暗いため、被写体２１（図４Ａの例では、ネジ）の上部と、被写体以外の部分（以下、背景とも呼ぶ）との境界の判別が困難になっている。図４Ａの画像を用いて二値化（又は、特徴抽出）を行った場合、被写体２１の輪郭を十分に検出できない場合がある。なお、本明細書では、画像データのうち、特に特徴抽出、形状抽出、又は輪郭抽出の対象となる部分のことを、被写体とも呼ぶ。
　そこで、撮像画像生成部１１の後段では、ローカルトーンマッピング処理により、撮像画像データの局所的な明暗差を均一化するとともに、被写体２１と背景の輝度差を強調し、二値化（又は、特徴抽出）に適切な画像データとなるように、撮像画像を補正する。
　続いて、局所エリア平均算出部１２が局所エリアの平均輝度値を算出する（図３のステップＳ２）。局所エリア平均算出部１２は、画素アレイ部２を複数の局所エリア（第１領域）２２に分割する。複数の局所エリア２２は、隣接して配置される２以上の画素をそれぞれ有する。また、画像生成部３が生成した撮像画像データも、複数の局所エリア２２に対応した領域（以下、単に局所エリア２２とも呼ぶ）に分割できる。
　図４Ｂは、局所エリア平均算出部１２による複数の局所エリア２２に分割された撮像画像データを示す図である。本明細書では、図４Ｂの横方向を第１方向Ｘ（ｘ座標）とも呼び、縦方向を第２方向Ｙ（ｙ座標）とも呼ぶ。また、任意の画素の位置（ｐｉｘｅｌ位置）を［ｘ（ｉ），ｙ（ｊ）］とし、当該位置の輝度値（画素値）をｐ［ｘ（ｉ），ｙ（ｊ）］とする。局所エリア２２のブロック位置を［ｋx，ｋy］、局所エリア２２の第１方向ＸのサイズをＮx、第２方向ＹのサイズをＮyとする。局所エリア２２のサイズ（ブロックサイズ）とは、例えば、局所エリア２２内に含まれる画素の数である。
　上記のパラメータを用いて、位置［ｋx，ｋy］の局所エリア２２の平均輝度値ｑ［ｋx，ｋy］は、下記の式（１）で表される。
　図４Ｃは、局所エリア２２の平均輝度値の算出結果を示す図である。図４Ｃに示すように、局所エリア平均算出部１２は、複数の局所エリア２２のそれぞれの平均輝度値に基づくモザイク状の画像データを生成できる。
　続いて、局所エリア平均算出部１２が算出した平均輝度値に基づいて、フィルタ処理部１３がフィルタ処理を行う（図３のステップＳ３）。図４Ｄは、フィルタ処理の動作を説明する図である。フィルタ処理部１３は、複数の局所エリア２２を有するフィルタブロック（第２領域）２３を設定する。
　図４Ｅは、フィルタブロック２３を示す図である。フィルタ処理部１３は、フィルタブロック２３内に含まれる複数の局所エリア２２を用いて、畳み込み演算を行い、特定の局所エリア２２のフィルタ補正値を算出する。図４Ｅのフィルタブロック２３は、フィルタ補正値の算出対象となる特定の局所エリア２４を有する。特定の局所エリア２４は、例えば、フィルタブロック２３の中心又はその近傍に配置される。
　特定の局所エリア２４のフィルタ補正値ｒa［ｋx，ｋy］は、フィルタブロック２３の第１方向ＸのサイズＢx、第２方向ＹのサイズＢy、局所エリア２２の平均輝度値ｑ［ｋx（ｉ），ｋy（ｊ）］、及び所定のフィルタ係数Ｆ［ｆx（ｉ），ｆy（ｊ）］を用いて、下記の式（２）で算出される。フィルタブロック２３のサイズ（フィルタサイズ）とは、例えば、フィルタブロック２３内に含まれる局所エリア２２の数である。フィルタ係数については、後述する。
　なお、ｉ＝ｋx―Ｂx／２～ｋx＋Ｂx／２、ｊ＝ｋy―Ｂy／２～ｋy＋Ｂy／２のとき、平均輝度値ｑ［ｋx（ｉ），ｋy（ｊ）］は、フィルタブロック２３内に含まれる局所エリア２２及び２４のそれぞれの平均輝度値を示す。
　上記の式（２）で算出されるフィルタ補正値ｒa［ｋx，ｋy］は、特定の局所エリア２４が、周囲の（すなわち、フィルタブロック２３に配置された）局所エリア２２の平均輝度値の情報を取り込んだ値である。
　フィルタ係数Ｆ［ｆx（ｉ），ｆy（ｊ）］とは、フィルタ補正値ｒa［ｋx，ｋy］に取り込まれる局所エリア２２のそれぞれの平均輝度値を重み付けする値である。フィルタ処理部１３には、複数のフィルタ係数の情報を有するフィルタが設定される。
　図４Ｆは、フィルタ処理部１３に設定されるフィルタ２５の一例を示す図である。フィルタ２５は、それぞれがフィルタ係数の情報を有する複数のフィルタ要素２６を有する。複数のフィルタ要素２６は、フィルタブロック２３内の局所エリア２２及び２４に対応して配置される。フィルタ要素２６の位置［ｆx（ｉ），ｆy（ｊ）］は、特定の局所エリア２４の位置［ｋx，ｋy］と、対応する局所エリア２２の位置［ｋx（ｉ），ｋy（ｊ）］と、を用いて、例えば、下記の式（３）及び（４）で表される。
　複数のフィルタ要素２６のフィルタ係数は、例えば、特定の局所エリア２４に対応するフィルタ要素２７が最も高く設定される。また、フィルタ要素２７の近くに配置されるフィルタ要素２６はフィルタ係数がより高く設定され、遠くに配置されるフィルタ要素２６はフィルタ係数がより低く設定される。これにより、特定の局所エリア２４は、より近くに配置される局所エリア２２の平均輝度値を優先的に取り込むことができる。
　なお、後段の補正処理において、画像データの平均輝度値を目標信号値の近傍に合わせこむためには、フィルタ２５内のフィルタ係数の総和は、例えば、式（５）で示すようにブロックサイズと同じになるように調整されることが望ましい。
　フィルタ処理部１３は、複数の局所エリア２２を順に特定の局所エリア２４に指定して、式（２）に示す畳み込み演算を行い、フィルタ補正値を算出する。フィルタ処理部１３のフィルタ処理は、図４Ｄに示すように、フィルタブロック２３の位置を局所エリア２２の単位で変更しながら，畳み込み演算を行うような動作となる。
　フィルタ処理部１３によって、複数の局所エリア２２の平均輝度値をそれぞれ補正した、複数のフィルタ補正値が生成される。複数のフィルタ補正値は、それぞれ対応する局所エリア２２が、近傍の輝度値を取り込んでいるという特徴がある。局所エリア２２の周囲の輝度値が低ければフィルタ補正値も低くなり、局所エリア２２の周囲の輝度値が高ければフィルタ補正値も高くなる。すなわち、フィルタ補正値には、図４Ａの撮像画像データの局所的な明暗差（例えば、図４Ａの上下の明暗差）が反映されやすいという特徴がある。
　一方、近傍に配置される複数の局所エリア２２同士（例えば、隣接する局所エリア２２同士）は、互いの平均輝度値を取り込んでしまう。このため、フィルタ補正値には、近傍に配置される複数の局所エリア２２の間の輝度差は反映されにくいという特徴がある。
　続いて、除算処理部１４は、所定の目標信号値Ｍを、フィルタ補正値で除算する処理を行う（図３のステップＳ４）。除算処理部１４が生成する第１補正値ｒb［ｋx，ｋy］は、下記の式（６）で表される。
　図４Ｇは、局所エリア２２の第１補正値の算出結果を示す図である。図４Ｇに示すように、除算処理部１４は、複数の局所エリア２２の複数の第１補正値に基づく画像データ（第２画像データ）を生成できる。
　図４Ｇの画像データは、フィルタ補正値を用いた除算処理によって生成されるため、図４Ａの撮像画像データの輝度値を反転し、かつ周囲の局所エリアの輝度に基づいて特定の局所エリアの輝度を補正した画像データとなる。図４Ｇの画像データには、上記のフィルタ補正値の特徴が反映される。具体的には、補正画像データには、図４Ａの撮像画像データの局所的な明暗差が（反転された状態で）反映されやすい。一方、補正画像データは、特定の局所エリア２４の輝度とその周囲の局所エリア２２の輝度との明暗差が抑制された画像となる。これにより、補正画像データは、図４Ａと比較して、被写体２１の輪郭がぼやけた画像となる。
　図２のフィルタ処理部１３及び除算処理部１４は、複数の局所エリア２２の補正値を算出することから、本明細書では、両者を合わせて補正値算出部１６とも呼ぶ。
　続いて、二値化画像生成部１５は、第１補正値に基づいて、二値化画像を生成する（図３のステップＳ５）。二値化画像生成部１５は、所定の二値化閾値で、第１補正値を比較判定する。
　図４Ｈは二値化画像生成部１５が生成する二値化画像データ（第３画像データ）を示す図である。図４Ｈの二値化画像データは、第１補正値が所定の二値化閾値を上回る場合は白を出力し、下回る場合は黒を出力する例を示している。
　図２の画像生成部３は、特徴抽出部１７を有する構成であってもよい。特徴抽出部１７は、図４Ｈの二値化画像データから、被写体２１の輪郭を抽出する。図４Ｉは、特徴抽出結果を示す画像データ（第４画像データ）を示す図である。
　図２の画像生成部３は、図４Ａの撮像画像データを補正し、図４Ｈの二値化画像データを生成できる。これにより、特徴抽出部１７（又は、後段のＳｏＣ等）で、高精度な特徴抽出が可能である。
　局所エリア平均算出部１２が用いるブロックサイズＮx、Ｎy、フィルタ処理部１３が用いるフィルタサイズＢx、Ｂy、除算処理部１４が用いる目標信号値Ｍ、及び二値化画像生成部１５が用いる二値化閾値の一部又は全て（以下、入力パラメータ）は、設定入力部５又はレジスタブロック６から取得することができる。図２では、上記の入力パラメータが設定入力部５から入力される例を示す。
　入力パラメータには、フィルタタイプが含まれてもよい。フィルタタイプは、フィルタ処理部１３に入力され、フィルタ２５のフィルタ係数を設定するために用いられる。
　フィルタ２５としては、例えば、図４Ｆに示すような、特定の局所エリア２４と他の局所エリア２２とでフィルタ係数が異なる加重平均フィルタが指定できる。これに限定されず、フィルタ２５には、局所エリア２４と他の局所エリア２２とでフィルタ係数が同一となる移動平均フィルタが用いられてもよい。また、補正画像データの用途に応じて、平滑化フィルタ、鮮鋭化フィルタ、又はバイラテラルフィルタ等が用いられてもよい。
　二値化閾値は、目標信号値Ｍに基づいて設定されてもよい。例えば、二値化閾値Ｔは、目標信号値Ｍ及び所定の二値化率Ｃを用いて、Ｔ＝Ｍ×Ｃ／１００で算出されてもよい。この場合、二値化率Ｃは、入力パラメータとして設定入力部５等から入力されてもよい。
　局所エリア平均算出部１２の処理には、式（１）に示すように、ブロックサイズＮx×Ｎyによる除算処理が含まれる。この除算処理は、局所エリア平均算出部１２内に割り算回路を配置することにより実現することができる。ここで、ブロックサイズＮx×Ｎyを２のべき乗に設定すると、例えば、ブロックサイズに応じた数のビットシフトによって除算処理が実現でき、割り算回路を省略できる。これにより、回路規模を削減できる。
　フィルタ処理部１３の処理には、式（２）に示すように、フィルタブロック２３のサイズＢx×Ｂyによる除算処理が含まれる。フィルタブロック２３のサイズＢx×Ｂyを２のべき乗に設定することにより、上記と同様、フィルタ処理部１３から割り算回路を省略でき、回路規模を削減できる。
　図５は、本開示の第１の実施形態の第１変形例に係る画像生成部の構成を示すブロック図である。図５の画像生成部３ａは、二値化画像生成部１５を持たず、補正画像生成部３１を有するという点で、図２の画像生成部３とは異なる。
　図５の画像生成部３ａは，画素ごとの局所的な明暗差に関わらず均一な輝度を有する補正画像データを生成できる。均一な輝度を有する補正画像データとは、撮像画像データと比較して、最大の輝度値と最小の輝度値の差が小さく、かつ、後述のハローが抑制された画像データである。
　図６は、本開示の第１の実施形態に係る画像生成部３ａの動作を説明するフローチャートである。以下では、図６のフローチャートを用いて、図５の画像生成部３ａの機能を説明する。ステップＳ１～Ｓ４の動作は、図３と同様である。ステップＳ４で、局所エリア２２の第１補正値が生成される。
　図５の画像生成部３ａは、補間演算部３２を有する構成であってもよい。補間演算部３２は、局所エリア２２ごとの第１補正値ｒb［ｋx，ｋy］を、画素ごとの補間値ｒc［ｘ，ｙ］に変換する補間演算を行う（図６のステップＳ２１）。補間演算には、例えば、バイリニア補間を用いることができる。
　図７Ａは、バイリニア補間を説明する図である。上述したように、１つの局所エリア２２には、複数の画素４１が含まれる。図７Ａでは、複数の画素４１のうち、特定の画素４２の補間値ｒc［ｘ，ｙ］を生成する例を説明する。
　まず、画素アレイ部２に配置された複数の局所エリア２２から、画素４２が配置される局所エリア２２ａを取得する。また、局所エリア２２ａに第１方向Ｘに隣接する局所エリア２２のうち、より画素４２に近い局所エリア２２ｂを取得する。また、局所エリア２２ａに第２方向Ｙに隣接する局所エリア２２のうち、より画素４２に近い局所エリア２２ｃを取得する。また、局所エリア２２ｂと第２方向Ｙに隣接するとともに、局所エリア２２ｃと第１方向Ｘに隣接する、局所エリア２２ｄを取得する。局所エリア２２ａ、２２ｂ、２２ｃ及び２２ｄの重心には、計算点４３ａ、４３ｂ、４３ｃ、及び４３ｄを配置する。計算点４３ａ～４３ｄは、それぞれ局所エリア２２ａ～２２ｄの第１補正値ｒb［ｋx，ｋy］の情報を有する。
　計算点４３ａ及び４３ｂのつなぐ直線のうち、画素４２の重心と同じｘ座標に、計算点４４ａを配置する。計算点４３ｃ及び４３ｄのつなぐ直線のうち、画素４２の重心と同じｘ座標に、計算点４４ｂを配置する。計算点４４ａ及び４４ｂの補正値Ｓi及びＳjは、計算点４３ａ、４３、４３ｃ、及び４３ｄの第１補正値Ｔa、Ｔb、Ｔc、及びＴd、計算点４３ａから計算点４３ｂまでの距離Ｌｘ、計算点４３ａから計算点４４ａまでの距離Ｌｘi、計算点４３ｂから計算点４４ａまでの距離Ｌｘjを用いて、下記の式（７）及び（８）で表される。また、画素４２の補間値ｒc［ｘ，ｙ］は、計算点４４ａから計算点４４ｂまでの距離Ｌｙ、画素４２の重心から計算点４４ａまでの距離Ｌｙi、画素４２の重心から計算点４４ａまでの距離Ｌｙjを用いて、下記の式（９）で表される。
　続いて、補正画像生成部３１が、補間値と、撮像画像生成部１１が生成した撮像画像データに基づいて、補正画像データを生成する（図６のステップＳ１１）。図７Ｂは、補正画像生成部３１が生成する補正画像データ（第５画像データ）を示す図である。補正画像データの複数の画素４２の輝度値ｇ［ｘ，ｙ］は、撮像画像データの輝度値ｐ［ｘ，ｙ］を用いて、下記の式（１０）で表すことができる。
　図５の画像生成部３ａは、図７Ｂに示すように、高精度な形状計測が可能な補正画像データを出力できる。図４Ａの撮像画像データと、図７Ｂの補正画像データと、を比較すると、図７Ｂの補正画像データは、図４Ａのような局所的な明暗差が補正されている。また、補正画像データでは、撮像画像データよりも被写体２１の輪郭が明確である。このため、補正画像データは撮像画像データより、より高精度な特徴抽出、及びより高精度な被写体２１の形状計測が可能である。
　なお、ステップＳ２１の補間演算を省略する場合、図７Ｂの補正画像データの複数の画素４２の輝度値ｇa［ｘ，ｙ］は、その画素４２が配置される局所エリア２２の第１補正値ｒb［ｋx，ｋy］を用いて、下記の式（１１）で表される。
　以下では、図７Ｂの補正画像データが生成できる原理について説明する。簡単のため、補間演算を省略した場合を考える。この場合、図７Ｂの補正画像データは、式（１１）に示すように、撮像画像データに目標信号値が掛け合わされ、フィルタ補正値が除算された輝度値を有する。すなわち、補正画像データの平均輝度値は目標信号値Ｍと略一致するように調整される。また、フィルタ補正値が除算されることで、撮像画像データの局所的な明暗差が補正される。
　一方、フィルタ補正値には、近傍に配置される局所エリア２２間の輝度差が反映されにくいため、フィルタ補正値を除算しても、撮像画像データの輝度値の高い部分と輝度値の低い部分との境界の情報（具体的には、被写体２１の輪郭の情報）は失われない。さらに、局所的な明暗差が補正されることにより、補正画像データでは、被写体２１の輪郭が相対的に強調されることになる。
　図５の画像生成部３ａは、一例として、下記の条件を満たす補正画像データを生成することができる。条件は、撮像画像データの最大輝度値Ｖmax、撮像画像データの最小輝度値Ｖmin、撮像画像データの平均輝度値ＡＶＥ（Ｖ）、補正画像データの最大輝度値Ｒmax、補正画像データの最小輝度値Ｒmin、補正画像データの平均輝度値ＡＶＥ（Ｒ）、同じフィルタブロックに属する任意の２つの局所エリア２２の補正画像データにおける平均輝度値Ｒi, Ｒj（ただし、Ｒi≧Ｒjとする）、当該２つの局所エリア２２の撮像画像データにおける平均輝度値Ｖi, Ｖj（ただし、Ｖi≧Ｖjとする）を用いて、下記の式（１２）及び（１３）で表される。式（１２）に示す通り、補正画像データは最大輝度値と最小輝度値の間隔を狭め、全体の輝度差を均一化できる。式（１３）のＲi及びＲjが、それぞれ被写体及び背景の輝度である場合、両者の輝度差を強調できる。なお、画像生成部３ａが生成する補正画像データは、この条件を満たす画像データに限定されるものではない。
　上記の通り、図５の画像生成部３ａは、撮像画像データを補正し、高精度な被写体２１の形状計測が可能な補正画像データを出力できる。
　画像生成部３ａは、補正画像生成部３１の後段に、輝度情報を圧縮する圧縮部３３を有する構成であってもよい。図７Ｂに示す補正画像データは、図４Ａに示す撮像画像データよりも、データ圧縮が容易であるという特徴を有する。
　図８Ａは、図４Ａの撮像画像データの輝度情報を示すヒストグラムである。図８Ｂは、図７Ｂの補正画像データの輝度情報を示すヒストグラムである。図８Ａ及び図８Ｂの横軸は輝度値を示し、図８Ａ及び図８Ｂの縦軸は画素数を示す。
　図８Ｂのヒストグラムの形状は、図８Ａと比較して、横軸（輝度差）方向に圧縮された形状を有する。補正画像データは、上述のように平均輝度値が目標信号値と略一致するように調整されるため、図８Ｂのヒストグラムの重心は、目標信号値の近傍に配置される。
　補正画像データのヒストグラムは、撮像画像データのヒストグラムに比べて圧縮されているため、横軸（輝度差）方向にビンデータがほとんどない領域を生成できる。例えば、図８Ｂのヒストグラムは、高輝度値のビンデータをほとんど持たない。このため、圧縮部３３において高輝度値のデータを削除しても、補正画像データの情報をほとんど欠落させることなく、補正画像データのデータ容量を削減できる。
　画像処理装置１では、撮像画像データとして、例えば、１画素につき２０ｂｉｔのＨＤＲ画像データを生成できる。一方、後段のＳｏＣ等では、伝送用ＩＦ（interface）として、１画素につき最大でも１２ｂｉｔの画像データしか対応していない場合がある。この場合、画像データの圧縮が必要となる。これに対し、図５の圧縮部３３は、情報の欠落を抑制しながら、２０ｂｉｔのＨＤＲ画像を、例えば、８ｂｉｔに圧縮することができるため、後段のＳｏＣ等に、高精度な圧縮データを転送することが可能である。
　一方、図２の画像生成部３は、二値化画像生成部１５の二値化処理によって、出力する画像データを圧縮できる。このため、図５の圧縮部３３を省略することできる。
　すなわち、図１の転送部４からは、圧縮部３３によるデータ圧縮処理か、二値化画像生成部１５による二値化処理の少なくとも一方が行われた、撮像画像データよりもデータ容量の小さい画像データを出力できる。
　図５の画像生成部３ａは、補正画像生成部３１の後段に、二値化画像生成部１５（及び、特徴抽出部１７）を有する構成であってもよい。すなわち、二値化画像生成部１５は、図７Ｂの補正画像データに対し、二値化処理をしてもよい。二値化画像生成部１５は、圧縮部３３の後段に配置されてもよい。
　図９は、本開示の第１の実施形態の第２変形例に係る画像生成部の構成を示すブロック図である。図９の画像生成部３ｂは、圧縮部３３の後段に特徴抽出部１７を有するという点で、図５の画像生成部３ａとは異なる。
　図９の特徴抽出部１７には、圧縮部３３によりデータ容量が圧縮された補正画像データが入力される。これにより、補正画像生成部３１から直接、特徴抽出部１７に補正画像データを入力する場合よりも、特徴抽出部１７の計算量を低減できる。この場合、補正画像データに二値化処理を行わなくても、低い計算負荷で特徴抽出が可能になる。
　図２の二値化画像生成部１５は、第１補正値の逆数（１／ｒｂ［ｋx，ｋy］）を二値化閾値として用いてもよい。詳細には、図４Ａの撮像画像データと第１補正値の逆数（二値化閾値）とを用いて、二値化画像データを生成してもよい。二値化画像データにおいて、例えば、下記の式（１４）の条件を満たすときは黒を出力し、それ以外は白を出力するとしてもよい。式（１４）は、式（１５）のように変形できる。
　式（１５）に示すように、二値化の判定においては、フィルタ補正値の除算と等価の処理がされることで、式（１１）と同様に、撮像画像データの局所的な明暗差の影響を除去できる。上記の第１補正値の逆数（二値化閾値）は、例えば除算処理部１４において、フィルタ処理部１３が生成するフィルタ補正値から目標信号値Ｍを除算することで算出できる。なお、目標信号値Ｍは、２のべき乗の値に設定されてもよい。これにより、割り算回路を省略できる。
　上記の手法では、撮像画像データではなく二値化閾値を直接に補正しているという特徴がある。本明細書は、上記の手法を、閾値のダイレクト補正方式（第１方式）とも呼ぶ。上記の手法では、補正画像生成部３１の後段に二値化画像生成部１５を配置する場合よりも、補間演算部３２及び補正画像生成部３１を省略することができる。これにより、高速に二値化画像データを生成できるとともに、画像生成部３の回路規模を縮小できる。
　なお、二値化画像生成部１５は、図５の補間演算部３２が生成する補間値を、二値化閾値として用いる構成であってもよい。
　図２、図５及び図９の画像生成部３、３ａ及び３ｂ（以下、単に画像生成部３）は、ラインベースの処理が可能である。より具体的には、撮像画像生成部１１は、例えば、１行の画素行ごとに撮像画像データを生成できる。局所エリア平均算出部１２は、１つの局所エリアを構成する複数の画素行ごとに、平均輝度を算出できる。フィルタ処理部１３は、１つのフィルタを構成する複数の画素行ごとに、畳み込み演算ができる。
　上記のように、撮像画像生成部１１、局所エリア平均算出部１２、フィルタ処理部（第１処理部）１３、除算処理部１４、二値化画像生成部１５、補正画像生成部３１、及び補間演算部３２は、いずれも画素アレイ部２内の全ての画素行から画素信号を出力されるのを待つ必要がない。また、ある画素４１に対応する補正画像データの生成は、他の画素４１からの画素信号を取得と並行して行うこともできる。これにより、画像生成部３は、高速に補正画像データを生成できる。
　本開示の第１の実施形態に係る画像処理装置１は、入力パラメータにも特徴がある。例えば、入力パラメータとして、ブロックサイズ及びフィルタサイズという２つの領域のサイズが指定可能である。
　ブロックサイズを小さくすれば、より高精度な補正が可能であり、ハローを低減できる。ブロックサイズを大きくすれば、計算量を抑えることができ、画像出力がより高速化できる。フィルタサイズを小さくすれば、照明環境等による明暗差を細かく補正できる。フィルタサイズを大きくすれば、被写体２１と背景との輝度差等の、特徴抽出に用いる輝度差が補正により失われることを防ぐことができる。
　また、本開示の第１の実施形態に係る画像処理装置１は、単一の目標信号値Ｍによって補正画像データの平均輝度値を調整できる。これにより、画像処理装置１はＡＥ（Auto Exposure）機能を省略することができる。
　図２の二値化画像生成部１５には、平均輝度値が目標信号値Ｍ近傍などに調整された補正値又は補正画像データが入力されるという特徴がある。このため、画像処理装置１は撮像環境の明暗に応じて、二値化閾値を調整する必要がない。
　なお、入力パラメータには複数の目標信号値Ｍが入力されてもよく、除算処理部１４には、複数の目標信号値が入力可能な構成であってもよい。
　図１０は、一比較例に係る画像生成部の構成を示すブロック図である。図１０に示す画像生成部１００は、フィルタ処理部１３を持たないという点で、図２の画像生成部３とは異なる。
　図１０の除算処理部１４は、所定の目標信号値Ｍを、局所エリア平均算出部１２で算出された平均輝度値ｑ［ｋx，ｋy］で除算する処理を行う。除算処理部１４が生成する補正値ｒｄ［ｋx，ｋy］は、下記の式（１６）で表すことができる。また、図１０の補正画像生成部３１は、除算処理部１４が生成する補正値と、撮像画像生成部１１が生成した撮像画像データに基づいて、補正画像データを生成する。補正画像データの複数の画素４２の輝度値ｇb［ｘ，ｙ］は、撮像画像データの輝度値ｐ［ｘ，ｙ］を用いて、下記の式（１７）で表すことができる。
　図１１Ａは、図１０の補正画像生成部３１が生成する補正画像データを示す図である。図１１Ａに示すように、図１０の補正画像生成部３１によっても、図４Ａの撮像画像データの局所的な明暗差を補正し、全体の輝度値を均一化することができる。図１１Ｂは、図１１Ａの補正画像データの輝度情報を示すヒストグラムである。
　図１０の画像生成部１００は、二値化画像生成部１５及び特徴抽出部１７によって、二値化画像データの出力及び特徴抽出ができる。図１０の二値化画像生成部１５は、所定の二値化閾値で、図１１Ａの補正画像データの輝度値を比較判定する。本明細書は、図１０の手法を、局所エリアごとの除算方式（第２方式）とも呼ぶ。
　ここで、図１０の画像生成部１００が生成する図１１Ａの補正画像データと、図５の画像生成部３ａが生成する図７Ｂの補正画像データとを比較する。図１１Ａの補正画像データには、ハロー（境界上の偽色）が発生している。ハローは、特徴抽出処理におけるノイズとなり、特徴抽出精度を低下させてしまう。
　式（１６）及び（１７）に示すように、図１１Ａの補正画像データは、局所エリア２２内の複数の画素は同一の補正値ｒｄ［ｋx，ｋy］で補正される。一方、異なる局所エリア２２に属する画素は、異なる補正値で補正される場合がある。また、補正値ｒｄ［ｋx，ｋy］には、近傍の局所エリア２２の輝度値の情報が含まれない。このため、隣接する２つの局所エリア２２の境界付近などで、補正値に差が生じることに起因して、ハローが発生することがある。
　これに対して、図７Ｂの補正画像データは、畳み込み演算により生成された補正値で補正される。すなわち、図７Ｂの補正画像データの補正値は、近傍の局所エリア２２の情報を含む。これにより、図７Ｂの補正画像データは、図１１Ａの補正画像データと比較してハローが改善され、より特徴抽出精度を向上できる。
　また、図１１Ｂのヒストグラムは、図８Ａの撮像画像データのヒストグラムから横軸（輝度差）方向に極端に圧縮されてしまっている。このため、図１１Ａに示すように、被写体２１と背景の輝度差（コントラスト）が縮小されてしまっているため、特徴抽出部１７における被写体２１の判別が困難になり、特徴抽出精度が低下する。また、図１１Ｂのヒストグラムは、図８Ａのヒストグラムの形状が失われており、情報の損失が大きい。
　これに対して、図８Ｂのヒストグラムは、横軸（輝度差）方向に十分に広い幅を有する。このため、被写体２１と背景には十分な輝度差（コントラスト）があり、特徴抽出が容易である。また、図８Ｂのヒストグラムは、図８Ａのヒストグラム形状を残しており、情報の損失が少ない。
　続いて、発明者は、画像処理装置における特徴抽出に必要な回路規模及びメモリ容量を比較した。特徴抽出は、上記の第１方式、第２方式のほか、局所エリアごとのヒストグラム計測方式（第３方式）がある。
　第３方式では、局所エリアごとに輝度値のヒストグラムを生成し、ガンマ処理によってヒストグラムを平坦化する。一例としては、ＣＬＡＨＥ（Contrast Limited Adaptive Histogram Equalization：適用的ヒストグラム平坦化）である。
　下記、表１に、第１～３方式による回路規模とメモリ容量の一例を示す。表１の例では、メモリとしては、ＳＲＡＭ（Static Random Access Memory）を用いている。撮像画像データの解像度は２４７２×２０６４とする。画素単位のデータ容量は、８ｂｉｔとする。局所エリアのサイズは１６×１６ｐｉｘｅｌとする。第３方式で利用するヒストグラムのＢｉｎ数は２５６とする。
　表１に示す通り、第１方式と第３方式とを比較すると、第１方式ではヒストグラム計測などの複雑な処理が不要なことから、回路規模及びメモリ容量を大きく削減することができる。
　また、第１方式は、第３方式に比べて処理が高速である。第３方式では、ラインベースの処理が不可能である。このため第３方式では、例えば５ＭＢｙｔｅの撮像画像データに対しては、補正画像データの生成及び特徴抽出の速度は数十ｆｐｓ程度となる。一方、第１方式はラインベースの処理が可能であるので、例えば５ＭＢｙｔｅの撮像画像データに対して、１０００ｆｐｓ、又は５００ｆｐｓで補正画像データの生成及び特徴抽出が可能である。
　第１方式と第２方式とを比較すると、第１方式では、式（１７）に示すような、画素ごとに輝度値と補正値を乗算する処理が不要である。第１方式は、式（１４）に示すように、単に輝度値と所定の二値化閾値とを比較する処理で実現できるため、積和回路等が不要となる。このため第１方式では、第２方式から回路規模を１／４程度に縮小できる。
　本発明者は、図５の画像生成部３ａと図１０の画像生成部１００を用いて、バーコードを含む被写体を撮像してバーコードを抽出する実験を行った。
　図１２Ａは画像生成部３ａにより生成される補正画像、図１２Ｂは画像生成部１００により生成される補正画像を示す図である。図１３Ａは画像生成部３ａによるバーコードの抽出画像、図１３Ｂは画像生成部１００によるバーコードの抽出画像を示す図である。
　第１の実施形態に係る画像生成部３ａでは、図１２Ａに示すように、局所的な明暗差による輝度のばらつきが抑制されてハローが目立たなくなる。よって、図１３Ａに示すように、バーコードのエッジを正しく検出できる。
　一方、一比較例に係る画像生成部１００では、図１２Ｂに示すように、明暗差は抑制されるものの、ハローが視認される。よって、図１３Ｂに示すように、バーコードのエッジを検出できなくなる。
　このように、本開示の第１の実施形態では、隣接する２以上の画素を含む局所エリアごとに、その周囲の複数の局所エリアの輝度に基づいて輝度の補正値を算出する。局所エリアごとの補正値で生成される補正画像データは、局所的な明暗差に関わらず、均一な輝度を有するため、ハローを抑制できる。補正画像データと閾値を比較することで、容易に二値化画像を生成できる。二値化画像に基づいて特徴量を抽出することで、小さい回路規模で計測精度を向上できる。以下、本実施形態に係る画像処理装置１の効果をより詳細に説明する。
　第１の実施形態に係る画像処理装置１の第１の特徴として、図７Ｂに示すような補正画像データを出力できるという点がある。画像処理装置１の出力する補正画像データは、撮像画像データと比較して、全体としては略均一な輝度値を有する。一方、補正画像データからは、被写体と背景の境界などの輝度差は失われないため、境界部分の輝度差が相対的に大きいという特徴がある。このため、特徴抽出において、被写体等のエッジの抽出の精度を向上できる。
　また、補正画像データはハローが抑制されているため、特徴抽出におけるノイズが少ないという特徴がある。
　さらに、補正画像データは、撮像画像データと比較して、例えば被写体と背景のコントラストを維持しながら、輝度値の範囲が圧縮されているという特徴がある。このため、補正画像データを圧縮しても、被写体の輪郭等の情報の損失が少ない。
　画像処理装置１の第２の特徴として、周囲の環境の明暗差へのロバスト性が高いという点がある。画像処理装置１は、例えば、照明変動をさせながら被写体を撮像しても、平均輝度値が所定の目標信号値の近傍で略一定の補正画像データを生成できるとともに、高精度な特徴抽出が可能である。また、画像処理装置１は、撮像範囲に明暗差を設けても、略均一な輝度値の補正画像データを生成できる。さらに、撮像環境に応じて二値化閾値等の調整が不要となる。
　画像処理装置１の第３の特徴として、画素行単位での処理が可能であるという点がある。画像処理装置１は、画素アレイ部２内の全ての画素行が画素信号を出力するのを待つことなく、出力された画素信号を順に補正画像データに変換できる。このため、画像処理装置１は高速に補正画像データを出力できる。また、補正画像データの変換に用いられた画素信号は、記憶部に保持しておく必要がないため、メモリ容量を削減できる。
　画像処理装置１の第４の特徴として、小さい回路規模で実現可能であるという点がある。画像処理装置１は、局所エリアごとにヒストグラムを作成する手法等に比べて、処理内容が単純であるため、小さな回路規模で実現できる。また、局所エリアのサイズ等を２のべき乗に調整することなどで、割り算回路を省略し、さらに回路規模を縮小できる。
　また、二値化画像データを出力する際には、二値化閾値をダイレクトに補正する構成とすることもできる。これにより、画素ごとの輝度値と補正値との積和演算が不要となり、さらに回路規模を縮小できる。
　本開示の第１の実施形態に係る画像生成部３は、十分に小さな回路規模で実現できるため、イメージセンサ等に搭載できる。これにより、イメージセンサ内で作成された撮像画像データに対し、直接的に高精度な補正、又は高精度な圧縮が可能である。
　画像処理装置１の第５の特徴として、ブロックサイズ及びフィルタサイズが調整可能であるという点がある。ブロックサイズを調整することにより、撮像画像データを高精度に補正するか、又は撮像画像データを高速に出力するかを、調整することができる。フィルタサイズを適切に調整することにより、照明環境等による明暗差を補正しつつ、特徴抽出に用いる輝度差が失われることを防ぐことができる。
　（第２の実施形態）
　第１の実施形態に係る画像生成部３は、局所エリアごとにその周辺の複数の局所エリアを用いて輝度を補正するローカルトーンマッピング処理を行う。これに対し、第２の実施形態では、画素アレイ部２の全域の輝度の平均値を用いて各画素の輝度を補正するグローバルトーンマッピング処理を行う。
　図１４は、本開示の第２の実施形態に係る画像生成部の構成を示すブロック図である。図１４に示す画像生成部５０は、局所エリア平均算出部１２の代わりに、画面平均算出部５１を有するという点で、図１０の画像生成部１００と異なる。
　図１４の画面平均算出部５１は、画素アレイ部２の全域の平均輝度値ＡＶＥ（ｐ）を算出する。図１４の除算処理部１４は、目標信号値Ｍを平均輝度値ＡＶＥ（ｐ）で除算する。図１４の補正画像生成部３１は、除算処理部１４が生成する補正値と、撮像画像データとに基づいて、補正画像データを生成する。補正画像データの複数の画素４２の輝度値ｇb［ｘ，ｙ］は、下記の式（１８）で表すことができる。
　図１４に示す画像生成部５０は、画素アレイ部２の全域に、同じ補正処理を行う。この処理は、グローバルトーンマッピング処理とも呼ばれる。
　本発明者は、バーコードを含む被写体の撮像画像をそのまま用いてバーコードを抽出する場合と、撮像画像を図１４の画像生成部５０に入力して生成された補正画像からバーコードを抽出する場合とを比較する実験を行った。
　図１５Ａは画像生成部５０により生成される補正画像、図１５Ｂは補正なしの撮像画像を示す図である。図１６Ａは画像生成部５０によるバーコードの抽出画像、図１６Ｂは撮像画像によるバーコードの抽出画像である。
　撮像画像を補正しない場合には、図１５Ｂに示すように、局所的な明暗差が大きくなる。この場合、図１６Ｂに示すように、バーコードのエッジを正しく検出できない。画像生成部５０は、グローバルトーンマッピング処理を行うため、図１５Ａに示すように局所的な明暗差が軽減されるが、図１２Ａに示すローカルトーンマッピング処理を行う場合と比べると、局所的な明暗差が大きくなる。よって、図１６Ｂよりは改善するものの、図１６Ａに示すように、バーコードのエッジを正しく検出できない場合がありうる。
　このように、第２の実施形態では、ローカルトーンマッピング処理の代わりに、グローバルトーンマッピング処理を行うため、ローカルトーンマッピング処理よりも簡易な処理で補正画像を生成でき、回路規模の縮小化を実現できる。ただし、計測精度の観点では、第１の実施形態の方が優れる。
　（第３の実施形態）
　上述した第１及び第２の実施形態では、撮像画像データが輝度画像データ（モノクロ画像データ）である場合の例を説明した。第３の実施形態では、撮像画像データが色情報を含むカラー画像データである場合の例を説明する。ここで、色情報とは、複数の色のそれぞれごとに設けられる階調情報を指す。
　図１７は、本開示の第３の実施形態に係る画像生成部３ｃの構成を示すブロック図である。画像生成部３ｃは、撮像画像生成部１１の後段に輝度情報抽出部６１を有する。
　図１７の撮像画像生成部１１は、画素アレイ部２から色情報及び輝度情報を含む複数の画素信号を取得する。輝度情報抽出部６１は、複数の画素信号から、画素ごとに輝度情報を抽出する。局所エリア平均算出部１２は、画素ごとに抽出された輝度情報から、図２と同様に局所エリアの平均輝度値を算出する。補正値算出部１６及び補間演算部３２の処理内容は、図２と同様である。
　図１８は、輝度情報抽出部６１の構成を示すブロック図である。輝度情報抽出部６１は、一時記憶部６２と、輝度値抽出部６３と、を有する。
　画素アレイ部２には、複数の色情報を有する複数の画素４１が配置される。画素４１ごとの色情報は、例えば、画素内に配置されたカラーフィルタ等によって決定される。
　画素アレイ部２は、例えば、赤色（Ｒ）の光を受光する画素４１ａ及び緑色（Ｇ１）の光を受光する画素４１ｂが交互に配列された画素行６４ａを有する。画素アレイ部２は、例えば、緑色（Ｇ２）の光を受光する画素４１ｃ及び青色（Ｂ）の光を受光する画素４１ｄが交互に配列された画素行６４ｂを有する。画素アレイ部２には、画素行６４ａ及び６４ｂが交互に配列される。本明細書では、互いに隣接して配置される、画素４１ａ、４１ｂ、４１ｃ、及び４１ｄの組み合わせを、画素グループ（Ｂａｙｅｒ配列）６５とも呼ぶ。画素グループ６５は、画素アレイ部２内に配置される、複数の色情報を有する画素４１の、繰り返しの単位である。
　輝度情報抽出部６１は、画素グループ６５から１つの輝度値を抽出し、局所エリア平均算出部１２に転送する。１つの輝度値とは、例えば、画素グループ６５内の４つの画素４１の最大輝度値である。なお、輝度情報抽出部６１は、１つの輝度値として、画素グループ６５内の４つの画素４１の平均輝度値を取得してもよい。以下では、輝度情報抽出部６１が画素グループ６５における最大輝度値を取得する例を説明する。
　図１７の局所エリア平均算出部１２は、１つの画素グループ６５を１つの局所エリア２２として扱ってもよく、画素グループ６５から抽出された１つの輝度値を、局所エリア２２の輝度値ｑ［ｋx，ｋy］として抽出してもよい。これに限らず、１つの局所エリア２２は、複数の画素グループ６５を含む構成であってもよい。
　図１９は、輝度情報抽出部６１の動作を示すフローチャートである。画素アレイ部２は、画素行ごとに、画素信号を出力する。まず、画素アレイ部２は、例えば、１つの画素行６４ａの画素信号を出力する。輝度情報抽出部６１は、撮像画像生成部１１を介して、画素４１ａ及び４１ｂの輝度情報及び色情報（すなわち、Ｒ及びＧ１の色情報）を取得できる（ステップＳ３１）。
　輝度情報抽出部６１は、ステップＳ３１の時点では、画素４１ｃ及び４１ｄの輝度情報が取得できない。このため、輝度情報抽出部６１は画素グループ６５から１つの輝度値を抽出できない。輝度情報抽出部６１は、画素４１ａ及び４１ｂの輝度情報を、一時記憶部６２に記憶する（ステップＳ３２）。
　続いて、画素アレイ部２は、画素行６４ｂの画素信号を出力する。輝度情報抽出部６１は、撮像画像生成部１１を介して、画素４１ｃ及び４１ｄの輝度情報及び色情報（すなわち、Ｇ２及びＢの色情報）を取得できる（ステップＳ３３）。
　輝度情報抽出部６１は、ステップＳ３３の時点で、画素グループ６５内の画素４１ａ～４１ｄの輝度値を取得できる。輝度値抽出部６３は、一時記憶部６２に記憶された画素４１ａ及び４１ｂの輝度情報と、ステップＳ３３で取得された画素４１ｃ及び４１ｄの輝度情報と、に基づいて、画素グループ６５の最大輝度値を取得する（ステップＳ３４）。
　輝度情報抽出部６１は、ステップＳ３１～Ｓ３４により、画素グループ６５から、輝度情報（Ｖ）を抽出できる。輝度情報抽出部６１は、画素アレイ部２内に配置された他の画素グループ６５についても、同様に輝度情報を取得する。
　図１７の補正画像生成部３１は、補間演算部３２から補間値ｒc［ｘ，ｙ］を取得できるとともに、撮像画像生成部１１の撮像画像データから、複数の画素４１の輝度値ｐ［ｘ，ｙ］及び色情報を取得できる。補正画像生成部３１は、例えば、式（１０）で輝度値を補正する。補正画像生成部３１は、補正された輝度値及び対応する色情報を組み合わせて、カラーの画像データを出力できる。なお、補正画像生成部３１は、輝度情報抽出部６１から撮像画像データの輝度値を取得し、モノクロの画像データを出力してもよい。
　上述した第３の実施形態は、第２の実施形態と同様のグローバルトーンマッピング処理を行う場合にも適用可能である。この場合、例えば、図１４の撮像画像生成部１１と画面平均算出部５１の間に、輝度情報抽出部６１を設ければよい。
　このように、本開示の第３の実施形態に係る画像生成部３ｃは、カラーの撮像画像データに対しても、図３のフローチャートと同様に輝度の補正ができる。本開示の第３の実施形態に係る輝度情報抽出部６１は、第１及び第２の実施形態に係る画像生成部３、３ａ、及び５０のいずれにも適用できる。
　（第４の実施形態）
　図２０は、本開示の第４の実施形態に係る画像生成部３ｄの構成を示すブロック図である。図２０の画像生成部３ｄは、ローカルトーンマッピング処理で生成した画像データと、グローバルトーンマッピング処理で生成した画像データとを、ブレンドできるという特徴がある。
　図２０の画像生成部３ｄは、撮像画像生成部１１、局所エリア平均算出部１２、画面平均算出部（平均輝度算出部）５１、フィルタ処理部（第１処理部）１３、第１除算処理部（第２処理部）７１ａ、第２除算処理部（第３処理部）７１ｂ、ブレンド処理部（第４処理部）７２、二値化画像生成部１５、及び特徴抽出部１７を有する。
　第１除算処理部７１ａは、図２の除算処理部１４と同様に、所定の目標信号値Ｍを、フィルタ処理部１３で生成したフィルタ補正値ｒa［ｋx，ｋy］で除算する。第２除算処理部７１ｂは、図１４の除算処理部１４と同様に、所定の目標信号値Ｍを、画面平均算出部５１が生成した平均輝度値ＡＶＥ（ｐ）で除算する。ブレンド処理部７２は、第１除算処理部７１ａの第１補正値ｒb［ｋx，ｋy］と、第２除算処理部７１ｂの第２補正値ｒeとを、所定のブレンド係数Ｄに基づいてブレンドし、ブレンド値（補正値）ｒf［ｋx，ｋy］を出力する。ブレンド係数Ｄは、例えば設定入力部５（又は、レジスタブロック６）から入力可能である。ブレンド値ｒf［ｋx，ｋy］は、例えば、下記の式（１９）で表される。
　上記の例では、ブレンド係数Ｄが大きいほど、ブレンド値ｒf［ｋx，ｋy］における第１補正値ｒb［ｋx，ｋy］の成分が大きくなる。また、ブレンド係数Ｄが小さいほど、ブレンド値ｒf［ｋx，ｋy］における第２補正値ｒeの成分が大きくなる。
　第１補正値ｒb［ｋx，ｋy］に、画素アレイ部２の全域の平均輝度値に基づく第２補正値ｒeがブレンドされることにより、全画面の輝度値をより強力に均一化できる。これにより、特徴抽出部１７では、環境光によりロバストな特徴抽出が可能である。本開示の第４の実施形態に係る第１除算処理部７１ａ、第２除算処理部７１ｂ、及びブレンド処理部７２は、第１～第３の実施形態の画像生成部３～３ｃ（及び、５０）のいずれにも適用できる。
　（第５の実施形態）
　図２１は、本開示の第５の実施形態に係る画像生成部３ｅの構成を示すブロック図である。図２１の画像生成部３ｅは、注目領域抽出部８１及び領域選択部８２を有するという点で、図５の画像生成部３ａとは異なる。注目領域抽出部８１は、二値化画像生成部１５が生成した画像データから、注目領域（ＲＯＩ：Region of Interest）を抽出する。
　抽出された注目領域は、領域選択部８２にフィードバックされる。領域選択部８２は、撮像画像生成部１１と局所エリア平均算出部１２との間に配置される。領域選択部８２は、画像生成部が生成した撮像画像データから、注目領域の画像データを抽出した画像データを生成する。
　図２２は、領域選択部８２が生成した画像データを示す図である。局所エリア平均算出部１２、及び補正値算出部１６等は図２２のＲＯＩ（注目領域、又は画素領域）に含まれる２以上の画素に対して処理を行う。これにより、処理対象の領域が小さくなるので、画像生成部３ｅは画像データの生成をさらに効率化でき、さらに高速に画像データを生成できる。本手法による画像データ生成の効率化は、撮像画像データの全体に対して被写体２１が小さいときに、特に有効である。また、画像生成部３ｅが生成する画像データのデータ容量を削減できるので、図７Ｂのような補正画像データを出力する場合に、圧縮部３３が省略できる。
　なお、注目領域抽出部８１は、図１の画素アレイ部２が、注目領域に配置されない画素の画素信号を出力しないよう制御する構成であってもよい。
　本開示の第５の実施形態に係る注目領域抽出部８１及び領域選択部８２は、第１～第４の実施形態の画像生成部３～３ｄ（及び、５０）のいずれにも適用できる。
　（第６の実施形態）
　図２３は、本開示の第６の実施形態に係る画像生成部３ｆの構成を示すブロック図である。図２３の画像生成部３ｆは、領域抽出部８３及び領域画像生成部８４を有するという点で、図５の画像生成部３ａとは異なる。
　領域抽出部８３は、二値化画像生成部１５が生成した画像データから、注目領域を抽出する。領域画像生成部８４は、領域抽出部８３が抽出した注目領域を取得するとともに、例えば撮像画像生成部１１から複数の画素の輝度情報を取得する。領域画像生成部８４は、複数の画素の輝度情報のうち、注目領域に含まれる複数の画素の輝度情報から、注目領域の画像データを生成する。
　領域画像生成部８４が生成した画像データは、例えば図１の転送部４を介して、後段のＳｏＣ等に出力される。これにより、撮像画像データに比べて転送する画像データのデータ容量を削減できる。
　また、後段のＳｏＣ等で物体検出、又は高精度画像処理等を行う場合、画像データのデータ容量が小さくなったことで後段のＳｏＣの計算量が削減でき、ＳｏＣ側の処理負担を軽減することができる。
　本開示の第６の実施形態に係る領域抽出部８３及び領域画像生成部８４は、第１～第５の実施形態の画像生成部３～３ｅ（及び、５０）のいずれにも適用できる。
　（第７の実施形態）
　図２４は、本開示の第７の実施形態に係る半導体装置１０ａの構成を示すブロック図である。図２４の半導体装置１０ａは、画像選択部９１を有するという点で、図１の半導体装置１０とは異なる。画像選択部９１は、画像生成部３ｇで生成された二以上の画像データのうち、一部又は全ての画像データを選択して出力する。
　画像選択部９１は、ユーザの要求に応じて出力する画像を選択してもよいし、後段に配置されるＳｏＣ等の要求に応じて出力する画像を選択してもよい。また、画像選択部９１は、設定入力部５から入力された情報、又はレジスタブロック６に記憶された情報に基づいて、出力する画像を選択してもよい。
　図２４の画像生成部３ｇは、画像処理を行わずに生成される画像データと、それぞれ異なる画像処理を行って生成される２種類以上の画像データと、のうち、少なくとも２つの画像データを生成する。
　具体的には、画像生成部３ｇは、図２の撮像画像生成部１１が生成する撮像画像データ（例えば、図４Ａ又は図１３Ａ）を、画像処理を行わなかった画像データとして生成できる。
　また、画像生成部３ｇは、フィルタ処理を含むローカルトーンマッピング処理を行って生成された画像データ（例えば、図７Ｂ又は図１６Ａ）、フィルタ処理を含まないローカルトーンマッピング処理を行って生成された画像データ（例えば、図１１Ａ又は図１５Ａ）、又はグローバルトーンマッピング処理を行って生成された画像データ（例えば、図１４Ａ）、のうちいずれか２つ以上を、それぞれ異なる画像処理を行って生成される２種類以上の画像データとして出力できる。
　画像生成部３ｇは、圧縮部３３により圧縮された画像データ、二値化画像生成部１５により生成された画像データ（例えば、図４Ｈ）、特徴抽出部１７により生成された画像データ（例えば、図４Ｉ）、局所エリア平均算出部１２により生成された画像データ（例えば、図４Ｃ）、又は除算処理部１４により生成された画像データ（例えば、図４Ｇ）を出力してもよい。
　画像生成部３ｇは、色情報を有するカラー画像データ、ブレンド処理部７２によるブレンド処理がされた画像データ、又は注目領域抽出部８１により抽出された注目領域の画像データ（例えば、図２２）を出力してもよい。
　画像生成部３ｇは、画像生成部３～３ｆ（及び、５０）のいずれかと同様の構成を有する。画像生成部３ｇは、画像生成部３～３ｆ（及び、５０）のうち２つ以上の機能を有する構成であってもよい。例えば、画像生成部３ｇは、図２の二値化画像生成部１５及び特徴抽出部１７、図５の補間演算部３２及び補正画像生成部３１を並列に有してもよい。画像生成部３ｇは、画像選択部９１の選択により、図７Ｂの補正画像データ又は図４Ｉの特徴抽出データのいずれか少なくとも１つを出力してもよい。
　画像選択部９１は、一例として、下記（１）～（５）のいずれかを出力できる。なお、画像選択部９１は、（１）～（５）に限定されず、複数種類の任意の画像データを出力できる。
　（１）撮像画像データ（図４Ａ）及び特徴抽出結果の画像データ（図４Ｉ）
　（２）撮像画像データ（図４Ａ）及び補正画像データ（図７Ｂ）
　（３）補正画像データ（図７Ｂ）及び特徴抽出結果の画像データ（図４Ｉ）
　（４）撮像画像データ（図４Ａ）及び注目領域の画像データ（図２２）
　（５）撮像画像データ（図４Ａ）及び注目領域の特徴抽出結果の画像データ
　半導体装置１０ａは、出力する画像データを切り替えることで、後段のＳｏＣ等における様々な画像処理に対応できる。
　（応用例）
　本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図２５は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図２５に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller　Area　Network）、ＬＩＮ（Local　Interconnect　Network）、ＬＡＮ（Local　Area　Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。
　各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図２５では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。
　駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock　Brake　System）又はＥＳＣ（Electronic　Stability　Control）等の制御装置としての機能を有してもよい。
　駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
　ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
　車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time　Of　Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
　環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light　Detection　and　Ranging、Laser　Imaging　Detection　and　Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
　ここで、図２６は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図２６には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。
　車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０～７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。
　図２５に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
　また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。
　車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
　統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal　Digital　Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。
　記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read　Only　Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard　Disc　Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
　汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（登録商標）（Global　System　of　Mobile　communications）、ＷｉＭＡＸ（登録商標）、ＬＴＥ（登録商標）（Long　Term　Evolution）若しくはＬＴＥ－Ａ（LTE－Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ－Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer　To　Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine　Type　Communication）端末）と接続してもよい。
　専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless　Access　in　Vehicle　Environment）、ＤＳＲＣ（Dedicated　Short　Range　Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle　to　Vehicle）通信、路車間（Vehicle　to　Infrastructure）通信、車両と家との間（Vehicle　to　Home）の通信及び歩車間（Vehicle　to　Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。
　測位部７６４０は、例えば、ＧＮＳＳ（Global　Navigation　Satellite　System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global　Positioning　System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。
　ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。
　車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near　Field　Communication）又はＷＵＳＢ（Wireless　USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal　Serial　Bus）、ＨＤＭＩ（登録商標）（High-Definition　Multimedia　Interface、又はＭＨＬ（Mobile　High-definition　Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。
　車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。
　統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced　Driver　Assistance　System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
　マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
　音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２５の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented　Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
　なお、図２５に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。
　なお、図１を用いて説明した本実施形態に係る画像処理装置１の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
　以上説明した車両制御システム７０００において、図１を用いて説明した画像処理装置１は、図２５に示した応用例の撮像部７４１０に適用することができる。例えば、図１の画像処理装置１は、撮像部７４１０のカメラ等に適用できる。これにより、カメラ等の回路規模が制限される画像処理装置であっても、高精度かつ高速に形状計測が可能になり、車両又は人の検出等がより高速かつ高精度に実現できる。
　また、図１を用いて説明した画像処理装置１の少なくとも一部の構成要素は、図２５に示した統合制御ユニット７６００のためのモジュール（例えば、一つのダイで構成される集積回路モジュール）において実現されてもよい。あるいは、図１を用いて説明した画像処理装置１が、図２５に示した車両制御システム７０００の複数の制御ユニットによって実現されてもよい。
　なお、本技術は以下のような構成を取ることができる。
（１）入射光の光量に応じた輝度情報を含む画素信号をそれぞれ出力する複数の画素と、
　前記複数の画素の前記輝度情報に基づいて、画素ごとの局所的な明暗差に関わらず均一な輝度を有する画像データを生成する画像生成部と、を有する半導体装置を備える、
　画像処理装置。
（２）入射光の光量に応じた輝度情報を含む画素信号をそれぞれ出力する複数の画素と、
　前記複数の画素の前記輝度情報に基づいて、それぞれ異なる画像処理を行って生成される２種類以上の画像データと、前記画像処理を行わずに生成される画像データとのうち、少なくとも２つの画像データを生成する画像生成部と、
　前記画像生成部で生成された少なくとも２つの画像データのうち、一部又はすべての画像データを選択して出力する画像選択部と、を有する半導体装置を備える、
　画像処理装置。
（３）前記半導体装置は、
　隣接して配置される２以上の前記画素を含む第１領域ごとに平均輝度値を算出する平均輝度算出部と、
　前記第１領域の平均輝度値と前記第１領域の周囲の輝度情報とに基づいて、前記第１領域の平均輝度値に応じた補正値を算出する補正値算出部と、を有し、
　前記画像生成部は、複数の前記第１領域に対応する複数の前記補正値に基づいて、前記画像データを生成する、
　（１）又は（２）に記載の画像処理装置。
（４）前記補正値算出部は、前記補正値の算出対象となる特定の前記第１領域の平均輝度値と、前記特定の第１領域を含み前記特定の第１領域よりも広い第２領域に含まれる前記特定の第１領域以外の第１領域の平均輝度値と、に基づいて、前記特定の第１領域の前記補正値を算出する、
　（３）に記載の画像処理装置。
（５）前記補正値算出部は、
　前記特定の第１領域の平均輝度値に対して、前記特定の第１領域の周囲に位置する前記第２領域に含まれる前記特定の第１領域以外の第１領域の平均輝度値を用いた畳み込み処理を行うことにより、前記特定の第１領域の平均輝度値を補正する第１処理部と、
　前記第１処理部で補正された前記特定の第１領域の平均輝度値に基づいて、前記特定の第１領域の前記補正値を算出する第２処理部と、を有する、
　（４）に記載の画像処理装置。
（６）前記第２処理部は、予め定めた目標信号値を前記第１処理部で補正された前記特定の第１領域の平均輝度値で割ることにより、前記補正値を算出する、
　（５）に記載の画像処理装置。
（７）前記補正値算出部は、前記特定の第１領域を変えながら前記補正値を算出する処理を繰り返し行い、
　前記画像生成部は、複数の前記第１領域に対応する複数の前記補正値に基づいて、二値化された前記画像データを生成する、
　（６）に記載の画像処理装置。
（８）前記目標信号値に基づいて設定される閾値と前記補正値との比較結果に基づいて、前記二値化された画像データを生成する、
　（７）に記載の画像処理装置。
（９）前記補正値算出部は、前記特定の第１領域を変えながら前記補正値を算出する処理を繰り返し行い、
　前記画像生成部は、複数の前記第１領域に対応する複数の前記補正値に基づいて、前記複数の画素のそれぞれの輝度情報の補間処理を行って、均一な輝度を有する画素データを生成する、
　（６）に記載の画像処理装置。
（１０）前記画像生成部は、前記複数の画素の輝度情報が圧縮された画像データを生成する圧縮部を備える、
　（６）又は（９）に記載の画像処理装置。
（１１）前記半導体装置は、
　前記複数の画素を含む画素アレイ部と、
　前記画素アレイ部の全域の平均輝度値を算出する平均輝度算出部を有し、
　前記補正値算出部は、
　前記特定の第１領域の平均輝度値に対して、前記特定の第１領域の周囲に位置する前記第２領域に含まれる前記特定の第１領域以外の第１領域の平均輝度値を用いた畳み込み処理を行うことにより、前記特定の第１領域の平均輝度値を補正する第１処理部と、
　予め定めた目標信号値を前記第１処理部で補正された前記特定の第１領域の平均輝度値で割ることにより、前記特定の第１領域の第１補正値を算出する第２処理部と、
　前記目標信号値を前記平均輝度算出部で算出された平均輝度値で割ることにより、第２補正値を算出する第３処理部と、
　前記第１補正値及び前記第２補正値に基づいて、前記補正値を算出する第４処理部と、を有する、
　（４）に記載の画像処理装置。
（１２）前記半導体装置は、
　前記第１領域のサイズと前記第２領域のサイズとを入力する入力部、
　又は、前記第１領域のサイズ及び前記第２領域のサイズを記憶する記憶部の、少なくとも一方を有する、
　（４）乃至（１１）のいずれか一項に記載の画像処理装置。
（１３）前記半導体装置は、
　前記第１領域のサイズと前記第２領域のサイズと前記目標信号値とを入力する入力部、
　又は、前記第１領域のサイズと前記第２領域のサイズと前記目標信号値とを記憶する記憶部の、少なくとも一方を有する、
　（６）乃至（１１）のいずれか一項に記載の画像処理装置。
（１４）前記半導体装置は、
　前記複数の画素を含む画素アレイ部と、
　前記画素アレイ部における２以上の前記画素を含む注目領域を抽出する注目領域抽出部と、を有し、
　前記画像生成部、前記平均輝度算出部、及び前記補正値算出部は、前記注目領域に含まれる前記２以上の画素に対して処理を行う、
　（３）乃至（１３）のいずれか一項に記載の画像処理装置。
（１５）前記半導体装置は、
　前記画像生成部で生成された前記画像データに含まれる一部の画素領域を抽出する領域抽出部と、
　前記領域抽出部で抽出された前記一部の画素領域と、前記複数の画素の輝度情報とに基づいて、前記一部の画素領域の画像データを生成する領域画像生成部と、を有する、
　（１）乃至（１３）のいずれか一項に記載の画像処理装置。
（１６）前記半導体装置は、前記複数の画素のそれぞれから出力された色情報及び輝度情報を含む複数の画素信号から、画素ごとに輝度情報を抽出する輝度情報抽出部を有し、
　前記画像生成部は、前記輝度情報抽出部で抽出された画素ごとの輝度情報に基づいて前記画像データを生成する、
　（１）乃至（１５）のいずれか一項に記載の画像処理装置。
（１７）前記半導体装置から出力された前記画像データに基づいて、所定の画像処理を行う画像処理部をさらに備える、
　（１）乃至（１６）のいずれか一項に記載の画像処理装置。
（１８）隣接して配置される２以上の画素を含む第１領域ごとに平均輝度値を算出し、
　複数の前記第１領域のうち特定の前記第１領域の平均輝度値と、前記特定の第１領域を含み前記特定の第１領域よりも広い第２領域に含まれる前記特定の第１領域以外の第１領域の平均輝度値とに基づいて、前記特定の第１領域の前記補正値を算出し、
　前記複数の第１領域に対応する複数の前記補正値に基づいて画像データを生成する、
　画像処理方法。
　本開示の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本開示の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。
　１　画像処理装置、２　画素アレイ部、３、３ａ、３ｂ、３ｃ、３ｄ、３ｅ、３ｆ、３ｇ、５０、１００　画像生成部、４　転送部、５　設定入力部、６　レジスタブロック、７　行選択部、８　画像処理部、９　制御部、１０、１０ａ　半導体装置、１１　撮像画像生成部、１２　局所エリア平均算出部、１３　フィルタ処理部、１４　除算処理部、１５　二値化画像生成部、１６　補正値算出部、１７　特徴抽出部、２１　被写体、２２、２２ａ、２２ｂ、２２ｃ、２２ｄ、２４　局所エリア、２３　フィルタブロック、２５　フィルタ、２６、２７　フィルタ要素、３１　補正画像生成部、３２　補間演算部、３３　圧縮部、４１、４１ａ、４１ｂ、４１ｃ、４１ｄ、４２　画素、４３、４３ａ、４３ｂ、４３ｃ、４３ｄ、４４ａ、４４ｂ　計算点、５１　画面平均算出部、６１　輝度情報抽出部、６２　一時記憶部、６３　輝度値抽出部、６４ａ、６４ｂ　画素行、６５　画素グループ、７１ａ　第１除算処理部、７１ｂ　第２除算処理部、７２　ブレンド処理部、８１　注目領域抽出部、８２　領域選択部、８３　領域抽出部、８４　領域画像生成部、９１　画像選択部

Claims (18)

  1. 　入射光の光量に応じた輝度情報を含む画素信号をそれぞれ出力する複数の画素と、
    　前記複数の画素の前記輝度情報に基づいて、画素ごとの局所的な明暗差に関わらず均一な輝度を有する画像データを生成する画像生成部と、を有する半導体装置を備える、
    　画像処理装置。
  2. 　入射光の光量に応じた輝度情報を含む画素信号をそれぞれ出力する複数の画素と、
    　前記複数の画素の前記輝度情報に基づいて、それぞれ異なる画像処理を行って生成される２種類以上の画像データと、前記画像処理を行わずに生成される画像データとのうち、少なくとも２つの画像データを生成する画像生成部と、
    　前記画像生成部で生成された少なくとも２つの画像データのうち、一部又はすべての画像データを選択して出力する画像選択部と、を有する半導体装置を備える、
    　画像処理装置。
  3. 　前記半導体装置は、
    　隣接して配置される２以上の前記画素を含む第１領域ごとに平均輝度値を算出する平均輝度算出部と、
    　前記第１領域の平均輝度値と前記第１領域の周囲の輝度情報とに基づいて、前記第１領域の平均輝度値に応じた補正値を算出する補正値算出部と、を有し、
    　前記画像生成部は、複数の前記第１領域に対応する複数の前記補正値に基づいて、前記画像データを生成する、
    　請求項１に記載の画像処理装置。
  4. 　前記補正値算出部は、前記補正値の算出対象となる特定の前記第１領域の平均輝度値と、前記特定の第１領域を含み前記特定の第１領域よりも広い第２領域に含まれる前記特定の第１領域以外の第１領域の平均輝度値と、に基づいて、前記特定の第１領域の前記補正値を算出する、
    　請求項３に記載の画像処理装置。
  5. 　前記補正値算出部は、
    　前記特定の第１領域の平均輝度値に対して、前記特定の第１領域の周囲に位置する前記第２領域に含まれる前記特定の第１領域以外の第１領域の平均輝度値を用いた畳み込み処理を行うことにより、前記特定の第１領域の平均輝度値を補正する第１処理部と、
    　前記第１処理部で補正された前記特定の第１領域の平均輝度値に基づいて、前記特定の第１領域の前記補正値を算出する第２処理部と、を有する、
    　請求項４に記載の画像処理装置。
  6. 　前記第２処理部は、予め定めた目標信号値を前記第１処理部で補正された前記特定の第１領域の平均輝度値で割ることにより、前記補正値を算出する、
    　請求項５に記載の画像処理装置。
  7. 　前記補正値算出部は、前記特定の第１領域を変えながら前記補正値を算出する処理を繰り返し行い、
    　前記画像生成部は、複数の前記第１領域に対応する複数の前記補正値に基づいて、二値化された前記画像データを生成する、
    　請求項６に記載の画像処理装置。
  8. 　前記目標信号値に基づいて設定される閾値と前記補正値との比較結果に基づいて、前記二値化された画像データを生成する、
    　請求項７に記載の画像処理装置。
  9. 　前記補正値算出部は、前記特定の第１領域を変えながら前記補正値を算出する処理を繰り返し行い、
    　前記画像生成部は、複数の前記第１領域に対応する複数の前記補正値に基づいて、前記複数の画素のそれぞれの輝度情報の補間処理を行って、均一な輝度を有する画素データを生成する、
    　請求項６に記載の画像処理装置。
  10. 　前記画像生成部は、前記複数の画素の輝度情報が圧縮された画像データを生成する圧縮部を備える、
    　請求項６に記載の画像処理装置。
  11. 　前記半導体装置は、
    　前記複数の画素を含む画素アレイ部と、
    　前記画素アレイ部の全域の平均輝度値を算出する平均輝度算出部を有し、
    　前記補正値算出部は、
    　前記特定の第１領域の平均輝度値に対して、前記特定の第１領域の周囲に位置する前記第２領域に含まれる前記特定の第１領域以外の第１領域の平均輝度値を用いた畳み込み処理を行うことにより、前記特定の第１領域の平均輝度値を補正する第１処理部と、
    　予め定めた目標信号値を前記第１処理部で補正された前記特定の第１領域の平均輝度値で割ることにより、前記特定の第１領域の第１補正値を算出する第２処理部と、
    　前記目標信号値を前記平均輝度算出部で算出された平均輝度値で割ることにより、第２補正値を算出する第３処理部と、
    　前記第１補正値及び前記第２補正値に基づいて、前記補正値を算出する第４処理部と、を有する、
    　請求項４に記載の画像処理装置。
  12. 　前記半導体装置は、
    　前記第１領域のサイズと前記第２領域のサイズとを入力する入力部、
    　又は、前記第１領域のサイズ及び前記第２領域のサイズを記憶する記憶部の、少なくとも一方を有する、
    　請求項４に記載の画像処理装置。
  13. 　前記半導体装置は、
    　前記第１領域のサイズと前記第２領域のサイズと前記目標信号値とを入力する入力部、
    　又は、前記第１領域のサイズと前記第２領域のサイズと前記目標信号値とを記憶する記憶部の、少なくとも一方を有する、
    　請求項６に記載の画像処理装置。
  14. 　前記半導体装置は、
    　前記複数の画素を含む画素アレイ部と、
    　前記画素アレイ部における２以上の前記画素を含む注目領域を抽出する注目領域抽出部と、を有し、
    　前記画像生成部、前記平均輝度算出部、及び前記補正値算出部は、前記注目領域に含まれる前記２以上の画素に対して処理を行う、
    　請求項３に記載の画像処理装置。
  15. 　前記半導体装置は、
    　前記画像生成部で生成された前記画像データに含まれる一部の画素領域を抽出する領域抽出部と、
    　前記領域抽出部で抽出された前記一部の画素領域と、前記複数の画素の輝度情報とに基づいて、前記一部の画素領域の画像データを生成する領域画像生成部と、を有する、
    　請求項１に記載の画像処理装置。
  16. 　前記半導体装置は、前記複数の画素のそれぞれから出力された色情報及び輝度情報を含む複数の画素信号から、画素ごとに輝度情報を抽出する輝度情報抽出部を有し、
    　前記画像生成部は、前記輝度情報抽出部で抽出された画素ごとの輝度情報に基づいて前記画像データを生成する、
    　請求項１に記載の画像処理装置。
  17. 　前記半導体装置から出力された前記画像データに基づいて、所定の画像処理を行う画像処理部をさらに備える、
    　請求項１に記載の画像処理装置。
  18. 　隣接して配置される２以上の画素を含む第１領域ごとに平均輝度値を算出し、
    　複数の前記第１領域のうち特定の前記第１領域の平均輝度値と、前記特定の第１領域を含み前記特定の第１領域よりも広い第２領域に含まれる前記特定の第１領域以外の第１領域の平均輝度値とに基づいて、前記特定の第１領域の前記補正値を算出し、
    　前記複数の第１領域に対応する複数の前記補正値に基づいて画像データを生成する、
    　画像処理方法。
PCT/JP2025/020201 2024-06-14 2025-06-04 画像処理装置及び画像処理方法 Pending WO2025258476A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2024096728 2024-06-14
JP2024-096728 2024-06-14

Publications (1)

Publication Number Publication Date
WO2025258476A1 true WO2025258476A1 (ja) 2025-12-18

Family

ID=98050694

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2025/020201 Pending WO2025258476A1 (ja) 2024-06-14 2025-06-04 画像処理装置及び画像処理方法

Country Status (1)

Country Link
WO (1) WO2025258476A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009071772A (ja) * 2007-09-18 2009-04-02 Olympus Corp 撮像装置
JP2009089357A (ja) * 2007-09-13 2009-04-23 Panasonic Corp 撮像装置、撮像方法、プログラム、および集積回路
JP2011186678A (ja) * 2010-03-05 2011-09-22 Toshiba Teli Corp 画像処理装置および画像処理プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009089357A (ja) * 2007-09-13 2009-04-23 Panasonic Corp 撮像装置、撮像方法、プログラム、および集積回路
JP2009071772A (ja) * 2007-09-18 2009-04-02 Olympus Corp 撮像装置
JP2011186678A (ja) * 2010-03-05 2011-09-22 Toshiba Teli Corp 画像処理装置および画像処理プログラム

Similar Documents

Publication Publication Date Title
US10904503B2 (en) Image processing device, information generation device, and information generation method
US10704957B2 (en) Imaging device and imaging method
JP7024782B2 (ja) 画像処理装置と画像処理方法および撮像装置
TW202038088A (zh) 感測器裝置、電子機器、感測器系統及控制方法
CN109155824B (zh) 图像处理设备和图像处理方法以及学习设备和学习方法
JPWO2018163725A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP7500798B2 (ja) 固体撮像装置、補正方法、および電子装置
US12136345B2 (en) Motion vector imaging alert system
US11375137B2 (en) Image processor, image processing method, and imaging device
JP6816769B2 (ja) 画像処理装置と画像処理方法
JP6981416B2 (ja) 画像処理装置と画像処理方法
WO2018150683A1 (ja) 情報処理装置と情報処理方法とプログラムおよび撮像装置
JP6816768B2 (ja) 画像処理装置と画像処理方法
CN111868778B (zh) 图像处理装置、图像处理方法以及存储介质
WO2025258476A1 (ja) 画像処理装置及び画像処理方法
WO2022181265A1 (ja) 画像処理装置、画像処理方法及び画像処理システム
WO2024237021A1 (ja) 情報処理装置および情報処理方法、並びにプログラム
WO2024150690A1 (ja) 固体撮像装置
CN120219253A (zh) 图像处理方法、车辆、电子设备及存储介质
WO2019111651A1 (ja) 撮像システム、画像処理装置、及び、画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 25821823

Country of ref document: EP

Kind code of ref document: A1