WO2022215234A1 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
WO2022215234A1
WO2022215234A1 PCT/JP2021/014932 JP2021014932W WO2022215234A1 WO 2022215234 A1 WO2022215234 A1 WO 2022215234A1 JP 2021014932 W JP2021014932 W JP 2021014932W WO 2022215234 A1 WO2022215234 A1 WO 2022215234A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
value
image processing
saturated
pixel values
Prior art date
Application number
PCT/JP2021/014932
Other languages
English (en)
French (fr)
Inventor
創一 萩原
有司 梅津
Original Assignee
株式会社ソシオネクスト
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ソシオネクスト filed Critical 株式会社ソシオネクスト
Priority to JP2023512611A priority Critical patent/JPWO2022215234A1/ja
Priority to PCT/JP2021/014932 priority patent/WO2022215234A1/ja
Priority to CN202180096629.9A priority patent/CN117178562A/zh
Publication of WO2022215234A1 publication Critical patent/WO2022215234A1/ja
Priority to US18/478,623 priority patent/US20240037900A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Definitions

  • the present invention relates to an image processing device and an image processing method.
  • JP 2020-162034 A Japanese Unexamined Patent Application Publication No. 2020-166628 JP 2018-032952 A JP 2017-112421 A JP 2018-125585 A JP 2012-134586 A JP 2013-093786 A
  • the pixel value of the image data in the region where overexposure has occurred is the upper limit value that can be output by the imaging device.
  • the actual brightness of the shooting area of the subject in which overexposure has occurred is not uniform, but changes gradually. Therefore, a correct image of the subject cannot be obtained by the method of uniformly correcting the saturated region in which the pixel value exceeds the upper limit.
  • the present invention has been made in view of the above points, and it is an object of the present invention to predict the luminance value of a subject in a blown-out area using image data in which blown-out highlights have occurred.
  • an image processing device classifies an unsaturated region in which pixel values are not saturated and a saturated region in which pixel values are saturated from image data representing an image including a plurality of pixels acquired by an imaging device.
  • an extraction unit for extracting and a prediction unit for predicting a pixel value of a pixel of interest in the saturated region based on a pixel value of a boundary pixel in a boundary region between the unsaturated region and the saturated region.
  • FIG. 1 is an image diagram showing an example of an image processing system including an image processing device according to a first embodiment
  • FIG. 2 is a block diagram showing an example of the functional configuration of the image processing apparatus of FIG. 1
  • FIG. FIG. 2 is a block diagram showing the outline of the configuration of various devices mounted on the moving body of FIG. 1
  • 4 is a block diagram showing an example of the configuration of the image processing device and the information processing device of FIG. 3
  • FIG. 2 is an explanatory diagram showing an example of image processing of an image acquired by the imaging device of FIG. 1
  • 4 is an explanatory diagram showing an example of pixel values that can be output by the imaging device and pixel values that cannot be output by the imaging device in image data of a subject acquired by the imaging device of FIG. 3
  • FIG. 4 is a flowchart showing an example of an image value prediction method performed by the image processing apparatus of FIG. 3; 8 is an explanatory diagram showing an example of an approximation formula used in the image processing of FIG. 7;
  • FIG. 9 is an explanatory diagram showing an example of predicting a pixel value by the first prediction process explained with reference to FIG. 8;
  • FIG. 9 is an explanatory diagram showing an example of predicting a pixel value by the second prediction process explained with reference to FIG. 8;
  • FIG. 5 is an explanatory diagram showing an example of a method of compressing pixel values predicted using at least one of the first prediction process and the second prediction process;
  • FIG. 11 is an explanatory diagram showing an example of image processing performed by an image processing apparatus according to the second embodiment;
  • FIG. 10 is a diagram illustrating an example of image processing performed by an image processing apparatus according to a third embodiment
  • FIG. FIG. 14 is an explanatory diagram showing an example of an approximation formula when predicting the pixel values shown in FIG. 13 using the first prediction process
  • FIG. 14 is an explanatory diagram showing an example of an approximation formula when predicting the pixel values shown in FIG. 13 using the second prediction process;
  • image data may be simply referred to as an image.
  • FIG. 1 shows an example of an image processing system including an image processing device according to the first embodiment.
  • An image processing system 100 shown in FIG. 1 is mounted, for example, on a mobile object 200 such as an automobile.
  • Imaging devices 19A, 19B, 19C, 19D, and 19E such as cameras are installed on the front, rear, left, and right sides of the traveling direction D of the moving body 200 and in front of the inside of the vehicle of the moving body 200 .
  • the imaging devices 19A, 19B, 19C, 19D, and 19E are also referred to as the imaging device 19 when they are described without distinction.
  • the number and installation positions of the imaging devices 19 installed on the moving body 200 are not limited to those shown in FIG.
  • one imaging device 19 may be installed only in front of the moving body 200, or two imaging devices 19 may be installed only in front and rear.
  • the imaging device 19 may be installed on the ceiling of the moving body 200 .
  • the mobile body 200 on which the image processing system 100 is mounted is not limited to an automobile, and may be, for example, a carrier robot or drone operating in a factory.
  • the image processing system 100 may be a system that processes an image acquired from an imaging device other than the imaging device installed on the moving body 200, such as a surveillance camera, a digital still camera, or a digital camcorder.
  • the image processing system 100 has an image processing device 10 , an information processing device 11 and a display device 12 .
  • the image processing system 100 is superimposed on the image diagram of the moving body 200 viewed from above.
  • the image processing device 10 and the information processing device 11 are mounted on a control board or the like mounted on the moving body 200
  • the display device 12 is installed at a position visible to a person inside the moving body 200 .
  • the image processing device 10 may be mounted on a control board or the like as a part of the information processing device 11 .
  • the image processing device 10 is connected to each imaging device 19 via a signal line or wirelessly.
  • FIG. 2 shows an example of the functional configuration of the image processing device 10 of FIG.
  • the image processing device 10 has an acquisition unit 10a, an extraction unit 10b, a prediction unit 10c, and an output unit 10d.
  • the acquisition unit 10 a acquires image data representing an image of the surroundings of the moving object 200 captured by each imaging device 19 .
  • the extraction unit 10b and the prediction unit 10c perform image processing (correction processing) on image data acquired from each imaging device 19 .
  • the output unit 10 d outputs the result of image processing to at least one of the display device 12 and the information processing device 11 .
  • the display device 12 is, for example, a side mirror monitor, a rearview mirror monitor, or a display of a navigation device installed on the moving object 200 .
  • the display device 12 may be a display provided on a dashboard or the like, or a head-up display that projects an image onto a projection plate, a windshield, or the like.
  • the information processing device 11 includes a computer such as a processor that performs recognition processing and the like based on image data received via the image processing device 10 .
  • the information processing device 11 mounted on the moving body 200 detects other moving bodies, traffic lights, signs, road white lines, people, etc. by performing recognition processing of image data, and based on the detection result, The situation around the moving body 200 is determined.
  • the information processing device 11 may include an automatic operation control device that controls the movement, stop, right turn, left turn, etc. of the mobile object 200 .
  • FIG. 3 shows an overview of the configuration of various devices mounted on the moving body 200 of FIG.
  • a mobile object 200 has an image processing device 10, an information processing device 11, a display device 12, at least one ECU (Electronic Control Unit) 13, and a wireless communication device 14, which are interconnected via an internal network.
  • the moving body 200 has a sensor 15 , a driving device 16 , a lamp device 17 , a navigation device 18 and an imaging device 19 .
  • the internal network is an in-vehicle network such as CAN (Controller Area Network) or Ethernet (registered trademark).
  • the image processing device 10 corrects the image data (frame data) acquired by the imaging device 19 to generate corrected image data.
  • the image processing apparatus 10 may record the generated corrected image data in an external or internal recording device.
  • the information processing device 11 may function as a computer that controls each part of the moving body 200 .
  • the information processing device 11 controls the entire moving body 200 by controlling the ECU 13 .
  • the information processing device 11 may recognize an object outside the moving body 200 based on the image generated by the image processing device 10 and may track the recognized object.
  • the display device 12 displays the image generated by the image processing device 10, the corrected image, and the like.
  • the display device 12 may display an image of the moving object 200 in the backward direction in real time when the moving object 200 moves backward.
  • the display device 12 may display an image output from the navigation device 18 .
  • the ECU 13 is provided corresponding to each mechanical section such as an engine or a transmission. Each ECU 13 controls a corresponding mechanism based on instructions from the information processing device 11 .
  • the wireless communication device 14 communicates with devices outside the mobile object 200 .
  • the sensor 15 is a sensor that detects various types of information. Sensor 15 may include, for example, a position sensor that obtains current position information of mobile object 200 . Sensor 15 may also include a speed sensor that detects the speed of moving body 200 .
  • the driving device 16 is various devices for moving the moving body 200 .
  • the driving device 16 may include, for example, an engine, a steering device (steering), a braking device (brake), and the like.
  • the lamp device 17 is various lamps mounted on the moving body 200 .
  • the lamp device 17 may include, for example, headlights (headlamps, headlights), turn indicator lamps, backlights, brake lamps, and the like.
  • the navigation device 18 is a device that guides the route to the destination by voice and display.
  • FIG. 4 shows an example of the configuration of the image processing device 10 and the information processing device 11 of FIG. Since the configurations of the image processing apparatus 10 and the information processing apparatus 11 are similar to each other, the configuration of the image processing apparatus 10 will be described below.
  • the image processing apparatus 10 has a CPU 20, an interface device 21, a drive device 22, an auxiliary storage device 23 and a memory device 24 interconnected by a bus BUS.
  • the interface device 21 is used to connect to a network (not shown).
  • the auxiliary storage device 23 is, for example, a HDD (Hard Disk Drive) or SSD (Solid State Drive), and holds image processing programs, image data, various parameters used for image processing, and the like.
  • the memory device 24 is, for example, a DRAM (Dynamic Random Access Memory) or the like, and holds image processing programs and the like transferred from the auxiliary storage device 23 .
  • the drive device 22 has an interface for connecting the recording medium 30, and transfers the image processing program stored in the recording medium 30 to the auxiliary storage device 23 based on instructions from the CPU 20, for example.
  • the drive device 22 may transfer image data and the like stored in the auxiliary storage device 23 to the recording medium 30 .
  • FIG. 5 shows an example of image processing of the image IMG acquired by the imaging device 19 of FIG.
  • the imaging device 19 is an image sensor in which pixels are arranged in a matrix by three photoelectric conversion elements that detect red R, green G, and blue B light, respectively.
  • each of the three photoelectric conversion elements is also referred to as a pixel.
  • the pixel values of red R, green G, and blue B pixels are also called R value, B value, and G value.
  • the photoelectric conversion elements included in the pixels of the imaging device 19 are not limited to red R, green G, and blue B.
  • the pixels of the imaging device 19 may include photoelectric conversion elements that detect near-infrared light.
  • the pixels of the imaging device 19 may include cyan, yellow, and magenta photoelectric conversion elements, or may include cyan, yellow, and red photoelectric conversion elements.
  • the dashed-dotted arrow in the image indicates an image in which the imaging device 19 acquires image data of the subject by raster scanning.
  • the image IMG may be acquired by any of the other imaging devices 19A to 19D, or may be a composite image obtained by synthesizing images acquired by a plurality of imaging devices 19.
  • FIG. 1 A schematic diagram of an image in which the imaging device 19 acquires image data of the subject by raster scanning.
  • the image IMG may be acquired by any of the other imaging devices 19A to 19D, or may be a composite image obtained by synthesizing images acquired by a plurality of imaging devices 19.
  • the image IMG in FIG. 5 includes, for example, the sun S as a subject image with high brightness. Therefore, pixels near the sun S have high luminance.
  • the image IMG in FIG. 5 is classified into four sections with the curves indicated by dashed lines as boundaries.
  • the R value, G value, and B value are equal to or less than the maximum pixel value (upper limit) that can be acquired by the imaging device 19 (no saturation). That is, the first section is a non-saturated region in which each of the R value, G value, and B value is not saturated.
  • the R value and B value are equal to or less than the upper limit, and the G value is greater than the upper limit (G saturation). That is, the second section is a non-saturated region in which the R value and the B value are not saturated, and a saturated region in which the G value is saturated.
  • the B value is equal to or less than the upper limit, and the G and R values are greater than the upper limit (GR saturation). That is, the third section is a non-saturated region where the B value is not saturated, and a saturated region where the G value and the R value are saturated.
  • the G value, R value, and B value are greater than the upper limit (GRB saturation). That is, the fourth section is a fully saturated region in which all of the G, R, and B values are saturated.
  • the image acquired by the imaging device 19 cannot correctly express the colors of the subject.
  • An image in which all the G values, R values, and B values are saturated becomes white, and a so-called blown-out image is generated.
  • the image processing device 10 performs pixel value extraction processing using image data acquired for each pixel of a plurality of colors of the imaging device 19, and extracts an unsaturated region and a saturated region for each R value, G value, and B value. and extract
  • the image processing apparatus 10 performs a first prediction process of predicting a pixel value using a ratio of a non-saturated own color component and a different color component, and a second prediction process of predicting a pixel value using the non-saturated own color component. and/or predictive processing.
  • the image processing device 10 calculates the second Predict the G value of the interval. Further, the image processing apparatus 10, for example, based on the ratio of the G value and the B value in the first section where the G value and the B value are not saturated, calculates the G value from the B value in the third section to the G value in the second section. to predict.
  • the image processing apparatus 10 calculates the R value of the fourth section based on the predicted B value of the fourth section, the R value, and the ratio of the R value and the B value in the section where the B value is not saturated. Predict the R value for the fourth interval from the predicted value. Further, the image processing apparatus 10, for example, based on the ratio of the G value and the B value in the first section where the G value and the B value are not saturated, from the predicted value of the B value in the fourth section to the fourth section predict the G value of
  • the image processing device 10 calculates the pixel values of a plurality of G-color boundary pixels located in the boundary region between the first section in which the G value is not saturated and the second section (saturated region). Based on this, the pixel values in the G-value saturation region (second to fourth intervals) are predicted. In addition, for example, the image processing apparatus 10 calculates the R Predict pixel values in the value saturation region (third to fourth intervals).
  • the image processing apparatus 10 may, for example, calculate B Predict pixel values in the value saturation region (fourth interval). Specific examples of the first prediction process and the second prediction process will be described with reference to FIGS. 8 to 10. FIG.
  • the image processing device 10 can detect pixels corresponding to the actual luminance values of the subject even when receiving saturated pixel values from the imaging device 19 . values can be calculated as expected values. As a result, the image processing apparatus 10 can correct the image data including the pixel values of the area where the whiteout occurs to the image data without the whiteout.
  • FIG. 6 shows pixel values that the imaging device 19 can output and pixel values that the imaging device 19 cannot output in the image data of the subject acquired by the imaging device 19 in FIG. Sections 1 to 4 shown in FIG. 6 correspond to the sections 1 to 4 in FIG. 5, respectively.
  • FIG. 6 shows the G, R, and B values in raster scan (5) of FIG.
  • the horizontal axis in FIG. 6 indicates the pixel position (horizontal coordinate) on the raster scan (5).
  • the vertical axis of FIG. 6 is a logarithmic axis representing the pixel value ratio when the maximum pixel value that can be acquired by the imaging device 19 is set to "1". For example, when the imaging device 19 outputs a pixel value in 8 bits, "1" on the vertical axis corresponds to "255" in the pixel value. When the brightness of the object exceeds the maximum pixel value ("1" on the vertical axis), the imaging device 19 outputs the maximum pixel value ("1" on the vertical axis). In the following, the maximum pixel value is also referred to as the upper limit value.
  • the G value, R value, and B value indicated by solid lines are pixel values output by the imaging device 19 .
  • the G value, R value, and B value indicated by dashed lines are pixel values corresponding to the actual brightness of the object.
  • the image processing apparatus 10 performs at least one of the first prediction process and the second prediction process to predict pixel values exceeding the upper limit indicated by the dashed line.
  • FIG. 7 shows an example of an image value prediction method performed by the image processing apparatus 10 of FIG. That is, FIG. 7 shows an example of an image processing method by the image processing apparatus 10. As shown in FIG. The flow shown in FIG. 7 is realized, for example, by the CPU 20 of the image processing device 10 executing an image processing program. A specific example of the image processing method performed by the image processing apparatus 10 will be described with reference to FIG. 8 and subsequent figures.
  • FIG. 7 may be realized by hardware such as FPGA (Field-Programmable Gate Array) or ASIC (Application Specific Integrated Circuit) installed in the image processing device 10.
  • FPGA Field-Programmable Gate Array
  • ASIC Application Specific Integrated Circuit
  • one loop of the processing shown in FIG. 7 is executed for each pixel of the raster scan row shown in FIG.
  • the first to fourth sections are aligned from right to left.
  • the first to fourth sections aligned from left to right of the image IMG and the first section aligned from right to left of the image IMG.
  • step S10 when the image processing apparatus 10 detects the boundary between the first section and the second section based on at least one of the G value, R value, and B value, it executes steps S12 and S20. . If the image processing device 10 does not detect the boundary between the first section and the second section, the image processing device 10 executes step S40.
  • step S12 the image processing apparatus 10 creates an approximation formula by calculating parameters of the approximation formula for calculating pixel values exceeding the upper limit value in the second interval.
  • step S14 the image processing apparatus 10 executes image processing for calculating pixel values exceeding the upper limit using an approximate expression in which the calculated parameters are set. After that, the process proceeds to step S40.
  • step S20 when the image processing device 10 detects the boundary between the second section and the third section based on at least one of the G value, R value, and B value, steps S22 and S30 are executed. If the image processing device 10 does not detect the boundary between the second section and the third section, the image processing device 10 executes step S40.
  • step S22 the image processing apparatus 10 creates an approximation formula by calculating parameters of the approximation formula for calculating pixel values exceeding the upper limit value in the third interval.
  • step S24 the image processing apparatus 10 executes image processing for calculating pixel values exceeding the upper limit using the approximate expression set with the calculated parameters. After that, the process proceeds to step S40.
  • step S30 when the image processing device 10 detects the boundary between the third section and the fourth section based on at least one of the G value, R value, and B value, step S32 is executed. If the image processing device 10 does not detect the boundary between the third section and the fourth section, the image processing device 10 executes step S40.
  • step S32 the image processing apparatus 10 creates an approximation formula by calculating parameters of the approximation formula for calculating pixel values exceeding the upper limit value in the fourth interval.
  • step S34 the image processing apparatus 10 executes image processing for calculating pixel values exceeding the upper limit using the approximation formula in which the calculated parameters are set. After that, the process proceeds to step S40.
  • step S40 the image processing apparatus 10 returns to step S10 when continuing image processing, and ends the processing shown in FIG. 7 when not continuing image processing, for example, when processing of one screen is completed.
  • the image processing apparatus 10 may perform image processing such as noise removal processing or edge enhancement processing after step S40 and before returning to step S10.
  • FIG. 8 shows an example of an approximation formula used in the image processing of FIG.
  • the symbol ⁇ attached above the symbols G, R, and B indicates a predicted pixel value.
  • the predicted pixel values are denoted by pixel values G ⁇ , R ⁇ , B ⁇ .
  • a dashed underline indicates an example of an approximation formula used for prediction using a different color component in the first prediction process.
  • the dashed-dotted underline indicates an example of an approximation formula used for prediction using unsaturated self-color components in the second prediction process.
  • An example of predicting pixel values by the first prediction process is shown in FIG. 9, and an example of predicting pixel values by the second prediction process is shown in FIG.
  • the symbol ⁇ indicates the application ratio of the first prediction process
  • the symbol 1- ⁇ indicates the application ratio of the second prediction process.
  • the symbol ⁇ indicates a blend rate for mixing the pixel values predicted by the first prediction process and the pixel values predicted by the second prediction process at a predetermined ratio.
  • blend rate ⁇ By applying the blend rate ⁇ , it becomes possible to appropriately blend the pixel values predicted by the first prediction process and the pixel values predicted by the second prediction process according to the characteristics of the subject (image data). It is possible to improve the accuracy of prediction of pixel values in saturated regions.
  • R indicates the pixel value of the R component
  • B indicates the pixel value of the B component.
  • the coefficient aR indicates a coefficient for calculating the pixel value R ⁇ from the pixel value R or the pixel value R ⁇ .
  • the coefficient a B indicates a coefficient for calculating the pixel value ⁇ or the pixel value R ⁇ from the pixel value B or the pixel value B ⁇ .
  • the coefficients a R and a B and the blend ratio ⁇ are parameters set in each approximation formula to calculate the pixel values ⁇ , R ⁇ , and B ⁇ .
  • the coefficient a R indicates the predicted GR ratio as shown in equation (5-1).
  • the predicted GR ratio is the ratio G value/R value (P1/P2) between the G value (P1) of the target color G and the R value (P2) of the other color R in the first section.
  • the coefficient a B indicates the predicted GB ratio as shown in equation (5-2).
  • the predicted GB ratio is the ratio G value/B value (P1/P2) of the G value (P1) of the target color G and the B value (P2) of the other color B.
  • the predicted GR ratio and predicted GB ratio are preferably calculated at the boundary with the second section where the difference in pixel values is the largest in the first section.
  • the symbol ⁇ indicates the application ratio of formula (5-1) and formula (5-2). That is, the symbol ⁇ indicates the priority (weight) of the predicted GR ratio and predicted GB ratio.
  • a C is not used in this embodiment, so it is set to "0" as shown in equation (5-3).
  • a predicted RB ratio which is the ratio R value/B value of the R value and the B value in the first section, may be used in the approximation formula.
  • the image processing apparatus 10 first calculates the pixel value B ⁇ using the second prediction process, as shown in equation (4-1), and calculates the calculated pixel value B ⁇ as is used to calculate the pixel values R ⁇ , ⁇ .
  • Formula (4-1) is obtained by replacing code G in formula (6-2) with code B.
  • Equations (6-1) and (6-2) show an example of predicting the G value in the saturated interval using the G value component.
  • the symbol x indicates the coordinate in the horizontal direction of the image (the raster scan direction in FIG. 5), and the symbol y , indicating the vertical coordinates of the image.
  • Equation (6-1) expresses the difference between the pixel value G(t x , y) of the boundary pixel adjacent to the pixel value saturation section and the pixel value G(t x ⁇ 1, y) of the other boundary pixel as follows: Indicates that the differential value of the pixel value is used. Boundary pixels are included in the non-saturated section (eg, the first section in FIG. 6). The symbol t x indicates the horizontal position (coordinates) of the boundary pixel, and the symbol t x ⁇ 1 indicates the horizontal position (coordinates) of the pixel immediately before the pixel adjacent to the saturated region in the boundary pixel. show.
  • the first term of equation (6-2) indicates the pixel value G(t x , y) of the boundary pixel adjacent to the saturation section.
  • the second term of equation (6-2) indicates the product of the horizontal distance between the prediction pixel x whose pixel value is predicted and the boundary pixel t x and the differential value obtained by equation (6-1). That is, the second term of equation (6-2) indicates the amount of change in pixel value (predicted value) from the boundary pixel t x to the predicted pixel x.
  • Equations (6-1) and (6-2) show an example of linear prediction of pixel values by first-order differentiation.
  • pixel values may be approximated by a quadratic function by using quadratic differentiation, as shown in equation (6-3).
  • equation (6-3) may be extended to an n-th order function.
  • the processing is equivalent to Taylor expansion of the change in pixel value of the boundary pixel tx .
  • FIG. 9 shows an example of predicting pixel values by the first prediction process described in FIG.
  • the image processing device 10 predicts a pixel value of own color using a different color component.
  • the coefficient ⁇ of FIG. 8 is set to "0".
  • the image processing device 10 uses the G value, the R value, and the B value in the first interval in which pixels of all colors are not saturated to obtain a predicted GR ratio (G value/R value) and a predicted GB ratio (G value/B value).
  • the image processing apparatus 10 uses the first term of the equation (2) in FIG.
  • the pixel value ⁇ is calculated by adding the products.
  • the image processing apparatus 10 first uses the first term of the formula (3-1) in FIG. 8 to obtain the pixel value R ⁇ Calculate Next, the image processing apparatus 10 adds the product of the coefficient a R and the pixel value R ⁇ and the product of the coefficient a B and the pixel value B using the first term of the formula (3-2) in FIG. By doing so, the pixel value ⁇ is calculated.
  • the image processing device 10 calculates the pixel value B ⁇ at each pixel position using the equation (4-1) in FIG.
  • the image processing apparatus 10 uses the first term of the formula (4-2) in FIG. 8 to calculate the pixel value R ⁇ by multiplying the coefficient aB and the pixel value B ⁇ at each pixel position.
  • the image processing apparatus 10 uses the first term of the formula ( 4-3 ) in FIG.
  • a pixel value ⁇ is calculated by the addition.
  • the parameters of the approximation formula are obtained in the first prediction process.
  • the pixel values ⁇ , R ⁇ , and B ⁇ predicted by the image processing device 10 may decrease in prediction accuracy as they move away from the non-saturated section. For this reason, for example, the image processing device 10 corrects the predicted GR ratio and the predicted GB ratio so as to approach the achromatic color as it moves away from the non-saturated section.
  • the lower part of FIG. 9 shows correction curves for the predicted GR ratio and predicted GB ratio.
  • the predicted GR ratio correction curve is set so that the predicted GR ratio becomes the white balance value (WB) of the R component at a predetermined pixel position in the fourth section where all RGB colors are saturated.
  • the G value, R value, and B value output from the imaging device 19 are fixed to upper limit values (eg, value 255) after saturation. Therefore, the actual GR ratio gradually decreases in the second interval and becomes 1.0 at the end point of the second interval. The actual GB ratio gradually decreases between the second section and the third section, and becomes 1.0 at the end point of the third section.
  • FIG. 10 shows an example of predicting pixel values by the second prediction process described in FIG.
  • the image processing device 10 predicts the pixel value of the own color using the own color component in the non-saturation interval.
  • FIG. 10 shows the prediction method for the pixel value ⁇ , but the prediction method for the pixel value R ⁇ and the pixel value B ⁇ is also the same as the prediction method for the pixel value ⁇ .
  • equation (6-1) in FIG. A certain differential value dG/dx is calculated.
  • the image processing device 10 applies the calculated differential value dG/dx to the equation (6-2) in FIG. predict the pixel value G ⁇ of .
  • the pixel value can be predicted using the rate of change of the pixel value of the self-color component.
  • FIG. 11 shows an example of a method of compressing pixel values predicted using at least one of the first prediction process and the second prediction process. If the predicted pixel value exceeds the upper limit of the pixel value that can be displayed on the display device 12 installed on the moving body 200, the image displayed on the display device 12 will be overexposed. Therefore, the image processing device 10 has a function of compressing predicted pixel values. In FIG. 11, it is assumed that the maximum displayable pixel value on the display device 12 is "255" and the maximum predicted pixel value is "512".
  • the image processing device 10 uses a predetermined conversion formula according to the maximum value of the predicted pixel values to convert the predicted pixel values into pixel values that can be displayed on the display device 12 . That is, the image processing apparatus 10 predicts the pixel values of the saturated region in the image data, and then compresses the pixel values of each pixel of the image data so that the maximum value of the predicted pixel values falls within the pixel values of the non-saturated region. do.
  • the image processing device 10 outputs the converted pixel values to the display device 12 as output pixel values.
  • the image processing device 10 outputs the converted pixel values to the display device 12 as output pixel values.
  • the parameters in the conversion formula for converting the predicted pixel value into the output pixel value may be changed according to the maximum value of the predicted pixel value.
  • the image processing device 10 may arbitrarily set the range for compressing pixel values in one screen image. For example, in FIG. 5, the image processing apparatus 10 may compress the pixel values only in the sky area in the image. Further, the image processing apparatus 10 may divide an image into partial images of a predetermined size, and compress the pixel values of the partial images including pixels with saturated pixel values. Note that the image processing apparatus 10 may suppress the appearance of unnatural changes in pixel values by smoothing the boundaries between areas to be compressed and areas not to be compressed.
  • the image processing device 10 When image recognition processing or the like is performed by the information processing device 11 of FIG. 3 using image data including predicted pixel values, the image processing device 10 does not compress the image data including predicted pixel values. It may be output to the information processing device 11 . In this case, the image processing device 10 may output the image data including the predicted pixel values to the information processing device 11 via the auxiliary storage device 23 or the memory device 24 in FIG.
  • the image processing device 10 can predict the pixel value in the saturated region by the first prediction process using the ratio of pixel values of different colors in the non-saturated region. Further, the image processing device 10 can predict the pixel value in the saturated region by the second prediction process using the rate of change of the pixel value of the self-color component.
  • the image processing apparatus 10 can correct the image data including the pixel values of the region where whiteout occurs to image data without whiteout, and can produce a highly accurate image using the corrected image data. Recognition processing can be performed.
  • the image processing device 10 can appropriately blend the pixel values predicted by the first prediction process and the pixel values predicted by the second prediction process in accordance with the characteristics of the subject (image data). .
  • the blend ratio ⁇ according to the environment (weather, degree of sunshine, time of day, etc.) in which the image processing device 10 is used, it is possible to improve the accuracy of prediction of pixel values in non-saturated regions. Become. Further, by changing the blend ratio ⁇ according to the features of the image of the subject, it is possible to improve the accuracy of predicting the pixel values of the non-saturated region.
  • the first prediction process by converging the corrected pixel values in the fourth section to the white balance value, it is possible to prevent the color of the image after the pixel value correction from being far from the actual color of the subject. .
  • the pixel values of the image data including the corrected pixel values are compressed and displayed on the display device 12, a natural image can be displayed.
  • FIG. 12 shows an example of image processing performed by the image processing apparatus according to the second embodiment.
  • the image processing apparatus 10 of this embodiment and an image processing system 100 including the image processing apparatus 10 have the same configuration as shown in FIGS.
  • the first to fourth sections are sequentially arranged from the left side to the right side of the image IMG.
  • the positions, sizes, shapes, etc. of the first to fourth sections vary.
  • the image processing apparatus 10 predicts pixel values exceeding the upper limit value in each of a plurality of scanning directions across the boundary of the section.
  • the image processing apparatus 10 acquires the distribution of the first section to the fourth section in the image IMG (circular dashed line in FIG. 12) while imaging the subject. By acquiring the distribution, the image processing apparatus 10 can detect pixels whose pixel values exceed the upper limit for each color.
  • the image processing apparatus 10 determines multiple alignment directions (scanning directions) to be used for pixel value prediction for each pixel exceeding the upper limit value contained in the second to fourth sections.
  • multiple alignment directions scanning directions
  • scanning directions toward the pixel of interest indicated by the black circle included in the fourth section are shown, but the number of scanning directions is not limited to eight.
  • the image processing apparatus 10 performs at least one of the first prediction processing (prediction using different color components) and the second prediction processing (prediction using non-saturated own color components) described in the first embodiment for each scanning direction. is used to calculate the parameters of the approximation formula for each pixel. The image processing apparatus 10 uses the parameters calculated in each scanning direction to predict pixel values for each color that exceed the upper limit.
  • the image processing apparatus 10 weights and averages the pixel values of the pixel of interest for each color predicted in a plurality of scanning directions according to the distance to the saturation boundary, which is the boundary between the unsaturated region and the saturated region. , the predicted pixel value of the pixel of interest is calculated.
  • the image processing apparatus 10 sequentially sets all pixels included in the second, third, and fourth intervals as the pixel of interest. Get the pixel value of the color that exceeds the upper limit value in the pixel.
  • the image processing apparatus 10 predicts pixel values in a plurality of scanning directions for each pixel of interest, and calculates a weighted average. Note that the image processing apparatus 10 may compress the acquired predicted pixel values as described with reference to FIG. 11 .
  • the correct pixel value can be predicted. can do. Furthermore, in this embodiment, the correct pixel value can be predicted regardless of the position of the subject with high luminance. In this case, the pixel values predicted in multiple scanning directions are weighted and averaged according to the distance to the saturation boundary. can be improved.
  • FIG. 13 shows an example of image processing performed by the image processing apparatus according to the third embodiment. Detailed descriptions of elements that are the same as in the above-described embodiments are omitted.
  • the image processing apparatus 10 of this embodiment and an image processing system 100 including the image processing apparatus 10 have the same configuration as shown in FIGS.
  • the scanning direction for predicting pixel values is one-dimensional (linear).
  • linear artifacts noise
  • the image processing apparatus 10 does not perform processing dependent on the scanning direction, but performs filter operation on peripheral pixels around a target pixel whose pixel value is to be predicted. As a result, processing dependent on the scanning direction can be eliminated, and the occurrence of artifacts can be suppressed.
  • FIG. 13 shows an example of acquiring the pixel value of the pixel of interest included in the second section.
  • the image processing apparatus 10 sequentially sets all pixels included in the second, third, and fourth intervals as pixels of interest, and predicts pixel values of colors exceeding the upper limit for each pixel.
  • the image processing apparatus 10 may compress the obtained predicted pixel values as described with reference to FIG. 11 .
  • the symbols tx and ty in FIG. 13 indicate the range of the peripheral pixel region including the pixels used for predicting the pixel value of the pixel of interest.
  • the image processing apparatus 10 performs an extraction process of extracting a boundary area from a surrounding pixel area including the pixel of interest.
  • the boundary area is an area including a predetermined number of pixels (boundary pixels) adjacent to the boundary with the saturated area and along the direction toward the unsaturated area in the unsaturated area of pixels having the same color as the pixel of interest.
  • the pixel values of the boundary pixels are also referred to as boundary pixel values.
  • the image processing device 10 predicts the pixel value of the pixel of interest using the pixel values of the boundary pixels included in the surrounding pixel area. For example, in FIG. 13, in the first section, using the pixel value of the boundary pixel of the boundary region adjacent to the boundary of the second section where the G value is an unsaturated region, Pixel values are predicted.
  • the image processing device 10 uses at least one of first prediction processing (prediction using different color components) and second prediction processing (prediction using non-saturated own color components) based on the plurality of boundary pixel values. , the parameters of the approximation formula are calculated for each pixel. The image processing apparatus 10 uses the calculated parameters to predict pixel values for each color that exceed the upper limit.
  • the image processing apparatus 10 performs weighted averaging of the predicted pixel values for each color according to the distance from the boundary pixel to the pixel of interest, and determines the predicted pixel value of the color exceeding the upper limit value of the pixel of interest. . Calculation examples of predicted pixel values by the first prediction process and the second prediction process will be described with reference to FIGS. 14 and 15. FIG.
  • FIG. 14 shows an example of an approximation formula when predicting the pixel values shown in FIG. 13 using the first prediction process (prediction using different color components).
  • FIG. 14 shows an example of calculating the predicted pixel value of pixel G, but the predicted pixel values of pixel R and pixel B can be calculated in the same manner.
  • the function V(tx, ty) shown in formula (7-1) is used in term C of approximate formula (7-2) for calculating the predicted GR ratio.
  • the function V(tx, ty) is used for each pixel in the peripheral pixel region in FIG. 0" is returned.
  • the approximate expression (7-2) the saturated pixels are masked and only the non-saturated pixels are used to predict the predicted GR ratio.
  • the approximation formula (7-2) for calculating the predicted GR ratio indicates that all peripheral pixels in the peripheral pixel region in FIG. 13 are calculated and the sum is calculated.
  • the term B in approximate expression (7-2) represents the weight of the distance from the pixel of interest to the peripheral pixels of the saturation boundary, and a function is used in which the weight decreases according to the distance.
  • a distance weighting formula similar to that used in a bilateral filter or the like is used, but other formulas may be used as long as they are computational formulas that reduce the weight according to the distance.
  • the term D of the approximation formula (7-2) is a term for converging the approximation formula (7-2) to a preset fixed pixel value when the saturation boundary is not included in the peripheral pixel region.
  • the term C becomes "0".
  • the calculation results of the terms A, B, and C of the approximate expression (7-2) are "0", and the term E is also "0".
  • the predicted value of the target pixel predicted by the approximation formula (7-2) becomes the fixed value "C".
  • the fixed value C is preferably set to the white balance value WB described with reference to FIG.
  • the predicted GB ratio can be calculated by using the parameters of the approximate expression (7-2) for the R component.
  • Equation (7-3) is a calculation using a general method of least squares, and can be calculated at high speed by using the technique used in the guided filter.
  • a in the formula (7-3) represents the prediction error of the G value in the non-saturated pixel, and is an arithmetic formula to be minimized.
  • V(tx, ty) in equation (7-1) is all "0", and no solution can be obtained. do not have.
  • terms B and C of formula (7-3) are provided.
  • Term B and term C in equation (7-3) are regularization terms in the least squares method. Since the cost function J increases as the coefficient a deviates from the white balance value WB, the coefficient a is optimized to a value close to the white balance value WB. This action allows the coefficient a to converge to the white balance value WB when the function V(tx, ty) is all "0".
  • the symbol k in the terms B and C of equation (7-3) indicates the strength of the constraint.
  • the blend ratio ⁇ between the first prediction process (prediction using a different color component) shown in FIG. 14 and the second prediction process (prediction using a non-saturated own color) shown in FIG. Values can be calculated dynamically.
  • F(x, y, G) in equation (7-4) is calculated in advance using approximate equation (8-3) in FIG. 15, which will be described later.
  • FIG. 15 shows an example of an approximation formula when predicting the pixel values shown in FIG. 13 using the second prediction process (prediction using non-saturated self-color).
  • FIG. 15 shows an example of calculating the predicted pixel value of pixel G, the predicted pixel values of pixel R and pixel B can be calculated in the same manner.
  • the pixel value of the pixel of interest is predicted using the boundary pixels among the pixels in the peripheral pixel region.
  • each predicted pixel value is obtained by weighted average according to the distance from the saturated pixel. Also, when there is no section boundary in the surrounding pixel area, equation (8-2) is used to set the predicted pixel value to a fixed value.
  • Formula (8-1) is a formula for approximating differentiation, and is calculated for use in linear prediction.
  • the function W(tx, ty) shown in equation (8-2) returns "1" for non-saturated pixels (including boundary pixels), as in equation (7-1). returns "0” if the pixel is
  • V(tx, ty) in the term C of the approximate expression (8-3)
  • the approximation formula (8-3) for calculating the predicted value F(x, y, G) of G indicates that all pixels in the peripheral pixel region in FIG. 13 are calculated and the sum is calculated. .
  • the term A in the approximate expression (8-3) represents the linear prediction value of the pixel of interest with respect to the boundary pixels.
  • the term A in the approximation formula (8-3) is a two-dimensional expansion of the one-dimensional linear prediction formula shown in FIG. As in the first embodiment, approximation may be performed using a multidimensional formula such as a linear formula instead of a linear formula.
  • B of the approximation formula (8-3) represents the weight of the distance from the pixel of interest to the boundary pixel, and a function that reduces the weight according to the distance is used.
  • a formula similar to the distance weight formula used in a bilateral filter or the like may be used. It should be noted that other formulas may be used as long as they are arithmetic formulas in which the weight decreases according to the distance.
  • the term D of the approximate expression (8-3) causes the approximate expression (8-3) to converge to a fixed value when there are no boundary pixels in the peripheral pixel region. This is a term for
  • the fixed value C is preferably set to the white balance value WB.
  • the term E (denominator) of approximate expression (8-3) is a normalization term for weighted averaging.
  • the image processing apparatus 10 predicts a pixel value using boundary pixels extracted from pixel values of pixels in a peripheral pixel region around a target pixel whose pixel value is to be predicted, and predicts the predicted pixel value. is weighted and averaged according to the distance to calculate the predicted pixel value.
  • processing dependent on the scanning direction can be eliminated, and the occurrence of artifacts can be suppressed.
  • the surrounding pixel region does not include boundary pixels, by setting the predicted pixel value to a preset fixed pixel value, even if the boundary pixels cannot be extracted, the pixel values in the saturated region can be correctly predicted. can do.
  • the image processing apparatus 10 acquires the image and then calculates an approximate expression. Therefore, it takes time from acquisition of an image to completion of prediction of pixel values, or from acquisition of an image to display of an image based on predicted pixel values on a display device or the like. Also, for example, when the imaging device 19 acquires an image of a subject by raster scanning as shown in FIG. Parameters may not be calculated.
  • the image processing apparatus 10 uses an image acquired immediately before or an image acquired before the image currently being acquired to calculate the parameters of the approximate expression. good too. Then, the image processing apparatus 10 uses the calculated parameters to predict pixel values in the currently acquired image. As a result, it is possible to quickly perform pixel value prediction processing for an image that is currently being acquired, and to improve real-time performance. In particular, by applying the present invention to a field requiring real-time image processing, such as the imaging device 19 mounted on the moving body 200, image recognition performance and the like can be improved.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

画像処理装置は、抽出部および予測部を有する。抽出部は、撮像装置により取得された複数の画素を含む画像を示す画像データから、画素値が飽和していない非飽和領域と画素値が飽和した飽和領域とを抽出する。予測部は、非飽和領域における飽和領域との境界領域の境界画素の画素値に基づいて、飽和領域の注目画素の画素値を予測する。これにより、白飛びが発生した画像データを使用して、白飛びの発生領域の被写体像の輝度値を予測することができる。

Description

画像処理装置および画像処理方法
　本発明は、画像処理装置および画像処理方法に関する。
　近時、車両等の移動体に搭載された撮像装置で取得された画像データに対して画像処理を実施することで、表示装置に表示される画像の認識性を向上する様々な手法が提案されている。例えば、複数の撮像装置で取得された複数の画像データを合成し、または複数の画像データのいずれかを選択することで、白飛びまたは黒つぶれが抑制された画像が表示可能になる。
特開２０２０－１６２０３４号公報 特開２０２０－１６６６２８号公報 特開２０１８－０３２９５２号公報 特開２０１７－１１２４２１号公報 特開２０１８－１２５５８５号公報 特開２０１２－１３４５８６号公報 特開２０１３－０９３７８６号公報
　例えば、白飛びが発生した領域の画像データの画素値は、撮像装置が出力可能な上限値になる。しかしながら、白飛びが発生した被写体の撮影領域の実際の輝度は、一律ではなく、徐々に変化している。このため、画素値が上限値を超えた飽和領域を一律に補正する手法では、正しい被写体の画像を得ることができない。また、１つの撮像装置で取得された１つの画像データにおいて、白飛びが発生した領域の被写体像を予測することは困難である。
　本発明は、上記の点に鑑みてなされたもので、白飛びが発生した画像データを使用して、白飛びの発生領域の被写体の輝度値を予測することを目的とする。
　本発明の一態様では、画像処理装置は、撮像装置により取得された複数の画素を含む画像を示す画像データから、画素値が飽和していない非飽和領域と画素値が飽和した飽和領域とを抽出する抽出部と、前記非飽和領域における前記飽和領域との境界領域の境界画素の画素値に基づいて、前記飽和領域の注目画素の画素値を予測する予測部と、を有する。
　開示の技術によれば、白飛びが発生した画像データを使用して、白飛びの発生領域の被写体像の輝度値を予測することができる。
第１の実施形態における画像処理装置を含む画像処理システムの一例を示すイメージ図である。 図１の画像処理装置の機能構成の一例を示すブロック図である。 図１の移動体に搭載される各種装置の構成の概要を示すブロック図である。 図３の画像処理装置および情報処理装置の構成の一例を示すブロック図である。 図１の撮像装置が取得した画像の画像処理の一例を示す説明図である。 図３の撮像装置により取得される被写体の画像データにおいて、撮像装置が出力可能な画素値と、撮像装置が出力できない画素値の例を示す説明図である。 図３の画像処理装置が実施する画像値の予測方法の一例を示すフロー図である。 図７の画像処理で使用する近似式の一例を示す説明図である。 図８で説明した第１予測処理により画素値を予測する一例を示す説明図である。 図８で説明した第２予測処理により画素値を予測する一例を示す説明図である。 第１予測処理および第２予測処理の少なくともいずれかを使用して予測した画素値を圧縮する手法の一例を示す説明図である。 第２の実施形態における画像処理装置により実施される画像処理の一例を示す説明図である。 第３の実施形態における画像処理装置により実施される画像処理の一例を示す図である。 図１３に示す画素値の予測を、第１予測処理を使用して実施する場合の近似式の例を示す説明図である。 図１３に示す画素値の予測を、第２予測処理を使用して実施する場合の近似式の例を示す説明図である。
　以下、図面を用いて実施形態を説明する。以下の説明では、画像データを単に画像と称する場合がある。
　（第１の実施形態）
　図１は、第１の実施形態における画像処理装置を含む画像処理システムの一例を示す。図１に示す画像処理システム１００は、例えば、自動車等の移動体２００に搭載される。移動体２００の進行方向Ｄの前方、後方、左側および右側と、移動体２００の車内の前方には、カメラ等の撮像装置１９Ａ、１９Ｂ、１９Ｃ、１９Ｄ、１９Ｅが設置される。以下では、撮像装置１９Ａ、１９Ｂ、１９Ｃ、１９Ｄ、１９Ｅを区別なく説明する場合、撮像装置１９とも称される。
　なお、移動体２００に設置される撮像装置１９の数および設置位置は、図１に限定されない。例えば、１つの撮像装置１９が移動体２００の前方のみに設置されてもよく、２つの撮像装置１９が前方と後方のみに設置されてもよい。あるいは、撮像装置１９は、移動体２００の天井に設置されてもよい。また、画像処理システム１００が搭載される移動体２００は、自動車に限定されず、例えば、工場内で稼働する搬送ロボットまたはドローンでもよい。また、画像処理システム１００は、例えば、監視カメラ、デジタルスチルカメラまたはデジタルカムコーダなどの、移動体２００に設置された撮像装置以外の撮像装置から取得した画像を処理するシステムであってもよい。
　画像処理システム１００は、画像処理装置１０、情報処理装置１１および表示装置１２を有する。なお、図１では、説明を分かりやすくするために、上方から俯瞰した移動体２００のイメージ図に画像処理システム１００を重ねて記載している。しかしながら、実際には、画像処理装置１０および情報処理装置１１は、移動体２００に搭載される制御基板等に実装され、表示装置１２は、移動体２００内の人物から見える位置に設置される。なお、画像処理装置１０は、情報処理装置１１の一部として制御基板等に実装されてもよい。画像処理装置１０は、信号線または無線を介して各撮像装置１９に接続される。
　図２は、図１の画像処理装置１０の機能構成の一例を示す。画像処理装置１０は、取得部１０ａ、抽出部１０ｂ、予測部１０ｃおよび出力部１０ｄを有する。取得部１０ａは、各撮像装置１９により撮像された移動体２００の周囲の画像を示す画像データを取得する。抽出部１０ｂおよび予測部１０ｃは、各撮像装置１９から取得した画像データの画像処理（補正処理）を実施する。出力部１０ｄは、画像処理の結果を表示装置１２および情報処理装置１１の少なくとも一方に出力する。
　図１に戻り、表示装置１２は、例えば、移動体２００に設置されるサイドミラーモニタ、バックミラーモニタまたはナビゲーション装置のディスプレイである。なお、表示装置１２は、ダッシュボード等に設けられたディスプレイ、または、投影板またはフロントガラス等に画像を投影するヘッドアップディスプレイ（Head Up Display）等でもよい。
　情報処理装置１１は、画像処理装置１０を介して受信する画像データに基づいて認識処理等を実施するプロセッサ等のコンピュータを含む。例えば、移動体２００に搭載される情報処理装置１１は、画像データの認識処理を実施することで、他の移動体、信号、標識、道路の白線および人物等を検出し、検出結果に基づいて移動体２００の周囲の状況を判断する。なお、情報処理装置１１は、移動体２００の移動、停止、右折および左折等を制御する自動運転制御装置を含んでもよい。
　図３は、図１の移動体２００に搭載される各種装置の構成の概要を示す。移動体２００は、内部ネットワークを介して相互に接続された画像処理装置１０、情報処理装置１１、表示装置１２、少なくとも１つのＥＣＵ（Electronic Control Unit）１３および無線通信装置１４を有する。また、移動体２００は、センサ１５、駆動装置１６、ランプ装置１７、ナビゲーション装置１８および撮像装置１９を有する。例えば、内部ネットワークは、ＣＡＮ（Controller Area Network）またはイーサネット（登録商標）等の車載ネットワークである。
　画像処理装置１０は、撮像装置１９により取得された画像データ（フレームデータ）を補正し、補正画像データを生成する。画像処理装置１０は、生成した補正画像データを、外部または内部の記録装置に記録してもよい。
　情報処理装置１１は、移動体２００の各部を制御するコンピュータとして機能されてもよい。情報処理装置１１は、ＥＣＵ１３を制御することにより、移動体２００の全体を制御する。情報処理装置１１は、画像処理装置１０により生成された画像に基づいて、移動体２００の外部の物体を認識してもよく、認識した物体を追尾してもよい。
　表示装置１２は、画像処理装置１０により生成された画像および補正画像等を表示する。表示装置１２は、移動体２００が後進（バック）する際に、移動体２００の後進方向の画像をリアルタイムで表示してもよい。また、表示装置１２は、ナビゲーション装置１８から出力される画像を表示してもよい。
　ＥＣＵ１３は、エンジンまたはトランスミッション等の機構部に対応してそれぞれ設けられる。各ＥＣＵ１３は、情報処理装置１１からの指示に基づいて、対応する機構部を制御する。無線通信装置１４は、移動体２００の外部の装置との通信を行う。センサ１５は、各種の情報を検出するセンサである。センサ１５は、例えば、移動体２００の現在の位置情報を取得する位置センサを含んでもよい。また、センサ１５は、移動体２００の速度を検出する速度センサを含んでもよい。
　駆動装置１６は、移動体２００を移動させるための各種装置である。駆動装置１６には、例えば、エンジン、操舵装置（ステアリング）、および制動装置（ブレーキ）等が含まれてもよい。ランプ装置１７は、移動体２００に搭載された各種灯具である。ランプ装置１７には、例えば、前照灯（ヘッドランプ、ヘッドライト）、方向指示器（ウインカー）のランプ、バックライトおよびブレーキランプ等が含まれてもよい。ナビゲーション装置１８は、目的地への経路を音声および表示により案内する装置である。
　図４は、図３の画像処理装置１０および情報処理装置１１の構成の一例を示す。画像処理装置１０および情報処理装置１１の構成は、互いに同様であるため、以下では、画像処理装置１０の構成が説明される。例えば、画像処理装置１０は、バスＢＵＳで相互に接続されたＣＰＵ２０、インタフェース装置２１、ドライブ装置２２、補助記憶装置２３およびメモリ装置２４を有する。
　ＣＰＵ２０は、メモリ装置２４に格納された画像処理プログラムを実行することで、後述する各種の画像処理を実行する。インタフェース装置２１は、図示しないネットワークに接続するために使用される。補助記憶装置２３は、例えば、ＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）等であり、画像処理プログラム、画像データおよび画像処理に使用する各種パラメータ等を保持する。
　メモリ装置２４は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等であり、補助記憶装置２３から転送される画像処理プログラム等を保持する。ドライブ装置２２は、記録媒体３０を接続するインタフェースを有し、例えば、ＣＰＵ２０からの指示に基づいて、記録媒体３０に格納された画像処理プログラムを補助記憶装置２３に転送する。なお、ドライブ装置２２は、補助記憶装置２３に記憶された画像データ等を記録媒体３０に転送してもよい。
　図５は、図１の撮像装置１９が取得した画像ＩＭＧの画像処理の一例を示す。例えば、撮像装置１９は、赤色Ｒ、緑色Ｇ、青色Ｂの光をそれぞれ検出する３つの光電変換素子による画素がマトリックス状に配列されたイメージセンサである。以下では、３つの光電変換素子の各々は、画素とも称される。赤色Ｒ、緑色Ｇ、青色Ｂの画素のそれぞれの画素値は、Ｒ値、Ｂ値、Ｇ値とも称される。
　なお、撮像装置１９の画素に含まれる光電変換素子は、赤色Ｒ、緑色Ｇ、青色Ｂに限定されない。例えば、撮像装置１９の画素は、近赤外光を検出する光電変換素子を含んでもよい。あるいは、撮像装置１９の画素は、シアン色、イエロー色、マゼンタ色の光電変換素子を含んでもよく、シアン色、イエロー色、赤色の光電変換素子を含んでもよい。
　画像中の一点鎖線の矢印は、撮像装置１９がラスタスキャンにより被写体の画像データを取得するイメージを示す。なお、画像ＩＭＧは、他の撮像装置１９Ａ－１９Ｄのいずれかで取得されてもよく、複数の撮像装置１９で取得された画像を合成した合成画像でもよい。
　図５の画像ＩＭＧは、輝度の高い被写体像として、例えば太陽Ｓを含む。このため、太陽Ｓに近い画素では輝度が高くなる。図５の画像ＩＭＧは、破線で示す曲線を境界として、４つの区間に分類される。
　太陽Ｓから最も遠い第１区間では、Ｒ値、Ｇ値、Ｂ値は、撮像装置１９により取得可能な最大の画素値（上限値）以下である（飽和なし）。すなわち、第１区間は、Ｒ値、Ｇ値、Ｂ値の各々が飽和していない非飽和領域である。
　太陽Ｓから次に遠い第２区間では、Ｒ値、Ｂ値は、上限値以下であり、Ｇ値は、上限値より大きい（Ｇ飽和）。すなわち、第２区間は、Ｒ値、Ｂ値の各々では飽和していない非飽和領域であり、Ｇ値では飽和している飽和領域である。
　第２区間に比べて太陽Ｓに近い第３区間では、Ｂ値は、上限値以下であり、Ｇ値、Ｒ値は、上限値より大きい（ＧＲ飽和）。すなわち、第３区間は、Ｂ値では飽和していない非飽和領域であり、Ｇ値、Ｒ値の各々では飽和している飽和領域である。
　太陽Ｓに最も近い第４区間では、Ｇ値、Ｒ値、Ｂ値は、上限値より大きい（ＧＲＢ飽和）。すなわち、第４区間は、Ｇ値、Ｒ値、Ｂ値の全てが飽和している全飽和領域である。画素値が飽和した場合、撮像装置１９により取得された画像は、被写体が持つ色を正しく表現できない。Ｇ値、Ｒ値、Ｂ値の全てが飽和した画像は、白くなり、いわゆる白飛びと称される画像が生成される。
　画像処理装置１０は、撮像装置１９の複数色の画素毎に取得された画像データを使用して画素値の抽出処理を実施し、Ｒ値、Ｇ値、Ｂ値毎に非飽和領域と飽和領域とを抽出する。画像処理装置１０は、非飽和の自色成分と異色成分との比を使用して画素値を予測する第１予測処理と、非飽和の自色成分を使用して画素値を予測する第２予測処理との少なくともいずれかを実施する。
　第１予測処理では、画像処理装置１０は、例えば、Ｇ値、Ｒ値が飽和していない第１区間でのＧ値とＲ値との比率に基づいて、第２区間のＲ値から第２区間のＧ値を予測する。また、画像処理装置１０は、例えば、Ｇ値、Ｂ値が飽和していない第１区間でのＧ値とＢ値との比率に基づいて、第３区間のＢ値から第２区間のＧ値を予測する。
　画像処理装置１０は、例えば、予め予測された第４区間のＢ値と、Ｒ値、Ｂ値が飽和していない区間でのＲ値とＢ値との比率に基づいて、第４区間のＲ値の予測値から第４区間のＲ値を予測する。また、画像処理装置１０は、例えば、Ｇ値、Ｂ値が飽和していない第１区間でのＧ値とＢ値との比率に基づいて、第４区間のＢ値の予測値から第４区間のＧ値を予測する。
　第２予測処理では、画像処理装置１０は、例えば、Ｇ値が飽和していない第１区間における第２区間（飽和領域）との境界領域に位置する複数のＧ色の境界画素の画素値に基づいて、Ｇ値の飽和領域（第２区間から第４区間）での画素値を予測する。また、画像処理装置１０は、例えば、Ｒ値が飽和していない第２区間における第３区間（飽和領域）との境界領域に位置する複数のＲ色の境界画素の画素値に基づいて、Ｒ値の飽和領域（第３区間から第４区間）での画素値を予測する。
　さらに、画像処理装置１０は、例えば、Ｂ値が飽和していない第３区間における第４区間（飽和領域）との境界領域に位置するＢ色の複数の境界画素の画素値に基づいて、Ｂ値の飽和領域（第４区間）での画素値を予測する。第１予測処理および第２予測処理の具体例は、図８から図１０で説明される。
　画像処理装置１０は、第１予測処理および第２予測処理の少なくともいずれかを実施することで、撮像装置１９から飽和状態の画素値を受ける場合にも、被写体の実際の輝度値に対応する画素値を予測値として算出することができる。これにより、画像処理装置１０は、白飛びが発生した領域の画素値を含む画像データを、白飛びのない画像データに補正することができる。
　なお、図５および図６以降では、Ｇ値、Ｒ値、Ｂ値の順に画素値が飽和する例が説明される。一般に、ＲＧＢのイメージセンサでは、Ｇ成分、Ｒ成分、Ｂ成分の順で感度が高いためである。しかしながら、画素値が飽和する色の順序は、図５に示す例に限定されない。
　図６は、図３の撮像装置１９により取得される被写体の画像データにおいて、撮像装置１９が出力可能な画素値と、撮像装置１９が出力できない画素値を示す。図６に示す第１区間から第４区間は、図５の第１区間から第４区間にそれぞれ対応する。例えば、図６は、図５のラスタスキャン（５）でのＧ値、Ｒ値、Ｂ値を示す。図６の横軸は、ラスタスキャン（５）上での画素の位置（横方向の座標）を示す。
　図６の縦軸は、撮像装置１９により取得可能な最大の画素値を"１"とした場合の画素値の比を対数軸で示すものである。例えば、撮像装置１９が８ビットで画素値を出力する場合、縦軸の"１"は、画素値の"２５５"に相当する。撮像装置１９は、被写体の輝度が最大の画素値（縦軸の"１"）を超える場合、その最大の画素値（縦軸の"１"）を出力する。以下では、最大の画素値は、上限値とも称される。
　図６において、実線で示すＧ値、Ｒ値、Ｂ値は、撮像装置１９が出力する画素値である。破線で示すＧ値、Ｒ値、Ｂ値は、被写体の実際の輝度に対応する画素値である。画像処理装置１０は、第１予測処理および第２予測処理の少なくともいずれかを実施することで、破線で示される上限値を超えた画素値を予測する。
　図７は、図３の画像処理装置１０が実施する画像値の予測方法の一例を示す。すなわち、図７は、画像処理装置１０による画像処理方法の一例を示す。図７に示すフローは、例えば、画像処理装置１０のＣＰＵ２０が画像処理プログラムを実行することにより実現される。画像処理装置１０が実施する画像処理方法の具体例は、図８以降で説明される。
　なお、図７に示すフローは、画像処理装置１０に搭載されるＦＰＧＡ（Field-Programmable Gate Array）またはＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェアにより実現されてもよい。あるいは、図７に示すフローは、ハードウェアとソフトウェアとを協働させることで実現されてもよい。
　例えば、図７に示す処理の１ループは、図５に示したラスタスキャンの行の画素毎に実行される。なお、図５に示した画像ＩＭＧにおいて、太陽Ｓが画像ＩＭＧの左隅にある場合、第１区間から第４区間は、右から左に並ぶ。また、図５に示した画像ＩＭＧにおいて、太陽Ｓが画像ＩＭＧの中央付近にある場合、画像ＩＭＧの左から右に並ぶ第１区間から第４区間と、画像ＩＭＧの右から左に並ぶ第１区間から第４区間とが存在する。
　まず、ステップＳ１０において、画像処理装置１０は、Ｇ値、Ｒ値、Ｂ値の少なくともいずれかに基づいて第１区間と第２区間との境界を検出した場合、ステップＳ１２およびステップＳ２０を実行する。画像処理装置１０は、第１区間と第２区間との境界を検出しない場合、ステップＳ４０を実行する。
　ステップＳ１２において、画像処理装置１０は、第２区間で上限値を超えた画素値を算出する近似式のパラメータを算出することで近似式を作成する。次に、ステップＳ１４において、画像処理装置１０は、算出したパラメータが設定された近似式を使用して、上限値を超えた画素値を算出する画像処理を実行する。この後、処理は、ステップＳ４０に移行される。
　ステップＳ２０において、画像処理装置１０は、Ｇ値、Ｒ値、Ｂ値の少なくともいずれかに基づいて第２区間と第３区間との境界を検出した場合、ステップＳ２２およびステップＳ３０を実行する。画像処理装置１０は、第２区間と第３区間との境界を検出しない場合、ステップＳ４０を実行する。
　ステップＳ２２において、画像処理装置１０は、第３区間で上限値を超えた画素値を算出する近似式のパラメータを算出することで近似式を作成する。次に、ステップＳ２４において、画像処理装置１０は、算出したパラメータが設定された近似式を使用して、上限値を超えた画素値を算出する画像処理を実行する。この後、処理は、ステップＳ４０に移行される。
　ステップＳ３０において、画像処理装置１０は、Ｇ値、Ｒ値、Ｂ値の少なくともいずれかに基づいて第３区間と第４区間との境界を検出した場合、ステップＳ３２を実行する。画像処理装置１０は、第３区間と第４区間との境界を検出しない場合、ステップＳ４０を実行する。
　ステップＳ３２において、画像処理装置１０は、第４区間で上限値を超えた画素値を算出する近似式のパラメータを算出することで近似式を作成する。次に、ステップＳ３４において、画像処理装置１０は、算出したパラメータが設定された近似式を使用して、上限値を超えた画素値を算出する画像処理を実行する。この後、処理は、ステップＳ４０に移行される。
　ステップＳ４０において、画像処理装置１０は、画像処理を継続する場合、ステップＳ１０に戻り、画像処理を継続しない場合、例えば、１画面の処理が完了した場合、図７に示す処理を終了する。なお、画像処理装置１０は、ステップＳ４０の後、ステップＳ１０に戻る前に、ノイズの除去処理またはエッジ強調処理等の画像処理を実行してもよい。
　図８は、図７の画像処理で使用する近似式の一例を示す。各区間の式において、符号Ｇ、Ｒ、Ｂの上に付した符号＾は、予測した画素値を示す。以下では、予測した画素値は、画素値Ｇ＾、Ｒ＾、Ｂ＾で示される。点線の下線は、第１予測処理での異色成分による予測に使用する近似式の例を示す。一点鎖線の下線は、第２予測処理での非飽和の自色成分による予測に使用する近似式の例を示す。第１予測処理により画素値を予測する例は、図９に示され、第２予測処理により画素値を予測する例は、図１０に示される。
　符号αは、第１予測処理の適用比率を示し、符号１－αは、第２予測処理の適用比率を示す。すなわち、符号αは、第１予測処理で予測した画素値と、第２予測処理で予測した画素値とを所定の比率で混合するブレンド率を示す。α＝１の場合、第１予測処理（異色成分による予測）のみが適用され、α＝０の場合、第２予測処理（非飽和の自色成分による予測）のみが適用される。
　ブレンド率αを適用することで、第１予測処理による予測画素値と第２予測処理により予測画素値とを、被写体（画像データ）の特徴に合わせて適切にブレンドすることが可能になり、非飽和領域の画素値の予測の精度を向上することができる。
　各式において、Ｒは、Ｒ成分の画素値を示し、Ｂは、Ｂ成分の画素値を示す。係数ａＲは、画素値Ｒまたは画素値Ｒ＾から画素値Ｒ＾を算出するための係数を示す。係数ａＢは、画素値Ｂまたは画素値Ｂ＾から画素値Ｇ＾または画素値Ｒ＾を算出するための係数を示す。例えば、係数ａＲ、ａＢおよびブレンド率αは、画素値Ｇ＾、Ｒ＾、Ｂ＾を算出するために各近似式に設定されるパラメータである。
　係数ａＲは、式（５－１）に示すように、予測ＧＲ比を示す。予測ＧＲ比は、第１区間での注目色ＧのＧ値（Ｐ１）と他の色ＲのＲ値（Ｐ２）との比率Ｇ値／Ｒ値（Ｐ１／Ｐ２）である。係数ａＢは、式（５－２）に示すように、予測ＧＢ比を示す。予測ＧＢ比は、注目色ＧのＧ値（Ｐ１）と他の色ＢのＢ値（Ｐ２）の比率Ｇ値／Ｂ値（Ｐ１／Ｐ２）である。予測ＧＲ比および予測ＧＢ比の算出は、第１区間において最も画素値の差が大きくなる、第２区間との境界で算出されることが好ましい。
　符号βは、式（５－１）と式（５－２）の適用比率を示す。すなわち、符号βは、予測ＧＲ比および予測ＧＢ比の優先率（重み）を示す。β＝１の場合、予測ＧＲ比のみが適用され、β＝０の場合、予測ＧＢ比のみが適用される。なお、画素値Ｇ、Ｂの差は、画素値の差Ｇ、Ｒに比べて大きいため、予測ＧＢ比を使用する方が、画素値Ｇ＾の予測精度が高くなりやすい。このため、βを小さくし、予測ＧＢ比の重みを予測ＧＲ比の重みよりも大きくすることが好ましい。
　このように、優先率βを適用することで、画素値Ｒ、Ｂのどちらを優先的に使用するかを、被写体（画像データ）の特徴に合わせて適切に設定することが可能になり、非飽和領域の画素値の予測の精度を向上することができる。
　係数ａＣは、この実施形態では使用されないため、式（５－３）に示すように、"０"に設定される。なお、第１区間でのＲ値とＢ値との比率Ｒ値／Ｂ値である予測ＲＢ比が近似式で使用されてもよい。
　全ての色の画素値が飽和する第４区間では、１つの画素値を予測するまで第１予測処理を適用できない。このため、画像処理装置１０は、第４区間では、式（４－１）に示すように、最初に第２予測処理を使用して画素値Ｂ＾を算出し、算出した画素値Ｂ＾を使用して、画素値Ｒ＾、Ｇ＾を算出する。
　式（４－１）は、式（６－２）の符号Ｇを符号Ｂに置き換えたものである。式（６－１）、（６－２）は、Ｇ値の成分を使用して飽和区間のＧ値を予測する例を示す。式（４－１）、（６－１）、（６－２）、（６－３）において、符号ｘは、画像の水平方向（図５のラスタスキャン方向）の座標を示し、符号ｙは、画像の垂直方向の座標を示す。
　式（６－１）は、画素値の飽和区間に隣接する境界画素の画素値Ｇ（ｔｘ，ｙ）と他の境界画素の画素値Ｇ（ｔｘ－１，ｙ）との差を、画素値の微分値とすることを示す。境界画素は、非飽和区間（例えば、図６の第１区間）に含まれる。符号ｔｘは、境界画素の水平方向の位置（座標）を示し、符号ｔｘ－１は、境界画素において、飽和領域に隣接する画素の１つ手前の画素の水平方向の位置（座標）を示す。
　式（６－２）の第１項は、飽和区間に隣接する境界画素の画素値Ｇ（ｔｘ，ｙ）を示す。式（６－２）の第２項は、画素値を予測する予測画素ｘと境界画素ｔｘとの水平距離と、式（６－１）で求めた微分値との積を示す。すなわち、式（６－２）の第２項は、境界画素ｔｘから予測画素ｘまでの画素値の変化量（予測値）を示す。
　式（６－１）、（６－２）は、１次微分により、画素値を線形予測する例を示す。しかしながら、式（６－３）に示すように、２次微分を使用することで、画素値が２次関数により近似されてもよい。さらに、ｎ次関数まで拡張されてもよい。この場合、境界画素ｔｘの画素値の変化をテイラー展開していることと等価な処理となる。
　図９は、図８で説明した第１予測処理により画素値を予測する一例を示す。画像処理装置１０は、第１予測処理では、異色成分を使用して自色の画素値を予測する。図９では、図８の係数αは"０"に設定される。画像処理装置１０は、全ての色の画素が飽和していない第１区間において、Ｇ値、Ｒ値、Ｂ値を使用して、予測ＧＲ比（Ｇ値／Ｒ値）と予測ＧＢ比（Ｇ値／Ｂ値）とを算出する。
　第２区間では、画像処理装置１０は、各画素位置において、図８の式（２）の第１項を使用して、係数ａＲおよび画素値Ｒの積と係数ａＢおよび画素値Ｂの積とを加算することで画素値Ｇ＾を算出する。
　第３区間では、画像処理装置１０は、各画素位置において、まず、図８の式（３－１）の第１項を使用して、係数ａＢおよび画素値Ｂの積により画素値Ｒ＾を算出する。次に、画像処理装置１０は、図８の式（３－２）の第１項を使用して、係数ａＲおよび画素値Ｒ＾の積と係数ａＢおよび画素値Ｂの積とを加算することで画素値Ｇ＾を算出する。
　第４区間では、画像処理装置１０は、各画素位置において、図８の式（４－１）を使用して、画素値Ｂ＾を算出する。次に、画像処理装置１０は、各画素位置において、図８の式（４－２）の第１項を使用して、係数ａＢおよび画素値Ｂ＾の積により画素値Ｒ＾を算出する。次に、画像処理装置１０は、図８の式（４－３）の第１項を使用して、係数ａＲおよび画素値Ｒ＾の積と係数ａＢおよび画素値Ｂ＾の積とを加算することで画素値Ｇ＾を算出する。このように、第１予測処理により、非飽和領域における色が異なる画素値の比を使用して、飽和領域での画素値を予測することができる。
　以上により、第１予測処理において、近似式のパラメータが求められる。なお、画像処理装置１０により予測される画素値Ｇ＾、Ｒ＾、Ｂ＾は、飽和していない区間から離れるほど、予測精度が低下するおそれがある。このため、例えば、画像処理装置１０は、飽和していない区間から離れるほど予測ＧＲ比および予測ＧＢ比を無彩色に近づくように補正する。図９の下側は、予測ＧＲ比および予測ＧＢ比の補正曲線を示す。
　予測ＧＲ比の補正曲線は、ＲＧＢの全色が飽和する第４区間の所定の画素位置で予測ＧＲ比がＲ成分のホワイトバランス値（ＷＢ）になるように設定される。予測ＧＢ比の補正曲線は、第４区間の所定の画素位置で予測ＧＢ比がＢ成分のホワイトバランス値になるように設定される。例えば、Ｂ値のホワイトバランス演算は、Ｂ値とＢ成分のホワイトバランス値との積であるため、ホワイトバランスの補正後にＧ値＝Ｂ値（無彩色）になる。
　これにより、Ｇ値、Ｒ値、Ｂ値の全てが飽和する第４区間においても、例えば、画素値の補正後の画像の色が、実際の被写体の色とかけ離れることを抑止することができる。この結果、第１予測処理により予測した画素値Ｇ＾、Ｒ＾、Ｂ＾を含む画像データを、後述する図１１で説明するように圧縮して表示装置１２に表示する場合に、違和感のない画像を表示することができる。
　なお、撮像装置１９から出力されるＧ値、Ｒ値、Ｂ値は、飽和後は上限値（例えば、値２５５）に固定される。このため、実際のＧＲ比は、第２区間で徐々に低下し、第２区間の終点で１．０になる。実際のＧＢ比は、第２区間と第３区間とで徐々に低下し、第３区間の終点で１．０になる。
　図１０は、図８で説明した第２予測処理により画素値を予測する一例を示す。第２予測処理では、画像処理装置１０は、非飽和区間の自色成分を使用して自色の画素値を予測する。図１０では、画素値Ｇ＾の予測方法が示されるが、画素値Ｒ＾および画素値Ｂ＾の予測方法も、画素値Ｇ＾の予測方法と同様である。
　まず、画像処理装置１０は、図８の式（６－１）に示したように、Ｇ値が飽和する第１区間と第２区間の境界（飽和境界）でのＧ値の変化の傾きである微分値ｄＧ／ｄｘを算出する。次に、画像処理装置１０は、算出した微分値ｄＧ／ｄｘを図８の式（６－２）に適用することで、第２区間、第３区間および第４区間の任意の画素位置ｘでの画素値Ｇ＾を予測する。このように、第２予測処理により、自色成分の画素値の変化率を使用して画素値を予測することができる。
　図１１は、第１予測処理および第２予測処理の少なくともいずれかを使用して予測した画素値を圧縮する手法の一例を示す。予測した画素値が、移動体２００に設置される表示装置１２に表示可能な画素値の上限を超える場合、表示装置１２に表示する画像が白飛びしてしまう。このため、画像処理装置１０は、予測した画素値を圧縮する機能を有する。図１１では、表示装置１２に表示可能な画素値の最大値は"２５５"であり、予測画素値の最大値は"５１２"であるとする。
　画像処理装置１０は、予測画素値の最大値に応じた所定の変換式を使用して、予測画素値を表示装置１２に表示可能な画素値に変換する。すなわち、画像処理装置１０は、画像データにおいて飽和領域の画素値を予測した後、予測した画素値の最大値が非飽和領域の画素値に収まるように、画像データの各画素の画素値を圧縮する。
　そして、画像処理装置１０は、変換した画素値を出力画素値として表示装置１２に出力する。これにより、予測画素値が表示装置１２に表示可能な最大画素値を超える場合にも、白飛びが抑制された画像を表示装置１２に表示することができる。
　なお、予測画素値を出力画素値に変換する変換式は、予測画素値の最大値に応じて変換式中のパラメータが変更されてもよい。なお、表示装置１２に表示される画像の色相が変化することを防ぐため、例えば、画素値Ｇ＾が圧縮される場合、飽和していない画素値Ｒ、Ｂも圧縮されることが好ましい。
　画像処理装置１０は、１画面の画像において画素値を圧縮する範囲を任意に設定してもよい。例えば、図５において、画像処理装置１０は、画像中の空の領域のみ画素値を圧縮してもよい。また、画像処理装置１０は、画像を所定の大きさの部分画像に分割し、画素値が飽和した画素が含まれる部分画像について画素値を圧縮してもよい。なお、画像処理装置１０は、圧縮する領域と圧縮しない領域との境界部を平滑化処理することで、画素値が不自然に変化して見えることを抑制してもよい。
　なお、予測画素値を含む画像データを使用して、図３の情報処理装置１１により画像認識処理等が実施される場合、画像処理装置１０は、予測画素値を含む画像データを圧縮せずに情報処理装置１１に出力してもよい。この場合、画像処理装置１０は、予測画素値を含む画像データは、図４の補助記憶装置２３またはメモリ装置２４を介して情報処理装置１１に出力してもよい。
　以上、この実施形態では、撮像装置１９が取得した被写体の画素値が、撮像装置１９が取得可能な画素値の上限値を超える場合にも、正しい画素値を予測することができる。例えば、画像処理装置１０は、第１予測処理により、非飽和領域における色が異なる画素値の比を使用して、飽和領域での画素値を予測することができる。また、画像処理装置１０は、第２予測処理により、自色成分の画素値の変化率を使用して、飽和領域での画素値を予測することができる。
　これにより、画像処理装置１０は、撮像装置１９から飽和状態の画素値を受ける場合にも、被写体の実際の輝度値に対応する画素値を予測値として算出することができる。この結果、画像処理装置１０は、白飛びが発生した領域の画素値を含む画像データを、白飛びのない画像データに補正することができ、補正した画像データを使用して、精度の高い画像認識処理を実施することができる。
　また、補正した画素値を含む画像データの画素値を圧縮することで、被写体の輝度が高い場合にも白飛びのない被写体の画像を表示装置１２に表示させることができる。この結果、表示装置１２に表示される画像の品位を向上することができる。
　ブレンド率αの適用により、画像処理装置１０は、第１予測処理による予測画素値と第２予測処理により予測画素値とを、被写体（画像データ）の特徴に合わせて適切にブレンドすることができる。例えば、画像処理装置１０が使用される環境（天気、日照の程度、時刻など）に応じてブレンド率αを変更することで、非飽和領域の画素値の予測の精度を向上することが可能になる。また、被写体の画像の特徴に応じてブレンド率αを変更することで、非飽和領域の画素値の予測の精度を向上することが可能になる。
　第１予測処理において、第４区間での補正画素値をホワイトバランス値に収束させることで、画素値の補正後の画像の色が、実際の被写体の色とかけ離れることを抑止することができる。この結果、補正した画素値を含む画像データの画素値を圧縮して表示装置１２に表示させる場合に、違和感のない画像を表示することができる。
　（第２の実施形態）
　図１２は、第２の実施形態における画像処理装置により実施される画像処理の一例を示す。この実施形態の画像処理装置１０および画像処理装置１０を含む画像処理システム１００は、図１から図４の構成と同様であり、移動体２００に搭載されてもよい。
　第１の実施形態では、画像ＩＭＧの左側から右側に掛けて第１区間から第４区間が順次並ぶ場合の画像処理について説明された。しかしながら、実際の被写体では、図１２に示すように、第１区間から第４区間の位置、大きさおよび形状等は様々である。また、区間の境界を跨ぐ直線の方向は、複数通りある。
　このため、この実施形態では、画像処理装置１０は、区間の境界を跨ぐ複数通りの走査方向のそれぞれにおいて、上限値を超えた画素値を予測する。画像処理装置１０は、区間の境界を判定するために、被写体を撮像しながら、画像ＩＭＧでの第１区間から第４区間の分布（図１２では、環状の破線）を取得する。画像処理装置１０は、分布を取得することで、画素値が上限値を超える画素を色毎に検出することができる。
　そして、画像処理装置１０は、第２区間から第４区間に含まれる上限値を超えた各画素について、画素値の予測に使用する複数通りの並び方向（走査方向）を決定する。図１２に示す例では、第４区間に含まれる黒丸で示す注目画素に向かう８つの走査方向が示されるが、走査方向の数は、８つに限定されない。
　次に、画像処理装置１０は、各走査方向について、第１の実施形態で説明した第１予測処理（異色成分による予測）および第２予測処理（非飽和の自色成分による予測）の少なくともいずれかを使用して、画素毎に、近似式のパラメータを算出する。画像処理装置１０は、各走査方向で算出したパラメータを使用して、上限値を超えた色毎の画素値をそれぞれ予測する。
　そして、画像処理装置１０は、複数の走査方向でそれぞれ予測した色毎の注目画素での画素値を、非飽和領域と飽和領域との境界である飽和境界までの距離に応じて加重平均することで、注目画素の予測画素値を算出する。図１２では、第４区間内に１つの注目画素が示されるが、画像処理装置１０は、第２区間、第３区間および第４区間に含まれる全ての画素を注目画素に順次設定し、各画素において上限値を超える色の画素値を取得する。そして、画像処理装置１０は、注目画素毎に、複数の走査方向での画素値を予測し、加重平均を算出する。なお、画像処理装置１０は、図１１で説明したように、取得された予測画素値を圧縮してもよい。
　以上、この実施形態においても上述した実施形態と同様に、撮像装置１９が取得した被写体の画素値が、撮像装置１９が取得可能な画素値の上限値を超える場合にも、正しい画素値を予測することができる。さらに、この実施形態では、輝度の高い被写体の位置によらず、正しい画素値を予測することができる。この際、複数の走査方向で予測した画素値を、飽和境界までの距離に応じて加重平均することで、単一の走査方向で画素値を予測する場合に比べて、予測する画素値の精度を向上することができる。
　（第３の実施形態）
　図１３は、第３の実施形態における画像処理装置により実施される画像処理の一例を示す。上述した実施形態と同様の要素については、詳細な説明は省略する。この実施形態の画像処理装置１０および画像処理装置１０を含む画像処理システム１００は、図１から図４の構成と同様であり、移動体２００に搭載されてもよい。
　第１および第２の実施形態では、画素値を予測する走査方向は、１次元（線状）である。この場合、走査方向に依存して線上のアーティファクト（ノイズ）が発生するおそれがある。そこで、この実施形態では、画像処理装置１０は、走査方向に依存する処理を実施せず、画素値を予測する注目画素の周囲の周辺画素に対してフィルタ演算を実施する。これにより、走査方向に依存した処理をなくすことができ、アーティファクトの発生を抑制することができる。
　なお、図１３では、第２区間に含まれる注目画素の画素値を取得する例が示される。しかしながら、画像処理装置１０は、第２区間、第３区間および第４区間に含まれる全ての画素を注目画素に順次設定し、各画素において上限値を超える色の画素値を予測する。また、画像処理装置１０は、図１１で説明したように、取得された予測画素値を圧縮してもよい。
　図１３中の符号ｔｘ、ｔｙは、注目画素の画素値の予測に使用する画素を含む周辺画素領域の範囲を示す。画像処理装置１０は、注目画素を含む周辺画素領域から境界領域を抽出する抽出処理を実施する。ここで、境界領域は、注目画素の色と同じ画素の非飽和領域において、飽和領域との境界に隣接し、非飽和領域に向く方向に沿う所定数の画素（境界画素）を含む領域である。以下では、境界画素の画素値は、境界画素値とも称される。
　画像処理装置１０は、周辺画素領域に含まれる境界画素の画素値を使用して、注目画素の画素値を予測する。例えば、図１３では、第１区間において、Ｇ値が不飽和領域になる第２区間の境界に隣接する境界領域の境界画素の画素値を使用して、第２区間の緑色Ｇの注目画素の画素値が予測される。
　そして、画像処理装置１０は、複数の境界画素値に基づいて、第１予測処理（異色成分による予測）および第２予測処理（非飽和の自色成分による予測）の少なくともいずれかを使用して、画素毎に、近似式のパラメータを算出する。画像処理装置１０は、算出したパラメータを使用して、上限値を超えた色毎の画素値をそれぞれ予測する。
　さらに、画像処理装置１０は、予測した色毎の画素値を、境界画素から注目画素までの距離に応じて加重平均を実施し、注目画素の上限値を超えた色の予測画素値を決定する。第１予測処理および第２予測処理による予測画素値の算出例は、図１４および図１５で説明される。
　図１４は、図１３に示す画素値の予測を、第１予測処理（異色成分による予測）を使用して実施する場合の近似式の例を示す。図１４は、画素Ｇの予測画素値を算出する例を示すが、画素Ｒおよび画素Ｂの予測画素値も同様に算出することができる。
　例えば、図８の式（２）の第１項および式（５－１）、（５－２）、（５－３）と同様に、係数ａＲ、ａＢを注目画素の周辺の飽和していない画素から予測する方法が考えられる。上述したように、係数ａＲはＧとＲの比で算出され、係数ａＢはＧとＢの比で算出されるが、飽和していない画素は複数存在するため、距離に応じた加重平均を求めることが好ましい。
　式（７－１）に示す関数Ｖ（ｔｘ，ｔｙ）は、予測ＧＲ比を算出する近似式（７－２）の項Ｃで使用される。関数Ｖ（ｔｘ，ｔｙ）は、図１３の周辺画素領域の各画素で使用され、飽和していない画素（境界画素を含む）の場合"１"を返し、飽和している画素の場合、"０"を返す。これにより、近似式（７－２）において、飽和している画素をマスクして、飽和していない画素のみを使用して予測ＧＲ比を予測することができる。
　予測ＧＲ比を算出する近似式（７－２）は、図１３の周辺画素領域内の全ての周辺画素に対して演算を実行し、総和を算出することを示す。近似式（７－２）の項Ｂは、注目画素から飽和境界の周辺画素までの距離の重みを表し、距離に応じて重みが小さくなる関数が利用される。この実施形態ではバイラテラルフィルタなどで用いられる距離の重みの式と同様の式が使用されるが、距離に応じて重みが小さくなる演算式であれば、他の数式が使用されてもよい。
　近似式（７－２）の項Ｄは、周辺画素領域に飽和境界が含まれない場合、近似式（７－２）を予め設定された固定の画素値に収束させるための項である。周辺画素領域の画素が全て飽和画素で飽和境界が存在しない場合、項Ｃは"０"になる。このとき、近似式（７－２）の項Ａ、項Ｂ、項Ｃの演算結果は"０"になり、項Ｅも"０"になる。これにより、近似式（７－２）により予測される注目画素の予測値は、固定値"Ｃ"になる。固定値Ｃは、図９で説明したホワイトバランス値ＷＢに設定されることが好ましい。近似式（７－２）のパラメータをＲ成分用にすることで、予測ＧＢ比を算出することができる。
　なお、係数ａは、最小二乗法で直接計算されてもよい。式（２）の第１項において、係数ａが求めたい変数であるため、予測画素値Ｇ＾の差分を最小化する係数ａを周辺画素領域の画素から求めればよい。具体的には、式（７－３）に示すコスト関数Ｊを最小化する係数ａが算出されればよい。式（７－３）は、一般的な最小二乗法を使用した計算であり、ガイデッドフィルタで使用する手法を利用することで高速に演算することができる。
　式（７－３）の項Ａは、飽和していない画素におけるＧ値の予測誤差を表し、最小化したい演算式となる。しかし、上述したように、例えば、周辺画素領域の画素が全て飽和している場合、式（７－１）の関数Ｖ（ｔｘ，ｔｙ）は、全て"０"になり、解が求まらない。
　この問題を回避するために、式（７－３）の項Ｂ、項Ｃが設けられる。式（７－３）の項Ｂ、項Ｃは、最小二乗法における正則化項である。係数ａがホワイトバランス値ＷＢから離れるほどコスト関数Ｊは大きくなるため、係数ａがホワイトバランス値ＷＢに近くなるような値に最適化される。この作用によって関数Ｖ（ｔｘ，ｔｙ）がオール"０"の場合、係数ａをホワイトバランス値ＷＢに収束させることができる。式（７－３）の項Ｂ、項Ｃの符号ｋは、拘束条件の強さを示す。
　なお、式（７－４）により、図１４に示す第１予測処理（異色成分による予測）と、図１５に示す第２予測処理（非飽和の自色による予測）とのブレンド率αの適正値を動的に算出可能である。例えば、図８の式（２）の第１項と第２項とを合わせ込んだ形の式を最適化対象とし、式（７－４）に示す係数ａ、ｂを、式（７－３）を利用して算出することで、ブレンド率αの決定を不要にすることができる。ここで、式（７－４）のＦ（ｘ，ｙ，Ｇ）は、後述する図１５の近似式（８－３）を利用して、予め計算される。
　図１５は、図１３に示す画素値の予測を、第２予測処理（非飽和の自色による予測）を使用して実施する場合の近似式の例を示す。図１５は、画素Ｇの予測画素値を算出する例を示すが、画素Ｒおよび画素Ｂの予測画素値も同様に算出することができる。図１５では、注目画素の画素値は、周辺画素領域の画素のうち、境界画素を使用して予測される。
　一般に、周辺画素領域には複数の境界画素が存在するため、各予測画素値は、飽和画素からの距離に応じた加重平均により求められる。また、周辺画素領域内に区間の境界が存在しない場合、予測画素値を固定値にするために、式（８－２）が使用される。
　式（８－１）は、微分を近似計算する式であり、線形予測に利用するために計算される。式（８－２）に示す関数Ｗ（ｔｘ，ｔｙ）は、式（７－１）と同様に、飽和していない画素（境界画素を含む）の場合、"１"を返し、飽和している画素の場合、"０"を返す。関数Ｖ（ｔｘ，ｔｙ）を、近似式（８－３）の項Ｃに置くことで、境界画素以外の画素をマスクして境界画素のみから画素値を予測することができる。
　Ｇの予測値Ｆ（ｘ、ｙ、Ｇ）を算出する近似式（８－３）は、図１３の周辺画素領域内の全ての画素に対して演算を実行し、総和を算出することを示す。近似式（８－３）の項Ａは、境界画素に対する注目画素の線形予測値を表す。近似式（８－３）の項Ａは、図１０に示した１次元の線形予測式を２次元に拡張した式である。なお、第１実施形態と同様に１次式ではなく１次式などの多次元の式を使用して近似されてもよい。
　近似式（８－３）の項Ｂは、注目画素から境界画素までの距離の重みを表し、距離に応じて重みが小さくなる関数が利用される。この実施形態では、バイラテラルフィルタなどで用いられる距離の重みの式と同様の式が使用されてもよい。なお、距離に応じて重みが小さくなる演算式であれば、他の数式が使用されてもよい。
　近似式（８－３）の項Ｄは、近似式（７－２）の項Ｄと同様に、周辺画素領域に境界画素が存在しない場合に、近似式（８－３）を固定値に収束させるための項である。固定値Ｃは、ホワイトバランス値ＷＢに設定されることが好ましい。近似式（８－３）の項Ｅ（分母）は、加重平均化処理とするための正規化項である。
　以上、この実施形態においても、上述した実施形態と同様の効果を得ることができる。さらに、この実施形態では、画像処理装置１０は、画素値を予測する注目画素の周囲の周辺画素領域の画素の画素値から抽出した境界画素を使用して画素値を予測し、予測した画素値を距離に応じて加重平均することで、予測画素値を算出する。これにより、走査方向に依存した処理をなくすことができ、アーティファクトの発生を抑制することができる。また、周辺画素領域に境界画素が含まれない場合、予測画素値を、予め設定された固定の画素値に設定することで、境界画素を抽出できない場合にも、飽和領域の画素値を正しく予測することができる。
　なお、例えば、画像処理装置１０は、現在の注目画像に対して画素値を予測する場合、画像を取得してから近似式の算出等を行う。このため、画像の取得から画素値の予測を完了するまで、または画像の取得から予測した画素値による画像の表示装置等への表示までに時間を要する。また、例えば、撮像装置１９が、図５に示したように、ラスタスキャンにより被写体の画像を取得する場合、画角全体の画像が取得されるまで、予測画素値の算出に使用する近似式のパラメータを算出できない場合がある。
　そこで、上述した第１から第３の実施形態の画像処理装置１０は、直前に取得した画像または現在取得中の画像よりも前に取得した画像を使用して、近似式のパラメータを算出してもよい。そして、画像処理装置１０は、算出したパラメータを使用して現在取得中の画像における画素値の予測を実施する。これにより、現在取得中の画像に対する画素値の予測処理を迅速に実施することができ、リアルタイム性の向上を図ることができる。特に、移動体２００に搭載される撮像装置１９など、画像処理のリアルタイム性が求められる分野に適用することで、画像の認識性能等を向上することができる。
　以上、各実施形態に基づき本発明の説明を行ってきたが、上記実施形態に示した要件に本発明が限定されるものではない。これらの点に関しては、本発明の主旨をそこなわない範囲で変更することができ、その応用形態に応じて適切に定めることができる。
　１０　画像処理装置
　１０ａ　取得部
　１０ｂ　抽出部
　１０ｃ　予測部
　１０ｄ　出力部
　１１　情報処理装置
　１２　表示装置
　１４　無線通信装置
　１５　センサ
　１６　駆動装置
　１７　ランプ装置
　１８　ナビゲーション装置
　１９（１９Ａ、１９Ｂ、１９Ｃ、１９Ｄ、１９Ｅ）　撮像装置
　１００　画像処理システム
　２００　移動体
　ＢＵＳ　バス
　Ｓ　太陽

Claims (11)

  1. 　撮像装置により取得された複数の画素を含む画像を示す画像データから、画素値が飽和していない非飽和領域と画素値が飽和した飽和領域とを抽出する抽出部と、
    　前記非飽和領域における前記飽和領域との境界領域の境界画素の画素値に基づいて、前記飽和領域の注目画素の画素値を予測する予測部と、
    　を有する画像処理装置。
  2. 　前記画像データは、複数色の画素毎に取得され、
    　前記抽出部は、前記複数色の前記画像データの各々から前記非飽和領域と前記飽和領域とを抽出し、
    　前記予測部は、前記複数色のうちのいずれかである注目色の前記境界領域での前記注目色の画素値と飽和していない他の色の画素値との比に基づいて、前記注目色の前記飽和領域の画素値を予測する第１予測処理を実行する
    　請求項１に記載の画像処理装置。
  3. 　前記予測部は、前記注目色の画素値Ｐ１と飽和していない他の色の画素値Ｐ２との前記比Ｐ１／Ｐ２を、前記複数色の全ての画素値が飽和する全飽和領域のいずれかの画素位置で、前記他の色のホワイトバランス値に収束するように変化させる
    　請求項２に記載の画像処理装置。
  4. 　前記予測部は、前記飽和領域に向かう方向に沿う、画素値を予測する画素と同じ色の複数の前記境界画素の画素値の変化量に基づいて、前記注目画素の画素値を予測する第２予測処理を実行する
    　請求項１に記載の画像処理装置。
  5. 　前記画像データは、複数色の画素毎に取得され、
    　前記抽出部は、前記複数色の前記画像データの各々から前記非飽和領域と前記飽和領域とを抽出し、
    　前記予測部は、
    　前記複数色のうちのいずれかである注目色の前記境界領域での前記注目色の画素値と飽和していない他の色の画素値との比に基づいて、前記注目色の前記飽和領域の画素値を予測する第１予測処理と、
    　前記飽和領域に向かう方向に沿う、画素値を予測する画素と同じ色の複数の前記境界画素の画素値の変化量に基づいて、前記注目画素の画素値を予測する第２予測処理と、を実行し、
    　前記第１予測処理で予測した画素値と、前記第２予測処理で予測した画素値とを所定の比率で混合する
    　請求項１に記載の画像処理装置。
  6. 　前記予測部は、複数の前記境界画素の画素値に基づいてそれぞれ予測される前記注目画素の複数の画素値を、複数の前記境界画素から前記注目画素までの距離に応じて加重平均することで、前記注目画素の画素値を予測する
    　請求項１ないし請求項５のいずれか１項に記載の画像処理装置。
  7. 　前記抽出部は、前記注目画素を含む周辺画素領域から前記境界領域を抽出し、
    　前記予測部は、前記周辺画素領域の前記境界領域の複数の前記境界画素の画素値に基づいて前記注目画素の複数の画素値をそれぞれ予測する
    　請求項６に記載の画像処理装置。
  8. 　前記周辺画素領域に前記境界領域が含まれない場合、前記予測部は、予め設定された画素値を前記注目画素の予測値とする
    　請求項７に記載の画像処理装置。
  9. 　前記画像データにおいて前記飽和領域の画素値の予測後、予測した画素値の最大値が前記非飽和領域の画素値に収まるように、前記画像データの各画素の画素値を圧縮する
    　請求項１ないし請求項８のいずれか１項に記載の画像処理装置。
  10. 　前記予測部は、
    　前記撮像装置により予め取得された画像データを使用した前記抽出部の抽出結果に基づいて、前記注目画素の画素値の予測に使用する近似式のパラメータを算出する処理と、
    　算出されたパラメータを使用して、前記撮像装置により取得される画像データの前記注目画素の画素値をリアルタイムで予測する処理と、実行する
    　請求項１ないし請求項９のいずれか１項に記載の画像処理装置。
  11. 　撮像装置により取得された複数の画素を含む画像を示す画像データから、画素値が飽和していない非飽和領域と画素値が飽和した飽和領域とを抽出する抽出処理と、
    　前記非飽和領域における前記飽和領域との境界領域の境界画素の画素値に基づいて、前記飽和領域の画素値を予測する予測処理と、
    　を実施する画像処理方法。
PCT/JP2021/014932 2021-04-08 2021-04-08 画像処理装置および画像処理方法 WO2022215234A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2023512611A JPWO2022215234A1 (ja) 2021-04-08 2021-04-08
PCT/JP2021/014932 WO2022215234A1 (ja) 2021-04-08 2021-04-08 画像処理装置および画像処理方法
CN202180096629.9A CN117178562A (zh) 2021-04-08 2021-04-08 图像处理装置及图像处理方法
US18/478,623 US20240037900A1 (en) 2021-04-08 2023-09-29 Image processing device and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/014932 WO2022215234A1 (ja) 2021-04-08 2021-04-08 画像処理装置および画像処理方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/478,623 Continuation US20240037900A1 (en) 2021-04-08 2023-09-29 Image processing device and image processing method

Publications (1)

Publication Number Publication Date
WO2022215234A1 true WO2022215234A1 (ja) 2022-10-13

Family

ID=83545309

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/014932 WO2022215234A1 (ja) 2021-04-08 2021-04-08 画像処理装置および画像処理方法

Country Status (4)

Country Link
US (1) US20240037900A1 (ja)
JP (1) JPWO2022215234A1 (ja)
CN (1) CN117178562A (ja)
WO (1) WO2022215234A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005284423A (ja) * 2004-03-29 2005-10-13 Seiko Epson Corp 画像処理装置、および、画像処理方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005284423A (ja) * 2004-03-29 2005-10-13 Seiko Epson Corp 画像処理装置、および、画像処理方法

Also Published As

Publication number Publication date
JPWO2022215234A1 (ja) 2022-10-13
CN117178562A (zh) 2023-12-05
US20240037900A1 (en) 2024-02-01

Similar Documents

Publication Publication Date Title
US8169491B2 (en) Apparatus and method of obtaining image and apparatus and method of processing image
KR101367637B1 (ko) 감시장치
EP2793469B1 (en) Image processing device
US20190253623A1 (en) Image processing method and device supporting multiple modes, image conversion or stitching unit, and computer readable recording medium realizing the image processing method
US11172173B2 (en) Image processing device, image processing method, program, and imaging device
US20190092239A1 (en) Image-pickup apparatus, image-pickup display method, and image-pickup display program
EP2605506B1 (en) Displacement magnitude detection device for vehicle-mounted camera
JP2009267923A (ja) 撮像システム
US9214034B2 (en) System, device and method for displaying a harmonized combined image
CN113068011B (zh) 图像传感器、图像处理方法及系统
JP2012222374A (ja) 車載カメラシステム
US11094037B2 (en) Semiconductor device, image processing system, image processing method and computer readable storage medium
WO2022215234A1 (ja) 画像処理装置および画像処理方法
JP5521927B2 (ja) 撮像装置
US11991459B2 (en) Image processing device and method of image processing
US20120188401A1 (en) Image processing apparatus
WO2021131859A1 (ja) 画像処理装置および画像処理方法
JP6266022B2 (ja) 画像処理装置、警報装置、および画像処理方法
JP4747670B2 (ja) 画像処理装置
US20230007187A1 (en) Imaging control device, imaging control method, and non-transitory computer readable recording medium
WO2023026407A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
WO2019150860A1 (ja) ホワイトバランス調整装置及びホワイトバランス調整方法
JP2023010159A (ja) 画像処理装置および画像処理方法
JPH1011581A (ja) 駐車車両検出方法及び装置
CN115689878A (zh) 一种全景系统色度调节方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21936038

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023512611

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21936038

Country of ref document: EP

Kind code of ref document: A1