WO2021256107A1 - 情報処理装置、情報処理方法、情報処理プログラム - Google Patents

情報処理装置、情報処理方法、情報処理プログラム Download PDF

Info

Publication number
WO2021256107A1
WO2021256107A1 PCT/JP2021/017215 JP2021017215W WO2021256107A1 WO 2021256107 A1 WO2021256107 A1 WO 2021256107A1 JP 2021017215 W JP2021017215 W JP 2021017215W WO 2021256107 A1 WO2021256107 A1 WO 2021256107A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
color difference
value
pixel position
interpolation target
Prior art date
Application number
PCT/JP2021/017215
Other languages
English (en)
French (fr)
Inventor
均 三谷
雅史 若園
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to JP2022532369A priority Critical patent/JPWO2021256107A1/ja
Priority to US18/008,836 priority patent/US20230214959A1/en
Publication of WO2021256107A1 publication Critical patent/WO2021256107A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/85—Camera processing pipelines; Components thereof for processing colour signals for matrixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N11/00—Colour television systems
    • H04N11/06—Transmission systems characterised by the manner in which the individual colour picture signal components are combined
    • H04N11/20—Conversion of the manner in which the individual colour picture signal components are combined, e.g. conversion of colour television standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/86—Camera processing pipelines; Components thereof for processing colour signals for controlling the colour saturation of colour signals, e.g. automatic chroma control circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20216—Image averaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction

Definitions

  • This technology relates to information processing devices, information processing methods, and information processing programs.
  • image recording has a method of developing the output of the imager and saving the completed image (JPG, etc.), and an imager output so that the gradation and color tone can be adjusted later for development.
  • JPG completed image
  • RAW recording in addition to the method of recording the imager output (for example, RGB signal of Bayer arrangement) as it is, some signal processing is performed in the camera to shorten the development processing period, and it becomes a luminance signal and a color difference signal.
  • YCbCr CbCr, which is a color difference signal, may be thinned out from YCbCr in order to reduce the amount of data (Patent Document 1).
  • the process of interpolating the thinned out color difference signal is performed before the development process, but conventionally, the interpolation is performed using only the color difference signal without using the luminance signal. As a result, there is a problem that the image quality of the developed image is deteriorated due to unintended coloring or the like.
  • the present technology has been made in view of these points, and provides an information processing device, an information processing method, and an information processing program capable of interpolating thinned pixels without deteriorating the image quality of an image. With the goal.
  • the number of brightness pixels generated based on the three primary color pixels which can contain a value larger than a predetermined white clip value is the number of first color difference pixels and
  • image data having more than the number of second color difference pixels at least one of a brightness pixel at an interpolation target pixel position, which is a pixel position where the first color difference pixel does not exist, and a plurality of pixel positions close to the interpolation target pixel position.
  • It is an information processing apparatus including an interpolation target color difference pixel generation unit which generates an interpolation target color difference pixel corresponding to a first color difference pixel at an interpolation target pixel position based on a relationship with a brightness pixel of one proximity pixel position.
  • the number of brightness pixels is the number of first color difference pixels and the number of second color difference pixels generated based on three primary color pixels which can include a value larger than a predetermined white clip value.
  • the brightness pixel at the interpolation target pixel position which is the pixel position where the first color difference pixel does not exist, and the brightness pixel at least one of the plurality of pixel positions close to the interpolation target pixel position.
  • the number of brightness pixels is the number of first color difference pixels and the number of second color difference pixels generated based on the three primary color pixels which can contain a value larger than a predetermined white clip value.
  • the brightness pixel at the interpolation target pixel position which is the pixel position where the first color difference pixel does not exist, and the brightness pixel at least one of the plurality of pixel positions close to the interpolation target pixel position.
  • First Embodiment> [1-1. Configuration of image pickup device 10 and developing device 20] [1-2. Mechanism of image quality deterioration] [1-3. Configuration of information processing device 100] [1-4. Processing by information processing device 100] ⁇ 2. Second Embodiment> [2-1. Configuration of information processing device 200] [2-2. Processing by information processing device 200] ⁇ 3. Third Embodiment> [3-1. Configuration of information processing device 300] [3-2. Processing by information processing device 300] ⁇ 4. Modification example>
  • the image pickup apparatus 10 includes a control unit 11, an image pickup unit 12, a white balance processing unit 13, a color separation processing unit 14, a resizing processing unit 15, a signal conversion unit, a thinning processing unit 17, and an interface 18.
  • the control unit 11 is composed of a CPU (Central Processing Unit), a RAM (Random access Memory), a ROM (Read Only Memory), and the like.
  • the CPU executes various processes according to the program stored in the ROM and issues commands to control the entire image pickup apparatus 10 and each part thereof.
  • the image pickup unit 12 can capture an image corresponding to the three primary color pixels.
  • the image pickup unit 12 has a lens, an image pickup element that photoelectrically converts incident light from a subject obtained through the lens into a charge amount and outputs an image pickup signal, a lens drive driver that drives the lens, and A for the image pickup signal. It includes a processing unit that generates image data by performing / D (Analog / Digital) conversion or the like.
  • Examples of the image pickup element include CCD (Charge Coupled Device) and CMOS (Complementary Metal Oxide Semiconductor).
  • the white balance processing unit 13 performs white balance processing on the image data based on an arbitrary white balance setting set by the user.
  • the color separation processing unit 14 performs, for example, demosaic processing as color separation processing on the image data that has undergone white balance processing.
  • the resizing processing unit 15 performs resizing processing for adjusting the size of the image data by changing the number of pixels or the like.
  • the data conversion processing unit 16 converts RGB image data into YC image data composed of a luminance signal and a color difference signal.
  • the thinning processing unit 17 thins out the color difference pixels from the image data.
  • the interface 18 is an interface between the developing device 20, other devices, a network, and the like.
  • the interface 18 may include a wired or wireless communication interface. More specifically, the wired or wireless communication interface is cellular communication such as 3TTE, 4G, 5G, Wi-Fi, Bluetooth (registered trademark), NFC (Near Field Communication), Ethernet (registered trademark), HDMI. (Registered trademark) (High-Definition Multimedia Interface), USB (Universal Serial Bus), etc. may be included.
  • the interface 18 may include a bus in the apparatus, a data reference in the program module, and the like (hereinafter, these are included). Also called the interface inside the device).
  • the interface 18 may include different types of interfaces for each device.
  • the interface 18 may include both a communication interface and an in-device interface.
  • the thinned-out image data is transferred from the image pickup apparatus 10 to the developing apparatus 20 via the interface 18 for development.
  • This image data is image data to be processed by the information processing apparatus 100.
  • the image data to be processed is generated based on three primary color pixels that can include a value larger than a predetermined white clip value, and the number of brightness pixels (Y) is the first color difference pixel (Cb or Cr) by the thinning process.
  • the image data is larger than the number of (one) and the number of second color difference pixels (the other of Cb or Cr).
  • a storage unit for storing image data
  • an input unit including a shutter button operated by the photographer
  • a display unit for displaying through images, captured images, UI, and the like.
  • the image pickup device 10 is configured as described above.
  • the image pickup device 10 includes devices specialized in camera functions such as digital cameras, single-lens reflex cameras, camcoders, professional cameras, and professional photography devices, as well as smartphones, tablet terminals, wearable devices, portable game machines, etc. having camera functions. There is.
  • the developing device 20 includes a control unit 21, an interface 22, an information processing device 100, a data conversion processing unit 23, a white balance processing unit 24, a white clip processing unit 25, and a developing processing unit 26.
  • the control unit 21 is realized by the CPU executing various processes according to the program and issuing commands, and controls the entire developing device 20 and each unit.
  • the interface 22 is the same as that provided in the image pickup device 10, and is an interface between the image pickup device 10 and other devices, networks, and the like.
  • the image data to be processed by the information processing apparatus 100 is transferred from the image pickup apparatus 10 to the developing apparatus 20 via the interface 22.
  • the information processing device 100 performs interpolation processing by generating interpolation target color difference pixels at pixel positions where color difference pixels are thinned out.
  • the configuration of the information processing apparatus 100 will be described later.
  • the data conversion processing unit 23 converts YC image data consisting of a luminance signal and a color difference signal into RGB image data.
  • the white balance processing unit 24 performs white balance processing on the RGB image data.
  • the white clip processing unit 25 performs white clip processing on the image data that has undergone white balance processing.
  • the white clip value that is the reference for processing in the white clip processing unit corresponds to a predetermined white clip value, and the image data to be processed by the present technology may include a value larger than the predetermined white clip value. It is assumed that the image data consists of.
  • the development processing unit 26 performs processing such as edge enhancement, resolution conversion, and image compression, and finally generates image data to be saved and output as an captured image.
  • the developing device 20 is configured as described above.
  • the developing device 20 may be configured as a single device, or may operate in a terminal device such as a personal computer, a tablet terminal, or a smartphone.
  • the program for processing the developing device 20 may be installed in the terminal device in advance, or may be distributed by download, storage medium, or the like so that the photographer can install the program by himself / herself. Further, the developing device 20 may be configured as a dedicated device by hardware having the function.
  • the pixel of black 1 is the pixel position to be interpolated, and the white pixel and the black pixel are the proximity pixel positions used for interpolation.
  • the luminance signal remains without being thinned out.
  • the white becomes a magenta as shown in FIG. 2C.
  • a color other than black is attached to the pixel position to be interpolated. It should be noted that the magenta white returns to white with the R and B lifted by the white clip processing after the interpolation processing suppressed.
  • the interpolation process causes a color other than the original color of the pixel to be added, which causes an unnatural color to be added to the output image and the image quality is deteriorated.
  • white and black pixels are taken as an example here, the present technology is not limited to white and black.
  • the information processing apparatus 100 includes a proximity pixel position selection unit 101, an interpolation target color difference pixel generation unit 102, and a switch unit 103.
  • the information processing apparatus 100 has a first color difference pixel (Cb) having a number of brightness pixels (Y) generated based on three primary color pixels that can include a value larger than a predetermined white clip value as image data to be processed. Or, more image data is input than the number of (one of Cr) and the number of second color difference pixels (Cb or the other of Cr). It is assumed that this image data is YC4: 2: 2 image data in which the color difference signal is thinned out by the thinning process in the image pickup apparatus 10. It is assumed that the control unit 21 or the like knows which pixel is being processed among the pixels constituting the image data.
  • the proximity pixel position selection unit 101 determines the position of the proximity pixel used to generate the interpolation target color difference pixel from a plurality of pixel positions based on the brightness signal and / or the color difference signal constituting the image data to be processed. It is the one to choose.
  • the signal input to the proximity pixel position selection unit 101 may be a luminance signal or a color difference signal.
  • the proximity pixel is a pixel that does not need to be in contact with the interpolation target pixel position and is located within a predetermined range around the interpolation target color difference pixel.
  • the pixels may be two or three adjacent to the color difference pixel to be interpolated. From the point of view of the accuracy of interpolation, it is considered more preferable that the pixel is adjacent to the color difference pixel to be interpolated.
  • the interpolation target pixel position is the position of the pixel from which the color difference pixel is thinned out by the thinning process, that is, the position of the pixel in which at least one of the first color difference pixel and the second color difference pixel does not exist, and the interpolation target color difference pixel. It is a pixel position to be interpolated by the generation unit 102.
  • Two or more pixels adjacent to the pixel position to be interpolated may be selected as the proximity pixel position, edge extraction may be performed, and the proximity pixel position may be selected based on the result, or the format of the image data to be processed may be selected.
  • the proximity pixel position may be selected based on (YC4: 2: 2, YC4: 2: 0, etc.). Further, the proximity pixel position may be selected from the correlation of luminance and color difference.
  • the interpolation target color difference pixel generation unit 102 has a positive correlation between the brightness constituting the image data and the magnitude (absolute value) of the color difference value.
  • the color difference in the above is calculated to generate the color difference pixel to be interpolated.
  • Interpolation of the thinned out pixels is performed by generating the interpolation target color difference pixels at the interpolation target pixel positions.
  • the positive correlation may be linear, or may be a positive correlation represented by a non-linear function, a quadratic function, a cubic function, an exponential function, or the like other than linear.
  • the switch unit 103 uses the interpolation target color difference pixels generated by the interpolation target color difference pixel generation unit 102 and all the color difference pixels other than the interpolation target pixel positions in the image data in an appropriate order as all the color difference pixels constituting the image data. It is output so as to be.
  • the image data output from the information processing apparatus 100 is in the format of YC4: 4: 4.
  • the information processing device 100 is configured as described above.
  • the information processing apparatus 100 may be configured by a program, and the developing apparatus 20 may be provided with a function as the information processing apparatus 100 by executing the program.
  • the program may be installed in advance on the terminal device on which the developing device 20 operates, or may be distributed by download, storage medium, or the like so that the user can install the program on the terminal device by himself / herself.
  • the information processing apparatus 100 may be configured as a dedicated apparatus by hardware having the function.
  • the information processing device 100 may be provided with functions as a white balance processing unit 13, an image pickup unit 12, and an image pickup device 10.
  • the proximity pixel position selection unit 101 selects the proximity pixel position used to generate the interpolation target color difference pixel at the interpolation target pixel position from a plurality of pixel positions constituting the image data.
  • the proximity pixel position is not limited to one, and may be one or three or more.
  • the proximity pixel position selection unit 101 selects the proximity pixel position, the proximity pixel position information is supplied to the interpolation target color difference pixel generation unit 102.
  • the value of the color difference pixel at the interpolation target pixel position is defined as the color difference CC
  • the value of the brightness pixel at the interpolation target pixel position is defined as the brightness YC.
  • the value of the color difference pixel at the first proximity pixel position used for the interpolation processing is defined as the color difference CL
  • the value of the luminance pixel at the first proximity pixel position is defined as the luminance YL.
  • the value of the color difference pixel at the second proximity pixel position used for the interpolation processing is defined as the color difference CR
  • the value of the luminance pixel at the second proximity pixel position is defined as the luminance YR.
  • the interpolation target color difference pixel generation unit 102 uses the color difference CC and the brightness YL of the first proximity pixel position, and the color difference CR and the brightness YR of the second proximity pixel position for the color difference CC of the interpolation target pixel position.
  • the color difference pixel to be interpolated is generated by calculating with the following equation 1. This corresponds to "generating an interpolation target color difference pixel based on the relationship between the value of the luminance pixel at the interpolation target pixel position and the value of the luminance pixel at the proximity pixel position".
  • This equation 1 is an equation defined as having a linear relationship among positive correlations between brightness and color difference, and is the ratio of the color difference CL and the brightness YL at the first proximity pixel position, and the color difference CR and the brightness at the second proximity pixel position.
  • the color difference pixel CC at the interpolation target pixel position is calculated using the YL ratio to generate the interpolation target color difference pixel.
  • the offset value ⁇ is used as an offset with respect to the luminance in order to prevent noise from being amplified due to either the luminance YL or the luminance YR being small.
  • the luminance YC at the pixel position to be interpolated the luminance YL and the color difference CL at the first proximity pixel position, and the luminance YR and the color difference CR at the second proximity pixel position are the values shown in FIG. 5A.
  • the pixel position to be interpolated is brighter than the first proximity pixel position and the second proximity pixel position because the luminance YC is large.
  • the offset value ⁇ is also effective in preventing the luminance noise from being amplified.
  • the offset value ⁇ may be defined as a constant with respect to the luminance Y as shown in FIG. 6A.
  • the offset value ⁇ can be defined as a function of the luminance YC in the following equation 2.
  • This equation 2 determines the offset value ⁇ based on the minimum values of the luminance YC, the luminance YL, and the luminance YR, and the relationship between the luminance Y and the offset value ⁇ can be expressed as shown in FIG. 6B, for example.
  • the relationship between the luminance Y and the offset value ⁇ shown in FIG. 6B is merely an example, and the relationship between the luminance Y and the offset value ⁇ may be linear or non-linear.
  • the offset value ⁇ is required when the luminance Y is small, in other words, the offset value ⁇ is effective when the luminance Y is small
  • the offset value ⁇ may be defined as a function of Y.
  • the offset value ⁇ has a value, and as Y increases, the offset value ⁇ decreases, and when Y increases to some extent, the offset value ⁇ may be set to 0.
  • the value of the offset value ⁇ may be determined according to the function and setting of the image pickup apparatus 10.
  • the offset value ⁇ is not essential in the interpolation process, it is preferable to use it in order to obtain a better interpolation result.
  • FIG. 7 exemplifies the process of calculating the color difference CC of the pixel position to be interpolated by Equation 1 and generating the color difference pixel to be interpolated, with the vertical axis (Y axis) as the brightness and the horizontal axis (C axis) as the color difference. It is a thing. 7A is a first example and FIG. 7B is a second example.
  • Equation 3 it is possible to calculate the color difference CC of the pixel position to be interpolated by defining different individual offset values ⁇ for each of the luminance YC, the luminance YL, and the luminance YR.
  • the average value of the value, the ratio of the brightness YC of the pixel position to be interpolated and the brightness YR of the second proximity pixel position, and the multiplication value of the color difference CR of the second proximity pixel position is calculated as the color difference CC of the pixel position to be interpolated. be.
  • the interpolation processing according to the first embodiment of the present technology is performed.
  • there are two proximity pixel positions and when there is one proximity pixel position, the color difference value of the proximity pixel position becomes the color difference CC of the interpolation target pixel position.
  • the average of the values of the three color differences is the color difference CC of the pixel positions to be interpolated.
  • Equations 1, 2, and 3 in the first embodiment are all equations when the number of proximity pixel positions is two, and when the number of proximity pixel positions is three or more, the terms of each equation are set accordingly. By increasing the number, it can be applied regardless of the number of nearby pixel positions.
  • Second Embodiment> [2-1. Configuration of information processing device 200] Next, the second embodiment will be described. Since the configurations of the image pickup apparatus 10 and the developing apparatus 20 are the same as those of the first embodiment, the description thereof will be omitted.
  • the information processing apparatus 200 is configured to include a proximity pixel position selection unit 101 and a switch unit 103 as in the first embodiment, and in the second embodiment, the color difference pixel to be interpolated.
  • the processing in the generation unit 201 is different from the interpolation target color difference pixel generation unit 102 in the first embodiment.
  • the interpolation target color difference pixel generation unit 201 generates an interpolation target color difference pixel based on the correlation that when the brightness value and the magnitude of the color difference constituting the image data are close to each other, the color difference is also close. It is a thing. Interpolation of the thinned out pixels is performed by generating the interpolation target color difference pixels at the interpolation target pixel positions.
  • the thinned out YC4: 2: 2 image data is input as the processing target. Further, since the information processing apparatus 200 interpolates the color difference of all the thinned-out target pixel positions, the information processing apparatus 200 outputs YC4: 4: 4 image data.
  • the information processing device 200 is configured as described above.
  • the information processing device 200 may be configured as a program, may be configured as a dedicated device by hardware, and the like, as in the first embodiment.
  • the second embodiment also has the color difference CC and the luminance YC at the pixel position to be interpolated, the color difference CL and the luminance YL at the first proximity pixel position, and the color difference CR and the luminance at the second proximity pixel position.
  • the explanation will be given using YR.
  • the weighted average is obtained by using the luminance difference between the luminance YC at the pixel position to be interpolated and the luminance YL at the first proximity pixel position, and the luminance difference between the luminance YC and the luminance YR at the second proximity pixel position. Interpolation is performed by generating the color difference pixels to be interpolated. This uses a weighted average by utilizing the fact that the color difference value of the pixel position to be interpolated takes a value close to the color difference of the nearby pixel position having a brightness value closer to the brightness value of the pixel position to be interpolated. Is. This luminance difference corresponds to "the relationship between the value of the luminance pixel at the pixel position to be interpolated and the value of the luminance pixel at the proximity pixel position".
  • the first method of processing in the interpolation target color difference pixel generation unit 201 will be described.
  • the luminance difference between the luminance YC at the pixel position to be interpolated and the luminance YL at the first proximity pixel position and the luminance difference between the luminance YC at the pixel position to be interpolated and the luminance YR at the second proximity pixel position are obtained. Compare with one threshold th. Then, interpolation processing is performed depending on whether or not the luminance difference is equal to or greater than the threshold value th.
  • 9A to 9G are diagrams showing the relationship between the luminance YC at the pixel position to be interpolated, the luminance YL at the first proximity pixel position, and the luminance YR at the second proximity pixel position, with the luminance magnitude in the vertical direction.
  • the luminance difference between the luminance YC at the pixel position to be interpolated and the luminance YL at the first proximity pixel position is equal to or less than the threshold value th, and the luminance YC at the pixel position to be interpolated and the luminance YR of the second proximity pixel.
  • the luminance difference of is equal to or greater than the threshold value th.
  • FIG. 10A is a model representation of the interpolation process in the case of FIG. 9A, where the vertical axis (Y axis) is the luminance and the horizontal axis (C axis) is the color difference.
  • the color difference CC at the interpolation target pixel position becomes the same value as the color difference CL at the first proximity pixel position as shown in FIG. 10A, and is located on the axis of the color difference CL. is doing.
  • the luminance difference between the luminance YC at the pixel position to be interpolated and the luminance YL at the first proximity pixel position is equal to or greater than the threshold value th, and the luminance YC at the pixel position to be interpolated and the luminance YR of the second proximity pixel.
  • the luminance difference of is equal to or less than the threshold value th.
  • the luminance YL at the first proximity pixel position used for interpolation and the luminance YC at the interpolation target pixel position are shown as the same luminance value, but the luminance YL and the luminance YC do not necessarily have to be the same, and the luminance is not necessarily the same. It suffices if the difference is equal to or less than the threshold value th. The same applies to the luminance YR at the second proximity pixel position and the luminance YC at the interpolation target pixel position in FIG. 9B.
  • the luminance difference between the luminance YC at the pixel position to be interpolated and the luminance YL at the first proximity pixel position, and the luminance difference between the luminance YC at the pixel position to be interpolated and the luminance YR at the second proximity pixel position Consider the case where both are equal to or greater than the threshold th. In this case, neither the color difference CL at the first proximity pixel position nor the color difference CR at the second proximity pixel position is used, and the color difference CC at the pixel position to be interpolated is set to 0 (achromatic color).
  • the difference between the luminance YC and the luminance YL, and the case where both the luminance YC and the luminance YR are equal to or greater than the threshold value th are the cases where the luminance YL and the luminance YR are larger than the luminance YC as shown in FIGS. 9D and 9E. If it is small, either one is fine.
  • Figure 10B shows the generation of the color difference pixel to be interpolated in this case, with the vertical axis (Y-axis) as the luminance and the horizontal axis (C-axis) as the color difference.
  • the color difference CC at the pixel position to be interpolated is 0.
  • the luminance difference between the luminance YC at the pixel position to be interpolated and the luminance YL at the first proximity pixel position, and the luminance difference between the luminance YC at the pixel position to be interpolated and the luminance YR at the second proximity pixel position Consider the case where both are below the threshold th.
  • the weighted average of the color difference CL and the color difference CR is set as the color difference CC at the pixel position to be interpolated by using the following equation 4.
  • the luminance difference between the luminance YC at the pixel position to be interpolated and the luminance YL at the first proximity pixel position and the luminance YC at the pixel position to be interpolated and the luminance YR at the second proximity pixel position are both equal to or less than the threshold value is shown in the figure.
  • the luminance YL and the luminance YR may be larger or smaller than the luminance YC.
  • Fig. 10C shows the generation of the color difference pixel to be interpolated in this case, with the vertical axis (Y axis) as the luminance and the horizontal axis (C axis) as the color difference.
  • Y axis the vertical axis
  • C axis the horizontal axis
  • the brightness YL and the color difference CL at the first proximity pixel position, the brightness YR and the color difference CR at the second proximity pixel position, and the brightness YC at the pixel position to be interpolated are the values shown in FIG. It is a weighted average of the color difference CL at the 1st proximity pixel position and the color difference CR at the 2nd proximity pixel position, and the color difference CC is located at the average value of the color difference CL and the color difference CR.
  • the values of the luminance YL and the color difference CL at the first proximity pixel position, the luminance YR and the color difference YR at the second proximity pixel position, and the luminance YC at the interpolation target pixel position in FIG. 10 are merely examples, and the present technology is used as the values. Not limited.
  • a second method of processing in the interpolation target color difference pixel generation unit 102 will be described.
  • a plurality of threshold values for the luminance difference are used.
  • an example of using two threshold values, the first threshold value th1 and the second threshold value th2, will be described.
  • Equations 5 and 6 it is assumed that 0 ⁇ 1 and 0 ⁇ 1 are clipped.
  • the color difference CC of the pixel position to be interpolated is calculated by the formula shown by (1) in the table of FIG. do.
  • the interpolation target pixel position is determined by the equation shown in (2) of the table of FIG. Calculate the color difference CC.
  • the color difference CR at the second proximity pixel position is set as shown by (3) in the table of FIG. Let it be the color difference CC of the pixel position to be interpolated.
  • the interpolation target pixel position is determined by the equation shown in (4) of the table of FIG. Calculate the color difference CC.
  • the interpolation target pixel position is determined by the equation shown in (6) of the table of FIG. Calculate the color difference CC.
  • the color difference CL at the first proximity pixel position is set as shown in (7) of the table of FIG. Let it be the color difference CC of the pixel position to be interpolated.
  • the interpolation target pixel position is determined by the equation shown in (8) of the table of FIG. Calculate the color difference CC.
  • the color difference CC of the pixel position to be interpolated is set to 0 as shown by (8) in the table of FIG. (Achromatic color).
  • the third embodiment includes the generation method determination unit 301, and the interpolation target color difference pixel generation unit 302 can perform the processing in the first and second embodiments. Different from the form.
  • the proximity pixel position selection unit 101 and the switch unit 103 are the same as those in the first embodiment.
  • the generation method determination unit 301 determines the method for generating the interpolation target color difference pixel in either the first embodiment or the second embodiment by the interpolation target color difference pixel generation unit 302 based on the luminance information of the image data to be processed. It decides whether to do it. Information indicating the determined generation method is supplied from the generation method determination unit 301 to the interpolation target color difference pixel generation unit 302. Since the generation method determination unit 301 determines the generation method using the luminance of the first proximity pixel position and the second proximity pixel position, the proximity pixel position information is supplied from the proximity pixel position selection unit 101.
  • the information processing device 300 is configured as described above.
  • the information processing device 300 may be configured as a program, may be configured as a dedicated device by hardware, and the like, as in the first embodiment.
  • the third embodiment also has the color difference CC and the luminance YC at the pixel position to be interpolated, the color difference CL and the luminance YL at the first proximity pixel position, and the color difference CR and the luminance at the second proximity pixel position.
  • the explanation will be given using YR.
  • the generation method determination unit 301 sets the luminance difference between the luminance YC of the pixel position to be interpolated included in the image data to be processed, the luminance YL of the first proximity pixel position, and the luminance YR of the second proximity pixel position as the threshold th.
  • the method of generating the luminance target color difference pixel is determined by comparing with.
  • the method for generating the luminance difference pixel to be interpolated is determined to be the method in the second embodiment.
  • the method in the second embodiment is a method of generating an interpolation target color difference pixel based on a difference (luminance difference) between the value of the luminance pixel at the interpolation target pixel position and the value of the luminance pixel at the proximity pixel position.
  • the color difference CL at the first proximity pixel position whose luminance difference is equal to or less than the threshold value th is used as the color difference CC at the pixel position to be interpolated.
  • the color difference CR at the second proximity pixel position whose luminance difference is equal to or less than the threshold value th is set as the color difference CC at the pixel position to be interpolated.
  • the color difference CL and the color difference CR are not used, and the color difference CC at the pixel position to be interpolated is set to 0 (achromatic color). This means that when the luminance difference is large, the color difference at the nearby pixel positions is not used for interpolation. This is because when the luminance difference is large, there is an edge between the pixel position to be interpolated and the position of the first proximity pixel and / or the position of the second proximity pixel, and it is considered that different subjects are formed.
  • FIGS. 13F and 13G are cases where the luminance difference between the luminance YC and the luminance YL and the luminance difference between the luminance YC and the luminance YR are both equal to or less than the threshold value th.
  • the magnitude relation of the luminance YL, the luminance YC, and the luminance YR has a monotonous increase (decrease) relationship.
  • the method for generating the interpolation target color difference pixel is determined to be the same method as in FIG. 9F in the second embodiment, and the above-mentioned equation 4 is used.
  • the weighted average of the color difference CL and the color difference CR is defined as the color difference CC at the pixel position to be interpolated.
  • This monotonous increase (decrease) is the value of the luminance pixel that is the maximum value and the minimum value among the value of the luminance pixel at the pixel position to be interpolated and the value of the luminance pixel at the proximity pixel position in the range of the patent claim. It corresponds to "when it is the value of the luminance pixel at any of the proximity pixel positions".
  • the method for generating the interpolation target color difference pixel is determined as the method in the first embodiment.
  • the luminance YL, the luminance YC, and the luminance YR are monochromatically increased (decreased) in FIG. 13D, but since the luminance difference is large, the color difference CC at the pixel position to be interpolated is obtained without using the luminance CL and the luminance CR. Set to 0 (achromatic color).
  • the second method of generating the interpolation target color difference pixel is performed regardless of whether the luminance is monotonically increased (decreased). It may be the method in the form of.
  • thinned out color difference pixels can be interpolated without degrading the image quality of the image due to coloring or the like. As a result, it is possible to obtain image data in which the luminance and color difference are uniform in all the pixels even after the thinning process is performed.
  • FIG. 14 is a block diagram showing the configuration of the information processing apparatus 400 according to the modified example.
  • the information processing apparatus 400 includes a memory 401, a proximity pixel position selection unit 402, and an interpolation target color difference pixel generation unit 403.
  • the proximity pixel position selection unit 402 and the interpolation target color difference pixel generation unit 403 are the same as the proximity pixel position selection unit 101 and the interpolation target color difference pixel generation unit 102 in the first embodiment.
  • the memory 401 stores image data (for example, YC4: 2: 2) that has undergone thinning processing, which is a processing target, and a luminance signal and a luminance signal are stored from the memory 401 in the proximity pixel position selection unit 402 and the interpolation target color difference pixel generation unit 403. A color difference signal is supplied.
  • image data for example, YC4: 2: 2
  • thinning processing which is a processing target
  • a luminance signal and a luminance signal are stored from the memory 401 in the proximity pixel position selection unit 402 and the interpolation target color difference pixel generation unit 403.
  • a color difference signal is supplied.
  • FIG. 15 is a diagram showing a modified example of proximity pixel position selection by the proximity pixel position selection unit 101. From among a plurality of pixel positions (for example, eight pixel positions within a 3 ⁇ 3 frame) existing around the interpolation target pixel position as shown in FIG. 15A, from the correlation of brightness and color as shown in FIG. 15B. Two proximity pixel positions may be selected. Then, as shown in FIG. 15C, the interpolation target color difference pixel at the interpolation target pixel position is generated by using the proximity pixel position, and the interpolation process is performed.
  • a plurality of pixel positions for example, eight pixel positions within a 3 ⁇ 3 frame
  • FIG. 16 is a diagram showing a configuration of pixel arrangements constituting image data.
  • An example of the configuration of YC4: 4: 4 in the image data is shown in FIG. 16A.
  • YC4: 2: 2 When the color difference pixels are thinned out from this YC4: 4: 4 in the horizontal direction, it becomes YC4: 2: 2, and there is an example in which the pixel arrangement is as shown in FIG. 16B.
  • YC4: 2: 0 is obtained, and there is an example in which the pixel arrangement is as shown in FIG. 16C1.
  • Such pixel arrangement is often adopted in digital image data / video data.
  • This technology can also take the following configurations.
  • (1) In image data in which the number of brightness pixels is larger than the number of first color difference pixels and the number of second color difference pixels generated based on the three primary color pixels which can contain a value larger than a predetermined white clip value.
  • the brightness pixel at the interpolation target pixel position which is the pixel position where the first color difference pixel does not exist, and the brightness pixel at at least one of the plurality of pixel positions close to the interpolation target pixel position.
  • An information processing apparatus including an interpolation target color difference pixel generation unit that generates an interpolation target color difference pixel corresponding to the first color difference pixel at the interpolation target pixel position based on the relationship.
  • the information processing apparatus uses the first color difference pixel at the proximity pixel position to generate the interpolation target color difference pixel.
  • the interpolation target color difference pixel generation unit performs the interpolation from the value of the brightness pixel at the interpolation target pixel position, the value of the brightness pixel at the proximity pixel position, and the value of the first color difference pixel at the proximity pixel position.
  • the information processing apparatus which calculates the value of the target color difference pixel.
  • the interpolation target color difference pixel generation unit generates the interpolation target color difference pixel based on the relationship between the value of the brightness pixel at the interpolation target pixel position and the value of the brightness pixel at the proximity pixel position (2). Or the information processing apparatus according to (3).
  • the interpolation target color difference pixel generation unit has the value of the brightness pixel and the first color difference pixel based on the relationship between the value of the brightness pixel at the interpolation target pixel position and the value of the brightness pixel at the proximity pixel position.
  • the interpolation target color difference pixel generation unit uses a linear relationship as the positive correlation based on the relationship between the value of the brightness pixel at the interpolation target pixel position and the value of the brightness pixel at the proximity pixel position.
  • the information processing apparatus according to (5) which generates a target color difference pixel.
  • the interpolation target color difference pixel generation unit is a product of the ratio of the value of the brightness pixel at the interpolation target pixel position to the value of the brightness pixel at the proximity pixel position and the value of the color difference pixel at a plurality of the proximity pixel positions.
  • the information processing apparatus according to (6) which calculates the average value of the above and generates the interpolated target color difference pixel.
  • the value of the color difference pixel to be interpolated is obtained by using the value of the luminance pixel at the interpolation target pixel position, the value of the luminance pixel at the proximity pixel position, and the value obtained by adding an offset value to each of them (5).
  • the information processing device described in. 9
  • the interpolation target color difference pixel generation unit has a relationship between the value of the brightness pixel at the interpolation target pixel position and the value of the brightness pixel at the proximity pixel position, the value of the brightness pixel at the interpolation target pixel position and the proximity.
  • the information processing apparatus which generates the interpolated target color difference pixel based on the brightness difference which is the value of the difference between the value of the brightness pixel at the pixel position.
  • the information processing apparatus according to (10), wherein the interpolation target color difference pixel generation unit calculates a value of the interpolation target color difference pixel by a weighted average using the brightness difference.
  • a generation method determining unit for determining a method for generating the color difference pixel to be interpolated is provided based on the relationship between the value of the luminance pixel at the interpolation target pixel position and the value of the luminance pixel at the proximity pixel position (1).
  • the information processing apparatus according to any one of (11).
  • the information processing apparatus wherein the generation method determining unit determines the generation method based on the magnitude of the luminance difference.
  • the generation method determining unit determines the method as a method of generating the interpolated color difference pixel based on the luminance difference (12). Or the information processing apparatus according to (13).
  • the generation method determining unit determines a method for generating the interpolation target color difference pixel based on the magnitude relationship between the value of the luminance pixel at the interpolation target pixel position and the value of the luminance pixel at the proximity pixel position.
  • the information processing apparatus according to any one of (12) to (14).
  • the information processing apparatus comprising a proximity pixel position selection unit for selecting one or two or more of the proximity pixel positions among a plurality of pixel positions close to the interpolation target pixel position.
  • a proximity pixel position selection unit for selecting one or two or more of the proximity pixel positions among a plurality of pixel positions close to the interpolation target pixel position.
  • the image data in which the first color difference pixel at the interpolation target pixel position is generated by the interpolation target color difference pixel generation unit is provided with a white balance processing unit that performs white balance based on a user setting.
  • the information processing apparatus according to any one of 16).
  • the information processing apparatus according to any one of (1) to (17), comprising an image pickup unit that captures an image captured image corresponding to the three primary color pixels.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)

Abstract

所定のホワイトクリップ値よりも大きい値を含みうる３原色画素に基づいて生成された、輝度画素の数が第１の色差画素の数および第２の色差画素の数より多い画像データにおける、第１の色差画素が存在しない画素位置である補間対象画素位置の輝度画素と、補間対象画素位置に近接する複数の画素位置のうちの少なくとも１つの近接画素位置の輝度画素との関係に基づいて、補間対象画素位置に第１の色差画素に相当する補間対象色差画素を生成する補間対象色差画素生成部を備える情報処理装置である。

Description

情報処理装置、情報処理方法、情報処理プログラム
　本技術は、情報処理装置、情報処理方法、情報処理プログラムに関する。
　従来から画像の記録にはイメージャの出力を現像処理して出来上がった画像を保存する方式(ＪＰＧなど）と、後から階調や色合いなどを調整して現像を行えるよう、イメージャ出力が持っている情報をそのまま記録する方式(ＲＡＷ記録）がある。
　ＲＡＷ記録では、イメージャ出力（たとえば、ベイヤー配列のＲＧＢの信号）をそのまま記録する方式の他に、現像処理期間の短縮のためにカメラ内である程度の信号処理を行って、輝度信号と色差信号に分離し、ＹＣｂＣｒを記録する方式がある。ＹＣｂＣｒではデータ量の削減のためにＹＣｂＣｒのうち、色差信号であるＣｂＣｒを間引くことがある（特許文献１）。
特開２０１６－５２４５号公報
　色差信号ＣｂＣｒを間引いた場合、現像処理の前に間引いた色差信号を補間する処理が行われるが、従来、輝度信号は用いずに色差信号のみを用いて補間を行っていた。これにより意図しない色付きなどにより現像した画像の画質が低下するという問題があった。
　本技術はこのような点に鑑みなされたものであり、画像の画質を低下させることなく、間引かれた画素を補間することができる情報処理装置、情報処理方法および情報処理プログラムを提供することを目的とする。
　上述した課題を解決するために、第１の技術は、所定のホワイトクリップ値よりも大きい値を含みうる３原色画素に基づいて生成された、輝度画素の数が第１の色差画素の数および第２の色差画素の数より多い画像データにおける、第１の色差画素が存在しない画素位置である補間対象画素位置の輝度画素と、補間対象画素位置に近接する複数の画素位置のうちの少なくとも１つの近接画素位置の輝度画素との関係に基づいて、補間対象画素位置に第１の色差画素に相当する補間対象色差画素を生成する補間対象色差画素生成部を備える情報処理装置である。
　また、第２の技術は、所定のホワイトクリップ値よりも大きい値を含みうる３原色画素に基づいて生成された、輝度画素の数が第１の色差画素の数および第２の色差画素の数より多い画像データにおける、第１の色差画素が存在しない画素位置である補間対象画素位置の輝度画素と、補間対象画素位置に近接する複数の画素位置のうちの少なくとも１つの近接画素位置の輝度画素との関係に基づいて、補間対象画素位置に第１の色差画素に相当する補間対象色差画素を生成する情報処理方法である。
　さらに、第３の技術は、所定のホワイトクリップ値よりも大きい値を含みうる３原色画素に基づいて生成された、輝度画素の数が第１の色差画素の数および第２の色差画素の数より多い画像データにおける、第１の色差画素が存在しない画素位置である補間対象画素位置の輝度画素と、補間対象画素位置に近接する複数の画素位置のうちの少なくとも１つの近接画素位置の輝度画素との関係に基づいて、補間対象画素位置に第１の色差画素に相当する補間対象色差画素を生成する情報処理方法をコンピュータに実行させるプログラムである。
撮像装置１０と現像装置２０の構成を示すブロック図である。 画質低下の仕組みの説明図である。 第１の実施の形態における情報処理装置１００の構成を示すブロック図である。 補間対象画素位置と近接画素位置の説明図である。 オフセット値△の必要性の説明図である。 オフセット値△の値の説明図である。 第１の実施の形態における補間処理を模試的に表した図である。 第２の実施の形態における情報処理装置２００の構成を示すブロック図である。 第２の実施の形態における補間処理の第１の手法の説明図である。 第２の実施の形態における補間処理の第１の手法を模試的に表した図である。 第２の実施の形態における補間処理を第２の手法を示す表である。 第３の実施の形態における情報処理装置３００の構成を示すブロック図である。 第３の実施の形態における補間処理の説明図である。 変形例に係る情報処理装置４００の構成を示すブロック図である。 変形例における近接画素位置選択の説明図である。 変形例に係る画素位置の配置の説明図である。
　以下、本技術の実施の形態について図面を参照しながら説明する。なお、説明は以下の順序で行う。
＜１．第１の実施の形態＞
［１－１．撮像装置１０と現像装置２０の構成］
［１－２．画質低下の仕組み］
［１－３．情報処理装置１００の構成］
［１－４．情報処理装置１００による処理］
＜２．第２の実施の形態＞
［２－１．情報処理装置２００の構成］
［２－２．情報処理装置２００による処理］
＜３．第３の実施の形態＞
［３－１．情報処理装置３００の構成］
［３－２．情報処理装置３００による処理］
＜４．変形例＞
＜１．第１の実施の形態＞
［１－１．撮像装置１０と現像装置２０の構成］
　図１を参照して、撮影により画像データを生成する撮像装置１０と、撮影された画像データを現像する現像装置２０の構成について説明する。撮像装置１０は、制御部１１、撮像部１２、ホワイトバランス処理部１３、色分離処理部１４、リサイズ処理部１５、信号変換部、間引き処理部１７、インターフェース１８を備えて構成されている。
　制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random access Memory）およびＲＯＭ（Read Only Memory）などから構成されている。ＣＰＵがＲＯＭに記憶されたプログラムに従い様々な処理を実行してコマンドの発行を行うことによって撮像装置１０の全体および各部の制御を行う。
　撮像部１２は、３原色画素に対応する画像を撮像することができるものである。撮像部１２は、レンズ、レンズを通して得られた被写体からの入射光を光電変換して電荷量に変換して撮像信号を出力する撮像素子、レンズを駆動させるレンズ駆動ドライバ、撮像信号に対してＡ／Ｄ（Analog/Digital）変換などを行なって画像データを生成する処理部などを含むものである。撮像素子としては、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などがある。
　ホワイトバランス処理部１３は、ユーザにより設定された任意のホワイトバランス設定に基づいて画像データに対してホワイトバランス処理を施す。
　色分離処理部１４はホワイトバランス処理が施された画像データに対して例えば色分離処理としてのデモザイク処理などを施す。
　リサイズ処理部１５は画像データに対して画素数を変更するなどによりサイズを調整するリサイズ処理を施す。
　データ変換処理部１６はＲＧＢの画像データを輝度信号と色差信号とからなるＹＣの画像データに変換する。
　間引き処理部１７は、画像データから色差画素を間引くものである。間引かれる前の画像データはＹＣ４：４：４（輝度信号Ｙ：色差信号Ｃｂ：色差信号Ｃｒ＝４：４：４）であり、間引き処理により輝度画素が間引かれて画像データは例えば、ＹＣ４：２：２（輝度Ｙ：色差Ｃｂ：色差Ｃｒ＝４：２：２）となる。間引き処理により画像データのファイルサイズを小さくして転送時間の短縮などを図ることができる。
　インターフェース１８は、現像装置２０、その他の装置やネットワークなどとの間のインターフェースである。インターフェース１８は、有線または無線の通信インターフェースを含みうる。また、より具体的には、有線または無線の通信インターフェースは、３ＴＴＥなどのセルラー通信、４Ｇ、５Ｇ、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near　Field　Communication）、イーサネット（登録商標）、ＨＤＭＩ（登録商標）（High-Definition　Multimedia　Interface）、ＵＳＢ（Universal　Serial　Bus）などを含みうる。また、撮像装置１０と現像装置２０の全部または一部が同一の装置で実現される場合、インターフェース１８は、装置内のバスや、プログラムモジュール内でのデータ参照などを含みうる（以下、これらを装置内のインターフェースともいう）。また、撮像装置１０と現像装置２０が複数の装置に分散して実現される場合、インターフェース１８は、それぞれの装置のための異なる種類のインターフェースを含みうる。例えば、インターフェース１８は、通信インターフェースと装置内のインターフェースとの両方を含んでもよい。
　間引き処理が施された画像データは現像するためにインターフェース１８を介して撮像装置１０から現像装置２０に転送される。この画像データが情報処理装置１００における処理の対象となる画像データである。処理対象の画像データは、所定のホワイトクリップ値よりも大きい値を含みうる３原色画素に基づいて生成された、間引き処理により輝度画素（Ｙ）の数が第１の色差画素（ＣｂまたはＣｒの一方）の数および第２の色差画素（ＣｂまたはＣｒの他方）の数より多い画像データである。
　なお図示は省略するが、画像データなどを保存する記憶部、撮影者が操作するシャッターボタンなどを含む入力部、スルー画、撮影済み画像およびＵＩなどを表示する表示部などを備えている。
　撮像装置１０は以上のようにして構成されている。撮像装置１０としてはデジタルカメラ、一眼レフカメラ、カムコーダー、業務用カメラ、プロ仕様撮影機器などのカメラ機能に特化した装置の他、カメラ機能を備えるスマートフォン、タブレット端末、ウェアラブルデバイス、携帯ゲーム機などがある。
　現像装置２０は、制御部２１、インターフェース２２、情報処理装置１００、データ変換処理部２３、ホワイトバランス処理部２４、ホワイトクリップ処理部２５、現像処理部２６を備えて構成されている。
　制御部２１は、ＣＰＵがプログラムに従い様々な処理を実行してコマンドの発行を行うことによって実現され、現像装置２０の全体および各部の制御を行う。
　インターフェース２２は撮像装置１０が備えるものと同様のものであり、撮像装置１０、その他の装置やネットワークなどとの間のインターフェースである。現像装置２０には撮像装置１０からインターフェース２２を介して情報処理装置１００の処理対象の画像データが転送される。
　情報処理装置１００は色差画素が間引かれた画素位置における補間対象色差画素を生成することにより補間処理を行なうものである。情報処理装置１００の構成は後述する。
　データ変換処理部２３は、輝度信号と色差信号とからなるＹＣの画像データをＲＧＢの画像データに変換する。
　ホワイトバランス処理部２４はＲＧＢの画像データにホワイトバランス処理を施す。
　ホワイトクリップ処理部２５はホワイトバランス処理が施された画像データにホワイトクリップ処理を施す。このホワイトクリップ処理部における処理の基準となるホワイトクリップ値が所定のホワイトクリップ値に相当し、本技術で処理対象となる画像データはその所定のホワイトクリップ値よりも大きい値を含みうる３原色画素からなる画像データであるものとする。
　現像処理部２６は例えばエッジ強調、解像度変換、画像圧縮等の処理を行い、最終的に撮像画像として保存、出力される画像データを生成する。
　以上のようにして現像装置２０が構成されている。現像装置２０は単体の装置として構成されてもよいし、パーソナルコンピュータ、タブレット端末、スマートフォンなどの端末装置において動作するものでもよい。現像装置２０の処理を行うプログラムは予め端末装置内にインストールされていてもよいし、ダウンロード、記憶媒体などで配布されて、撮影者が自らインストールするようにしてもよい。また、現像装置２０はその機能を有するハードウェアによる専用の装置として構成されてもよい。
［１－２．画質低下の原因］
　ここで、図２を参照して画像データから色差画素を間引いた後に色差画素のみを用いる手法による補間処理を行った場合に生じる画質低下の仕組みについて説明する。ここでは白（白飛び）、黒１、黒２という３つの画素が処理の対象である場合を例にして説明を行う。黒１および黒２はＲＧＢいずれの値も低い。一方、白（白飛び）はＲＧＢいずれの値も高く、ＧとＲは撮像素子のダイナミックレンジを超えて飽和しているとする。これはＲＧＢのカラーフィルターの特性が違いによるものである。
　図２Ａに示すようにこの白、黒１、黒２の画素に対してホワイトバランス処理を行うと、ＲとＢの信号レベルはＧよりも大きな信号レベルとなる。現像時にホワイトバランス処理を再度行って撮影者がＲＧＢの調整できるようにするためにＲＡＷとして色の情報をなるべく残すため、補間処理前にホワイトクリップ処理は行わず、ＲとＢの信号レベルをＧよりも大きな信号レベルになることを許容する。そうすると図２Ｂに示すように白の画素はＲとＢが持ち上がり強調されてマゼンダ（明るく鮮やかな赤紫色）になる。また、間引き処理により白、黒１、黒２のうち、中央の黒１の色差を間引いたとする。よって黒１の画素が補間対象画素位置となり、白の画素と黒の画素が補間に使用する近接画素位置となる。なお、間引かれた黒１の画素では輝度信号は間引かれずに残っている。
　この状態で近接画素位置である白の画素と黒２の画素の色差信号だけを用いて、間引かれた黒１の画素の補間を行うと、図２Ｃに示すようにマゼンダとなった白により補間対象画素位置に黒ではない色がついてしまう。なお、マゼンダになった白は補間処理後のホワイトクリップ処理で持ち上げられたＲとＢが抑えられて白に戻る。
　このように補間処理によって画素の本来の色ではない色がついてしまうことにより、出力画像において不自然な色がついてしまい画質が低下してしまうこととなる。なお、ここでは白と黒の画素を例に挙げたが本技術は白と黒に限定されるものではない。
［１－３．情報処理装置１００の構成］
　次に図３を参照して第１の実施の形態における情報処理装置１００の構成について説明する。情報処理装置１００は、近接画素位置選択部１０１、補間対象色差画素生成部１０２、スイッチ部１０３を備えて構成されている。
　情報処理装置１００には処理対象の画像データとして、所定のホワイトクリップ値よりも大きい値を含みうる３原色画素に基づいて生成された、輝度画素（Ｙ）の数が第１の色差画素（ＣｂまたはＣｒの一方）の数および第２の色差画素（ＣｂまたはＣｒの他方）の数より多い画像データが入力される。この画像データは、撮像装置１０における間引き処理により色差信号が間引かれたＹＣ４：２：２の画像データであるとする。なお、画像データを構成する画素のうちどの画素を処理しているかは制御部２１などが把握しているものとする。
　近接画素位置選択部１０１は処理対象である画像データを構成する輝度信号および／または色差信号に基づいて、複数の画素位置の中から補間対象色差画素を生成するために使用する近接画素の位置を選択するものである。近接画素位置選択部１０１に入力される信号は輝度信号でもよいし、色差信号でもよい。
　なお、近接画素とは、補間対象画素位置に接している必要はなく補間対象色差画素の周囲、所定の範囲内に位置する画素である。例えば、補間対象色差画素の２つ隣、３つ隣の画素であってもよい。なお、補間の精度の点からすれば補間対象色差画素に隣接している方がより好ましいと考えられる。補間対象画素位置とは、間引き処理により色差画素が間引かれた画素の位置、すなわち、第１の色差画素または第２の色差画素の少なくとも一方が存在しない画素の位置であり、補間対象色差画素生成部１０２による補間の対象となる画素位置である。
　補間対象画素位置に隣接する２以上の画素を近接画素位置として選択してもよいし、エッジ抽出を行ないその結果に基づいて近接画素位置を選択してもよいし、処理対象の画像データのフォーマット（ＹＣ４：２：２、ＹＣ４：２：０など）に基づいて近接画素位置を選択してもよい。さらに、輝度や色差の相関から近接画素位置を選択してもよい。
　補間対象色差画素生成部１０２は、画像データを構成する輝度と色差の値の大きさ（絶対値）に正の相関があることに基づき、近接画素位置における輝度と色差を用いて補間対象画素位置における色差を算出して補間対象色差画素を生成するものである。この補間対象画素位置における補間対象色差画素を生成することにより間引かれた画素の補間を行う。なお、正の相関は線形でもよいし、線形以外の、非線形、二次関数、三次関数、指数関数などで表される正の相関でもよい。
　スイッチ部１０３は、補間対象色差画素生成部１０２により生成された補間対象色差画素と、画像データにおける補間対象画素位置以外の全ての色差画素とを画像データを構成する全ての色差画素として適切な順番になるように出力するものである。
　間引きされた全ての色差画素が補間対象色差画素で補間されるため、情報処理装置１００から出力される画像データはＹＣ４：４：４のフォーマットとなる。
　情報処理装置１００は以上のようにして構成されている。情報処理装置１００はプログラムにより構成され、そのプログラムの実行により現像装置２０が情報処理装置１００として機能を備えるようにしてもよい。そのプログラムは予め現像装置２０が動作する端末装置にインストールされていてもよいし、ダウンロード、記憶媒体などで配布されて、ユーザが自ら端末装置にインストールするようにしてもよい。また、情報処理装置１００はその機能を有するハードウェアによる専用の装置として構成されてもよい。
　また、情報処理装置１００がホワイトバランス処理部１３、撮像部１２および撮像装置１０としての機能を備えるようにしてもよい。
［１－４．情報処理装置１００による処理］
　次に第１の実施の形態における情報処理装置１００の処理について説明する。
　まず、近接画素位置選択部１０１は画像データを構成する複数の画素位置の中から補間対象画素位置に補間対象色差画素を生成するために使用する近接画素位置を選択する。なお、近接画素位置は１個の限定されるものではなく１個でも３個以上でもよい。
　近接画素位置選択部１０１が近接画素位置を選択すると、近接画素位置情報が補間対象色差画素生成部１０２に供給される。
　ここでは、図４に示すように補間対象画素位置の色差画素の値を色差ＣＣとし、補間対象画素位置の輝度画素の値を輝度ＹＣとする。また、補間処理に使用する第１近接画素位置の色差画素の値を色差ＣＬとし、第１近接画素位置の輝度画素の値を輝度ＹＬとする。さらに、補間処理に使用する第２近接画素位置の色差画素の値を色差ＣＲとし、第２近接画素位置の輝度画素の値を輝度ＹＲとする。
　第１の実施の形態では、補間対象色差画素生成部１０２は、補間対象画素位置の色差ＣＣを第１近接画素位置の色差ＣＬおよび輝度ＹＬ、第２近接画素位置の色差ＣＲおよび輝度ＹＲを用いて下記の式１で算出して補間対象色差画素を生成する。これが、「補間対象画素位置の輝度画素の値と、近接画素位置の輝度画素の値との関係に基づいて補間対象色差画素を生成する」ことに相当する。
［式１］
Figure JPOXMLDOC01-appb-I000001
　この式１は輝度と色差が正の相関のうち、線形関係を有するとして規定された式であり、第１近接画素位置の色差ＣＬと輝度ＹＬの比、第２近接画素位置の色差ＣＲと輝度ＹＬの比を用いて補間対象画素位置の色差画素ＣＣを算出して補間対象色差画素を生成するものである。
　式１においてオフセット値△は輝度ＹＬ、輝度ＹＲのいずれかが小さいことによりノイズが増幅されてしまうことを防止するために輝度に対するオフセットとして用いるものである。
　例えば、補間対象画素位置の輝度ＹＣ、第１近接画素位置の輝度ＹＬと色差ＣＬ、第２近接画素位置の輝度ＹＲと色差ＣＲが図５Ａに示す値である場合を考える。この場合、第１近接画素位置、第２近接画素位置ともに輝度が小さいため暗く、さらに色差Ｃ＝０の縦軸側に寄っているため、色は黒に近い状態となっている。一方、補間対象画素位置は輝度ＹＣが大きいため第１近接画素位置および第２近接画素位置よりも明るい。
　この状態で第１近接画素位置の色差ＣＬ、第２近接画素位置の色差ＣＲのどちらか一方にでもノイズが有り、第１近接画素位置、第２近接画素位置を用いて補間対象画素位置の補間を行なうと輝度ＹＣの分ノイズが有る色差が増幅されてノイズが目立ってしまうことになる。そこで、オフセット値△を用いることにより輝度ＹＬおよび／または輝度ＹＲが大きい場合または小さい場合に色差ＣＬおよび／または色差ＣＲが大きくなりすぎて、その結果、補間対象画素位置の色差ＣＣにおいてノイズが増幅されてしまうことを防止する。図５Ａは色差のノイズを示しているが、図５Ｂに示すように輝度にノイズがある場合、輝度が小さい場合と輝度が大きい場合でその輝度のノイズ量が同じであっても、輝度が小さい場合には算出されるノイズ量が大きくなってしまう。よって、オフセット値△は輝度のノイズが増幅されてしまうことを防止するのにも有効である。
　オフセット値△は図６Ａに示すように輝度Ｙに対する定数として定義してもよい。
　また、下記の式２で輝度ＹＣの関数としてオフセット値△を定義することができる。
［式２］
Figure JPOXMLDOC01-appb-I000002
　この式２は輝度ＹＣ、輝度ＹＬ、輝度ＹＲの最小値に基づいてオフセット値△を決定するというものであり、輝度Ｙとオフセット値△の関係は例えば図６Ｂに示すように表すことができる。なお、図６Ｂに示す輝度Ｙとオフセット値△の関係はあくまで一例であり、輝度Ｙとオフセット値△の関係は線形でも非線形でもよい。
　輝度Ｙが小さいときにオフセット値△が必要であり、言い換えれば、オフセット値△は輝度Ｙが小さいときに効果を発揮するものであるため、オフセット値△はＹの関数として定義してもよい。Ｙが小さいときにはオフセット値△は値を持ち、Ｙが大きくなるに従いオフセット値△は小さくなっていき、Ｙがある程度大きくなったらオフセット値△は０にしてもよい。
　また、オフセット値△の値は撮像装置１０の機能や設定に合わせて決定してもよい。
　なお、オフセット値△は補間処理において必須のものではないが、よりよい補間結果を得るためには使用することが好ましい。
　図７は縦軸（Ｙ軸）を輝度、横軸（Ｃ軸）を色差として、式１で補間対象画素位置の色差ＣＣを算出して補間対象色差画素を生成する処理を模試的に表したものである。図７Ａは第１の例、図７Ｂは第２の例である。
　Ｙ軸上における原点をオフセット値△分ずらした点から第１近接画素位置の色差ＣＬと輝度ＹＬに対応する点を結んだ直線ＬＬとＹ＝ＹＣの直線（二点鎖線）との交点における色差Ｃの値と、Ｙ軸上における原点をオフセット値△分ずらした点から第２近接画素位置の色差ＣＲと輝度ＹＲに対応する点を結んだ直線ＲＲとＹ＝ＹＣの直線（二点鎖線）との交点における色差Ｃの値の平均を補間対象画素位置の色差ＣＣとする。
　なお、例えば下記の式３で示すように輝度ＹＣ、輝度ＹＬ、輝度ＹＲのそれぞれに異なる個別のオフセット値△を定義して補間対象画素位置の色差ＣＣを算出することができる。
［式３］
Figure JPOXMLDOC01-appb-I000003
　これは輝度Ｙと色差Ｃの正の相関を比例関係であるとしたときに、補間対象画素位置の輝度ＹＣと第１近接画素位置の輝度ＹＬの比と第１近接画素位置の色差ＣＬの乗算値と、補間対象画素位置の輝度ＹＣと第２近接画素位置の輝度ＹＲの比と第２近接画素位置の色差ＣＲの乗算値との平均値を補間対象画素位置の色差ＣＣとして算出するものである。
　なお、ＹＣ４：２：２は横方向にのみ色差画素が間引かれるものであるため、処理対象の画像データがＹＣ４：２：２の場合、補間対象画素位置の左右に位置する近接画素位置の輝度を用いる。一方、ＹＣ４：２：０は横方向および縦方向にも色差画素が間引かれるものであるため、処理対象の画像データがＹＣ４：２：０である場合、左右に位置する近接画素位置の輝度および上下に位置する近接画素位置の輝度を用いる。
　以上のようにして本技術の第１の実施の形態における補間処理が行われる。なお、上述の説明は近接画素位置が２つの場合であり、近接画素位置が１つの場合にはその近接画素位置の色差の値が補間対象画素位置の色差ＣＣとなる。また、近接画素位置が３つの場合は３つの色差の値の平均が補間対象画素位置の色差ＣＣとなる。実施例１における式１、式２、式３はいずれも近接画素位置の数が２つの場合の式であり、近接画素位置の数が３つ以上である場合、それに応じて各式の項を増やすことにより近接画素位置の数がいくつであっても適用可能である。
＜２．第２の実施の形態＞
［２－１．情報処理装置２００の構成］
　次に第２の実施の形態について説明する。なお、撮像装置１０、現像装置２０の構成は第１の実施の形態と同様であるため説明を省略する。
　図８に示すように情報処理装置２００は、第１の実施の形態と同様に近接画素位置選択部１０１、スイッチ部１０３を備えて構成されており、第２の実施の形態では補間対象色差画素生成部２０１における処理が第１の実施の形態における補間対象色差画素生成部１０２とは異なる。補間対象色差画素生成部２０１は、画像データを構成する輝度と色差の大きさには輝度の値が近い場合に色差も近い値をとる、という相関があることに基づき補間対象色差画素を生成するものである。この補間対象画素位置における補間対象色差画素を生成することにより間引かれた画素の補間を行う。
　第１の実施の形態における説明と同様に第２の実施の形態も、間引きされたＹＣ４：２：２の画像データが処理対象として入力されるものとする。また、情報処理装置２００により、間引きされた全ての補間対象画素位置の色差が補間されるため、情報処理装置２００からはＹＣ４：４：４の画像データが出力される。
　情報処理装置２００は以上のようにして構成されている。情報処理装置２００はプログラムで構成してもよい点、ハードウェアによる専用の装置として構成してもよい点などは第１の実施の形態と同様である。
［２－２．情報処理装置２００による処理］
　情報処理装置２００における処理について説明する。なお、近接画素位置選択部１０１およびスイッチ部１０３における処理は第１の実施の形態と同様である。
　第２の実施の形態も第１の実施の形態と同様に、補間対象画素位置の色差ＣＣおよび輝度ＹＣ、第１近接画素位置の色差ＣＬおよび輝度ＹＬ、第２近接画素位置の色差ＣＲおよび輝度ＹＲを用いて説明を行なう。
　第２の実施の形態では補間対象画素位置の輝度ＹＣと第１近接画素位置の輝度ＹＬとの輝度差、および、輝度ＹＣと第２近接画素位置の輝度ＹＲの輝度差を用いた加重平均で補間対象色差画素を生成して補間を行う。これは、補間対象画素位置の色差の値は、補間対象画素位置の輝度の値とより近い輝度の値を有する近接画素位置の色差と近い値をとる、ことを利用して加重平均を用いるものである。この輝度差は、「補間対象画素位置の輝度画素の値と前記近接画素位置の輝度画素の値との関係」に相当するものである。
　まず補間対象色差画素生成部２０１における処理の第１の手法について説明する。第１の手法では、補間対象画素位置の輝度ＹＣと第１近接画素位置の輝度ＹＬとの輝度差と、補間対象画素位置の輝度ＹＣと第２近接画素位置の輝度ＹＲとの輝度差とを一の閾値ｔｈと比較する。そして輝度差が閾値ｔｈ以上であるか否かに応じて補間処理を行うものである。
　図９Ａ乃至図９Ｇは縦方向を輝度の大きさとして、補間対象画素位置の輝度ＹＣ、第１近接画素位置の輝度ＹＬ、第２近接画素位置の輝度ＹＲの関係を示す図である。
まず、図９Ａに示すように、補間対象画素位置の輝度ＹＣと第１近接画素位置の輝度ＹＬの輝度差が閾値ｔｈ以下であり、補間対象画素位置の輝度ＹＣと第２近接画素の輝度ＹＲの輝度差が閾値ｔｈ以上である場合を考える。この場合、輝度差が閾値ｔｈ以下である第１近接画素位置の色差ＣＬを使用し、第２近接画素の色差ＣＲは使用せず、色差ＣＬを補間対象画素位置の色差ＣＣとする（色差ＣＣ＝色差ＣＬ）。
　図１０Ａは縦軸（Ｙ軸）を輝度、横軸（Ｃ軸）を色差として、図９Ａの場合の補間処理を模試的に表したものである。
　図９Ａの場合に補間対象色差画素生成を行った結果、図１０Ａに示すように補間対象画素位置の色差ＣＣは第１近接画素位置の色差ＣＬと同じ値になり、色差ＣＬの軸上に位置している。
　また、図９Ｂに示すように、補間対象画素位置の輝度ＹＣと第１近接画素位置の輝度ＹＬの輝度差が閾値ｔｈ以上であり、補間対象画素位置の輝度ＹＣと第２近接画素の輝度ＹＲの輝度差が閾値ｔｈ以下である場合を考える。この場合、輝度差が閾値ｔｈ以下である第２近接画素位置の色差ＣＲを使用し、第１近接画素の色差ＣＬは使用せず、色差ＣＲを補間対象画素位置の色差ＣＣとする（色差ＣＣ＝色差ＣＲ）。
　なお、図９Ａにおいて補間に使用する第１近接画素位置の輝度ＹＬと補間対象画素位置の輝度ＹＣが同じ輝度値として示してあるが、輝度ＹＬと輝度ＹＣは必ずしも同一である必要はなく、輝度差が閾値ｔｈ以下であればよい。図９Ｂの第２近接画素位置の輝度ＹＲと補間対象画素位置の輝度ＹＣについても同様である。
　図９Ａおよび図９Ｂに示すように補間対象画素位置と第１近接画素位置および／または第２近接画素位置とで輝度差が閾値ｔｈ以上である場合、補間対象画素位置と第１近接画素位置および／または第２近接画素位置間にエッジがあり、異なる被写体を構成していると考えられるので補間には用いないほうがよい。
　次に図９Ｃに示すように、補間対象画素位置の輝度ＹＣと第１近接画素位置の輝度ＹＬの輝度差と、補間対象画素位置の輝度ＹＣと第２近接画素位置の輝度ＹＲの輝度差が共に閾値ｔｈ以上である場合を考える。この場合、第１近接画素位置の色差ＣＬ、第２近接画素位置の色差ＣＲのいずれも使用せず、補間対象画素位置の色差ＣＣを０（無彩色）とする。
　なお、輝度ＹＣと輝度ＹＬの輝度差と、輝度ＹＣと輝度ＹＲとが共に閾値ｔｈ以上である場合とは図９Ｄ、図９Ｅに示すように輝度ＹＬ、輝度ＹＲが輝度ＹＣよりも大きい場合、小さい場合、どちらでもよい。
　この場合の補間対象色差画素の生成を、縦軸（Ｙ軸）を輝度、横軸（Ｃ軸）を色差として模試的に表すと図１０Ｂのようになる。補間対象画素位置の色差ＣＣは０となる。
　次に図９Ｆに示すように、補間対象画素位置の輝度ＹＣと第１近接画素位置の輝度ＹＬの輝度差と、補間対象画素位置の輝度ＹＣと第２近接画素位置の輝度ＹＲの輝度差が共に閾値ｔｈ以下である場合を考える。この場合、下記の式４を用いて色差ＣＬと色差ＣＲの加重平均を補間対象画素位置の色差ＣＣとする。
［式４］
ＣＣ＝（ＣＬ＋ＣＲ）／２
　これは輝度差が小さいため、輝度を用いずに色差ＣＬ、色差ＣＲのみを用いて補間しても色差ＣＬおよび色差ＣＲと補間対象画素位置の色差ＣＣとのズレは小さくなると考えられるからである。
　なお、補間対象画素位置の輝度ＹＣと第１近接画素位置の輝度ＹＬの輝度差と、補間対象画素位置の輝度ＹＣと第２近接画素位置の輝度ＹＲが共に閾値ｔｈ以下である場合とは図９Ｆ、図９Ｇに示すように輝度ＹＬ、輝度ＹＲが輝度ＹＣよりも大きい場合、小さい場合、どちらでもよい。
　この場合の補間対象色差画素の生成を、縦軸（Ｙ軸）を輝度、横軸（Ｃ軸）を色差として模試的に表すと図１０Ｃのようになる。第１近接画素位置の輝度ＹＬと色差ＣＬ、第２近接画素位置の輝度ＹＲと色差ＣＲ、補間対象画素位置の輝度ＹＣが図１０Ｃに示す値である場合、補間対象画素位置の色差ＣＣは第１近接画素位置の色差ＣＬと第２近接画素位置の色差ＣＲの加重平均となり、色差ＣＣは色差ＣＬと色差ＣＲの平均の値に位置している。
　なお、図１０における第１近接画素位置の輝度ＹＬと色差ＣＬ、第２近接画素位置の輝度ＹＲと色差ＹＲ、補間対象画素位置の輝度ＹＣの値はあくまで例示であり、その値に本技術が限定されるものではない。
　次に補間対象色差画素生成部１０２における処理の第２の手法について説明する。第２の手法では輝度差に対する閾値を複数使用する。ここでは第１の閾値ｔｈ１、第２の閾値ｔｈ２という２つの閾値を使用する例で説明を行う。
　図１１の表に輝度差、閾値および色差ＣＣの関係を示す。第１の閾値ｔｈ１と第２の閾値ｔｈ２は「ｔｈ２＜ｔｈ１」という関係を有しているとする。また、輝度ＹＣと輝度ＹＬの差をＤＬとし（ＤＬ＝ａｂｓ（ＹＣ－ＹＬ）、輝度ＹＣと輝度ＹＲの差をＤＲとする（ＤＲ＝ａｂｓ（ＹＣ－ＹＲ）。
　また、ＤＬ、ＤＲ、第１の閾値ｔｈ１、第２の閾値ｔｈ２を用いて、α、βを下記の式５、式６のように定義する。
［式５］
α＝（ＤＬ－ｔｈ２）／（ｔｈ１－ｔｈ２）
［式６］
β＝（ＤＲ－ｔｈ２）／（ｔｈ１－ｔｈ２）
　ただし、式５、式６においては０≦α≦１、０≦β≦１にクリップするとする。
　ＤＬ≦ｔｈ２（ただしα＝０）であり、かつ、ＤＲ≦ｔｈ２（ただしβ＝０）である場合には、図１１の表の（１）で示す式で補間対象画素位置の色差ＣＣを算出する。
　また、ｔｈ２≦ＤＬ≦ｔｈ１（ただし０≦α≦１）であり、かつ、ＤＲ≦ｔｈ２（ただしβ＝０）である場合、図１１の表の（２）で示す式で補間対象画素位置の色差ＣＣを算出する。
　また、ｔｈ１≦ＤＬ（ただしα＝１）であり、かつ、ＤＲ≦ｔｈ２（ただしβ＝０）である場合、図１１の表の（３）で示すように第２近接画素位置の色差ＣＲを補間対象画素位置の色差ＣＣとする。
　また、ＤＬ≦ｔｈ２（ただしα＝０）であり、かつ、ｔｈ２≦ＤＲ≦ｔｈ１（ただし０≦β≦１）である場合、図１１の表の（４）で示す式で補間対象画素位置の色差ＣＣを算出する。
　また、ｔｈ２≦ＤＬ≦ｔｈ１（ただし０≦α≦１）であり、かつ、ｔｈ２≦ＤＲ≦ｔｈ１（ただし０≦β≦１）である場合、図１１の表の（５）で示す式で補間対象画素位置の色差ＣＣを算出する。
　また、ｔｈ１≦ＤＬ（ただしα＝１）であり、かつ、ｔｈ２≦ＤＲ≦ｔｈ１（ただし０≦β≦１）である場合、図１１の表の（６）で示す式で補間対象画素位置の色差ＣＣを算出する。
　また、ＤＬ≦ｔｈ２（ただしα＝０）であり、かつ、ｔｈ１≦ＤＲ（ただしβ＝１）である場合、図１１の表の（７）に示すように第１近接画素位置の色差ＣＬを補間対象画素位置の色差ＣＣとする。
　また、ｔｈ２≦ＤＬ≦ｔｈ１（ただし０≦α≦１）であり、かつ、ｔｈ１≦ＤＲ（ただしβ＝１）である場合、図１１の表の（８）で示す式で補間対象画素位置の色差ＣＣを算出する。
　さらに、ｔｈ１≦ＤＬ（ただしα＝１）であり、かつ、ｔｈ１≦ＤＲ（ただしβ＝１）である場合、図１１の表の（８）で示すように補間対象画素位置の色差ＣＣを０（無彩色）とする。
　なお、図１１の表に示す（１）乃至（９）は全て下記の式７で表すことができる。
［式７］
Figure JPOXMLDOC01-appb-I000004
　なお、ＹＣ４：２：２は横方向にのみ色差画素が間引かれるものであるため、処理対象の画像データがＹＣ４：２：２の場合、補間対象画素位置の左右に位置する近接画素位置の輝度との比較を行なう。一方、ＹＣ４：２：０は横方向および縦方向にも色差画素が間引かれるものであるため、処理対象の画像データがＹＣ４：２：０である場合、左右に位置する近接画素位置の輝度および上下に位置する近接画素位置の輝度との比較を行う。
　以上のようにして第２の実施の形態における処理が行われる。
＜３．第３の実施の形態＞
［３－１．情報処理装置３００の構成］
　次に図１２を参照して第３の実施の形態における情報処理装置３００の構成について説明する。なお、撮像装置１０、現像装置２０の構成は第１の実施の形態と同様であるため説明を省略する。
　第３の実施の形態は生成方法決定部３０１を備える点、補間対象色差画素生成部３０２が第１および第２の実施の形態における処理を行うことができる点で第１および第２の実施の形態と異なる。近接画素位置選択部１０１とスイッチ部１０３は第１の実施の形態と同様である。
　生成方法決定部３０１は処理対象の画像データの輝度情報に基づいて、補間対象色差画素生成部３０２が第１の実施の形態と第２の実施の形態のどちらの補間対象色差画素の生成方法を実行するかを決定するものである。決定した生成方法を示す情報は生成方法決定部３０１から補間対象色差画素生成部３０２に供給される。なお、生成方法決定部３０１は第１近接画素位置と第２近接画素位置の輝度を用いて生成方法を決定するため、近接画素位置選択部１０１から近接画素位置情報が供給される。
　情報処理装置３００は以上のようにして構成されている。情報処理装置３００はプログラムで構成してもよい点、ハードウェアによる専用の装置として構成してもよい点などは第１の実施の形態と同様である。
［３－２．情報処理装置３００による処理］
　次に生成方法決定部３０１による補間対象色差画素の生成方法決定について説明する。
　第３の実施の形態も第１の実施の形態と同様に、補間対象画素位置の色差ＣＣおよび輝度ＹＣ、第１近接画素位置の色差ＣＬおよび輝度ＹＬ、第２近接画素位置の色差ＣＲおよび輝度ＹＲを用いて説明を行なう。
　生成方法決定部３０１は処理対象の画像データに含まれる補間対象画素位置の輝度ＹＣと、第１近接画素位置の輝度ＹＬの輝度差および第２近接画素位置の輝度ＹＲとの輝度差を閾値ｔｈと比較することにより補間対象色差画素の生成方法を決定する。
　図１３Ａ乃至図１３Ｅに示すように補間対象画素位置の輝度ＹＣと第１近接画素位置の輝度ＹＬの輝度差および／または第２近接画素位置の輝度ＹＲとの輝度差が閾値ｔｈ以上である場合には補間対象色差画素の生成方法を第２の実施の形態における方法に決定する。第２の実施の形態における方法とは、補間対象画素位置の輝度画素の値と近接画素位置の輝度画素の値の差（輝度差）に基づいて補間対象色差画素を生成する方法である。
　具体的には図１３Ａの場合には輝度差が閾値ｔｈ以下の第１近接画素位置の色差ＣＬを補間対象画素位置の色差ＣＣとする。また、図１３Ｂの場合には輝度差が閾値ｔｈ以下の第２近接画素位置の色差ＣＲを補間対象画素位置の色差ＣＣとする。
　また、図１３Ｃ、図１３Ｄ、図１３Ｅの場合には色差ＣＬ、色差ＣＲは用いず補間対象画素位置の色差ＣＣを０（無彩色）とする。これは、輝度差が大きい場合には近接画素位置の色差は補間に用いない、とするものである。輝度差が大きい場合、補間対象画素位置と第１近接画素位置および／または第２近接画素位置間にエッジがあり、異なる被写体を構成していると考えられるからである。
　また、図１３Ｆと図１３Ｇは輝度ＹＣと輝度ＹＬの輝度差および、輝度ＹＣと輝度ＹＲの輝度差が共に閾値ｔｈ以下の場合である。この場合、輝度ＹＬ、輝度ＹＣ、輝度ＹＲの大小関係が単調増加（減少）の関係にあるか否かを確認する。そして、図１３Ｆに示すように単調増加（減少）である場合には補間対象色差画素の生成方法を第２の実施の形態における図９Ｆと同様の方法に決定し、上述した式４を用いて色差ＣＬと色差ＣＲの加重平均を補間対象画素位置の色差ＣＣとする。
　この単調増加（減少）は、特許請求の範囲における「補間対象画素位置の輝度画素の値と、近接画素位置の輝度画素の値との中で、最大値と最小値となる輝度画素の値がいずれかの近接画素位置の輝度画素の値であるとき」に相当するものである。
　一方、図１３Ｇに示すように輝度ＹＬ、輝度ＹＣ、輝度ＹＲの大小関係が単調増加（減少）ではない場合には補間対象色差画素の生成方法を第１の実施の形態における方法に決定する。
　なお、図１３Ｄも輝度ＹＬ、輝度ＹＣ、輝度ＹＲが単調増加（減少）の関係にあるといえるが、輝度差が大きいため、色差ＣＬ、色差ＣＲは用いずに補間対象画素位置の色差ＣＣは０（無彩色）にする。
　これは、単調増加（減少）の場合は補間対象画素位置の輝度が近接画素位置の輝度に両側から挟まれて、第２の実施形態の方法を用いることで内分点を計算することになり精度が上がるのに対し、単調増加（減少）ではなく、輝度ＣＣ、輝度ＣＬ、輝度ＣＲの関係が凹（または凸）状では第１の実施の形態の方法のほうが精度が上がるためである。
　なお、輝度ＹＣと輝度ＹＬの輝度差、輝度ＹＣと輝度ＹＲの輝度差が閾値以下の場合、単調増加（減少）であるか否かに関わらず補間対象色差画素の生成方法を第２の実施の形態における方法にしてもよい。
　以上のようにして第３の実施の形態における処理が行われる。
　本技術によれば、色付きなどにより画像の画質を低下させることなく、間引かれた色差画素を補間することができる。これにより間引き処理が施された後であっても全画素に輝度および色差が揃った画像データを得ることができる。
　従来は補間により画質低下を発生させないためには補間対象色差画素生成による補間処理の前にホワイトクリップ処理を行なう必要があった。しかし、本技術の補間対象色差画素生成による補間前にホワイトクリップ処理を行う必要がなく、撮像装置１０でホワイトクリップ処理を行わずに間引き処理を行い、現像装置２０で補間処理行った後のホワイトクリップ処理を行なうことも可能になる。
　また、間引き処理により画像データのサイズを小さくして撮像装置１０から現像装置２０への転送時間の短縮などを図りつつ、現像処理の前に補間処理を行なうことで高画質な画像を得ることができる。
＜４．変形例＞
　以上、本技術の実施の形態について具体的に説明したが、本技術は上述の実施の形態に限定されるものではなく、本技術の技術的思想に基づく各種の変形が可能である。
　図１４は変形例に係る情報処理装置４００の構成を示すブロック図である。情報処理装置４００はメモリ４０１、近接画素位置選択部４０２、補間対象色差画素生成部４０３を備えて構成されている。近接画素位置選択部４０２および補間対象色差画素生成部４０３は第１の実施の形態における近接画素位置選択部１０１、補間対象色差画素生成部１０２と同様のものである。
　メモリ４０１は処理対象である間引き処理が施された画像データ（例えばＹＣ４：２：２）を格納しており、メモリ４０１から近接画素位置選択部４０２および補間対象色差画素生成部４０３に輝度信号および色差信号が供給される。
　そして補間対象色差画素生成部４０３は補間対象色差画素を生成するとメモリ４０１に供給する。これによりメモリ４０１に色差が補間されたＹＣ４：４：４の画像データが格納される。この変形例は、第１乃至第３の実施の形態のいずれにも適用可能である。
　図１５は近接画素位置選択部１０１による近接画素位置選択の変形例を示す図である。図１５Ａに示すように補間対象画素位置の周囲に存在する複数の画素位置（例えば、３×３の枠内の８つの画素位置）の中から、図１５Ｂに示すように輝度や色の相関から２つの近接画素位置を選択してもよい。そして図１５Ｃに示すように近接画素位置を用いて補間対象画素位置における補間対象色差画素を生成して補間処理を行う。
　図１６は画像データを構成する画素配置の構成を示す図である。画像データにおけるＹＣ４：４：４の構成例としては図１６Ａに示すものがある。このＹＣ４：４：４から色差画素を横方向に間引くと、ＹＣ４：２：２となり図１６Ｂに示すような画素配置になる例がある。さらに色差信号を縦方向に間引くと、ＹＣ４：２：０となり図１６Ｃ１に示すような画素配置になる例がある。このような画素の配置は、デジタルの画像データ／映像データにおいて採用される場合が多い。
　輝度信号と色差信号とで位相差がある例もある。図１６Ｂ２に示す例では、破線で囲う２つの画素位置を一つの組み合わせとして、その２つの画素位置における各輝度から、図１６Ｂ２中Ｐに示す２つの画素位置の中央の位置に対応する輝度を生成して本技術を適用して補間対象画素位置の補間対象色差画素を生成する。図１６Ｃ２に示す例では、破線で囲う４つの画素位置を一つの組み合わせとして、その４つの画素位置における各輝度から、図１６Ｃ２中Ｐに示す４つの画素位置の中央の位置に対応する輝度を生成して本技術を適用して補間対象画素位置の補間対象色差画素を生成する。
　本技術は以下のような構成も取ることができる。
（１）
　所定のホワイトクリップ値よりも大きい値を含みうる３原色画素に基づいて生成された、輝度画素の数が第１の色差画素の数および第２の色差画素の数より多い画像データにおける、
　前記第１の色差画素が存在しない画素位置である補間対象画素位置の前記輝度画素と、前記補間対象画素位置に近接する複数の画素位置のうちの少なくとも１つの近接画素位置の前記輝度画素との関係に基づいて、前記補間対象画素位置に前記第１の色差画素に相当する補間対象色差画素を生成する補間対象色差画素生成部
を備える情報処理装置。
（２）
　前記補間対象色差画素生成部は、前記近接画素位置の前記第１の色差画素を用いて、前記補間対象色差画素を生成する（１）に記載の情報処理装置。
（３）
　前記補間対象色差画素生成部は、前記補間対象画素位置の前記輝度画素の値と、前記近接画素位置の前記輝度画素の値および前記近接画素位置の前記第１の色差画素の値とから前記補間対象色差画素の値を算出する（２）に記載の情報処理装置。
（４）
　前記補間対象色差画素生成部は、前記補間対象画素位置の前記輝度画素の値と、前記近接画素位置の前記輝度画素の値との関係に基づいて、前記補間対象色差画素を生成する（２）または（３）に記載の情報処理装置。
（５）
　前記補間対象色差画素生成部は、前記補間対象画素位置の前記輝度画素の値と、前記近接画素位置の前記輝度画素の値の関係に基づいて、前記輝度画素の値と前記第１の色差画素の値の大きさとの正の相関を用いて前記補間対象色差画素を生成する（４）に記載の情報処理装置。
（６）
　前記補間対象色差画素生成部は、前記補間対象画素位置の前記輝度画素の値と、前記近接画素位置の前記輝度画素の値の関係に基づいて、前記正の相関として線形関係を用いて前記補間対象色差画素を生成する（５）に記載の情報処理装置。
（７）
　前記補間対象色差画素生成部は、前記補間対象画素位置の前記輝度画素の値と前記近接画素位置の前記輝度画素の値の比と、複数の前記近接画素位置の前記色差画素の値の乗算値の平均値を算出して前記補間対象色差画素を生成する（６）に記載の情報処理装置。
（８）
　前記補間対象色差画素の値は、前記補間対象画素位置の前記輝度画素の値と、前記近接画素位置の前記輝度画素の値に、それぞれにオフセット値を加算した値を用いて求められる（５）に記載の情報処理装置。
（９）
　前記オフセット値は、前記近接画素位置の前記輝度画素の値に基づいて決定される値である（８）に記載の情報処理装置。
（１０）
　前記補間対象色差画素生成部は、前記補間対象画素位置の輝度画素の値と前記近接画素位置の輝度画素の値との関係である、前記補間対象画素位置の前記輝度画素の値と、前記近接画素位置の前記輝度画素の値と差分の値である輝度差に基づいて、前記補間対象色差画素を生成する（４）から（９）のいずれかに記載の情報処理装置。
（１１）
　前記補間対象色差画素生成部は、前記輝度差を用いた加重平均により前記補間対象色差画素の値を算出する（１０）に記載の情報処理装置。
（１２）
　前記補間対象画素位置の前記輝度画素の値と、前記近接画素位置の前記輝度画素の値との関係に基づいて、前記補間対象色差画素の生成方法を決定する生成方法決定部を備える（１）から（１１）のいずれかに記載の情報処理装置。
（１３）
　前記生成方法決定部は、前記輝度差の大きさに基づいて前記生成方法を決定する（１２）に記載の情報処理装置。
（１４）
　前記生成方法決定部は、前記輝度差の絶対値の大きさが所定の値より大きい場合に、前記方法を、前記輝度差に基づいて前記補間対象色差画素を生成する方法に決定する（１２）または（１３）に記載の情報処理装置。
（１５）
　前記生成方法決定部は、前記補間対象画素位置の前記輝度画素の値と、前記近接画素位置の前記輝度画素の値との大小関係に基づいて、前記補間対象色差画素を生成する方法を決定する（１２）から（１４）のいずれかに記載の情報処理装置。
（１６）
　前記補間対象画素位置に近接する複数の画素位置のうち１または２以上の前記近接画素位置を選択する近接画素位置選択部を備える（１）から（１５）のいずれかに記載の情報処理装置。
（１７）
　前記補間対象色差画素生成部により前記補間対象画素位置の前記第１の色差画素を生成された画像データに対して、ユーザ設定に基づいてホワイトバランスを行うホワイトバランス処理部を備える（１）から（１６）のいずれかに記載の情報処理装置。
（１８）
　前記３原色画素に対応する撮像画像を撮像する撮像部を備える（１）から（１７）のいずれかに記載の情報処理装置。
（１９）
　所定のホワイトクリップ値よりも大きい値を含みうる３原色画素に基づいて生成された、輝度画素の数が第１の色差画素の数および第２の色差画素の数より多い画像データにおける、
　前記第１の色差画素が存在しない画素位置である補間対象画素位置の前記輝度画素と、前記補間対象画素位置に近接する複数の画素位置のうちの少なくとも１つの近接画素位置の前記輝度画素との関係に基づいて、前記補間対象画素位置に前記第１の色差画素に相当する補間対象色差画素を生成する
情報処理方法。
（２０）
　所定のホワイトクリップ値よりも大きい値を含みうる３原色画素に基づいて生成された、輝度画素の数が第１の色差画素の数および第２の色差画素の数より多い画像データにおける、
　前記第１の色差画素が存在しない画素位置である補間対象画素位置の前記輝度画素と、前記補間対象画素位置に近接する複数の画素位置のうちの少なくとも１つの近接画素位置の前記輝度画素との関係に基づいて、前記補間対象画素位置に前記第１の色差画素に相当する補間対象色差画素を生成する
情報処理方法をコンピュータに実行させる情報処理プログラム。
１２・・・撮像部
１００、２００、３００、４００・・・情報処理装置
１０２、２０１、３０２、４０３・・・補間対象色差画素生成部
３０１・・・生成方法決定部

Claims (20)

  1. 　所定のホワイトクリップ値よりも大きい値を含みうる３原色画素に基づいて生成された、輝度画素の数が第１の色差画素の数および第２の色差画素の数より多い画像データにおける、
    　前記第１の色差画素が存在しない画素位置である補間対象画素位置の前記輝度画素と、前記補間対象画素位置に近接する複数の画素位置のうちの少なくとも１つの近接画素位置の前記輝度画素との関係に基づいて、前記補間対象画素位置に前記第１の色差画素に相当する補間対象色差画素を生成する補間対象色差画素生成部
    を備える情報処理装置。
  2. 　前記補間対象色差画素生成部は、前記近接画素位置の前記第１の色差画素を用いて、前記補間対象色差画素を生成する
    請求項１に記載の情報処理装置。
  3. 　前記補間対象色差画素生成部は、前記補間対象画素位置の前記輝度画素の値と、前記近接画素位置の前記輝度画素の値および前記近接画素位置の前記第１の色差画素の値とから前記補間対象色差画素の値を算出する
    請求項２に記載の情報処理装置。
  4. 　前記補間対象色差画素生成部は、前記補間対象画素位置の前記輝度画素の値と、前記近接画素位置の前記輝度画素の値との関係に基づいて、前記補間対象色差画素を生成する
    請求項２に記載の情報処理装置。
  5. 　前記補間対象色差画素生成部は、前記補間対象画素位置の前記輝度画素の値と、前記近接画素位置の前記輝度画素の値の関係に基づいて、前記輝度画素の値と前記第１の色差画素の値の大きさとの正の相関を用いて前記補間対象色差画素を生成する
    請求項４に記載の情報処理装置。
  6. 　前記補間対象色差画素生成部は、前記補間対象画素位置の前記輝度画素の値と、前記近接画素位置の前記輝度画素の値の関係に基づいて、前記正の相関として線形関係を用いて前記補間対象色差画素を生成する
    請求項５に記載の情報処理装置。
  7. 　前記補間対象色差画素生成部は、前記補間対象画素位置の前記輝度画素の値と前記近接画素位置の前記輝度画素の値の比と、複数の前記近接画素位置の前記色差画素の値の乗算値の平均値を算出して前記補間対象色差画素を生成する
    請求項６に記載の情報処理装置。
  8. 　前記補間対象色差画素の値は、前記補間対象画素位置の前記輝度画素の値と、前記近接画素位置の前記輝度画素の値に、それぞれにオフセット値を加算した値を用いて求められる
    請求項５に記載の情報処理装置。
  9. 　前記オフセット値は、前記近接画素位置の前記輝度画素の値に基づいて決定される値である
    請求項８に記載の情報処理装置。
  10. 　前記補間対象色差画素生成部は、前記補間対象画素位置の輝度画素の値と前記近接画素位置の輝度画素の値との関係である、前記補間対象画素位置の前記輝度画素の値と、前記近接画素位置の前記輝度画素の値と差分の値である輝度差に基づいて、前記補間対象色差画素を生成する
    請求項４に記載の情報処理装置。
  11. 　前記補間対象色差画素生成部は、前記輝度差を用いた加重平均により前記補間対象色差画素の値を算出する
    請求項１０に記載の情報処理装置。
  12. 　前記補間対象画素位置の前記輝度画素の値と、前記近接画素位置の前記輝度画素の値との関係に基づいて、前記補間対象色差画素の生成方法を決定する生成方法決定部を備える
    請求項１に記載の情報処理装置。
  13. 　前記生成方法決定部は、前記輝度差の大きさに基づいて前記生成方法を決定する
    請求項１２に記載の情報処理装置。
  14. 　前記生成方法決定部は、前記輝度差の絶対値の大きさが所定の値より大きい場合に、前記方法を、前記輝度差に基づいて前記補間対象色差画素を生成する方法に決定する
    請求項１２に記載の情報処理装置。
  15. 　前記生成方法決定部は、前記補間対象画素位置の前記輝度画素の値と、前記近接画素位置の前記輝度画素の値との大小関係に基づいて、前記補間対象色差画素を生成する方法を決定する
    請求項１２に記載の情報処理装置。
  16. 　前記補間対象画素位置に近接する複数の画素位置のうち１または２以上の前記近接画素位置を選択する近接画素位置選択部を備える
    請求項１に記載の情報処理装置。
  17. 　前記補間対象色差画素生成部により前記補間対象画素位置の前記第１の色差画素を生成された画像データに対して、ユーザ設定に基づいてホワイトバランスを行うホワイトバランス処理部を備える
    請求項１に記載の情報処理装置。
  18. 　前記３原色画素に対応する撮像画像を撮像する撮像部を備える
    請求項１に記載の情報処理装置。
  19. 　所定のホワイトクリップ値よりも大きい値を含みうる３原色画素に基づいて生成された、輝度画素の数が第１の色差画素の数および第２の色差画素の数より多い画像データにおける、
    　前記第１の色差画素が存在しない画素位置である補間対象画素位置の前記輝度画素と、前記補間対象画素位置に近接する複数の画素位置のうちの少なくとも１つの近接画素位置の前記輝度画素との関係に基づいて、前記補間対象画素位置に前記第１の色差画素に相当する補間対象色差画素を生成する
    情報処理方法。
  20. 　所定のホワイトクリップ値よりも大きい値を含みうる３原色画素に基づいて生成された、輝度画素の数が第１の色差画素の数および第２の色差画素の数より多い画像データにおける、
    　前記第１の色差画素が存在しない画素位置である補間対象画素位置の前記輝度画素と、前記補間対象画素位置に近接する複数の画素位置のうちの少なくとも１つの近接画素位置の前記輝度画素との関係に基づいて、前記補間対象画素位置に前記第１の色差画素に相当する補間対象色差画素を生成する
    情報処理方法をコンピュータに実行させる情報処理プログラム。
PCT/JP2021/017215 2020-06-15 2021-04-30 情報処理装置、情報処理方法、情報処理プログラム WO2021256107A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022532369A JPWO2021256107A1 (ja) 2020-06-15 2021-04-30
US18/008,836 US20230214959A1 (en) 2020-06-15 2021-04-30 Information processing apparatus, information processing method, and information processing program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020103319 2020-06-15
JP2020-103319 2020-06-15

Publications (1)

Publication Number Publication Date
WO2021256107A1 true WO2021256107A1 (ja) 2021-12-23

Family

ID=79267764

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/017215 WO2021256107A1 (ja) 2020-06-15 2021-04-30 情報処理装置、情報処理方法、情報処理プログラム

Country Status (3)

Country Link
US (1) US20230214959A1 (ja)
JP (1) JPWO2021256107A1 (ja)
WO (1) WO2021256107A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2020235190B2 (en) * 2019-03-08 2023-06-01 Beijing Bytedance Network Technology Co., Ltd. Constraints on model-based reshaping in video processing
JP7418478B2 (ja) 2019-06-22 2024-01-19 北京字節跳動網絡技術有限公司 クロマ残差スケーリングのためのシンタックス要素
CN114128280B (zh) 2019-07-07 2023-11-14 北京字节跳动网络技术有限公司 色度残差缩放的信令通知

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60201790A (ja) * 1984-03-27 1985-10-12 Konishiroku Photo Ind Co Ltd 画像処理装置
JPH04247791A (ja) * 1991-02-01 1992-09-03 Sharp Corp ホワイトクリップ回路及びテレビジョン受像機
JPH04315392A (ja) * 1991-04-15 1992-11-06 Olympus Optical Co Ltd カラーカメラにおける垂直偽信号抑圧方式
JPH0654338A (ja) * 1992-07-29 1994-02-25 Victor Co Of Japan Ltd 線順次色信号復調回路
JPH06327017A (ja) * 1993-03-17 1994-11-25 Mitsubishi Electric Corp 画像処理装置及びカラービデオカメラ
JPH07110065B2 (ja) * 1987-05-01 1995-11-22 富士写真フイルム株式会社 デイジタル電子スチルカメラ
JP2002320135A (ja) * 2001-04-20 2002-10-31 Sanyo Electric Co Ltd ディジタルズーム装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60201790A (ja) * 1984-03-27 1985-10-12 Konishiroku Photo Ind Co Ltd 画像処理装置
JPH07110065B2 (ja) * 1987-05-01 1995-11-22 富士写真フイルム株式会社 デイジタル電子スチルカメラ
JPH04247791A (ja) * 1991-02-01 1992-09-03 Sharp Corp ホワイトクリップ回路及びテレビジョン受像機
JPH04315392A (ja) * 1991-04-15 1992-11-06 Olympus Optical Co Ltd カラーカメラにおける垂直偽信号抑圧方式
JPH0654338A (ja) * 1992-07-29 1994-02-25 Victor Co Of Japan Ltd 線順次色信号復調回路
JPH06327017A (ja) * 1993-03-17 1994-11-25 Mitsubishi Electric Corp 画像処理装置及びカラービデオカメラ
JP2002320135A (ja) * 2001-04-20 2002-10-31 Sanyo Electric Co Ltd ディジタルズーム装置

Also Published As

Publication number Publication date
JPWO2021256107A1 (ja) 2021-12-23
US20230214959A1 (en) 2023-07-06

Similar Documents

Publication Publication Date Title
WO2021256107A1 (ja) 情報処理装置、情報処理方法、情報処理プログラム
US10194091B2 (en) Image capturing apparatus, control method therefor, program, and recording medium
EP2426927B1 (en) Image processing apparatus, image processing method and computer program
EP2426928A2 (en) Image processing apparatus, image processing method and program
US20180330529A1 (en) Image processing apparatus, image processing method, and computer readable recording medium
JP5843027B1 (ja) 撮像装置、制御方法およびプログラム
WO2015015944A1 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
US10600170B2 (en) Method and device for producing a digital image
US20100295977A1 (en) Image processor and recording medium
US11880963B2 (en) Apparatus and method for image processing
EP2214136B1 (en) Method and program for controlling image capture apparatus
CN114331916B (zh) 图像处理方法及电子设备
US8102446B2 (en) Image capturing system and image processing method for applying grayscale conversion to a video signal, and computer-readable recording medium having recorded thereon an image processing program for applying grayscale conversion to a video signal
US20200005435A1 (en) Image processing apparatus, control method for image processing apparatus, image pickup apparatus, and non-transitory computer-readable storage medium
JP2006333113A (ja) 撮像装置
KR101612853B1 (ko) 촬영장치, 촬영장치의 제어방법 및 제어방법을 실행시키기 위한 프로그램을 저장한 기록매체
JP5952573B2 (ja) 画像処理装置およびその制御方法
CN113271450A (zh) 白平衡调整方法、影像处理装置与影像处理系统
JP2016040879A (ja) 制御システム、撮像装置、制御方法およびプログラム
JP2015119436A (ja) 撮像装置
US20230328339A1 (en) Image capture apparatus and control method thereof, and image processing apparatus
US11100610B2 (en) Image processing apparatus, image processing method, and storage medium
EP4258676A1 (en) Automatic exposure method and electronic device
JP4819859B2 (ja) 撮像装置及び画像処理方法
CN116805990A (zh) 图像处理设备、摄像设备、图像处理方法和存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21825763

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022532369

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21825763

Country of ref document: EP

Kind code of ref document: A1