WO2019087763A1 - 画像処理装置、画像処理方法、プログラム、および表示装置 - Google Patents

画像処理装置、画像処理方法、プログラム、および表示装置 Download PDF

Info

Publication number
WO2019087763A1
WO2019087763A1 PCT/JP2018/038422 JP2018038422W WO2019087763A1 WO 2019087763 A1 WO2019087763 A1 WO 2019087763A1 JP 2018038422 W JP2018038422 W JP 2018038422W WO 2019087763 A1 WO2019087763 A1 WO 2019087763A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
coefficient
image
unit
luminance
Prior art date
Application number
PCT/JP2018/038422
Other languages
English (en)
French (fr)
Inventor
江藤　博昭
朋紀 堤
佳之 秋山
孝文 森藤
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Publication of WO2019087763A1 publication Critical patent/WO2019087763A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/407—Control or modification of tonal gradation or of extreme levels, e.g. background level

Definitions

  • the present technology relates to an image processing device, an image processing method, a program, and a display device, and more particularly to an image processing device, an image processing method, a program, and a display device capable of restoring colors of a high luminance area. .
  • High Dynamic Range has attracted attention as a technology for achieving higher image quality and higher added value of 4K resolution TVs (television receivers).
  • the maximum luminance of the video of SDR (Standard Dynamic Range) is 100 nits (100 cd / m 2 ), while the maximum luminance of the video of HDR is, for example, 10000 nits beyond that.
  • SDR-HDR conversion which is a function of converting SDR video into HDR video, is required as a TV function.
  • the color signal When the luminance is expanded by SDR-HDR conversion, the color signal may be saturated depending on the original luminance, the position of the light source, and the like, which may cause so-called whiteout.
  • the present technology has been made in view of such a situation, and is intended to be able to restore the color of an area with high luminance.
  • the image processing apparatus divides a color signal of a pixel forming an input image by luminance to obtain a coefficient operation unit for obtaining a coefficient representing the correlation of the color of each pixel;
  • a coefficient setting unit that sets the coefficient of another pixel that constitutes the same object as the coefficient of a predetermined pixel that constitutes the object shown in the image, and the coefficient that is set to the predetermined pixel
  • a computing unit configured to multiply the luminance of the predetermined pixel constituting the image and restore the color signal of the predetermined pixel.
  • the display device divides a luminance signal of each pixel by dividing a luminance signal of a pixel forming the image input from the luminance expansion unit and a luminance expansion unit that expands the luminance of the image.
  • an arithmetic unit configured to multiply the coefficient set to the predetermined pixel by the luminance of the predetermined pixel forming the input image to restore the color signal of the predetermined pixel.
  • a coefficient representing the correlation of the color of each pixel is determined by dividing the color signal of the pixel constituting the input image by the luminance, and the above-mentioned predetermined pixels constituting the object shown in the image As the coefficients, the coefficients of the other pixels constituting the same object are set. Further, the color signal of the predetermined pixel is restored by multiplying the coefficient set to the predetermined pixel by the luminance of the predetermined pixel constituting the input image.
  • FIG. 1 is a block diagram illustrating a configuration example of an image processing circuit according to an embodiment of the present technology. It is a block diagram showing an example of composition of a color restoration part. It is a figure which shows the example of the image represented by a color correlation coefficient. It is a figure which shows the example of edge detection. It is a figure which shows the area
  • 5 is a flowchart illustrating color restoration processing.
  • 10 is a flowchart following FIG. 9 for explaining color restoration processing. It is a figure which shows the effect of color restoration processing. It is a figure which shows the concept of restoration of gradation. It is a block diagram which shows the structural example of TV. It is a block diagram showing the example of composition of the hardware of a computer.
  • FIG. 1 is a block diagram showing an exemplary configuration of an image processing circuit according to an embodiment of the present technology.
  • the image processing circuit 1 of FIG. 1 is configured by an LSI (Large Scale Integration) or the like on a semiconductor chip.
  • the image processing circuit 1 is provided with an SDR-HDR conversion unit 11.
  • a video signal obtained by reproducing content provided through a predetermined transmission path such as a broadcast wave or a network is input to the SDR-HDR conversion unit 11.
  • the video signal input to the SDR-HDR conversion unit 11 may be a signal obtained by reproducing content recorded on a recording medium such as a BD (Blu-ray (registered trademark) disc).
  • a video signal of an SDR image is input to the SDR-HDR conversion unit 11.
  • the SDR-HDR conversion unit 11 converts the input SDR image into an HDR image, and outputs the HDR image.
  • various processes such as signal processing for displaying on the display are performed on the HDR image.
  • the HDR image is an image having a maximum luminance of more than 100 nits, such as 1000 nits.
  • the SDR-HDR conversion unit 11 includes a luminance expansion unit 21 and a color restoration unit 22.
  • the luminance expanding unit 21 expands the luminance of each pixel constituting the input SDR image, and generates an image composed of pixels having luminance exceeding 100 nits as appropriate.
  • the luminance expansion is performed by mapping the luminance of each pixel constituting the SDR image according to a preset tone curve.
  • the luminance expansion unit 21 outputs the image whose luminance has been expanded to the color restoration unit 22.
  • An R′G′B ′ signal which is a color signal of each pixel of the image whose luminance has been expanded, is supplied to the color restoration unit 22.
  • the color restoration unit 22 performs color restoration processing based on the R'G'B 'signal supplied from the luminance expansion unit 21.
  • the color restoration unit 22 outputs an image including the R'G'B 'signal obtained by performing the color restoration process as an HDR image.
  • the process of decompressing the luminance of the SDR image and restoring the color is performed as the SDR-HDR conversion process.
  • FIG. 2 is a block diagram showing a configuration example of the color restoration unit 22. As shown in FIG.
  • Each configuration shown in FIG. 2 may be realized by hardware, or at least a part of the configuration may be realized by execution of a predetermined program by a processor provided in image processing circuit 1. You may
  • the color restoration unit 22 includes a hue relation number calculation unit 31, a frame memory 32, an edge search unit 33, a propagation processing unit 34, a frame memory 35, and a gradation calculation unit 36.
  • the R′G′B ′ signal output from the luminance expansion unit 21 is input to the hue related number calculation unit 31, the edge search unit 33, and the gradation calculation unit 36.
  • the color correlation coefficient calculation unit 31 divides the R'G'B 'signal by the luminance signal Y' (by dividing) to obtain the values of R '/ Y', G '/ Y', B '/ Y'. Calculate The luminance signal Y 'used for the division is obtained by the following equation (1).
  • the color correlation coefficient calculation unit 31 outputs the values of R '/ Y', G '/ Y' and B '/ Y' obtained by calculation to the frame memory 32 and stores them.
  • the color correlation coefficient calculation unit 31 performs such calculation for each of all the pixels constituting an image of one frame.
  • the reflectance R of the object is expressed by the following equation (2) from the light flux ⁇ of light incident on a certain surface and the light flux rr of light reflected on that surface. Also, the reflectance is expressed as a spectral reflectance R ( ⁇ ) which is a function of wavelength.
  • R '/ Y', G '/ Y', and B '/ Y' are so-called simple reflectances at the main wavelength of R'G'B ', respectively, and represent the color with the luminance component canceled. It can be said that it is a value.
  • R '/ Y', G '/ Y' and B '/ Y' will be taken as hue related numbers, as appropriate, in the sense of values representing the correlation of the color of each pixel.
  • the frame memory 32 stores hue relation values R '/ Y', G '/ Y' and B '/ Y' of respective pixels constituting an image of one frame.
  • FIG. 3 is a diagram showing an example of an image represented by a hue relation number.
  • the hue related number calculation unit 31 divides each of the R′G′B ′ signals by the luminance signal Y ′ to form each of the original images. Hue relational values R '/ Y', G '/ Y' and B '/ Y' of pixels are obtained.
  • the color correlation coefficient cancels the luminance component contained in each color signal and is a value representing the color component itself. Therefore, R '/ Y', G '/ Y', B '/ of pixels constituting the same object The value of Y 'will be close.
  • the image shown on the right side of FIG. 3 is an image in which the area of each object shown in the image is expressed in color by the values of R '/ Y', G '/ Y' and B '/ Y'.
  • the edge search unit 33 Detect the edge of
  • FIG. 4 is a diagram showing an example of edge detection.
  • a spherical object O of a predetermined color is shown.
  • the object O receives light from a light source in a predetermined direction, and has a bright part and a dark part.
  • the edge search unit 33 sets a predetermined area such as 5 ⁇ 5 pixels centering on each pixel.
  • the edge search unit 33 determines the difference between the pixel value of the pixel at the center of each area and the pixel value of each other pixel in the area, as shown in the following equations (3), (4) and (5).
  • differences ⁇ R, ⁇ G, ⁇ B of pixel values of the central pixel and the peripheral pixels are calculated for each of R′G′B ′.
  • R 33 represents the value of R ′ of the pixel at the center of the 5 ⁇ 5 pixel area.
  • “Abs (R 11 ⁇ R 33 )” in the equation (3) is the value of R ′ of the pixel in the first row and the first column of the 5 ⁇ 5 pixel area, and the value of R ′ of the central pixel Represents the absolute value of the difference of
  • the difference in brightness is a pixel of the same color, so the difference
  • the values of ⁇ R, ⁇ G, and ⁇ B become small values.
  • the edges of the object O is included in the 5 ⁇ 5 pixel area, the colors differ between the inside and the outside of the edge of the object O, so the values of the differences ⁇ R, ⁇ G, and ⁇ B become large values.
  • the edge search unit 33 compares the sum of the differences ⁇ R, ⁇ G, and ⁇ B with the threshold and determines whether the edge of the object O is included in the 5 ⁇ 5 pixel area, as shown in the following expression (6) Do.
  • the edge search unit 33 determines that the edge of the object O is included in the 5 ⁇ 5 pixel area, and is less than the threshold In some cases, it is determined that the 5 ⁇ 5 pixel area does not include the edge of the object O.
  • the areas # 1 and # 3 do not include the edge of the object O as shown by the enlarged arrow tips, so the differences ⁇ R, ⁇ G, The sum of ⁇ B is less than the threshold, and it is determined that no edge is included.
  • the edge of the object O is included at the upper right of the area # 2, it is determined that the sum of the differences ⁇ R, ⁇ G, and ⁇ B exceeds the threshold and the edge is included. For example, when the outside of a certain object is included even a little, a value that is determined to include an edge is set as the threshold.
  • the edge search unit 33 determines that the edge of the object O is included in the 5 ⁇ 5 pixel area, the edge search unit 33 sets an edge flag in the center pixel.
  • An edge flag is set to a pixel indicated by cross marking at the center of the area # 2.
  • an edge flag is set to a pixel located at a position (position near the center of the object) inside the position of the actual edge of the object O.
  • the edge search unit 33 outputs information on an edge flag to the propagation processing unit 34 when the above-described edge detection is performed focusing on all the pixels constituting the image of one frame.
  • the edge detection is performed based on the value of R'G'B 'of each pixel, but may be performed based on the hue relation number.
  • the edge search unit 33 adds the absolute value of the difference between the hue relation number of the pixel at the center of each area and the hue relation number of each other pixel in the area to obtain the center pixel and the periphery.
  • the difference of the hue relation number with the pixel of is calculated.
  • the edge search unit 33 sets an edge flag to the central pixel when the difference in hue relational value exceeds the threshold, and does not set the edge flag to the central pixel when the difference in hue relational number is equal to or less than the threshold. It will be.
  • the propagation processing unit 34 sets the hue relation number of the other pixels constituting the same object as the hue relation number of each pixel constituting the image of one frame. For example, the hue relation number determined based on the hue relation numbers of a plurality of pixels in different directions with respect to a certain pixel is set as the pixel of interest. As described above, the propagation processing unit 34 functions as a setting unit that sets the hue related number to each pixel constituting the image.
  • FIG. 6 is a diagram showing an example of setting of hue related numbers.
  • the propagation processing unit 34 sets a predetermined region as a search range # 11 centering on the pixel of interest.
  • the search range is a range for searching for pixels for which edge flags are set.
  • a region of 15 ⁇ 15 pixels is set as the search range # 11.
  • the pixel p0 at the center of the 15 ⁇ 15 pixel area is the pixel of interest.
  • the propagation processing unit 34 sets the hue relation number of the pixel located in the upper right direction relative to the pixel p0 as shown by the arrow A11 as a coefficient used to obtain the hue relation number of the pixel p0 in order from the coefficient of the closest pixel. .
  • the propagation processing unit 34 sequentially overwrites and stores the set hue relation number in the region allocated to the pixel p0 in the internal memory.
  • the hue relation numbers of the pixels located at positions separated by one pixel with respect to the target pixel are sequentially set, the hue relation numbers of the pixels located at the separated position are propagated to the pixel of interest.
  • the propagation processing unit 34 performs such propagation of the hue relation until the pixel to which the edge flag is set becomes the propagation source.
  • the hue relation C1 of the pixel p1 at the upper right of the pixel p0 is set (stored in the memory), and then the hue relation C1 of the pixel p2 is overwritten by overwriting the hue relation C1. It is set. Further, the hue relation number C3 of the pixel p3 is finally set by overwriting the hue relation number C2 and indicated by white circles.
  • the pixel p3 is a pixel for which an edge flag is set.
  • the hue relation number C3 of the pixel p3 which is the closest pixel for which the edge flag is set is set, propagation of the hue relation number from the pixel at a position distant therefrom is not performed. In the example of FIG. 6, the propagation of the hue relationship from the pixels in the range indicated by the dashed arrow A12 is not performed.
  • the propagation processing unit 34 propagates such hue relations from the eight directions of upper, upper right, right, lower right, lower, lower left, left, upper left as shown in FIG.
  • the hue relation number to be set to the pixel of interest is calculated based on the two hue relation numbers.
  • the propagation of the hue relation number by the propagation processing unit 34 is a plurality of hue relation numbers of a plurality of pixels in different directions with respect to the pixel of interest, which constitute the same object as the pixel of interest and are as far apart as possible. To be propagated.
  • the edge flag is set to the pixel P3 constituting the edge of the object O, but the edge flag configures the edge of the object O as described above Is set to a pixel located inside the target pixel. Therefore, the propagation of the hue related number is actually performed until the propagation source is a pixel located inside the pixel forming the edge of the object O.
  • the propagation processing unit 34 weights the hue relation numbers propagated from the respective directions, and adds them together as shown in the following formulas (7) to (9) to obtain the hue relation number R ′ / Y of the pixel of interest. Find ', G' / Y ', B' / Y '.
  • R ′ / Y ′ 1 , G ′ / Y ′ 1 , B ′ / Y ′ 1 represents the hue relation propagated from the left direction
  • R ′ / Y ′ r , G ′ / Y ′ r , B ′ / Y ′ r represent hue related values propagated from the right direction.
  • R '/ Y' upper-l , G '/ Y' upper-l , B '/ Y' upper-l represents the hue relation propagated from the upper left direction
  • R '/ Y' upper , G '/ Y ' upper and B' / Y ' upper represent the hue related values propagated from above
  • R '/ Y'upper-r , G' / Y'upper-r , B '/ Y'upper-r represent the hue related values propagated from the upper right direction.
  • R '/ Y' lower-l , G '/ Y' lower-l , B '/ Y' lower-l represents the hue relation propagated from the lower left direction
  • R '/ Y' lower , G '/ Y ′ lower and B ′ / Y ′ lower represent the hue related values propagated from the lower direction
  • R '/ Y'lower-r , G' / Y'lower-r , and B '/ Y'lower-r represent hue relation numbers propagated from the lower right direction.
  • the same value is used as the values of W 1 , W r , W upper-1 , W upper , W upper-r , W lower-1 , W lower and W lower-r .
  • the average of the hue relations propagated from each direction is set as the hue relation of the pixel of interest.
  • the propagation processing unit 34 performs such setting of the hue relationship, focusing on all the pixels constituting the image of one frame.
  • a pixel having the same object which has a positional relationship with the same light source, has the same hue even if colors are scattered like pixels forming the saturation region. It is predicted to have a relation number. As described above, by propagating (interpolating) the hue relation number, it becomes possible to set a value using the hue relation number of the same object as the hue relation number of the area where the color is saturated.
  • the pixels that make up the edge may have color bleeding due to the aberration of the lens used to capture the image, and may be a different color than the actual color of the object.
  • the use of the inner pixel makes it possible to prevent the propagation of hue relationships representing such different colors.
  • FIG. 8 is a block diagram showing a configuration example of the propagation processing unit 34 that propagates hue related numbers as described above.
  • weighting units 52-1 to 52-8 are connected to the subsequent stages of the left direction propagation unit 51-1 to the lower right direction propagation unit 51-8, respectively. It is constituted by.
  • a combining unit 53 is provided downstream of the weighting units 52-1 to 52-8.
  • the left direction propagation unit 51-1 is a frame memory as a value used for calculation of the hue relationship number of the pixel of interest, in order from the hue relationship number of the pixels nearby, of the hue relationship numbers of pixels in the left direction of the pixel of interest. Read from 32 and copy to internal memory. When the left direction propagation unit 51-1 copies the hue relation number of the pixel for which the edge flag is set, the hue relation number R ′ / Y ′ l , G ′ / Y ′ l , finally obtained.
  • the B ′ / Y ′ l is output to the weighting unit 52-1.
  • Weighting unit 52-1 multiplies the respective weight W l hue correlation coefficients supplied from the left-propagating unit 51-1 R '/ Y' l, G '/ Y' l, the B '/ Y' l, The value obtained by the multiplication is output to the combining unit 53.
  • the right direction propagation unit 51-2 to the lower right direction propagation unit 51-8 and the weighting unit 52-2 to the weighting unit 52-8 also perform the same processing as the left direction propagation unit 51-1 and the weighting unit 52-1, respectively. Do.
  • the right direction propagation unit 51-2 propagates the hue relation number of the pixel in the right direction of the target pixel and copies the hue relation number of the pixel for which the edge flag is set, the hue relation number R ' / Y ' r , G' / Y ' r , B' / Y ' r are output to the weighting unit 52-2.
  • the weighting unit 52-2 multiplies each of the hue relationships R ′ / Y ′ r , G ′ / Y ′ r , B ′ / Y ′ r supplied from the right direction propagation unit 51-2 by the weight W r , The value obtained by the multiplication is output to the combining unit 53.
  • the upper left direction propagating portion 51-3 propagates the hue relationship of a pixel in the upper left direction of the pixel of interest, and copies the hue relationship of the pixel for which the edge flag is set, the hue relationship R '/ Y ' upper-l , G' / Y ' upper-l , B' / Y ' upper-l is output to the weighting unit 52-3.
  • Weighting unit 52-3 respectively from the upper left-propagating unit 51-3 number hue relationships supplied R '/ Y' upper-l , G '/ Y' upper-l, the B '/ Y' upper-l weight The value obtained by multiplying W upper-1 and multiplying is output to the combining unit 53.
  • the upward propagation unit 51-4 propagates the hue relation of the pixel in the upward direction of the pixel of interest, and copies the hue relation of the pixel for which the edge flag is set, the hue relation R '/ Y
  • the ' upper , G' / Y ' upper and B' / Y ' upper are output to the weighting unit 52-4.
  • Weighting unit 52-4 hue correlation coefficients supplied from the upper-propagating unit 51-4 R '/ Y' upper, G '/ Y' upper, the B '/ Y' weights respectively upper W upper multiplied, The value obtained by the multiplication is output to the combining unit 53.
  • the upper right direction propagation unit 51-5 propagates the hue relation of the pixel in the upper right direction of the pixel of interest, and copies the hue relation of the pixel for which the edge flag is set, the hue relation R ′ / Y ' upper-r , G' / Y ' upper-r , B' / Y ' upper-r is output to the weighting unit 52-5.
  • the weighting unit 52-5 weights the hue relation R '/ Y' upper-r , G '/ Y' upper-r , B '/ Y' upper-r supplied from the upper right direction propagation unit 51-5.
  • the value obtained by multiplying W upper-r and multiplying is output to the combining unit 53.
  • the lower left direction propagating portion 51-6 propagates the hue relation of the pixel in the lower left direction of the pixel of interest, and copies the hue relation of the pixel for which the edge flag is set, the hue relation R ′ / Y ' lower -l , G' / Y ' lower-l , B' / Y ' lower-l is output to the weighting unit 52-6.
  • the weighting unit 52-6 respectively weights the hue relation R '/ Y' lower-l , G '/ Y' lower-l , B '/ Y' lower-l supplied from the lower left direction propagation unit 51-6.
  • the value obtained by multiplying W lower-1 and multiplying the result is output to the combining unit 53.
  • the downward propagation unit 51-7 propagates the hue relation number of the pixel in the downward direction of the target pixel and copies the hue relation number of the pixel for which the edge flag is set, the hue relation number R ′ / Y
  • the ' lower , G' / Y ' lower and B' / Y ' lower are output to the weighting unit 52-7.
  • the weighting unit 52-7 multiplies each of the hue relationships R ′ / Y ′ lower , G ′ / Y ′ lower and B ′ / Y ′ lower supplied from the downward propagation unit 51-7 by the weight W lower , respectively.
  • the value obtained by the multiplication is output to the combining unit 53.
  • the lower right direction propagation unit 51-8 propagates the hue relation number of the pixel in the lower right direction of the pixel of interest and copies the hue relation number of the pixel for which the edge flag is set, the hue relation number R '. / Y ' lower-r , G' / Y ' lower-r , B' / Y ' lower-r is output to weighting section 52-8.
  • the weighting unit 52-8 sets the hue relation numbers R '/ Y' lower-r , G '/ Y' lower-r , B '/ Y' lower-r respectively supplied from the lower right direction propagation unit 51-8.
  • the weight W lower-r is multiplied, and the value obtained by the multiplication is output to the combining unit 53.
  • the combining unit 53 calculates the hue relation number of the pixel of interest by adding the hue relation numbers supplied from the weighting part 52-1 to the weighting part 52-8.
  • the combining unit 53 outputs the hue relation number obtained by the addition to the frame memory 35 and stores it.
  • hue relation values R '/ Y', G '/ Y' and B '/ Y' of respective pixels constituting an image of one frame are stored.
  • the hue relation number of each pixel stored in the frame memory 35 is different from the hue relation number obtained by the hue relation number calculation unit 31.
  • the direction of the propagation origin of a hue related number shall be eight directions in the above, it is possible to set it as an arbitrary number of directions. Further, the weight set to the hue relation number propagated from each direction may be a value different for each direction.
  • the gradation calculation unit 36 reads out the hue relational values R '/ Y', G '/ Y' and B '/ Y' of each pixel from the frame memory 35, and multiplies them by the luminance signal Y 'of the input signal. Generate a new R'G'B 'signal.
  • the new R′G′B ′ signal is expressed as the following equations (11) to (13), including the operation performed in the propagation processing unit 34 and the operation performed in the gradation operation unit 36.
  • the luminance signal Y 'used for multiplication with the hue relational values R' / Y ', G' / Y ', B' / Y 'read from the frame memory 35 is the input R'G'B' signal.
  • the gradation calculation unit 36 calculates and outputs R'G'B 'signals of all the pixels constituting an image of one frame.
  • An image constituted by the R'G'B 'signal output from the gradation calculation unit 36 is processed as an HDR image in a processing unit at a later stage.
  • a blending process may be performed between the R'G'B 'signal calculated by the gradation calculation unit 36 and the input R'G'B' signal to adjust the effect of color restoration.
  • step S1 the hue relation number calculation unit 31 focuses on one pixel in an SDR image of one frame.
  • steps S2 to S4 are performed for the pixel of interest.
  • step S2 the hue related number calculation unit 31 calculates the above equation (1) based on the input R'G'B 'signal to obtain the luminance signal Y'.
  • step S3 the hue related number calculation unit 31 divides the input R'G'B 'signal by the luminance signal Y' to obtain hue related numbers R '/ Y', G '/ Y', B '/ Find Y '.
  • step S4 the hue relation number calculation unit 31 sets the hue relation numbers R '/ Y', G '/ Y' and B '/ Y' obtained by calculation as the hue relation number of the pixel of interest to the frame memory 32.
  • step S5 the hue relation number calculation unit 31 determines whether or not all the pixels constituting the SDR image of one frame have been focused. When it is determined in step S5 that the color correlation coefficient calculation unit 31 does not focus on all the pixels, the process returns to step S1, switches the pixel of interest to another pixel, and repeats the same processing.
  • step S5 If it is determined in step S5 that all the pixels constituting one frame of the SDR image have been focused, the process proceeds to step S6.
  • the frame memory 32 stores hue relation values R '/ Y', G '/ Y' and B '/ Y' of respective pixels constituting an image of one frame.
  • step S6 the edge search unit 33 sets a predetermined area such as 5 ⁇ 5 pixels centering on each pixel, and the difference between the pixel value of the pixel at the center and the pixel value of each other pixel in the area
  • the differences ⁇ R, ⁇ G, ⁇ B are calculated based on the absolute values of
  • step S7 the edge search unit 33 sets an edge flag to a pixel for which the sum of the differences ⁇ R, ⁇ G, and ⁇ B is equal to or larger than a threshold.
  • the edge flag is set to the pixel located inside the position of the actual edge of the object O.
  • step S8 the propagation processing unit 34 focuses on one pixel in the image of one frame.
  • the processes in steps S9 to S13 are performed on the pixel of interest.
  • step S9 the propagation processing unit 34 sequentially propagates the hue relationship of the pixels in one predetermined direction until the pixels forming the edge become the propagation source.
  • step S10 the propagation processing unit 34 determines whether or not the hue related numbers have been propagated from all directions centered on the pixel of interest. If the propagation processing unit 34 determines in step S10 that propagation of the hue relation from all directions is not performed, the process returns to step S9, switches the direction, and repeats propagation of the hue relation.
  • step S10 If it is determined in step S10 that the hue relationship has been propagated from all directions centered on the pixel of interest, the process proceeds to step S11.
  • step S11 the propagation processing unit 34 weights the hue relationship numbers propagated from each direction, and adds them to obtain the hue relationship number of the pixel of interest.
  • step S12 the propagation processing unit 34 outputs the hue relation number obtained by the addition to the frame memory 35 for storage.
  • step S13 the gradation calculation unit 36 reads out the hue relationship numbers R '/ Y', G '/ Y', B '/ Y' of the pixel of interest from the frame memory 35, and the luminance signal Y 'of the input signal A new R'G'B 'signal is generated by multiplication.
  • the gradation operation unit 36 outputs an R'G'B 'signal obtained by multiplying the luminance signal Y' as an output signal.
  • step S14 the gradation calculation unit 36 determines whether or not all the pixels constituting the image of one frame have been focused. If it is determined in step S14 that the gradation calculation unit 36 does not focus on all the pixels, the process returns to step S8, switches the pixel of interest to another pixel, and repeats the same processing.
  • step S14 If it is determined in step S14 that attention has been paid to all the pixels constituting an image of one frame, the process is ended.
  • the above processing is performed each time the R'G'B 'signal that constitutes the SDR image of each frame is input.
  • the color restoration unit 22 can restore the color of the pixel in the high luminance area such as the area where the whiteout occurs, based on the color of the other pixel of the same object.
  • FIG. 11 is a diagram showing the effect of color restoration processing.
  • a of FIG. 11 represents the RGB waveform of the input image.
  • the horizontal direction represents the position of the pixel, and the vertical direction represents the gradation (100% at the maximum).
  • An area composed of pixels whose gradation exceeds 100% is an area where the color signal is saturated.
  • B in FIG. 11 represents the RGB waveform of the output image. It can be seen from the RGB waveform shown in B of FIG. 11 that, for example, the portion of the R waveform shown surrounded by a thick circle is restored.
  • the color restoration process is performed by multiplying the luminance signal Y 'of the input signal by the hue relational values R' / Y ', G' / Y ', B' / Y 'obtained by replacing the original hue relational values by propagation. Is generated from the hue relation number, and gradation is generated from the luminance signal Y ′.
  • FIG. 12 is a diagram showing the concept of gradation restoration.
  • FIG. 12 shows that, of the gradations of the R and G pixels, the gradations of a portion exceeding 100% (a portion shown by a light color) are restored based on the luminance signal.
  • the pixel at the position of the luminance signal as the starting point of the arrow and the pixel at the end of the end point of the arrow are the pixels at the same position.
  • the luminance signal Y ' is expressed by the above equation (1) which is a color difference formula of ITU-R BT. 709
  • the main component of the luminance signal Y' is the Green component.
  • FIG. 13 is a block diagram showing a configuration example of a TV (television receiver) on which the image processing circuit 1 is mounted.
  • the tuner unit 111 of the TV 101 receives a broadcast wave signal supplied from an antenna (not shown) or a broadcast wave signal supplied from a satellite broadcast or cable television set top box, and selects a signal of a channel selected by the user. Extract.
  • the tuner unit 111 performs various processes such as A / D conversion and demodulation on the extracted signal, and outputs data of a program acquired by performing various processes to the decoder 112.
  • the decoder 112 decodes the video stream constituting the data of the program and outputs the SDR image constituting the video of the program obtained by decoding to the image processing circuit 1. In addition, the decoder 112 decodes an audio stream that constitutes data of a program, and outputs the sound of the program from the speaker 114.
  • the image processing circuit 1 generates a HDR image by performing luminance expansion, and performs color restoration processing.
  • the image processing circuit 1 outputs the HRD image obtained by performing the restoration process to a display 113 such as an LCD (Liquid Crystal Display) or an organic EL display, and displays a video of a program and the like.
  • a display 113 such as an LCD (Liquid Crystal Display) or an organic EL display, and displays a video of a program and the like.
  • a central processing unit (CPU) 116, a read only memory (ROM) 117, and a random access memory (RAM) 118 are mutually connected by a bus 115.
  • the CPU 116 executes a program stored in the ROM 117 or the recording unit 119 using the RAM 118 to control the entire TV 101.
  • the recording unit 119 is configured of a recording medium such as a hard disk drive (HDD) or a solid state drive (SSD).
  • the recording unit 119 records various data such as program data, video content, EPG data, and programs.
  • the communication unit 120 is an interface of a network such as the Internet.
  • the communication unit 120 communicates with a server on the Internet.
  • the operation I / F unit 121 receives the command transmitted from the remote controller, and outputs the command to the CPU 116 via the bus 115.
  • the image processing circuit 1 can be provided in the TV 101.
  • the image processing circuit 1 can be mounted on various devices that process HDR images, such as a reproduction device, a recording device, a PC, a smartphone, and a tablet terminal.
  • a detection unit that detects a saturation region of a color signal is provided at the front stage of the color restoration unit 22.
  • the color restoration unit 22 performs the above-described color restoration process on the pixels forming the saturated area detected by the detection unit.
  • the pixel that is the propagation source of the color correlation coefficient is the pixel that is inside the edge of the object
  • the hue related number may be propagated with the pixel that constitutes the edge of the object as the propagation source.
  • the propagation of the hue relation number is performed in such a way as to propagate the hue relation number of one pixel in which the edge flag is set in one direction, the edge flag is set from the central pixel
  • the hue related numbers of a plurality of pixels between up to one pixel may be propagated.
  • the series of processes described above can be performed by hardware or software.
  • a program constituting the software is installed from a program recording medium in a computer incorporated in dedicated hardware, a general-purpose personal computer, or the like.
  • FIG. 14 is a block diagram showing an example of a hardware configuration of a computer that executes the series of processes described above according to a program.
  • the CPU 1001, the ROM 1002, and the RAM 1003 are mutually connected by a bus 1004.
  • An input / output interface 1005 is further connected to the bus 1004.
  • the input / output interface 1005 is connected to an input unit 1006 including a keyboard, a mouse and the like, and an output unit 1007 including a display, a speaker and the like.
  • a storage unit 1008 such as a hard disk and a non-volatile memory
  • a communication unit 1009 such as a network interface
  • a drive 1010 for driving the removable medium 1011.
  • the CPU 1001 loads, for example, the program stored in the storage unit 1008 into the RAM 1003 via the input / output interface 1005 and the bus 1004, and executes the above-described series of processes. Is done.
  • the program executed by the CPU 1001 is provided, for example, via a wired or wireless transmission medium such as a local area network, the Internet, or digital broadcasting, recorded in the removable medium 1011 or installed in the storage unit 1008.
  • a wired or wireless transmission medium such as a local area network, the Internet, or digital broadcasting
  • the program executed by the computer may be a program that performs processing in chronological order according to the order described in this specification, in parallel, or when necessary, such as when a call is made. It may be a program to be processed.
  • the present technology can have a cloud computing configuration in which one function is shared and processed by a plurality of devices via a network.
  • each step described in the above-described flowchart can be executed by one device or in a shared manner by a plurality of devices.
  • the plurality of processes included in one step can be executed by being shared by a plurality of devices in addition to being executed by one device.
  • the present technology can also be configured as follows.
  • a coefficient operation unit for obtaining a coefficient representing the correlation of the color of each pixel by dividing the color signal of the pixel constituting the input image by the luminance;
  • a coefficient setting unit configured to set the coefficient of another pixel constituting the same object as the coefficient of a predetermined pixel constituting the object shown in the image;
  • An arithmetic processing unit configured to multiply the luminance of the predetermined pixel constituting the input image by the coefficient set to the predetermined pixel, and restore a color signal of the predetermined pixel; .
  • the coefficient setting unit obtains the coefficient to be set to the predetermined pixel based on the coefficients of the plurality of other pixels located in different directions with respect to the predetermined pixel. apparatus.
  • the image processing apparatus obtains an average of the coefficients of the plurality of other pixels as the coefficient of the predetermined pixel.
  • the detection unit further detects an edge of the object based on a difference between a color signal of a pixel of interest and a color signal of a pixel around the pixel of interest Image processing apparatus as described.
  • the image processing apparatus sets the coefficient of the other pixel inside the edge of the object as the coefficient of the predetermined pixel.
  • the coefficient setting unit sets the coefficient with each of all pixels constituting the image as the predetermined pixel, The image processing apparatus according to any one of (1) to (5), wherein the calculation unit restores color signals of all the pixels forming the image.
  • the coefficient setting unit sets, as the predetermined pixel, the coefficient of a pixel in a region where a color signal is saturated among the pixels constituting the image,
  • the image processing apparatus according to any one of (1) to (5), wherein the calculation unit restores a color signal of a pixel for which the coefficient is set.
  • the image processing apparatus further comprises a luminance expansion unit that expands the luminance of the SDR image and generates an HDR image,
  • the image processing apparatus according to any one of (1) to (7), wherein the coefficient calculation unit performs processing on the HDR image.
  • the image processing device By dividing the color signal of the pixels constituting the input image by the luminance, a coefficient representing the correlation of the color of each pixel is determined, The coefficient of another pixel constituting the same object is set as the coefficient of a predetermined pixel constituting the object shown in the image,
  • An image processing method comprising: restoring the color signal of the predetermined pixel by multiplying the coefficient set to the predetermined pixel by the luminance of the predetermined pixel that constitutes the input image.
  • a luminance expansion unit that expands the luminance of the image
  • a coefficient operation unit for obtaining a coefficient representing the correlation of the color of each pixel by dividing the color signal of the pixels constituting the image input from the luminance expansion unit by the luminance, and an object to be captured in the input image
  • a coefficient setting unit configured to set the coefficient of another pixel that constitutes the same object as the coefficient of the predetermined pixel to be configured, and the input image is configured with respect to the coefficient set to the predetermined pixel
  • An image processing unit including an operation unit that multiplies the luminance of the predetermined pixel and restores the color signal of the predetermined pixel;
  • a display unit for displaying an image composed of the predetermined pixels whose color signal has been restored by the image processing unit.
  • SYMBOLS 1 image processing circuit 11 SDR-HDR conversion part, 21 brightness expansion part, 22 color restoration part, 31 color correlation coefficient calculating part, 32 frame memory, 33 edge search part, 34 propagation processing part, 35 frame memory, 36 gradation Arithmetic unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本技術は、輝度が高い領域の色を復元することができるようにする画像処理装置、画像処理方法、プログラム、および表示装置に関する。 本技術の一側面の画像処理装置は、入力された画像を構成する画素の色信号を輝度で除算することによって、各画素の色の相関を表す係数を求め、画像に写る物体を構成する所定の画素の係数として、同じ物体を構成する他の画素の前記係数を設定し、所定の画素に設定された係数に対して、入力された画像を構成する所定の画素の輝度を乗算することによって所定の画素の色信号を復元する。本技術は、HDR画像などの輝度の高い画像を処理する装置に適用することができる。

Description

画像処理装置、画像処理方法、プログラム、および表示装置
　本技術は、画像処理装置、画像処理方法、プログラム、および表示装置に関し、特に、輝度が高い領域の色を復元することができるようにした画像処理装置、画像処理方法、プログラム、および表示装置に関する。
　4K解像度のTV（テレビジョン受像機）のさらなる高画質化や高付加価値化のための技術としてHDR(High Dynamic Range)が注目されている。SDR(Standard Dynamic Range)のビデオの最高輝度が100nits（100cd/m2）であるのに対し、HDRのビデオの最高輝度は、それを超える例えば10000nitsである。
　流通しているコンテンツの多くはSDRのコンテンツであり、HDRのビデオに対応したTVが持つ性能を活かしきれていない状況にある。よって、SDRのビデオをHDRのビデオに変換する機能であるSDR-HDR変換がTVの機能として求められている。
特開２０１５-１４４４０４号公報
　SDR-HDR変換によって輝度を伸張した場合、元々の輝度や光源の位置などによって色信号が飽和してしまい、いわゆる白飛びが発生することがある。
　本技術はこのような状況に鑑みてなされたものであり、輝度が高い領域の色を復元することができるようにするものである。
　本技術の第１の側面の画像処理装置は、入力された画像を構成する画素の色信号を輝度で除算することによって、各画素の色の相関を表す係数を求める係数演算部と、前記画像に写る物体を構成する所定の画素の前記係数として、同じ前記物体を構成する他の画素の前記係数を設定する係数設定部と、前記所定の画素に設定された前記係数に対して、入力された前記画像を構成する前記所定の画素の輝度を乗算し、前記所定の画素の色信号を復元する演算部とを備える。
　本技術の第２の側面の表示装置は、画像の輝度を伸張する輝度伸張部と、前記輝度伸張部から入力された画像を構成する画素の色信号を輝度で除算することによって、各画素の色の相関を表す係数を求める係数演算部と、入力された前記画像に写る物体を構成する所定の画素の前記係数として、同じ前記物体を構成する他の画素の前記係数を設定する係数設定部と、前記所定の画素に設定された前記係数に対して、入力された前記画像を構成する前記所定の画素の輝度を乗算し、前記所定の画素の色信号を復元する演算部とを含む画像処理部と、前記画像処理部により色信号が復元された前記所定の画素からなる画像を表示する表示部とを備える。
　本技術においては、入力された画像を構成する画素の色信号を輝度で除算することによって、各画素の色の相関を表す係数が求められ、前記画像に写る物体を構成する所定の画素の前記係数として、同じ前記物体を構成する他の画素の前記係数が設定される。また、前記所定の画素に設定された前記係数に対して、入力された前記画像を構成する前記所定の画素の輝度を乗算することによって前記所定の画素の色信号が復元される。
　本技術によれば、輝度が高い領域の色を復元することができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の一実施形態に係る画像処理回路の構成例を示すブロック図である。 色復元部の構成例を示すブロック図である。 色相関係数により表される画像の例を示す図である。 エッジ検出の例を示す図である。 ５×５画素の領域を示す図である。 色相関係数の設定の例を示す図である。 色相関係数の伝搬の方向の例を示す図である。 伝搬処理部の構成例を示すブロック図である。 色復元処理について説明するフローチャートである。 色復元処理について説明する、図９に続くフローチャートである。 色復元処理の効果を示す図である。 階調の復元の概念を示す図である。 TVの構成例を示すブロック図である。 コンピュータのハードウェアの構成例を示すブロック図である。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．第１の実施の形態（画像処理回路に適用した例）
　２．第２の実施の形態（TVに適用した例）
　３．その他の例
＜＜１．第１の実施の形態（画像処理回路に適用した例）＞＞
＜１－１．色復元部の構成＞
　図１は、本技術の一実施形態に係る画像処理回路の構成例を示すブロック図である。
　図１の画像処理回路１は、半導体チップ上のLSI(Large Scale Integration)などにより構成される。画像処理回路１にはSDR-HDR変換部１１が設けられる。
　SDR-HDR変換部１１に対しては、放送波やネットワークなどの所定の伝送路を介して提供されたコンテンツを再生して得られたビデオ信号が入力される。SDR-HDR変換部１１に入力されるビデオ信号が、BD(Blu-ray（登録商標） disc)などの記録媒体に記録されているコンテンツを再生して得られた信号であってもよい。SDR-HDR変換部１１に対しては、例えばSDR画像のビデオ信号が入力される。
　SDR-HDR変換部１１は、入力されたSDR画像をHDR画像に変換し、HDR画像を出力する。画像処理回路１の後段に設けられた回路においては、ディスプレイに表示するための信号処理などの各種の処理がHDR画像に対して施される。
　ここで、SDR画像が最高輝度を100nits（100cd/m2）の画像とした場合、HDR画像は、1000nitsなどの、最高輝度が100nitsを超える画像である。
　SDR-HDR変換部１１は、輝度伸張部２１と色復元部２２から構成される。
　輝度伸張部２１は、入力されたSDR画像を構成する各画素の輝度を伸張し、適宜100nitsを超える輝度を有する画素から構成される画像を生成する。例えば、輝度の伸張は、SDR画像を構成する各画素の輝度を、予め設定されたトーンカーブに従ってマッピングすることによって行われる。
　輝度伸張部２１は、輝度を伸張した画像を色復元部２２に出力する。色復元部２２に対しては、輝度を伸張した画像の各画素の色信号であるR’G’B’信号が供給される。
　色復元部２２は、輝度伸張部２１から供給されたR’G’B’信号に基づいて色復元処理を行う。色復元部２２は、色復元処理を行って得られたR’G’B’信号からなる画像をHDR画像として出力する。
　このように、SDR-HDR変換部１１においては、SDR画像の輝度を伸張し、色を復元する処理がSDR-HDR変換処理として行われる。
　図２は、色復元部２２の構成例を示すブロック図である。
　図２に示す各構成がハードウェアによって実現されるようにしてもよいし、少なくとも一部の構成が、画像処理回路１に設けられたプロセッサにより所定のプログラムが実行されることによって実現されるようにしてもよい。
　色復元部２２は、色相関係数演算部３１、フレームメモリ３２、エッジ探索部３３、伝搬処理部３４、フレームメモリ３５、および階調演算部３６から構成される。輝度伸張部２１から出力されたR’G’B’信号が、色相関係数演算部３１、エッジ探索部３３、および階調演算部３６に入力される。
　色相関係数演算部３１は、R’G’B’信号を輝度信号Y’で割ることによって（除算することによって）、R’/Y’, G’/Y’, B’/Y’の値を算出する。除算に用いられる輝度信号Y’は下式（１）により求められる。
Figure JPOXMLDOC01-appb-M000001
　色相関係数演算部３１は、演算により求めたR’/Y’, G’/Y’, B’/Y’の値をフレームメモリ３２に出力し、記憶させる。色相関係数演算部３１は、このような演算を、１フレームの画像を構成する全ての画素についてそれぞれ行う。
　ここで、物体の反射率Rは、ある面に対して入射する光の光束Φと、その面において反射する光の光束Φrより、下式（２）のように表される。また、反射率は、波長の関数である分光反射率R(λ)として表される。
Figure JPOXMLDOC01-appb-M000002
　R’/Y’, G’/Y’, B’/Y’の値は、それぞれ、R’G’B’の主波長におけるいわば簡易的な反射率であり、輝度成分をキャンセルした色を表す値であると言える。以下、適宜、各画素の色の相関を表す値という意味で、R’/Y’, G’/Y’, B’/Y’を色相関係数とする。
　フレームメモリ３２には、１フレームの画像を構成する各画素の色相関係数R’/Y’, G’/Y’, B’/Y’が記憶される。
　図３は、色相関係数により表される画像の例を示す図である。
　例えば、図３の左側に示すような元画像が入力された場合、色相関係数演算部３１においては、R’G’B’信号を輝度信号Y’で割ることによって、元画像を構成する各画素の色相関係数R’/Y’, G’/Y’, B’/Y’が求められる。
　R’/Y’, G’/Y’, B’/Y’の各値をR’G’B’に置き換えて画像として表現した場合、白抜き矢印の先に示すような、各画素の値としてR’/Y’, G’/Y’, B’/Y’が割り当てられた画像（マップ）として表される。
　色相関係数は、それぞれの色信号に含まれる輝度成分をキャンセルし、色成分自体を表す値であるから、同じ物体を構成する画素のR’/Y’, G’/Y’, B’/Y’の値は近い値となる。図３の右側に示す画像は、画像に写る各物体の領域をR’/Y’, G’/Y’, B’/Y’の値により色味で表す画像となる。
　エッジ探索部３３は、１フレームの画像を構成する各画素の色相関係数R’/Y’, G’/Y’, B’/Y’がフレームメモリ３２に記憶された場合、画像に写る物体のエッジを検出する。
　図４は、エッジ検出の例を示す図である。
　図４に示す画像Ｐの中央には、所定の色の球体状の物体Ｏが写っている。物体Ｏには、所定の方向にある光源からの光があたり、明るい部分と暗い部分が生じている。
　エッジ探索部３３は、各画素を中心として例えば５×５画素などの所定の領域を設定する。エッジ探索部３３は、下式（３）、（４）、（５）に示すように、各領域の中心にある画素の画素値と、領域内の他の各画素の画素値との差の絶対値を足し合わせることによって、R’G’B’それぞれについての、中心の画素と周辺の画素との画素値の差分ΔR，ΔG，ΔBを算出する。
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000005
　式（３）、（４）、（５）において、下付きの数字は、図５に示す各画素の位置（行／列）を示す。例えば、R33は、５×５画素の領域の中心にある画素のR’の値を表す。式（３）における「abs(R11-R33)」は、５×５画素の領域の１行目１列目にある画素のR’の値と、中心にある画素のR’の値との差の絶対値を表す。
　例えば、５×５画素の領域に物体Ｏのエッジが含まれておらず、２５個の全ての画素が同じ物体Ｏを構成する場合、明るさの違いこそあれ同じ色の画素であるから、差分ΔR，ΔG，ΔBの値は小さい値となる。反対に、５×５画素の領域に物体Ｏのエッジが含まれる場合、物体Ｏのエッジの内側と外側とで色が異なるから、差分ΔR，ΔG，ΔBの値は大きな値となる。
　エッジ探索部３３は、下式（６）に示すように、差分ΔR，ΔG，ΔBの和を閾値と比較し、５×５画素の領域に物体Ｏのエッジが含まれているか否かを判定する。
Figure JPOXMLDOC01-appb-M000006
　具体的には、エッジ探索部３３は、差分ΔR，ΔG，ΔBの和が閾値を超えている場合、５×５画素の領域に物体Ｏのエッジが含まれていると判定し、閾値未満である場合、５×５画素の領域に物体Ｏのエッジが含まれていないと判定する。
　例えば、図４に示す領域＃１乃至＃３のうち、領域＃１，＃３には、矢印の先に拡大して示すように物体Ｏのエッジが含まれていないから、差分ΔR，ΔG，ΔBの和が閾値未満となり、エッジが含まれていないと判定される。
　一方、領域＃２の右上には物体Ｏのエッジが含まれているから、差分ΔR，ΔG，ΔBの和が閾値を超え、エッジが含まれていると判定される。例えば、ある物体の外側が僅かでも含まれる場合には、エッジが含まれていると判定されるような値が閾値として設定される。
　エッジ探索部３３は、５×５画素の領域に物体Ｏのエッジが含まれていると判定した場合、中心の画素にエッジフラグを設定する。領域＃２の中央にバツ印を付して示す画素に、エッジフラグが設定される。このように、物体Ｏの実際のエッジの位置より内側の位置（物体の中心に近い位置）にある画素にエッジフラグが設定されることになる。
　エッジ探索部３３は、１フレームの画像を構成する全ての画素にそれぞれ注目して以上のようなエッジ検出を行った場合、エッジフラグに関する情報を伝搬処理部３４に出力する。
　ここでは、各画素のR’G’B’の値に基づいてエッジの検出が行われるものとしたが、色相関係数に基づいて行われるようにしてもよい。
　この場合、エッジ探索部３３は、各領域の中心にある画素の色相関係数と、領域内の他の各画素の色相関係数との差の絶対値を足し合わせることによって、中心の画素と周辺の画素との色相関係数の差分を算出する。エッジ探索部３３は、色相関係数の差分が閾値を超えている場合、中心の画素にエッジフラグを設定し、色相関係数の差分が閾値以下である場合、中心の画素にエッジフラグを設定しないことになる。
　伝搬処理部３４は、１フレームの画像を構成する各画素の色相関係数として、同じ物体を構成する他の画素の色相関係数を設定する。例えば、ある画素を中心として異なる方向にある複数の画素の色相関係数に基づいて求められた色相関係数が、注目する画素に設定される。このように、伝搬処理部３４は、画像を構成する各画素に色相関係数を設定する設定部として機能する。
　図６は、色相関係数の設定の例を示す図である。
　図６の左側に示すように、伝搬処理部３４は、注目する画素を中心として所定の領域を探索範囲＃１１として設定する。探索範囲は、エッジフラグが設定されている画素を探索する範囲である。
　図６の例においては、白抜き矢印の先に拡大して示すように、１５×１５画素の領域が探索範囲＃１１として設定されている。１５×１５画素の領域の中央の画素ｐ０が、注目する画素である。
　伝搬処理部３４は、画素ｐ０を基準として矢印Ａ１１に示すように右上方向にある画素の色相関係数を、近い画素の係数から順に、画素ｐ０の色相関係数を求めるのに用いる係数として設定する。伝搬処理部３４は、設定した色相関係数を、内部のメモリの、画素ｐ０に割り当てられた領域に順次上書きして記憶させる。
　注目する画素を中心として１画素ずつ離れた位置にある画素の色相関係数が順次設定されるから、離れた位置にある画素の色相関係数が、注目する画素に伝搬されてくることになる。
　伝搬処理部３４は、このような色相関係数の伝搬を、エッジフラグが設定された画素が伝搬元となるまで行う。
　図６の例においては、画素ｐ０の右上にある画素ｐ１の色相関係数Ｃ１が設定され（メモリに記憶され）、次に、色相関係数Ｃ１に上書きして、画素ｐ２の色相関係数Ｃ２が設定される。また、色相関係数Ｃ２に上書きして、白抜きの丸で囲んで示す、画素ｐ３の色相関係数Ｃ３が最終的に設定される。
　画素ｐ３はエッジフラグが設定されている画素である。エッジフラグが設定されている最も近い画素である画素ｐ３の色相関係数Ｃ３が設定された場合、それより離れた位置にある画素からの色相関係数の伝搬は行われない。図６の例においては、破線矢印Ａ１２で示す範囲にある画素からの色相関係数の伝搬は行われない。
　伝搬処理部３４は、このような色相関係数の伝搬を、図７に示すように上、右上、右、右下、下、左下、左、左上の８方向から行い、８方向から伝搬した８つの色相関係数に基づいて、注目する画素に設定する色相関係数を算出する。
　伝搬処理部３４による色相関係数の伝搬は、注目する画素を中心として異なる方向にある複数の画素であって、注目する画素と同じ物体を構成する、なるべく離れた位置にある画素の色相関係数を伝搬するようにして行われることになる。
　なお、図６の例においては、説明の便宜上、物体Ｏのエッジを構成する画素Ｐ３にエッジフラグが設定されているものとして説明したが、エッジフラグは、上述したように物体Ｏのエッジを構成する画素より内側にある画素に設定される。したがって、実際には、物体Ｏのエッジを構成する画素より内側にある画素を伝搬元とするまで、色相関係数の伝搬が行われることになる。
　伝搬処理部３４は、それぞれの方向から伝搬させた色相関係数に重み付けを行い、下式（７）乃至（９）に示すように足し合わせることによって、注目する画素の色相関係数R’/Y’, G’/Y’, B’/Y’を求める。
Figure JPOXMLDOC01-appb-M000007
Figure JPOXMLDOC01-appb-M000008
Figure JPOXMLDOC01-appb-M000009
　式（７）乃至（９）において、R’/Y’l, G’/Y’l, B’/Y’lは、左方向から伝搬させた色相関係数を表し、R’/Y’r, G’/Y’r, B’/Y’rは、右方向から伝搬させた色相関係数を表す。
　R’/Y’upper-l, G’/Y’upper-l, B’/Y’upper-lは、左上方向から伝搬させた色相関係数を表し、R’/Y’upper, G’/Y’upper, B’/Y’upperは、上方向から伝搬させた色相関係数を表す。R’/Y’upper-r, G’/Y’upper-r, B’/Y’upper-rは、右上方向から伝搬させた色相関係数を表す。R’/Y’lower-l, G’/Y’lower-l, B’/Y’lower-lは、左下方向から伝搬させた色相関係数を表し、R’/Y’lower, G’/Y’lower, B’/Y’lowerは、下方向から伝搬させた色相関係数を表す。R’/Y’lower-r, G’/Y’lower-r, B’/Y’lower-rは、右下方向から伝搬させた色相関係数を表す。
　Wl，Wr，Wupper-l，Wupper，Wupper-r，Wlower-l，Wlower，Wlower-rは、それぞれ、左、右、左上、上、右上、左下、下、右下の各方向から伝搬させた色相関係数に乗算する重みを表す。重みは下式（１０）の条件を満たす。
Figure JPOXMLDOC01-appb-M000010
　Wl，Wr，Wupper-l，Wupper，Wupper-r，Wlower-l，Wlower，Wlower-rの値として例えば同じ値が用いられる。この場合、各方向から伝搬させた色相関係数の平均が、注目する画素の色相関係数として設定されることになる。
　伝搬処理部３４は、このような色相関係数の設定を、１フレームの画像を構成する全ての画素にそれぞれ注目して行う。
　同一の物体を構成する画素であって、同一の光源との位置的関係にある画素であれば、飽和領域を構成する画素のように色が飛んでいる場合であっても、同じような色相関係数を持つと予測される。以上のようにして色相関係数を伝搬（内挿）させることにより、色が飽和している領域の色相関係数として、同一物体の色相関係数を用いた値を設定することが可能になる。
　また、同一物体のエッジを構成する画素より内側の画素の色相関係数を伝搬させることにより、その物体の実際の色を表す色相関係数を伝搬させることが可能になる。
　エッジを構成する画素は、画像の撮影に用いられたレンズの収差により色のにじみが生じ、物体の実際の色とは異なる色になっていることがある。内側の画素を用いることにより、そのような異なる色を表す色相関係数が伝搬されてしまうのを防ぐことが可能になる。
　図８は、以上のようにして色相関係数の伝搬を行う伝搬処理部３４の構成例を示すブロック図である。
　図８に示すように、伝搬処理部３４は、左方向伝搬部５１－１乃至右下方向伝搬部５１－８のそれぞれの後段に、重み付け部５２－１乃至重み付け部５２－８が接続されることによって構成される。重み付け部５２－１乃至重み付け部５２－８の後段には合成部５３が設けられる。
　左方向伝搬部５１－１は、注目する画素の左方向にある画素の色相関係数を、近くにある画素の色相関係数から順に、注目する画素の色相関係数の計算に用いる値としてフレームメモリ３２から読み出して内部のメモリにコピーする。左方向伝搬部５１－１は、エッジフラグが設定されている画素の色相関係数をコピーしたとき、最終的に得られたその色相関係数R’/Y’l, G’/Y’l, B’/Y’lを重み付け部５２－１に出力する。
　重み付け部５２－１は、左方向伝搬部５１－１から供給された色相関係数R’/Y’l, G’/Y’l, B’/Y’lにそれぞれ重みWlを乗算し、乗算して得られた値を合成部５３に出力する。
　右方向伝搬部５１－２乃至右下方向伝搬部５１－８、重み付け部５２－２乃至重み付け部５２－８も、それぞれ、左方向伝搬部５１－１、重み付け部５２－１と同様の処理を行う。
　すなわち、右方向伝搬部５１－２は、注目する画素の右方向にある画素の色相関係数を伝搬し、エッジフラグが設定されている画素の色相関係数をコピーしたとき、色相関係数R’/Y’r, G’/Y’r, B’/Y’rを重み付け部５２－２に出力する。
　重み付け部５２－２は、右方向伝搬部５１－２から供給された色相関係数R’/Y’r, G’/Y’r, B’/Y’rにそれぞれ重みWrを乗算し、乗算して得られた値を合成部５３に出力する。
　左上方向伝搬部５１－３は、注目する画素の左上方向にある画素の色相関係数を伝搬し、エッジフラグが設定されている画素の色相関係数をコピーしたとき、色相関係数R’/Y’upper-l, G’/Y’upper-l, B’/Y’upper-lを重み付け部５２－３に出力する。
　重み付け部５２－３は、左上方向伝搬部５１－３から供給された色相関係数R’/Y’upper-l, G’/Y’upper-l, B’/Y’upper-lにそれぞれ重みWupper-lを乗算し、乗算して得られた値を合成部５３に出力する。
　上方向伝搬部５１－４は、注目する画素の上方向にある画素の色相関係数を伝搬し、エッジフラグが設定されている画素の色相関係数をコピーしたとき、色相関係数R’/Y’upper, G’/Y’upper, B’/Y’upperを重み付け部５２－４に出力する。
　重み付け部５２－４は、上方向伝搬部５１－４から供給された色相関係数R’/Y’upper, G’/Y’upper, B’/Y’upperにそれぞれ重みWupperを乗算し、乗算して得られた値を合成部５３に出力する。
　右上方向伝搬部５１－５は、注目する画素の右上方向にある画素の色相関係数を伝搬し、エッジフラグが設定されている画素の色相関係数をコピーしたとき、色相関係数R’/Y’upper-r, G’/Y’upper-r, B’/Y’upper-rを重み付け部５２－５に出力する。
　重み付け部５２－５は、右上方向伝搬部５１－５から供給された色相関係数R’/Y’upper-r, G’/Y’upper-r, B’/Y’upper-rにそれぞれ重みWupper-rを乗算し、乗算して得られた値を合成部５３に出力する。
　左下方向伝搬部５１－６は、注目する画素の左下方向にある画素の色相関係数を伝搬し、エッジフラグが設定されている画素の色相関係数をコピーしたとき、色相関係数R’/Y’lower -l, G’/Y’lower-l, B’/Y’lower-lを重み付け部５２－６に出力する。
　重み付け部５２－６は、左下方向伝搬部５１－６から供給された色相関係数R’/Y’lower-l, G’/Y’lower-l, B’/Y’lower-lにそれぞれ重みWlower-lを乗算し、乗算して得られた値を合成部５３に出力する。
　下方向伝搬部５１－７は、注目する画素の下方向にある画素の色相関係数を伝搬し、エッジフラグが設定されている画素の色相関係数をコピーしたとき、色相関係数R’/Y’lower, G’/Y’lower, B’/Y’lowerを重み付け部５２－７に出力する。
　重み付け部５２－７は、下方向伝搬部５１－７から供給された色相関係数R’/Y’lower, G’/Y’lower, B’/Y’lowerにそれぞれ重みWlowerを乗算し、乗算して得られた値を合成部５３に出力する。
　右下方向伝搬部５１－８は、注目する画素の右下方向にある画素の色相関係数を伝搬し、エッジフラグが設定されている画素の色相関係数をコピーしたとき、色相関係数R’/Y’lower-r, G’/Y’lower-r, B’/Y’lower-rを重み付け部５２－８に出力する。
　重み付け部５２－８は、右下方向伝搬部５１－８から供給された色相関係数R’/Y’lower-r, G’/Y’lower-r, B’/Y’lower-rにそれぞれ重みWlower-rを乗算し、乗算して得られた値を合成部５３に出力する。
　合成部５３は、重み付け部５２－１乃至重み付け部５２－８の各部から供給された色相関係数を足し合わせることによって、注目する画素の色相関係数を算出する。合成部５３は、加算により求めた色相関係数をフレームメモリ３５に出力し、記憶させる。
　フレームメモリ３５には、１フレームの画像を構成する各画素の色相関係数R’/Y’, G’/Y’, B’/Y’が記憶される。フレームメモリ３５に記憶される各画素の色相関係数は、色相関係数演算部３１により求められた色相関係数とは異なるものとなる。
　なお、以上においては、色相関係数の伝搬元の方向が８方向であるものとしたが、任意の数の方向とすることが可能である。また、各方向から伝搬させた色相関係数に設定される重みが、方向毎に異なる値であってもよい。
　階調演算部３６は、各画素の色相関係数R’/Y’, G’/Y’, B’/Y’をフレームメモリ３５から読み出し、入力信号の輝度信号Y’を乗算することによって、新たなR’G’B’信号を生成する。
　新たなR’G’B’信号は、伝搬処理部３４において行われる演算と階調演算部３６において行われる演算とを含めると下式（１１）乃至（１３）のように表される。
Figure JPOXMLDOC01-appb-M000011
Figure JPOXMLDOC01-appb-M000012
Figure JPOXMLDOC01-appb-M000013
　フレームメモリ３５から読み出された色相関係数R’/Y’, G’/Y’, B’/Y’との乗算に用いられる輝度信号Y’は、入力されたR’G’B’信号に基づいて上式（１）により求められる値である。フレームメモリ３５から読み出された色相関係数R’/Y’, G’/Y’, B’/Y’は周りの画素の色相関係数に基づいて求められた値であるから、分母のY’は、入力されたR’G’B’信号に基づいて求められるY’とは異なる値であり、新たなR’G’B’信号が得られることになる。
　階調演算部３６は、１フレームの画像を構成する全ての画素のR’G’B’信号を算出し、出力する。階調演算部３６から出力されたR’G’B’信号により構成される画像が、HDR画像として後段の処理部において処理される。
　階調演算部３６により算出されたR’G’B’信号と、入力されたR’G’B’信号とのブレンド処理が行われ、色復元の効果が調整されるようにしてもよい。
＜１－２．色復元部の動作＞
　ここで、図９および図１０のフローチャートを参照して、以上のような構成を有する色復元部２２の色復元処理について説明する。色復元処理は、色復元の対象となるSDR画像が入力されたときに開始される。
　ステップＳ１において、色相関係数演算部３１は、１フレームのSDR画像のうちの１つの画素に注目する。ステップＳ２乃至４の処理が、注目する画素を対象として行われる。
　ステップＳ２において、色相関係数演算部３１は、入力されたR’G’B’信号に基づいて上式（１）の計算を行い、輝度信号Y’を求める。
　ステップＳ３において、色相関係数演算部３１は、入力されたR’G’B’信号を輝度信号Y’で割ることによって、色相関係数R’/Y’, G’/Y’, B’/Y’を求める。
　ステップＳ４において、色相関係数演算部３１は、計算により求めた色相関係数R’/Y’, G’/Y’, B’/Y’を、注目する画素の色相関係数としてフレームメモリ３２に記憶させる。
　ステップＳ５において、色相関係数演算部３１は、１フレームのSDR画像を構成する全ての画素に注目したか否かを判定する。色相関係数演算部３１は、全ての画素に注目していないとステップＳ５において判定した場合、ステップＳ１に戻り、注目する画素を他の画素に切り替えて、同様の処理を繰り返す。
　１フレームのSDR画像を構成する全ての画素に注目したとステップＳ５において判定した場合、処理はステップＳ６に進む。フレームメモリ３２には、１フレームの画像を構成する各画素の色相関係数R’/Y’, G’/Y’, B’/Y’が記憶される。
　ステップＳ６において、エッジ探索部３３は、各画素を中心として５×５画素などの所定の領域を設定し、中心にある画素の画素値と、領域内の他の各画素の画素値との差の絶対値に基づいて差分ΔR，ΔG，ΔBを算出する。
　ステップＳ７において、エッジ探索部３３は、差分ΔR，ΔG，ΔBの和が閾値以上ある画素にエッジフラグを設定する。上述したように、物体Ｏの実際のエッジの位置より内側の位置にある画素にエッジフラグが設定される。
　ステップＳ８において、伝搬処理部３４は、１フレームの画像のうちの１つの画素に注目する。ステップＳ９乃至１３の処理が、注目する画素を対象として行われる。
　ステップＳ９において、伝搬処理部３４は、所定の一方向にある画素の色相関係数を、エッジを構成する画素が伝搬元となるまで順次伝搬させる。
　ステップＳ１０において、伝搬処理部３４は、注目する画素を中心とした全ての方向からの色相関係数の伝搬を行ったか否かを判定する。伝搬処理部３４は、全ての方向からの色相関係数の伝搬を行っていないとステップＳ１０において判定した場合、ステップＳ９に戻り、方向を切り替えて色相関係数の伝搬を繰り返す。
　注目する画素を中心とした全ての方向からの色相関係数の伝搬を行ったとステップＳ１０において判定した場合、処理はステップＳ１１に進む。
　ステップＳ１１において、伝搬処理部３４は、各方向から伝搬させた色相関係数に重み付けを行い、加算することによって、注目する画素の色相関係数を求める。
　ステップＳ１２において、伝搬処理部３４は、加算により求めた色相関係数をフレームメモリ３５に出力し、記憶させる。
　ステップＳ１３において、階調演算部３６は、注目する画素の色相関係数R’/Y’, G’/Y’, B’/Y’をフレームメモリ３５から読み出し、入力信号の輝度信号Y’を乗算することによって新たなR’G’B’信号を生成する。階調演算部３６は、輝度信号Y’を乗算することによって得られたR’G’B’信号を出力信号として出力する。
　ステップＳ１４において、階調演算部３６は、１フレームの画像を構成する全ての画素に注目したか否かを判定する。階調演算部３６は、全ての画素に注目していないとステップＳ１４において判定した場合、ステップＳ８に戻り、注目する画素を他の画素に切り替えて、同様の処理を繰り返す。
　１フレームの画像を構成する全ての画素に注目したとステップＳ１４において判定された場合、処理は終了される。以上の処理が、各フレームのSDR画像を構成するR’G’B’信号が入力される毎に行われる。
　以上の処理により、色復元部２２は、白飛びが生じた領域などの、輝度が高い領域の画素の色を、同一物体の他の画素の色に基づいて復元することができる。
＜１－３．色復元処理について＞
　図１１は、色復元処理の効果を示す図である。
　図１１のＡは入力画像のRGB波形を表す。横方向が画素の位置を表し、縦方向が階調（最大100%）を表す。階調が100%を超える画素からなる領域が、色信号が飽和している領域である。
　図１１のＢは出力画像のRGB波形を表す。図１１のＢに示すRGB波形から、例えば太線の円で囲んで示すR波形の部分が復元されていることがわかる。
　色復元処理は、元の色相関係数を伝搬によって置き換えた色相関係数R’/Y’, G’/Y’, B’/Y’に入力信号の輝度信号Y’を乗算することによって、色を色相関係数から生成し、階調を輝度信号Y’から生成する処理となる。
　図１２は、階調の復元の概念を示す図である。
　図１２は、ＲとＧの画素の階調のうち、100％を超える部分（薄い色で示す部分）の階調が輝度信号に基づいて復元されることを示す。矢印の起点となる輝度信号の位置の画素と、矢印の終点の先にある画素は同じ位置の画素である。
　輝度信号Y’はITU-R BT.709の色差式である上式（１）により表されるから、輝度信号Y’の主成分はGreen成分である。入力信号の輝度信号Y’が100%を超えない限り（入力されたHDR画像の撮影が100%を超えない露出設定で撮影されている限り）、Red成分とBlue成分の階調を生成できることになる。
＜＜２．第２の実施の形態（TVに適用した例）＞＞
　図１３は、画像処理回路１を搭載したTV（テレビジョン受像機）の構成例を示すブロック図である。
　TV１０１のチューナ部１１１は、図示せぬアンテナから供給された放送波信号、または、衛星放送やケーブルテレビのセットトップボックスから供給された放送波信号を受信し、ユーザにより選択されたチャンネルの信号を抽出する。チューナ部１１１は、抽出した信号に対して、A/D変換、復調などの各種の処理を施し、各種の処理を施すことによって取得した番組のデータをデコーダ１１２に出力する。
　デコーダ１１２は、番組のデータを構成するビデオストリームをデコードし、デコードして得られた、番組の映像を構成するSDR画像を画像処理回路１に出力する。また、デコーダ１１２は、番組のデータを構成するオーディオストリームをデコードし、番組の音声をスピーカ１１４から出力させる。
　画像処理回路１は、上述したように、輝度伸張を行うことによってHDR画像を生成し、色復元処理を施す。画像処理回路１は、復元処理を施して得られたHRD画像をLCD(Liquid Crystal Display)や有機ELディスプレイなどよりなるディスプレイ１１３に出力し、番組の映像などを表示させる。
　CPU(Central Processing Unit)１１６、ROM(Read Only Memory)１１７、RAM(Random Access Memory)１１８は、バス１１５により相互に接続される。CPU１１６は、ROM１１７や記録部１１９に記録されているプログラムをRAM１１８を用いて実行し、TV１０１の全体を制御する。
　記録部１１９は、HDD(Hard Disk Drive)やSSD(Solid State Drive)などの記録媒体により構成される。記録部１１９は、番組のデータ、映像コンテンツ、EPGデータ、プログラムなどの各種のデータを記録する。
　通信部１２０は、インターネットなどのネットワークのインタフェースである。通信部１２０は、インターネット上のサーバとの間で通信を行う。
　操作I/F部１２１は、リモートコントローラから送信されてきたコマンドを受信し、バス１１５を介してCPU１１６に出力する。
　このように、画像処理回路１をTV１０１に設けることが可能である。
＜＜３．その他の例＞＞
　画像処理回路１がTVに搭載される場合について説明したが、再生装置、録画装置、PC、スマートフォン、タブレット端末などの、HDR画像を処理する各種の装置に搭載可能である。
　画像を構成する全ての画素に注目して色相関係数を伝搬し、色を復元する処理を行うものとしたが、色信号が飽和している領域の画素のみを対象として処理が施されるようにしてもよい。
　この場合、色復元部２２の前段には、色信号の飽和領域を検出する検出部が設けられる。色復元部２２においては、検出部により検出された飽和領域を構成する画素に対して、上述したような色復元処理が施される。
　色相関係数の伝搬元となる画素が物体のエッジより内側にある画素であるものとしたが、物体のエッジを構成する画素を伝搬元として色相関係数の伝搬が行われるようにしてもよい。
　また、色相関係数の伝搬が、一方向につき、エッジフラグが設定されている１画素の色相関係数を伝搬するようにして行われるものとしたが、中心の画素からエッジフラグが設定されている１画素までの間にある複数の画素の色相関係数を伝搬させるようにしてもよい。
＜コンピュータの例＞
　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
　図１４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
　CPU１００１、ROM１００２、RAM１００３は、バス１００４により相互に接続されている。
　バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、キーボード、マウスなどよりなる入力部１００６、ディスプレイ、スピーカなどよりなる出力部１００７が接続される。また、入出力インタフェース１００５には、ハードディスクや不揮発性のメモリなどよりなる記憶部１００８、ネットワークインタフェースなどよりなる通信部１００９、リムーバブルメディア１０１１を駆動するドライブ１０１０が接続される。
　以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを入出力インタフェース１００５及びバス１００４を介してRAM１００３にロードして実行することにより、上述した一連の処理が行われる。
　CPU１００１が実行するプログラムは、例えばリムーバブルメディア１０１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部１００８にインストールされる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
＜構成の組み合わせ例＞
　本技術は、以下のような構成をとることもできる。
（１）
　入力された画像を構成する画素の色信号を輝度で除算することによって、各画素の色の相関を表す係数を求める係数演算部と、
　前記画像に写る物体を構成する所定の画素の前記係数として、同じ前記物体を構成する他の画素の前記係数を設定する係数設定部と、
　前記所定の画素に設定された前記係数に対して、入力された前記画像を構成する前記所定の画素の輝度を乗算し、前記所定の画素の色信号を復元する演算部と
　を備える画像処理装置。
（２）
　前記係数設定部は、前記所定の画素を中心として異なる方向にある複数の前記他の画素の前記係数に基づいて、前記所定の画素に設定する前記係数を求める
　前記（１）に記載の画像処理装置。
（３）
　前記係数設定部は、複数の前記他の画素の前記係数の平均を、前記所定の画素の前記係数として求める
　前記（２）に記載の画像処理装置。
（４）
　注目する画素の色信号と、前記注目する画素の周りの画素の色信号との差に基づいて、前記物体のエッジを検出する検出部をさらに備える
　前記（１）乃至（３）のいずれかに記載の画像処理装置。
（５）
　前記係数設定部は、前記所定の画素の前記係数として、前記物体のエッジの内側にある前記他の画素の前記係数を設定する
　前記（４）に記載の画像処理装置。
（６）
　前記係数設定部は、前記画像を構成する全ての画素のそれぞれを前記所定の画素として前記係数を設定し、
　前記演算部は、前記画像を構成する全ての画素の色信号を復元する
　前記（１）乃至（５）のいずれかに記載の画像処理装置。
（７）
　前記係数設定部は、前記画像を構成する画素のうち、色信号が飽和している領域の画素を前記所定の画素として前記係数を設定し、
　前記演算部は、前記係数が設定された画素の色信号を復元する
　前記（１）乃至（５）のいずれかに記載の画像処理装置。
（８）
　SDR画像の輝度を伸張し、HDR画像を生成する輝度伸張部をさらに備え、
　前記係数演算部は、前記HDR画像に対して処理を行う
　前記（１）乃至（７）のいずれかに記載の画像処理装置。
（９）
　前記画像処理装置は、半導体チップとして構成される
　前記（１）乃至（８）のいずれかに記載の画像処理装置。
（１０）
　画像処理装置が、
　入力された画像を構成する画素の色信号を輝度で除算することによって、各画素の色の相関を表す係数を求め、
　前記画像に写る物体を構成する所定の画素の前記係数として、同じ前記物体を構成する他の画素の前記係数を設定し、
　前記所定の画素に設定された前記係数に対して、入力された前記画像を構成する前記所定の画素の輝度を乗算することによって前記所定の画素の色信号を復元する
　画像処理方法。
（１１）
　コンピュータに、
　入力された画像を構成する画素の色信号を輝度で除算することによって、各画素の色の相関を表す係数を求め、
　前記画像に写る物体を構成する所定の画素の前記係数として、同じ前記物体を構成する他の画素の前記係数を設定し、
　前記所定の画素に設定された前記係数に対して、入力された前記画像を構成する前記所定の画素の輝度を乗算することによって前記所定の画素の色信号を復元する
　処理を実行させるためのプログラム。
（１２）
　画像の輝度を伸張する輝度伸張部と、
　前記輝度伸張部から入力された画像を構成する画素の色信号を輝度で除算することによって、各画素の色の相関を表す係数を求める係数演算部と、入力された前記画像に写る物体を構成する所定の画素の前記係数として、同じ前記物体を構成する他の画素の前記係数を設定する係数設定部と、前記所定の画素に設定された前記係数に対して、入力された前記画像を構成する前記所定の画素の輝度を乗算し、前記所定の画素の色信号を復元する演算部とを含む画像処理部と、
　前記画像処理部により色信号が復元された前記所定の画素からなる画像を表示する表示部と
　を備える表示装置。
　１　画像処理回路，　１１　SDR-HDR変換部，　２１　輝度伸張部，　２２　色復元部，　３１　色相関係数演算部，　３２　フレームメモリ，　３３　エッジ探索部，　３４　伝搬処理部，　３５　フレームメモリ，　３６　階調演算部

Claims (12)

  1. 　入力された画像を構成する画素の色信号を輝度で除算することによって、各画素の色の相関を表す係数を求める係数演算部と、
    　前記画像に写る物体を構成する所定の画素の前記係数として、同じ前記物体を構成する他の画素の前記係数を設定する係数設定部と、
    　前記所定の画素に設定された前記係数に対して、入力された前記画像を構成する前記所定の画素の輝度を乗算し、前記所定の画素の色信号を復元する演算部と
    　を備える画像処理装置。
  2. 　前記係数設定部は、前記所定の画素を中心として異なる方向にある複数の前記他の画素の前記係数に基づいて、前記所定の画素に設定する前記係数を求める
    　請求項１に記載の画像処理装置。
  3. 　前記係数設定部は、複数の前記他の画素の前記係数の平均を、前記所定の画素の前記係数として求める
    　請求項２に記載の画像処理装置。
  4. 　注目する画素の色信号と、前記注目する画素の周りの画素の色信号との差に基づいて、前記物体のエッジを検出する検出部をさらに備える
    　請求項１に記載の画像処理装置。
  5. 　前記係数設定部は、前記所定の画素の前記係数として、前記物体のエッジの内側にある前記他の画素の前記係数を設定する
    　請求項４に記載の画像処理装置。
  6. 　前記係数設定部は、前記画像を構成する全ての画素のそれぞれを前記所定の画素として前記係数を設定し、
    　前記演算部は、前記画像を構成する全ての画素の色信号を復元する
    　請求項１に記載の画像処理装置。
  7. 　前記係数設定部は、前記画像を構成する画素のうち、色信号が飽和している領域の画素を前記所定の画素として前記係数を設定し、
    　前記演算部は、前記係数が設定された画素の色信号を復元する
    　請求項１に記載の画像処理装置。
  8. 　SDR画像の輝度を伸張し、HDR画像を生成する輝度伸張部をさらに備え、
    　前記係数演算部は、前記HDR画像に対して処理を行う
    　請求項１に記載の画像処理装置。
  9. 　前記画像処理装置は、半導体チップとして構成される
    　請求項１に記載の画像処理装置。
  10. 　画像処理装置が、
    　入力された画像を構成する画素の色信号を輝度で除算することによって、各画素の色の相関を表す係数を求め、
    　前記画像に写る物体を構成する所定の画素の前記係数として、同じ前記物体を構成する他の画素の前記係数を設定し、
    　前記所定の画素に設定された前記係数に対して、入力された前記画像を構成する前記所定の画素の輝度を乗算することによって前記所定の画素の色信号を復元する
    　画像処理方法。
  11. 　コンピュータに、
    　入力された画像を構成する画素の色信号を輝度で除算することによって、各画素の色の相関を表す係数を求め、
    　前記画像に写る物体を構成する所定の画素の前記係数として、同じ前記物体を構成する他の画素の前記係数を設定し、
    　前記所定の画素に設定された前記係数に対して、入力された前記画像を構成する前記所定の画素の輝度を乗算することによって前記所定の画素の色信号を復元する
    　処理を実行させるためのプログラム。
  12. 　画像の輝度を伸張する輝度伸張部と、
    　前記輝度伸張部から入力された画像を構成する画素の色信号を輝度で除算することによって、各画素の色の相関を表す係数を求める係数演算部と、入力された前記画像に写る物体を構成する所定の画素の前記係数として、同じ前記物体を構成する他の画素の前記係数を設定する係数設定部と、前記所定の画素に設定された前記係数に対して、入力された前記画像を構成する前記所定の画素の輝度を乗算し、前記所定の画素の色信号を復元する演算部とを含む画像処理部と、
    　前記画像処理部により色信号が復元された前記所定の画素からなる画像を表示する表示部と
    　を備える表示装置。
PCT/JP2018/038422 2017-10-30 2018-10-16 画像処理装置、画像処理方法、プログラム、および表示装置 WO2019087763A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017208863 2017-10-30
JP2017-208863 2017-10-30

Publications (1)

Publication Number Publication Date
WO2019087763A1 true WO2019087763A1 (ja) 2019-05-09

Family

ID=66331681

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/038422 WO2019087763A1 (ja) 2017-10-30 2018-10-16 画像処理装置、画像処理方法、プログラム、および表示装置

Country Status (1)

Country Link
WO (1) WO2019087763A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013110513A (ja) * 2011-11-18 2013-06-06 Keyence Corp 画像処理装置、画像処理方法及びコンピュータプログラム
WO2017033687A1 (ja) * 2015-08-27 2017-03-02 クラリオン株式会社 撮像装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013110513A (ja) * 2011-11-18 2013-06-06 Keyence Corp 画像処理装置、画像処理方法及びコンピュータプログラム
WO2017033687A1 (ja) * 2015-08-27 2017-03-02 クラリオン株式会社 撮像装置

Similar Documents

Publication Publication Date Title
TWI734978B (zh) 用於執行高動態範圍視訊的色調映射的方法及裝置
US10891722B2 (en) Display method and display device
JP6697755B2 (ja) 映像表示装置及び映像表示方法
JP6757890B2 (ja) 信号処理装置、表示装置、信号処理方法、およびプログラム
US11410343B2 (en) Information processing apparatus, information processing method, and non-transitory computer readable medium
KR100525143B1 (ko) 액정 표시 방법
JPWO2018062022A1 (ja) 調整装置、調整方法およびプログラム
TW201802664A (zh) 圖像輸出裝置、圖像輸出方法以及電腦程式產品
WO2018062022A1 (ja) 調整装置、調整方法およびプログラム
US20190174181A1 (en) Video signal processing apparatus, video signal processing method, and program
US8068691B2 (en) Sparkle processing
JPWO2017203941A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
WO2019087763A1 (ja) 画像処理装置、画像処理方法、プログラム、および表示装置
JP2018007133A (ja) 画像処理装置とその制御方法及びプログラム
JP2008070860A (ja) 高度に設定可能な汎用のビデオおよびグラフィック測定装置
TW201946445A (zh) 影像處理方法
WO2020240913A1 (ja) 画像処理方法、画像処理装置およびプログラム
TW201431379A (zh) 針對媒體串流的影像具有高抖動容忍之機制以促進動態相位檢測
US11341622B2 (en) Image processing apparatus, image capturing apparatus, image processing method, and storage medium
US20240112449A1 (en) Image identifying apparatus, video reproducing apparatus, image identifying method, and recording medium
US11025833B2 (en) Video signal processing apparatus, video signal processing method, and program for performing video signal processing in consideration of behavior of light in nature
JP2023168073A (ja) 画像処理装置および画像処理方法
WO2016189774A1 (ja) 表示方法および表示装置
JP2008205684A (ja) 色調整装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18872379

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18872379

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP