WO2018003665A1 - 画像処理装置、画像処理方法、制御プログラム、および記録媒体 - Google Patents

画像処理装置、画像処理方法、制御プログラム、および記録媒体 Download PDF

Info

Publication number
WO2018003665A1
WO2018003665A1 PCT/JP2017/023094 JP2017023094W WO2018003665A1 WO 2018003665 A1 WO2018003665 A1 WO 2018003665A1 JP 2017023094 W JP2017023094 W JP 2017023094W WO 2018003665 A1 WO2018003665 A1 WO 2018003665A1
Authority
WO
WIPO (PCT)
Prior art keywords
luminance value
value
image processing
processing apparatus
average luminance
Prior art date
Application number
PCT/JP2017/023094
Other languages
English (en)
French (fr)
Inventor
鈴木 秀樹
智夫 西垣
涼二 櫻井
吉山 和良
尚昭 柴本
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Priority to CN201780011179.2A priority Critical patent/CN109314757A/zh
Priority to US16/079,500 priority patent/US20190058843A1/en
Priority to JP2018525121A priority patent/JPWO2018003665A1/ja
Publication of WO2018003665A1 publication Critical patent/WO2018003665A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57Control of contrast or brightness
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10Intensity circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/20Circuitry for controlling amplitude response
    • H04N5/202Gamma control
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0233Improving the luminance or brightness uniformity across the screen
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0626Adjustment of display parameters for control of overall brightness
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/16Calculation or use of calculated indices related to luminance levels in display data

Definitions

  • the present invention relates to an image processing apparatus for adjusting a luminance value in a video signal.
  • a technology that uses the loudness, which is the volume of sound felt by people, to equalize the viewer's perception of the volume of sound for each content.
  • a high-luminance video such as a high dynamic range (HDR) video
  • HDR high dynamic range
  • Japanese Patent Publication Japanese Patent Laid-Open No. 10-322622 (published on Dec. 4, 1998)”
  • the psychological burden on the viewer may increase. For example, if the brightness in the main part of the program is normal, and the brightness in the CM inserted in the main part of the program is significantly brighter than the brightness in the main part of the program, the viewer will be able to switch to the CM from the main part of the program. Is surprised by the difference in brightness between the main program and the CM. On the other hand, when switching from CM to the main program, the viewer will see the main program after getting used to the brightness of the CM. You may not be able to empathize with.
  • the present invention has been made in view of the above problems, and an object of the present invention is to provide a technique for preventing the brightness of each content from changing greatly.
  • an image processing apparatus includes a calculation unit that calculates a video feature amount from a parameter in a transmission video signal, and the video feature amount calculated by the calculation unit is predetermined.
  • An adjustment unit that adjusts the parameter so as to approach the reference value.
  • an image processing method includes a calculation step of calculating a video feature amount from a parameter in a transmission video signal, and the video feature amount calculated in the calculation step is predetermined. Adjusting the parameter so as to approach the reference value.
  • FIG. 1 is a block diagram illustrating a configuration of an image processing apparatus according to a first embodiment of the present invention. It is a flowchart explaining the image processing method which concerns on Embodiment 1 of this invention. It is a figure for demonstrating the reference value in Embodiment 1 of this invention. It is a figure for demonstrating the reference value in Embodiment 1 of this invention. It is a figure for demonstrating the method to adjust the luminance value in Embodiment 1 of this invention. It is a flowchart explaining the image processing method which concerns on Embodiment 2 of this invention. It is a figure for demonstrating the method to exclude the luminance value beyond predetermined value in Embodiment 3 of this invention.
  • an average luminance value which is one of the sensory luminance values, is used as the video feature amount.
  • FIG. 1 is a block diagram illustrating a configuration of an image processing apparatus 1 according to the present embodiment. As shown in FIG. 1, a processing unit 2, an input unit 3, and a storage unit 4 are provided.
  • the processing unit 2 includes a video signal acquisition unit 5, a calculation unit 6, a reference value setting unit 7, and an adjustment unit 8.
  • the video signal acquisition unit 5 acquires a transmission video signal.
  • the calculation unit 6 calculates the video feature amount from the parameter in the transmission video signal. More specifically, the calculation unit 6 calculates a second average luminance value that is an average luminance value for each frame in a plurality of frames included in the transmission video signal acquired by the video signal acquisition unit 5, and The first average luminance value is calculated by averaging the second average luminance value for a plurality of frames.
  • the reference value setting unit 7 acquires the luminance values of various contents received by the input unit 3 or the luminance values of various contents held by the storage unit 4, and sets the reference value with reference to the luminance values. To do.
  • the adjustment unit 8 adjusts the parameters so that the video feature amount calculated by the calculation unit 6 approaches a predetermined reference value. More specifically, the adjustment unit 8 adjusts the luminance value in the transmission video signal so that the first average luminance value calculated by the calculation unit 6 approaches the reference value set by the reference value setting unit 7.
  • the input unit 3 receives brightness values of various contents from the outside.
  • the storage unit 4 stores luminance values of various contents received by the input unit 3.
  • the above-described video feature amount is an index indicating the sensuous brightness of the video.
  • An example of the video feature amount is a sensory luminance value.
  • the sensory luminance value is an index calculated from the luminance value in the video signal. Examples of sensory luminance values include average luminance value, maximum luminance value, median luminance value, and MaxFALL (Maximum Frame Average Level), which is static metadata defined by BDA (Blue-ray Disk Association). Etc.
  • the video feature amount includes not only an index calculated from the luminance value in the video signal, such as a sensory luminance value, but also an index calculated from the chromaticity in the video signal.
  • the median value of the luminance values an average median value obtained by averaging the median luminance values per frame over a plurality of frames, and the center of a histogram over a plurality of frames based on the average luminance value per frame. Any of the values, in other words, the median value of the histogram indicating the change over time of the average luminance value may be used.
  • FIG. 2 is a flowchart showing the image processing method.
  • the video signal acquisition unit 5 acquires a transmission video signal (step S0).
  • the transmission video signal may be an HDR video signal.
  • the calculation unit 6 calculates a second average luminance value, which is an average luminance value for each frame, in a plurality of frames included in the transmission video signal acquired by the video signal acquisition unit 5 (step S1). .
  • the plurality of frames herein may be all frames included in the transmission video signal, or may be a plurality of frames for each scene included in the transmission video signal.
  • the calculation unit 6 calculates the first average luminance value by averaging the second average luminance values for a plurality of frames (step S2).
  • the reference value setting unit 7 acquires luminance values of various contents via the input unit 3 or the storage unit 4, and sets the reference value with reference to the luminance values. (Step S3).
  • the reference value setting unit 7 may directly acquire a reference value determined outside the image processing apparatus 1.
  • steps S3 in steps S0 to S3 is not limited to the order of steps shown in FIG.
  • step S3 the adjustment unit 8 sets the luminance value in the transmission video signal so that the first average luminance value calculated by the calculation unit 6 approaches the reference value set by the reference value setting unit 7. Adjust (step S4).
  • step S5 the adjustment unit 8 outputs the transmission video signal whose luminance value has been adjusted.
  • FIGS. 5A to 5C are diagrams showing an example of a method for adjusting the reference value.
  • the horizontal axis represents the luminance value before adjustment in one frame of the transmission video signal
  • the vertical axis represents the luminance value after adjustment in the frame.
  • the origin of the luminance value and the maximum value of the luminance value are fixed, and a gamma curve is applied between the luminance value before adjustment and the luminance value after adjustment by gamma adjustment. The tone brightness value is adjusted.
  • FIG. 5A the origin of the luminance value and the maximum value of the luminance value are fixed, and a gamma curve is applied between the luminance value before adjustment and the luminance value after adjustment by gamma adjustment. The tone brightness value is adjusted.
  • the origin of the luminance value is fixed, and the luminance value after adjustment with respect to the luminance value before adjustment is multiplied by the gain by gain adjustment (contrast adjustment), and the luminance is not reduced.
  • the value is adjusted.
  • the offset adjustment block black level adjustment
  • the adjustment unit 8 adjusts the luminance value by gamma adjustment, gain adjustment, or offset adjustment, thereby bringing the first average luminance value closer to the reference value.
  • FIGS. 3A and 3B are diagrams for explaining a method of setting a reference value in accordance with shooting conditions when the content indicated by the transmission video signal is shot.
  • a of FIG. 3 has shown the imaging
  • the reference value is set to 300 nit for the transmission video signal indicating the content under the photographing condition.
  • B of FIG. 3 has shown the imaging
  • the reference value is set to 200 nit for the transmission video signal indicating the content under the photographing condition.
  • C of FIG. 3 has shown the imaging
  • the reference value is set to 100 nit for the transmission video signal indicating the content under the photographing condition.
  • D) of FIG. 3 has shown the imaging
  • the reference value is set to 200 nit for the transmission video signal indicating the content under the photographing condition.
  • An arbitrary method can be used as a method for the reference value setting unit 7 to set the reference value according to the shooting conditions. As an example of the method, still images indicating content under the same shooting conditions are collected, and There is a method in which a value obtained by averaging the average luminance values of still images is set as a reference value.
  • FIG. 4A and 4B are diagrams for explaining a method of setting a reference value according to the genre of content indicated by the transmission video signal.
  • FIG. 4A shows an example of content whose genre is a movie. The reference value is set to a value of 200 nit or less for the transmission video signal indicating the content of the genre.
  • FIG. 4B shows an example of content whose genre is drama. The reference value is set to a value of 300 nit or less for the transmission video signal indicating the content of the genre.
  • FIG. 4C shows an example of content whose genre is variety. The reference value is set to 300 nit for the transmission video signal indicating the content of the genre.
  • FIG. 4D shows an example of content whose genre is News.
  • the reference value is set to 200 nit for the transmission video signal indicating the content of the genre.
  • An arbitrary method can be used as a method for the reference value setting unit 7 to set the reference value according to the genre.
  • video signals indicating contents of the same genre are collected and the video signals are collected.
  • the image processing apparatus 1 sets the reference value according to the shooting condition when the content indicated by the transmission video signal is shot or the genre of the content indicated by the transmission video signal. Set to. Then, by adjusting the luminance value in the transmission video signal so that the first average luminance value approaches such a reference value, the receiver side that has received the transmission video signal is suitable for the type of content.
  • the content can be displayed with brightness.
  • the reference value a value according to the video feature amount of a standard moving image used for system evaluation as a standard video can be used.
  • the “value according to the video feature amount of the standard moving image” may be the value of the video feature amount of the standard moving image itself, or the difference from the value of the video feature amount of the standard moving image is It may be a value that falls within a predetermined range.
  • the predetermined range for example, about 10% of the value of the video feature amount of the standard moving image can be used, but this does not limit the present embodiment.
  • standard moving images include standard moving images obtained from ITR or JEITA, test patterns used in test broadcasting, and the like. Since broadcasters create content with reference to a standard moving image, the video feature amount of the standard moving image is suitable as a reference value.
  • the reference value may be a value obtained by averaging video feature amounts of many contents. In that case, it is preferable because an extreme image feature value can be eliminated.
  • the video feature amount of the content may be aggregated indiscriminately, or a value corresponding to the shooting condition when the content was shot or the genre of the content may be used as the reference value. Good.
  • When setting the reference value for each shooting condition when the content is shot divide the shooting condition into studio, outdoor, indoor, etc., and find the average of the video feature values of the content for each shooting condition. The obtained value may be used as the reference value.
  • the reference value may be a video feature value that many people do not feel uncomfortable in viewing.
  • the video feature amount is luminance, for example, it is conceivable to set the reference value to the highest luminance at which many people do not feel glare.
  • CM can be excluded when averaging the video feature quantities of content.
  • An example of the video feature amount is luminance.
  • the image processing apparatus 1 calculates the first average luminance value (video feature amount) from the luminance value (parameter) in the transmission video signal, and the first average luminance value (video).
  • the luminance value in the transmission video signal is adjusted so that the (feature value) approaches a predetermined reference value.
  • the image processing method of the image processing apparatus 1 according to the present embodiment is different from the steps of the image processing method of the image processing apparatus 1 according to the first embodiment only in steps S11, S12, and S14. Therefore, in the following, detailed description of steps other than steps S11, S12, and S14 corresponding to steps S1, S2, and S4 of the image processing method according to the first embodiment will be omitted.
  • FIG. 6 is a flowchart showing an image processing method according to the present embodiment.
  • the video signal acquisition unit 5 acquires a transmission video signal (step S10).
  • the calculation unit 6 calculates a second average luminance value, which is an average luminance value for each frame, in a plurality of consecutive frames (step S11).
  • the number of continuous frames here is an arbitrary number.
  • the second In order to calculate the average luminance value the number of frames referred to may be reduced.
  • the calculation unit 6 calculates the first average luminance value by calculating the moving average value of the second average luminance value (step S12).
  • the number of second average moving values referred to in order to calculate the moving average value of the second average luminance value is an arbitrary number. For example, when it is necessary to adjust the luminance value in the transmission video signal acquired later by the video signal acquisition unit 5 in response to the luminance value in the transmission video signal acquired by the video signal acquisition unit 5, the second What is necessary is just to reduce the number of 2nd average luminance values referred in order to calculate the moving average value of an average luminance value.
  • the reference value setting unit 7 acquires the luminance values of various contents via the input unit 3 or the storage unit 4, and sets the reference value with reference to the luminance values (step S13).
  • the order of steps S13 in steps S10 to S13 is not limited to the order of steps shown in FIG.
  • the adjustment unit 8 includes a plurality of consecutive frames referred to by the calculation unit 6 to calculate the second average luminance value so that the first average luminance value calculated by the calculation unit 6 approaches the reference value. The luminance value in the subsequent frame is adjusted (step S14).
  • the adjustment unit 8 outputs a transmission video signal whose luminance value has been adjusted (step S15).
  • the image processing apparatus 1 calculates the second average luminance value, which is the average luminance value for each frame, in a plurality of consecutive frames, and the moving average of the second average luminance values.
  • the first average luminance value is calculated by calculating the value.
  • the image processing apparatus 1 according to the present embodiment adjusts the luminance value in a frame after a plurality of consecutive frames so that the first average luminance value approaches the reference value. Thereby, according to the luminance value in a continuous frame, the luminance value in the frame after the said frame can be adjusted sequentially.
  • the calculation unit 6 uses a second average that is an average luminance value for each frame in a plurality of frames included in the transmission video signal. Luminance values were calculated.
  • the calculation unit 6 calculates the frame luminance value by excluding an area having a luminance equal to or higher than a predetermined threshold.
  • a predetermined threshold As an example, the processing of the calculation unit 6 when the maximum displayable luminance of the display panel is 1000 nits and the predetermined threshold is 200 nits will be described with reference to FIG. (A) to (d) of FIG. 7 are diagrams for explaining a method of excluding a luminance value greater than a predetermined value.
  • the calculation unit 6 calculates the luminance value of the predetermined luminance value for a high luminance region of 200 nits or more.
  • the second average luminance value is calculated without using it.
  • the calculation unit 6 sets an area having a luminance value equal to or higher than a predetermined threshold as an excluded area, and as shown in FIG.
  • the included luminance is not used for calculating the second average luminance value.
  • the calculation unit 6 refers to the luminance value included in the area other than the excluded area, and calculates the second average luminance value.
  • the image processing apparatus 1 calculates the second average luminance value by excluding the luminance value of a predetermined value or more from the luminance values in a plurality of frames. As a result, the average luminance value can be calculated without being affected by a significantly high luminance value.
  • the calculation unit 6 excludes at least one of a black screen (a screen having an average luminance equal to or lower than the threshold Bk) and a white screen (a screen having an average luminance equal to or higher than the threshold Wt (Bk ⁇ Wt)).
  • a black screen a screen having an average luminance equal to or lower than the threshold Bk
  • a white screen a screen having an average luminance equal to or higher than the threshold Wt (Bk ⁇ Wt)
  • FIG. 8 shows pseudo code for the calculation unit 6 to calculate the sensory luminance value according to aspect 2 of the present embodiment.
  • the calculation unit 6 calculates a linear luminance value Y (linear luminance value Y) of each pixel included in an active image area in a certain frame.
  • the active image area refers to an area obtained by excluding an area having a predetermined luminance value or more from a target frame, but is not limited thereto, and can be set as appropriate.
  • the linear luminance value Y is calculated by the pseudo code shown in the dotted frame in FIG.
  • EOTF Electro-Optical Transfer Function
  • calculation part 6 sets the average of the luminance value Y of all the pixels contained in an active area as average luminance frameAverageLuminance in the said frame, as shown in FIG.
  • the calculation unit 6 includes a black screen (a screen having an average luminance equal to or less than the threshold Bk) and a white screen (the average luminance is a threshold Wt (Bk ⁇ Bk ⁇
  • the sensory luminance value of the target video is calculated by taking the average of the average luminance frameAverageLuminance after excluding at least one of the screens Wt) and higher).
  • the image processing apparatus 1 similarly to the image processing apparatus 1 according to the third embodiment, the image processing apparatus 1 according to the present embodiment excludes the luminance values greater than or equal to the predetermined value from the luminance values in a plurality of frames. An average luminance value is calculated. As a result, the average luminance value can be calculated without being affected by a significantly high luminance value.
  • the sensory luminance value is the first average luminance value
  • the image processing apparatus 1 calculates the first average luminance value so that the first average luminance value approaches the reference value.
  • the luminance value in the transmission video signal was adjusted.
  • the sensory luminance value may be the maximum frame average luminance (hereinafter referred to as MaxFALL), and the image processing apparatus 1 calculates MaxFALL, and the luminance value in the transmission video signal so that the MaxFALL approaches the reference value. May be adjusted.
  • MaxFALL MaxFALL will be described in detail.
  • MaxFALL is the maximum value of average luminance in all frames constituting the video.
  • FIG. 9 shows a pseudo code for the calculation unit 6 to calculate MaxFALL.
  • the calculation unit 6 calculates a non-linear pixel value (R ′, G ′, B ′) for each pixel included in an active image area in a certain frame as cd / It is converted into (R, G, B) which is a linear luminance value with m 2 (candelas per square meter) as a unit. Then, the maximum value of (R, G, B) is set as the maximum luminance value (maxRGB) in the pixel.
  • the calculation unit 6 sets the average of the maximum luminance values maxRGB of all the pixels included in the active area as the average luminance value (frameAverageLightLevel) in the frame.
  • the calculation unit 6 sets the maximum average luminance value among the average luminance values of all the frames included in the video sequence to MaxFALL, and sets this MaxFALL as the sensory luminance value of the target video.
  • the adjustment unit 8 adjusts the luminance value in the transmission video signal so that MaxFALL calculated by the calculation unit 6 approaches a predetermined reference value.
  • the control block of the image processing apparatus 1 (particularly the video signal acquisition unit 5, the calculation unit 6, the reference value setting unit 7, and the adjustment unit 8 in the processing unit 2) is a logic circuit (hardware) formed in an integrated circuit (IC chip) or the like. Hardware), or software using a CPU (Central Processing Unit).
  • the image processing apparatus 1 includes a CPU that executes instructions of a program that is software for realizing each function, and a ROM (Read (Only Memory) in which the program and various data are recorded so as to be readable by the computer (or CPU).
  • a storage device (these are referred to as “recording media”), a RAM (Random Access Memory) for expanding the program, and the like are provided.
  • the objective of this invention is achieved when a computer (or CPU) reads the said program from the said recording medium and runs it.
  • a “non-temporary tangible medium” such as a tape, a disk, a card, a semiconductor memory, a programmable logic circuit, or the like can be used.
  • the program may be supplied to the computer via an arbitrary transmission medium (such as a communication network or a broadcast wave) that can transmit the program.
  • a transmission medium such as a communication network or a broadcast wave
  • the present invention can also be realized in the form of a data signal embedded in a carrier wave in which the program is embodied by electronic transmission.
  • calculation includes derivation, calculation, calculation, guidance, and the like.
  • adjustment includes correction, adjustment, adaptation, correction, setting, and the like.
  • the “sensory luminance value” in this specification includes visual luminance, visual correction luminance, sensitivity luminance, sensory luminance, and the like.
  • An image processing apparatus (1) includes a calculation unit (6) that calculates a video feature amount from parameters in a transmission video signal, and the video feature amount calculated by the calculation unit is a predetermined reference value And an adjustment unit (8) for adjusting the parameter so as to approach
  • the parameter is a luminance value
  • the video feature amount is a sensory luminance value
  • the image processing apparatus (1) according to aspect 3 of the present invention is the image processing apparatus (1) according to aspect 2, in which the calculation unit calculates the sensory luminance value as an average luminance value, a maximum luminance value, and a median value of luminance values of the transmission video signal. , And MAXFALL are calculated with reference to at least one of them.
  • the calculation unit includes a screen having an average luminance value equal to or lower than a first threshold and a mean luminance value of the display video represented by the transmission video signal.
  • the sensory luminance value is calculated by excluding at least one of the screens of two or more threshold values.
  • the sensory luminance value is a first average luminance value.
  • the image processing apparatus according to aspects 2 to 4 can be suitably used.
  • the image processing apparatus (1) according to aspect 6 of the present invention is the image processing apparatus (1) according to aspect 5, wherein the calculation unit is a second average that is an average luminance value for each frame in a plurality of frames included in the transmission video signal.
  • the first average luminance value is calculated by calculating the luminance value and averaging the second average luminance value for the plurality of frames.
  • the first average luminance value corresponding to the average luminance value for each frame included in the transmission video signal is calculated, and the first average luminance value approaches the predetermined reference value. , Adjust the brightness value. Thereby, the luminance value can be adjusted according to the average luminance value for each frame.
  • the calculation unit calculates a second average luminance value that is an average luminance value for each frame in a plurality of consecutive frames.
  • the moving average value of the second average luminance value is calculated to calculate the first average luminance value, and the adjustment unit is configured such that the first average luminance value calculated by the calculating unit is the predetermined value.
  • the brightness value in the frame after the plurality of consecutive frames is adjusted so as to approach the reference value.
  • the luminance value in the subsequent frames can be sequentially adjusted according to the luminance value in the consecutive frames.
  • the image processing apparatus (1) according to aspect 8 of the present invention is the image processing apparatus (1) according to aspect 6 or 7, wherein the calculation unit excludes a luminance value greater than or equal to a predetermined value from luminance values in the plurality of frames. A luminance value is calculated.
  • the average luminance value can be calculated without being affected by a significantly high luminance value, and the luminance value is adjusted so that the average luminance value approaches a predetermined reference value.
  • the luminance value can be adjusted without being affected by a significantly high luminance value.
  • the adjustment unit is configured so that the first average luminance value calculated by the calculation unit approaches a predetermined reference value.
  • the luminance value is adjusted by at least one of gamma adjustment, gain adjustment, and offset adjustment.
  • the luminance value of the content can be adjusted without giving the viewer a sense of incongruity.
  • the image processing apparatus (1) according to the tenth aspect of the present invention provides the image processing apparatus (1) according to the first to ninth aspects, wherein the predetermined reference value is a shooting condition when shooting the content indicated by the transmission video signal, or the transmission video.
  • a reference value setting unit (7) for setting a value corresponding to the content genre indicated by the signal is further provided.
  • the luminance value in the transmission video signal so that the video feature amount approaches the set reference value, it is suitable for the type of content on the receiver side that has received the transmission video signal.
  • the content can be displayed with high brightness.
  • the predetermined reference value is a value according to the video feature amount of the standard moving image.
  • the image processing apparatus according to the above aspects 1 to 10 can be suitably used.
  • An image processing method includes: a calculation step of calculating a video feature amount from a parameter in a transmission video signal; and the video feature amount calculated in the calculation step so as to approach a predetermined reference value. Adjusting the parameter.
  • the image processing apparatus (1) adjusts the parameter so that the video feature amount corresponding to the parameter in the transmission video signal approaches a predetermined reference value.
  • the parameter is a luminance value
  • the video feature amount is a sensory luminance value
  • the image processing apparatus (1) according to aspect 16 of the present invention is the image processing apparatus (1) according to aspect 15, wherein the sensory luminance value is at least an average luminance value, a maximum luminance value, a median value of luminance values, and MAXFALSE of the transmission video signal. Calculate with reference to either.
  • the image processing apparatus (1) according to aspect 17 of the present invention is the image processing apparatus (1) according to aspect 15 or 16, wherein the display image represented by the transmission video signal has a screen having an average brightness value equal to or less than a first threshold value Is calculated by excluding at least one of the screens having the second threshold value or more.
  • the image processing device (1) according to aspect 18 of the present invention is the image processing apparatus (1) according to any one of claims 15 to 17, characterized in that, in the aspects 15 to 17, the sensory luminance value is a first average luminance value.
  • the image processing apparatus (1) calculates the second average luminance value, which is the average luminance value for each frame, in the plurality of frames included in the transmission video signal in the above aspect 18, respectively. Then, the first average luminance value is calculated by averaging the second average luminance value for the plurality of frames.
  • the second average luminance value that is an average luminance value for each frame is calculated in the plurality of consecutive frames, and the second average
  • the first average luminance value is calculated, and the calculated first average luminance value of the plurality of consecutive frames is approximated to the predetermined reference value.
  • the brightness value in the subsequent frame is adjusted.
  • the second average luminance value is calculated by excluding luminance values equal to or greater than a predetermined value from the luminance values in the plurality of frames. .
  • the image processing apparatus (1) performs gamma adjustment, gain adjustment, and offset adjustment so that the calculated first average luminance value approaches a predetermined reference value in the above aspects 18 to 21.
  • the luminance value is adjusted by at least one of them.
  • the image processing apparatus (1) according to the aspect 23 of the present invention provides the image processing apparatus (1) according to any of the above aspects 14 to 22, wherein the predetermined reference value is a shooting condition when the content indicated by the transmission video signal is captured, or the transmission video.
  • the value is set according to the genre of the content indicated by the signal.
  • the image processing apparatus may be realized by a computer.
  • the image processing apparatus is operated on each computer by causing the computer to operate as each unit (software element) included in the image processing apparatus.
  • the image processing apparatus control program of the image processing apparatus to be realized and a computer-readable recording medium on which the program is recorded also fall within the scope of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Picture Signal Circuits (AREA)
  • Television Receiver Circuits (AREA)
  • Image Processing (AREA)

Abstract

コンテンツ毎の明るさに対する視聴者の感じ方が大きく変化することを防ぐ技術を提供する。画像処理装置(1)は、送信用映像信号におけるパラメータから映像特徴量を算出する算出部(6)と、前記算出部が算出した前記映像特徴量が所定の基準値に近づくように、前記パラメータを調整する調整部(8)と、を備えている。

Description

画像処理装置、画像処理方法、制御プログラム、および記録媒体
 本発明は、映像信号における輝度値を調整する画像処理装置に関する。
 音声に関する技術では、人が感じる音の大きさであるラウドネスを用いて、コンテンツ毎の音の大きさに対する視聴者の感じ方を均一化する技術が知られている。また、映像に関する技術では、高ダイナミックレンジ(HDR)映像等の高輝度の映像を表示することが可能となり、コンテンツ毎で視聴者による明るさの感じ方が大きく変わる機会が多くなってきている。
日本国公開特許公報「特開平10-322622号公報(1998年12月4日公開)」
 コンテンツ毎で視聴者による明るさの感じ方が大きく変化すると、視聴者の心理的負担が大きくなる場合がある。例えば、番組本編における明るさは、通常の明るさで、番組本編に挿入されるCMにおける明るさは、番組本編における明るさよりも大幅に明るい場合、番組本編からCMに切り替わったときに、視聴者は、番組本編とCMとの明るさの違いに驚いてしまう。また、逆に、CMから番組本編に切り替わったときに、視聴者は、CMの明るさに慣れた後に番組本編を見ることになるため、番組本編に対して、極めて暗い印象を受け、番組本編への感情移入ができない場合がある。
 本発明は、上記の問題点に鑑みてなされたものであり、その目的は、コンテンツ毎の明るさが大きく変化することを防ぐ技術を提供することである。
 上記の課題を解決するために、本発明の一態様に係る画像処理装置は、送信用映像信号におけるパラメータから映像特徴量を算出する算出部と、前記算出部が算出した前記映像特徴量が所定の基準値に近づくように、前記パラメータを調整する調整部と、を備えている。
 上記の課題を解決するために、本発明の一態様に係る画像処理方法は、送信用映像信号におけるパラメータから映像特徴量を算出する算出工程と、前記算出工程で算出した前記映像特徴量が所定の基準値に近づくように、前記パラメータを調整する調整工程と、を含む。
 本発明の一態様によれば、コンテンツ毎の明るさに対する視聴者の感じ方が大きく変化することを防ぐことができ、視聴者の無用な心理的負担を軽減することができる。
本発明の実施形態1に係る画像処理装置の構成を示すブロック図である。 本発明の実施形態1に係る画像処理方法を説明するフローチャートである。 本発明の実施形態1における基準値を説明するための図である。 本発明の実施形態1における基準値を説明するための図である。 本発明の実施形態1における輝度値を調整する方法を説明するための図である。 本発明の実施形態2に係る画像処理方法を説明するフローチャートである。 本発明の実施形態3における所定値以上の輝度値を除外する方法を説明するための図である。 本発明の実施形態3の態様2における感覚輝度値を算出するための疑似コードである。 本発明の実施形態3の態様2における感覚輝度値を算出するための疑似コードである。 MaxFALLを算出するための疑似コードである。
 以下、本発明の実施形態について、詳細に説明する。ただし、本実施形態に記載されている構成は、特に特定的な記載がない限り、この発明の範囲をそれのみに限定する趣旨ではなく、単なる説明例に過ぎない。
 下記で説明する実施形態では、映像特徴量として、感覚輝度値のうちの1つの指標である平均輝度値を用いた例を示す。
 〔実施形態1〕
 (画像処理装置1)
 本発明の第1の実施形態に係る画像処理装置1について、図1を参照して説明する。図1は、本実施形態に係る画像処理装置1の構成を示すブロック図である。図1が示すように、処理部2、入力部3、および記憶部4を備えている。
 処理部2は、映像信号取得部5、算出部6、基準値設定部7、および調整部8を備えている。映像信号取得部5は、送信用映像信号を取得する。
 算出部6は、送信用映像信号におけるパラメータから映像特徴量を算出する。より詳細には、算出部6は、映像信号取得部5が取得した送信用映像信号に含まれる複数のフレームにおいて、フレーム毎の平均輝度値である第2の平均輝度値をそれぞれ算出し、当該複数のフレームについて当該第2の平均輝度値を平均することにより、第1の平均輝度値を算出する。
 基準値設定部7は、入力部3が受け付けた種々のコンテンツの輝度値、または記憶部4が保持している種々のコンテンツの輝度値を取得し、当該輝度値を参照して基準値を設定する。
 調整部8は、算出部6が算出した映像特徴量が所定の基準値に近づくように、パラメータを調整する。より詳細には、調整部8は、基準値設定部7が設定した基準値に、算出部6が算出した第1の平均輝度値が近づくように、送信用映像信号における輝度値を調整する。
 入力部3は、外部から、種々のコンテンツの輝度値を受け付ける。記憶部4は、入力部3が受け付けた種々のコンテンツの輝度値を記憶する。
 なお、上述の映像特徴量とは、映像の感覚的な明るさを示す指標である。映像特徴量の例として、感覚輝度値等を挙げることができる。感覚輝度値とは、映像信号における輝度値から算出される指標である。感覚輝度値の例として、平均輝度値、最大輝度値、輝度値の中央値、および、BDA(Blue-ray Disk Association)にて定義された静的メタデータであるMaxFALL(Maximum Frame Average Light Level)等を挙げることができる。なお、映像特徴量は、感覚輝度値のように映像信号における輝度値から算出される指標のみではなく、映像信号における色度から算出される指標も含む。また、輝度値の中央値としては、1フレームあたりの輝度値の中央値を複数フレームに亘って平均した平均中央値、および、1フレームあたりの平均輝度値に基づく、複数フレームに亘るヒストグラムの中央値、換言すれば、平均輝度値の経時変化を示すヒストグラムの中央値の何れであってもよい。
 (画像処理装置1による画像処理方法)
 本実施形態に係る画像処理装置1により実行される画像処理方法を、図2を参照して説明する。図2は、画像処理方法を示すフローチャートである。
 まず、映像信号取得部5は、送信用映像信号を取得する(ステップS0)。ここで、送信用映像信号は、HDR映像信号であり得る。次に、算出部6は、映像信号取得部5が取得した送信用映像信号に含まれる複数のフレームにおいて、フレーム毎の平均輝度値である第2の平均輝度値をそれぞれ算出する(ステップS1)。ここにおける複数のフレームは、送信用映像信号に含まれる全てのフレームであってもよいし、送信用映像信号に含まれるシーン毎の複数のフレームであってもよい。ステップS1の次に、算出部6は、複数のフレームについて第2の平均輝度値を平均することにより、第1の平均輝度値を算出する(ステップS2)。
 次に、基準値設定部7は、入力部3または記憶部4を介して、種々のコンテンツの輝度値を取得し、当該輝度値を参照して基準値を設定する。(ステップS3)。なお、基準値設定部7は、画像処理装置1の外部で決定された基準値を直接取得してもよい。
 なお、ステップS0~S3におけるステップS3の工程の順序は、図2に示される工程の順序に限定されない。
 ステップS3の次の工程として、調整部8は、基準値設定部7が設定した基準値に、算出部6が算出した第1の平均輝度値が近づくように、送信用映像信号における輝度値を調整する(ステップS4)。次に、調整部8は、輝度値を調整した送信用映像信号を出力する(ステップS5)。
 上記のステップS4において、調整部8が輝度値を調整する方法は、任意の方法を用いることができるが、以下で、当該方法の例について、図5を参照して説明する。図5の(a)~(c)は、基準値を調整する方法の例を示す図である。図5の(a)~(c)の各グラフにおいて、横軸は、送信用映像信号のある1フレームにおける調整前の輝度値であり、縦軸は、当該フレームにおける調整後の輝度値である。図5の(a)のグラフでは、輝度値の原点と輝度値の最大値とを固定し、ガンマ調整によって、調整前の輝度値と調整後の輝度値とにガンマカーブがかかるように、中間調の輝度値を調整している。図5の(b)のグラフでは、輝度値の原点が固定され、ゲイン調整(コントラスト調整)によって、調整前の輝度値に対する調整後の輝度値にゲインを乗算し、低輝度を潰さずに輝度値を調整している。図5の(c)のグラフでは、オフセット調整ブロック(黒レベル調整)を利用して、調整前の輝度値に対する調整後の輝度値にオフセットを加算し、中間の輝度値の階調性を変化させずに輝度値を調整している。調整部8は、図5(a)~(c)の例のように、輝度値をガンマ調整、ゲイン調整またはオフセット調整によって調整することにより、第1の平均輝度値を基準値に近づける。これにより、視聴者に違和感を与えることなく、コンテンツの輝度値を調整することができる。
(基準値の設定例)
 以下で、本明細書における基準値の例について、図3および4を参照して説明する。図3の(a)~(b)は、送信用映像信号が示すコンテンツを撮影したときの撮影条件に応じて基準値を設定する方法を説明するための図である。図3の(a)は、撮影条件として、撮影場所が屋外であり、天候が晴れである撮影対象を示している。当該撮影条件におけるコンテンツを示す送信用映像信号に対して、基準値を300nitに設定する。図3の(b)は、撮影条件として、撮影場所が屋外であり、天候が曇りである撮影対象を示している。当該撮影条件におけるコンテンツを示す送信用映像信号に対して、基準値を200nitに設定する。図3の(c)は、撮影条件として、撮影場所が屋内である撮影対象を示している。当該撮影条件におけるコンテンツを示す送信用映像信号に対して、基準値を100nitに設定する。図3の(d)は、撮影条件として、撮影場所がスタジオである撮影対象を示している。当該撮影条件におけるコンテンツを示す送信用映像信号に対して、基準値を200nitに設定する。基準値設定部7が撮影条件に応じた基準値を設定する方法として、任意の方法を用いることができるが、当該方法の一例として、同一の撮影条件におけるコンテンツを示す静止画像を集め、それらの静止画像の平均輝度値を平均した値を基準値として設定する方法が挙げられる。
 また、図4の(a)~(b)は、送信用映像信号が示すコンテンツのジャンルに応じて基準値を設定する方法を説明するための図である。図4の(a)は、ジャンルが映画であるコンテンツの例を示している。当該ジャンルのコンテンツを示す送信用映像信号に対して、基準値を200nit以下の値に設定する。図4の(b)は、ジャンルがドラマであるコンテンツの例を示している。当該ジャンルのコンテンツを示す送信用映像信号に対して、基準値を300nit以下の値に設定する。図4の(c)は、ジャンルがバラエティであるコンテンツの例を示している。当該ジャンルのコンテンツを示す送信用映像信号に対して、基準値を300nitに設定する。図4の(d)は、ジャンルがニューズであるコンテンツの例を示している。当該ジャンルのコンテンツを示す送信用映像信号に対して、基準値を200nitに設定する。基準値設定部7がジャンルに応じた基準値を設定する方法として、任意の方法を用いることができるが、当該方法の一例として、同一のジャンルのコンテンツを示す映像信号を集め、それらの映像信号におけるフレーム毎の平均輝度値を平均した値を基準値として設定する方法が挙げられる。
 上記のように、本実施形態に係る画像処理装置1は、基準値を、送信用映像信号が示すコンテンツを撮影したときの撮影条件、または送信用映像信号が示すコンテンツのジャンル、に応じた値に設定する。そして、そのような基準値に第1の平均輝度値が近づくように、送信用映像信号における輝度値を調整することにより、送信用映像信号を受信した受信機側において、コンテンツの種類に適した明るさで、コンテンツを表示することができる。
 (基準値の種々の例)
 また、基準値として、標準的な映像としてシステム評価に用いる標準動画像の映像特徴量に準じた値を用いることもできる。ここで、「標準動画像の映像特徴量に準じた値」とは、標準動画像の映像特徴量の値そのものであってもよいし、標準動画像の映像特徴量の値との差が、所定の範囲内に収まる値であってもよい。ここで、所定の範囲としては、例えば、標準動画像の映像特徴量の値の10%程度を用いることができるが、これは本実施形態を限定するものではない。また、標準動画像の例としては、ITRもしくはJEITAから得られる標準動画像、または、試験放送で用いられるテストパターン等が挙げられる。放送事業者は、標準動画像を参考にコンテンツを作成するため、標準動画像の映像特徴量は、基準値として好適である。
 また、基準値は、多くのコンテンツの映像特徴量を平均した値であり得る。その場合、極端な映像特徴量の値を排除出来るので好適である。基準値を設定するために、無差別にコンテンツの映像特徴量を集計してもよいし、また、コンテンツを撮影したときの撮影条件、またはコンテンツのジャンル、に応じた値を、基準値としてもよい。基準値を、コンテンツを撮影したときの撮影条件毎に設定する場合は、撮影条件を、スタジオ、屋外、および室内等に分け、撮影条件毎に、それらのコンテンツの映像特徴量の平均をそれぞれ求めた値を基準値としてもよい。
 また、視聴上、多くの人が不快さを感じない映像特徴量の値を基準値としてもよい。映像特徴量が輝度である場合、例えば、基準値を、多くの人がまぶしさを感じない最も高い輝度に設定することが考えられる。
 また、コンテンツの映像特徴量の平均を取る際に、CMを除くこともできる。なお、映像特徴量の一例は、輝度である。
 (実施形態1のまとめ)
 以上のように、本実施形態に係る画像処理装置1は、送信用映像信号における輝度値(パラメータ)から第1の平均輝度値(映像特徴量)を算出し、第1の平均輝度値(映像特徴量)が所定の基準値に近づくように、送信用映像信号における輝度値を調整する。これにより、輝度値が調整された送信用映像信号を受信した受信機側において、コンテンツ毎の明るさが大きく変化することを防ぐことができ、視聴者の無用な心理的負担を軽減することができる。
 〔実施形態2〕
 本発明の実施形態2について説明すれば、以下のとおりである。なお、本実施形態では、実施形態1で説明した画像処理装置1を用いることができる。そのため、画像処理装置1における各部材については、その説明を省略する。
 本実施形態に係る画像処理装置1の画像処理方法は、実施形態1に係る画像処理装置1の画像処理方法の各工程と、ステップS11、S12およびS14の工程のみが異なる。そのため、下記では、実施形態1に係る画像処理方法のステップS1、S2およびS4に対応するステップS11、S12およびS14の工程以外の工程についての詳細な説明は省略する。
 本実施形態に係る画像処理方法では、コンテンツを撮影することにより取得した送信用映像信号における輝度値を、逐次、調整する状況を想定している。本実施形態に係る画像処理方法を、図6を参照して説明する。図6は、本実施形態に係る画像処理方法を示すフローチャートである。まず、映像信号取得部5は、送信用映像信号を取得する(ステップS10)。次に、算出部6は、連続した複数のフレームにおいて、フレーム毎の平均輝度値である第2の平均輝度値を算出する(ステップS11)。ここにおける連続したフレームの数は、任意の数である。例えば、映像信号取得部5が取得した送信用映像信号における輝度値に即対応して、後に映像信号取得部5が取得する送信用映像信号における輝度値を調整する必要がある場合、第2の平均輝度値を算出するために参照するフレームの数を少なくすればよい。
 ステップS11の次に、算出部6は、第2の平均輝度値の移動平均値を算出することにより、第1の平均輝度値を算出する(ステップS12)。ここで、第2の平均輝度値の移動平均値を算出するために参照する第2の平均移動値の数は、任意の数である。例えば、映像信号取得部5が取得した送信用映像信号における輝度値に即対応して、後に映像信号取得部5が取得する送信用映像信号における輝度値を調整する必要がある場合、第2の平均輝度値の移動平均値を算出するために参照する第2の平均輝度値の数を少なくすればよい。
 ステップS12の次に、基準値設定部7は、入力部3または記憶部4を介して、種々のコンテンツの輝度値を取得し、当該輝度値を参照して基準値を設定する(ステップS13)。ステップS10~S13におけるステップS13の工程の順序は、図2に示される工程の順序に限定されない。次に、調整部8は、算出部6が算出した第1の平均輝度値が基準値に近づくように、算出部6が第2の平均輝度値を算出するために参照した連続した複数のフレームの後のフレームにおける輝度値を調整する(ステップS14)。例えば、映像信号取得部5が取得した送信用映像信号における輝度値に即対応して、後に映像信号取得部5が取得する送信用映像信号における輝度値を調整する必要がある場合、ここにおける複数のフレームの後のフレームは、複数のフレームの直後のフレームであり得る。ステップS14の次に、調整部8は、輝度値を調整した送信用映像信号を出力する(ステップS15)。
 以上のように、本実施形態に係る画像処理装置1は、連続した複数のフレームにおいて、フレーム毎の平均輝度値である第2の平均輝度値を算出し、第2の平均輝度値の移動平均値を算出することにより、第1の平均輝度値を算出する。そして、本実施形態に係る画像処理装置1は、第1の平均輝度値が基準値に近づくように、連続した複数のフレームの後のフレームにおける輝度値を調整する。これにより、連続したフレームにおける輝度値に応じて、当該フレームの後のフレームにおける輝度値を、逐次、調整することができる。
 〔実施形態3〕
 本発明の実施形態3について説明すれば、以下のとおりである。なお、本実施形態では、実施形態1で説明した画像処理装置1を用いることができる。そのため、画像処理装置1における各部材については、その説明を省略する。
 実施形態1および2に係る画像処理方法では、それぞれ、ステップS1およびステップS11において、算出部6は、送信用映像信号に含まれる複数のフレームにおいて、フレーム毎の平均輝度値である第2の平均輝度値を算出した。本実施形態では、算出部6は、1フレームあたりのフレーム輝度値を算出する際、所定の閾値以上の輝度を有する領域を除外して、当該フレーム輝度値を算出する。一例として、表示パネルの表示可能最大輝度が1000nitであり、所定の閾値を200nitとした場合の算出部6の処理について図7を参照して説明する。図7の(a)~(d)は、所定値以上の輝度値を除外する方法を説明するための図である。
 図7の(a)および(b)に示す例では、ラインL1に沿った輝度において、200nitを超える輝度値が存在する。算出部6は、図7の(a)に示すラインL1に沿って輝度値の平均を算出しようとする場合、所定の輝度値である200nit以上の高輝度領域については、当該領域の輝度値を用いることなく、第2の平均輝度値を算出する。
 より具体的には、算出部6は、図7(c)に示すように、所定の閾値以上の輝度値を有する領域を除外領域とし、図7(d)に示すように、当該除外領域に含まれる輝度を第2の平均輝度値の算出に用いない。換言すれば、算出部6は、除外領域以外の領域に含まれる輝度値を参照して、第2の平均輝度値を算出する。
 以上のように、本実施形態に係る画像処理装置1は、複数のフレームにおける輝度値から、所定値以上の輝度値を除外して第2の平均輝度値を算出する。これにより、大幅に高い輝度値の影響を受けることなく、平均輝度値を算出することができる。
 〔実施形態4〕
 本実施形態では、複数のフレームにおける輝度値から、所定値以上の輝度値を除外して第2の平均輝度値を算出する方法の別の例を示す。本態様では、算出部6は、黒画面(平均輝度が閾値Bk以下の画面)、及び白画面(平均輝度が閾値Wt(Bk<Wt)以上の画面)のうち少なくともいずれか一方を除外することにより、第2の平均輝度値を算出する。
 図8に、算出部6が本実施形態の態様2に係る感覚輝度値を算出するための疑似コードを示す。図8に示すように、算出部6は、あるフレームにおけるアクティブ画像領域(active image area)に含まれる1画素毎に、当該ピクセルの線形輝度値Y(linear luminance value Y)を算出する。なお、アクティブ画像領域とは、例えば、対象のフレームから所定の輝度値以上の領域を除外することによって得られる領域のことを指すが、これに限定されるものではなく、適宜設定することもできる。線形輝度値Yの算出は、図8の点線枠内に示した疑似コードによって行う。より具体的には、算出部6は、当該画素の画素値(Rin,Gin,Bin)に対してEOTF(Electro-Optical Transfer Function)変換を適用することにより、輝度値(R,G,B)を算出し、さらに、下記の式、
  Y = 0.2627R + 0.6780G + 0.0593B
にR、G、およびBを代入することにより輝度値Yを算出する。
 そして、算出部6は、図8に示すように、アクティブ領域に含まれる全ての画素の輝度値Yの平均を当該フレームにおける平均輝度flameAverageLuminanceとして設定する。
 さらに、算出部6は、図8に示すように、映像シーケンスに含まれる全てのフレームのうち、黒画面(平均輝度が閾値Bk以下の画面)、及び白画面(平均輝度が閾値Wt(Bk<Wt)以上の画面)のうち少なくともいずれか一方を除外したうえで、平均輝度flameAverageLuminanceの平均を取ることにより、対象映像の感覚輝度値を算出する。なお、閾値Bk(第1の閾値)及びWt(第2の閾値)の具体的値は本実施形態を限定するものではないが、例えばBk=50、Wt=2000とすればよい。
 以上のように、本実施形態に係る画像処理装置1は、実施形態3に係る画像処理装置1と同様に、複数のフレームにおける輝度値から、所定値以上の輝度値を除外して第2の平均輝度値を算出する。これにより、大幅に高い輝度値の影響を受けることなく、平均輝度値を算出することができる。
 〔実施形態5〕
 実施形態1~4では、感覚輝度値が第1の平均輝度値であり、画像処理装置1は、第1の平均輝度値を算出し、当該第1の平均輝度値が基準値に近づくように、送信用映像信号における輝度値を調整した。しかし、感覚輝度値は、最大フレーム平均輝度(以下、MaxFALL)であってもよく、画像処理装置1は、MaxFALLを算出し、当該MaxFALLが基準値に近づくように、送信用映像信号における輝度値を調整してもよい。以下で、MaxFALLについて詳細に説明する。
 MaxFALLとは、映像を構成する全フレーム中の平均輝度の最大値である。図9に、算出部6がMaxFALLを算出するための疑似コードを示す。図9に示すように、算出部6は、あるフレームにおけるアクティブ画像領域(active image area)に含まれる1画素毎に、非線形画素値である(R’,G’,B’)を、cd/m(カンデラ毎平方メートル)を単位とする線形輝度値である(R,G,B)に変換する。そして(R,G,B)のうちの最大値を、当該画素における最大輝度値(maxRGB)として設定する。
 そして、算出部6は、アクティブ領域に含まれる全ての画素の最大輝度値maxRGBの平均を当該フレームにおける平均輝度値(flameAverageLightLevel)として設定する。
 さらに、算出部6は、映像シーケンスに含まれる全てのフレームの平均輝度値のうち、最大の平均輝度値をMaxFALLに設定し、このMaxFALLを、対象映像の感覚輝度値に設定する。
 そして、調整部8は、算出部6が算出したMaxFALLが所定の基準値に近づくように、送信用映像信号における輝度値を調整する。
 〔ソフトウェアによる実現例〕
 画像処理装置1の制御ブロック(特に処理部2における映像信号取得部5、算出部6、基準値設定部7および調整部8)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェアによって実現してもよい。
 後者の場合、画像処理装置1は、各機能を実現するソフトウェアであるプログラムの命令を実行するCPU、上記プログラムおよび各種データがコンピュータ(またはCPU)で読み取り可能に記録されたROM(Read Only Memory)または記憶装置(これらを「記録媒体」と称する)、上記プログラムを展開するRAM(Random Access Memory)などを備えている。そして、コンピュータ(またはCPU)が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
 〔付記事項〕
 本明細書において、「算出」とは、導出、演算、計算、および誘導等を含む。
 また、本明細書において、「調整」とは、修正、調節、適応、補正、および設定等を含む。
 また、本明細書における「感覚輝度値」とは、視覚輝度、視覚補正輝度、感性輝度、官能輝度等を含む。
 〔まとめ〕
 本発明の態様1に係る画像処理装置(1)は、送信用映像信号におけるパラメータから映像特徴量を算出する算出部(6)と、前記算出部が算出した前記映像特徴量が所定の基準値に近づくように、前記パラメータを調整する調整部(8)と、を備えている。
 上記の構成によれば、輝度値が調整された送信用映像信号を受信した受信機側において、コンテンツ毎の明るさが大きく変化することを防ぐことができ、視聴者の無用な心理的負担を軽減することができる。
 本発明の態様2に係る画像処理装置(1)は、上記態様1において、前記パラメータは、輝度値であり、前記映像特徴量は、感覚輝度値である。
 上記の構成によれば、態様1に係る画像処理装置と同様の効果を奏する。
 本発明の態様3に係る画像処理装置(1)は、上記態様2において、前記算出部は、前記感覚輝度値を、前記送信用映像信号の平均輝度値、最大輝度値、輝度値の中央値、およびMAXFALLの少なくとも何れかを参照して算出する。
 上記の構成によれば、態様2に係る画像処理装置と同様の効果を奏する。
 本発明の態様4に係る画像処理装置(1)は、前記算出部は、前記送信用映像信号の表す表示映像のうち、平均輝度値が第1の閾値以下の画面と、平均輝度値が第2の閾値以上の画面と、のうち少なくともいずれか一方を除外して、前記感覚輝度値を算出する。
 本発明の態様5に係る画像処理装置(1)は、上記態様2~4において、前記感覚輝度値は、第1の平均輝度値である。
 上記の構成によれば、態様2~4に係る画像処理装置を好適に用いることができる。
 本発明の態様6に係る画像処理装置(1)は、上記態様5において、前記算出部は、前記送信用映像信号に含まれる複数のフレームにおいて、フレーム毎の平均輝度値である第2の平均輝度値をそれぞれ算出し、前記複数のフレームについて前記第2の平均輝度値を平均することにより、前記第1の平均輝度値を算出する。
 上記の構成によれば、送信用映像信号に含まれる各フレーム毎の平均輝度値に応じた第1の平均輝度値を算出し、当該第1の平均輝度値が所定の基準値に近づくように、輝度値を調整する。これにより、各フレーム毎の平均輝度値に応じて、輝度値を調整することができる。
 本発明の態様7に係る画像処理装置(1)は、上記態様5において、前記算出部は、連続した複数のフレームにおいて、フレーム毎の平均輝度値である第2の平均輝度値を算出し、前記第2の平均輝度値の移動平均値を算出することにより、前記第1の平均輝度値を算出し、前記調整部は、前記算出部が算出した前記第1の平均輝度値が前記所定の基準値に近づくように、前記連続した複数のフレームの後のフレームにおける輝度値を調整する。
 上記の構成によれば、連続したフレームにおける輝度値に応じて、前記フレームの後のフレームにおける輝度値を、逐次、調整することができる。
 本発明の態様8に係る画像処理装置(1)は、上記態様6または7において、前記算出部は、前記複数のフレームにおける輝度値から、所定値以上の輝度値を除外して第2の平均輝度値を算出する。
 上記の構成によれば、大幅に高い輝度値の影響を受けることなく、平均輝度値を算出することができ、当該平均輝度値が所定の基準値に近づくように、輝度値を調整する。これにより、大幅に高い輝度値の影響を受けることなく、輝度値を調整することができる。
 本発明の態様9に係る画像処理装置(1)は、上記態様5~8において、前記調整部は、前記算出部が算出した前記第1の平均輝度値が所定の基準値に近づくように、ガンマ調整、ゲイン調整およびオフセット調整の少なくとも何れかにより、前記輝度値を調整する。
 上記の構成によれば、視聴者に違和感を与えることなく、コンテンツの輝度値を調整することができる。
 本発明の態様10に係る画像処理装置(1)は、上記態様1~9において、前記所定の基準値を、前記送信用映像信号が示すコンテンツを撮影したときの撮影条件、または前記送信用映像信号が示すコンテンツのジャンル、に応じた値に設定する基準値設定部(7)をさらに備えている。
 上記の構成によれば、設定した基準値に映像特徴量が近づくように、送信用映像信号における輝度値を調整することにより、送信用映像信号を受信した受信機側において、コンテンツの種類に適した明るさで、コンテンツを表示することができる。
 本発明の態様11に係る画像処理装置(1)は、上記態様1~10において、前記所定の基準値は、標準動画像の映像特徴量に準じた値である。
 上記の構成によれば、上記態様1~10に係る画像処理装置を好適に用いることができる。
 本発明の態様12に係る画像処理方法は、送信用映像信号におけるパラメータから映像特徴量を算出する算出工程と、前記算出工程で算出した前記映像特徴量が所定の基準値に近づくように、前記パラメータを調整する調整工程と、を含む。
 上記の構成によれば、態様1に係る画像処理装置と同様の効果を奏する。
 本発明の態様14に係る画像処理装置(1)は、送信用映像信号におけるパラメータに応じた映像特徴量が所定の基準値に近づくように、前記パラメータを調整する。
 上記の構成によれば、態様1に係る画像処理装置と同様の効果を奏する。
 本発明の態様15に係る画像処理装置(1)は、上記態様14において、前記パラメータは、輝度値であり、前記映像特徴量は、感覚輝度値である。
 上記の構成によれば、態様2に係る画像処理装置と同様の効果を奏する。
 本発明の態様16に係る画像処理装置(1)は、上記態様15において、前記感覚輝度値を、前記送信用映像信号の平均輝度値、最大輝度値、輝度値の中央値、およびMAXFALLの少なくとも何れかを参照して算出する。
 上記の構成によれば、態様3に係る画像処理装置と同様の効果を奏する。
 本発明の態様17に係る画像処理装置(1)は、上記態様15または16において、前記送信用映像信号の表す表示映像のうち、平均輝度値が第1の閾値以下の画面と、平均輝度値が第2の閾値以上の画面と、のうち少なくともいずれか一方を除外して、前記感覚輝度値を算出する。
 上記の構成によれば、態様4に係る画像処理装置と同様の効果を奏する。
 本発明の態様18に係る画像処理装置(1)は、上記態様15~17において、前記感覚輝度値は、第1の平均輝度値であることを特徴とする、請求項15~17の何れか1項に記載の画像処理装置。
 上記の構成によれば、態様5に係る画像処理装置と同様の効果を奏する。
 本発明の態様19に係る画像処理装置(1)は、上記態様18において、前記送信用映像信号に含まれる複数のフレームにおいて、フレーム毎の平均輝度値である第2の平均輝度値をそれぞれ算出し、前記複数のフレームについて前記第2の平均輝度値を平均することにより、前記第1の平均輝度値を算出する。
 上記の構成によれば、態様6に係る画像処理装置と同様の効果を奏する。
 本発明の態様20に係る画像処理装置(1)は、上記態様18において、連続した複数のフレームにおいて、フレーム毎の平均輝度値である第2の平均輝度値を算出し、前記第2の平均輝度値の移動平均値を算出することにより、前記第1の平均輝度値を算出し、算出した前記第1の平均輝度値が前記所定の基準値に近づくように、前記連続した複数のフレームの後のフレームにおける輝度値を調整する。
 上記の構成によれば、態様7に係る画像処理装置と同様の効果を奏する。
 本発明の態様21に係る画像処理装置(1)は、上記態様19または20において、前記複数のフレームにおける輝度値から、所定値以上の輝度値を除外して第2の平均輝度値を算出する。
 上記の構成によれば、態様8に係る画像処理装置と同様の効果を奏する。
 本発明の態様22に係る画像処理装置(1)は、上記態様18~21において、算出した前記第1の平均輝度値が所定の基準値に近づくように、ガンマ調整、ゲイン調整およびオフセット調整の少なくとも何れかにより、前記輝度値を調整する。
 上記の構成によれば、態様9に係る画像処理装置と同様の効果を奏する。
 本発明の態様23に係る画像処理装置(1)は、上記態様14~22において、前記所定の基準値を、前記送信用映像信号が示すコンテンツを撮影したときの撮影条件、または前記送信用映像信号が示すコンテンツのジャンル、に応じた値に設定する。
 上記の構成によれば、態様10に係る画像処理装置と同様の効果を奏する。
 本発明の各態様に係る画像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを前記画像処理装置が備える各部(ソフトウェア要素)として動作させることにより前記画像処理装置をコンピュータにて実現させる画像処理装置の画像処理装置制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
 本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
 1 画像処理装置
 2 処理部
 3 入力部
 4 記憶部
 5 映像信号取得部
 6 算出部
 7 基準値設定部
 8 調整部

Claims (14)

  1.  送信用映像信号におけるパラメータから映像特徴量を算出する算出部と、
     前記算出部が算出した前記映像特徴量が所定の基準値に近づくように、前記パラメータを調整する調整部と、を備えていることを特徴とする、画像処理装置。
  2.  前記パラメータは、輝度値であり、
     前記映像特徴量は、感覚輝度値であることを特徴とする、請求項1に記載の画像処理装置。
  3.  前記算出部は、前記感覚輝度値を、前記送信用映像信号の平均輝度値、最大輝度値、輝度値の中央値、およびMAXFALLの少なくとも何れかを参照して算出することを特徴とする、請求項2に記載の画像処理装置。
  4.  前記算出部は、前記送信用映像信号の表す表示映像のうち、
      平均輝度値が第1の閾値以下の画面と、
      平均輝度値が第2の閾値以上の画面と、
    のうち少なくともいずれか一方を除外して、前記感覚輝度値を算出することを特徴とする請求項2または3に記載の画像処理装置。
  5.  前記感覚輝度値は、第1の平均輝度値であることを特徴とする、請求項2~4の何れか1項に記載の画像処理装置。
  6.  前記算出部は、前記送信用映像信号に含まれる複数のフレームにおいて、フレーム毎の平均輝度値である第2の平均輝度値をそれぞれ算出し、前記複数のフレームについて前記第2の平均輝度値を平均することにより、前記第1の平均輝度値を算出することを特徴とする、請求項5に記載の画像処理装置。
  7.  前記算出部は、連続した複数のフレームにおいて、フレーム毎の平均輝度値である第2の平均輝度値を算出し、前記第2の平均輝度値の移動平均値を算出することにより、前記第1の平均輝度値を算出し、
     前記調整部は、前記算出部が算出した前記第1の平均輝度値が前記所定の基準値に近づくように、前記連続した複数のフレームの後のフレームにおける輝度値を調整することを特徴とする、請求項5に記載の画像処理装置。
  8.  前記算出部は、前記複数のフレームにおける輝度値から、所定値以上の輝度値を除外して第2の平均輝度値を算出することを特徴とする、請求項6または7に記載の画像処理装置。
  9.  前記調整部は、前記算出部が算出した前記第1の平均輝度値が所定の基準値に近づくように、ガンマ調整、ゲイン調整およびオフセット調整の少なくとも何れかにより、前記輝度値を調整する、請求項5~8の何れか1項に記載の画像処理装置。
  10.  前記所定の基準値を、前記送信用映像信号が示すコンテンツを撮影したときの撮影条件、または前記送信用映像信号が示すコンテンツのジャンル、に応じた値に設定する基準値設定部をさらに備えていることを特徴とする、請求項1~9の何れか1項に記載の画像処理装置。
  11.  前記所定の基準値は、標準動画像の映像特徴量に準じた値であることを特徴とする、請求項1~10の何れか1項に記載の画像処理装置。
  12.  送信用映像信号におけるパラメータから映像特徴量を算出する算出工程と、
     前記算出工程で算出した前記映像特徴量が所定の基準値に近づくように、前記パラメータを調整する調整工程と、を含むことを特徴とする、画像処理方法。
  13.  請求項1に記載の画像処理装置としてコンピュータを機能させるための制御プログラムであって、前記算出部および前記調整部としてコンピュータを機能させるための制御プログラム。
  14.  請求項13に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
PCT/JP2017/023094 2016-07-01 2017-06-22 画像処理装置、画像処理方法、制御プログラム、および記録媒体 WO2018003665A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201780011179.2A CN109314757A (zh) 2016-07-01 2017-06-22 图像处理装置、图像处理方法、控制程序以及存储介质
US16/079,500 US20190058843A1 (en) 2016-07-01 2017-06-22 Image processing device, image processing method, control program, and recording medium
JP2018525121A JPWO2018003665A1 (ja) 2016-07-01 2017-06-22 画像処理装置、画像処理方法、制御プログラム、および記録媒体

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-132056 2016-07-01
JP2016132056 2016-07-01

Publications (1)

Publication Number Publication Date
WO2018003665A1 true WO2018003665A1 (ja) 2018-01-04

Family

ID=60785216

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/023094 WO2018003665A1 (ja) 2016-07-01 2017-06-22 画像処理装置、画像処理方法、制御プログラム、および記録媒体

Country Status (4)

Country Link
US (1) US20190058843A1 (ja)
JP (1) JPWO2018003665A1 (ja)
CN (1) CN109314757A (ja)
WO (1) WO2018003665A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109545152B (zh) 2019-01-02 2020-09-01 合肥鑫晟光电科技有限公司 移位寄存器及其驱动方法、栅极驱动电路和显示装置
US11627296B2 (en) * 2019-12-02 2023-04-11 Comcast Cable Communications, Llc Methods and systems for condition mitigation

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10322622A (ja) * 1997-05-16 1998-12-04 Sanyo Electric Co Ltd デジタルテレビ放送受信機
JP2004207800A (ja) * 2002-12-24 2004-07-22 Matsushita Electric Ind Co Ltd 画像表示システム、画像送信装置、及び画像表示装置
JP2008304578A (ja) * 2007-06-06 2008-12-18 Sharp Corp 画像表示装置
JP2010008739A (ja) * 2008-06-27 2010-01-14 Toshiba Corp 映像信号制御装置、映像表示システム、及び映像信号制御方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110018892A1 (en) * 2009-07-24 2011-01-27 Samsung Electronics Co., Ltd. Method, device, and program for processing image and image display device
US9639771B2 (en) * 2013-09-06 2017-05-02 Sharp Kabushiki Kaisha Image processing device
CN105120247B (zh) * 2015-09-10 2017-12-26 联想(北京)有限公司 一种白平衡调整方法及电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10322622A (ja) * 1997-05-16 1998-12-04 Sanyo Electric Co Ltd デジタルテレビ放送受信機
JP2004207800A (ja) * 2002-12-24 2004-07-22 Matsushita Electric Ind Co Ltd 画像表示システム、画像送信装置、及び画像表示装置
JP2008304578A (ja) * 2007-06-06 2008-12-18 Sharp Corp 画像表示装置
JP2010008739A (ja) * 2008-06-27 2010-01-14 Toshiba Corp 映像信号制御装置、映像表示システム、及び映像信号制御方法

Also Published As

Publication number Publication date
CN109314757A (zh) 2019-02-05
JPWO2018003665A1 (ja) 2018-12-06
US20190058843A1 (en) 2019-02-21

Similar Documents

Publication Publication Date Title
US10891722B2 (en) Display method and display device
US10462407B2 (en) Display method and display device
US10062333B2 (en) Backlight control and display mapping for high dynamic range images
US7573533B2 (en) Method of generating transfer curves for adaptive contrast enhancement
US8090198B2 (en) Image processing apparatus, image display apparatus, and image display method
US8558772B2 (en) Image display apparatus
US8131108B2 (en) Method and system for dynamic contrast stretch
US20140232614A1 (en) Systems and Methods for Synchronizing Secondary Display Devices to a Primary Display
US10332481B2 (en) Adaptive display management using 3D look-up table interpolation
US20200126509A1 (en) Methods and apparatuses for tone mapping and inverse tone mapping
US8280192B2 (en) Smart grey level magnifier for digital display
US20190082138A1 (en) Inverse tone-mapping to a virtual display
WO2017159182A1 (ja) 表示制御装置、表示装置、テレビジョン受像機、表示制御装置の制御方法、制御プログラム、及び記録媒体
US9799108B2 (en) Image processing apparatus, image processing method, and storage medium
WO2018003665A1 (ja) 画像処理装置、画像処理方法、制御プログラム、および記録媒体
WO2016181584A1 (ja) 表示方法および表示装置
WO2021131209A1 (ja) 制御装置及び制御方法
US10536663B2 (en) Video display device, television receiver, transmitting device, control program, and recording medium
CN114567813B (zh) 画质提升方法、装置、播放设备及计算机可读存储介质
JP6602977B2 (ja) 送信装置、送信方法、制御プログラム及び記録媒体
US20240169934A1 (en) Display apparatus and display control method
JP7499067B2 (ja) 表示装置
JP6682322B2 (ja) 階調値変換装置、テレビジョン受像機、階調値変換方法、制御プログラム、および記録媒体
JP2024151757A (ja) 表示装置及び制御方法
CN118843008A (en) Display method, device, equipment, medium and program product

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2018525121

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17820022

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17820022

Country of ref document: EP

Kind code of ref document: A1