WO2019073990A1 - 画像処理装置、画像処理方法、送信装置、送信方法および受信装置 - Google Patents

画像処理装置、画像処理方法、送信装置、送信方法および受信装置 Download PDF

Info

Publication number
WO2019073990A1
WO2019073990A1 PCT/JP2018/037654 JP2018037654W WO2019073990A1 WO 2019073990 A1 WO2019073990 A1 WO 2019073990A1 JP 2018037654 W JP2018037654 W JP 2018037654W WO 2019073990 A1 WO2019073990 A1 WO 2019073990A1
Authority
WO
WIPO (PCT)
Prior art keywords
transient
characteristic
information
image
display period
Prior art date
Application number
PCT/JP2018/037654
Other languages
English (en)
French (fr)
Inventor
塚越 郁夫
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/753,167 priority Critical patent/US11244635B2/en
Priority to EP18867049.1A priority patent/EP3697098A4/en
Priority to JP2019548210A priority patent/JP7278955B2/ja
Priority to CN201880064942.2A priority patent/CN111183651A/zh
Publication of WO2019073990A1 publication Critical patent/WO2019073990A1/ja
Priority to US17/561,599 priority patent/US11948519B2/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/68Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406Control of illumination source
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10Intensity circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362Generation or processing of Service Information [SI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/66Transforming electric information into light information
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0626Adjustment of display parameters for control of overall brightness
    • G09G2320/0646Modulation of illumination source brightness and image signal correlated to each other
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0666Adjustment of display parameters for control of colour parameters, e.g. colour temperature
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/16Calculation or use of calculated indices related to luminance levels in display data

Definitions

  • the present technology relates to an image processing apparatus, an image processing method, a transmission apparatus, a transmission method, and a reception apparatus, and more particularly to an image processing apparatus that ensures visual safety when there is an image switch.
  • Non-Patent Document 1 describes transmitting an HDR (High Dynamic Range) image having a level range of 0 to 100% * N (N is greater than 1).
  • High Efficiency Video Coding ITU-T H. 265 standard
  • the glitter component leads to high brightness display at the time of display. It is premised that it will be displayed without any problem in the linear reproduction confirmed by the production side. However, on the receiving side, when there is a switching of images due to non-linear reproduction such as channel switching, random access, system activation, CM insertion, etc., visual safety when the image after switching becomes very bright May threaten
  • the purpose of the present technology is to ensure visual safety in the presence of image switching.
  • an image processing apparatus including a control unit that switches a display characteristic to a transient display characteristic that suppresses a luminance level to be lower than usual during a transient display period based on pixel statistical information of the image.
  • the display characteristic is switched to the transient display characteristic which suppresses the luminance level to be lower than the normal level during the transient display period based on the pixel statistical information of the image.
  • the pixel statistical information may be information indicating the ratio of pixels exceeding the threshold level to the entire image. This ratio makes it possible to judge whether the image is very bright or not.
  • control unit may be configured to use pixel statistical information obtained by processing image data.
  • control unit may use information of a transient display period obtained based on pixel statistical information.
  • control unit may use pixel statistical information extracted from encoded image data or information of a transient display period. In this case, the processing load can be reduced.
  • a plurality of transient display characteristics may exist as transient display characteristics, and the control unit may sequentially apply the plurality of transient display characteristics during the transient display period. In this case, transition from the transient display characteristic to the normal display characteristic can be smoothly performed.
  • control unit may be configured to make the characteristics of the electro-optical conversion applied to the image data be transient characteristics during the transient display period. Also, for example, the control unit may be configured to keep the brightness level of the backlight of the display device lower than usual during the transient display period.
  • the display characteristic is switched to the transient display characteristic in which the luminance level is suppressed lower than the normal level during the transient display period based on pixel statistical information of the image. . Therefore, it is possible to secure visual safety when there is a switching of images.
  • a transmitter for transmitting a video stream obtained by encoding image data comprising: an information insertion unit for inserting pixel statistical information for determining whether to switch the display characteristic to a transient display characteristic for suppressing the luminance level lower than usual during the transient display period when there is image switching It is in.
  • the transmission unit transmits a video stream obtained by encoding image data.
  • the information insertion unit inserts pixel statistical information into the video stream to determine whether to switch the display characteristic to the transient display characteristic for suppressing the luminance level lower than usual during the transient display period when the image is switched.
  • Ru the pixel statistical information may be information indicating the ratio of pixels exceeding the threshold level to the entire image.
  • the information insertion unit may further insert information on a transient display period into the video stream. In this case, it is possible to save the trouble of calculating the transient display period on the receiving side. Also, for example, the information insertion unit may be configured to further insert, into the video stream, information on transient characteristics of electro-optical conversion applied to image data during the transient display period. As a result, it is possible to switch to the transient characteristic of electro-optical conversion even if the information on the transient characteristic of electro-optical conversion is not provided on the reception side.
  • the information on the transient characteristic of the electro-optical conversion may be table information corresponding to the change range of the normal electro-optical conversion characteristic. This makes it possible to reduce the amount of transmission information. Also, in this case, for example, a plurality of transient characteristics may be present as the transient characteristics. As a result, on the receiving side, it is possible to smoothly transition from the transient characteristic to the normal characteristic.
  • pixel statistical information for determining whether to switch the display characteristic to the transient display characteristic for suppressing the luminance level lower than usual during the transient display period is encoded as image data. It inserts in the video stream obtained by this, and transmits. Therefore, it is possible to save time for calculating pixel statistical information in order to determine whether to switch the display characteristics to the transient display characteristics in which the luminance level is suppressed lower than usual during the transient display period when the image is switched. It becomes.
  • a transmitting apparatus includes a digital interface unit that transmits, together with image data, pixel statistical information for determining whether to switch the display characteristic to a transient display characteristic that suppresses the luminance level to be lower than usual during a transient display period when there is image switching. .
  • the digital interface unit may be further configured to transmit information on transient characteristics of electro-optical conversion applied to image data during a transient display period.
  • the information on the transient characteristic of electro-optical conversion may be made to be table information corresponding to the change range of the ordinary electro-optical conversion characteristic. This makes it possible to reduce the amount of transmission information.
  • pixel statistical information for determining whether to switch the display characteristic to the transient display characteristic to suppress the luminance level lower than usual during the transient display period is also digital interface unit together with the image data To send Therefore, it is possible to save time for calculating pixel statistical information in order to determine whether to switch the display characteristics to the transient display characteristics in which the luminance level is suppressed lower than usual during the transient display period when the image is switched. It becomes.
  • a receiver includes a digital interface unit that receives, together with image data, pixel statistical information for determining whether to switch the display characteristics to the transient display characteristics in which the luminance level is suppressed lower than usual during the transient display period when there is image switching. .
  • pixel statistical information is received by the digital interface unit together with the image data to determine whether to switch the display characteristic to the transient display characteristic for suppressing the luminance level lower than usual during the transient display period when the image is switched.
  • Ru Therefore, it is possible to save time and effort for calculating pixel statistical information in order to determine whether to switch the display characteristic to the transient display characteristic in which the luminance level is suppressed lower than usual during the transient display period when the image is switched.
  • the present technology it is possible to ensure visual safety when there is an image switch.
  • the effect described here is not necessarily limited, and may be any effect described in the present disclosure.
  • FIG. 10 is a diagram showing an example of composition of a transmitting and receiving system as an embodiment. It is a figure which shows the example of control in case an image is switched from the thing of channel A to the thing of channel B by channel switching. It is a figure which shows an example of the transient characteristic (TRTF) of a HDR characteristic (HLG) and Type1, Type2, and Type3. It is a figure which shows an example of the transient characteristic (TRTF) of a HDR characteristic (PQ) and Type1, Type2, and Type3.
  • FIG. 10 is a diagram showing a control example in the case where an image is switched from that of channel A to that of channel B by channel switching and a black or gray image is displayed for a certain period immediately after the switching.
  • FIG. 10 is a diagram showing a control example in the case where an image is switched by system activation (power on) or random access and a black or gray image is displayed for a predetermined period immediately after the switching. It is a figure which shows the example of control in case an image is switched by switching of CM and a program main part. It is a block diagram which shows the structural example of a transmitter. It is a figure which shows an example of the histogram about all the images. It is a figure for demonstrating the insertion location of a transition transfer function SEI message.
  • FIG. 1 It is a figure which shows the structure example of a static information * SEI message, and the content of the main information in the example of a structure. It is a figure which shows the structural example of a transition transfer function SEI message, and the content of the main information in the structural example. It is a block diagram showing an example of composition of a receiving set. It is a flowchart which shows an example of the control procedure of the electro-optical conversion part by the control part in, when the switching of an image is performed by non-linear reproduction
  • FIG. 1 shows a configuration example of a transmission / reception system 10 as an embodiment.
  • the transmission / reception system 10 is configured to have a transmission device 100 and a reception device 200.
  • the transmission device 100 transmits the image data of H.3. H.264 / AVC, H.264.
  • the video stream obtained by encoding by H.265 / HEVC or the like is transmitted by broadcast or communication.
  • pixel statistical information is inserted to determine whether to switch the display characteristics to the transient display characteristics in which the luminance level is suppressed lower than usual during the transient display period when there is an image switch.
  • This pixel statistical information is, for example, information indicating the ratio of pixels exceeding the threshold level to the entire image.
  • the receiving side determines whether to switch the display characteristic to the transient display characteristic in which the luminance level is suppressed lower than usual during the transient display period when the image is switched. Therefore, it is possible to save time and effort for calculating pixel statistical information.
  • switching of the image in the receiver occurs separately from the function of converting the display level into the luminance displayable range.
  • it has a function of selecting the electro-optical conversion characteristics during the transient period, thereby switching to the transient display characteristics in which the luminance level is suppressed lower than usual during the transient display period.
  • by inserting the pixel statistical information into the video stream it is possible to save time and effort for calculating the pixel statistical information on the reproduction side in order to determine whether to switch to the display of the transient period.
  • the information on the transient characteristic of the electro-optical conversion is set as table information corresponding to the change range of the normal electro-optical conversion characteristic. This makes it possible to reduce the amount of transmission information.
  • an SEI message including the above-described pixel statistical information, information on transient display period, information on transient characteristics of electro-optical conversion, etc. is inserted into the video stream.
  • statistical information / SEI message (Statistical_Information SEI Message) including pixel statistical information and information on transient display period, and transition / transfer function / SEI including information on transient characteristics of electro-optical conversion
  • a message (Transition_Transfer_Function SEI Message) is newly defined.
  • predetermined moving image data is H.264. H.264 / AVC, H.264.
  • a video stream obtained by encoding according to H.265 / HEVC or the like is received by broadcast or communication.
  • the receiving device 200 decodes the received video stream to obtain predetermined moving image data, and obtains an image according to the predetermined moving image data.
  • the receiving apparatus 200 can directly decode the received video stream and perform image reproduction, but can also perform decoding and image reproduction after passing through the recording and reproducing unit.
  • the receiving apparatus 200 switches the display characteristic to the transient display characteristic which suppresses the luminance level to be lower than the normal level during the transient display period based on the pixel statistical information of the image when the image is switched.
  • pixel statistical information is information indicating, for example, the ratio of pixels exceeding the threshold level to the entire image, and when this ratio is larger than the threshold, the display characteristics are suppressed during the transient display period, and the luminance level is suppressed lower than usual. It is made to switch to a transient display characteristic. This makes it possible to ensure visual safety when there is an image switch.
  • the receiving apparatus 200 can extract and use pixel statistical information and information of a transient display period if it is inserted in coded image data (video stream) of predetermined image data. This makes it possible to save time and effort for calculating pixel statistical information and a transient display period. Also, the receiving apparatus 200 can process predetermined moving image data to obtain pixel statistical information and information on a transient display period and use it.
  • the receiving apparatus 200 makes the characteristic of electro-optical conversion applied to predetermined moving image data a transient characteristic or makes the luminance level of the backlight of the display device normal. Keep it lower, or do both. For example, multiple stages of transient display characteristics are used, and they are applied sequentially during the transient display period. This makes it possible to smoothly transition from the transient display characteristic to the normal display characteristic.
  • the receiving apparatus 200 can extract and use information of transient characteristics of electro-optical conversion in encoded image data (video stream) of predetermined image data. As a result, even if the receiving apparatus 200 does not have the information on the transient characteristic of electro-optical conversion, the characteristic of electro-optical conversion applied to predetermined moving image data is made to be a transient characteristic to suppress the luminance level lower than usual. It is possible to make transient display characteristics.
  • Image switching mode Here, various aspects in the case where switching of an image is performed in the receiving device 200 will be described.
  • FIG. 2 shows an example in which an image is switched from channel A to channel B by channel switching.
  • the image of channel B after switching is a control target
  • the electro-optical conversion characteristic is a transient characteristic (TRTF)
  • the luminance level of the display image is lower than normal. It is suppressed.
  • the light-to-light conversion characteristic is set to the normal HDR light-to-light conversion characteristic (HDR EOTF), and the image brightness level is suppressed to be lower than normal.
  • the transient display period is divided into periods T1, T2 and T3.
  • the transient characteristics (TRTF) of Type 1, Type 2 and Type 3 are applied, and the luminance level of the display image is sequentially increased. It is controlled as you go. Thereby, the transition from the transient characteristic to the normal conversion characteristic (HDR EOTF) is smoothly performed.
  • the rectangular frame including the characters “HDR” does not indicate one picture (frame), and one or more pictures (frames) in each period of T1, T2 and T3 It shows collectively. This is the same in the following similar figures.
  • FIG. 3 shows ITU-R BT.
  • HDG HDR characteristic
  • HDR EOTF usual conversion characteristic
  • TRTF transient characteristic
  • the horizontal axis indicates the transmission code value
  • the vertical axis indicates the output luminance level.
  • Curve a shows the HDR characteristic (HLG)
  • curve b shows the SDR characteristic.
  • the HDR characteristic (HLG) has the same trajectory as the SDR characteristic.
  • the output luminance level corresponding to the maximum level M of the transmission code value in the HDR characteristic (HLG) is P2
  • the output luminance level corresponding to the maximum level M of the transmission code value in the SDR characteristic is P1.
  • type 2 and type 3 transient characteristics the characteristics of the transmission code value from the threshold level H to the maximum level M are different from the HDR characteristics (HLG).
  • the output luminance level corresponding to the threshold level H is P1 '.
  • the output luminance level corresponding to the maximum level M of the transmission code value is P1 as in the SDR characteristic.
  • the output luminance level corresponding to the maximum level M of the transmission code value is P1a (P1 ⁇ P1a ⁇ P2).
  • the output luminance level corresponding to the maximum level M of the transmission code value is P1b (P1a ⁇ P1b ⁇ P2).
  • FIG. 4 shows ITU-R BT.
  • HDR characteristics PQ
  • HDR EOTF normal conversion characteristics
  • TRTF transient characteristics
  • the horizontal axis indicates the transmission code value
  • the vertical axis indicates the output luminance level.
  • Curve a shows the HDR characteristic (PQ)
  • curve b shows the SDR characteristic.
  • the output luminance level corresponding to the maximum level M of the transmission code value in the HDR characteristic (PQ) is P2
  • the output luminance level corresponding to the maximum level M of the transmission code value in the SDR characteristic is P1.
  • type 2 and type 3 transient characteristics the characteristics of the transmission code value from the threshold level H to the maximum level M are different from the HDR characteristics (PQ).
  • the output luminance level corresponding to the threshold level H is P1 '.
  • the output luminance level corresponding to the maximum level M of the transmission code value is P1 as in the SDR characteristic.
  • the output luminance level corresponding to the maximum level M of the transmission code value is P1a (P1 ⁇ P1a ⁇ P2).
  • the output luminance level corresponding to the maximum level M of the transmission code value is P1b (P1a ⁇ P1b ⁇ P2).
  • transient characteristic for example, a transient characteristic of Type 1 to the entire transient display period (TTh).
  • FIG. 5 shows an example in which an image is switched from channel A to channel B by channel switching, and a black or gray image is displayed for a certain period immediately after switching.
  • the image of channel B after switching is a control target, and during the transient display period (TTh) after the black or gray image is displayed, the electro-optical conversion characteristic is made to be the transient characteristic (TRTF). Brightness level is kept lower than normal.
  • the light-to-light conversion characteristic is set to a normal HDR light-to-light conversion characteristic (HDR EOTF), and it is canceled that the luminance level of the display image is suppressed lower than normal.
  • the transient display period is divided into T1, T2 and T3 periods, and the transient characteristics (TRTF) of Type 1, Type 2 and Type 3 are applied in each period (see FIGS. 3 and 4), and the display image is displayed. Is controlled so as to gradually increase in luminance level. Thereby, the transition from the transient characteristic to the normal conversion characteristic (HDR EOTF) is smoothly performed. It is also conceivable to apply one transient characteristic, for example, a transient characteristic of Type 1 to the entire transient display period (TTh).
  • FIG. 6 shows an example in which an image is switched by system startup (power on) or random access.
  • an image after system activation (power on) or after random access is a control object, and during the transient display period (TTh) after switching, the electro-optical conversion characteristic is made to be a transient characteristic (TRTF). Brightness level is kept lower than normal.
  • the light-to-light conversion characteristic is set to a normal HDR light-to-light conversion characteristic (HDR EOTF), and it is canceled that the luminance level of the display image is suppressed lower than normal.
  • the transient display period is divided into T1, T2 and T3 periods, and the transient characteristics (TRTF) of Type 1, Type 2 and Type 3 are applied in each period (see FIGS. 3 and 4), and the display image is displayed. Is controlled so as to gradually increase in luminance level. Thereby, the transition from the transient characteristic to the normal conversion characteristic (HDR EOTF) is smoothly performed. It is also conceivable to apply one transient characteristic, for example, a transient characteristic of Type 1 to the entire transient display period (TTh).
  • FIG. 7 shows an example in which an image is switched by system activation (power on) or random access, and a black or gray image is displayed for a certain period immediately after the switching.
  • the image to light conversion characteristic is the transient characteristic (TTh) during the transient display period (TTh) after the image is activated after system activation (power on) or after random access and the black or gray image is displayed. (TRTF), and the luminance level of the display image is suppressed lower than usual.
  • the light-to-light conversion characteristic is set to a normal HDR light-to-light conversion characteristic (HDR EOTF), and it is canceled that the luminance level of the display image is suppressed lower than normal.
  • HDR EOTF normal HDR light-to-light conversion characteristic
  • the transient display period is divided into T1, T2 and T3 periods, and the transient characteristics (TRTF) of Type 1, Type 2 and Type 3 are applied in each period (see FIGS. 3 and 4), and the display image is displayed. Is controlled so as to gradually increase in luminance level. Thereby, the transition from the transient characteristic to the normal conversion characteristic (HDR EOTF) is smoothly performed. It is also conceivable to apply one transient characteristic, for example, a transient characteristic of Type 1 to the entire transient display period (TTh).
  • FIG. 8 shows an example in which the image is switched by switching between the CM and the main program.
  • the CM in this case is, for example, assumed to be arbitrarily inserted on the receiving side.
  • the image after switching from CM to the main program or from the main program to CM is the control object, and the electro-optical conversion characteristic is taken as the transient characteristic (TRTF) during the transient display period (TTh) after switching.
  • TRTF transient characteristic
  • TTh transient display period
  • the luminance level of the displayed image is kept lower than usual.
  • the light-to-light conversion characteristic is set to the normal conversion characteristic (HDR EOTF), and it is canceled that the luminance level of the display image is suppressed lower than usual.
  • the transient display period is divided into T1, T2 and T3 periods, and the transient characteristics (TRTF) of Type 1, Type 2 and Type 3 are applied in each period (see FIGS. 3 and 4), and the display image is displayed. Is controlled so as to gradually increase in luminance level. Thereby, the transition from the transient characteristic to the normal conversion characteristic (HDR EOTF) is smoothly performed. It is also conceivable to apply one transient characteristic, for example, a transient characteristic of Type 1 to the entire transient display period (TTh).
  • FIG. 9 shows a configuration example of the transmission device 100.
  • the transmission apparatus 100 includes a control unit 101, a photoelectric conversion unit 102, an RGB / YCbCr conversion unit 103, a statistical information processing unit 104, a video encoder 105, a container encoder 106, and a transmission unit 107.
  • the control unit 101 includes a CPU (Central Processing Unit), and controls the operation of each unit of the transmission apparatus 100.
  • CPU Central Processing Unit
  • the photoelectric conversion unit 102 applies, for example, high-contrast camera output as moving image data, that is, HDR photoelectric conversion characteristics (HLG curve, PQ curve, etc.) to HDR (high dynamic range) image data Vh, to perform photoelectric conversion.
  • HDR photoelectric conversion characteristics HLG curve, PQ curve, etc.
  • HDR high dynamic range
  • the RGB / YCbCr conversion unit 103 converts the image data after photoelectric conversion from the RGB domain to the YCbCr domain. In this case, the RGB / YCbCr conversion unit 103 performs conversion using a conversion equation corresponding to the color space based on color space information.
  • the statistical information processing unit 104 processes the image data obtained by the RGB / YCbCr conversion unit 103 to calculate pixel statistical information. In this case, the statistical information processing unit 104 calculates, for each picture (frame), the ratio ⁇ of the pixels at the pixel level exceeding the threshold level (TH_high) to the entire image.
  • FIG. 10 shows an example of a histogram for the entire image.
  • the vertical axis is frequency
  • the horizontal axis is pixel level as a class.
  • the ratio ⁇ is calculated by dividing the sum (hatched portion) of the frequencies for pixel levels exceeding the threshold level (TH_high) by the sum of the frequencies for all pixel levels.
  • the statistical information processing unit 104 calculates the ratio ⁇ of pixels at the pixel level exceeding the threshold level (TH_high) based on the following formula (1).
  • the denominator of the fractional equation on the right side indicates the number of pixels in the entire image, and the numerator indicates the number of pixels having a luminance level exceeding the threshold level (TH_high).
  • the statistical information processing unit 104 also calculates information on the transient display period TTh transmitted by the transmission apparatus 100 together with the information on the ratio ⁇ .
  • the transient display period TTr is obtained by multiplying the ratio ⁇ by the predetermined coefficient Tc by the following equation (2). Then, since TTr corresponds to a unit of time (sec), the statistical information processing unit 104 converts this into a video frame rate to obtain a transient display period TTh represented by a frame count value.
  • the statistical information processing unit 104 sends information on the ratio ⁇ and the transient display period TTh to the control unit 101.
  • the video encoder 105 performs coding such as MPEG4-AVC or HEVC on the image data obtained by the RGB / YCbCr conversion unit 103 to obtain coded video data, and a video including the coded video data. Get stream (video elementary stream).
  • the video encoder 105 inserts meta information indicating that the stream is an HDR stream, HDR electro-optical conversion characteristics, and the like in the region of VUI (video usability information) of the SPS NAL unit of the access unit (AU). Also, the video encoder 105 inserts the above-described static information SEI message and transition transfer function SEI message into the "SEIs" portion of the access unit (AU).
  • transition transfer functions SEI including information on transient characteristics of electro-optical conversion
  • the message does not necessarily have to be inserted into the access unit of each picture, and for example, is inserted into the access unit of a picture corresponding to the start of a scene or a GOP (Group of Pictures) as shown in FIG.
  • the information of the transient characteristic of electro-optical conversion into the layer of the container mentioned later.
  • the information of transient characteristics of electro-optical conversion is inserted into the descriptor
  • MP4 in the case of MP4 (ISOBMFF)
  • the information of transient characteristics of electro-optical conversion is in a box in moof or by DASH In the case of delivery, it is inserted by the "supplemental property descriptor" in the MPD.
  • the statistical information SEI message includes pixel statistical information and information on a transient display period.
  • FIG. 12A shows an example of the structure (Syntax) of the statistical information SEI message.
  • FIG. 12 (b) shows the contents (Semantics) of the main information in the structural example.
  • the 4-bit field of "EOTF Type” indicates the type of EOTF. For example, “1” indicates “ITU-R Rec. BT. 709 (gamma)”, “2” indicates “ITU-R Rec. BT. 2100 PQ”, and “3” indicates “ITU-R Rec. "BT. 2100 HLG” is shown.
  • the 16-bit field “threshold_level” indicates the lower threshold of the pixel level value targeted for statistical information, that is, the threshold level (TH_high).
  • the 8-bit field of "high_level_target_ratio” indicates the value of the ratio ⁇ of the pixel subject to transient characteristics to the entire image. A value obtained by multiplying this ratio by 100 is a percentage value.
  • a 16-bit field “transition_period” indicates a transient display period TTh expressed by a frame count value.
  • the transition transfer function SEI message includes information on transient characteristics of electro-optical conversion.
  • FIG. 13A shows a structural example (Syntax) of the transition transfer function SEI message.
  • FIG. 13 (b) shows the contents (Semantics) of the main information in the structural example.
  • An 8-bit field of "number_of_transition_types" indicates the number of types of transient characteristics. Transient characteristic information is repeatedly present by this number.
  • the 4-bit field of "transitionTF Type” indicates the type of transient characteristic. For example, “1" indicates Type 1, “2" indicates Type 2, and “3” indicates Type 3 (see FIGS. 3 and 4).
  • the 16-bit field of “minimum_level” indicates the minimum input pixel level of the curve that changes the EOTF to be targeted (see threshold level H in transmission code value in FIGS. 3 and 4).
  • the 16-bit field of "maximum_level” indicates the maximum input pixel level of the curve that changes the EOTF to be targeted (see maximum level M in transmission code value in Figs. 3 and 4).
  • a 16-bit field “trace_pivot_size” indicates the number of points for tracing the transient characteristic.
  • a 16-bit field of "input_level (j)” and a 16-bit field of “output_level (j)” are repeatedly present by the number of points.
  • the field of "input_level (j)” indicates the input pixel level of the transient characteristic.
  • the field of “output_level (j)” indicates the output value of the transient characteristic corresponding to the input level.
  • the container encoder 106 generates a container including the video stream generated by the video encoder 105, for example, MPEG-2 TS, MMT, MP4 (ISOBMFF) as a distribution stream.
  • the information on the electro-optical conversion transient characteristic similar to that included in the above-mentioned transition, transfer, function, and SEI message may be inserted in the layer of the container.
  • the transmitting unit 107 transmits the distribution stream obtained by the container encoder 106 to the receiving apparatus 200 by broadcasting or communication.
  • HDR image data Vh which is a high contrast camera output is supplied to the photoelectric conversion unit 102.
  • photoelectric conversion unit 103 photoelectric conversion is performed on the HDR image data Vh with the HDR photoelectric conversion characteristic, and image data as a video material produced as video by HDR OETF is obtained.
  • the HDR image data obtained by the photoelectric conversion unit 102 is supplied to the RGB / YCbCr conversion unit 103.
  • the RGB / YCbCr conversion unit 103 converts the image data obtained by the photoelectric conversion unit 102 from the RGB domain to the YCbCr domain.
  • the image data converted into the YCbCr domain is supplied to the statistical information processing unit 104 and the video encoder 105.
  • the statistical information processing unit 104 processes the image data obtained by the RGB / YCbCr conversion unit 103 to calculate pixel statistical information.
  • the ratio ⁇ of the pixels at the pixel level exceeding the threshold level (TH_high) to the entire image is calculated (see equation (1)).
  • the statistical information processing unit 104 also calculates information on the transient display period TTh transmitted by the transmission apparatus 100 together with the information on the ratio ⁇ .
  • a transient display period TTr in units of time is determined by multiplying the ratio ⁇ by a predetermined coefficient Tc (see equation (2)), and then converted to a video frame rate and represented by a frame count value.
  • Transient display period TTh is obtained.
  • the information on the ratio ⁇ calculated by the statistical information processing unit 104 and the information on the transient display period TTh are sent to the control unit 101.
  • the video encoder 105 performs coding such as MPEG4-AVC or HEVC on the image data obtained by the RGB / YCbCr conversion unit 103 to obtain coded video data, and this coded video data is obtained.
  • a video stream (video elementary stream) to be included is generated.
  • the video encoder 105 inserts meta information indicating that the stream is an HDR stream, HDR electro-optical conversion characteristics, and the like in the region of VUI (video usability information) of the SPS NAL unit of the access unit (AU).
  • the static information SEI message in which the information of the ratio ⁇ and the information of the transient display period TTh are included in the “SEIs” portion of the access unit (AU) (FIG. 12 (a) (See FIG. 13 (a)), in which the reference information is inserted and the information on the transient characteristic of the electro-optical conversion is further included.
  • the video stream obtained by the video encoder 105 is supplied to the container encoder 106.
  • a container including a video stream such as MPEG-2 TS, MMT, MP4 (ISOBMFF) is generated as a delivery stream.
  • the distribution stream is transmitted to the reception device 200 by the transmission unit 107 by broadcasting or communication.
  • FIG. 14 shows a configuration example of the receiving device 200.
  • the receiving apparatus 200 includes a control unit 201, a receiving unit 202, a container decoder 203, a video decoder 204, a statistical information processing unit 205, a YCbCr / RGB conversion unit 206, an electro-optical conversion unit 207, and a display device 208.
  • a control unit 201 controls the receiving device 200.
  • the control unit 201 includes a CPU (Central Processing Unit), and controls the operation of each unit of the receiving apparatus 200 based on a control program.
  • the receiving unit 202 receives the distribution stream from the transmitting device 100 by broadcasting or communication.
  • the receiving unit 200 includes a recording and reproducing unit 202a, and directly outputs the received distribution stream (MPEG-2 TS, MMT, MP4 (ISOBMFF) or the like), or outputs it via the recording and reproducing unit 202a. In the case of passing through the recording and reproducing unit 202a, random access is possible. Also, the receiving unit 202 has a channel switching function.
  • the container decoder 203 extracts a video stream from the delivery stream (MPEG-2 TS, MMT, MP4 (ISOBMFF), etc.) output from the receiving unit 202.
  • the video decoder 204 performs a decoding process on the video stream extracted by the container decoder 203 to obtain HDR image data. Also, the video decoder 204 extracts a parameter set and an SEI message inserted in each access unit constituting the video stream, and sends the extracted parameter set and SEI message to the control unit 201. As described above, in the transmission apparatus 100, a static information SEI message (see FIG. 12A) and a transition transfer function SEI message (see FIG. 13A) are inserted into the video stream. In the case, they are also sent to the control unit 201.
  • the control unit 201 recognizes that the stream is an HDR stream, HDR electro-optical conversion characteristic information, and the like from the meta information of the VUI area of the SPS NAL unit. Further, after checking the luminance display capability of the display device (display) on the display device side, the control unit 201 selects the electro-optical conversion characteristics in the transient period within the range in which the luminance display is possible. At this time, the control unit 201 controls the pixel statistical information (information of the ratio ⁇ of the pixels at the pixel level exceeding the threshold level (TH_high) to the entire image of the pixel) and the transient display period TTh from the above-mentioned static information and SEI message. Get information. Also, the control unit 201 acquires information on transient characteristics of electro-optical conversion from the above-described transition, transfer, function, and SEI message.
  • the statistical information processing unit 205 uses the above-described statistical information and SEI message to obtain information on pixel statistical information (information on the ratio ⁇ of the pixels at the pixel level exceeding the threshold level (TH_high) to the entire image) and the transient display period TTh.
  • the image data obtained by the video decoder 204 is processed to calculate those information, as in the statistical information processing unit 104 in the transmission apparatus 100 of FIG.
  • the statistical information processing unit 205 sends the information on the calculated ratio ⁇ and the information on the transient display period TTh to the control unit 201.
  • the YCbCr / RGB converter 206 converts the image data obtained by the video decoder 204 from the YCbCr (luminance / color difference) domain to the RGB domain.
  • the electro-optical conversion unit 207 applies the electro-optical conversion characteristic to the image data converted into the RGB domain by the YCbCr / RGB conversion unit 206 to obtain display image data.
  • the display device 208 is, for example, a liquid crystal display (LCD), and displays an image according to display image data.
  • the electro-optical conversion unit 207 always applies the normal HDR electro-optical conversion characteristic (HDR EOTF) under the control of the control unit 201, but at channel switching, system startup, random access, CM / program main part
  • HDR electro-optical conversion characteristic HDR EOTF
  • TRTF transient characteristics
  • one or more transient characteristics are used as the transient characteristics.
  • information on the transient characteristics information provided in advance by the receiving device 200 is used, and when the receiving device 200 is not provided, it is acquired from the transition, transfer, function, and SEI message as described above. Information on transient characteristics of lightning conversion is used.
  • the electro-optical conversion unit 207 divides the transient display period into a plurality of periods (each period may not be equal), and causes a plurality of transients. Apply the characteristics in order. As a result, the transition from the transient characteristic to the normal HDR lightning conversion characteristic (HDR EOTF) can be smoothly performed.
  • the examples of FIG. 2 and FIGS. 5 to 8 described above show the case where three transient characteristics are prepared.
  • the flowchart in FIG. 15 illustrates an example of a control procedure of the electro-optical conversion unit 207 by the control unit 201 when switching of an image is performed by non-linear reproduction.
  • the non-linear control unit 201 starts processing in step ST1.
  • step ST2 the control unit 201 resets a frame count TP indicating an elapsed time after switching to the transient characteristic to 0, and in step ST3 for processing of the first picture (frame) after image switching. Move to processing.
  • the control unit 201 obtains the ratio ⁇ obtained from the statistical information / SEI message or calculated by the statistical information processing unit 205, that is, the pixel level exceeding the threshold level (TH_high). It is determined whether the ratio ⁇ of the pixels of the pixel to the entire image is larger than the threshold RTh of the ratio occupied by the high luminance.
  • the threshold RTh is preset in the receiving device 200.
  • step ST4 it is determined whether the transient display period TTh acquired from the statistical information / SEI message as described above or calculated by the statistical information processing unit 205 is larger than the frame count TP.
  • the ratio ⁇ used in step ST3 is obtained for each picture (frame), but the transient display period TTh used in step ST4 is obtained for the first picture (frame) after image switching. It is fixed to the
  • step ST5 the control unit 201 sets the electro-optical conversion characteristic applied by the electro-optical conversion unit 207 in the current picture (frame) as the transient characteristic.
  • step ST5 when there are a plurality of transient characteristics, transient characteristics of a plurality of stages are sequentially applied in each of a plurality of periods obtained by dividing the transient display period TTh.
  • step ST5 After the process of step ST5, after incrementing the frame count TP in step ST6, the control unit 201 returns to step ST3 to perform the same control process as described above for the process of the next picture (frame).
  • step ST3 If it is determined in step ST3 that the ratio ⁇ is not larger than the threshold RTh, or if it is determined in step ST4 that the transient display period TTh is not larger than the frame count TP, the control unit 201 performs the process of step ST7. Move. In step ST7, the control unit 201 sets the electro-optical conversion characteristic applied by the electro-optical conversion unit 207 after the current picture (frame) as the normal HDR electro-optical conversion characteristic, and ends the processing in step ST8.
  • a distribution stream (MPEG-2 TS, MMT, MP4 (ISOBMFF) or the like) is received from the transmitting apparatus 100 by broadcasting or communication, and is output directly or via the recording / reproducing unit 202a.
  • the distribution stream output from the receiving unit 202 is supplied to the container decoder 203.
  • the container decoder 203 extracts a video stream from the delivery stream. Further, the container decoder 203 extracts various information included in the container layer and sends the information to the control unit 201. If the layer of the container includes information on transient characteristics of electro-optical conversion, this information is also extracted and sent to the control unit 201.
  • the video stream extracted by the container decoder 203 is supplied to the video decoder 204.
  • the video decoder 204 performs decoding processing on the video stream to obtain HDR image data.
  • the video decoder 204 extracts a parameter set and an SEI message inserted in each access unit constituting the video stream, and sends the extracted parameter set and the SEI message to the control unit 201.
  • the SEI messages extracted in this manner include, in the video stream, static information, SEI message (see FIG. 12A) and transition transfer function SEI message (see FIG. 13A). .
  • the HDR image data obtained by the video decoder 204 is supplied to the statistical information processing unit 205 and the YCbCr / RGB conversion unit 206.
  • the statistical information processing unit 205 can acquire statistical information (information of the ratio ⁇ of the pixels of the pixel level exceeding the threshold level (TH_high) to the entire image) and the transient display period TTh from the statistical information / SEI message. If not, the image data is processed and their information is calculated and sent to the control unit 201.
  • the YCbCr / RGB converter 206 converts the HDR image data obtained by the video decoder 204 from the YCbCr (luminance / color difference) domain to the RGB domain.
  • the image data thus converted into the RGB domain is supplied to the electro-optical conversion unit 207.
  • the electro-optical conversion unit 207 applies the electro-optical conversion characteristic to the image data to obtain display image data. Then, the display device 208 displays an image based on the display image data.
  • the normal HDR light-to-light conversion characteristic HDR EOTF
  • the transient characteristic Th is applied during the transient display period (TTh) after switching, and the luminance level of the display image can be suppressed lower than usual.
  • image switching is performed by non-linear reproduction such as channel switching, system startup, random access, and CM / program main unit switching.
  • CM / program main unit switching In the control of, an example is shown that does not consider the relationship with the image before switching.
  • Fig. 16 (a) shows a previous picture image (image before switching)
  • Fig. 16 (b) shows an image of the current picture after switching.
  • the statistical information processing unit 205 sets a common area of R1, R2 and R3 to each image, and the ratio of pixels at pixel levels exceeding the threshold level (TH_high) of the previous and current pictures in each area. Calculate ⁇ (see Equation (1) above).
  • control unit 201 determines whether the ratio difference between the ratio ⁇ of the previous picture and the ratio ⁇ of the current picture in each region falls within the range Gc, and based on the determination result, the electro-optical conversion unit At 207, the conversion characteristics to be applied are controlled.
  • the flowchart in FIG. 17 illustrates another example of the control procedure of the electro-optical conversion unit 203 by the control unit 201 when switching of an image is performed by non-linear reproduction.
  • the non-linear control unit 201 starts processing in step ST10.
  • step ST11 the frame count TP indicating the elapsed time after switching to the transient characteristic is reset to 0, and the process proceeds to step ST12 to process the first picture (frame) after image switching.
  • step ST12 the control unit 201 determines whether the ratio difference of the region R3 exceeds the range Gc and the ratio ⁇ of the current picture is high. When the determination is affirmative, in step ST13, the control unit 201 determines whether the ratio difference of the region R2 exceeds the range Gc and the current ratio ⁇ of the pictures is high. When a positive determination is made, the control unit 201 proceeds to the process of step ST15.
  • step ST12 determines whether the ratio difference of the region R1 exceeds the range Gc and the current ratio ⁇ of the pictures is high at step ST14. To judge. When a positive determination is made, the control unit 201 proceeds to the process of step ST15.
  • step ST15 the control unit 201 determines whether the transient display period TTh is larger than the frame count TP. Although the ratio ⁇ used in step ST12, step ST13, and step ST14 is obtained for each picture (frame), the transient display period TTh used in step ST15 is the first after image switching. It is fixed to the one obtained in the picture (frame).
  • step ST16 the control unit 201 sets the electro-optical conversion characteristic applied by the electro-optical conversion unit 207 in the current picture (frame) as a transient characteristic.
  • step ST16 when there are a plurality of transient characteristics, transient characteristics of a plurality of stages are sequentially applied in each of a plurality of periods obtained by dividing the transient display period TTh.
  • step ST16 After the process of step ST16, after incrementing the frame count TP in step ST17, the control unit 201 returns to step ST12 to perform the same control process as described above for the process of the next picture (frame).
  • step ST14 When the determination in step ST14 is negative, or when it is determined in step ST16 that the transient display period TTh is not larger than the frame count TP, the control unit 201 proceeds to the process in step ST18.
  • step ST18 the control unit 201 sets the electro-optical conversion characteristic applied by the electro-optical conversion unit 207 after the current picture (frame) as the normal HDR conversion characteristic, and ends the processing in step ST19.
  • the characteristics of the electro-optical conversion applied by the electro-optical conversion unit 207 are transient characteristics in order to make the display characteristics during the transient display period be transient display characteristics suppressing the luminance level lower than usual. It was something to However, it is also conceivable to achieve similar transient display characteristics by controlling the LED backlight in the display device 208.
  • FIG. 18 shows a configuration example of a reception device 200A that achieves transient display characteristics by backlight control.
  • portions corresponding to FIG. 14 are denoted by the same reference numerals, and the detailed description thereof is omitted.
  • the electro-optical conversion unit 207 obtains positional information Po of a pixel at a pixel level exceeding the threshold level (TH_high), which is a transient characteristic target, and this positional information Po is sent to the control unit 201. Then, the control unit 201 causes the light emission level of the LED corresponding to the pixel at the position indicated by the position information Po to decrease in order to make the display characteristic in the transient display period be the transient display characteristic suppressing the luminance level lower than usual.
  • the LED backlight unit 208 a of the display device 208 is controlled.
  • control of the control unit 201 in this case reduces the light emission level of the LED corresponding to the pixel at the position indicated by the position information Po, for example, the control to make the electro-optical conversion transient characteristic in step ST5 of the flowchart of FIG. It will be replaced by control.
  • the transmission apparatus 100 determines whether to switch the display characteristic to the transient display characteristic in which the luminance level is suppressed lower than usual during the transient display period when the image is switched.
  • the pixel statistical information is inserted into a video stream obtained by encoding image data and transmitted. Therefore, it is possible to save time for calculating pixel statistical information in order to determine whether to switch the display characteristics to the transient display characteristics in which the luminance level is suppressed lower than usual during the transient display period when the image is switched. It becomes.
  • the reception device 200 when the image is switched, the reception device 200 suppresses the display characteristic and the luminance level to be lower than usual during the transient display period based on pixel statistical information of the image. It switches to the display characteristic. Therefore, it is possible to secure visual safety when there is a switching of images.
  • transmitting and receiving system 10 which consists of transmitting device 100 and receiving device 200
  • the composition of the transmitting and receiving system which can apply this art is not limited to this.
  • a portion of the receiving apparatus 200 is a set top box and monitor (display) connected by a digital interface (multimedia interface) such as, for example, a high-definition multimedia interface (HDMI).
  • HDMI high-definition multimedia interface
  • FIG. 19 shows a configuration example of the transmission and reception system 10A.
  • the transmission / reception system 10A is configured to have a transmission device 100, a set top box (STB) 200-1 (200-1 '), and a monitor 200-2 (200-2').
  • the set top box (STB) 200-1 (200-1 ') and the monitor 200-2 (200-2') are connected by HDMI.
  • the transmission device 100 is the same as the transmission device 100 (see FIG. 9) in the transmission and reception system 10 shown in FIG.
  • the set top box 200-1 receives a distribution stream (MPEG-2 TS, MMT, MP4 (ISOBMFF) or the like) transmitted from the transmission apparatus 100 by broadcasting or communication.
  • the monitor 200-2 (200-2 ') displays an image based on HDR image data sent by HDMI from the set top box (STB) 200-1 (200-1').
  • FIG. 20 shows a configuration example of the set top box 200-1.
  • the set top box 200-1 includes a control unit 201-1, a receiving unit 202, a container decoder 203, a video decoder 204, and an HDMI transmitting unit 209.
  • the set top box 200-1 includes the receiver 202, the container decoder 203 and the video decoder 204 in the receiver 200A of FIG.
  • the control unit 201-1 controls the operation of each unit of the set top box 200-1.
  • the receiving unit 202, the container decoder 203, and the video decoder 204 are configured in the same manner as the receiving unit 202, the container decoder 203, and the video decoder 204 in the receiving device 200A of FIG. 18, and operate in the same manner.
  • the HDMI transmitting unit 209 transmits the HDR image data obtained by the video decoder 204 to the monitor 200-2 via the HDMI transmission path through the communication based on the HDMI, and the above-mentioned static information ⁇ SEI message (The pixel statistical information (information of the ratio ⁇ of the pixel of the pixel level exceeding the threshold level (TH_high) to the entire image) acquired from FIG. 12 (a)), the information of the transient display period TTh, the above-mentioned transition, transfer, The information on the transient characteristics of electro-optical conversion acquired from the function / SEI message (see FIG. 13A) is sent.
  • the information of the ratio ⁇ which is pixel statistical information
  • the information of the transient display period TTh and the information of the transient characteristic of the electro-optical conversion are inserted into the blanking period of the image data of HDR and transmitted.
  • a transitional display control HDMI info frame Transitional Display Control HDMI Info Frame
  • a transition transfer function HDMI info frame Transition Transfer Function HDMI Info Frame
  • FIG. 21A shows a structural example (Syntax) of a transitional display control HDMI info frame
  • FIG. 21B shows contents (Semantics) of main information in the structural example.
  • the first 3 bytes of this info frame is a header portion, and information of info frame type, version number, and byte length of data byte is arranged.
  • EOTF Type Four bits of “EOTF Type” are arranged in the seventh bit to the fourth bit of the data byte 1 (Data Byte 1).
  • This 4-bit information indicates the type of EOTF. For example, “1” indicates “ITU-R Rec. BT. 709 (gamma)”, “2” indicates “ITU-R Rec. BT. 2100 PQ”, and “3” indicates “ITU-R Rec. "BT. 2100 HLG” is shown.
  • 16-bit information of "threshold_level” is arranged in data byte 2 (Data Byte 2) and data byte 3 (Data Byte 3). This 16-bit information indicates the lower limit threshold value of the pixel level value targeted for statistical information, that is, the threshold level (TH_high).
  • 8-bit information "high_level_target_ratio" is arranged in the data byte 4 (Data Byte 4). This 8-bit information indicates the value of the ratio ⁇ to the entire image of the pixel subject to transient characteristics. A value obtained by multiplying this ratio by 100 is a percentage value. Furthermore, 16-bit information of "transition_period” is arranged in data byte 5 (Data Byte 5) and data byte 6 (Data Byte 6). This 16-bit information indicates a transient display period TTh represented by a frame count value.
  • FIG. 22 (a) shows an example structure (Syntax) of a transition transfer function HDMI iframe
  • FIG. 22 (b) shows the contents (Semantics) of main information in the example structure.
  • the first 3 bytes of this info frame is a header portion, and information of info frame type, version number, and byte length of data byte is arranged.
  • 8-bit information of "number_of_transition_types” is arranged in the data byte 1 (Data Byte 1). This 8-bit information indicates the number of types of transient characteristics. Transient characteristic information is repeatedly present by this number.
  • Four bits of “transitionTF Type” are arranged in the seventh bit to the fourth bit of the data byte 2 (Data Byte 2). This 4-bit information indicates the type of transient characteristic. For example, “1" indicates Type 1, “2” indicates Type 2, and "3” indicates Type 3 (see FIGS. 3 and 4).
  • 16-bit information of “minimum_level” is arranged in data byte 3 (Data Byte 3) and data byte 4 (Data Byte 4). This 16-bit information indicates the minimum input pixel level of the curve that changes the target EOTF (see the threshold level H in the transmission code value of FIGS. 3 and 4).
  • 16-bit information of “maximum_level” is arranged in data byte 5 (Data Byte 5) and data byte 6 (Data Byte 6). This 16-bit information indicates the maximum input pixel level of the curve that changes the target EOTF (see maximum level M in the transmission code value of FIGS. 3 and 4).
  • 16-bit information of "trace_pivot_size” is arranged in data byte 7 (Data Byte 7) and data byte 8 (Data Byte 8). This 16-bit information indicates the number of points tracing the transient characteristic. As many as this number of points, 16-bit information of "input_level (j)” and 16-bit information of "output_level (j)” exist repeatedly.
  • 16-bit information of “input_level (j)” is arranged in data byte 9 (Data Byte 9) and data byte 10 (Data Byte 10). This 16-bit information indicates the input pixel level of the transient characteristic. 16-bit information of "input_level (j)” is arranged in data byte 11 (Data Byte 11) and data byte 12 (Data Byte 12). This 16-bit information indicates the output value of the transient characteristic corresponding to the input level.
  • Data Byte 13 Although illustration is omitted after data byte 13 (Data Byte 13), it is repetition of data byte 9 to data byte 12 depending on “trace_pivot_size", and data byte 2 to data depending on “number_of_transition_types”. It becomes repetition of byte 12.
  • FIG. 23 shows a configuration example of the monitor 200-2 connected to the set top box 200-1 of FIG.
  • the monitor 200-2 includes a control unit 201-2, an HDMI receiving unit 210, a statistical information processing unit 205, a YCbCr / RGB conversion unit 206, an electro-optical conversion unit 207, and a display device 208.
  • the control unit 201-2 controls the operation of each unit of the monitor 200-2.
  • the HDMI reception unit 210 transmits the image data of HDR and the pixel statistical information (the pixel level pixel exceeding the threshold level (TH_high) from the set top box 200-1 through the HDMI transmission path by the communication based on the HDMI.
  • Information on the ratio ⁇ to the entire image), transient display period TTh, and information on transient characteristics of electro-optical conversion are received. Each piece of information is sent to the control unit 201-2.
  • the statistical information processing unit 205 can not receive the information on the ratio ⁇ as pixel statistical information and the information on the transient display period TTh in the HDMI receiving unit 210, the HDR image data received in the HDMI receiving unit 210 Process to calculate their information.
  • the statistical information processing unit 205 sends information on the calculated ratio ⁇ and the transient display period TTh to the control unit 20-2.
  • the YCbCr / RGB conversion unit 206 converts the image data of HDR obtained by the HDMI reception unit 210 from the YCbCr (luminance / color difference) domain to the RGB domain.
  • the electro-optical conversion unit 207 applies the electro-optical conversion characteristic to the image data converted into the RGB domain by the YCbCr / RGB conversion unit 206 to obtain display image data.
  • the display device 208 is, for example, a liquid crystal display (LCD), and displays an image according to display image data.
  • the electro-optical conversion unit 207 always applies the normal HDR electro-optical conversion characteristic (HDR EOTF) under the control of the control unit 201-2 ′, but at channel switching, system startup, random access, CM /
  • HDR electro-optical conversion characteristic HDR EOTF
  • TRTF transient characteristics
  • positional information Po of a pixel at a pixel level exceeding the threshold level (TH_high) which is a transient characteristic target is obtained, and this positional information Po is sent to the control unit 201-2. Then, the control unit 201-2 lowers the light emission level of the LED corresponding to the pixel at the position indicated by the position information Po in order to make the display characteristic during the transient display period be the transient display characteristic suppressing the luminance level lower than usual.
  • the LED backlight unit 208 a of the display device 208 is controlled.
  • the luminance level of the display image is reduced in the transient display period by both controlling the electro-optical conversion characteristic to the transient characteristic and controlling the luminance level of the backlight. To ensure visual safety, but it is also conceivable to perform only one of the controls.
  • FIG. 24 shows a configuration example of the set top box 200-1 ′.
  • the set top box 200-1 includes a control unit 201-1 ′, a reception unit 202, a container decoder 203, a video decoder 204, a statistical information processing unit 205, and an HDMI transmission unit 209.
  • the set top box 200-1 ′ includes the receiving unit 202, the container decoder 203, the video decoder 204, and the statistical information processing unit 205 in the receiving device 200A of FIG.
  • the control unit 201-1 ′ controls the operation of each unit of the set top box 200-1 ′.
  • the receiving unit 202, the container decoder 203, the video data 204, and the statistical information processing unit 205 are configured in the same manner as the receiving unit 202, the container decoder 203, the video decoder 204, and the statistical information processing unit 205 in the receiving device 200A of FIG. Therefore, the description is omitted.
  • the HDMI transmitting unit 209 transmits the image data of HDR obtained by the video decoder 204 and the pixel statistical information (threshold level (TH_high) to the monitor 200-2 ′ through the HDMI transmission path through the communication based on the HDMI.
  • the information of the ratio ⁇ of the pixels of the exceeding pixel level to the entire image), the transient display period TTh, and the transient characteristic of the electro-optical conversion are sent.
  • the information of the ratio ⁇ which is pixel statistical information
  • the information of the transient display period TTh and the information of the transient characteristic of the electro-optical conversion are inserted into the blanking period of the image data of HDR and transmitted.
  • a transitional display control HDMI info frame (see FIG. 21A) to be newly defined is used to transmit information of the ratio ⁇ which is pixel statistical information and information of the transient display period TTh.
  • a newly defined transition transfer function / HDMI info frame (see FIG. 22A) is used to transmit information on transient characteristics of electro-optical conversion.
  • FIG. 25 shows a configuration example of a monitor 200-2 ′ connected to the set top box 200-1 ′ of FIG.
  • the monitor 200-2 ′ includes a control unit 201-2 ′, an HDMI reception unit 210, a YCbCr / RGB conversion unit 206, an electro-optical conversion unit 207, and a display device 208.
  • the control unit 201-2 ′ controls the operation of each unit of the monitor 200-2 ′.
  • the HDMI reception unit 210 transmits the image data of the HDR and the pixel statistical information (the pixel level pixel exceeding the threshold level (TH_high) from the set top box 200-1 ′ through the HDMI transmission path by the communication based on the HDMI.
  • Each piece of information is sent to the control unit 201-2 '.
  • the YCbCr / RGB conversion unit 206 converts the image data of HDR obtained by the HDMI reception unit 210 from the YCbCr (luminance / color difference) domain to the RGB domain.
  • the electro-optical conversion unit 207 applies the electro-optical conversion characteristic to the image data converted into the RGB domain by the YCbCr / RGB conversion unit 206 to obtain display image data.
  • the display device 208 is, for example, a liquid crystal display (LCD), and displays an image according to display image data.
  • the electro-optical conversion unit 207 always applies the normal HDR electro-optical conversion characteristic (HDR EOTF) under the control of the control unit 201-2, but at channel switching, system startup, random access, CM / program
  • HDR electro-optical conversion characteristic HDR EOTF
  • TRTF transient characteristics
  • positional information Po of a pixel at a pixel level exceeding the threshold level (TH_high) which is a transient characteristic target is obtained, and this positional information Po is sent to the control unit 201-2 ′. Then, the control unit 201-2 lowers the light emission level of the LED corresponding to the pixel at the position indicated by the position information Po in order to make the display characteristic during the transient display period be the transient display characteristic suppressing the luminance level lower than usual.
  • the LED backlight unit 208 a of the display device 208 is controlled.
  • the luminance level of the display image is reduced in the transient display period by both controlling the electro-optical conversion characteristics to the transient characteristics and controlling the luminance level of the backlight. To ensure visual safety, but it is also conceivable to perform only one of the controls.
  • An image processing apparatus comprising: a control unit that switches a display characteristic to a transient display characteristic that suppresses a luminance level to be lower than a normal level during a transient display period based on pixel statistical information of the image when there is image switching.
  • the pixel statistical information is information indicating a ratio of pixels exceeding a threshold level to an entire image.
  • the control unit uses the pixel statistical information obtained by processing image data.
  • the control unit uses information of the transient display period obtained based on the pixel statistical information.
  • the image processing method wherein the control unit switches the display characteristic to a transient display characteristic that suppresses the luminance level to be lower than usual during the transient display period based on pixel statistical information of the image when there is image switching.
  • a transmitter for transmitting a video stream obtained by encoding image data A transmitter comprising: an information insertion unit for inserting pixel statistical information for determining whether to switch the display characteristic to a transient display characteristic for suppressing the luminance level lower than usual during the transient display period when there is image switching .
  • the pixel statistical information is information indicating a ratio of pixels exceeding a threshold level to an entire image.
  • the transmission apparatus according to (10) or (11), wherein the information insertion unit further inserts information of the transient display period into the video stream.
  • the information insertion unit further inserts, into the video stream, information on transient characteristics of electro-optical conversion applied to image data during the transient display period, according to any one of (10) to (12). Transmitter.
  • the transmission device according to (13), wherein the information of the transient characteristic of the electro-optical conversion is table information corresponding to a change range of normal electro-optical conversion characteristics.
  • the transmission apparatus according to (13) or (14), wherein a plurality of transient characteristics exist as the transient characteristics.
  • the transmitting unit transmits a video stream obtained by encoding image data, A transmitting method of inserting pixel statistical information into the video stream to determine whether to switch the display characteristic to a transient display characteristic for suppressing the luminance level lower than usual during a transient display period when there is an image switch.
  • a digital interface unit that transmits pixel statistical information together with image data to determine whether to switch the display characteristic to a transient display characteristic that suppresses the luminance level lower than usual during the transient display period when there is image switching apparatus.
  • the transmission device according to (17), wherein the digital interface unit further transmits information of transient characteristics of electro-optical conversion applied to image data during the transient display period.
  • the transmission device wherein the information of the transient characteristic of the electro-optical conversion is table information corresponding to the change range of the normal electro-optical conversion characteristic.
  • a digital interface unit is provided that receives, together with image data, pixel statistical information for determining whether to switch the display characteristics to the transient display characteristics in which the brightness level is suppressed lower than usual during the transient display period when there is image switching. apparatus.
  • the main feature of the present technology is that, when there is image switching due to non-linear reproduction, based on pixel statistical information of the image, the display characteristic is switched to a transient display characteristic that suppresses the luminance level lower than usual during the transient display period. This makes it possible to secure visual safety when there is an image switch (see FIGS. 2, 3, 14, 15).
  • Video encoder 106 Container encoder 107: Transmission unit 200, 200A: Reception device 200-1, 200-1 ': Set top box 200-2, 200-2': Monitor 201, 201- 1, 201-1 ′, 201-2, 201-2 ′ ⁇ Control unit 202 ⁇ Reception unit 202a ⁇ Recording and reproduction unit 203 ⁇ Container decoder 204 ⁇ Video decoder 205 ⁇ Statistics Information processing unit 206 ... YCbCr / RGB conversion unit 207 ... electric light conversion unit 208 ... display device 208 a ... LED backlight unit 209 ... HDMI transmission 210 ⁇ HDMI receiving unit

Abstract

画像の切り替えがあるときの視覚的な安全性を確保する。 ノンリニア再生によって画像の切り替えがあるとき、その画像の画素統計情報に基づいて、過渡表示期間の間、表示特性を、輝度レベルを通常より低く抑える過渡表示特性に切り替える。例えば、電光変換特性を過渡特性に制御するか、あるいはバックライトの輝度レベルを抑制する。

Description

画像処理装置、画像処理方法、送信装置、送信方法および受信装置
 本技術は、画像処理装置、画像処理方法、送信装置、送信方法および受信装置に関し、特に、画像の切り替えがあるときの視覚的な安全性を確保する画像処理装置等に関する。
 例えば、非特許文献1には、0~100%*N(Nは1より大きい)のレベル範囲を持つHDR(High Dynamic Range)画像を送信することなどが記載されている。
High Efficiency Video Coding (HEVC) ITU-T H.265 規格
 HDR画像において、きらめき成分は表示の際に高輝度表示につながる。制作側で確認済みのリニアな再生においては問題なく表示されることが前提となる。しかし、受信側において、チャネル切り替え、ランダムアクセス、システム起動、CM挿入などのノンリニア再生で画像の切り換わりがあるときに切り替わり後の画像が非常に明るいものとなった場合には視覚的な安全性を脅かす可能性がある。
 本技術の目的は、画像の切り替えがあるときの視覚的な安全性を確保することにある。
 本技術の概念は、
 画像の切り替えがあるとき、上記画像の画素統計情報に基づいて、過渡表示期間の間、表示特性を、輝度レベルを通常より低く抑える過渡表示特性に切り替える制御部を備える
 画像処理装置にある。
 本技術において、制御部により、画像の切り替えがあるとき、その画像の画素統計情報に基づいて、過渡表示期間の間、表示特性が輝度レベルを通常より低く抑える過渡表示特性に切り替えられる。例えば、画素統計情報は、閾値レベルを越える画素の画像全体に対する割合を示す情報である、ようにされてもよい。この割合により、画像が非常に明るいものか否かの判断が可能となる。
 例えば、制御部は、画像データを処理して得られる画素統計情報を利用するようにされてもよい。また、例えば、制御部は、画素統計情報に基づいて得られる過渡表示期間の情報を利用する、ようにされてもよい。また、例えば、制御部は、符号化画像データから抽出された画素統計情報または過渡表示期間の情報を利用する、ようにされてもよい。この場合、処理負荷の低減が可能となる。
 また、例えば、過渡表示特性として複数段階の過渡表示特性が存在し、制御部は、過渡表示期間の間、複数段階の過渡表示特性を順に適用する、ようにされてもよい。この場合、過渡表示特性から通常表示特性への移行をスムーズに行うことが可能となる。
 また、例えば、制御部は、過渡表示期間の間、画像データに適用される電光変換の特性を過渡特性にする、ようにされてもよい。また、例えば、制御部は、過渡表示期間の間、表示デバイスのバックライトの輝度レベルを通常より低く抑える、ようにされてもよい。
 このように本技術においては、画像の切り替えがあるとき、その画像の画素統計情報に基づいて、過渡表示期間の間、表示特性を、輝度レベルを通常より低く抑える過渡表示特性に切り替えるものである。そのため、画像の切り替えがあるときの視覚的な安全性を確保することが可能となる。
 また、本技術の他の概念は、
 画像データを符号化して得られたビデオストリームを送信する送信部と、
 上記ビデオストリームに、画像の切り替えがあるときに表示特性を過渡表示期間の間輝度レベルを通常より低く抑える過渡表示特性に切り替えるか判断するための画素統計情報を挿入する情報挿入部を備える
 送信装置にある。
 本技術において、送信部により、画像データを符号化して得られたビデオストリームが送信される。この場合、情報挿入部により、ビデオストリームに、画像の切り替えがあるときに表示特性を過渡表示期間の間輝度レベルを通常より低く抑える過渡表示特性に切り替えるか判断するための画素統計情報が挿入される。例えば、画素統計情報は、閾値レベルを越える画素の画像全体に対する割合を示す情報である、ようにされてもよい。
 また、例えば、情報挿入部は、ビデオストリームに、過渡表示期間の情報をさらに挿入する、ようにされてもよい。この場合、受信側において、過渡表示期間を算出する手間を省くことが可能となる。また、例えば、情報挿入部は、ビデオストリームに、過渡表示期間の間画像データに適用される電光変換の過渡特性の情報をさらに挿入する、ようにされてもよい。これにより、受信側において、電光変換の過渡特性の情報を備えていなくても電光変換の過渡特性に切り替えることが可能となる。
 この場合、例えば、電光変換の過渡特性の情報は、通常の電光変換特性のうちの変更範囲に対応したテーブル情報である、ようにされてもよい。これにより、送信情報量の低減が可能となる。また、この場合、例えば、過渡特性として複数段階の過渡特性が存在する、ようにされてもよい。これにより、受信側において、過渡特性から通常特性への移行をスムーズに行うことが可能となる。
 このように本技術においては、画像の切り替えがあるときに表示特性を過渡表示期間の間輝度レベルを通常より低く抑える過渡表示特性に切り替えるか判断するための画素統計情報を、画像データを符号化して得られたビデオストリームに挿入して送信するものである。そのため、受信側において、画像の切り替えがあるときに表示特性を過渡表示期間の間輝度レベルを通常より低く抑える過渡表示特性に切り替えるか判断するために画素統計情報を算出する手間を省くことが可能となる。
 また、本技術の他の概念は、
 画像の切り替えがあるときに表示特性を過渡表示期間の間輝度レベルを通常より低く抑える過渡表示特性に切り替えるか判断するための画素統計情報を画像データと共に送信するデジタルインタフェース部を備える
 送信装置にある。
 本技術において、デジタルインタフェース部により、画像の切り替えがあるときに表示特性を過渡表示期間の間輝度レベルを通常より低く抑える過渡表示特性に切り替えるか判断するための画素統計情報が画像データと共に送信される。
 例えば、デジタルインタフェース部は、過渡表示期間の間画像データに適用される電光変換の過渡特性の情報をさらに送信する、ようにされてもよい。これにより、受信側において、電光変換の過渡特性の情報を備えていなくても電光変換の過渡特性に切り替えることが可能となる。そして、この場合、電光変換の過渡特性の情報は、通常の電光変換特性のうちの変更範囲に対応したテーブル情報である、ようにされてもよい。これにより、送信情報量の低減が可能となる。
 このように本技術においては、画像の切り替えがあるときに表示特性を過渡表示期間の間輝度レベルを通常より低く抑える過渡表示特性に切り替えるか判断するための画素統計情報を画像データと共にデジタルインタフェース部で送信するものである。そのため、受信側において、画像の切り替えがあるときに表示特性を過渡表示期間の間輝度レベルを通常より低く抑える過渡表示特性に切り替えるか判断するために画素統計情報を算出する手間を省くことが可能となる。
 また、本技術の他の概念は、
 画像の切り替えがあるときに表示特性を過渡表示期間の間輝度レベルを通常より低く抑える過渡表示特性に切り替えるか判断するための画素統計情報を画像データと共に受信するデジタルインタフェース部を備える
 受信装置にある。
 本技術において、デジタルインタフェース部により、画像の切り替えがあるときに表示特性を過渡表示期間の間輝度レベルを通常より低く抑える過渡表示特性に切り替えるか判断するための画素統計情報が画像データと共に受信される。そのため、画像の切り替えがあるときに表示特性を過渡表示期間の間輝度レベルを通常より低く抑える過渡表示特性に切り替えるか判断するために画素統計情報を算出する手間を省くことが可能となる。
 本技術によれば、画像の切り替えがあるときの視覚的な安全性を確保できる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
実施の形態としての送受信システムの構成例を示すブロック図である。 チャネル切り替えにより画像がチャネルAのものからチャネルBのものに切り替えられる場合の制御例を示す図である。 HDR特性(HLG)とType1,Type2,Type3の過渡特性(TRTF)の一例を示す図である。 HDR特性(PQ)とType1,Type2,Type3の過渡特性(TRTF)の一例を示す図である。 チャネル切り替えにより画像がチャネルAのものからチャネルBのものに切り替えられる場合であって、切り替え直後の一定期間はブラックあるいはグレイ画が表示される場合の制御例を示す図である。 システム起動(パワーオン)、あるいはランダムアクセスにより画像が切り替えられる場合の制御例を示す図である。 システム起動(パワーオン)、あるいはランダムアクセスにより画像が切り替えられる場合であって、切り替え直後の一定期間はブラックあるいはグレイ画が表示される場合の制御例を示す図である。 CMと番組本編の切り替わりで画像が切り替えられる場合の制御例を示す図である。 送信装置の構成例を示すブロック図である。 画像全部についてのヒストグラムの一例を示す図である。 トランジション・トランスファー・ファンクション・SEIメッセージの挿入箇所を説明するための図である。 スタティスチカル・インフォメーション・SEIメッセージの構造例と、その構造例における主要な情報の内容を示す図である。 トランジション・トランスファー・ファンクション・SEIメッセージの構造例と、その構造例における主要な情報の内容を示す図である。 受信装置の構成例を示すブロック図である。 ノンリニア再生によって画像の切り替えが行われる場合における制御部による電光変換部の制御手順の一例を示すフローチャートである。 切り替え前の画像との関連性を考慮する場合の制御の一例を説明するための図である。 ノンリニア再生によって画像の切り替えが行われる場合における制御部による電光変換部の制御手順の他の一例を示すフローチャートである。 バックライト制御により過渡表示特性を達成する受信装置の構成例を示すブロック図である。 送受信システムの他の構成例を示すブロック図である。 セットトップボックスの構成例を示すブロック図である。 トランジショナル・ディスプレイ・コントロール・HDMIインフォフレームの構造例と、その構造例における主要な情報の内容を示す図である。 トランジション・トランスファー・ファンクション・HDMIインフォフレームの構造例と、その構造例における主要な情報の内容を示す図である。 モニタの構成例を示すブロック図である。 セットトップボックスの他の構成例を示すブロック図である。 モニタの他の構成例を示すブロック図である。
 以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明は以下の順序で行う。
 1.実施の形態
 2.変形例
 <1.実施の形態>
 [送受信システム]
 図1は、実施の形態としての送受信システム10の構成例を示している。この送受信システム10は、送信装置100と受信装置200を有する構成となっている。
 送信装置100は、画像データがH.264/AVC、H.265/HEVCなどにより符号化されて得られたビデオストリームを放送あるいは通信により送信する。ビデオストリームには、画像の切り替えがあるときに表示特性を過渡表示期間の間輝度レベルを通常より低く抑える過渡表示特性に切り替えるか判断するための画素統計情報が挿入される。
 この画素統計情報は、例えば、閾値レベルを越える画素の画像全体に対する割合を示す情報とされる。このようにビデオストリームに画素統計情報が挿入されることで、受信側において、画像の切り替えがあるときに表示特性を過渡表示期間の間輝度レベルを通常より低く抑える過渡表示特性に切り替えるか判断するために画素統計情報を算出する手間を省くことが可能となる。
 本実施の形態においては、表示デバイス(ディスプレイ)の輝度表示能力をチェックしたうえで、輝度表示可能な範囲に表示レベルの変換を行うような機能とは別に、受信機での画像の切り替えが生じたときに、過渡期間の電光変換特性を選択する機能を持つものであり、それにより、過渡表示期間の間輝度レベルを通常より低く抑える過渡表示特性に切り替えるものである。加えて、画素統計情報をビデオストリームに挿入することで、過渡期間の表示に切り替えるかの判断を行うために画素統計情報を再生側で算出する手間を省くことが可能となる。
 また、ビデオストリームには、上述の画素統計情報の他に、過渡表示期間の情報が挿入される。これにより、受信側において、過渡表示期間を算出する手間を省くことが可能となる。また、ビデオストリームには、さらに、過渡表示期間の間所定の動画像データに適用される電光変換の過渡特性の情報が挿入される。これにより、受信側において、電光変換の過渡特性の情報を備えていなくても電光変換の過渡特性に切り替えることが可能となる。この場合、例えば、電光変換の過渡特性の情報は、通常の電光変換特性のうちの変更範囲に対応したテーブル情報とされる。これにより、送信情報量の低減が可能となる。また、過渡特性は、一つであってもよいが、この実施の形態においては、複数段階の過渡特性とされる。これにより、受信側において、過渡特性から通常特性への移行をスムーズに行うことが可能となる。
 この実施の形態において、上述した画素統計情報、過渡表示期間の情報、電光変換の過渡特性の情報などを含むSEIメッセージがビデオストリームに挿入される。この実施の形態において、例えば、画素統計情報や過渡表示期間の情報を含めるスタティスチカル・インフォメーション・SEIメッセージ(Statistical_Information SEI Message)と、電光変換の過渡特性の情報を含めるトランジション・トランスファー・ファンクション・SEIメッセージ(Transition_Transfer_Function SEI Message)が、新たに定義される。
 受信装置200は、所定の動画像データがH.264/AVC、H.265/HEVCなどにより符号化されて得られたビデオストリームを放送あるいは通信により受信する。受信装置200は、受信されたビデオストリームを復号化して所定の動画像データを得、この所定の動画像データによる画像を得る。例えば、受信装置200は、受信されたビデオストリームを直接復号化して画像再生を行うことも可能であるが、記録再生部を経た後に復号化して画像再生を行うことも可能である。
 受信装置200は、画像の切り替えがあるとき、その画像の画素統計情報に基づいて、過渡表示期間の間、表示特性を、輝度レベルを通常より低く抑える過渡表示特性に切り替える。例えば、画素統計情報は、例えば、閾値レベルを越える画素の画像全体に対する割合を示す情報であり、この割合が閾値より大きいとき、過渡表示期間の間、表示特性を、輝度レベルを通常より低く抑える過渡表示特性に切り替えるようにされる。これにより、画像の切り替えがあるときの視覚的な安全性を確保することが可能となる。
 受信装置200は、所定の画像データの符号化画像データ(ビデオストリーム)に画素統計情報や過渡表示期間の情報が挿入されている場合には、それを抽出して使用できる。これにより、画素統計情報や過渡表示期間を算出する手間を省くことが可能となる。また、受信装置200は、所定の動画像データを処理して画素統計情報や過渡表示期間の情報を得て使用することもできる。
 受信装置200は、輝度レベルを通常より低く抑える過渡表示特性とするために、所定の動画像データに適用される電光変換の特性を過渡特性にするか、表示デバイスのバックライトの輝度レベルを通常より低く抑えるか、あるいはそれらの双方を行う。例えば、複数段階の過渡表示特性が利用され、過渡表示期間の間それらが順に適用される。これにより、過渡表示特性から通常表示特性への移行をスムーズに行うことが可能となる。
 受信装置200は、所定の画像データの符号化画像データ(ビデオストリーム)に、電光変換の過渡特性の情報が挿入されている場合には、それを抽出して使用できる。これにより、受信装置200に電光変換の過渡特性の情報を備えていない場合であっても、所定の動画像データに適用される電光変換の特性を過渡特性にして、輝度レベルを通常より低く抑える過渡表示特性とすることが可能となる。
 「画像切り替えの態様」
 ここで、受信装置200において、画像の切り替えが行われる場合の種々の態様について説明する。
 (1)チャネル切り替え時
 図2は、チャネル切り替えにより画像がチャネルAのものからチャネルBのものに切り替えられる場合の例を示している。この例では、切り替え後のチャネルBの画像が制御対象であり、切り替え後の過渡表示期間(TTh)の間、電光変換特性が過渡特性(TRTF)とされ、表示画像の輝度レベルが通常より低く抑えられる。また、過渡表示期間(TTh)が経過した後は、電光変換特性は通常のHDR電光変換特性(HDR EOTF)とされ、画像の輝度レベルが通常より低く抑えられることが解除される。
 この例では、過渡表示期間がT1,T2,T3の各期間に分割され、それぞれの期間において、Type1,Type2,Type3の過渡特性(TRTF)が適用され、表示画像の輝度レベルが順次高くなっていくように制御されている。これにより、過渡特性から通常の変換特性(HDR EOTF)への移行がスムーズに行われている。なお、図示の例において、「HDR」の文字を含む矩形枠は、一個のピクチャ(フレーム)を示すものではなく、T1,T2,T3の各期間内の一個あるいは複数個のピクチャ(フレーム)をまとめて示すものである。このことは、以下の同様の図においても同じである。
 図3は、ITU-R BT.2100(HLG)における通常の変換特性(HDR EOTF)であるHDR特性(HLG)とType1,Type2,Type3の過渡特性(TRTF)の一例を示している。
 横軸は伝送符号値を示し、縦軸は出力輝度レベルを示している。曲線aはHDR特性(HLG)を示しており、曲線bはSDR特性を示している。伝送符号値が0から分岐レベルBまでは、HDR特性(HLG)はSDR特性と同一軌道となる。また、HDR特性(HLG)において伝送符号値の最大レベルMに対応する出力輝度レベルはP2であり、SDR特性において伝送符号値の最大レベルMに対応する出力輝度レベルはP1である。
 Type1,Type2,Type3の過渡特性(TRTF)では、伝送符号値が閾値レベルHから最大レベルMまでの特性がHDR特性(HLG)とは異なる変更範囲とされている。ここで、閾値レベルHに対応する出力輝度レベルはP1´である。Type1の過渡特性では、伝送符号値の最大レベルMに対応する出力輝度レベルがSDR特性と同じくP1とされている。また、Type2の過渡特性では、伝送符号値の最大レベルMに対応する出力輝度レベルがP1a(P1<P1a<P2)とされている。また、Type3の過渡特性では、伝送符号値の最大レベルMに対応する出力輝度レベルがP1b(P1a<P1b<P2)とされている。
 図4は、ITU-R BT.2100(PQ)における通常の変換特性(HDR EOTF)であるHDR特性(PQ)とType1,Type2,Type3の過渡特性(TRTF)の一例を示している。
 横軸は伝送符号値を示し、縦軸は出力輝度レベルを示している。曲線aはHDR特性(PQ)を示しており、曲線bはSDR特性を示している。HDR特性(PQ)において伝送符号値の最大レベルMに対応する出力輝度レベルはP2であり、SDR特性において伝送符号値の最大レベルMに対応する出力輝度レベルはP1である。
 Type1,Type2,Type3の過渡特性(TRTF)では、伝送符号値が閾値レベルHから最大レベルMまでの特性がHDR特性(PQ)とは異なる変更範囲とされている。ここで、閾値レベルHに対応する出力輝度レベルはP1´である。Type1の過渡特性では、伝送符号値の最大レベルMに対応する出力輝度レベルがSDR特性と同じくP1とされている。また、Type2の過渡特性では、伝送符号値の最大レベルMに対応する出力輝度レベルがP1a(P1<P1a<P2)とされている。また、Type3の過渡特性では、伝送符号値の最大レベルMに対応する出力輝度レベルがP1b(P1a<P1b<P2)とされている。
 なお、過渡表示期間(TTh)の全体に一つの過渡特性、例えばType1の過渡特性を適用することも考えられる。
 (2)チャネル切り替え時(ブラック/グレイ画経由)
 図5は、チャネル切り替えにより画像がチャネルAのものからチャネルBのものに切り替えられる場合であって、切り替え直後の一定期間はブラックあるいはグレイ画が表示される例を示している。この例でも、切り替え後のチャネルBの画像が制御対象であり、ブラックあるいはグレイ画が表示された後の過渡表示期間(TTh)の間、電光変換特性が過渡特性(TRTF)とされ、表示画像の輝度レベルが通常より低く抑えられる。また、過渡表示期間(TTh)が経過した後は、電光変換特性は通常のHDR電光変換特性(HDR EOTF)とされ、表示画像の輝度レベルが通常より低く抑えられることが解除される。
 この例では、過渡表示期間がT1,T2,T3の各期間に分割され、それぞれの期間において、Type1,Type2,Type3の過渡特性(TRTF)が適用され(図3、図4参照)、表示画像の輝度レベルが順次高くなっていくように制御されている。これにより、過渡特性から通常の変換特性(HDR EOTF)への移行がスムーズに行われている。なお、過渡表示期間(TTh)の全体に一つの過渡特性、例えばType1の過渡特性を適用することも考えられる。
 (3)システム起動時、ランダムアクセス時
 図6は、システム起動(パワーオン)、あるいはランダムアクセスにより画像が切り替えられる場合の例を示している。この例では、システム起動(パワーオン)後、あるいはランダムアクセス後の画像が制御対象であり、切り替え後の過渡表示期間(TTh)の間、電光変換特性が過渡特性(TRTF)とされ、表示画像の輝度レベルが通常より低く抑えられる。また、過渡表示期間(TTh)が経過した後は、電光変換特性は通常のHDR電光変換特性(HDR EOTF)とされ、表示画像の輝度レベルが通常より低く抑えられることが解除される。
 この例では、過渡表示期間がT1,T2,T3の各期間に分割され、それぞれの期間において、Type1,Type2,Type3の過渡特性(TRTF)が適用され(図3、図4参照)、表示画像の輝度レベルが順次高くなっていくように制御されている。これにより、過渡特性から通常の変換特性(HDR EOTF)への移行がスムーズに行われている。なお、過渡表示期間(TTh)の全体に一つの過渡特性、例えばType1の過渡特性を適用することも考えられる。
 (4)システム起動時、ランダムアクセス時(ブラック/グレイ画経由)
 図7は、システム起動(パワーオン)、あるいはランダムアクセスにより画像が切り替えられる場合であって、切り替え直後の一定期間はブラックあるいはグレイ画が表示される例を示している。この例でも、システム起動(パワーオン)後、あるいはランダムアクセス後の画像が制御対象であり、ブラックあるいはグレイ画が表示された後の過渡表示期間(TTh)の間、電光変換特性が過渡特性(TRTF)とされ、表示画像の輝度レベルが通常より低く抑えられる。また、過渡表示期間(TTh)が経過した後は、電光変換特性は通常のHDR電光変換特性(HDR EOTF)とされ、表示画像の輝度レベルが通常より低く抑えられることが解除される。
 この例では、過渡表示期間がT1,T2,T3の各期間に分割され、それぞれの期間において、Type1,Type2,Type3の過渡特性(TRTF)が適用され(図3、図4参照)、表示画像の輝度レベルが順次高くなっていくように制御されている。これにより、過渡特性から通常の変換特性(HDR EOTF)への移行がスムーズに行われている。なお、過渡表示期間(TTh)の全体に一つの過渡特性、例えばType1の過渡特性を適用することも考えられる。
 (5)CM/番組本編の切り替わり時
 図8は、CMと番組本編の切り替わりで画像が切り替えられる場合の例を示している。この場合のCMは、例えば受信側において任意に挿入されるものを想定している。この例では、CMから番組本編へ、あるいは番組本編からCMへの切り替わり後の画像が制御対象であり、切り替わり後の過渡表示期間(TTh)の間、電光変換特性が過渡特性(TRTF)とされ、表示画像の輝度レベルが通常より低く抑えられる。また、過渡表示期間(TTh)が経過した後は、電光変換特性は通常の変換特性(HDR EOTF)とされ、表示画像の輝度レベルが通常より低く抑えられることが解除される。
 この例では、過渡表示期間がT1,T2,T3の各期間に分割され、それぞれの期間において、Type1,Type2,Type3の過渡特性(TRTF)が適用され(図3、図4参照)、表示画像の輝度レベルが順次高くなっていくように制御されている。これにより、過渡特性から通常の変換特性(HDR EOTF)への移行がスムーズに行われている。なお、過渡表示期間(TTh)の全体に一つの過渡特性、例えばType1の過渡特性を適用することも考えられる。
 「送信装置の構成」
 図9は、送信装置100の構成例を示している。この送信装置100は、制御部101と、光電変換部102と、RGB/YCbCr変換部103と、統計情報処理部104と、ビデオエンコーダ105と、コンテナエンコーダ106と、送信部107を有している。制御部101は、CPU(Central Processing Unit)を備えて構成されており、送信装置100の各部の動作を制御する。
 光電変換部102は、動画像データとしての例えば高コントラストカメラ出力、すなわちHDR(ハイダイナミックレンジ)画像データVhに対して、HDR光電変換特性(HLGカーブ、PQカーブなど)を適用して光電変換をする。RGB/YCbCr変換部103は、光電変換後の画像データをRGBドメインからYCbCrドメインに変換する。この場合、RGB/YCbCr変換部103は、色空間情報に基づいて、色空間に対応した変換式を用いて変換をする。
 統計情報処理部104は、RGB/YCbCr変換部103で得られた画像データを処理して、画素統計情報を算出する。この場合、統計情報処理部104は、ピクチャ(フレーム)毎に、閾値レベル(TH_high)を越える画素レベルの画素の画像全体に対する割合αを算出する。
 図10は、画像全体についてのヒストグラムの一例を示している。このヒストグラムにおいて、縦軸は度数であり、横軸は階級としての画素レベルである。閾値レベル(TH_high)を越える画素レベルに対する度数の総和(ハッチング部分)を全ての画素レベルに対する度数の総和で割り算することで、割合αが算出される。
 統計情報処理部104は、以下の数式(1)に基づいて、閾値レベル(TH_high)を越える画素レベルの画素の割合αを算出する。この数式(1)において、右辺の分数式の分母は画像全体の画素の個数を示し、その分子は閾値レベル(TH_high)を越える輝度レベルを持つ画素の個数を示している。
Figure JPOXMLDOC01-appb-M000001
 また、統計情報処理部104は、送信装置100が割合αの情報と共に送信する過渡表示期間TThの情報も算出する。この場合、まず、以下の数式(2)により、割合αに所定の係数Tcを掛け算することで、過渡表示期間TTrを求める。そして、統計情報処理部104は、TTrが時間の単位(sec)に相当するものであるので、これをビデオのフレームレートに換算して、フレームカウント値で表現される過渡表示期間TThを得る。
Figure JPOXMLDOC01-appb-M000002
 統計情報処理部104は、割合αおよび過渡表示期間TThの情報を制御部101に送る。ビデオエンコーダ105は、RGB/YCbCr変換部103で得られた画像データに対して、例えば、MPEG4-AVCあるいはHEVCなどの符号化を施して符号化ビデオデータを得、この符号化ビデオデータを含むビデオストリーム(ビデオエレメンタリストリーム)を得る。
 この際、ビデオエンコーダ105は、アクセスユニット(AU)のSPS NALユニットのVUI(video usability information)の領域に、HDRのストリームであること、さらにはHDR電光変換特性などを示すメタ情報を挿入する。また、ビデオエンコーダ105は、アクセスユニット(AU)の“SEIs”の部分に、上述のスタティスチカル・インフォメーション・SEIメッセージとトランジション・トランスファー・ファンクション・SEIメッセージを挿入する。
 なお、画素統計情報や過渡表示期間の情報を含むスタティスチカル・インフォメーション・SEIメッセージは、毎ピクチャのアクセスユニットに挿入されるが、電光変換の過渡特性の情報を含むトランジション・トランスファー・ファンクション・SEIメッセージは、必ずしも毎ピクチャのアクセスユニットに挿入される必要はなく、例えば、図11に示すように、例えばシーンの開始あるいはGOP(Group of Pictures)に相当するピクチャのアクセスユニットに挿入される。
 また、電光変換の過渡特性の情報については、後述するコンテナのレイヤに挿入することも可能である。例えば、MPEG-2 TSやMMTの場合には電光変換の過渡特性の情報はデスクリプタに挿入され、MP4(ISOBMFF)の場合には電光変換の過渡特性の情報をmoof内のボックスに、あるいはDASHによる配信の場合には、MPD内に「supplemental property descriptor」よって挿入される。
 スタティスチカル・インフォメーション・SEIメッセージは、上述したように、画素統計情報や過渡表示期間の情報を含むものである。図12(a)は、スタティスチカル・インフォメーション・SEIメッセージの構造例(Syntax)を示している。図12(b)は、その構造例における主要な情報の内容(Semantics)を示している。
 「EOTF Type」の4ビットフィールドは、EOTFの種類を示す。例えば、“1”は「ITU-R Rec. BT.709(gamma)」を示し、“2”は「ITU-R Rec. BT.2100 PQ」を示し、“3”は「ITU-R Rec.BT.2100 HLG」を示す。
 「threshold_level」の16ビットフィールドは、統計情報の対象となる画素レベル値の下限閾値、つまり閾値レベル(TH_high)を示す。「high_level_target_ratio」の8ビットフィールドは、過渡特性対象の画素の画像全体に対する割合αの値を示す。この割合に100を掛けた値がパーセント値となる。「transition_period」の16ビットフィールドは、フレームカウント値で表現される過渡表示期間TThを示す。
 また、トランジション・トランスファー・ファンクション・SEIメッセージは、上述したように、電光変換の過渡特性の情報を含むものである。図13(a)は、トランジション・トランスファー・ファンクション・SEIメッセージの構造例(Syntax)を示している。図13(b)は、その構造例における主要な情報の内容(Semantics)を示している。
 「number_of_transition_types」の8ビットフィールドは、過渡特性のタイプの数を示す。この数の分だけ、過渡特性の情報が繰り返し存在する。
 「transitionTF Type」の4ビットフィールドは、過渡特性の種類を示す。例えば、“1”はType1を示し、“2”はType2を示し、“3”はType3を示す(図3、図4参照)。「minimum_level」の16ビットフィールドは、対象となるEOTFを変更する曲線の最小入力画素レベルを示す(図3、図4の伝送符号値における閾値レベルH参照)。「maximum_level」の16ビットフィールドは、対象となるEOTFを変更する曲線の最大入力画素レベルを示す(図3、図4の伝送符号値における最大レベルM参照)。
 「trace_pivot_size」の16ビットフィールドは、過渡特性をトレースする点の数を示す。この点の数だけ、「input_level(j)」の16ビットフィールドおよび「output_level(j)」の16ビットフィールドが繰り返し存在する。「input_level(j)」のフィールドは、過渡特性の入力画素レベルを示す。「output_level(j)」のフィールドは、その入力レベルに対応する過渡特性の出力値を示す。
 図9に戻って、コンテナエンコーダ106は、ビデオエンコーダ105で生成されたビデオストリームを含むコンテナ、例えばMPEG-2 TS、MMT、MP4(ISOBMFF)を配信ストリームとして生成する。この際、コンテナのレイヤに、上述のトランジション・トランスファー・ファンクション・SEIメッセージに含まれると同様の電光変換の過渡特性の情報が挿入されてもよい。送信部107は、コンテナエンコーダ106で得られた配信ストリームを、放送あるいは通信で、受信装置200に送信する。
 図9に示す送信装置100の動作を簡単に説明する。例えば、高コントラストカメラ出力であるHDR画像データVhが光電変換部102に供給される。この光電変換部103では、HDR画像データVhにHDR光電変換特性で光電変換が施され、HDR OETFで映像制作された映像素材としての画像データが得られる。
 光電変換部102で得られたHDRの画像データは、RGB/YCbCr変換部103に供給される。このRGB/YCbCr変換部103では、光電変換部102で得られた画像データが、RGBドメインからYCbCrドメインに変換される。YCbCrドメインに変換された画像データは、統計情報処理部104およびビデオエンコーダ105に供給される。
 統計情報処理部104では、RGB/YCbCr変換部103で得られた画像データが処理されて、画素統計情報が算出される。この実施の形態では、ピクチャ(フレーム)毎に、閾値レベル(TH_high)を越える画素レベルの画素の画像全体に対する割合αが算出される(数式(1)参照)。
 また、統計情報処理部104では、送信装置100が割合αの情報と共に送信する過渡表示期間TThの情報も算出される。この場合、割合αに所定の係数Tcが掛け算されることで時間単位の過渡表示期間TTrが求められ(数式(2)参照)、その後にビデオのフレームレートに換算されて、フレームカウント値で表現される過渡表示期間TThが得られる。統計情報処理部104で算出された割合αの情報と過渡表示期間TThの情報は、制御部101に送られる。
 ビデオエンコーダ105では、RGB/YCbCr変換部103で得られた画像データに対して、例えば、MPEG4-AVCあるいはHEVCなどの符号化が施されて符号化ビデオデータが得られ、この符号化ビデオデータが含まれるビデオストリーム(ビデオエレメンタリストリーム)が生成される。
 この際ビデオエンコーダ105では、アクセスユニット(AU)のSPS NALユニットのVUI(video usability information)の領域に、HDRのストリームであること、さらにはHDR電光変換特性などを示すメタ情報を挿入する。また、ビデオエンコーダ105では、アクセスユニット(AU)の“SEIs”の部分に、上述した割合αの情報と過渡表示期間TThの情報が含まれるスタティスチカル・インフォメーション・SEIメッセージ(図12(a)参照)が挿入され、さらに電光変換の過渡特性の情報が含まれるトランジション・トランスファー・ファンクション・SEIメッセージ(図13(a)参照)が挿入される。
 ビデオエンコーダ105で得られたビデオストリームは、コンテナエンコーダ106に供給される。コンテナエンコーダ106では、ビデオストリームを含むコンテナ、例えばMPEG-2 TS、MMT、MP4(ISOBMFF)が配信ストリームとして生成される。この配信ストリームは、送信部107により、放送あるいは通信により、受信装置200に送信される。
 「受信装置の構成例」
 図14は、受信装置200の構成例を示している。受信装置200は、制御部201と、受信部202と、コンテナデコーダ203と、ビデオデコーダ204と、統計情報処理部205と、YCbCr/RGB変換部206と、電光変換部207と、表示デバイス208を有している。
 制御部201は、CPU(Central Processing Unit)を備えて構成され、制御プログラムに基づいて、受信装置200の各部の動作を制御する。受信部202は、送信装置100から放送あるいは通信により、配信ストリームを受信する。受信部200は、記録再生部202aを備えており、受信した配信ストリーム(MPEG-2 TS、MMT、MP4(ISOBMFF)など)を直接出力するか、あるいは記録再生部202aを経由して出力する。記録再生部202aを経由する場合には、ランダムアクセスが可能となる。また、受信部202は、チャネル切り替えの機能を有する。
 コンテナデコーダ203は、受信部202から出力される配信ストリーム(MPEG-2 TS、MMT、MP4(ISOBMFF)など)からビデオストリームを抽出する。
 ビデオデコーダ204は、コンテナデコーダ203で抽出されるビデオストリームに対して復号化処理を行って、HDRの画像データを得る。また、ビデオデコーダ204は、ビデオストリームを構成する各アクセスユニットに挿入されているパラメータセットやSEIメッセージを抽出し、制御部201に送る。上述したように、送信装置100において、ビデオストリームにスタティスチカル・インフォメーション・SEIメッセージ(図12(a)参照)やトランジション・トランスファー・ファンクション・SEIメッセージ(図13(a)参照)が挿入される場合、それらも制御部201に送られる。
 制御部201は、SPS NALユニットのVUIの領域のメタ情報から、HDRのストリームであること、HDR電光変換特性情報などを認識する。また、制御部201は、表示デバイス側の表示デバイス(ディスプレイ)の輝度表示能力をチェックしたうえで、輝度表示可能な範囲内で過渡期間の電光変換特性を選択する。その際、制御部201は、上述のスタティスチカル・インフォメーション・SEIメッセージから、画素統計情報(閾値レベル(TH_high)を越える画素レベルの画素の画像全体に対する割合αの情報)および過渡表示期間TThの情報を取得する。また、制御部201は、上述のトランジション・トランスファー・ファンクション・SEIメッセージから電光変換の過渡特性の情報を取得する。
 統計情報処理部205は、上述のスタティスチカル・インフォメーション・SEIメッセージから画素統計情報(閾値レベル(TH_high)を越える画素レベルの画素の画像全体に対する割合αの情報)および過渡表示期間TThの情報を取得できなかったとき、図9の送信装置100における統計情報処理部104と同様に、ビデオデコーダ204で得られた画像データを処理してそれらの情報を算出する。統計情報処理部205は、算出した割合αの情報および過渡表示期間TThの情報を制御部201に送る。
 YCbCr/RGB変換部206は、ビデオデコーダ204で得られた画像データを、YCbCr(輝度・色差)ドメインからRGBドメインに変換する。電光変換部207は、YCbCr/RGB変換部206でRGBドメインに変換された画像データに、電光変換特性を適用して、表示用画像データを得る。表示デバイス208は、例えば、液晶ディスプレイ(LCD)であって、表示用画像データによる画像を表示する。
 電光変換部207は、制御部201の制御のもと、常には、通常のHDR電光変換特性(HDR EOTF)を適用するが、チャネル切り替え時、システム起動時、ランダムアクセス時、CM/番組本編の切り替わり時などのノンリニア再生によって画像の切り替えが行われる場合には、切り替え後の過渡表示期間(TTh)の間、過渡特性(TRTF)を適用し、表示画像の輝度レベルを通常より低く抑える(図2、図5~図8参照)。
 この場合、過渡特性として、1つ以上の過渡特性を用いられる。この過渡特性の情報としては、受信装置200が予め備えているものが利用され、また、受信装置200が備えていない場合には、上述したようにトランジション・トランスファー・ファンクション・SEIメッセージから取得された電光変換の過渡特性の情報が利用される。
 電光変換部207は、制御部201の制御のもと、複数の過渡特性がある場合には、過渡表示期間を複数期間(各期間は等しくなくてもよい)に分割し、複数の段階の過渡特性を順に適用する。これにより、過渡特性から通常のHDR電光変換特性(HDR EOTF)への移行をスムーズに行うことができる。上述の図2、図5~図8の例は、3つの過渡特性が用意されている場合を示している。
 図15のフローチャートは、ノンリニア再生によって画像の切り替えが行われる場合における制御部201による電光変換部207の制御手順の一例を示している。ノンリニア制御部201は、ステップST1において、処理を開始する。次に、制御部201は、ステップST2において、過渡特性に切り替え後の経過時間を示すフレームカウントTPを0にリセットし、画像切り替え後の最初のピクチャ(フレーム)の処理のために、ステップST3の処理に移る。
 このステップST3において、制御部201は、上述したようにスタティスチカル・インフォメーション・SEIメッセージから取得される、あるいは統計情報処理部205で算出される割合α、つまり閾値レベル(TH_high)を越える画素レベルの画素の画像全体に対する割合αが、高輝度の占める比率の閾値RThより大きいか否かを判断する。ここで、閾値RThは、受信装置200において、予め設定されるものである。
 割合αが閾値RThより大きいと判断される場合、制御部201は、ステップST4の処理に進む。このステップST4において、上述したようにスタティスチカル・インフォメーション・SEIメッセージから取得された、あるいは統計情報処理部205で算出された過渡表示期間TThがフレームカウントTPより大きいか否かを判断する。なお、ステップST3で使用される割合αはそれぞれのピクチャ(フレーム)で得られたものとされるが、ステップST4で使用される過渡表示期間TThは画像切り替え後の最初のピクチャ(フレーム)で得られたものに固定される。
 過渡表示期間TThがフレームカウントTPより大きいと判断される場合、制御部201は、ステップST5において、現在のピクチャ(フレーム)における電光変換部207で適用される電光変換特性を過渡特性とする。このステップST5では、複数の過渡特性が存在する場合には、過渡表示期間TThを分割した複数の各期間において、複数の段階の過渡特性が順に適用されていく。
 ステップST5の処理の後、制御部201は、ステップST6でフレームカウントTPをインクリメントした後に、次のピクチャ(フレーム)の処理のために、ステップST3に戻り、上述と同様の制御処理をする。
 また、ステップST3で割合αが閾値RThより大きくないと判断される場合、あるいはステップST4で過渡表示期間TThがフレームカウントTPより大きくないと判断される場合、制御部201は、ステップST7の処理に移る。このステップST7において、制御部201は、現在のピクチャ(フレーム)以降における電光変換部207で適用される電光変換特性を通常のHDR電光変換特性とし、ステップST8において、処理を終了する。
 図14に示す受信装置200の動作を簡単に説明する。受信部202では、送信装置100から放送あるいは通信により、配信ストリーム(MPEG-2 TS、MMT、MP4(ISOBMFF)など)が受信され、直接あるいは記録再生部202aを経由して出力される。
 受信部202から出力された配信ストリームは、コンテナデコーダ203に供給される。コンテナデコーダ203では、配信ストリームからビデオストリームが抽出される。また、コンテナデコーダ203では、コンテナのレイヤに含まれる種々の情報が抽出され、制御部201に送られる。コンテナのレイヤに電光変換の過渡特性の情報が含まれている場合には、この情報も抽出されて、制御部201に送られる。
 コンテナデコーダ203で抽出されたビデオストリームは、ビデオデコーダ204に供給される。ビデオデコーダ204では、ビデオストリームに対して復号化処理が施され、HDRの画像データが得られる。
 また、ビデオデコーダ204では、ビデオストリームを構成する各アクセスユニットに挿入されているパラメータセットやSEIメッセージが抽出され、制御部201に送られる。このように抽出されるSEIメッセージには、ビデオストリームにスタティスチカル・インフォメーション・SEIメッセージ(図12(a)参照)やトランジション・トランスファー・ファンクション・SEIメッセージ(図13(a)参照)も含まれる。
 ビデオデコーダ204で得られたHDRの画像データは、統計情報処理部205およびYCbCr/RGB変換部206に供給される。統計情報処理部205では、スタティスチカル・インフォメーション・SEIメッセージから画素統計情報(閾値レベル(TH_high)を越える画素レベルの画素の画像全体に対する割合αの情報)および過渡表示期間TThの情報を取得できなかった場合、画像データが処理されてそれらの情報が算出されて、制御部201に送られる。
 YCbCr/RGB変換部206では、ビデオデコーダ204で得られたHDRの画像データが、YCbCr(輝度・色差)ドメインからRGBドメインに変換される。このようにRGBドメインに変換され画像データは、電光変換部207に供給される。電光変換部207では、画像データに、電光変換特性が適用されて、表示用画像データが得られる。そして、表示デバイス208には、この表示用画像データによる画像が表示される。
 電光変換部207では、制御部201の制御のもと、常には、通常のHDR電光変換特性(HDR EOTF)が適用されるが、チャネル切り替え時、システム起動時、ランダムアクセス時、CM/番組本編の切り替わり時などのノンリニア再生によって画像の切り替えが行われる場合には、切り替え後の過渡表示期間(TTh)の間、過渡特性(TRTF)が適用され、表示画像の輝度レベルを通常より低く抑えられる(図2、図5~図8参照)。
 なお、上述の受信装置200の説明では、チャネル切り替え時、システム起動時、ランダムアクセス時、CM/番組本編の切り替わり時などのノンリニア再生によって画像の切り替えが行われる場合における電光変換部207の変換特性の制御に当たって、切り替え前の画像(との関連性を考慮しない例を示した。
 切り替え前の画像との関連性を考慮する場合の制御の一例を説明する。図16(a)は前のピクチャ画像(切り替え前の画像)を示し、図16(b)は切り替え後の現在のピクチャの画像を示している。例えば、統計情報処理部205は、それぞれの画像にR1,R2,R3の共通領域を設定し、それぞれの領域における前および現在のピクチャの画像の閾値レベル(TH_high)を越える画素レベルの画素の割合α(上述の数式(1)参照)を計算する。
 そして、制御部201は、各領域における前のピクチャの割合αと現在のピクチャの割合αとの比率差が範囲Gc内に収まるか否かを判断し、その判断結果に基づいて、電光変換部207で適用すべき変換特性を制御する。
 図17のフローチャートは、ノンリニア再生によって画像の切り替えが行われる場合における制御部201による電光変換部203の制御手順の他の一例を示している。ノンリニア制御部201は、ステップST10において、処理を開始する。次に、ステップST11において、過渡特性に切り替え後の経過時間を示すフレームカウントTPを0にリセットし、画像切り替え後の最初のピクチャ(フレーム)の処理のために、ステップST12の処理に移る。
 このステップST12において、制御部201は、領域R3の比率差が範囲Gcを越えており、現在のピクチャの割合αが高いか否かを判断する。肯定判断のとき、制御部201は、ステップST13において、領域R2の比率差が範囲Gcを越えており、現在のピクチャの割合αが高いか否かを判断する。肯定判断のとき、制御部201は、ステップST15の処理に進む。
 ステップST12で否定判断のとき、あるいはステップST13で否定判断のとき、制御部201は、ステップST14において、領域R1の比率差が範囲Gcを越えており、現在のピクチャの割合αが高いか否かを判断する。肯定判断のとき、制御部201は、ステップST15の処理に進む。
 ステップST15において、制御部201は、過渡表示期間TThがフレームカウントTPより大きいか否かを判断する。なお、ステップST12、ステップST13、ステップST14で使用される割合αはそれぞれのピクチャ(フレーム)で得られたものとされるが、ステップST15で使用される過渡表示期間TThは画像切り替え後の最初のピクチャ(フレーム)で得られたものに固定される。
 過渡表示期間TThがフレームカウントTPより大きいと判断される場合、制御部201は、ステップST16において、現在のピクチャ(フレーム)における電光変換部207で適用される電光変換特性を過渡特性とする。このステップST16では、複数の過渡特性が存在する場合には、過渡表示期間TThを分割した複数の各期間において、複数の段階の過渡特性が順に適用されていく。
 ステップST16の処理の後、制御部201は、ステップST17でフレームカウントTPをインクリメントした後に、次のピクチャ(フレーム)の処理のために、ステップST12に戻り、上述と同様の制御処理をする。
 また、ステップST14で否定判断のとき、あるいはステップST16で過渡表示期間TThがフレームカウントTPより大きくないと判断される場合、制御部201は、ステップST18の処理に移る。このステップST18において、制御部201は、現在のピクチャ(フレーム)以降における電光変換部207で適用される電光変換特性を通常のHDR変換特性とし、ステップST19において、処理を終了する。
 なお、上述の図14の受信装置200では、過渡表示期間における表示特性を、輝度レベルを通常より低く抑える過渡表示特性にするために、電光変換部207で適用される電光変換の特性を過渡特性にするものであった。しかし、表示デバイス208におけるLEDバックライトを制御することで、同様の過渡表示特性を達成することも考えられる。
 図18は、バックライト制御により過渡表示特性を達成する受信装置200Aの構成例を示している。この図18において、図14と対応する部分には同一符号を付し、その詳細説明は省略する。
 この受信装置200Aにおいて、電光変換部207では、過渡特性対象である閾値レベル(TH_high)を越える画素レベルの画素の位置情報Poが得られ、この位置情報Poは制御部201に送られる。そして、制御部201により、過渡表示期間における表示特性を、輝度レベルを通常より低く抑える過渡表示特性にするために、位置情報Poが示す位置の画素に対応したLEDの発光レベルが低下するように、表示デバイス208のLEDバックライト部208aが制御される。
 この場合の制御部201の制御は、例えば、上述の図15のフローチャートのステップST5における電光変換を過渡特性にする制御を、位置情報Poが示す位置の画素に対応したLEDの発光レベルを低下させる制御に置き換えたものとなる。
 なお、上述したバックライト制御によって過渡表示特性を達成することを単独で行ってもよいが、電光変換特性を過渡特性にする制御と併用することも考えられる。
 上述したように、図1に示す送受信システム10において、送信装置100は、画像の切り替えがあるときに表示特性を過渡表示期間の間輝度レベルを通常より低く抑える過渡表示特性に切り替えるか判断するための画素統計情報を、画像データを符号化して得られたビデオストリームに挿入して送信するものである。そのため、受信側において、画像の切り替えがあるときに表示特性を過渡表示期間の間輝度レベルを通常より低く抑える過渡表示特性に切り替えるか判断するために画素統計情報を算出する手間を省くことが可能となる。
 また、図1に示す送受信システム10において、受信装置200は、画像の切り替えがあるとき、画像の画素統計情報に基づいて、過渡表示期間の間、表示特性を、輝度レベルを通常より低く抑える過渡表示特性に切り替えるものである。そのため、画像の切り替えがあるときの視覚的な安全性を確保することが可能となる。
 <2.変形例>
 なお、上述の実施の形態においては、送信装置100と受信装置200からなる送受信システム10の例を示したが、本技術を適用し得る送受信システムの構成は、これに限定されるものではない。受信装置200の部分が、例えばHDMI(High-Definition Multimedia Interface)などのデジタルインタフェース(マルチメディアインタフェース)で接続されたセットトップボックスおよびモニタ(ディスプレイ)とされる場合も考えられる。なお、「HDMI」は登録商標である。
 図19は、送受信システム10Aの構成例を示している。この送受信システム10Aは、送信装置100と、セットトップボックス(STB)200-1(200-1´)と、モニタ200-2(200-2´)を有する構成となっている。セットトップボックス(STB)200-1(200-1´)とモニタ200-2(200-2´)はHDMIで接続されている。
 送信装置100は、図1に示す送受信システム10における送信装置100(図9参照)と同じものであるので、その説明は省略する。セットトップボックス200-1は、送信装置100から放送あるいは通信により送られてくる配信ストリーム(MPEG-2 TS、MMT、MP4(ISOBMFF)など)を受信する。モニタ200-2(200-2´)は、セットトップボックス(STB)200-1(200-1´)からHDMIで送られてくるHDRの画像データによる画像を表示する。
 図20は、セットトップボックス200-1の構成例を示している。この図20において、図14、図18と対応する部分には同一符号を付して示している。このセットトップボックス200-1は、制御部201-1と、受信部202と、コンテナデコーダ203と、ビデオデコーダ204と、HDMI送信部209を有している。このセットトップボックス200-1は、図18の受信装置200Aにおける受信部202、コンテナデコーダ203およびビデオデコーダ204の部分を含むものである。
 制御部201-1は、セットトップボックス200-1の各部の動作を制御する。受信部202、コンテナデコーダ203およびビデオデコーダ204は、図18の受信装置200Aにおける受信部202、コンテナデコーダ203およびビデオデコーダ204と同様に構成され、同様に動作するので、その説明は省略する。
 HDMI送信部209は、HDMIに準拠した通信により、HDMI伝送路を介して、モニタ200-2に、ビデオデコーダ204で得られたHDRの画像データと、上述のスタティスチカル・インフォメーション・SEIメッセージ(図12(a)参照)から取得された画素統計情報(閾値レベル(TH_high)を越える画素レベルの画素の画像全体に対する割合αの情報)および過渡表示期間TThの情報と、上述のトランジション・トランスファー・ファンクション・SEIメッセージ(図13(a)参照)から取得された電光変換の過渡特性の情報を送る。
 この場合、画素統計情報である割合αの情報、過渡表示期間TThの情報および電光変換の過渡特性の情報は、HDRの画像データのブランキング期間に挿入されて送信される。ここでは、画素統計情報である割合αの情報、過渡表示期間TThの情報の送信のために、新規定義するトランジショナル・ディスプレイ・コントロール・HDMIインフォフレーム(Transitional Display Control HDMI Info Frame)が使用される。また、電光変換の過渡特性の情報の送信のために、新規定義するトランジション・トランスファー・ファンクション・HDMIインフォフレーム(Transition Transfer Function HDMI Info Frame)が使用される。
 図21(a)は、トランジショナル・ディスプレイ・コントロール・HDMIインフォフレームの構造例(Syntax)を示し、図21(b)は、その構造例における主要な情報の内容(Semantics)を示している。このインフォフレームの最初の3バイトはヘッダ部分であり、インフォフレームタイプ、バージョンナンバー、データバイトのバイト長の情報が配置されている。
 データバイト1(Data Byte 1)の第7ビットから第4ビットに「EOTF Type」の4ビット情報が配置されている。この4ビット情報は、EOTFの種類を示す。例えば、“1”は「ITU-R Rec. BT.709(gamma)」を示し、“2”は「ITU-R Rec.BT.2100 PQ」を示し、“3”は「ITU-R Rec. BT.2100 HLG」を示す。
 データバイト2(Data Byte 2)およびデータバイト3(Data Byte 3)に「threshold_level」の16ビット情報が配置されている。この16ビット情報は、統計情報の対象となる画素レベル値の下限閾値、つまり閾値レベル(TH_high)を示す。
 データバイト4(Data Byte 4)に「high_level_target_ratio」の8ビット情報が配置されている。この8ビット情報は、過渡特性対象の画素の画像全体に対する割合αの値を示す。この割合に100を掛けた値がパーセント値となる。さらに、データバイト5(Data Byte 5)およびデータバイト6(Data Byte 6)に「transition_period」の16ビット情報が配置されている。この16ビット情報は、フレームカウント値で表現される過渡表示期間TThを示す。
 図22(a)は、トランジション・トランスファー・ファンクション・HDMIインフォフレームの構造例(Syntax)を示し、図22(b)は、その構造例における主要な情報の内容(Semantics)を示している。このインフォフレームの最初の3バイトはヘッダ部分であり、インフォフレームタイプ、バージョンナンバー、データバイトのバイト長の情報が配置されている。
 データバイト1(Data Byte 1)に「number_of_transition_types」の8ビット情報が配置されている。この8ビット情報は、過渡特性のタイプの数を示す。この数の分だけ、過渡特性の情報が繰り返し存在する。データバイト2(Data Byte 2)の第7ビットから第4ビットに「transitionTF Type」の4ビット情報が配置されている。この4ビット情報は、過渡特性の種類を示す。例えば、“1”はType1を示し、“2”はType2を示し、“3”はType3を示す(図3、図4参照)。
 データバイト3(Data Byte 3)およびデータバイト4(Data Byte 4)に「minimum_level」の16ビット情報が配置されている。この16ビット情報は、対象となるEOTFを変更する曲線の最小入力画素レベルを示す(図3、図4の伝送符号値における閾値レベルH参照)。データバイト5(Data Byte 5)およびデータバイト6(Data Byte 6)に「maximum_level」の16ビット情報が配置されている。この16ビット情報は、対象となるEOTFを変更する曲線の最大入力画素レベルを示す(図3、図4の伝送符号値における最大レベルM参照)。
 データバイト7(Data Byte 7)およびデータバイト8(Data Byte 8)に「trace_pivot_size」の16ビット情報が配置されている。この16ビット情報は、過渡特性をトレースする点の数を示す。この点の数だけ、「input_level(j)」の16ビット情報および「output_level(j)」の16ビット情報が繰り返し存在する。
 データバイト9(Data Byte 9)およびデータバイト10(Data Byte 10)に「input_level(j)」の16ビット情報が配置されている。この16ビット情報は、過渡特性の入力画素レベルを示す。データバイト11(Data Byte 11)およびデータバイト12(Data Byte 12)に「input_level(j)」の16ビット情報が配置されている。この16ビット情報は、その入力レベルに対応する過渡特性の出力値を示す。
 データバイト13(Data Byte 13)以後は、図示は省略しているが、「trace_pivot_size」に依存したデータバイト9~データバイト12の繰り返しであり、また、「number_of_transition_types」に依存したデータバイト2~データバイト12の繰り返しとなる。
 図23は、図20のセットトップボックス200-1に接続されるモニタ200-2の構成例を示している。この図23において、図14、図18と対応する部分には同一符号を付して示している。このモニタ200-2は、制御部201-2と、HDMI受信部210と、統計情報処理部205と、YCbCr/RGB変換部206と、電光変換部207と、表示デバイス208を有している。
 制御部201-2は、モニタ200-2の各部の動作を制御する。HDMI受信部210は、HDMIに準拠した通信により、セットトップボックス200-1から、HDMI伝送路を介して、HDRの画像データと、画素統計情報(閾値レベル(TH_high)を越える画素レベルの画素の画像全体に対する割合αの情報)および過渡表示期間TThの情報、および電光変換の過渡特性の情報を受信する。各情報は、制御部201-2に送られる。
 統計情報処理部205は、HDMI受信部210で、画素統計情報としての割合αの情報および過渡表示期間TThの情報を受け取ることができなかったとき、HDMI受信部210で受信されたHDRの画像データを処理してそれらの情報を算出する。統計情報処理部205は、算出した割合αおよび過渡表示期間TThの情報を制御部20-2に送る。
 YCbCr/RGB変換部206は、HDMI受信部210で得られたHDRの画像データを、YCbCr(輝度・色差)ドメインからRGBドメインに変換する。電光変換部207は、YCbCr/RGB変換部206でRGBドメインに変換された画像データに、電光変換特性を適用して、表示用画像データを得る。表示デバイス208は、例えば、液晶ディスプレイ(LCD)であって、表示用画像データによる画像を表示する。
 電光変換部207は、制御部201-2´の制御のもと、常には、通常のHDR電光変換特性(HDR EOTF)を適用するが、チャネル切り替え時、システム起動時、ランダムアクセス時、CM/番組本編の切り替わり時などのノンリニア再生によって画像の切り替えが行われる場合には、切り替え後の過渡表示期間(TTh)の間、過渡特性(TRTF)を適用し、表示画像の輝度レベルを通常より低く抑える(図2、図5~図8参照)。
 また、電光変換部207では、過渡特性対象である閾値レベル(TH_high)を越える画素レベルの画素の位置情報Poが得られ、この位置情報Poは制御部201-2に送られる。そして、制御部201-2により、過渡表示期間における表示特性を、輝度レベルを通常より低く抑える過渡表示特性にするために、位置情報Poが示す位置の画素に対応したLEDの発光レベルが低下するように、表示デバイス208のLEDバックライト部208aが制御される。
 なお、このモニタ200-2では、電光変換特性を過渡特性に制御することと、バックライトの輝度レベルを抑制する制御をすることの双方によって、過渡表示期間で、表示画像の輝度レベルを低減して視覚安全性を確保するようにしているが、いずれか一方の制御のみを行うことも考えられる。
 図24は、セットトップボックス200-1´の構成例を示している。この図24において、図14、図18、図20と対応する部分には同一符号を付して示している。このセットトップボックス200-1は、制御部201-1´と、受信部202と、コンテナデコーダ203と、ビデオデコーダ204と、統計情報処理部205と、HDMI送信部209を有している。このセットトップボックス200-1´は、図18の受信装置200Aにおける受信部202、コンテナデコーダ203、ビデオデコーダ204および統計情報処理部205の部分を含むものである。
 制御部201-1´は、セットトップボックス200-1´の各部の動作を制御する。受信部202、コンテナデコーダ203、ビデオデータ204および統計情報処理部205は、図18の受信装置200Aにおける受信部202、コンテナデコーダ203、ビデオデコーダ204および統計情報処理部205と同様に構成され、同様に動作するので、その説明は省略する。
 HDMI送信部209は、HDMIに準拠した通信により、HDMI伝送路を介して、モニタ200-2´に、ビデオデコーダ204で得られたHDRの画像データと、画素統計情報(閾値レベル(TH_high)を越える画素レベルの画素の画像全体に対する割合αの情報)および過渡表示期間TThの情報と、電光変換の過渡特性の情報を送る。
 この場合、画素統計情報である割合αの情報、過渡表示期間TThの情報および電光変換の過渡特性の情報は、HDRの画像データのブランキング期間に挿入されて送信される。ここでは、画素統計情報である割合αの情報、過渡表示期間TThの情報の送信のために、新規定義するトランジショナル・ディスプレイ・コントロール・HDMIインフォフレーム(図21(a)参照)が使用される。また、電光変換の過渡特性の情報の送信のために、新規定義するトランジション・トランスファー・ファンクション・HDMIインフォフレーム(図22(a)参照)が使用される。
 図25は、図24のセットトップボックス200-1´に接続されるモニタ200-2´の構成例を示している。この図24において、図14、図18、図23と対応する部分には同一符号を付して示している。このモニタ200-2´は、制御部201-2´と、HDMI受信部210と、YCbCr/RGB変換部206と、電光変換部207と、表示デバイス208を有している。
 制御部201-2´は、モニタ200-2´の各部の動作を制御する。HDMI受信部210は、HDMIに準拠した通信により、セットトップボックス200-1´から、HDMI伝送路を介して、HDRの画像データと、画素統計情報(閾値レベル(TH_high)を越える画素レベルの画素の画像全体に対する割合αの情報)および過渡表示期間TThの情報、および電光変換の過渡特性の情報を受信する。各情報は、制御部201-2´に送られる。
 YCbCr/RGB変換部206は、HDMI受信部210で得られたHDRの画像データを、YCbCr(輝度・色差)ドメインからRGBドメインに変換する。電光変換部207は、YCbCr/RGB変換部206でRGBドメインに変換された画像データに、電光変換特性を適用して、表示用画像データを得る。表示デバイス208は、例えば、液晶ディスプレイ(LCD)であって、表示用画像データによる画像を表示する。
 電光変換部207は、制御部201-2の制御のもと、常には、通常のHDR電光変換特性(HDR EOTF)を適用するが、チャネル切り替え時、システム起動時、ランダムアクセス時、CM/番組本編の切り替わり時などのノンリニア再生によって画像の切り替えが行われる場合には、切り替え後の過渡表示期間(TTh)の間、過渡特性(TRTF)を適用し、表示画像の輝度レベルを通常より低く抑える(図2、図5~図8参照)。
 また、電光変換部207では、過渡特性対象である閾値レベル(TH_high)を越える画素レベルの画素の位置情報Poが得られ、この位置情報Poは制御部201-2´に送られる。そして、制御部201-2により、過渡表示期間における表示特性を、輝度レベルを通常より低く抑える過渡表示特性にするために、位置情報Poが示す位置の画素に対応したLEDの発光レベルが低下するように、表示デバイス208のLEDバックライト部208aが制御される。
 なお、このモニタ200-2´では、電光変換特性を過渡特性に制御することと、バックライトの輝度レベルを抑制する制御をすることの双方によって、過渡表示期間で、表示画像の輝度レベルを低減して視覚安全性を確保するようにしているが、いずれか一方の制御のみを行うことも考えられる。
 また、本技術は、以下のような構成を取ることもできる。
 (1)画像の切り替えがあるとき、上記画像の画素統計情報に基づいて、過渡表示期間の間、表示特性を、輝度レベルを通常より低く抑える過渡表示特性に切り替える制御部を備える
 画像処理装置。
 (2)上記画素統計情報は、閾値レベルを越える画素の画像全体に対する割合を示す情報である
 前記(1)に記載の画像処理装置。
 (3)上記制御部は、画像データを処理して得られる上記画素統計情報を利用する
 前記(1)または(2)に記載の画像処理装置。
 (4)上記制御部は、上記画素統計情報に基づいて得られる上記過渡表示期間の情報を利用する
 前記(1)から(3)のいずれかに記載の画像処理装置。
 (5)上記制御部は、符号化画像データから抽出された上記画素統計情報または上記過渡表示期間の情報を利用する
 前記(1)または(2)に記載の画像処理装置。
 (6)上記過渡表示特性として複数段階の過渡表示特性が存在し、
 上記制御部は、上記過渡表示期間の間、上記複数段階の過渡表示特性を順に適用する
 前記(1)から(5)のいずれかに記載の画像処理装置。
 (7)上記制御部は、上記過渡表示期間の間、画像データに適用される電光変換の特性を過渡特性にする
 前記(1)から(6)のいずれかに記載の画像処理装置。
 (8)上記制御部は、上記過渡表示期間の間、表示デバイスのバックライトの輝度レベルを通常より低く抑える
 前記(1)から(7)のいずれかに記載の画像処理装置。
 (9)制御部が、画像の切り替えがあるとき、上記画像の画素統計情報に基づいて、過渡表示期間の間、表示特性を、輝度レベルを通常より低く抑える過渡表示特性に切り替える
 画像処理方法。
 (10)画像データを符号化して得られたビデオストリームを送信する送信部と、
 上記ビデオストリームに、画像の切り替えがあるときに表示特性を過渡表示期間の間輝度レベルを通常より低く抑える過渡表示特性に切り替えるか判断するための画素統計情報を挿入する情報挿入部を備える
 送信装置。
 (11)上記画素統計情報は、閾値レベルを越える画素の画像全体に対する割合を示す情報である
 前記(10)に記載の送信装置。
 (12)上記情報挿入部は、上記ビデオストリームに、上記過渡表示期間の情報をさらに挿入する
 前記(10)または(11)に記載の送信装置。
 (13)上記情報挿入部は、上記ビデオストリームに、上記過渡表示期間の間画像データに適用される電光変換の過渡特性の情報をさらに挿入する
 前記(10)から(12)のいずれかに記載の送信装置。
 (14)上記電光変換の過渡特性の情報は、通常の電光変換特性のうちの変更範囲に対応したテーブル情報である
 前記(13)に記載の送信装置。
 (15)上記過渡特性として複数段階の過渡特性が存在する
 前記(13)または(14)に記載の送信装置。
 (16)送信部が、画像データを符号化して得られたビデオストリームを送信し、
 情報挿入部が上記ビデオストリームに、画像の切り替えがあるときに表示特性を過渡表示期間の間輝度レベルを通常より低く抑える過渡表示特性に切り替えるか判断するための画素統計情報を挿入する
 送信方法。
 (17)画像の切り替えがあるときに表示特性を過渡表示期間の間輝度レベルを通常より低く抑える過渡表示特性に切り替えるか判断するための画素統計情報を画像データと共に送信するデジタルインタフェース部を備える
 送信装置。
 (18)上記デジタルインタフェース部は、上記過渡表示期間の間画像データに適用される電光変換の過渡特性の情報をさらに送信する
 前記(17)に記載の送信装置。
 (19)上記電光変換の過渡特性の情報は、通常の電光変換特性のうちの変更範囲に対応したテーブル情報である
 前記(18)に記載の送信装置。
 (20)画像の切り替えがあるときに表示特性を過渡表示期間の間輝度レベルを通常より低く抑える過渡表示特性に切り替えるか判断するための画素統計情報を画像データと共に受信するデジタルインタフェース部を備える
 受信装置。
 本技術の主な特徴は、ノンリニア再生によって画像の切り替えがあるとき、その画像の画素統計情報に基づいて、過渡表示期間の間、表示特性を、輝度レベルを通常より低く抑える過渡表示特性に切り替えることで、画像の切り替えがあるときの視覚的な安全性を確保可能としたことである(図2、図3、図14、図15参照)。
 10,10A・・・送受信システム
 100・・・送信装置
 101・・・制御部
 102・・・光電変換部
 103・・・RGB/YCbCr変換部
 104・・・統計情報処理部
 105・・・ビデオエンコーダ
 106・・・コンテナエンコーダ
 107・・・送信部
 200,200A・・・受信装置
 200-1,200-1´・・・セットトップボックス
 200-2,200-2´・・・モニタ
 201,201-1,201-1´,201-2,201-2´・・・制御部
 202・・・受信部
 202a・・・記録再生部
 203・・・コンテナデコーダ
 204・・・ビデオデコーダ
 205・・・統計情報処理部
 206・・・YCbCr/RGB変換部
 207・・・電光変換部
 208・・・表示デバイス
 208a・・・LEDバックライト部
 209・・・HDMI送信部
 210・・・HDMI受信部

Claims (20)

  1.  画像の切り替えがあるとき、上記画像の画素統計情報に基づいて、過渡表示期間の間、表示特性を、輝度レベルを通常より低く抑える過渡表示特性に切り替える制御部を備える
     画像処理装置。
  2.  上記画素統計情報は、閾値レベルを越える画素の画像全体に対する割合を示す情報である
     請求項1に記載の画像処理装置。
  3.  上記制御部は、画像データを処理して得られる上記画素統計情報を利用する
     請求項1に記載の画像処理装置。
  4.  上記制御部は、上記画素統計情報に基づいて得られる上記過渡表示期間の情報を利用する
     請求項1に記載の画像処理装置。
  5.  上記制御部は、符号化画像データから抽出された上記画素統計情報または上記過渡表示期間の情報を利用する
     請求項1に記載の画像処理装置。
  6.  上記過渡表示特性として複数段階の過渡表示特性が存在し、
     上記制御部は、上記過渡表示期間の間、上記複数段階の過渡表示特性を順に適用する
     請求項1に記載の画像処理装置。
  7.  上記制御部は、上記過渡表示期間の間、画像データに適用される電光変換の特性を過渡特性にする
     請求項1に記載の画像処理装置。
  8.  上記制御部は、上記過渡表示期間の間、表示デバイスのバックライトの輝度レベルを通常より低く抑える
     請求項1に記載の画像処理装置。
  9.  制御部が、画像の切り替えがあるとき、上記画像の画素統計情報に基づいて、過渡表示期間の間、表示特性を、輝度レベルを通常より低く抑える過渡表示特性に切り替える
     画像処理方法。
  10.  画像データを符号化して得られたビデオストリームを送信する送信部と、
     上記ビデオストリームに、画像の切り替えがあるときに表示特性を過渡表示期間の間輝度レベルを通常より低く抑える過渡表示特性に切り替えるか判断するための画素統計情報を挿入する情報挿入部を備える
     送信装置。
  11.  上記画素統計情報は、閾値レベルを越える画素の画像全体に対する割合を示す情報である
     請求項10に記載の送信装置。
  12.  上記情報挿入部は、上記ビデオストリームに、上記過渡表示期間の情報をさらに挿入する
     請求項10に記載の送信装置。
  13.  上記情報挿入部は、上記ビデオストリームに、上記過渡表示期間の間動画像データに適用される電光変換の過渡特性の情報をさらに挿入する
     請求項10に記載の送信装置。
  14.  上記電光変換の過渡特性の情報は、通常の電光変換特性のうちの変更範囲に対応したテーブル情報である
     請求項13に記載の送信装置。
  15.  上記過渡特性として複数段階の過渡特性が存在する
     請求項13に記載の送信装置。
  16.  送信部が、画像データを符号化して得られたビデオストリームを送信し、
     情報挿入部が上記ビデオストリームに、画像の切り替えがあるときに表示特性を過渡表示期間の間輝度レベルを通常より低く抑える過渡表示特性に切り替えるか判断するための画素統計情報を挿入する
     送信方法。
  17.  画像の切り替えがあるときに表示特性を過渡表示期間の間輝度レベルを通常より低く抑える過渡表示特性に切り替えるか判断するための画素統計情報を記画像データと共に送信するデジタルインタフェース部を備える
     送信装置。
  18.  上記デジタルインタフェース部は、上記過渡表示期間の間画像データに適用される電光変換の過渡特性の情報をさらに送信する
     請求項17に記載の送信装置。
  19.  上記電光変換の過渡特性の情報は、通常の電光変換特性のうちの変更範囲に対応したテーブル情報である
     請求項18に記載の送信装置。
  20.  画像の切り替えがあるときに表示特性を過渡表示期間の間輝度レベルを通常より低く抑える過渡表示特性に切り替えるか判断するための画素統計情報を画像データと共に受信するデジタルインタフェース部を備える
     受信装置。
PCT/JP2018/037654 2017-10-12 2018-10-10 画像処理装置、画像処理方法、送信装置、送信方法および受信装置 WO2019073990A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US16/753,167 US11244635B2 (en) 2017-10-12 2018-10-10 Image processing apparatus, image processing method, transmission apparatus, transmission method, and reception apparatus
EP18867049.1A EP3697098A4 (en) 2017-10-12 2018-10-10 IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, TRANSMISSION DEVICE, TRANSMISSION METHOD AND RECEIVING DEVICE
JP2019548210A JP7278955B2 (ja) 2017-10-12 2018-10-10 画像処理装置、画像処理方法、送信装置、送信方法および受信装置
CN201880064942.2A CN111183651A (zh) 2017-10-12 2018-10-10 图像处理设备、图像处理方法、发送设备、发送方法和接收设备
US17/561,599 US11948519B2 (en) 2017-10-12 2021-12-23 Image processing apparatus, image processing method, transmission apparatus, transmission method, and reception apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017198908 2017-10-12
JP2017-198908 2017-10-12

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US16/753,167 A-371-Of-International US11244635B2 (en) 2017-10-12 2018-10-10 Image processing apparatus, image processing method, transmission apparatus, transmission method, and reception apparatus
US17/561,599 Continuation US11948519B2 (en) 2017-10-12 2021-12-23 Image processing apparatus, image processing method, transmission apparatus, transmission method, and reception apparatus

Publications (1)

Publication Number Publication Date
WO2019073990A1 true WO2019073990A1 (ja) 2019-04-18

Family

ID=66101474

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/037654 WO2019073990A1 (ja) 2017-10-12 2018-10-10 画像処理装置、画像処理方法、送信装置、送信方法および受信装置

Country Status (5)

Country Link
US (2) US11244635B2 (ja)
EP (1) EP3697098A4 (ja)
JP (1) JP7278955B2 (ja)
CN (1) CN111183651A (ja)
WO (1) WO2019073990A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11368745B2 (en) * 2018-07-05 2022-06-21 Dolby International Ab Processing media data structures

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009044828A1 (ja) * 2007-10-05 2009-04-09 Sharp Kabushiki Kaisha 画像表示装置
US20100309213A1 (en) * 2009-06-08 2010-12-09 Himax Media Solutions, Inc. Adaptive Stepping-Control System and Method for Dynamic Backlight Control
JP2011033943A (ja) * 2009-08-04 2011-02-17 Canon Inc 画像処理装置およびその制御方法
JP2011180455A (ja) * 2010-03-02 2011-09-15 Fujitsu Ten Ltd 表示制御装置および表示制御方法
WO2012025986A1 (ja) * 2010-08-24 2012-03-01 Necディスプレイソリューションズ株式会社 画像表示装置および光源冷却方法
JP2016528826A (ja) * 2013-07-30 2016-09-15 ドルビー ラボラトリーズ ライセンシング コーポレイション シーン不変化されたメタデータを生成するためのシステムおよび方法
JP2016213809A (ja) * 2015-05-12 2016-12-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 表示方法および表示装置
JP2017073760A (ja) * 2015-10-07 2017-04-13 パナソニックIpマネジメント株式会社 映像送信方法、映像受信方法、映像送信装置及び映像受信装置

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002006395A (ja) * 2000-06-26 2002-01-09 Canon Inc 画像表示装置
US20030023910A1 (en) * 2001-07-25 2003-01-30 Myler Harley R. Method for monitoring and automatically correcting digital video quality by reverse frame prediction
JP2007281805A (ja) * 2006-04-05 2007-10-25 Canon Inc デジタル放送受信装置、デジタル放送受信方法及びプログラム
TWI362642B (en) * 2007-03-28 2012-04-21 Chunghwa Picture Tubes Ltd Adaptive gamma voltage switching method and device using the same
JP2009008041A (ja) 2007-06-29 2009-01-15 Mecaro:Kk マグナス型風力発電装置
TW200920120A (en) * 2007-10-24 2009-05-01 Novatek Microelectronics Corp Image output device, display and image processing method
JP5540746B2 (ja) * 2009-11-20 2014-07-02 ソニー株式会社 受信装置、送信装置、通信システム、受信装置の制御方法、及びプログラム
US9596447B2 (en) * 2010-07-21 2017-03-14 Qualcomm Incorporated Providing frame packing type information for video coding
LT3595281T (lt) 2011-05-27 2022-05-25 Dolby Laboratories Licensing Corporation Spalvų kontrolės keičiamo mastelio sistemos, apimančios kintamo lygio metaduomenis
JP6171383B2 (ja) * 2013-02-15 2017-08-02 セイコーエプソン株式会社 電気光学装置及び電子機器
EP2993886A4 (en) * 2013-04-30 2016-11-23 Sony Corp SENDING DEVICE, TRANSMISSION PROCEDURE, RECEPTION DEVICE AND RECEPTION PROCEDURE
TWI514883B (zh) * 2013-07-31 2015-12-21 Coretronic Corp 投影裝置及其投影畫面的亮度控制方法
US20150074129A1 (en) * 2013-09-12 2015-03-12 Cisco Technology, Inc. Augmenting media presentation description and index for metadata in a network environment
EP3591980A1 (en) * 2013-10-11 2020-01-08 SONY Corporation Reception device and reception method of video streams with changing frame rates
JP6202330B2 (ja) 2013-10-15 2017-09-27 ソニー株式会社 復号装置および復号方法、並びに符号化装置および符号化方法
EP3092806A4 (en) * 2014-01-07 2017-08-23 Nokia Technologies Oy Method and apparatus for video coding and decoding
US20150237356A1 (en) * 2014-02-18 2015-08-20 Microsoft Corporation Host encoder for hardware-accelerated video encoding
RU2696216C2 (ru) * 2014-06-13 2019-07-31 Сони Корпорейшн Передающее устройство, способ передачи, приемное устройство и способ приема
EP3833033B1 (en) * 2014-11-07 2023-03-29 Sony Group Corporation Transmission apparatus, reception apparatus, and reception method
KR102273497B1 (ko) * 2014-12-24 2021-07-07 엘지디스플레이 주식회사 표시장치와 그 구동 방법
WO2016129891A1 (ko) * 2015-02-11 2016-08-18 엘지전자 주식회사 방송 신호 송수신 방법 및 장치
GB2539917B (en) * 2015-06-30 2021-04-07 British Broadcasting Corp Method and apparatus for conversion of HDR signals
JP2017227775A (ja) * 2016-06-22 2017-12-28 キヤノン株式会社 表示装置、およびその制御方法
JP6729055B2 (ja) * 2016-06-23 2020-07-22 セイコーエプソン株式会社 映像処理装置、表示装置および映像処理方法
JP6718336B2 (ja) * 2016-08-25 2020-07-08 株式会社ジャパンディスプレイ 表示装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009044828A1 (ja) * 2007-10-05 2009-04-09 Sharp Kabushiki Kaisha 画像表示装置
US20100309213A1 (en) * 2009-06-08 2010-12-09 Himax Media Solutions, Inc. Adaptive Stepping-Control System and Method for Dynamic Backlight Control
JP2011033943A (ja) * 2009-08-04 2011-02-17 Canon Inc 画像処理装置およびその制御方法
JP2011180455A (ja) * 2010-03-02 2011-09-15 Fujitsu Ten Ltd 表示制御装置および表示制御方法
WO2012025986A1 (ja) * 2010-08-24 2012-03-01 Necディスプレイソリューションズ株式会社 画像表示装置および光源冷却方法
JP2016528826A (ja) * 2013-07-30 2016-09-15 ドルビー ラボラトリーズ ライセンシング コーポレイション シーン不変化されたメタデータを生成するためのシステムおよび方法
JP2016213809A (ja) * 2015-05-12 2016-12-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 表示方法および表示装置
JP2017073760A (ja) * 2015-10-07 2017-04-13 パナソニックIpマネジメント株式会社 映像送信方法、映像受信方法、映像送信装置及び映像受信装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3697098A4 *

Also Published As

Publication number Publication date
JPWO2019073990A1 (ja) 2020-11-05
US20200294454A1 (en) 2020-09-17
JP7278955B2 (ja) 2023-05-22
US11948519B2 (en) 2024-04-02
EP3697098A1 (en) 2020-08-19
EP3697098A4 (en) 2020-08-19
US20220122551A1 (en) 2022-04-21
CN111183651A (zh) 2020-05-19
US11244635B2 (en) 2022-02-08

Similar Documents

Publication Publication Date Title
US11716493B2 (en) Transmission device, transmission method, reception device, reception method, display device, and display method
JP6704171B2 (ja) 表示装置、変換装置、表示方法、および、コンピュータプログラム
CN106791865B (zh) 基于高动态范围视频的自适应格式转换的方法
US10136181B2 (en) Playback method and playback device
US10368105B2 (en) Metadata describing nominal lighting conditions of a reference viewing environment for video playback
JP6686438B2 (ja) 送信装置、送信方法、受信装置および受信方法
EP3163890A1 (en) Data output device, data output method, and data generation method
EP3157243A1 (en) Conversion method and conversion device
JP6531759B2 (ja) 送信装置、送信方法、受信装置および受信方法
KR20170084035A (ko) 송신 장치, 송신 방법, 수신 장치 및 수신 방법
JP2015520865A (ja) 認知的無損失のディスプレイ電力低減
KR20180069805A (ko) 송신 디바이스, 송신 방법, 수신 디바이스, 및 수신 방법
US11948519B2 (en) Image processing apparatus, image processing method, transmission apparatus, transmission method, and reception apparatus
JP2015520406A (ja) Sei情報を用いたディスプレイ電力低減
WO2016063474A1 (ja) 再生装置、表示装置および伝送方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18867049

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019548210

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018867049

Country of ref document: EP

Effective date: 20200512