JP7045916B2

JP7045916B2 - Video brightness converter and its program

Info

Publication number: JP7045916B2
Application number: JP2018081842A
Authority: JP
Inventors: 光佑野村; 裕一日下部
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2018-04-20
Filing date: 2018-04-20
Publication date: 2022-04-01
Anticipated expiration: 2038-04-20
Also published as: JP2019193025A

Description

本発明は、高ダイナミックレンジ（ＨＤＲ：High Dynamic Range）方式の映像の輝度変化を動的に緩和させる映像輝度変換装置およびそのプログラムに関する。 The present invention relates to an image luminance conversion device and a program thereof for dynamically mitigating a change in luminance of an image of a high dynamic range (HDR) system.

ＨＤＲ方式は、撮像側と表示側とのダイナミックレンジが従来よりも拡大したことにより、より人間の視覚特性に近づいた映像表現が可能となっている。このＨＤＲ方式は、ディスプレイに求めるピーク輝度が１０００ｃｄ／ｍ^２以上で、従来の標準ダイナミックレンジ（ＳＤＲ：Standard Dynamic Range）よりも明るい映像を表示することが可能となり、映像の輝度のコントラスト差が大きくなる（非特許文献１参照）。
このように、ＨＤＲ方式は、映像表現のうちで明るさの再現範囲を拡大したことで、明るい映像から暗い映像、あるいは、暗い映像から明るい映像への切り替えが生じたときに、急激な輝度の変化により、視聴者に不快感を与えるおそれがある。 In the HDR method, the dynamic range between the image pickup side and the display side is wider than before, so that it is possible to express an image closer to the human visual characteristics. With this HDR method, the peak brightness required for the display is 1000 cd / m ² or more, and it is possible to display a brighter image than the conventional standard dynamic range (SDR), and the contrast difference in the brightness of the image is large. (See Non-Patent Document 1).
In this way, the HDR method expands the reproduction range of brightness in the video expression, so that when switching from a bright image to a dark image or from a dark image to a bright image occurs, the brightness suddenly increases. The change may cause discomfort to the viewer.

例えば、ＨＤＲ方式のうちの１つであるハイブリッドログガンマ（ＨＬＧ：Hybrid Log-Gamma）方式に関して、映像切り替え時に、どの程度の輝度差を生じると視聴者が不快感を抱くかについて、主観評価実験を行った報告がある（非特許文献２参照）。
この報告では、視聴者が画面全体から受ける光の明るさである画面平均輝度レベル（ＡＬＬ：Average Luminance Level）が約５ｃｄ／ｍ^２から数百ｃｄ／ｍ^２までの段階的な映像素材を、薄暗い周囲環境下で切り替えた際の不快感を調べている。この実験結果として、ＡＬＬの差が約８０ｃｄ／ｍ^２以内の輝度差の映像切り替えであれば視聴者は不快感を抱かず、逆に、約数百ｃｄ／ｍ^２以上の輝度差の映像切り替えが発生したときに、視聴者は不快感を抱くことが判明している。
このような急激な輝度差が生じる映像の切り替えを低減させるには、通常、映像制作時において、事前に急激な輝度差が生じないように映像を制作する、あるいは、映像全体のコントラストを抑えるといった手法がとられる。 For example, regarding the Hybrid Log-Gamma (HLG) method, which is one of the HDR methods, a subjective evaluation experiment was conducted to determine how much brightness difference would cause viewers to feel uncomfortable when switching images. (See Non-Patent Document 2).
In this report, a stepwise video material with a screen average brightness level (ALL: Average Luminance Level) of about 5 cd / m ² to several hundred cd / m ² , which is the brightness of the light received from the entire screen by the viewer, is described. I am investigating the discomfort when switching in a dim surrounding environment. As a result of this experiment, if the image switching has a brightness difference of about 80 cd / m ² or less, the viewer does not feel uncomfortable, and conversely, the image switching has a brightness difference of about several hundred cd / m ² or more. The viewer has been found to be uncomfortable when this occurs.
In order to reduce the switching of images that cause such a sudden difference in brightness, usually, at the time of image production, the image is produced so that the sudden difference in brightness does not occur in advance, or the contrast of the entire image is suppressed. The method is taken.

“Image parameter values for high dynamic range television for use in production and international programme exchange”，Recommendation ITU-R BT.2100-0，07/2016“Image parameter values for high dynamic range television for use in production and international programme exchange”, Recommendation ITU-R BT.2100-0, 07/2016 “Operational practices in HDR television production”，Report ITU-R BT.2408-0，10/2017“Operational practices in HDR television production”, Report ITU-R BT.2408-0, 10/2017

従来のような、事前に急激な輝度差が生じないように映像を制作する手法は、常に輝度差を考慮しなければならないため、映像制作に手間がかかるという問題がある。また、映像全体のコントラストを抑える手法は、より人間の視覚特性に近づいた映像表現であるＨＤＲ方式の魅力を低減させてしまうという問題がある。 The conventional method of producing an image so that a sudden difference in brightness does not occur in advance has a problem that it takes time and effort to produce an image because the difference in brightness must always be taken into consideration. Further, the method of suppressing the contrast of the entire image has a problem that the attractiveness of the HDR method, which is an image expression closer to the human visual characteristics, is reduced.

本発明は、このような問題に鑑みてなされたものであり、映像中で急激な輝度差を動的に検出して輝度変化を緩和させることが可能な映像輝度変換装置およびそのプログラムを提供することを課題とする。 The present invention has been made in view of such a problem, and provides a video luminance conversion device and a program thereof capable of dynamically detecting a sudden luminance difference in an image and mitigating the luminance change. That is the issue.

前記課題を解決するため、本発明に係る映像輝度変換装置は、ＨＬＧ方式の映像信号の輝度変化を動的に緩和させる映像輝度変換装置であって、ＥＯＴＦ処理手段と、現在フレーム輝度算出手段と、ゲイン算出手段と、過去フレーム輝度算出手段と、ゲイン調整手段と、逆ＥＯＴＦ処理手段と、を備える構成とした。 In order to solve the above problems, the video luminance conversion device according to the present invention is a video luminance conversion device that dynamically relaxes the luminance change of the HLG system video signal, and includes an EOTF processing means and a current frame luminance calculating means. , A gain calculating means, a past frame luminance calculating means, a gain adjusting means, and an inverse EOTF processing means.

かかる構成において、映像輝度変換装置は、ＥＯＴＦ処理手段によって、ＨＬＧ方式の電気－光伝達関数（ＥＯＴＦ）により、映像信号を第１リニア信号に変換する。
そして、映像輝度変換装置は、現在フレーム輝度算出手段によって、第１リニア信号のフレームごとに、第１リニア信号の輝度平均を表示対象である現在フレームの輝度レベルとして算出する。
そして、映像輝度変換装置は、ゲイン算出手段によって、現在フレームの輝度レベルと、過去フレーム輝度記憶手段に記憶されている過去フレームの輝度レベルとのレベル差に応じて、その差が予め定めた閾値を超えないようにゲインを算出する。
さらに、映像輝度変換装置は、過去フレーム輝度算出手段によって、ゲイン算出手段で算出されたゲインを用いて現在フレームの輝度レベルをゲイン調整し、過去フレームの輝度レベルとして過去フレーム輝度記憶手段に記憶する。この過去フレーム輝度算出手段で算出された過去フレームの輝度レベルは、ゲイン算出手段が、次のフレームが入力された段階で参照する。
そして、映像輝度変換装置は、ゲイン調整手段によって、ゲイン算出手段で算出されたゲインを用いて第１リニア信号をゲイン調整し、第２リニア信号に変換する。
そして、映像輝度変換装置は、逆ＥＯＴＦ処理手段によって、電気－光伝達関数の逆関数（ＥＯＴＦ^－１）により、第２リニア信号をＨＬＧ方式の映像信号に変換する。
これによって、映像輝度変換装置は、過去フレームの輝度レベルと現在フレームの輝度レベルとの差を、動的に検出し、現在フレームの輝度レベルを急激に変化させないように調整することができる。 In such a configuration, the video luminance conversion device converts the video signal into a first linear signal by the electric-optical transfer function (EOTF) of the HLG system by the EOTF processing means.
Then, the image luminance conversion device calculates the luminance average of the first linear signal as the luminance level of the current frame to be displayed for each frame of the first linear signal by the present frame luminance calculating means.
Then, in the video luminance conversion device, the gain calculating means causes the difference between the brightness level of the current frame and the luminance level of the past frame stored in the past frame luminance storage means to be a predetermined threshold value. Calculate the gain so that it does not exceed.
Further, the video luminance conversion device adjusts the luminance level of the current frame by the past frame luminance calculating means using the gain calculated by the gain calculating means, and stores it in the past frame luminance storage means as the past frame luminance level. .. The brightness level of the past frame calculated by the past frame brightness calculation means is referred to by the gain calculation means at the stage when the next frame is input.
Then, the image luminance conversion device adjusts the gain of the first linear signal by the gain adjusting means using the gain calculated by the gain calculating means, and converts it into the second linear signal.
Then, the video luminance conversion device converts the second linear signal into an HLG system video signal by the inverse function of the electric-optical transfer function (EOTF ^-1 ) by the inverse EOTF processing means.
As a result, the video luminance conversion device can dynamically detect the difference between the luminance level of the past frame and the luminance level of the current frame, and adjust the luminance level of the current frame so as not to change abruptly.

また、前記課題を解決するため、本発明に係る映像輝度変換装置は、ＨＬＧ方式の映像信号の輝度変化を動的に緩和させる映像輝度変換装置であって、逆ＯＥＴＦ処理手段と、ＯＯＴＦ処理手段と、現在フレーム輝度算出手段と、ゲイン算出手段と、過去フレーム輝度算出手段と、ゲイン調整手段と、ＯＥＴＦ処理手段と、を備える構成とした。 Further, in order to solve the above-mentioned problems, the video luminance conversion device according to the present invention is a video luminance conversion device that dynamically relaxes a change in the luminance of a video signal of the HLG system, and is an inverse OETF processing means and an OOTF processing means. A configuration including a current frame luminance calculation means, a gain calculation means, a past frame luminance calculation means, a gain adjusting means, and an OETF processing means.

かかる構成において、映像輝度変換装置は、ＯＥＴＦ処理手段によって、ＨＬＧ方式の光－電気伝達関数の逆関数（ＯＥＴＦ^－１）により、映像信号を第３リニア信号に変換する。
そして、映像輝度変換装置は、ＯＯＴＦ処理手段によって、ＨＬＧ方式の光－光伝達関数により、第３リニア信号を第１リニア信号に変換する。
そして、映像輝度変換装置は、現在フレーム輝度算出手段によって、第１リニア信号のフレームごとに、第１リニア信号の輝度平均を表示対象である現在フレームの輝度レベルとして算出する。
そして、映像輝度変換装置は、ゲイン算出手段によって、現在フレームの輝度レベルと、過去フレーム輝度記憶手段に記憶されている過去フレームの輝度レベルとのレベル差に応じて、その差が予め定めた閾値を超えないようにゲインを算出する。
さらに、映像輝度変換装置は、過去フレーム輝度算出手段によって、ゲイン算出手段で算出されたゲインを用いて現在フレームの輝度レベルをゲイン調整し、過去フレームの輝度レベルとして過去フレーム輝度記憶手段に記憶する。この過去フレーム輝度算出手段で算出された過去フレームの輝度レベルは、ゲイン算出手段が、次のフレームが入力された段階で参照する。
そして、映像輝度変換装置は、ゲイン調整手段によって、ゲイン算出手段で算出されたゲインを用いて第１リニア信号をゲイン調整し、第４リニア信号に変換する。
そして、映像輝度変換装置は、ＯＥＴＦ処理手段によって、光－電気伝達関数（ＯＥＴＦ）により、第４リニア信号をＨＬＧ方式の映像信号に変換する。
これによって、映像輝度変換装置は、過去フレームの輝度レベルと現在フレームの輝度レベルとの差を、動的に検出し、現在フレームの輝度レベルを急激に変化させないように調整することができる。
なお、映像輝度変換装置は、コンピュータを、前記した各手段として機能させるための映像輝度変換プログラムで動作させることができる。 In such a configuration, the video luminance conversion device converts the video signal into a third linear signal by the inverse function (OETF ^-1 ) of the optical transfer function of the HLG system by the OETF processing means.
Then, the image luminance conversion device converts the third linear signal into the first linear signal by the optical transfer function of the HLG system by the OOTF processing means.
Then, the image luminance conversion device calculates the luminance average of the first linear signal as the luminance level of the current frame to be displayed for each frame of the first linear signal by the present frame luminance calculating means.
Then, in the video luminance conversion device, the gain calculating means causes the difference between the brightness level of the current frame and the luminance level of the past frame stored in the past frame luminance storage means to be a predetermined threshold value. Calculate the gain so that it does not exceed.
Further, the video luminance conversion device adjusts the luminance level of the current frame by the past frame luminance calculating means using the gain calculated by the gain calculating means, and stores it in the past frame luminance storage means as the past frame luminance level. .. The brightness level of the past frame calculated by the past frame brightness calculation means is referred to by the gain calculation means at the stage when the next frame is input.
Then, the image luminance conversion device adjusts the gain of the first linear signal by the gain adjusting means using the gain calculated by the gain calculating means, and converts it into the fourth linear signal.
Then, the video luminance conversion device converts the fourth linear signal into an HLG system video signal by the optical transfer function (OETF) by the OETF processing means.
As a result, the video luminance conversion device can dynamically detect the difference between the luminance level of the past frame and the luminance level of the current frame, and adjust the luminance level of the current frame so as not to change abruptly.
The video luminance conversion device can be operated by a video luminance conversion program for operating the computer as each of the above-mentioned means.

本発明は、以下に示す優れた効果を奏するものである。
本発明によれば、映像信号に急激な輝度変化が発生しても、動的に輝度変化を検出し、フレーム間の輝度差を緩和した映像信号に変換することができる。
本発明によって、映像制作者が輝度変化を意識することなく、ＨＤＲの映像制作を行うことが可能になる。 The present invention has the following excellent effects.
According to the present invention, even if a sudden change in luminance occurs in a video signal, the change in luminance can be dynamically detected and converted into a video signal in which the difference in luminance between frames is relaxed.
INDUSTRIAL APPLICABILITY According to the present invention, an image producer can produce an HDR image without being aware of a change in luminance.

本発明の第１実施形態に係る映像輝度変換装置の構成を示すブロック構成図である。It is a block block diagram which shows the structure of the image luminance conversion apparatus which concerns on 1st Embodiment of this invention. 本発明の第１実施形態に係る映像輝度変換装置のゲイン算出手段におけるゲインの補正を説明するための図であって、（ａ）は本発明を適用しない映像信号のフレームと輝度レベルとの関係を示すグラフ図、（ｂ）は本発明を適用し時間方向にゲインを補正した場合のグラフ図、（ｃ）は本発明を適用し時間方向にゲインを補正しない場合のグラフ図である。It is a figure for demonstrating the correction of the gain in the gain calculation means of the image luminance conversion apparatus which concerns on 1st Embodiment of this invention, and (a) is the relationship between the frame of an image signal to which this invention is not applied, and the luminance level. (B) is a graph diagram when the present invention is applied and the gain is corrected in the time direction, and (c) is a graph diagram when the present invention is applied and the gain is not corrected in the time direction. ３次元ルックアップテーブルの対応関係を示す図である。It is a figure which shows the correspondence relation of 3D look-up table. 本発明の第１実施形態に係る映像輝度変換装置の動作を示すフローチャートである。It is a flowchart which shows the operation of the image luminance conversion apparatus which concerns on 1st Embodiment of this invention. 本発明の第２実施形態に係る映像輝度変換装置の構成を示すブロック構成図である。It is a block block diagram which shows the structure of the image luminance conversion apparatus which concerns on 2nd Embodiment of this invention. 本発明の第３実施形態に係る映像輝度変換装置の構成を示すブロック構成図である。It is a block block diagram which shows the structure of the image luminance conversion apparatus which concerns on 3rd Embodiment of this invention.

以下、本発明の実施形態について図面を参照して説明する。
≪第１実施形態≫
＜映像輝度変換装置の構成＞
まず、図１を参照して、本発明の第１実施形態に係る映像輝度変換装置１の構成について説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
<< First Embodiment >>
<Configuration of video brightness converter>
First, with reference to FIG. 1, the configuration of the image luminance conversion device 1 according to the first embodiment of the present invention will be described.

映像輝度変換装置１は、ＨＤＲ方式のうちの１つであるＨＬＧ方式の映像信号に急激な輝度差が含まれる場合に、映像信号を、急激な輝度差を緩和した映像信号に変換するものである。この映像輝度変換装置１は、図示を省略した表示装置（ディスプレイ）に入力する映像信号の前処理を行うもので、表示装置の外部に備えるものとしてもよいし、表示装置の内部に備えるものとしてもよい。
図１に示すように、映像輝度変換装置１は、色信号変換手段１０と、ＥＯＴＦ処理手段１１と、フレーム別ゲイン算出手段１２と、ゲイン調整手段１３と、逆ＥＯＴＦ処理手段１４と、色信号逆変換手段１５と、を備える。ここでは、映像信号が、ＨＬＧ方式の輝度色差信号であることとして説明する。 The video luminance conversion device 1 converts the video signal into a video signal in which the sudden luminance difference is relaxed when the video signal of the HLG system, which is one of the HDR schemes, contains a sudden luminance difference. be. The video luminance conversion device 1 performs preprocessing of a video signal to be input to a display device (display) (not shown), and may be provided outside the display device or inside the display device. May be good.
As shown in FIG. 1, the image luminance conversion device 1 includes a color signal conversion means 10, an EOTF processing means 11, a frame-specific gain calculation means 12, a gain adjusting means 13, an inverse EOTF processing means 14, and a color signal. The inverse conversion means 15 and the like are provided. Here, it will be described that the video signal is a luminance color difference signal of the HLG system.

色信号変換手段１０は、入力した映像信号である輝度色差信号を、ＲＧＢ色空間の信号（ＲＧＢ信号）に変換するものである。なお、この色信号変換手段１０は、ＩＴＵ－Ｒの勧告ＢＴ．２０２０に記載の変換式を用いて色変換を行えばよい。
具体的には、色信号変換手段１０は、以下の式（１）により、輝度色差信号Ｙ′，Ｃ_ｂ′，Ｃ_ｒ′を、ＲＧＢ信号Ｅ_ｉｎ′＝（Ｒ_ｉｎ′，Ｇ_ｉｎ′，Ｂ_ｉｎ′）に変換する。 The color signal conversion means 10 converts a luminance color difference signal, which is an input video signal, into a signal (RGB signal) in the RGB color space. The color signal conversion means 10 is described in the recommendation BT of ITU-R. Color conversion may be performed using the conversion formula described in 2020.
Specifically, the color signal conversion means 10 uses the following equation (1) to generate a luminance color difference signal Y ′, C _b ′, C _r ′, and an RGB signal E _in ′ = (R _in ′, G in ′, G _in ′, Convert to B _in ′).

色信号変換手段１０は、変換後のＲＧＢ信号Ｅ_ｉｎ′をＥＯＴＦ処理手段１１に出力する。
なお、入力する映像信号としてＲＧＢ信号を用いる場合、色信号変換手段１０を映像輝度変換装置１の構成から省略すればよい。 The color signal conversion means 10 outputs the converted RGB signal E _in ′ to the EOTF processing means 11.
When an RGB signal is used as the input video signal, the color signal conversion means 10 may be omitted from the configuration of the video luminance conversion device 1.

ＥＯＴＦ処理手段１１は、ＨＬＧ方式のＲＧＢ信号（映像信号）Ｅ_ｉｎ′を、ディスプレイ光（表示光）に対応するリニア信号（第１リニア信号）Ｆ_ｄに変換するものである。
ＥＯＴＦ処理手段１１は、ＩＴＵ－Ｒの勧告ＢＴ．２１００で規定されている電気－光伝達関数（ＥＯＴＦ：Electro-Optical Transfer Function）を用いて、映像信号をディスプレイ光に対応するリニア信号に変換する。 The EOTF processing means 11 converts the RGB signal (video signal) E _in ′ of the HLG system into a linear signal (first linear signal) F _d corresponding to the display light (display light).
The EOTF processing means 11 is described in the recommendation BT of ITU-R. An electric-optical transfer function (EOTF) defined by 2100 is used to convert a video signal into a linear signal corresponding to display light.

ＥＯＴＦは、光－電気伝達関数（ＯＥＴＦ：Opto-Electronic Transfer Function）の逆関数（ＯＥＴＦ^－１）と、光－光伝達関数（ＯＯＴＦ：Opto-Optical Transfer Function）とで構成される。ＯＥＴＦは、シーン光に対応するリニア信号を映像信号に変換する関数で、撮像装置（カメラ）側の変換処理である。ＯＯＴＦは、シーン光に対応するリニア信号をディスプレイ光に対応するリニア信号に変換する関数である。
すなわち、ＥＯＴＦは、ＯＥＴＦ^－１により、撮像装置（不図示）で生成される映像信号をシーン光に対応するリニア信号に変換し、ＯＯＴＦにより、シーン光に対応するリニア信号をディスプレイ光に対応するリニア信号に変換する。 EOTF is composed of an inverse function (OETF ^-1 ) of an optical transfer function (OETF: Opto-Electronic Transfer Function) and an optical transfer function (OOTF: Opto-Optical Transfer Function). OETF is a function that converts a linear signal corresponding to scene light into a video signal, and is a conversion process on the image pickup device (camera) side. OOTF is a function that converts a linear signal corresponding to scene light into a linear signal corresponding to display light.
That is, the ^EOTF converts the video signal generated by the image pickup device (not shown) into a linear signal corresponding to the scene light by the OETF-1, and the linear signal corresponding to the scene light corresponds to the display light by the OOTF. Convert to a linear signal.

具体的には、ＥＯＴＦ処理手段１１は、まず、ＯＥＴＦ^－１として、以下の式（２）により、色信号変換手段１０で変換されたＲＧＢ信号Ｅ_ｉｎ′＝（Ｒ_ｉｎ′，Ｇ_ｉｎ′，Ｂ_ｉｎ′）を、シーン光に対応するリニア信号Ｅ_ｉｎ＝（Ｒ_ｓ，Ｇ_ｓ，Ｂ_ｓ）に変換する。なお、ＥＯＴＦ処理手段１１は、ＲＧＢ信号Ｅ_ｉｎ′の色信号Ｒ_ｉｎ′，Ｇ_ｉｎ′，Ｂ_ｉｎ′ごとに式（２）を適用し、リニア信号Ｅ_ｉｎの色信号Ｒ_ｓ，Ｇ_ｓ，Ｂ_ｓに変換する。 Specifically, the EOTF processing means 11 first, as OETF ^-1 , an RGB signal E _in ′ = (R _in ′, G _in ′, converted by the color signal conversion means 10 by the following equation (2). B _in ′) is converted into a linear signal E _in = (R _s , G _s , B _s ) corresponding to the scene light. The EOTF processing means 11 applies the equation (2) for each of the color signals R _in ′, G _in ′, and B _in ′ of the RGB signal E _in ′, and the color signals R _s , G _s , of the linear signal E _in ′. Convert to B _s .

ここで、ａ＝０．１７８８３２７７、ｂ＝１－４ａ＝０．２８４６６８９２、ｃ＝０．５－ａ・ｌｎ（４ａ）＝０．５５９９１０７３である。なお、ｌｎ（ｘ）はｘの自然対数を示す。この式（２）は、ＲＧＢ信号Ｅ_ｉｎ′のレベル範囲を［０：１］としたときの変換式である。
さらに、ＥＯＴＦ処理手段１１は、ＯＯＴＦとして、以下の式（３）および式（４）により、式（２）で変換したリニア信号Ｅ_ｉｎ＝（Ｒ_ｓ，Ｇ_ｓ，Ｂ_ｓ）を、ディスプレイ光に対応するリニア信号Ｆ_ｄ＝（Ｒ_ｄ，Ｇ_ｄ，Ｂ_ｄ）に変換する。 Here, a = 0.17883277, b = 1-4a = 0.28466892, and c = 0.5-a · ln (4a) = 0.55991073. Note that ln (x) indicates the natural logarithm of x. This equation (2) is a conversion equation when the level range of the RGB signal E _in ′ is set to [0: 1].
Further, the EOTF processing means 11 displays the linear signal E _in = (R _s , G _s , B _s ) converted by the formula (2) according to the following formulas (3) and (4) as the OOTF. The linear signal F _d = (R _d , G _d , B _d ) corresponding to the above is converted.

ここで、ｃ_１＝０．２６２７、ｃ_２＝０．６７８０、ｃ_３＝０．０５９３である。
αは、表示対象のディスプレイ（不図示）のピーク輝度Ｌ_Ｗと黒の輝度Ｌ_Ｂとの差（α＝Ｌ_Ｗ－Ｌ_Ｂ）である。βは、ディスプレイの黒の輝度Ｌ_Ｂ（β＝Ｌ_Ｂ）である。例えば、α＝１０００、β＝０とする。
γは、ディスプレイのピーク輝度Ｌ_Ｗに応じたシステムガンマである。例えば、γ＝１．２とする。このγは、以下の式（５）で算出される値である。 Here, c ₁ = 0.2627, c ₂ = 0.6780, and c ₃ = 0.0593.
α is the difference (α = _LW _−LB ) between the peak luminance _LB of the display to be displayed (not shown) and the luminance _LB of black. β is the black luminance _LB (β = _LB ) of the display. For example, α = 1000 and β = 0.
γ is a system gamma corresponding to the peak brightness L _W of the display. For example, γ = 1.2. This γ is a value calculated by the following equation (5).

なお、α、β、γは、予め装置内で固定の係数としてもよいし、外部からユーザが設定するものとしてもよい。
ＥＯＴＦ処理手段１１は、ディスプレイ光に対応するリニア信号Ｆ_ｄをフレーム別ゲイン算出手段１２とゲイン調整手段１３とに出力する。 It should be noted that α, β, and γ may be fixed coefficients in the apparatus in advance, or may be set by the user from the outside.
The EOTF processing means 11 outputs a linear signal F _d corresponding to the display light to the frame-specific gain calculating means 12 and the gain adjusting means 13.

フレーム別ゲイン算出手段１２は、ＥＯＴＦ処理手段１１で変換されたディスプレイ光に対応するリニア信号Ｆ_ｄのフレームごとの輝度に応じて、フレームごとにゲインを算出するものである。ここでは、フレーム別ゲイン算出手段１２は、現在フレーム輝度算出手段１２０と、過去フレーム輝度算出手段１２１と、過去フレーム輝度記憶手段１２２と、加算平均手段１２３と、ゲイン算出手段１２４と、を備える。 The frame-specific gain calculation means 12 calculates the gain for each frame according to the luminance of the linear signal F _d corresponding to the display light converted by the EOTF processing means 11. Here, the frame-specific gain calculation means 12 includes a current frame brightness calculation means 120, a past frame brightness calculation means 121, a past frame brightness storage means 122, an averaging means 123, and a gain calculation means 124.

現在フレーム輝度算出手段１２０は、ＥＯＴＦ処理手段１１で変換されたディスプレイ光に対応するリニア信号（第１リニア信号）Ｆ_ｄを表示対象のディスプレイに表示したときの画面の平均輝度レベル（ＡＬＬ）を、現在フレーム輝度レベルとして算出するものである。
ここで、リニア信号Ｆ_ｄの画素ｉごとの信号をＦ_ｄｉ＝（Ｒ_ｄｉ，Ｇ_ｄｉ，Ｂ_ｄｉ）とし、画素ｉの輝度をＹ_ｄｉとしたとき、現在フレーム輝度算出手段１２０は、以下の式（６）により、現在フレーム輝度レベルであるＡＬＬ_{ｃｕｒｒｅｎｔ}を算出する。 Currently, the frame luminance calculation means 120 determines the average luminance level (ALL) of the screen when the linear signal (first linear signal) F _d corresponding to the display light converted by the EOTF processing means 11 is displayed on the display to be displayed. , Currently calculated as the frame luminance level.
Here, when the signal for each pixel i of the linear signal F _d is F _di = (R _di , G _di , B _di ) and the brightness of the pixel i is Y _di , the current frame brightness calculation means 120 is as follows. The ALL signal, which is the _current frame luminance level, is calculated by the equation (6).

ここで、ｃ_１＝０．２６２７、ｃ_２＝０．６７８０、ｃ_３＝０．０５９３である。また、ｍは、ディスプレイの表示画素数であって、水平画素数×垂直画素数である。
現在フレーム輝度算出手段１２０は、算出した現在フレーム輝度レベル（ＡＬＬ_{ｃｕｒｒｅｎｔ}）を、過去フレーム輝度算出手段１２１とゲイン算出手段１２４とに出力する。 Here, c ₁ = 0.2627, c ₂ = 0.6780, and c ₃ = 0.0593. Further, m is the number of display pixels of the display, which is the number of horizontal pixels × the number of vertical pixels.
The current frame luminance calculation means 120 outputs the calculated _current frame luminance level (ALL luminance) to the past frame luminance calculation means 121 and the gain calculation means 124.

過去フレーム輝度算出手段１２１は、現在フレーム輝度算出手段１２０で算出された現在フレーム輝度レベルをゲイン調整し、１フレーム後の時点における過去フレーム輝度レベルを算出するものである。
過去フレーム輝度算出手段１２１は、以下の式（６）に示すように、ゲイン算出手段１２４で算出された１フレーム前のゲイン（Ｇａｉｎ）をシステムガンマ（γ）乗した値を、現在フレーム輝度レベル（ＡＬＬ_{ｃｕｒｒｅｎｔ}）に乗算することで、過去フレーム輝度レベル（ＡＬＬ_ｐａｓｔ）を算出する。 The past frame luminance calculation means 121 adjusts the gain of the current frame luminance level calculated by the current frame luminance calculation means 120, and calculates the past frame luminance level at a time point after one frame.
As shown in the following equation (6), the past frame luminance calculation means 121 sets the value obtained by multiplying the gain (Gain) one frame before by the gain calculation means 124 by the system gamma (γ) to the current frame luminance level. The past frame luminance level (ALL _past ) is calculated by multiplying by (ALL _current ).

なお、システムガンマ（γ）は、ＥＯＴＦ処理手段１１で使用したγと同じ値（式（４），式（５）参照）である。
過去フレーム輝度算出手段１２１は、算出した過去フレーム輝度レベル（ＡＬＬ_ｐａｓｔ）を過去フレーム輝度記憶手段１２２に書き込み記憶する。
なお、過去フレーム輝度算出手段１２１は、予め設定された最大フレーム数だけ過去フレーム輝度レベルを、順次、過去フレーム輝度記憶手段１２２に記憶する。ここで、過去フレーム輝度算出手段１２１は、記憶する過去フレーム輝度レベルの数が最大フレーム数を超える場合、最も古い過去フレーム輝度レベルを削除する。なお、最大フレーム数は、外部から設定するものとしてもよい。 The system gamma (γ) is the same value as γ used in the EOTF processing means 11 (see equations (4) and (5)).
The past frame luminance calculation means 121 writes and stores the calculated past frame luminance level (ALL _past ) in the past frame luminance storage means 122.
The past frame luminance calculation means 121 sequentially stores the past frame luminance level in the past frame luminance storage means 122 by the maximum number of preset frames. Here, the past frame luminance calculation means 121 deletes the oldest past frame luminance level when the number of past frame luminance levels to be stored exceeds the maximum number of frames. The maximum number of frames may be set from the outside.

過去フレーム輝度記憶手段１２２は、過去フレーム輝度算出手段１２１で算出された直近の過去フレーム輝度レベルを予め定めた最大フレーム数まで記憶するものである。
この過去フレーム輝度記憶手段１２２は、一般的な半導体メモリ等の記憶媒体で構成することができる。 The past frame luminance storage means 122 stores the latest past frame luminance level calculated by the past frame luminance calculation means 121 up to a predetermined maximum number of frames.
The past frame luminance storage means 122 can be configured with a storage medium such as a general semiconductor memory.

加算平均手段１２３は、過去フレーム輝度記憶手段１２２に記憶されている過去フレーム輝度レベルを加算平均するものである。
加算平均手段１２３は、ゲイン算出手段１２４からの指示により、過去フレーム輝度算出手段１２１に記憶されている過去フレーム輝度レベルを加算平均する。
すなわち、加算平均手段１２３は、以下の式（８）に示すように、過去フレーム輝度算出手段１２１に記憶されているｎ個の過去フレーム輝度レベル（ＡＬＬ_{ｐａｓｔ，１}，ＡＬＬ_{ｐａｓｔ，２}，…，ＡＬＬ_{ｐａｓｔ，ｎ}）の総和をｎで除算することで、加算平均値である平均フレーム輝度レベル（ＡＬＬ_ｍｅａｎ）を算出する。 The addition averaging means 123 adds and averages the past frame luminance levels stored in the past frame luminance storage means 122.
The addition averaging means 123 adds and averages the past frame luminance levels stored in the past frame luminance calculation means 121 according to the instruction from the gain calculating means 124.
That is, as shown in the following equation (8), the addition averaging means 123 has n past frame brightness levels (ALL _{past, 1} , ALL _{past, 2, 2} , ..., Stored in the past frame brightness calculation means 121. By dividing the sum of ALL _{past, n} ) by n, the average frame brightness level (ALL _mean ), which is the added average value, is calculated.

加算平均手段１２３は、算出した平均フレーム輝度レベル（ＡＬＬ_ｍｅａｎ）をゲイン算出手段１２４に出力する。 The addition averaging means 123 outputs the calculated average frame luminance level ( _{ALL main} ) to the gain calculating means 124.

ゲイン算出手段１２４は、平均フレーム輝度レベル（ＡＬＬ_ｍｅａｎ）と、現在フレーム輝度レベル（ＡＬＬ_{ｃｕｒｒｅｎｔ}）との輝度差（レベル差）に基づいて、表示対象のフレーム（現在フレーム）に対するゲインを算出するものである。
ゲイン算出手段１２４は、現在フレーム輝度算出手段１２０から、現在フレーム輝度レベル（ＡＬＬ_{ｃｕｒｒｅｎｔ}）を入力した段階で、加算平均手段１２３に対して、過去のフレームの輝度平均を算出する旨を指示し、加算平均手段１２３から、平均フレーム輝度レベル（ＡＬＬ_ｍｅａｎ）を取得する。 The gain calculating means 124 calculates the gain for the frame to be displayed (current frame) based on the luminance difference (level difference) between the average frame luminance level ( _ALL main) and the _current frame luminance level (ALL luminance). Is.
The gain calculation means 124 instructs the addition averaging means 123 to calculate the brightness average of the past frame at the stage where the _current frame luminance level (ALL luminance) is input from the current frame luminance calculation means 120. The average frame luminance level (ALL _mean ) is acquired from the addition averaging means 123.

ゲイン算出手段１２４は、加算平均手段１２３から取得した平均フレーム輝度レベル（ＡＬＬ_ｍｅａｎ）と、現在フレーム輝度算出手段１２０で算出された現在フレーム輝度レベル（ＡＬＬ_{ｃｕｒｒｅｎｔ}）とに基づいて、輝度差を緩和するゲイン（Ｇａｉｎ）を、以下の式（９）により算出する。 The gain calculating means 124 relaxes the luminance difference based on the average frame luminance level (ALL _luminance ) acquired from the addition averaging means 123 and the _current frame luminance level (ALL luminance) calculated by the current frame luminance calculating means 120. Gain is calculated by the following equation (9).

この式（９）の第１項ａ_０は、平均フレーム輝度レベル（ＡＬＬ_ｍｅａｎ）と現在フレーム輝度レベル（ＡＬＬ_{ｃｕｒｒｅｎｔ}）との輝度差を予め定めた閾値（ＡＬＬ_ｔｈ）以内に収めるためのゲインである。
式（９）の第１項ａ_０は、以下の式（１０）に示すように、閾値（ＡＬＬ_ｔｈ）と輝度差の明暗方向とに基づいて条件分けされた値とする。 The first term _a0 of this equation (9) is a gain for keeping the luminance difference between the average frame luminance level ( _ALL main) and the _current frame luminance level (ALL luminance) within a predetermined threshold value (ALL _th ). be.
As shown in the following equation (10), the first term _a0 of the equation (9) is a value conditioned based on the threshold value (ALL _th ) and the brightness direction of the luminance difference.

なお、システムガンマ（γ）は、ＥＯＴＦ処理手段１１で使用したγと同じ値（前記式（４），式（５）参照）である。
式（９）の第２項は、輝度差を閾値以内に収めた後、ゲインを時間経過に伴って元のゲインに戻すための補正項である。 The system gamma (γ) is the same value as γ used in the EOTF processing means 11 (see the above equations (4) and (5)).
The second term of the equation (9) is a correction term for returning the gain to the original gain with the passage of time after keeping the luminance difference within the threshold value.

第２項のパラメータｔは、元のゲインに戻すための時間を示す予め設定されたパラメータであって、ここでは、フレーム数を示す。なお、パラメータｔは外部から設定するものとしてもよい。
Δｔは、ゲイン算出手段１２４で増加させるカウンタ（フレーム数）である。ゲイン算出手段１２４は、平均フレーム輝度レベル（ＡＬＬ_ｍｅａｎ）と現在フレーム輝度レベル（ＡＬＬ_{ｃｕｒｒｅｎｔ}）との輝度差を予め定めた閾値（ＡＬＬ_ｔｈ）を超えたタイミングでΔｔを初期化する。 The parameter t in the second term is a preset parameter indicating the time for returning to the original gain, and here indicates the number of frames. The parameter t may be set from the outside.
Δt is a counter (number of frames) to be increased by the gain calculation means 124. The gain calculation means 124 initializes Δt at a timing when the luminance difference between the average frame luminance level ( _ALL main) and the _current frame luminance level (ALL luminance) exceeds a predetermined threshold value (ALL _th ).

例えば、映像信号として、６０Ｈｚのプログレッシブ方式の映像信号を用い、５秒後にゲインを戻す場合、ｔ＝３００とする。
この場合、ゲイン算出手段１２４は、輝度差が閾値を超えたタイミングでΔｔを初期化し、順次、フレーム単位でカウントアップしていく。そして、ゲイン算出手段１２４は、Δｔ＝ｔとなったときに、式（９），式（１０）により、Ｇａｉｎ＝ａ_０＝１を算出し、ゲインを元に戻すことができる。 For example, when a 60 Hz progressive video signal is used as the video signal and the gain is returned after 5 seconds, t = 300.
In this case, the gain calculation means 124 initializes Δt at the timing when the luminance difference exceeds the threshold value, and sequentially counts up in frame units. Then, when Δt = t, the gain calculating means 124 can calculate Gain = a ₀ = 1 by the equations (9) and (10) and restore the gain.

なお、極端な輝度変化が発生し、ゲインが極端に大きな値や極端に小さな値とならないように、ゲインには、上限値と下限値を設けることが望ましい。
例えば、ゲイン算出手段１２４は、以下の式（１１）に示すように、予め定めたパラメータｍ（ｍはｍ＞１の実数）により、ゲインの範囲を定め、算出したゲインが１／ｍよりも小さい場合、ゲインを１／ｍとし、算出したゲインがｍよりも大きい場合、ゲインをｍとする。なお、パラメータｍは、外部から設定するものとしてもよい。 It is desirable to set an upper limit value and a lower limit value for the gain so that an extreme change in brightness does not occur and the gain does not become an extremely large value or an extremely small value.
For example, as shown in the following equation (11), the gain calculating means 124 determines a gain range by a predetermined parameter m (m is a real number of m> 1), and the calculated gain is greater than 1 / m. If it is small, the gain is 1 / m, and if the calculated gain is larger than m, the gain is m. The parameter m may be set from the outside.

ゲイン算出手段１２４は、算出したゲイン（Ｇａｉｎ）を、過去フレーム輝度算出手段１２１とゲイン調整手段１３とに出力する。
これによって、フレーム別ゲイン算出手段１２は、フレーム単位で、動的に輝度差を閾値以内に抑えるゲインを生成することができる。 The gain calculating means 124 outputs the calculated gain to the past frame luminance calculating means 121 and the gain adjusting means 13.
As a result, the frame-specific gain calculation means 12 can dynamically generate a gain that suppresses the luminance difference within the threshold value on a frame-by-frame basis.

ゲイン調整手段１３は、ディスプレイ光に対応するリニア信号に対して、ゲイン調整を行うものである。
ゲイン調整手段１３は、以下の式(１２)により、フレーム別ゲイン算出手段で算出されたゲイン（Ｇａｉｎ）をシステムガンマ（γ）乗した値を、ＥＯＴＦ処理手段１１で変換されたディスプレイ光に対応するリニア信号（第１リニア信号）Ｆ_ｄに乗算することで、リニア信号Ｆ_ｄをリニア信号（第２リニア信号）Ｆ_Ｄに変換する。システムガンマ（γ）は、ＥＯＴＦ処理手段１１で使用したγと同じ値（前記式（４），式（５）参照）である。 The gain adjusting means 13 adjusts the gain of the linear signal corresponding to the display light.
The gain adjusting means 13 corresponds to the display light converted by the EOTF processing means 11 by multiplying the gain (Gain) calculated by the frame-based gain calculating means by the system gamma (γ) by the following equation (12). By multiplying the linear signal (first linear signal) F _d to be generated, the linear signal F _d is converted into a linear signal (second linear signal) _FD . The system gamma (γ) is the same value as γ used in the EOTF processing means 11 (see the above equations (4) and (5)).

なお、ゲイン調整手段１３は、リニア信号Ｆ_ｄの色信号Ｒ_ｄ，Ｇ_ｄ，Ｂ_ｄごとに式（１１）を適用し、リニア信号Ｆ_Ｄの色信号Ｒ_Ｄ，Ｇ_Ｄ，Ｂ_Ｄに変換する。
ゲイン調整手段１３は、ＥＯＴＦ処理手段１１から入力されるリニア信号Ｆ_ｄと、フレーム別ゲイン算出手段１２で算出されるゲインとをフレーム単位で同期させる。すなわち、ゲイン調整手段１３は、フレーム別ゲイン算出手段１２で現在のフレームに対するゲインが生成されるまで、リニア信号Ｆ_ｄをフレーム単位で、図示を省略したバッファに一時記憶する。そして、ゲイン調整手段１３は、ゲインが算出された段階で、前記式（１２）のゲイン調整を行う。
ゲイン調整手段１３は、ゲイン調整後のリニア信号Ｆ_Ｄを、逆ＥＯＴＦ処理手段１４に出力する。 The gain adjusting means 13 applies the equation (11) for each of the color signals R _d , G _d , and B _d of the linear signal F _d , and converts them into the color signals R _D , G _D , and _BD of the linear signal F _D. do.
The gain adjusting means 13 synchronizes the linear signal Fd input from the _EOTF processing means 11 with the gain calculated by the frame-based gain calculating means 12 in frame units. That is, the gain adjusting means 13 temporarily stores the linear signal F _d in a buffer (not shown) in frame units until the gain for the current frame is generated by the frame-based gain calculating means 12. Then, the gain adjusting means 13 adjusts the gain of the above equation (12) at the stage where the gain is calculated.
The gain adjusting means 13 outputs the gain-adjusted linear signal _FD to the inverse EOTF processing means 14.

逆ＥＯＴＦ処理手段１４は、ゲイン調整後のリニア信号（第２リニア信号）Ｆ_Ｄを、ＨＬＧ方式のＲＧＢ信号（映像信号）Ｅ_ｏｕｔ′に変換するものである。
逆ＥＯＴＦ処理手段１４は、ＩＴＵ－Ｒの勧告ＢＴ．２１００で規定されている電気－光伝達関数（ＥＯＴＦ）の逆関数（ＥＯＴＦ^－１）を用いて、リニア信号を映像信号に変換する。
ＥＯＴＦ^－１（ＥＯＴＦ逆関数）は、光－光伝達関数（ＯＯＴＦ）の逆関数（ＯＯＴＦ^－１）と、光－電気伝達関数（ＯＥＴＦ）とで構成される。
すなわち、ＥＯＴＦ^－１は、ＯＯＴＦ^－１により、ゲイン調整後のリニア信号Ｆ_Ｄを、シーン光に対応するリニア信号に変換し、ＯＥＴＦにより、シーン光に対応するリニア信号を映像信号に変換する。 The inverse EOTF processing means 14 converts the gain-adjusted linear signal (second linear signal) _FD into an HLG-type RGB signal (video signal) E _out ′.
The reverse EOTF processing means 14 is described in the ITU-R recommendation BT. The linear signal is converted into a video signal by using the inverse function (EOTF ^-1 ) of the electric-optical transfer function (EOTF) defined by 2100.
EOTF ^-1 (EOTF inverse function) is composed of an inverse function (OOTF ^-1 ) of an optical transfer function (OOTF) and an optical transfer function (OETF).
That is, the EOTF ^-1 converts the gain-adjusted linear signal _FD into a linear signal corresponding to the scene light by the OOTF ^-1 , and converts the linear signal corresponding to the scene light into a video signal by the OETF.

具体的には、逆ＥＯＴＦ処理手段１４は、まず、ＯＯＴＦ^－１として、以下の式（１３）および式（１４）により、リニア信号Ｆ_Ｄ＝（Ｒ_Ｄ，Ｇ_Ｄ，Ｂ_Ｄ）を、シーン光に対応するリニア信号Ｅ_ｏｕｔ＝（Ｒ_ｓ，Ｇ_ｓ，Ｂ_ｓ）に変換する。 Specifically, the inverse EOTF processing means 14 first sets the linear signal _FD = ( _RD , GD, _BD ) as _OOTF ^-1 by the following equations (13) and (14). Converts to a linear signal E _out = (R _s , G _s , B _s ) corresponding to light.

ここで、ｃ_１，ｃ_２，ｃ_３，α，β，γは、前記式（３），式（４）で用いた値と同じである。
さらに、逆ＥＯＴＦ処理手段１４は、ＯＥＴＦとして、以下の式（１５）により、リニア信号Ｅ_ｏｕｔ＝（Ｒ_ｓ，Ｇ_ｓ，Ｂ_ｓ）を、映像信号であるＲＧＢ信号Ｅ_ｏｕｔ′＝（Ｒ_ｏｕｔ′，Ｇ_ｏｕｔ′，Ｂ_ｏｕｔ′）に変換する。なお、逆ＥＯＴＦ処理手段１４は、リニア信号Ｅ_ｏｕｔの色信号Ｒ_ｓ，Ｇ_ｓ，Ｂ_ｓごとに式（１５）を適用し、ＲＧＢ信号Ｅ_ｏｕｔ′の色信号Ｒ_ｏｕｔ′，Ｇ_ｏｕｔ′，Ｂ_ｏｕｔ′に変換する。 Here, c ₁ , c ₂ , c ₃ , α, β, and γ are the same as the values used in the above equations (3) and (4).
Further, the inverse EOTF processing means 14 uses the following equation (15) as the OETF to obtain a linear signal E _out = (R _s , G _s , B _s ) and an RGB signal E _out ′ = (R _out ) which is a video signal. ′, G _out ′, B _out ′). The inverse EOTF processing means 14 applies the equation (15) for each of the color signals R _s , G _s , and B _s of the linear signal E _out , and applies the formula (15) to the color signals R _out ′, G _out ′, of the RGB signal E _out ′. Convert to B _out ′.

ここで、ａ，ｂ，ｃは、前記式（２）で用いた値と同じである。なお、ｌｎ（ｘ）はｘの自然対数を示す。この式（１５）は、リニア信号Ｅ_ｏｕｔのレベル範囲を［０：１］としたときの変換式である。
逆ＥＯＴＦ処理手段１４は、ＲＧＢ信号Ｅ_ｏｕｔ′を色信号逆変換手段１５に出力する。 Here, a, b, and c are the same as the values used in the above equation (2). Note that ln (x) indicates the natural logarithm of x. This equation (15) is a conversion equation when the level range of the linear signal E _out is [0: 1].
The inverse EOTF processing means 14 outputs the RGB signal E _out ′ to the color signal inverse conversion means 15.

色信号逆変換手段１５は、逆ＥＯＴＦ処理手段１４で生成されたＲＧＢ信号を、ＨＬＧ方式の輝度色差信号に変換するものである。
具体的には、色信号逆変換手段１５は、前記式（１）の逆変換として、以下の式（１６）により、ＲＧＢ信号Ｅ_ｏｕｔ′＝（Ｒ_ｏｕｔ′，Ｇ_ｏｕｔ′，Ｂ_ｏｕｔ′）を、輝度色差信号Ｙ，Ｃ_ｂ，Ｃ_ｒに変換する。 The color signal inverse conversion means 15 converts the RGB signal generated by the inverse EOTF processing means 14 into a luminance color difference signal of the HLG system.
Specifically, the color signal inverse conversion means 15 performs RGB signal E _out ′ = (R _out ′, G _out ′, B _out ′) according to the following equation (16) as the inverse conversion of the equation (1). _Is converted into luminance color difference signals Y, C _b , and Cr.

色信号逆変換手段１５は、変換後の輝度色差信号Ｙ，Ｃ_ｂ，Ｃ_ｒを外部（表示対象のディスプレイ）に出力する。
なお、出力する映像信号をＲＧＢ信号とする場合、色信号逆変換手段１５を映像輝度変換装置１の構成から省略すればよい。 The color signal inverse conversion means 15 outputs the converted luminance color difference signals Y, C _b , and _Cr to the outside (display to be displayed).
When the video signal to be output is an RGB signal, the color signal inverse conversion means 15 may be omitted from the configuration of the video luminance conversion device 1.

このように映像輝度変換装置１を構成することで、映像輝度変換装置１は、映像信号に急激な輝度変化が発生しても、動的に輝度変化を検出し、フレーム間の輝度差を緩和した映像信号に変換することができる。
また、映像輝度変換装置１は、コンピュータを前記した手段として機能させるための映像輝度変換プログラムで動作させることができる。 By configuring the video luminance conversion device 1 in this way, the video luminance conversion device 1 dynamically detects the luminance change even if a sudden luminance change occurs in the video signal, and alleviates the luminance difference between the frames. It can be converted into a video signal.
Further, the video luminance conversion device 1 can be operated by a video luminance conversion program for making the computer function as the above-mentioned means.

（変形例）
映像輝度変換装置１は、ゲイン算出手段１２４において、輝度差を予め定めた閾値に収めるようにゲインを算出した後、時間経過に伴って、段階的にゲインを補正し、元のゲインに戻す処理を行っている（式（９）参照）。しかし、ゲイン算出手段１２４は、時間経過による補正を行わずにゲインを算出する簡易な処理を行うものとしてもよい。
具体的には、ゲイン算出手段１２４は、前記式（９）の代わりに、以下の式（１７）に示すように、前記式（１０）で算出される値ａ_０をゲイン（Ｇａｉｎ）とする。 (Modification example)
The image luminance conversion device 1 calculates the gain in the gain calculating means 124 so as to keep the luminance difference within a predetermined threshold value, and then gradually corrects the gain with the passage of time and returns it to the original gain. (Refer to equation (9)). However, the gain calculation means 124 may perform a simple process of calculating the gain without performing correction due to the passage of time.
Specifically, the gain calculation means 124 uses the value _a0 calculated by the equation (10) as a gain (Gain) as shown in the following equation (17) instead of the equation (9). ..

ここで、図２を参照して、ゲイン算出手段１２４において時間経過によりゲインを補正する場合と、補正しない場合とで、フレーム輝度がどのように変化するのかについて説明する。図２（ａ）は映像輝度変換装置１に入力される元の映像信号のフレームと、フレーム輝度レベル（画面平均輝度レベル：ＡＬＬ〔ｃｄ／ｍ^２〕）との関係を示す。ここでは、ｆ０，ｆ１，…と連続するフレームにおいて、ｆ３のフレームでシーンＡからシーンＢに切り替わり、予め定めた閾値よりも大きい輝度変化が発生した例を示している。 Here, with reference to FIG. 2, how the frame luminance changes between the case where the gain calculation means 124 corrects the gain with the passage of time and the case where the gain is not corrected will be described. FIG. 2A shows the relationship between the frame of the original video signal input to the video luminance conversion device 1 and the frame luminance level (screen average luminance level: ALL [cd / m ² ]). Here, in a frame continuous with f0, f1, ..., An example is shown in which the scene A is switched to the scene B in the frame of f3, and a luminance change larger than a predetermined threshold value occurs.

図２（ｂ）は、ゲイン算出手段１２４において時間経過によりゲインを補正する場合のフレームとフレーム輝度レベル（ＡＬＬ）との関係を示す。図２（ｃ）は、ゲイン算出手段１２４において時間経過によりゲインを補正しない場合のフレームとフレーム輝度レベル（ＡＬＬ）との関係を示す。
なお、図２（ｂ），（ｃ）ともに、実線がゲイン算出手段１２４で算出されたゲインによりゲイン調整を行ったときのフレーム輝度レベル、破線がゲイン調整を行わない元の映像信号のフレーム輝度レベルを示す。 FIG. 2B shows the relationship between the frame and the frame luminance level (ALL) when the gain is corrected by the passage of time in the gain calculating means 124. FIG. 2C shows the relationship between the frame and the frame luminance level (ALL) when the gain calculation means 124 does not correct the gain over time.
In both FIGS. 2 (b) and 2 (c), the solid line is the frame luminance level when the gain is adjusted by the gain calculated by the gain calculating means 124, and the broken line is the frame luminance of the original video signal without the gain adjustment. Indicates the level.

図２（ｂ）に示すように、時間経過によりゲインを補正する場合、ｆ７のフレームにおいて、ゲインが元に戻り、元の映像信号と同じフレーム輝度レベルとなる。なお、ここでは、説明を簡略化するため、大きい輝度変化が発生後（ｆ３）、４フレームで元のゲインに戻る例を示している。 As shown in FIG. 2B, when the gain is corrected over time, the gain returns to the original value in the frame of f7, and the frame luminance level becomes the same as that of the original video signal. In addition, in order to simplify the explanation, an example is shown in which the gain returns to the original gain in 4 frames after a large luminance change occurs (f3).

一方、図２（ｃ）に示すように、時間経過によりゲインを補正しない場合、大きい輝度変化が発生後（ｆ３）、フレーム輝度レベルは映像信号に対応して、ほぼ一定のフレーム輝度レベルとなる。なお、この場合でも、平均フレーム輝度レベル（ＡＬＬ_ｍｅａｎ）と現在フレーム輝度レベル（ＡＬＬ_{ｃｕｒｒｅｎｔ}）との差が、閾値（ＡＬＬ_ｔｈ）以内となった段階で、フレーム輝度レベルは元の映像信号と同じになる。 On the other hand, as shown in FIG. 2C, when the gain is not corrected with the passage of time, the frame luminance level becomes almost constant frame luminance level corresponding to the video signal after a large luminance change occurs (f3). .. Even in this case, the frame luminance level is the same as the original video signal when the difference between the average frame luminance level (ALL _luminance ) and the _current frame luminance level (ALL luminance) is within the threshold value (ALL _th ). become.

また、ここでは、ＥＯＴＦ処理手段１１および逆ＥＯＴＦ処理手段１４において、電気－光伝達関数（ＥＯＴＦ）およびその逆関数（ＥＯＴＦ^－１）を用いたが、必ずしも演算を行う必要はない。例えば、ＥＯＴＦ処理手段１１は、図３に示すように、ＲＧＢ信号Ｅ_ｉｎ′＝（Ｒ_ｉｎ′，Ｇ_ｉｎ′，Ｂ_ｉｎ′）とリニア信号Ｆ_ｄ＝（Ｒ_ｄ，Ｇ_ｄ，Ｂ_ｄ）とを対応付けた３次元のルックアップテーブル（３Ｄ－ＬＵＴ）を参照して変換することとしてもよい。また、逆ＥＯＴＦ処理手段１４は、図３と同様に、リニア信号Ｆ_Ｄ＝（Ｒ_Ｄ，Ｇ_Ｄ，Ｂ_Ｄ）とＲＧＢ信号Ｅ_ｏｕｔ′＝（Ｒ_ｏｕｔ′，Ｇ_ｏｕｔ′，Ｂ_ｏｕｔ′）とを対応付けた３次元のルックアップテーブル（３Ｄ－ＬＵＴ）を参照して変換することとしてもよい。
なお、３Ｄ－ＬＵＴは、必ずしもすべての値を網羅する必要はなく、サンプリングした値でよい。３Ｄ－ＬＵＴを離散的にサンプリングしたテーブルとした場合、ＥＯＴＦ処理手段１１および逆ＥＯＴＦ処理手段１４は、体積補間法等の公知のルックアップテーブル補間手法を用いて、３Ｄ－ＬＵＴの補間を行えばよい。 Further, here, in the EOTF processing means 11 and the inverse EOTF processing means 14, the electric-optical transfer function (EOTF) and its inverse function (EOTF ^-1 ) are used, but it is not always necessary to perform the calculation. For example, as shown in FIG. 3, the EOTF processing means 11 has an RGB signal E _in ′ = (R _in ′, G _in ′, _Bin ′) and a linear signal F _d = (R _d , G _d , B _d ). It may be converted by referring to a three-dimensional look-up table (3D-LUT) associated with. Further, in the reverse EOTF processing means 14, the linear signal FD = ( _RD , G _D , _BD ) and the RGB signal _E _out ′ = (R _out ′, G _out ′, B _out ′), as in FIG. It may be converted by referring to a three-dimensional look-up table (3D-LUT) associated with.
The 3D-LUT does not necessarily cover all the values, and may be a sampled value. When the 3D-LUT is a discretely sampled table, the EOTF processing means 11 and the inverse EOTF processing means 14 may perform 3D-LUT interpolation using a known look-up table interpolation method such as a volume interpolation method. good.

＜映像輝度変換装置の動作＞
次に、図４を参照（構成については、適宜図１参照）して、本発明の第１実施形態に係る映像輝度変換装置１の動作について説明する。なお、映像輝度変換装置１は、映像信号を順次入力するが、ここでは、１フレーム分の映像信号の処理動作についてのみ説明する。すなわち、映像輝度変換装置１は、映像信号のすべてが入力完了するまで、図３に示す動作をフレーム単位で繰り返す。 <Operation of video brightness converter>
Next, the operation of the image luminance conversion device 1 according to the first embodiment of the present invention will be described with reference to FIG. 4 (see FIG. 1 for the configuration as appropriate). The video luminance conversion device 1 sequentially inputs video signals, but here, only the processing operation of the video signals for one frame will be described. That is, the video luminance conversion device 1 repeats the operation shown in FIG. 3 in frame units until all the video signals have been input.

ステップＳ１において、色信号変換手段１０は、入力した映像信号である輝度色差信号を、ＲＧＢ色空間の信号（ＲＧＢ信号）に変換する（前記式（１）参照）。なお、入力する映像信号をＲＧＢ信号とする場合、ステップＳ１を省略する。色信号変換手段１０は、変換後のＲＧＢ信号Ｅ_ｉｎ′をＥＯＴＦ処理手段１１に出力する。 In step S1, the color signal conversion means 10 converts the luminance color difference signal, which is the input video signal, into a signal (RGB signal) in the RGB color space (see the above equation (1)). If the input video signal is an RGB signal, step S1 is omitted. The color signal conversion means 10 outputs the converted RGB signal E _in ′ to the EOTF processing means 11.

ステップＳ２において、ＥＯＴＦ処理手段１１は、ステップＳ１で変換されたＲＧＢ信号を、電気－光伝達関数（ＥＯＴＦ）により、ディスプレイ光（表示光）に対応するリニア信号Ｆ_ｄに変換する（前記式（２）～式（４）参照）。ＥＯＴＦ処理手段１１は、変換後のリニア信号Ｆ_ｄを、フレーム別ゲイン算出手段１２とゲイン調整手段１３とに出力する。 In step S2, the EOTF processing means 11 converts the RGB signal converted in step S1 into a linear signal F _d corresponding to the display light (display light) by the electric-optical transfer function (EOTF) (the above formula (the above formula (the above formula)). 2) -Refer to equation (4)). The EOTF processing means 11 outputs the converted linear signal F _d to the frame-specific gain calculating means 12 and the gain adjusting means 13.

ステップＳ３において、フレーム別ゲイン算出手段１２の現在フレーム輝度算出手段１２０は、ステップＳ２で変換されたディスプレイ光に対応するリニア信号Ｆ_ｄをディスプレイに表示したときの画面（フレーム）の平均輝度レベルを現在フレーム輝度レベル（ＡＬＬ_{ｃｕｒｒｅｎｔ}）として算出する（前記式（６）参照）。現在フレーム輝度算出手段１２０は、算出した現在フレーム輝度レベル（ＡＬＬ_{ｃｕｒｒｅｎｔ}）を、過去フレーム輝度算出手段１２１とゲイン算出手段１２４とに出力する。 In step S3, the current frame luminance calculation means 120 of the frame-specific gain calculation means 12 determines the average luminance level of the screen (frame) when the linear signal F _d corresponding to the display light converted in step S2 is displayed on the display. It is calculated as the _current frame luminance level (ALL luminance) (see the above equation (6)). The current frame luminance calculation means 120 outputs the calculated _current frame luminance level (ALL luminance) to the past frame luminance calculation means 121 and the gain calculation means 124.

ステップＳ４において、現在フレーム輝度レベル（ＡＬＬ_{ｃｕｒｒｅｎｔ}）を入力したゲイン算出手段１２４からの指示で、加算平均手段１２３は、過去フレーム輝度記憶手段１２２に記憶されている過去フレーム輝度レベルを加算平均することで、過去の平均フレーム輝度レベル（ＡＬＬ_ｍｅａｎ）を算出する（前記式（８）参照）。加算平均手段１２３は、算出した平均フレーム輝度レベル（ＡＬＬ_ｍｅａｎ）をゲイン算出手段１２４に出力する。 In step S4, the addition averaging means 123 adds and averages the past frame luminance levels stored in the past frame luminance storage means 122 by the instruction from the gain calculating means 124 in which the _current frame luminance level (ALL luminance) is input. Then, the past average frame luminance level (ALL _luminance ) is calculated (see the above equation (8)). The addition averaging means 123 outputs the calculated average frame luminance level (ALL _mean ) to the gain calculating means 124.

ステップＳ５において、ゲイン算出手段１２４は、ステップＳ３で算出された現在フレーム輝度レベル（ＡＬＬ_{ｃｕｒｒｅｎｔ}）と、ステップＳ４で算出された過去の平均フレーム輝度レベル（ＡＬＬ_ｍｅａｎ）との輝度差に応じて、ゲインを算出する（前記式（９），式（１０）参照）。
ここで、ゲイン算出手段１２４は、平均フレーム輝度レベル（ＡＬＬ_ｍｅａｎ）と現在フレーム輝度レベル（ＡＬＬ_{ｃｕｒｒｅｎｔ}）との輝度差を予め定めた閾値（ＡＬＬ_ｔｈ）を超えることでゲインを調整した場合、次フレーム以降でステップＳ５の処理を行うごとに、順次、ゲインを元に戻す補正項を加えてゲインを算出する（前記式（９）参照）。
なお、ゲイン算出手段１２４は、補正項を加えずに、簡易にゲインを算出することとしてもよい（前記式（１７）参照）。
ゲイン算出手段１２４は、算出したゲインを、過去フレーム輝度算出手段１２１とゲイン調整手段１３とに出力する。 In step S5, the gain calculation means 124 responds to the brightness difference between the _current frame luminance level (ALL luminance) calculated in step S3 and the past average frame luminance level (ALL _luminance ) calculated in step S4. Calculate the gain (see equations (9) and (10) above).
Here, when the gain calculation means 124 adjusts the gain by exceeding a predetermined threshold value (ALL _th ) for the luminance difference between the average frame luminance level ( _ALL main) and the _current frame luminance level (ALL luminance), the following Every time the process of step S5 is performed after the frame, the gain is calculated by sequentially adding a correction term for restoring the gain (see the above equation (9)).
The gain calculation means 124 may simply calculate the gain without adding a correction term (see the above equation (17)).
The gain calculating means 124 outputs the calculated gain to the past frame luminance calculating means 121 and the gain adjusting means 13.

ステップＳ６において、過去フレーム輝度算出手段１２１は、ステップＳ３で算出された現在フレーム輝度レベル（ＡＬＬ_{ｃｕｒｒｅｎｔ}）を、ステップＳ５で算出されたゲインによりゲイン調整し、過去フレーム輝度レベル（ＡＬＬ_ｐａｓｔ）を算出する（前記式（７）参照）。過去フレーム輝度算出手段１２１は、算出した過去フレーム輝度レベル（ＡＬＬ_ｐａｓｔ）を、過去フレーム輝度記憶手段１２２に記憶する。このとき、過去フレーム輝度算出手段１２１は、記憶する過去フレーム輝度レベルの数が最大フレーム数を超える場合、最も古い過去フレーム輝度レベルを削除する。 In step S6, the past frame luminance calculation means 121 adjusts the gain of the _current frame luminance level (ALL luminance) calculated in step S3 by the gain calculated in step S5, and calculates the past frame luminance level (ALL _past ). (Refer to the above equation (7)). The past frame luminance calculation means 121 stores the calculated past frame luminance level (ALL _past ) in the past frame luminance storage means 122. At this time, when the number of past frame luminance levels to be stored exceeds the maximum number of frames, the past frame luminance calculation means 121 deletes the oldest past frame luminance level.

ステップＳ７において、ゲイン調整手段１３は、ステップＳ２で変換されたリニア信号Ｆ_ｄに対して、ステップＳ５で算出されたゲインを用いてゲイン調整を行い、リニア信号Ｆ_Ｄを生成する（前記式（１２）参照）。ゲイン調整手段１３は、生成したリニア信号Ｆ_Ｄを逆ＥＯＴＦ処理手段１４に出力する。 In step S7, the gain adjusting means 13 adjusts the gain of the linear signal Fd converted in step S2 using the gain calculated in step _S5 , and generates a linear signal _FD (the above equation (the above equation (1)). 12) See). The gain adjusting means 13 outputs the generated linear signal _FD to the inverse EOTF processing means 14.

ステップＳ８において、逆ＥＯＴＦ処理手段１４は、ステップＳ７で生成されたリニア信号Ｆ_Ｄを、電気－光伝達関数の逆関数（ＥＯＴＦ^－１）により、ＨＬＧ方式のＲＧＢ信号（映像信号）Ｅ_ｏｕｔ′に変換する（前記式（１３）～式（１５）参照）。逆ＥＯＴＦ処理手段１４は、変換後のＲＧＢ信号Ｅ_ｏｕｔ′を、色信号逆変換手段１５に出力する。 In step S8, the inverse EOTF processing means 14 uses the linear signal _FD generated in step S7 as an HLG-type RGB signal (video signal) E _out ′ by the inverse function of the electric-optical transfer function (EOTF ^-1 ). (See equations (13) to (15) above). The inverse EOTF processing means 14 outputs the converted RGB signal E _out ′ to the color signal inverse conversion means 15.

ステップＳ９において、色信号逆変換手段１５は、ステップＳ８で変換された映像信号であるＲＧＢ信号を、輝度色差信号に変換する（前記式（１６）参照）。なお、出力する映像信号をＲＧＢ信号とする場合、ステップＳ９を省略する。色信号逆変換手段１５は、変換後の輝度色差信号を外部に出力する。
以上の動作をフレームごとに処理することで、映像輝度変換装置１は、映像信号に急激な輝度変化が発生しても、動的に輝度変化を検出し、フレーム間の輝度差を緩和した映像信号に変換することができる。 In step S9, the color signal inverse conversion means 15 converts the RGB signal, which is the video signal converted in step S8, into a luminance color difference signal (see the above equation (16)). If the video signal to be output is an RGB signal, step S9 is omitted. The color signal inverse conversion means 15 outputs the converted luminance color difference signal to the outside.
By processing the above operation for each frame, the image luminance conversion device 1 dynamically detects the luminance change even if a sudden luminance change occurs in the video signal, and the image in which the luminance difference between the frames is relaxed is relaxed. It can be converted into a signal.

≪第２実施形態≫
次に、図５を参照して、本発明の第２実施形態に係る映像輝度変換装置１Ｂの構成について説明する。
図１で説明した映像輝度変換装置１は、ＨＬＧ方式の映像信号において、表示対象となる現在のフレームの輝度と、過去の複数フレームの平均輝度とに急激な輝度差が含まれる場合に、急激な輝度差を緩和した映像信号に変換するものであった。 << Second Embodiment >>
Next, with reference to FIG. 5, the configuration of the image luminance conversion device 1B according to the second embodiment of the present invention will be described.
The video luminance conversion device 1 described with reference to FIG. 1 is abrupt when the luminance of the current frame to be displayed and the average luminance of a plurality of past frames include a sudden luminance difference in the video signal of the HLG system. It was converted into a video signal in which the difference in luminance was relaxed.

映像輝度変換装置１Ｂは、ＨＬＧ方式の映像信号において、表示対象となる現在のフレームの輝度と、１フレーム前のフレームの輝度とに急激な輝度差が含まれる場合に、急激な輝度差を緩和した映像信号に変換するものである。
すなわち、映像輝度変換装置１Ｂは、図１で説明した映像輝度変換装置１のフレーム別ゲイン算出手段１２の構成から加算平均手段１２３を削除し、過去フレーム輝度算出手段１２１Ｂおよびゲイン算出手段１２４の機能を変更した過去フレーム輝度算出手段１２１Ｂおよびゲイン算出手段１２４Ｂとしたフレーム別ゲイン算出手段１２Ｂを備える。
過去フレーム輝度算出手段１２１Ｂおよびゲイン算出手段１２４Ｂ以外の構成は、図１で説明した映像輝度変換装置１の構成と同じであるため、同一の符号を付して説明を省略する。 The video luminance conversion device 1B alleviates the sudden luminance difference when the luminance of the current frame to be displayed and the luminance of the frame one frame before are included in the HLG system video signal. It is converted into a video signal.
That is, the video luminance conversion device 1B deletes the addition averaging means 123 from the configuration of the frame-specific gain calculation means 12 of the video luminance conversion device 1 described with reference to FIG. 1, and functions the past frame luminance calculation means 121B and the gain calculation means 124. The frame-specific gain calculation means 12B is provided as the past frame brightness calculation means 121B and the gain calculation means 124B.
Since the configurations other than the past frame luminance calculation means 121B and the gain luminance calculation means 124B are the same as the configurations of the image luminance conversion device 1 described with reference to FIG. 1, the same reference numerals are given and the description thereof will be omitted.

過去フレーム輝度算出手段１２１Ｂは、現在フレーム輝度算出手段１２０で算出された現在フレーム輝度レベルをゲイン調整し、１フレーム後の時点における過去フレーム輝度レベル（ＡＬＬ_ｐａｓｔ）を算出するものである。過去フレーム輝度算出手段１２１Ｂにおける過去フレーム輝度レベルの算出手法は、過去フレーム輝度算出手段１２１（図１）と同じである。
なお、過去フレーム輝度算出手段１２１Ｂは、１フレーム分の過去フレーム輝度レベルを、過去フレーム輝度記憶手段１２２に記憶する。 The past frame luminance calculation means 121B adjusts the gain of the current frame luminance level calculated by the current frame luminance calculation means 120, and calculates the past frame luminance level (ALL _past ) at a time point after one frame. The method for calculating the past frame luminance level in the past frame luminance calculating means 121B is the same as that for the past frame luminance calculating means 121 (FIG. 1).
The past frame luminance calculation means 121B stores the past frame luminance level for one frame in the past frame luminance storage means 122.

ゲイン算出手段１２４Ｂは、過去フレーム輝度記憶手段１２２に記憶されている１フレーム分の過去フレーム輝度レベル（ＡＬＬ_ｐａｓｔ）と、現在フレーム輝度レベル（ＡＬＬ_{ｃｕｒｒｅｎｔ}）との輝度差に基づいて、表示対象のフレーム（現在フレーム）に対するゲインを算出するものである。
ゲイン算出手段１２４Ｂは、現在フレーム輝度算出手段１２０から、現在フレーム輝度レベル（ＡＬＬ_{ｃｕｒｒｅｎｔ}）を入力した段階で、過去フレーム輝度記憶手段１２２から過去フレーム輝度レベル（ＡＬＬ_ｐａｓｔ）を読み出す。
なお、ゲイン算出手段１２４Ｂにおいてゲインを算出するには、図１で説明したゲイン算出手段１２４における平均フレーム輝度レベル（ＡＬＬ_ｍｅａｎ）を過去フレーム輝度レベル（ＡＬＬ_ｐａｓｔ）に置き換えて同様の演算を行えばよい（前記式（９），式（１０）参照）。 The gain calculation means 124B is a display target based on the brightness difference between the past frame luminance level (ALL _past ) for one frame stored in the past frame luminance storage means 122 and the _current frame luminance level (ALL luminance). It calculates the gain for the frame (current frame).
The gain calculating means 124B reads out the past frame luminance level (ALL _past ) from the past frame luminance storage means 122 at the stage where the present frame luminance level (ALL _luminance ) is input from the present frame luminance calculating means 120.
In order to calculate the gain in the gain calculating means 124B, the same calculation may be performed by replacing the average frame luminance level (ALL _luminance ) in the gain calculating means 124 described with FIG. 1 with the past frame luminance level (ALL _past ). Good (see equations (9) and (10) above).

以上説明したように映像輝度変換装置１Ｂを構成することで、映像輝度変換装置１Ｂは、映像信号に急激な輝度変化が発生しても、動的に輝度変化を検出し、フレーム間の輝度差を緩和した映像信号に変換することができる。
また、映像輝度変換装置１Ｂは、コンピュータを前記した手段として機能させるための映像輝度変換プログラムで動作させることができる。 By configuring the video luminance conversion device 1B as described above, the video luminance conversion device 1B dynamically detects the luminance change even if a sudden luminance change occurs in the video signal, and the luminance difference between the frames. Can be converted into a relaxed video signal.
Further, the video luminance conversion device 1B can be operated by a video luminance conversion program for making the computer function as the above-mentioned means.

なお、映像輝度変換装置１Ｂの動作は、図４で説明した映像輝度変換装置１の動作とほぼ同じである。映像輝度変換装置１Ｂの場合、図４のステップＳ４を省略し、ステップＳ５において、ゲイン算出手段１２４Ｂは、ステップＳ３で算出された現在フレーム輝度レベル（ＡＬＬ_{ｃｕｒｒｅｎｔ}）と、過去フレーム輝度記憶手段１２２に記憶されている過去フレーム輝度レベル（ＡＬＬ_ｐａｓｔ）との輝度差に応じて、ゲインを算出する。それ以外の動作は、映像輝度変換装置１の動作と同じであるため、説明を省略する。 The operation of the video luminance conversion device 1B is almost the same as the operation of the video luminance conversion device 1 described with reference to FIG. In the case of the image luminance conversion device 1B, step S4 in FIG. 4 is omitted, and in step S5, the gain calculation means 124B uses the _current frame luminance level (ALL luminance) calculated in step S3 and the past frame luminance storage means 122. The gain is calculated according to the luminance difference from the stored past frame luminance level (ALL _past ). Since the other operations are the same as the operations of the video luminance conversion device 1, the description thereof will be omitted.

≪第３実施形態≫
次に、図６を参照して、本発明の第３実施形態に係る映像輝度変換装置１Ｃの構成について説明する。
映像輝度変換装置１Ｃは、映像輝度変換装置１，１Ｂと同様、ＨＤＲ方式のうちの１つであるＨＬＧ方式の映像信号に急激な輝度差が含まれる場合に、映像信号を、急激な輝度差を緩和した映像信号に変換するものである。
図６に示すように、映像輝度変換装置１Ｃは、色信号変換手段１０と、フレーム別ゲイン算出手段１２と、ゲイン調整手段１３Ｃと、色信号逆変換手段１５と、逆ＯＥＴＦ処理手段１６と、ＯＯＴＦ処理手段１７と、ＯＥＴＦ処理手段１８と、を備える。 << Third Embodiment >>
Next, with reference to FIG. 6, the configuration of the image luminance conversion device 1C according to the third embodiment of the present invention will be described.
Similar to the video brightness conversion devices 1 and 1B, the video brightness conversion device 1C converts the video signal into a sudden brightness difference when the video signal of the HLG method, which is one of the HDR methods, contains a sudden brightness difference. Is converted into a relaxed video signal.
As shown in FIG. 6, the image luminance conversion device 1C includes a color signal conversion means 10, a frame-specific gain calculation means 12, a gain adjusting means 13C, a color signal inverse conversion means 15, an inverse OETF processing means 16, and the like. The OOTF processing means 17 and the OETF processing means 18 are provided.

すなわち、映像輝度変換装置１Ｃは、図１で説明した映像輝度変換装置１のＥＯＴＦ処理手段１１および逆ＥＯＴＦ処理手段１４を、逆ＯＥＴＦ処理手段１６、ＯＯＴＦ処理手段１７およびＯＥＴＦ処理手段１８に置き換え、ゲイン調整手段１３の入出力を変更したゲイン調整手段１３Ｃで構成している。他の構成は、図１で説明した映像輝度変換装置１の構成と同じであるため、同一の符号を付して説明を省略する。 That is, the video luminance conversion device 1C replaces the EOTF processing means 11 and the reverse EOTF processing means 14 of the video luminance conversion device 1 described with reference to the reverse OETF processing means 16, OOTF processing means 17, and OETF processing means 18. It is composed of a gain adjusting means 13C in which the input / output of the gain adjusting means 13 is changed. Since the other configurations are the same as the configurations of the image luminance conversion device 1 described with reference to FIG. 1, the same reference numerals are given and the description thereof will be omitted.

逆ＯＥＴＦ処理手段１６は、ＨＬＧ方式のＲＧＢ信号（映像信号）Ｅ_ｉｎ′を、シーン光に対応するリニア信号（第３リニア信号）Ｅ_ｉｎに変換するものである。
逆ＯＥＴＦ処理手段１６は、光－電気伝達関数（ＯＥＴＦ）の逆関数（ＯＥＴＦ^－１）により、色信号変換手段１０で変換されたＲＧＢ信号Ｅ_ｉｎ′＝（Ｒ_ｉｎ′，Ｇ_ｉｎ′，Ｂ_ｉｎ′）を、リニア信号Ｅ_ｉｎ＝（Ｒ_ｓ，Ｇ_ｓ，Ｂ_ｓ）に変換する。なお、この変換処理は、図１のＥＯＴＦ処理手段１１の一部であって、前記式（２）と同じ処理である。
逆ＯＥＴＦ処理手段１６は、変換後のリニア信号Ｅ_ｉｎを、ＯＯＴＦ処理手段１７とゲイン調整手段１３Ｃとに出力する。 The reverse OETF processing means 16 converts the RGB signal (video signal) E _in ′ of the HLG system into the linear signal (third linear signal) E _in corresponding to the scene light.
The inverse OETF processing means 16 is an RGB signal E _in ′ = (R _in ′, G _in ′, B) converted by the color signal conversion means 10 by the inverse function (OETF ^-1 ) of the optical transfer function (OETF). _in ′) is converted into a linear signal E _in = (R _s , G _s , B _s ). This conversion process is a part of the EOTF processing means 11 of FIG. 1, and is the same process as the above formula (2).
The reverse OETF processing means 16 outputs the converted linear signal Ein to the _OOTF processing means 17 and the gain adjusting means 13C.

ＯＯＴＦ処理手段１７は、シーン光に対応するリニア信号（第３リニア信号）Ｅ_ｉｎをディスプレイ光に対応するリニア信号（第１リニア信号）Ｆ_ｄに変換するものである。
ＯＯＴＦ処理手段１７は、光－光伝達関数（ＯＯＴＦ）により、逆ＯＥＴＦ処理手段１６で変換されたリニア信号Ｅ_ｉｎ＝（Ｒ_ｓ，Ｇ_ｓ，Ｂ_ｓ）を、リニア信号Ｆ_ｄ＝（Ｒ_ｄ，Ｇ_ｄ，Ｂ_ｄ）に変換する。なお、この変換処理は、図１のＥＯＴＦ処理手段１１の一部であって、前記式（４）と同じ処理である。
ＯＯＴＦ処理手段１７は、変換後のリニア信号Ｆ_ｄを、フレーム別ゲイン算出手段１２に出力する。 The OOTF processing means 17 converts the linear signal (third linear signal) E _in corresponding to the scene light into the linear signal (first linear signal) F _d corresponding to the display light.
The OOTF processing means 17 converts the linear signal E _in = (R _s , G _s , B _s ) converted by the inverse OETF processing means 16 by the optical transfer function (OOTF) into the linear signal F _d = (R _d) . , G _d , B _d ). This conversion process is a part of the EOTF processing means 11 of FIG. 1, and is the same process as the above formula (4).
The OOTF processing means 17 outputs the converted linear signal F _d to the frame-specific gain calculation means 12.

ゲイン調整手段１３Ｃは、シーン光に対応するリニア信号に対して、ゲイン調整を行うものである。
ゲイン調整手段１３Ｃは、以下の式(１８)により、フレーム別ゲイン算出手段１２で算出されたゲイン（Ｇａｉｎ）を、逆ＯＥＴＦ処理手段１６で変換されたシーン光に対応するリニア信号（第３リニア信号）Ｅ_ｉｎに乗算することで、リニア信号Ｅ_ｉｎを、リニア信号（第４リニア信号）Ｅ_ｏｕｔに変換する。 The gain adjusting means 13C adjusts the gain of the linear signal corresponding to the scene light.
The gain adjusting means 13C uses the following equation (18) to convert the gain calculated by the frame-based gain calculating means 12 into a linear signal (third linear) corresponding to the scene light converted by the inverse OETF processing means 16. By multiplying the signal) E _in , the linear signal E _in is converted into a linear signal (fourth linear signal) E _out .

このゲイン調整手段１３Ｃは、入出力の信号の種類が異なるだけで、図１で説明したゲイン調整手段１３の処理内容と同じである。
ゲイン調整手段１３Ｃは、ゲイン調整後のリニア信号Ｅ_ｏｕｔを、ＯＥＴＦ処理手段１８に出力する。 The gain adjusting means 13C is the same as the processing content of the gain adjusting means 13 described with reference to FIG. 1 except that the types of input / output signals are different.
The gain adjusting means 13C outputs the gain-adjusted linear signal E _out to the OETF processing means 18.

ＯＥＴＦ処理手段１８は、ゲイン調整後のリニア信号（第４リニア信号）Ｅ_ｏｕｔを、映像信号であるＲＧＢ信号Ｅ_ｏｕｔ′に変換するものである。
ＯＥＴＦ処理手段１８は、光－電気伝達関数（ＯＥＴＦ）により、ゲイン調整手段１３Ｃでゲイン調整されたリニア信号Ｅ_ｏｕｔ＝（Ｒ_ｏｕｔ，Ｇ_ｏｕｔ，Ｂ_ｏｕｔ）を、映像信号であるＲＧＢ信号Ｅ_ｏｕｔ′＝（Ｒ_ｏｕｔ′，Ｇ_ｏｕｔ′，Ｂ_ｏｕｔ′）に変換する。なお、この変換処理は、図１の逆ＥＯＴＦ処理手段１４の一部であって、前記式（１５）と同じ処理である。
ＯＥＴＦ処理手段１８は、ＲＧＢ信号Ｅ_ｏｕｔ′を色信号逆変換手段１５に出力する。 The OETF processing means 18 converts the gain-adjusted linear signal (fourth linear signal) E _out into an RGB signal E _out ′ which is a video signal.
The OETF processing means 18 converts a linear signal E _out = (R _out , G _out , B _out ) gain-adjusted by the gain adjusting means 13C by an optical transfer function (OETF) into an RGB signal E _out , which is a video signal. ′ = (R _out ′, G _out ′, B _out ′). This conversion process is a part of the inverse EOTF processing means 14 of FIG. 1, and is the same process as the above formula (15).
The OETF processing means 18 outputs the RGB signal E _out ′ to the color signal inverse conversion means 15.

このように映像輝度変換装置１Ｃを構成することで、映像輝度変換装置１Ｃは、映像輝度変換装置１と同様に、映像信号に急激な輝度変化が発生しても、動的に輝度変化を検出し、フレーム間の輝度差を緩和した映像信号に変換することができる。
また、映像輝度変換装置１Ｃは、コンピュータを前記した手段として機能させるための映像輝度変換プログラムで動作させることができる。
また、映像輝度変換装置１Ｃのフレーム別ゲイン算出手段１２は、図５で説明した映像輝度変換装置１Ｂのフレーム別ゲイン算出手段１２Ｂに置き換えてもよい。 By configuring the video luminance conversion device 1C in this way, the video luminance conversion device 1C dynamically detects the luminance change even if a sudden luminance change occurs in the video signal, like the video luminance conversion device 1. However, it can be converted into a video signal in which the difference in luminance between frames is relaxed.
Further, the video luminance conversion device 1C can be operated by a video luminance conversion program for operating the computer as the above-mentioned means.
Further, the frame-specific gain calculation means 12 of the video luminance conversion device 1C may be replaced with the frame-specific gain calculation means 12B of the video luminance conversion device 1B described with reference to FIG.

また、ここでは、逆ＯＥＴＦ処理手段１６およびＯＥＴＦ処理手段１８において、光－電気伝達関数の逆関数（ＯＥＴＦ^－１）および光－電気伝達関数（ＯＥＴＦ）を用いたが、必ずしも演算を行う必要はない。例えば、逆ＯＥＴＦ処理手段１６は、ＲＧＢ信号Ｅ_ｉｎ′＝（Ｒ_ｉｎ′，Ｇ_ｉｎ′，Ｂ_ｉｎ′）とリニア信号Ｅ_ｉｎ＝（Ｒ_ｓ，Ｇ_ｓ，Ｂ_ｓ）とを対応付けた変換テーブルを参照して変換することとしてもよい。この場合、前記式（２）に示すように、ＲＧＢ各色信号で変換内容が同じであるため、色信号ごとに変換テーブルを持つ必要はなく、１次元のルックアップテーブル（１Ｄ－ＬＵＴ）で変換テーブルを構成することができる。 Further, here, in the inverse OETF processing means 16 and the OETF processing means 18, the inverse function of the optical transfer function (OETF ^-1 ) and the optical transfer function (OETF) are used, but it is not always necessary to perform the calculation. do not have. For example, the inverse OETF processing means 16 converts the RGB signal E _in ′ = (R _in ′, G _in ′, B _in ′) and the linear signal E _in = (R _s , G _s , B _s ) in association with each other. It may be converted by referring to the table. In this case, as shown in the above equation (2), since the conversion contents are the same for each RGB color signal, it is not necessary to have a conversion table for each color signal, and conversion is performed by a one-dimensional lookup table (1D-LUT). You can configure the table.

また、ＯＥＴＦ処理手段１８は、リニア信号Ｅ_ｏｕｔ＝（Ｒ_ｏｕｔ，Ｇ_ｏｕｔ，Ｂ_ｏｕｔ）とＲＧＢ信号Ｅ_ｏｕｔ′＝（Ｒ_ｏｕｔ′，Ｇ_ｏｕｔ′，Ｂ_ｏｕｔ′）とを対応付けた変換テーブルを参照して変換することとしてもよい。この場合も、前記式（１５）に示すように、ＲＧＢ各色信号で変換内容が同じであるため、色信号ごとに変換テーブルを持つ必要はなく、１次元のルックアップテーブル（１Ｄ－ＬＵＴ）で変換テーブルを構成することができる。
このように、映像輝度変換装置１Ｃは、映像輝度変換装置１，１Ｂよりも容量の少ないルックアップテーブルで同様の処理を実現することができる。 Further, the OETF processing means 18 is a conversion table in which the linear signal E _out = (R _out , G _out , B _out ) and the RGB signal E _out ′ = (R _out ′, G _out ′, B _out ′) are associated with each other. It may be converted by referring to. Also in this case, as shown in the above equation (15), since the conversion contents are the same for each RGB color signal, it is not necessary to have a conversion table for each color signal, and a one-dimensional look-up table (1D-LUT) is used. You can configure a conversion table.
As described above, the video luminance conversion device 1C can realize the same processing with a look-up table having a smaller capacity than the video luminance conversion devices 1 and 1B.

なお、映像輝度変換装置１Ｃの動作は、図４で説明した映像輝度変換装置１の動作とほぼ同じである。映像輝度変換装置１Ｃの場合、ステップＳ２の電気－光伝達関数（ＥＯＴＦ）の処理を、光－電気伝達関数の逆関数（ＯＥＴＦ^－１）と光－光伝達関数（ＯＯＴＦ）とに分離し、ステップＳ７において、ＯＥＴＦ^－１で変換されたリニア信号にゲイン調整を行えばよい。
また、ステップＳ８の電気－光伝達関数の逆関数（ＥＯＴＦ^－１）の処理を、光－電気伝達関数（ＯＥＴＦ）の処理に置き換えればよい。 The operation of the video luminance conversion device 1C is almost the same as the operation of the video luminance conversion device 1 described with reference to FIG. In the case of the image brightness converter 1C, the processing of the electric-optical transfer function (EOTF) in step S2 is separated into an inverse function of the optical-electric transfer function (OETF ^-1 ) and an optical-optical transfer function (OOTF). In step S7, the gain of the linear signal converted by OETF ^-1 may be adjusted.
Further, the processing of the inverse function (EOTF ^-1 ) of the electric-optical transfer function in step S8 may be replaced with the processing of the optical-electric transfer function (OETF).

１，１Ｂ，１Ｃ映像輝度変換装置
１０色信号変換手段
１１ＥＯＴＦ処理手段
１２，１２Ｂフレーム別ゲイン算出手段
１２０現在フレーム輝度算出手段
１２１，１２１Ｂ過去フレーム輝度算出手段
１２２過去フレーム輝度記憶手段
１２３加算平均手段
１２４，１２４Ｂゲイン算出手段
１３，１３Ｃゲイン調整手段
１４逆ＥＯＴＦ処理手段
１５色信号逆変換手段
１６逆ＯＥＴＦ処理手段
１７ＯＯＴＦ処理手段
１８ＯＥＴＦ処理手段 1,1B, 1C Video brightness converter 10 Color signal conversion means 11 EOTF processing means 12, 12B Frame-specific gain calculation means 120 Current frame brightness calculation means 121, 121B Past frame brightness calculation means 122 Past frame brightness storage means 123 Addition averaging means 124, 124B Gain calculation means 13,13C Gain adjustment means 14 Inverse EOTF processing means 15 Color signal inverse conversion means 16 Inverse OETF processing means 17 OOTF processing means 18 OETF processing means

Claims

It is a video luminance conversion device that dynamically relaxes the brightness change of the HLG system video signal.
An EOTF processing means that converts the video signal into a first linear signal by the electric-optical transfer function of the HLG method.
A current frame luminance calculation means for calculating the luminance average of the first linear signal as the luminance level of the current frame to be displayed for each frame of the first linear signal.
A gain calculation means for calculating a gain according to a level difference between the brightness level of the current frame and the brightness level of the past frame stored in the past frame brightness storage means.
A past frame luminance calculation means that adjusts the luminance level of the current frame using the gain and stores it in the past frame luminance storage means as the luminance level of the past frame.
A gain adjusting means for adjusting the gain of the first linear signal using the gain and converting it into a second linear signal.
It comprises an inverse EOTF processing means for converting the second linear signal into the HLG system video signal by the inverse function of the electric-optical transfer function .
The gain calculation means is
The brightness level of the current frame is ALL _currant , the brightness level of the past frame is ALL _past , the predetermined threshold value is ALL _th , the number of frames for restoring the gain is t, and the timing at which the level difference exceeds the threshold value. When the counter of the frame initialized in is Δt and the system gamma is γ, the gain is set to

A video luminance conversion device characterized by being calculated by .

It is a video luminance conversion device that dynamically relaxes the brightness change of the HLG system video signal.
An inverse OETF processing means that converts the video signal into a third linear signal by the inverse function of the optical-electric transfer function of the HLG method.
An OOTF processing means for converting the third linear signal into a first linear signal by the HLG optical transfer function.
A current frame luminance calculation means for calculating the luminance average of the first linear signal as the luminance level of the current frame to be displayed for each frame of the first linear signal.
A gain calculation means for calculating a gain according to a level difference between the brightness level of the current frame and the brightness level of the past frame stored in the past frame brightness storage means.
A past frame luminance calculation means that adjusts the luminance level of the current frame using the gain and stores it in the past frame luminance storage means as the luminance level of the past frame.
A gain adjusting means for adjusting the gain of the first linear signal using the gain and converting it into a fourth linear signal.
The OETF processing means for converting the fourth linear signal into the HLG system video signal by the optical transfer function is provided .
The gain calculation means is
The brightness level of the current frame is ALL _currant , the brightness level of the past frame is ALL _past , the predetermined threshold value is ALL _th , the number of frames for restoring the gain is t, and the timing at which the level difference exceeds the threshold value. When the counter of the frame initialized in is Δt and the system gamma is γ, the gain is set to

A video luminance conversion device characterized by being calculated by .

The past frame luminance calculation means stores the past frame luminance storage means in the past frame luminance storage means up to a predetermined maximum number of frames, which stores the luminance level of the latest past frame.
Further, an addition averaging means for adding and averaging the brightness levels of a plurality of past frames stored in the past frame luminance storage means is further provided.
The image brightness conversion device according to claim 1 or 2 , wherein the gain calculating means calculates the gain by using the brightness level added and averaged by the addition averaging means as ALL _past .

A video luminance conversion program for causing a computer to function as the video luminance conversion device according to any one of claims 1 to 3 .