JP6742417B2 - Digital image processing method, associated device, terminal device and computer program - Google Patents
Digital image processing method, associated device, terminal device and computer program Download PDFInfo
- Publication number
- JP6742417B2 JP6742417B2 JP2018531353A JP2018531353A JP6742417B2 JP 6742417 B2 JP6742417 B2 JP 6742417B2 JP 2018531353 A JP2018531353 A JP 2018531353A JP 2018531353 A JP2018531353 A JP 2018531353A JP 6742417 B2 JP6742417 B2 JP 6742417B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- value
- component
- luminance
- luminance component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims description 15
- 238000004590 computer program Methods 0.000 title description 8
- 238000000034 method Methods 0.000 claims description 47
- 238000009877 rendering Methods 0.000 claims description 28
- 238000012545 processing Methods 0.000 claims description 25
- 238000012937 correction Methods 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 230000003247 decreasing effect Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 20
- 230000008901 benefit Effects 0.000 description 16
- 239000003086 colorant Substances 0.000 description 7
- 241000931304 Eriachne Species 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 241000605788 Masaia Species 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 238000009738 saturating Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Processing Of Color Television Signals (AREA)
Description
本発明の分野は、第１の値間隔内で色情報が表現されているデジタル画像およびデジタル画像シーケンスを処理して、第１の値間隔よりも長い第２の値間隔上でこれらの画像を表現することのできる表示装置上でこれらの画像をレンダリングする分野である。 The field of the invention is to process digital images and digital image sequences in which color information is represented within a first value interval and to render these images on a second value interval which is longer than the first value interval. It is the field of rendering these images on displayable devices.
本発明は特に、ただし非排他的に、ＨＤＲ（英語の「Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ」の略）フォーマットに適合した表示装置上でのレンダリングを目的とする、標準フォーマットまたはＳＤＲフォーマット（英語の「Ｓｔａｎｄａｒｄ Ｄｙｎａｍｉｃ Ｒａｎｇｅ」の略）にしたがって表現されたデジタル画像色強度のコンバートに応用することができる。 The invention is particularly, but not exclusively, intended for rendering on a display device adapted to the HDR (abbreviation for "High Dynamic Range" in English) standard or SDR format ("Standard Dynamic Range" in English). (Abbreviation of “”).
今日、広い範囲の色強度を有する画像を表示する能力を有する、ＨＤＲと呼ばれるテレビ受像機などのオーディオビジュアルコンテンツのレンダリング装置の新しい世代が出現してきている。これらのスクリーンは、非常に高い光度レベル（英語では「ｈｉｇｈ ｐｅａｋ」）および画像の明暗ゾーン間の増大したコントラストレベルを提供し、これによりユーザーは、現実との間に比類の無い近接性を得ることができる。 Today, a new generation of rendering devices for audiovisual content, such as television sets called HDR, is emerging with the ability to display images with a wide range of color intensities. These screens provide very high light intensity levels (“high peak” in English) and increased contrast levels between the light and dark zones of the image, which gives the user unparalleled proximity to reality. be able to.
現在、この技術は、オーディオビジュアルコンテンツの伝送のための基準であり続けているＳＤＲフォーマットとなおも共存しており、そのためＨＤＲスクリーンの高い能力を利用するためには、受信したＳＤＲコンテンツをＨＤＲフォーマットにコンバートしてから表示する必要がある。 Currently, this technology still co-exists with the SDR format, which continues to be the standard for the transmission of audiovisual content, so in order to take advantage of the high capabilities of the HDR screen, the received SDR content must be in HDR format. Need to be displayed after being converted to.
２００７年のＡＣＭ ＳＩＧＧＲＡＰＨ ２００７ Ｐａｐｅｒｓ、Ｐ３８により公開された「Ｄｏ ＨＤＲ ｄｉｓｐｌａｙｓ ｓｕｐｐｏｒｔ ＬＤＲ Ｃｏｎｔｅｎｔ？ Ａ Ｐｓｙｃｈｏｐｈｙｓｉｃａｌ Ｅｖａｌｕａｔｉｏｎ」という題のＡｋｙｕｚ他の論文から、単純な線形演算子に基づく入力デジタル画像の色強度の拡張方法が公知である。この方法は、
同様に、２００９年にＡＣＭが出版した雑誌「ＡＣＭ Ｔｒａｎｓａｔｉｏｎｓ ｏｎ Ｇｒａｐｈｉｃｓ」、第２８巻、ｐ１６０の中で公開された「Ｅｖａｌｕａｔｉｏｎ ｏｆ Ｒｅｖｅｒｓｅ Ｔｏｎｅ Ｍａｐｐｉｎｇ Ｔｈｒｏｕｇｈ Ｖａｒｙｉｎｇ Ｅｘｐｏｓｕｒｅ Ｃｏｎｄｉｔｉｏｎｓ」という題のＭａｓｉａ他の論文からのデジタル画像の色強度の拡張方法も公知である。この方法は、特に、入力画像の素子の光度情報に対して非線形の包括的強度拡張演算子を適用することからなる。この演算子は、画像キー（英語では「ｉｍａｇｅ ｋｅｙ」）と呼ばれる画像を表わす指標（ｉｎｄｉｃａｔｅｕｒ）のアフィン関数として表現された指数の形をとる。 Similarly, the title of the article in "Evaluation of Reverse Tone Mapping, Throwing, Variety, Expose, Conditions, etc., Digital" published in ACM's magazine "ACM Transactions on Graphics", Volume 28, p160 in 2009. A method of expanding the color intensity of an image is also known. This method consists in particular in applying a non-linear global intensity expansion operator to the luminous intensity information of the elements of the input image. This operator takes the form of an exponent expressed as an affine function of the indicator representing the image, called the image key ("image key" in English).
このキー指標は、当業者にとって周知であり、以下のように表現される。 This key index is well known to those skilled in the art and is expressed as follows.
式中、
輝度の対数は実際、人間の視覚系が知覚する光度または照度レベルの優れた近似値として知られている。したがって、画像ｋのキーは、観察者によって知覚される画像の包括的光度レベルまたは光度（英語では「ｇｌｏｂａｌ ｂｒｉｇｈｔｎｅｓｓ」）の標示を提供する。 The logarithm of luminance is actually known as a good approximation of the luminous intensity or illuminance level perceived by the human visual system. Thus, the key of image k provides an indication of the global intensity level or intensity ("global brightness" in English) of the image as perceived by the viewer.
入力画像の光度強度の包括的拡張演算子は、以下の形態をとる。 The global expansion operator for the intensity intensity of the input image takes the following form.
式中、ａは１０．４４に相当する実数であり、ｂは値が−６．２８２に定められている実数である。 In the formula, a is a real number corresponding to 10.44, and b is a real number whose value is set to −6.282.
論文中で提示されているテスト対象の画像全体について、演算子γの値が画像のキーの値と共に増大し、極値が１．１および２．２６に等しいことが確認される。 For the entire image under test presented in the paper, the value of the operator γ increases with the value of the key of the image, confirming that the extrema are equal to 1.1 and 2.26.
この解決法の利点は、知覚される画像の質をこの解決法によって単純かつリアルタイムで実現可能な形で改善することができるという点にある。特に、この解決法は、充分なコントラストレベルを有する過剰露出された画像についての優れた結果を提供する。 The advantage of this solution is that the perceived image quality can be improved in a simple and real-time achievable way by this solution. In particular, this solution provides excellent results for overexposed images with sufficient contrast levels.
先行技術において説明された方法がもつ欠点は、これらの方法があらゆるタイプの画像に適応されているわけではないという点にある。特に、テスト対象の画像よりもさらに極限のコントラストレベルおよび光度レベルを呈する画像については、これらの方法は、処理される画像に対し入力画像に忠実でなく美的でない人工的外観を与える。 The drawback with the methods described in the prior art is that they are not adapted to all types of images. In particular, for images that exhibit even more extreme contrast and intensity levels than the image under test, these methods give the processed image an artificial appearance that is not faithful to the input image and is not aesthetic.
本発明は、この状況を改善することを目的とする。 The present invention aims to remedy this situation.
本発明は特に、先行技術のこれらの欠点を軽減することを目的とする。 The present invention is particularly aimed at alleviating these drawbacks of the prior art.
より厳密には、本発明の目的は、リアルタイムという制約と両立し実施が簡単であり続けながら、入力画像の本来の照明態様をより尊重しより現実的なレンダリングを保証する解決法を提供することにある。 More precisely, the object of the present invention is to provide a solution which, while remaining compatible with the constraint of real-time and simple to implement, more respects the original lighting aspects of the input image and ensures a more realistic rendering. It is in.
これらの目的、ならびに以下で明らかになる他の目的は、表示装置上でのレンダリングを目的とする少なくとも１つのデジタル画像の処理方法において、前記画像が画素を含み、１つの画素が、クロミナンス成分（ｃｏｍｐｏｓａｎｔｅ ｄｅ ｃｈｒｏｍｉｎａｎｃｅ）とは別個の１つの輝度成分を含む第１の比色空間内で表現された色情報に結び付けられており、前記輝度成分は、第１の既定値間隔内に含まれる値を有し、前記表示装置は、第１の間隔より長い第２の既定値間隔内に含まれる画素の輝度成分の値をレンダリングすることができ、
− 画像の素子の第１の輝度成分の値から、観察者が知覚した画像の包括的光度レベルを表わす情報を決定するステップと、
− 決定された包括的光度レベル情報に応じて拡張指数を計算するステップと、
− 画像の１素子について、第１の輝度成分値に対して計算された拡張指数（ｅｘｐｏｓａｎｔ ｄ’ｅｘｐａｎｓｉｏｎ）を適用することによる中間輝度値の計算、および計算された中間値に対する第２の既定輝度値間隔の長さの乗算を含む、画像の素子の第１の輝度成分を第２の輝度成分に変換するステップと、
を含む方法を用いて達成される。
These objects, as well as others that will become apparent below, are in a method of processing at least one digital image intended for rendering on a display device, wherein the image comprises pixels and one pixel is a chrominance component ( composante de chrominance) and is associated with color information represented in a first colorimetric space that includes one luminance component that is different from the luminance component, and the luminance component has a value included in a first predetermined value interval. And the display device is capable of rendering a value of a luminance component of pixels included in a second predetermined value interval that is longer than the first interval,
Determining from the value of the first luminance component of the image elements the information representative of the global luminous intensity level of the image perceived by the observer;
Calculating the expansion index according to the determined global intensity level information;
The calculation of the intermediate brightness value by applying the exponent d'expansion calculated for the first brightness component value for one element of the image, and the second predetermined brightness for the calculated intermediate value. Converting the first luminance component of an element of the image into a second luminance component, including multiplication of the length of the value interval;
Is achieved using a method that includes
本発明に係る方法は、計算された拡張指数が、決定された包括的光度レベル情報の減少関数であることを特徴とする。 The method according to the invention is characterized in that the calculated expansion index is a decreasing function of the determined global intensity level information.
こうして本発明は、入力画像のフォーマットを範囲がさらに広い表示装置のフォーマットに適応させるために輝度情報値範囲を拡張させる発明力ある新規の解決法を提案する。 The present invention thus proposes a novel and inventive solution for extending the range of luminance information values in order to adapt the format of the input image to the format of a display device with a wider range.
画像の包括的光度レベルと共に値が増大する拡張指数を選択する先行技術とは異なり、本発明は、包括的光度レベルが増大する時に値が減少する拡張指数を提案する。 Unlike the prior art, which selects an expansion index that increases in value with the global brightness level of the image, the present invention proposes an expansion index that decreases in value as the global brightness level increases.
発明者らは、広いテストシーケンス全体の光度およびコントラストレベルについて考えられる異なる組合せを表わす５つの画像態様クラスを識別した。発明者らは、次に実験を実施し、その間にこれらの態様クラスの各々の画像シーケンスに対し異なる補正指数値を適用し、次に、観察者群に対し知覚したその質を評価するように依頼した。 The inventors have identified five image aspect classes that represent different possible combinations of luminosity and contrast levels across a wide test sequence. The inventors then performed an experiment, during which they applied different correction index values to the image sequences of each of these aspect classes, and then evaluated their perceived quality for a group of observers. I asked.
得られた結果から、発明者らは、一方では、特定の補正指数値を各々のクラスに結び付けることができるということを確認した。他方で、発明者らは、１つのクラスの画像の包括的光度レベルとこのクラスの画像に適用すべき補正指数値の間に、知覚の観点から見て適応された出力画像を得ることを可能にする単純な数学的関係を確立した。 From the results obtained, the inventors have confirmed, on the one hand, that a specific correction index value can be associated with each class. On the other hand, we are able to obtain an output image that is adapted from a perceptual point of view, between the global intensity level of one class of images and the correction index value to be applied to this class of images. Established a simple mathematical relationship to.
本発明によると、計算された指数は、画像の包括的光度レベルを表わす情報の逆数の対数に正比例する。 According to the invention, the calculated index is directly proportional to the logarithm of the reciprocal of the information representing the global luminous intensity level of the image.
この数学的関係の利点は、それが、リアルタイムでの処理という要求と矛盾しない制限された計算リソースを用いて単純に使用できるものであり続けながら、画像の照明態様の忠実なレンダリングを可能にするという点にある。 The advantage of this mathematical relationship is that it allows a faithful rendering of the lighting aspects of the image, while remaining simple to use with limited computational resources consistent with the requirements of real-time processing. There is a point.
本発明の有利な１つの特徴によると、包括的光度レベルを決定するステップは、画像の輝度成分の中央値を獲得するステップ、獲得した中央値を正規化するステップを含み、画像の包括的光度レベルを表わす情報は正規化された獲得中央値に正比例する。 According to an advantageous feature of the invention, the step of determining the global luminous intensity level comprises the steps of obtaining a median value of the luminance components of the image, normalizing the obtained median value, The information representing the level is directly proportional to the normalized median acquisition.
１つの画像の輝度値の中央値を利用することの利点は、この値が、画像シーケンスの１画像と別の画像との間で安定したものにとどまる値をとるということにある。こうして、シーケンスのレンダリングの際のあらゆるフラッタリングまたは明滅（英語では「ｆｌｉｃｋｅｒｉｎｇ」）効果が回避される。 The advantage of using the median of the brightness values of one image lies in that this value remains stable between one image and another in the image sequence. This avoids any fluttering or flickering ("flickering" in English) effects when rendering the sequence.
本発明の別の態様によると、包括的光度レベルを表わす情報を決定するステップはさらに、拡張指数を計算するステップに先立ち、第１の比色空間の第１の輝度成分を第２の比色空間の明度成分にコンバートする予備ステップを含み、中央値はこの明度成分から得られる。 According to another aspect of the present invention, the step of determining the information representative of the global luminous intensity level further comprises the step of calculating the expansion index and the step of calculating the first luminance component of the first colorimetric space with the second colorimetric component. It includes a preliminary step of converting to the lightness component of the space, the median being obtained from this lightness component.
例えば、第１の輝度成分は、公知の比色空間ＣＩＥＬ*ａ*ｂ*内でコンバートされて、知覚的線形である明度成分を生成する。第１の利点は、明度値が、考えられる値間隔上により良く分布させられるという点にある。第２の利点は、包括的光度レベル情報を観察者が実際に知覚したものにより近いものにするという点にある。 For example, the first luminance component is converted in the known colorimetric space CIEL * a * b * to produce a lightness component that is perceptually linear. The first advantage is that the brightness values are better distributed over the possible value intervals. A second advantage is that it makes the global intensity level information closer to what the observer actually perceives.
本発明のさらに別の態様によると、該方法は、拡張指数の計算ステップに先立って０〜１の間の中央値の正規化ステップを含み、かつ正規化された中央値の補正ステップ（英語では「ｃｌｉｐｐｉｎｇ」）を含み、ここで０と、１未満の非ゼロの正の実数であるａとの間に含まれる値を値ａに代入し、ａより大きく１より小さい実数であるｂと、１との間に含まれる値を値ｂに代入する。 According to yet another aspect of the invention, the method comprises a median normalization step between 0 and 1 prior to the expansion index calculation step, and a normalized median correction step (in English “Clipping”), where a value included between 0 and a non-zero positive real number less than 1 is substituted for the value a, and a real number greater than a and less than 1 b The value included between 1 and 1 is substituted for the value b.
中央値の最も極限の値を含むことの利点は、拡張指数の可能な値を限定し、それにより輝度値の飽和（ｓａｔｕｒａｔｉｏｎ）を生成し入力画像の当初の照明態様が歪められることを回避できるということにある。 The advantage of including the most extreme value of the median is that it limits the possible values of the dilation index, thereby creating saturation of the brightness values and avoiding distorting the original lighting aspect of the input image. That is.
本発明の別の態様によると、変換ステップは以下の等式を使用する。 According to another aspect of the invention, the transforming step uses the following equation:
式中Ｙ1は第１の輝度成分を表わし、Ｙ2は第２の輝度成分を、ｌｏｇ10は１０進対数、γは第１の輝度成分Ｙ１に適用される拡張指数、Ｌmed,n *は正規化されクリッピングされた輝度中央値を表わしている。
In the formula, Y 1 represents the first luminance component, Y 2 represents the second luminance component, log 10 is a decimal logarithm, γ is an expansion index applied to the first
第２の輝度成分を第１の輝度成分に関係付けるこの数式の利点は、それが、入力画像の包括的光度レベルの如何に関わらず、入力画像の当初の照明態様を尊重する現実的なレンダリングを保証しながら、使用が簡単であるという点にある。 The advantage of this equation relating the second luminance component to the first luminance component is that it is a realistic rendering that respects the original lighting aspect of the input image, regardless of the global intensity level of the input image. It is easy to use while guaranteeing.
本発明のさらに別の態様によると、該方法は、以下の式にしたがって、第２の輝度成分と第１の輝度成分の間の比率に正比例する拡張率を第１のクロミナンス成分に適用することにより、画像の第１のクロミナンス成分を第２の成分に変換するステップを含む。 According to yet another aspect of the invention, the method applies to the first chrominance component an expansion factor that is directly proportional to the ratio between the second luminance component and the first luminance component according to the equation: According to the step of converting the first chrominance component of the image into the second component.
この実施形態の利点は、その単純さにある。 The advantage of this embodiment lies in its simplicity.
本発明の別の態様によると、該方法は、以下の式にしたがって、厳密に１超の実数である飽和度（ｆａｃｔｅｕｒ ｄｅ ｓａｔｕｒａｔｉｏｎ）、ならびに第１および第２の輝度成分に依存する補正関数を第１のクロミナンス成分に適用することによって色を補正するサブステップを含む、画像の第１のクロミナンス成分を第２のクロミナンス成分に変換するステップを含む。 According to another aspect of the invention, the method provides a correction function dependent on the first and second luminance components, as well as a factor de saturation that is a real number strictly above 1, according to the following equation: Converting the first chrominance component of the image to a second chrominance component, including the sub-step of correcting the color by applying to the first chrominance component.
この実施形態の利点は、クロミナンス成分を飽和させることにより、より強い色のレンダリングを可能にすることにある。 The advantage of this embodiment is that it saturates the chrominance component, allowing for stronger color rendering.
有利には、第１のクロミナンス成分の変換ステップは、第１の比色空間を、第１の比色空間よりも大きい第２の比色空間へとコンバートするサブステップを含む。 Advantageously, the step of transforming the first chrominance component comprises a sub-step of converting the first colorimetric space into a second colorimetric space which is larger than the first colorimetric space.
１つの利点は、色強度の丸め（ｔｒｏｎｃａｔｕｒｅ）、したがって出力画像上の欠陥の出現が、回避されるという点にある。 One advantage is that the truncation of color intensity and thus the appearance of defects on the output image is avoided.
異なる実施形態において、以上で説明してきた方法は、表示装置上でのレンダリングを目的とする少なくとも１つのデジタル画像の処理装置において、前記画像が画素を含み、１つの画素が、クロミナンス成分とは別個の１つの輝度成分を含む第１の比色空間内で表現された色情報に結び付けられており、前記輝度成分は、第１の既定値間隔内に含まれる値を有し、前記表示装置は、第１の間隔より長い第２の既定値間隔内に含まれる画素の輝度成分の値をレンダリングすることができ、
− 画像の素子の第１の輝度成分の値から、観察者が知覚した画像の包括的光度レベルを表わす情報を決定し、
− 決定された包括的光度レベル情報に応じて拡張指数を計算し、
− 画像の１素子について、第１の輝度成分値に対して計算された拡張指数を適用することによる中間輝度値の計算、および計算された中間値に対する第２の輝度既定値間隔の長さの乗算を含みつつ、画像の素子の第１の輝度成分を第２の輝度成分に変換する、
ことができ、かつそのために構成された再プログラミング可能な計算機または専用計算機を含む装置によって有利に実施される。
In a different embodiment, the method described above provides a device for processing at least one digital image intended for rendering on a display device, said image comprising pixels, one pixel being distinct from the chrominance component. Associated with color information represented in a first colorimetric space including one luminance component of the luminance component, the luminance component having a value included in a first predetermined value interval, , It is possible to render the value of the luminance component of the pixels contained within a second predefined interval that is longer than the first interval,
From the value of the first luminance component of the elements of the image determine information representative of the global luminous intensity level of the image perceived by the observer,
-Calculating an expansion index according to the determined global intensity level information,
For one element of the image, the calculation of the intermediate brightness value by applying the expansion index calculated for the first brightness component value, and of the length of the second brightness default value interval for the calculated intermediate value. Converting the first luminance component of an image element into a second luminance component, including multiplication
And is advantageously implemented by a device comprising a reprogrammable or special purpose computer configured therefor.
このような装置は、計算された拡張指数が、決定された包括的光度レベル情報の減少関数であることを特徴とする。 Such a device is characterized in that the calculated expansion index is a decreasing function of the determined global intensity level information.
相関的に、本発明はまた、通信ネットワークを介してデジタル画像シーケンスを受信することができそのために構成された受信機と、画像シーケンスをレンダリングできそのために構成された表示装置に、この画像シーケンスを伝送することができそのために構成された送信機を含む端末機器において、本発明に係る少なくとも１つのデジタル画像の処理装置を含むことを特徴とする端末機器にも関する。 Correlatively, the present invention also provides the image sequence to a receiver capable of receiving the digital image sequence via a communication network and configured for that purpose, and a display device capable of rendering the image sequence and configured accordingly. It also relates to a terminal device comprising a transmitter which can be transmitted and is configured therefor, characterized in that it comprises at least one digital image processing device according to the invention.
この端末機器はパーソナルコンピュータ、ＴＶデコーダボックス、デジタルテレビ受像機などであり得る。 The terminal device may be a personal computer, a TV decoder box, a digital television receiver or the like.
本発明はさらに、プログラムがプロセッサによって実行された場合に上述の方法のステップを実施するための命令を含むコンピュータプログラムにも関する。 The invention further relates to a computer program comprising instructions for carrying out the steps of the above method when the program is executed by a processor.
本発明はまた、プログラムがプロセッサによって実行された場合に、上述のデジタル画像の処理方法のステップを実施するための命令を含むコンピュータプログラムにも関する。 The invention also relates to a computer program comprising instructions for carrying out the steps of the method for processing a digital image described above, when the program is executed by a processor.
これらのプログラムは、任意のプログラミング言語を使用することができる。これらのプログラムは、通信ネットワークからダウンロードされかつ／またはコンピュータ可読媒体上に記録され得る。 These programs can use any programming language. These programs may be downloaded from communication networks and/or recorded on computer readable media.
最後に本発明は、上述の処理方法を実施するコンピュータプログラムをそれぞれ記憶し、場合によっては取外し可能な、本発明に係るデジタル画像の処理装置に内蔵されたまたは内蔵されていない、プロセッサ可読記憶媒体または記録媒体に関する。 Finally, the invention relates to a processor-readable storage medium, each of which stores a computer program for carrying out the above-mentioned processing method, which may be removable and may or may not be embedded in a digital image processing device according to the invention. Or regarding a recording medium.
本発明の他の利点および特徴は、非限定的な単なる例示的例として提供される、本発明の特定の一実施形態についての以下の説明、および添付図面を読了することによって、さらに明確になるものである。 Other advantages and features of the invention will emerge more clearly on reading the following description of a specific embodiment of the invention, which is provided merely as a non-limiting example and the accompanying drawings. It is a thing.
繰返しになるが、本発明の目的は、より広い色強度範囲を利用できる表示装置上でのレンダリングを目的とした、標準フォーマットに適合した入力画像の色強度範囲の拡大方法を提供することにある。本発明の一般的原理は、観察者が知覚する画像の包括的光度レベルを表わす情報を決定すること、および画像の包括的光度レベルの減少関数として表現される拡張指数を画像の強度に対して適用することに基づいている。 Again, it is an object of the present invention to provide a method for expanding the color intensity range of an input image that conforms to a standard format, for rendering on a display device that can utilize a wider color intensity range. .. The general principles of the present invention are to determine the information representative of the global luminous intensity level of an image as perceived by an observer, and for the intensity of the image an expansion index expressed as a decreasing function of the global luminous intensity level of the image It is based on applying.
図１に関連して、ｎが０〜Ｎの整数であり、Ｎが非ゼロの整数であるものとしてＳＤＲフォーマットの入力画像シーケンス（ＩＩｎ）を処理してそれをＨＤＲフォーマットで表示する処理ラインを考慮する。 With reference to FIG. 1, a processing line for processing an input image sequence (IIn) in SDR format and displaying it in HDR format, where n is an integer from 0 to N and N is a non-zero integer, Consider.
入力シーケンスの画像は２次元（２Ｄ）である。これらの画像の素子はピクセルである。当然のことながら、本発明は、この実施例に限定されず、素子がボクセルである３次元（３Ｄ）またはマルチビュー画像にも適用される。 The image of the input sequence is two-dimensional (2D). The elements of these images are pixels. Of course, the invention is not limited to this embodiment, but also applies to three-dimensional (3D) or multi-view images whose elements are voxels.
このシーケンスの画像は、例えば、ＳＤ（英語の「Ｓｔａｎｄａｒｄ Ｄｅｆｉｎｉｔｉｏｎ」の略）、ＨＤ（英語の「Ｈｉｇｈ ｄｅｆｉｎｉｔｉｏｎ」の略）、ＵＨＤ（英語の「Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ」の略）、ＨＤ画像の解像度の４倍に対応する４Ｋ、およびＨＤ画像の解像度の８倍に対応する８Ｋ画像などの異なる空間次元をとることができる。入力シーケンスは、２４、２５、３０、５０、６０、１２０などの値のうちのさまざまな周波数（英語では「ｆｒａｍｅ ｒａｔｅ」）値を有することができる。その画素の色強度は、例えば８、１０、１２さらには１６ビットに等しいビット深度（英語では「ｂｉｔ ｄｅｐｔｈ」）にわたりコーディングされ得る。 The image of this sequence is, for example, SD (abbreviation of “Standard Definition” in English), HD (abbreviation of “High definition” in English), UHD (abbreviation of “Ultra High Definition” in English), and resolution of HD image. Different spatial dimensions can be taken, such as 4K corresponding to 4 times and 8K images corresponding to 8 times the resolution of HD images. The input sequence can have various frequency (“frame rate” in English) values out of 24, 25, 30, 50, 60, 120, etc. values. The color intensity of the pixel may be coded over a bit depth (“bit depth” in English) equal to, for example, 8, 10, 12 or even 16 bits.
この画像シーケンスは、例えばビデオカメラなどの取得モジュールの出力端で直接生の（英語では「ｒａｗ」）の形で、または通信ネットワークを介してそれを受信したデコーダの出力端で解凍された形で、予め得ることができると仮定する。 This image sequence is in the form of raw (“raw” in English) directly at the output of the acquisition module, eg a video camera, or in decompressed form at the output of the decoder which received it via the communication network. , Assuming that it can be obtained in advance.
例えば、入力画像シーケンス（ＩＩｎ）は、オーディオビジュアルプログラムの制作および国際的交換についてのＴＶＨＤ規格のパラメータ値を定義するＢＴ．７０９規格の中で規定されているように、Ｒ’Ｇ’Ｂ’（英語の「Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅ」の略）フォーマットである。色情報は、各々０〜２５５の値をとる３つの成分Ｒ’、Ｇ’、Ｂ’にしたがって表現される。 For example, the input image sequence (IIn) is a BT.1 standard that defines TVHD standard parameter values for audiovisual program production and international exchange. The R'G'B' (abbreviation of "Red Green Blue" in English) format as defined in the G.709 standard. The color information is expressed according to three components R′, G′, B′ each having a value of 0-255.
当然のことながら、本発明は、この比色空間に限定されず、ＢＴ．２０２０、ＢＴ．６０１、ＤＣＩ−Ｐ３などの他のフォーマットに適合する入力画像を処理することも同様に可能である。 Of course, the present invention is not limited to this colorimetric space, and the BT. 2020, BT. It is likewise possible to process input images conforming to other formats such as 601, DCI-P3, etc.
これらの色情報Ｒ’Ｇ’Ｂ’は、画素の色の情報処理によるまたは電気的なコーディングに対応する。光電気コンバートオペレーションは、画像の色の光学的強度を再度確立するためにＴ１で実施される。このように得られたＲＧＢ光学的強度は０〜１の値をとる。 The color information R'G'B' corresponds to information processing of pixels' colors or electrical coding. The opto-electrical conversion operation is performed at T1 to reestablish the optical intensity of the color of the image. The RGB optical intensities thus obtained have values of 0 to 1.
これらのＲＧＢ光学的強度は、Ｔ２において、第１の間隔［０：１］から第２の値間隔［０：Ｌmax］へと色強度値範囲を拡大する機能をもつＩＴＭＯ（英語では「Ｉｎｖｅｒｓｅ Ｔｏｎｅ Ｍａｐｐｉｎｇ Ｏｐｅｒａｔｏｒ）モジュールに対して提示され、ここでＬmaxは第２の間隔の長さを表わし、Ｌmaxは１を超える整数である。 These RGB optical intensities are ITMO (in English, “Inverse” in English) having a function of expanding the color intensity value range from the first interval [0:1] to the second value interval [0:L max ] at T2. Tone Mapping Operator module, where L max represents the length of the second interval and L max is an integer greater than 1.
このＩＴＭＯモジュールは、図２に関連して以下で提示される本発明に係る方法を実施する。このモジュールの出力端において、生成される画像シーケンスは、０〜Ｌmaxの強度のＲＧＢ光学フォーマットである。 This ITMO module implements the method according to the invention presented below in connection with FIG. At the output of this module, the image sequence produced is in RGB optical format with an intensity of 0 to L max .
シーケンスの各画像はＴ３において、テレビ受像機などの表示装置のために活用できる情報処理コーディングに対応する色強度を有する画像シーケンスを出力端で得るような形で、逆の光電気コンバートオペレーションに付される。例えば、実施されたコンバートは、色強度を、クロミナンス成分Ｃb、Ｃrとは別個の輝度成分Ｙ’に分解するＹ’ＣbＣrフォーマットの色強度を提供する。このＹ’ＣbＣrフォーマットは、伝送の諸問題に十分適応させられた映像で比色空間を表わす１つの方法である。成分は、１０ビットにわたりコーディングされる。変形形態として、補足的コンバートがＴ４において、少なくとも１０ビットにわたりコーディングされたＲ’Ｇ’Ｂ’フォーマットの出力画像シーケンスを提供する。 Each image of the sequence is subjected to reverse opto-electrical conversion operation at T3 in such a way that at the output end an image sequence is obtained with a color intensity corresponding to the information processing coding which can be exploited for display devices such as television sets. To be done. For example, the implemented conversion provides a color intensity in the Y'C b C r format which decomposes the color intensity into a luminance component Y'which is separate from the chrominance components C b , C r . The Y'C b C r format is one way of representing a colorimetric space in a video that is well adapted to transmission problems. The components are coded over 10 bits. As a variant, the complementary conversion at T4 provides an output image sequence in R'G'B' format coded over at least 10 bits.
得られた画像シーケンスはＴ５において、例えばＳＴ２０８４またはＳＴＤ−Ｂ６７規格に適合したＨＤＲデジタルテレビ受信機などの表示装置に対して伝送される。 The obtained image sequence is transmitted at T5 to a display device such as an HDR digital television receiver conforming to the ST2084 or STD-B67 standard.
図２に関連して、ここで本発明の一実施形態に係るデジタル画像の処理方法のステップについて説明する。 With reference to FIG. 2, steps of a method for processing a digital image according to an embodiment of the present invention will now be described.
入力画像の光学的色強度は、ＲＧＢフォーマットで表現されるものと仮定する。 The optical color intensity of the input image is assumed to be represented in RGB format.
第１のステップＥ０の間に、１つの輝度成分Ｙと複数のクロミナンス成分ＸおよびＺを含む比色空間内で、入力画像の色強度をコンバートする。この空間内では、画像の光度を表わす情報がその各々の点において、その色を定義するいわゆるクロミナンス情報から分離されていることが分かる。 During the first step E0, the color intensity of the input image is converted in a colorimetric space containing one luminance component Y and a plurality of chrominance components X and Z. It can be seen that in this space, the information representing the luminous intensity of the image is separated at each point from the so-called chrominance information which defines its color.
Ｅ１では、観察者の視覚系が知覚する入力画像の包括的光度レベルを表わす情報を決定する。 At E1, information representative of the global luminous intensity level of the input image as perceived by the viewer's visual system is determined.
本発明の第１の実施形態によると、決定される情報はＭａｓｉａにより定義された画像のキーｋである。 According to the first embodiment of the invention, the information determined is the key k of the image defined by Masia.
図３に関連して説明される本発明の第２の実施形態によると、以下で定義されている別の形で包括的光度レベルの情報が決定される。 According to a second embodiment of the invention described in connection with FIG. 3, the global luminous intensity level information is determined in another way as defined below.
Ｅ１１では、ＣＩＥＬ*ａ*ｂ*と呼ばれる比色空間の、輝度成分Ｙを、明度成分と呼ばれる別の輝度成分Ｌ*へとコンバートする。明度成分Ｌ*は、０（黒）と１００（白）の間の値をとることができる。これは、国際照明委員会（ＣＩＥ）によって定義される表面色についての比色空間と同時に、光の色についての比色空間ＣＩＥ Ｌ*ｕ*ｖ*でもある。ＣＩＥ ＸＹＺ系の評価に基づいて、この比色空間は、人間の視力によって知覚される複数の色の間の偏差をより忠実に表現するように構想されている。 At E11, the luminance component Y in the colorimetric space called CIEL * a * b * is converted into another luminance component L * called the lightness component. The lightness component L * can take values between 0 (black) and 100 (white). It is a colorimetric space for surface colors as defined by the International Commission on Illumination (CIE) as well as a colorimetric space for light colors CIE L * u * v * . Based on the evaluation of the CIE XYZ system, this colorimetric space is designed to more faithfully represent the deviations between the colors perceived by human vision.
このモデルにおいては、３つの大きさ、すなわちＸＹＺ評価の輝度（Ｙ）から導出された明度Ｌ*、および画像シーケンスのクロミナンスのような同じ明度の灰色の表面の色との関係における色の偏差を表現する２つのパラメータａ*およびｂ*が色を特徴付ける。 In this model, the color deviation in relation to three magnitudes, the lightness L * derived from the luminance (Y) of the XYZ estimate, and the color of a gray surface of the same lightness, such as the chrominance of the image sequence, is calculated. Two parameters to represent, a * and b * , characterize the color.
ステップＥ１２中に、入力画像ＩＩｎの素子全体にわたる明度成分Ｌ*の中央値Ｌ* medを計算する。 During step E12, the median L * med of the lightness component L * over the elements of the input image IIn is calculated.
画像ＩＩｎにはＭ個の画素があり、ここでＭは非ゼロの整数であることを仮定する。 Assume that image IIn has M pixels, where M is a non-zero integer.
例えば、漸増順で画像の素子の明度成分値を選別することにより中央値が計算され、この中央値Ｌ* medは位置（Ｍ＋１）／２に対応する。 For example, the median is calculated by screening the lightness component values of the elements of the image in increasing order, the median L * med corresponding to the position (M+1)/2.
ステップＥ１３中に、得られた中央値を正規化して、その値が０と１の間に含まれるようにする。 During step E13, the obtained median value is normalized so that it lies between 0 and 1.
このとき、
Ｅ１４では、間隔［０、１］の極値を除外することにより、正規化された明度の中央値について考えられる値をクリッピングする（英語では「ｃｌｉｐｐｉｎｇ」）。考えられる値の新たな間隔は［０．０５、０；９５］である。 At E14, the possible values for the median of the normalized lightness are clipped by excluding the extremes of the interval [0,1] (“clipping” in English). The new interval of possible values is [0.05,0;95].
したがって、明度成分の正規化され「クリッピング」された中央値に等しい入力画像の包括的光度レベルを表わす情報が得られる。 Thus, information is obtained that represents the global luminosity level of the input image that is equal to the normalized "clipped" median value of the lightness component.
図２に関連して、本発明に係る処理方法の後続するステップＥ２では、入力画像の光度レベルを表わす情報ＩＬＧの関数である拡張率γが計算される。この拡張率は、入力画像ＩＩｎの輝度成分Ｙ1に適用するためのものである。本発明によると、拡張率γは、情報ＩＬＧの減少関数として計算される。 With reference to FIG. 2, in a subsequent step E2 of the processing method according to the invention, an expansion factor γ is calculated which is a function of the information ILG representing the luminous intensity level of the input image. This expansion rate is applied to the luminance component Y 1 of the input image IIn. According to the invention, the expansion factor γ is calculated as a decreasing function of the information ILG.
図４Ａに関連して提示された本発明の第１の実施形態によると、拡張率γは、情報ＩＬＧの多項式減少関数として計算される。例えば、拡張率γは以下のように定義され、ここでα＝１．５、β＝２．６、およびρ＝２．２である。 According to the first embodiment of the invention presented in connection with FIG. 4A, the expansion factor γ is calculated as a polynomial decreasing function of the information ILG. For example, the expansion factor γ is defined as follows, where α=1.5, β=2.6, and ρ=2.2.
図４Ｂに関連して提示されている本発明の第２の実施形態によると、拡張率γは、入力画像の光度情報ＩＬＧの逆数の対数関数として計算される。 According to the second embodiment of the invention presented in connection with FIG. 4B, the expansion factor γ is calculated as the logarithmic function of the reciprocal of the light intensity information ILG of the input image.
これら２つの実施例において、情報ＩＬＧは、
この関数の利点は、それが人間の視覚系の知覚モデルに充分対応しているという点にある。さらにこの関数は、計算が簡単である。 The advantage of this function is that it corresponds well to the perceptual model of the human visual system. Moreover, this function is easy to calculate.
当然のことながら、本発明は、これら２つの実施例の使用に限定されない。他の曲線モデルも利用可能である。 Of course, the invention is not limited to the use of these two embodiments. Other curve models are also available.
ステップＥ３の間に、拡張率γ：
例えばＳＴ２０８４などのＨＤＲスクリーン規格では、スクリーンの光度最大レベルが１０００ｎｉｔｓまたはｃｄ／ｍ2である場合、Ｌmaxは１０００に相当する。 For example, in HDR screen standards such as ST2084, L max corresponds to 1000 when the maximum luminous intensity level of the screen is 1000 nits or cd/m 2 .
Ｅ４では、画像の第１のクロミナンス成分Ｃ１を第２の成分Ｃ２に変換する。 At E4, the first chrominance component C1 of the image is converted into a second component C2.
第１の成分Ｃ１が、ＲＧＢ比色空間の３つの光強度値Ｒ１、Ｇ１、Ｂ１の形で表現される場合、３つの第２の成分Ｒ２、Ｇ２、Ｂ２が得られる。 If the first component C1 is represented in the form of three light intensity values R1, G1, B1 in the RGB colorimetric space, then three second components R2, G2, B2 are obtained.
複数の実施形態が企図される。 Multiple embodiments are contemplated.
図５では、入力画像がＳＤＲ標準フォーマットであり、表示装置が画像（ＩＯn）をＨＤＲフォーマットにレンダリングするように構成されている場合の、本発明に係る入力画像（ＩＩｎ）の処理方法のステップを表わした。 In FIG. 5, the steps of the method for processing an input image (IIn) according to the present invention when the input image is in SDR standard format and the display device is configured to render the image (IO n ) in HDR format. Was represented.
図５により例示されている第１の実施形態によると、以下のようにして、例えば比率Ｙ2／Ｙ1に等しい画像の輝度に適用される拡張に正比例する拡張率を、第１のクロミナンス成分Ｃ１に乗じる。 According to the first embodiment illustrated by FIG. 5, the expansion factor directly proportional to the expansion applied to the luminance of the image, for example equal to the ratio Y 2 /Y 1 , is set to the first chrominance component as follows. Get on C1.
ＲＧＢ比色空間内で、以下のものが得られる。 Within the RGB colorimetric space, we have:
この実施形態の利点はその簡単さにある。 The advantage of this embodiment is its simplicity.
こうして、表示装置により提供される振幅に適応したより広い範囲の値をとる色強度を有する出力画像（ＩＯｎ）が得られる。 In this way, an output image (IOn) having a color intensity that has a wider range of values adapted to the amplitude provided by the display device is obtained.
色合成においては、テレビ受像機のスクリーンまたはコンピュータのモニターなどの一定のタイプのハードウェアが再現できる色集合の部分を、ガマットまたは色域と呼ぶ。ガマットは、色を合成するために用いられる原色に左右される。ガマットは、これらの原色を表わす点を結び付ける多角形により、色度図上の一部域として表現されることが多い。図６Ａは、ＴＶＨＤ（高解像度テレビ受像機「Ｔｅｌｅｖｉｓｅｕｒ Ｈａｕｔｅ Ｄｅｆｉｎｉｔｉｏｎ」の略）に適応されたＢＴ７０９勧告にしたがったガマット内の入力画像がとる色の強度のクラウドを提示している。図６Ｂは、図５に関連して以上で説明されてきた本発明の第１の実施形態によって得られる出力画像のものを提示している。 In color composition, a portion of a color set that can be reproduced by a certain type of hardware such as a screen of a television receiver or a monitor of a computer is called a gamut or a color gamut. The gamut depends on the primary colors used to combine the colors. The gamut is often represented as a partial area on the chromaticity diagram by a polygon connecting the points representing these primary colors. FIG. 6A presents a cloud of color intensities taken by the input image in the gamut according to the BT709 recommendation adapted to TVHD (abbreviation of high-definition television receiver "Television Hute Definition"). FIG. 6B presents an output image obtained according to the first embodiment of the invention described above in connection with FIG.
図５Ａによって例示されている第２の実施形態によると、ステップＥ４は、先の実施形態の場合と同様に、もはや出力輝度と入力輝度の間の比率Ｙ２／Ｙ１に直接正比例しない補正関数を第１のクロミナンス成分に適用することからなる、色成分を補正するサブステップＥ４１を含む。この第２の実施形態によると、第１の輝度成分に適用される補正関数は、以下の式にしたがって、第１および第２の輝度成分、ならびに厳密に１より大きい実数である飽和度ｓによって左右される。 According to the second embodiment illustrated by FIG. 5A, step E4 comprises a correction function, which is no longer directly proportional to the ratio Y2/Y1 between the output luminance and the input luminance, as in the previous embodiment. It includes a sub-step E41 of correcting the color component, which consists of applying it to the chrominance component of 1. According to this second embodiment, the correction function applied to the first luminance component is dependent on the first and second luminance components and the saturation s which is a real number strictly greater than 1 according to the following equation: It depends.
ＲＧＢ比色空間において、以下のものが得られる。 In the RGB colorimetric space, the following is obtained.
例えば、飽和度ｓは１．２５に等しく選択される。 For example, the saturation s is chosen equal to 1.25.
この補正の利点は、色成分の強度を飽和させることにより、この補正がより強い色のレンダリングを得ることを可能にする、という点にある。 The advantage of this correction is that by saturating the intensity of the color components, this correction makes it possible to obtain a stronger color rendering.
有利にも、ステップＥ４はさらに、第１のものよりも大きい第１の比色空間の第２のクロミナンス成分のコンバートサブステップＥ４２を含む。 Advantageously, step E4 further comprises a converting sub-step E42 of the second chrominance component of the first colorimetric space which is larger than the first one.
ガマットＢへのガマットＡのコンバートは、以下のように、ハードウェア変換によって行なうことができる。 The conversion of gamut A to gamut B can be performed by hardware conversion as follows.
例えば、ＢＴ７０９勧告にしたがった第１の比色空間に属する得られた強度Ｒ２、Ｇ２、Ｂ２は、ＴＶＵＨＤ（超高解像度テレビ受像機「ｔｅｌｅｖｉｓｅｕｒ Ｕｌｔｒａ Ｈａｕｔｅ Ｄｅｆｉｎｉｔｉｏｎ」の略）の新型スクリーン用に最近創出されたＢＴ２０２０勧告にしたがった新しい空間などの第２の比色空間内の強度Ｒ２’、Ｇ２’、Ｂ２’へとコンバートされる。 For example, the obtained intensities R2, G2, B2 belonging to the first colorimetric space according to the BT709 recommendation were recently created for a new screen of TVUHD (abbreviation of "ultra-high resolution television receiver "televisure Ultra Haute Definition"). Converted to intensities R2', G2', B2' in a second colorimetric space, such as a new space according to the published BT2020 recommendations.
この場合、ＢＴ．７０９勧告にしたがったガマットの、ＢＴ．２０２０勧告にしたがったガマットへのコンバートは、ＢＴ．２０８７勧告内に規定されているように、以下の行列の適用によって行なわれる。 In this case, BT. 709. The conversion to Gamat according to the 2020 recommendation is based on BT. This is done by applying the following matrix, as specified in the 2087 Recommendation.
このコンバートの利点は、ガマットの多角形の寸法が増大することから、これにより、変換された色の強度が第２の比色空間内のその境界から遠いところに位置し、そのため、出力画像上の色強度の切断（英語では「ｃｌｉｐｐｉｎｇ」）効果を回避できる、という点にある。 The advantage of this conversion is that due to the increased size of the gamut polygon, it causes the intensity of the transformed color to be located far from its boundary in the second colorimetric space and therefore on the output image. It is possible to avoid the effect of cutting off the color intensity (“clipping” in English).
図６Ｃは、第２の実施形態に係る色の補正ステップＥ４１の終了時に得られた出力画像の色度図を提示している。補正のため、色強度範囲は図６Ｂに比べて、図６Ｃにおいてより拡大されており、このことは出力画像のレンダリングの際に、より強いレンダリングという形で現われる、ということが指摘される。 FIG. 6C presents a chromaticity diagram of the output image obtained at the end of the color correction step E41 according to the second embodiment. It is pointed out that due to the correction, the color intensity range has been expanded in FIG. 6C compared to FIG. 6B, which appears in the rendering of the output image in a stronger rendering.
図６Ｄは、比色空間の変更ステップＥ４２の終了時に得られた出力画像の色度図を提示している。比色空間の変更により、ガマットの三角形の境界から強度値クラウドを遠ざけることができ、その結果、三角形の縁における色強度のあらゆる丸め、したがって出力画像上のレンダリングの欠陥の出現が回避されるということが確認できる。 FIG. 6D presents the chromaticity diagram of the output image obtained at the end of the colorimetric space modification step E42. A change in the colorimetric space allows the intensity value cloud to move away from the gamut's triangular boundaries, thus avoiding any rounding of the color intensity at the edges of the triangle and thus the appearance of rendering defects on the output image. I can confirm that.
１画像シーケンスについて、各画像のためにステップＥ１〜Ｅ４を反復して行なう。 For one image sequence, steps E1 to E4 are repeated for each image.
以上で提示した本発明は、さまざまな照明態様またはクラスに属する画像シーケンスを表わす集合についてテストされた。 The invention presented above has been tested on sets representing image sequences belonging to different lighting aspects or classes.
１画像の照明または光の態様（英語では「ｌｉｇｈｔｉｎｇ ｓｔｙｌｅ」）とは、アーティストが１つの画像、写真または映像シーケンスを創出するために選択する光度およびコントラスト条件を意味する。これらの条件は、特定の雰囲気を画像に付与することに寄与する。態様の概念は公知であり、映画と同様に、写真、テレビでも極めてよく使用されている。特に以下の３つのクラスが、挙げられる。
− 中間トーンＭＫ（英語の「Ｍｅｄｉｕｍ−Ｋｅｙ ｌｉｇｈｔｉｎｇ」の略）は、中間コントラストを適度な光度に結び付ける撮像態様である。大部分の画像および映像コンテンツは、このカテゴリに入る。
− 濃トーンＬＫ（英語の「Ｌｏｗ−Ｋｅｙ ｌｉｇｈｔｉｎｇ」の略）は、意図的に暗い、したがって強いコントラストに結び付けられた低い光度を有する撮像態様である。ローキー態様は、明暗などの複数の効果に介入する。３つの光源に基づく標準的照明とは異なり、Ｌｏｗ−Ｋｅｙ技術は、概して１つの光源しか介入させない。
− 明トーンＨＫ（英語の「Ｈｉｇｈ−Ｋｅｙ ｌｉｇｈｔｉｎｇ」の略）は、軽い雰囲気を表現するために、高い光度を低いコントラストに結び付ける撮像態様である。これは、ファッションおよび広告の分野で良く用いられる態様である。
Illumination or light aspect of an image ("lighting style" in English) means the light intensity and contrast conditions that an artist chooses to create an image, photo or video sequence. These conditions contribute to imparting a particular atmosphere to the image. The concept of embodiment is well known and is very often used in photography and television as well as in movies. In particular, the following three classes are listed.
-Mid-tone MK (abbreviation of "Medium-Key lighting" in English) is an imaging mode that connects the intermediate contrast to an appropriate light intensity. Most image and video content falls into this category.
Dark Tone LK (abbreviation for “Low-Key lighting” in English) is an imaging modality that has a low light intensity that is intentionally dark and therefore associated with strong contrast. The low key aspect intervenes multiple effects such as light and dark. Unlike standard lighting, which is based on three light sources, the Low-Key technique generally only allows one light source to intervene.
-Bright tone HK (abbreviation of "High-Key lighting" in English) is an imaging mode that links high light intensity with low contrast in order to express a light atmosphere. This is a mode often used in the fields of fashion and advertising.
輝度とコントラストにより与えられる２つの次元を考慮に入れて、発明者らは、以下の２つの補足的態様を含む２Ｄ分類を提案する：
− ダークトーンＤＫ（英語の「Ｄａｒｋ−Ｋｅｙ ｌｉｇｈｔｉｎｇ」の略）は、意図的に露出が低い、したがって低いコントラストと組合わされた低い光度を有する撮像態様である。これは、ナイトシーン用、不安な雰囲気を樹立するため、ホラーフィルムまたは探偵映画のサスペンスを高めるために、極めて高く評価されている、
− ブライトトーンＢＫ（英語の「Ｂｒｉｇｈｔ−Ｋｅｙ ｌｉｇｈｔｉｎｇ」の略）は、強いコントラストレベルを高い光度に結び付ける撮像態様である。この態様は一般に、晴れて陽光に満ちた日の屋外撮影に関するものである。
Taking into account the two dimensions given by brightness and contrast, we propose a 2D classification that includes the following two complementary aspects:
-Dark Tone DK (English abbreviation for "Dark-Key lighting") is an imaging modality with intentionally low exposure and thus low light intensity combined with low contrast. It's extremely appreciated for night scenes, to create a disturbing atmosphere, and to increase suspense in horror or detective films,
-Brighttone BK (abbreviation for "Bright-Key lighting" in English) is an imaging mode that combines a strong contrast level with a high light intensity. This aspect generally relates to outdoor photography on a sunny, sunny day.
図７と関連して、観察者が知覚した光度およびコントラストの包括的レベルを表わす情報に応じて、図上に、以上で説明されてきた５つの照明態様をそれぞれに位置付けした。クラスＬＫおよびＤＫは、匹敵する光度レベルを有し、それらのコントラストレベルにより互いに区別される、ということが確認される。これはクラスＨＫおよびＢＫについても同様である。 In connection with FIG. 7, each of the five illumination modes described above has been positioned on the figure according to the information representing the comprehensive level of luminous intensity and contrast perceived by the observer. It is confirmed that classes LK and DK have comparable luminous intensity levels and are distinguished from each other by their contrast level. The same is true for classes HK and BK.
図８Ａ〜８Ｅ、９および１０に関して、ここでは本発明により得られた結果が提示されている。図８Ａ〜８Ｅは、５つの画像クラスについて、本発明によっておよびすでに説明したＡｋｙｕｚおよびＭｅｓｉａの方法によってそれぞれ得られた入力画像の輝度値Ｙ1に応じた出力画像の拡大された輝度値Ｙ2の曲線を比較している。繰返しになるが、Ａｋｙｕｚの方法は、１に等しい拡張指数を使用し、一方Ｍａｓｉａの方法は、画像のキーのアフィン関数として表現された指数を活用している。 8A-8E, 9 and 10, the results obtained according to the invention are presented here. 8A to 8E show the enlarged luminance value Y 2 of the output image according to the luminance value Y 1 of the input image obtained according to the present invention and by the method of Akyuz and Media described above for five image classes. Comparing curves. Again, Akyuz's method uses an expansion exponent equal to 1, while Masai's method exploits an exponent expressed as an affine function of the image's keys.
Ｄａｒｋ Ｋｅｙ態様のクラスに属する図８Ａの画像については、本発明により計算された拡張指数γは、１．７２に相当し、Ｍａｓｉａにより計算された拡張指数は−０．３５に相当する。Ａｋｙｕｚの方法によると、拡張は線形であり、したがって、全ての輝度は同じように増大させられている。 For the image of FIG. 8A belonging to the class of Dark Key aspect, the expansion index γ calculated according to the present invention corresponds to 1.72, and the expansion index calculated by Massia corresponds to −0.35. According to Akyuz's method, the extension is linear, so all the intensities are increased similarly.
Ｍａｓｉａにより計算された係数は、マイナスであり、そのため、輝度値Ｙ2は飽和する。各方法により得られた出力シーケンスの１画像、および対応する原初の画像、ならびに観察者が認めた美的スコアおよび忠実度スコアを提示する図９に関しては、Ｍａｓｉａの方法によって得られる画像が非常に白く、コントラストをことごとく失っていることが確認される。Ａｋｙｕｚの方法によって生成された画像は妥当な質のものであるが、本来の照明態様は歪められていた。 The coefficient calculated by Masia is negative, so the luminance value Y 2 is saturated. With respect to FIG. 9, which presents one image of the output sequence obtained by each method, and the corresponding original image, and the observer-recognized aesthetic and fidelity scores, the image obtained by the method of Masaia is very white. , It is confirmed that all the contrast is lost. The images produced by the Akyuz method were of reasonable quality, but the original lighting regime was distorted.
Ｌｏｗ Ｋｅｙ態様クラスに属する図８Ｂの画像については、本発明によって計算された拡張指数γは、１．５に相当し、Ｍａｓｉａにより計算された拡張指数は−０．８０に相当する。同じ確認事実は、ＡｋｙｕｚおよびＭａｓｉａにより生成された画像にも当てはまる。 For the image of FIG. 8B belonging to the Low Key mode class, the expansion index γ calculated by the present invention corresponds to 1.5, and the expansion index calculated by Massia corresponds to −0.80. The same confirming facts apply to the images produced by Akyuz and Masaa.
Ｍｅｄｉｕｍ Ｋｅｙ態様クラスに属する図８Ｃの画像については、本発明により計算された拡張指数γは１．３４に相当し、Ｍａｓｉａにより計算された拡張指数は０．３９に相当する。本発明に係る方法によって得られる曲線は、Ａｋｙｕｚの直線の手前に位置する。したがって、この曲線は、Ａｋｙｕｚに比べて中間輝度値の引き伸ばしが少ない。このことは、本発明により広げられたＭＫ画像のバージョンがＡｋｙｕｚにより生み出されたバージョンよりも包括的に露出度が低いように思われることを示している図８上で確認される。Ｍａｓｉａにより生成された画像は、過剰露出され、レンダリングは自然ではない。 For the image of FIG. 8C belonging to the Medium Key aspect class, the expansion index γ calculated by the present invention corresponds to 1.34, and the expansion index calculated by Massia corresponds to 0.39. The curve obtained by the method according to the invention lies before the straight line of Akyuz. Therefore, this curve has less extension of the intermediate luminance value as compared with Akyuz. This is confirmed on FIG. 8, which shows that the version of the MK image spread according to the invention appears to be globally less exposed than the version produced by Akyuz. The images produced by Masia are overexposed and the rendering is unnatural.
Ｂｒｉｇｈｔ Ｋｅｙ態様クラスに属する図８Ｄの画像については、本発明により計算された拡張指数γは、１．０６に相当し、Ｍａｓｉａにより計算された拡張指数は１．７に相当する。Ａｋｙｕｚにより得られた結果は過剰に照明されている。Ｍａｓｉａにより得られた結果はコントラストが過剰である。図８と関連して、Ｍａｓｉａにより得られたスコアは、特に出力シーケンスの画像間のフラッタリングのせいで、Ａｋｙｕｚのスコアおよび本発明のスコアに比べて明らかに劣っている。 For the image of FIG. 8D belonging to the Bright Key aspect class, the expansion index γ calculated according to the present invention corresponds to 1.06, and the expansion index calculated according to Massia corresponds to 1.7. The results obtained by Akyuz are over-illuminated. The results obtained by Masia are in excess of contrast. In connection with FIG. 8, the score obtained by Massia is clearly inferior to that of Akyuz and the score of the present invention, especially due to fluttering between images of the output sequence.
Ｈｉｇｈ Ｋｅｙ態様クラスに属する図８Ｅの画像については、本発明により計算された拡張指数γは１．０２に相当し、Ｍａｓｉａにより計算された拡張指数は、−２．６５に相当する。本発明の曲線は、Ａｋｙｕｚの直線に非常に近いが、わずかに手前である。図８は、本発明のものに比べてＡｋｙｕｚにより生成されたバージョンの露出過剰がより大きいことを明らかにしている。図９に関連して、Ｍａｓｉａにより生成された画像は非常に白く、コントラストが完全に失われている。 For the image of FIG. 8E belonging to the High Key aspect class, the expansion index γ calculated by the present invention corresponds to 1.02, and the expansion index calculated by Massia corresponds to −2.65. The curve of the invention is very close to the Akyuz straight line, but slightly in front. FIG. 8 reveals that the version produced by Akyuz is more overexposed than that of the present invention. With reference to FIG. 9, the image produced by Masaia is very white and has a complete loss of contrast.
概して、Ｍａｓｉａの方法は、入力画像が取る値の全範囲にわたり輝度値を飽和させる傾向をもち、その結果露出過剰およびコントラスト喪失の印象が与えられることになるということが確認される。 In general, it has been determined that the Masae method has a tendency to saturate the luminance values over the full range of values that the input image takes, resulting in the impression of overexposure and loss of contrast.
Ａｋｙｕｚの方法は、値範囲全体にわたり輝度を線形的に増幅する。画像のレンダリングは許容できるものであるが、画像の原初の態様は歪められている。 The Akyuz method linearly amplifies the luminance over the value range. The rendering of the image is acceptable, but the original aspect of the image is distorted.
これらの結果は、処理する画像の照明態様を忠実にレンダリングする本発明によって得られる優れた結果を明らかにしている。 These results demonstrate the excellent results obtained by the present invention that faithfully renders the lighting aspects of the image being processed.
図１０と関連して、３つのテスト対象方法により生成された画像に対して観察者全員が割り当てた平均スコアが提示される。基準の無いテストに由来する美的スコア、および基準の有るテストに由来する忠実度スコアが区別される。本発明に係る処理方法によって得られたスコアは、美的観点から見たものであれ忠実度の観点から見たものであれ、他の方法のスコアよりも常に高いことが確認される。 In connection with FIG. 10, the average scores assigned by all the observers for the images generated by the three tested methods are presented. A distinction is made between aesthetic scores derived from tests without criteria and fidelity scores derived from tests with criteria. It is confirmed that the scores obtained by the processing method according to the present invention are always higher than the scores of other methods, whether from an aesthetic or fidelity point of view.
以上で説明した本発明は、ソフトウェアおよび／またはハードウェアコンポーネントを用いて実施可能であることが指摘される。この観点において、本明細書中で使用される「モジュール」および「エンティティ」なる用語は、ソフトウェアコンポーネントか、ハードウェアコンポーネントか、さらには、関係するモジュールまたはエンティティについて説明された１つまたは複数の機能を実施することのできるハードウェアおよび／またはソフトウェアコンポーネント全体に対応し得る。 It is pointed out that the invention described above can be implemented using software and/or hardware components. In this respect, the terms "module" and "entity" as used herein refer to software components, hardware components, as well as one or more functions described for the modules or entities involved. May correspond to an entire hardware and/or software component capable of implementing
図１１と関連して、ここで、本発明に係るデジタル画像のコーディング装置１００の単純化された構造の一実施例を提示する。装置１００は、図１に関連して説明してきた本発明に係るコーディング方法を実施する。
With reference to FIG. 11, an example of a simplified structure of a digital
この図１１は、考えられる複数の方法のうち、図２に関連して以上で詳述したアルゴリズムを実現する特定の１つの方法のみを例示している。実際、本発明の技術は、命令シーケンスを含むプログラムを実行する再プログラミング可能な計算機（コンピュータＰＣ、プロセッサＤＳＰ、またはマイクロコントローラ）上、または専用計算機（例えばＦＰＧＡまたはＡＳＩＣなどの論理ゲート全体、または他の全てのハードウェアモジュール）上で、無差別に実施される。 This FIG. 11 illustrates only one of the possible ways of implementing the algorithm detailed above in connection with FIG. In fact, the techniques of the present invention may be implemented on a reprogrammable computer (computer PC, processor DSP, or microcontroller) that executes a program containing instruction sequences, or on a dedicated computer (eg, an entire logic gate such as an FPGA or ASIC, or otherwise). Indiscriminately implemented on all hardware modules of.
本発明が再プログラミング可能な計算機上に導入される場合、対応するプログラム（すなわち命令シーケンス）は、取外し可能な（例えばフロッピーディスク、ＣＤ−ＲＯＭまたはＤＶＤ−ＲＯＭなど）または取外し不能な記憶媒体中に記憶され得、この記憶媒体は部分的にまたは全面的にコンピュータまたはプロセッサにより読取り可能である。 When the invention is implemented on a reprogrammable computer, the corresponding program (ie the instruction sequence) is stored on a removable (eg floppy disk, CD-ROM or DVD-ROM etc.) or non-removable storage medium. It may be stored and the storage medium may be partially or wholly readable by a computer or processor.
例えば、装置１００は、プロセッサμ１が備わり、メモリ１３０内に記憶されたコンピュータプログラムＰｇ１ １２０により操作され、本発明にしたがった方法を使用する処理ユニット１１０を含む。
For example, the
初期化の時点で、コンピュータプログラムＰｇ1 １２０のコード命令は、例えば、処理ユニット１１０のプロセッサにより実行される前にＲＡＭメモリ内にロードされる。処理ユニット１１０のプロセッサは、コンピュータプログラム１２０の命令にしたがって、先に説明した方法のステップを実施する。
At initialization time, the code instructions of the
本発明のこの実施例において、装置１００は、以下のオペレーションが可能でこれらのオペレーションのために構成された、再プログラミング可能な計算機または専用計算機を含む。
− 入力画像を得るＧＥＴＩＩ、
− 輝度成分Ｙとクロミナンス成分ＸおよびＺを含む比色空間内で入力画像のＲＧＢ色強度をコンバートするＣＯＮＶ、
− 画像の素子の第１の輝度成分の値から、観察者が知覚した画像の包括的光度レベルを表わす情報を決定するＤＥＴ ＩＬＧ、
− 決定された包括的光度レベル情報に応じて拡張指数γを計算するＣＡＬＣ、
− 該画像の１素子について、第１の輝度成分値に対して計算された拡張指数を適用することによる中間輝度値の計算、および計算された中間値に対する第２の輝度既定値間隔の長さの乗算を含め、画像の素子の第１の輝度成分を第２の輝度成分に変換するＴＲＡＮＳＦ。
In this embodiment of the invention,
-GETII to get the input image,
CONV for converting RGB color intensities of an input image in a colorimetric space containing a luminance component Y and chrominance components X and Z,
A DET ILG, which determines, from the value of the first luminance component of the elements of the image, information representative of the general luminous intensity level of the image perceived by the observer,
CALC for calculating the expansion index γ according to the determined global intensity level information,
The calculation of the intermediate luminance value by applying the expansion index calculated for the first luminance component value for one element of the image, and the length of the second luminance default value interval for the calculated intermediate value. A TRANSF that transforms the first luminance component of an image element into a second luminance component, including multiplication of.
本発明によると、計算された拡張指数γは決定された包括的光度レベル情報の減少関数である。 According to the present invention, the calculated expansion index γ is a decreasing function of the determined global intensity level information.
有利にも、計算機は、図２〜６に関連して以上で説明した本発明の実施形態を実施するように構成されている。 Advantageously, the calculator is arranged to implement the embodiments of the invention described above in connection with FIGS.
詳細には、計算機は、図５および５Ａに関連して説明した第１または第２の実施形態にしたがって、第１のクロミナンス成分の第２のクロミナンス成分への変換を実施するように構成されている。 Specifically, the calculator is configured to perform the conversion of the first chrominance component to the second chrominance component according to the first or second embodiment described in connection with FIGS. 5 and 5A. There is.
装置１００は、例えば入力画像シーケンス、計算された拡張率γ、および輝度中間値、および／または出力画像シーケンスを記憶することのできるメモリまたはバッファなどの記憶ユニットＭ1１４０をさらに含んでいる。これらのユニットは、処理ユニット１１０のプロセッサμ１によって操作される。
The
有利にも、このような装置１００は、ユーザー端末機器ＴＵ、例えばコンピュータ、ＴＶデコーダボックス（英語では「ｓｅｔ ｔｏｐ ｂｏｘ」）、デジタルテレビに組み込むことができる。その場合、装置１００は、少なくとも端末ＴＵの以下のモジュールと協働するように配置される。
− 入力画像シーケンスを表わすコーディング済みデータを含むシグナルが、例えば無線ネットワーク、ケーブルネットワークまたは地上波ネットワークなどの遠隔通信ネットワークから受信する場合に仲介するデータ送受信モジュールＥ／Ｒ、および／または
− 例えばＨＤＭＩ(登録商標）ケーブルを介したビデオカメラなどの入力画像シーケンス獲得モジュール、
− 転送機能ＳＬｏｇ３およびＳＴ２０８４の備わったＳｏｎｙ（登録商標）ＢＶＭ−Ｘ３００ ＯＬＥＤタイプのプロ用ＨＤＲテレビ受像機などの、拡大された色強度範囲を有する画像をレンダリングするように構成された、表示装置。この装置は測色規格ＢＴ．７０９およびＢＴ．２０２０に適合している。この装置は１０００ｎｉｔｓの最大光度を提供する。
Advantageously, such a
A data transceiver module E/R that mediates when a signal containing coded data representing an input image sequence is received from a telecommunications network such as a wireless network, a cable network or a terrestrial network, and/or-for example HDMI( Input image sequence acquisition module such as video camera via registered trademark cable,
A display device configured to render an image with an extended color intensity range, such as a Sony HDR BVM-X300 OLED type professional HDR television with transfer function SLog3 and ST2084. This device is a color measurement standard BT. 709 and BT. It is suitable for 2020. This device provides a maximum luminous intensity of 1000 nits.
その優れた性能およびその実施の簡易さのため、以上で説明してきた本発明は、複数の用途を可能にする。その最初の利用分野は、ＳＤＲフォーマットの映像コンテンツからＨＤＲレンダリング装置上に表示可能なバージョンへのコンバートである。例えば、本発明は、ＨＤＲスクリーン上での画像シーケンスの表示を目的とした、後処理として、ＳＤＲフォーマットでリアルタイムで（英語では「ｌｉｖｅ」）放送される映像コンテンツの受信において実施することができる。 Due to its excellent performance and its simplicity of implementation, the invention described above enables multiple applications. Its first field of use is the conversion of video content in SDR format to a version displayable on an HDR rendering device. For example, the present invention may be implemented in the reception of video content that is broadcast in real time (“live” in English) in SDR format as a post-process for the purpose of displaying an image sequence on an HDR screen.
ＳＤＲおよびＨＤＲの複数の取得モジュールを使用するリアルタイムでのＴＶコンテンツの制作を目的とする場合、ＨＤＲコンテンツとのミキシングの前にＳＤＲコンテンツをＨＤＲコンテンツに素早くコンバートするために本発明を使用することができる。本発明は同様に、映画の撮影後の編集において使用されても有利であり得る。 For the purpose of producing TV content in real time using multiple acquisition modules of SDR and HDR, the present invention can be used to quickly convert SDR content to HDR content before mixing with HDR content. it can. The present invention may also be advantageous when used in post-shoot editing of movies.
最後に、伝送ラインのあらゆる時点において、ＨＤＲ ＢＴ．７０９フォーマットで伝送されたコンテンツをＳＴ２０８４またはＳＴＤ−Ｂ６７規格により規定されているＨＤＲフォーマットへとコード変換するために、本発明を実施することができる。 Finally, the HDR BT. The present invention can be implemented to transcode content transmitted in 709 format to the HDR format defined by the ST2084 or STD-B67 standard.
当然のことながら、以上で説明した実施形態は、全く限定的でない純粋に一つの目安として提供されたものであり、当業者であれば本発明の枠から逸脱することなく多くの修正を容易に加えることができる。 Naturally, the embodiments described above are provided purely as a guide, without any limitation, and a person skilled in the art can easily make many modifications without departing from the scope of the present invention. Can be added.
１００ コーディング装置
１１０ 処理ユニット
１２０ コンピュータプログラムＰｇ１
１３０ メモリ
ＴＵ ユーザー端末機器
100 Coding device 110
130 memory TU user terminal equipment
Claims (13)
− 画像の素子の第１の輝度成分の値から、観察者が知覚した画像の包括的光度レベル（ＩＬＧ）を表わす情報を決定するステップ（Ｅ１）と、
− 決定された包括的光度レベル情報に応じて、拡張指数（γ）を計算するステップ（Ｅ２）と、
− 画像の１素子について、第１の輝度成分値に対して計算された拡張指数を適用することによる中間輝度値の計算、および計算された中間値に対する第２の既定値間隔の長さの乗算を含む、画像の素子の第１の輝度成分を第２の輝度成分に変換するステップ（Ｅ３）と、
を含む方法であって、
計算された拡張指数が、決定された包括的光度レベル情報の減少関数であることを特徴とする、処理方法。 In at least one processing method for a digital image (II n) for the purpose of rendering on the display device (20), wherein the image comprises pixels, one pixel, one of the first luminance component (Y 1) And the first luminance component is associated with color information represented in a first colorimetric space including a plurality of first chrominance components, and the first luminance component has a value included in a first predetermined value interval. and, wherein the display device is able to render the value of the luminance component of the pixels included in the first default long second within a predetermined value interval than the interval,
Determining from the value of the first luminance component of the elements of the image information representative of the global luminous intensity level (ILG) of the image perceived by the observer (E1),
Calculating an expansion index (γ) according to the determined global luminous intensity level information (E2),
Calculating, for one element of the image, the intermediate luminance value by applying the expansion index calculated for the first luminance component value, and multiplying the calculated intermediate value by the length of the second predetermined value interval. Converting the first luminance component of the element of the image into the second luminance component (E3),
A method including
A processing method, characterized in that the calculated expansion index is a decreasing function of the determined global luminous intensity level information.
− 画像の素子の第１の輝度成分の値から、観察者が知覚した画像の包括的光度レベルを表わす情報を決定し（ＤＥＴ ＩＬＧ）、
− 決定された包括的光度レベル情報に応じて拡張指数を計算し（ＣＡＬＣ γ）、
− 画像の１素子について、第１の輝度成分値に対して計算された拡張指数を適用することによる中間輝度値の計算、および計算された中間値に対する第２の輝度既定値間隔の長さの乗算を含め、画像の素子の第１の輝度成分を第２の輝度成分に変換する（ＴＲＡＮＳＦ）、
ことができかつそのために構成された再プログラミング可能な計算機または専用計算機を含む装置であって、
計算された拡張指数（γ）が、決定された包括的光度レベル情報の減少関数であることを特徴とする、処理装置（１００）。 A processor (100) for at least one digital image (IIn) intended for rendering on a display device (20), wherein said image comprises pixels, one pixel being one luminance separate from a chrominance component. Is associated with color information represented in a first colorimetric space including a component (Y 1 ), the luminance component has a value contained within a first predetermined value interval, and the display device comprises , it is possible to render the value of the luminance component of the pixels included in the first default long second within a predetermined value interval than the interval,
From the value of the first luminance component of the elements of the image, determine information representative of the general luminous intensity level of the image perceived by the observer (DET ILG),
Calculating the expansion index according to the determined global light intensity level information (CALC γ),
For one element of the image, the calculation of the intermediate brightness value by applying the expansion index calculated for the first brightness component value, and of the length of the second brightness default value interval for the calculated intermediate value. Converting the first luminance component of the image element to a second luminance component, including multiplication (TRANSF),
An apparatus comprising a reprogrammable computer or a dedicated computer configured for and configured for
Processing device (100), characterized in that the calculated expansion index (γ) is a decreasing function of the determined global luminous intensity level information.
A non-transitory computer-readable storage medium storing the program according to claim 12.
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1562446A FR3045903B1 (en) | 2015-12-16 | 2015-12-16 | METHOD FOR PROCESSING DIGITAL IMAGE, DEVICE, TERMINAL EQUIPMENT AND COMPUTER PROGRAM THEREOF |
| FR1562446 | 2015-12-16 | ||
| FR1657443 | 2016-07-29 | ||
| FR1657443 | 2016-07-29 | ||
| PCT/FR2016/053321 WO2017103399A1 (en) | 2015-12-16 | 2016-12-09 | Method of processing a digital image, device, terminal equipment and computer program associated therewith |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019500793A JP2019500793A (en) | 2019-01-10 |
| JP6742417B2 true JP6742417B2 (en) | 2020-08-19 |
Family
ID=57777662
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018531353A Active JP6742417B2 (en) | 2015-12-16 | 2016-12-09 | Digital image processing method, associated device, terminal device and computer program |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US10326971B2 (en) |
| EP (1) | EP3391331A1 (en) |
| JP (1) | JP6742417B2 (en) |
| KR (1) | KR102631844B1 (en) |
| AU (1) | AU2016373020B2 (en) |
| WO (1) | WO2017103399A1 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11100888B2 (en) | 2017-06-28 | 2021-08-24 | The University Of British Columbia | Methods and apparatuses for tone mapping and inverse tone mapping |
| EP3839876A1 (en) | 2019-12-20 | 2021-06-23 | Fondation B-COM | Method for converting an image and corresponding device |
| KR102491057B1 (en) * | 2020-02-27 | 2023-01-19 | 에스케이텔레콤 주식회사 | Device and Method for Image Style Transfer |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06303633A (en) * | 1993-04-13 | 1994-10-28 | Matsushita Electric Ind Co Ltd | Gamma processing unit |
| US7277486B2 (en) * | 2002-05-03 | 2007-10-02 | Microsoft Corporation | Parameterization for fading compensation |
| WO2005027043A1 (en) * | 2003-09-11 | 2005-03-24 | Matsushita Electric Industrial Co., Ltd. | Visual processing device, visual processing method, visual processing program, integrated circuit, display device, imaging device, and mobile information terminal |
| JP4687320B2 (en) * | 2005-08-11 | 2011-05-25 | ソニー株式会社 | Image processing apparatus and method, recording medium, and program |
| JP4340303B2 (en) * | 2007-04-10 | 2009-10-07 | 東芝テリー株式会社 | Image processing apparatus and image processing program |
| JP5887067B2 (en) * | 2011-05-20 | 2016-03-16 | 東芝テリー株式会社 | Omnidirectional image processing system |
| EP2745290A1 (en) * | 2011-09-27 | 2014-06-25 | Koninklijke Philips N.V. | Apparatus and method for dynamic range transforming of images |
| JP6390847B2 (en) * | 2012-11-13 | 2018-09-19 | 日本電気株式会社 | Image processing apparatus, image processing method, and program |
| JP6436158B2 (en) * | 2014-03-06 | 2018-12-12 | 日本電気株式会社 | Image processing apparatus, imaging apparatus, image processing method, and program |
| AU2015201623A1 (en) * | 2015-03-30 | 2016-10-20 | Canon Kabushiki Kaisha | Choosing optimal images with preference distributions |
-
2016
- 2016-12-09 EP EP16825475.3A patent/EP3391331A1/en active Pending
- 2016-12-09 KR KR1020187019196A patent/KR102631844B1/en active IP Right Grant
- 2016-12-09 AU AU2016373020A patent/AU2016373020B2/en active Active
- 2016-12-09 JP JP2018531353A patent/JP6742417B2/en active Active
- 2016-12-09 US US16/063,441 patent/US10326971B2/en active Active
- 2016-12-09 WO PCT/FR2016/053321 patent/WO2017103399A1/en active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| US20180376120A1 (en) | 2018-12-27 |
| US10326971B2 (en) | 2019-06-18 |
| JP2019500793A (en) | 2019-01-10 |
| KR102631844B1 (en) | 2024-01-31 |
| AU2016373020A1 (en) | 2018-07-05 |
| WO2017103399A1 (en) | 2017-06-22 |
| AU2016373020B2 (en) | 2021-11-18 |
| KR20180094949A (en) | 2018-08-24 |
| EP3391331A1 (en) | 2018-10-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7101288B2 (en) | Methods and devices for converting HDR signals | |
| US10419689B2 (en) | Mapping between linear luminance values and luma codes | |
| RU2670782C9 (en) | Methods and devices for creating code mapping functions for hdr image coding and methods and devices for using such encoded images | |
| KR102135841B1 (en) | High dynamic range image signal generation and processing | |
| JP6396596B2 (en) | Luminance modified image processing with color constancy | |
| RU2640750C2 (en) | Device and method for converting dynamic range of images | |
| JP5911643B2 (en) | Brightness-changed image processing with color constraints | |
| US10645359B2 (en) | Method for processing a digital image, device, terminal equipment and associated computer program | |
| RU2554860C2 (en) | Method and device for image data conversion | |
| US20180367778A1 (en) | Method And Apparatus For Conversion Of HDR Signals | |
| JP7381463B2 (en) | Improved high dynamic range video color remapping | |
| US11102463B2 (en) | Method for processing an input image, device, terminal equipment and associated computer program | |
| JP6742417B2 (en) | Digital image processing method, associated device, terminal device and computer program | |
| KR20220143932A (en) | Improved HDR color handling for saturated colors | |
| FR3045903A1 (en) | METHOD FOR PROCESSING DIGITAL IMAGE, DEVICE, TERMINAL EQUIPMENT AND COMPUTER PROGRAM THEREOF | |
| CN116167950B (en) | Image processing method, device, electronic equipment and storage medium | |
| RU2782432C2 (en) | Improved repeated video color display with high dynamic range |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20181210 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190606 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200221 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200331 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200428 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200707 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200728 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6742417 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |