JP6822121B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本開示は、画像処理装置、画像処理方法及びプログラムに関する。

近年、実世界の様子をより忠実に再現し又はより豊富な明るさ及び色彩で映像を表示することを可能とするための、映像信号表現の拡張が進められている。ＨＤＲ（High Dynamic Range）は、従来の標準的なダイナミックレンジであるＳＤＲ（Standard Dynamic Range）よりも広い輝度ダイナミックレンジで画像又は映像を表現しようとする概念である。例えば、ＨＬＧ（Hybrid Log-Gamma）、ＳＴ２０８４又はＳ−Ｌｏｇ３といった伝達関数（トーンカーブともいう）で光を画像信号へと変換（及び、画像信号を光へと変換）することにより、１００ｎｉｔよりも高い輝度を有する実世界の光をディスプレイ上で再現することが可能となることが知られている（非特許文献１参照）。他の例として、ＩＴＵ−Ｒにより標準化されたＢＴ．２０２０は、これまで多くのアプリケーションで使用されてきたＢＴ．７０９と比較して、より鮮やかな色彩を表現することを可能とする色域を定義している。

Association of Radio Industries and Businesses，"ESSENTIAL PARAMETER VALUES FOR THE EXTENDED IMAGE DYNAMIC RANGE TELEVISION (EIDRTV) SYSTEM FOR PROGRAMME PRODUCTION ARIB STANDARD"，ARIB STD-B67 Version 1.0，July 3, 2015，［online］，［２０１６年１１月２４日検索］，インターネット＜URL： http://www.arib.or.jp/english/html/overview/doc/2-STD-B67v1_0.pdf＞

映像（若しくは映像を構成する個々の画像）を符号化し若しくは復号し、又はそうした映像を利用する既存の装置は、多様化しつつある映像信号表現に必ずしも十分に適応できていない。特定の表現手法を前提として最適化された処理パラメータは、必ずしも他の表現手法で表現される画像信号の処理のために適していない。静止画の画像処理についても同様の状況が考えられる。

従って、多様な表現手法で表現され得る画像を扱う場合に不適切な処理パラメータが使用されることを防止する仕組みが提供されることが望ましい。

本開示によれば、画像に適用される光と画像信号との間の変換に関する伝達関数及び前記画像に適用される色域の組み合わせに基づいて、前記画像に対する画像処理のための処理パラメータを決定する制御部と、前記制御部により決定される前記処理パラメータを用いて、前記画像処理を実行する処理部と、を備え、前記制御部が決定する前記処理パラメータは、前記伝達関数及び前記色域の組み合せごとに定義される、画像処理装置が提供される。

また、本開示によれば、画像に適用される光と画像信号との間の変換に関する伝達関数及び前記画像に適用される色域の組み合わせに基づいて、前記画像に対する画像処理のための処理パラメータを決定することと、決定される前記処理パラメータを用いて、前記画像処理を実行することと、を含み、前記決定することが決定する前記処理パラメータは、前記伝達関数及び前記色域の組み合せごとに定義される、画像処理方法が提供される。

また、本開示によれば、画像処理装置のプロセッサを、画像に適用される光と画像信号との間の変換に関する伝達関数及び前記画像に適用される色域の組み合わせに基づいて、前記画像に対する画像処理のための処理パラメータを決定する制御部と、前記制御部により決定される前記処理パラメータを用いて、前記画像処理を実行する処理部と、として機能させ、前記制御部が決定する前記処理パラメータは、前記伝達関数及び前記色域の組み合せごとに定義される、ためのプログラムが提供される。

本開示に係る技術によれば、多様な表現手法で表現され得る画像を扱う場合に不適切な処理パラメータが使用されることを防止することができる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果と共に、又は上記の効果に代えて、本明細書に示されたいずれかの効果、又は本明細書から把握され得る他の効果が奏されてもよい。

ＳＤＲ映像の輝度ダイナミックレンジについて説明するための説明図である。 ＨＤＲ映像の輝度ダイナミックレンジについて説明するための説明図である。 ＳＤＲ映像の画像信号のコーデック歪みについて説明するための説明図である。 ＨＤＲ映像の画像信号のコーデック歪みについて説明するための説明図である。 ＨＤＲ−ＳＤＲ変換を経て拡大されるコーデック歪みについて説明するための説明図である。 ＳＤＲ用の信号フォーマット及びＨＤＲ用の信号フォーマットのＯＥＴＦの例を示す説明図である。 ＳＤＲ用のＢＴ．７０９に対してＨＤＲ用のＳ−Ｌｏｇ３が画像情報をどの程度圧縮しているかを表すグラフを示している。 ＢＴ．７０９及びＢＴ．２０２０により定義されている色域について説明するための説明図である。 伝達関数の種別の違いが符号化難易度に与える影響について説明するための説明図である。 一実施形態に係る画像処理システムの構成の第１の例を示す説明図である。 一実施形態に係る画像処理システムの構成の第２の例を示す説明図である。 第１の実施形態に係る画像処理装置の概略的な構成の第１の例を示すブロック図である。 第１の実施形態に係る画像処理装置の概略的な構成の第２の例を示すブロック図である。 第１の実施形態に係る制御部及び符号化部の詳細な構成の一例を示すブロック図である。 符号化難易度の高いブロック及び符号化難易度の低いブロックの例を示す説明図である。 ＳＤＲのケースでの量子化ステップの調整の一例について説明するための説明図である。 既存の手法に係るＨＤＲのケースでの量子化ステップの調整の一例について説明するための説明図である。 第１の実施形態に係る量子化ステップの調整の一例について説明するための説明図である。 第１の実施形態に係る符号化制御処理の流れの一例を示すフローチャートである。 ＳＤＲにおける画素分類処理への色域の影響の一例について説明するための説明図である。 ＨＤＲにおける画素分類処理への伝達関数の影響の一例について説明するための第１の説明図である。 ＨＤＲにおける画素分類処理への伝達関数の影響の一例について説明するための第２の説明図である。 ＨＤＲにおける画素分類処理への色域の影響の一例について説明するための説明図である。 第２の実施形態に係る画像処理装置の概略的な構成の一例を示すブロック図である。 第２の実施形態に係る制御部及び符号化部の詳細な構成の一例を示すブロック図である。 第２の実施形態に係る符号化制御処理の流れの一例を示すフローチャートである。 第２の実施形態の一変形例に係る画像処理装置の構成の一例を示すブロック図である。 図１９を用いて説明した変形例に係る画像処理の流れの一例を示すフローチャートである。 装置のハードウェア構成の一例を示すブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、以下の順序で説明を行う。
１．関連技術の説明
１−１．ＳＤＲ及びＨＤＲ
１−２．コーデック歪み
１−３．伝達関数
１−４．色域
２．第１の実施形態
２−１．導入
２−２．システムの概要
２−３．画像処理装置の概略的な構成
２−４．符号化部及び制御部の詳細な構成
２−５．処理の流れ
２−６．第１の実施形態のまとめ
３．第２の実施形態
３−１．導入
３−２．システムの概要
３−３．画像処理装置の概略的な構成
３−４．符号化部及び制御部の詳細な構成
３−５．処理の流れ
３−６．変形例
３−７．第２の実施形態のまとめ
４．ハードウェア構成例
５．総括

＜１．関連技術の説明＞
［１−１．ＳＤＲ及びＨＤＲ］
近年、実世界の様子をより忠実に再現し又はより豊富な明るさ及び色彩で映像を再生することを可能とするための、映像信号表現の拡張が進められている。ＨＤＲは、従来の標準的なダイナミックレンジであるＳＤＲよりも広い輝度ダイナミックレンジで画像又は映像を表現しようとする概念である。

図１Ａは、ＳＤＲ映像の輝度ダイナミックレンジについて説明するための説明図である。図１Ａの縦軸は輝度［ｎｉｔ］を表す。自然界の最大輝度は２００００ｎｉｔに達することがあり、一般的な被写体の輝度は例えば最大で１２０００ｎｉｔ程度である。イメージセンサのダイナミックレンジの上限は、自然界の最大輝度よりも低く、例えば４０００ｎｉｔであり得る。デジタルカメラ又はデジタルカムコーダといった撮像装置は、イメージセンサにおいて入射光を光電変換することにより生成される電気信号を、イメージセンサの後段の信号処理回路において例えば１０ビットのデジタル画像信号へと変換する。旧来のＳＤＲ映像の信号フォーマットでは、こうした変換の際に１００ｎｉｔを上回る高輝度部分の階調が失われる。撮像装置により生成されたデジタル画像信号は、例えば伝送又は記録といったアプリケーションの目的に応じて、所定の映像符号化方式（ビデオコーデックともいう）で符号化され、符号化ビットストリームへと変換される。そして、ＳＤＲ映像を表示する際には、符号化ビットストリームを復号することにより取得されるデジタル画像信号が表示装置へと提供され、上限１００ｎｉｔの表示輝度で映像が再生される。

図１Ｂは、ＨＤＲ映像の輝度ダイナミックレンジについて説明するための説明図である。ＳＤＲのケースと同様に、撮像装置は、イメージセンサへの入射光をアナログ電気信号へと変換し、さらにアナログ電気信号を例えば１０ビットのデジタル画像信号へと変換する。ＨＤＲ映像の信号フォーマットは、こうした変換の際に、１００ｎｉｔを上回る高輝度部分の階調を維持し、数百又は数千ｎｉｔという上限までの輝度で映像を再生することを可能とする。撮像装置により生成されたデジタル画像信号は、やはりアプリケーションの目的に応じて所定の映像符号化方式で符号化され、符号化ビットストリームへと変換される。ＨＤＲ映像を表示する際には、符号化ビットストリームを復号することにより取得されるデジタル画像信号が表示装置へと提供され、１００ｎｉｔより高い表示輝度を含む輝度ダイナミックレンジで映像が再生される。

なお、ＳＤＲとＨＤＲとを分類する基準として、ここでは輝度ダイナミックレンジの上限が１００ｎｉｔに等しいか又はそれを下回るケースをＳＤＲ、上限が１００ｎｉｔを上回るケースをＨＤＲと仮定している。しかしながら、将来のある時点において、１００ｎｉｔではなくより高い基準値によって、その時点で普及している（即ち、標準的となった）ダイナミックレンジと、より新しい（より高い上限を有する）ダイナミックレンジとがそれぞれＨＤＲ及びＳＤＲとして分類されることがあってもよい。本開示に係る技術は、概して、２種類のダイナミックレンジが互いに異なる上限を有するケースに広く適用可能であり、それらダイナミックレンジがどういった基準値によって分類されるかには限定されない。ＳＤＲは、ＨＤＲとの対比において、ＬＤＲ（Low Dynamic Range）と呼ばれることもある。

［１−２．コーデック歪み］
ＳＤＲ映像かＨＤＲ映像かに関わらず、画像信号を非可逆圧縮を含む映像符号化方式で符号化すると、復号される画像信号に基づいて再生される画像に、画質の劣化が生じる。こうした画質の劣化を、本明細書ではコーデック歪みという。コーデック歪みの度合いは、ＰＳＮＲ（Peak Signal-to-Noise Ratio）という指標で評価され得る。概して、符号化効率を同等とした場合、Ｈ．２６４／ＡＶＣで符号化／復号された画像の画質は、ＭＰＥＧ−２で符号化／復号された画像の画質よりも高く、Ｈ．２６５／ＨＥＶＣで符号化／復号された画像の画質はＨ．２６４／ＡＶＣよりも高い。しかしながら、通常、コーデック歪みの評価は、エンコーダへ入力される原画像とデコーダから出力される復号画像とを比較することにより行われる。ＨＤＲ映像の撮像若しくは表示の際に行われる信号変換、又はダイナミックレンジの縮減若しくは拡張がコーデック歪みにどのように作用するかは、あまり知られていない。

発明者らは、多数のサンプル映像をＨＤＲ用の信号フォーマットで画像信号へと変換し、Ｈ．２６４／ＡＶＣに準拠するエンコーダ及びデコーダによる符号化及び復号の後に、復号後の画像信号から再生されるＨＤＲ映像の画質を検証する実験を行った。その結果、同一のサンプルでＳＤＲ映像では感知されなかった画質の劣化が、ビデオコーデックを経たＨＤＲ映像において視認されるケースがあることが認識された。画質の劣化は、主にブロックノイズ又はモスキートノイズといった形で、画像内の一部分において顕著に生じていた。

同じ１０ビットの画像信号を同じ映像符号化方式で符号化する際に生じる劣化の度合いは、通常は同程度である。それでもＳＤＲ映像では感知されない（又は感知されにくい）歪みがＨＤＲ映像において検出されたのは、復号後の画像信号のダイナミックレンジを拡張する際にコーデック歪みが一緒に拡大されたからであると考えられる。

図２Ａには、ＳＤＲ映像の画像信号に、符号化及び復号を経てコーデック歪みが生じる様子が示されている。コーデック歪みはＳＤＲ映像を再生する際には拡大されないため、歪みが十分に小さければ主観的に歪みが感知されることはない。一方、図２Ｂには、ＨＤＲ映像の画像信号にやはりコーデック歪みが生じる様子が示されている。ＨＤＲ映像を再生する際には、ダイナミックレンジの拡張に伴ってコーデック歪みが拡大される結果、ブロックノイズ又はモスキートノイズといった画質の劣化が主観的に感知される可能性が高まる。

コーデック歪みは、ＨＤＲ用の信号フォーマットで表現されている画像信号についてＨＤＲからＳＤＲへのフォーマット変換が実行される際にも拡大され得る。図２Ｃには、ＨＤＲからＳＤＲへのフォーマット変換、即ちＨＤＲ−ＳＤＲ変換を経てコーデック歪みが拡大される様子が示されている。ＨＤＲ−ＳＤＲ変換は、概して、ＨＤＲ用の信号フォーマットに対応する伝達関数の逆関数で（例えば符号化ビットストリームを復号することにより得られる）画像信号をイメージセンサの出力に相当する原信号へと復元する処理と、復元された原信号をＳＤＲ用の信号フォーマットに対応する伝達関数でＳＤＲ用の画像信号へと再変換する処理とを含む。これら処理のうちの前者において拡大されたコーデック歪みは、ＳＤＲ用の信号フォーマットへの再変換において縮小されない。そのため、ＨＤＲ−ＳＤＲ変換後の画像信号に基づいてＳＤＲ映像を再生すると、拡大されたコーデック歪みが主観的に感知される結果となり得る。

上述したようなコーデック歪みが、映像符号化方式自体の性能に起因するのであれば、歪みは均一に生じるはずである。しかし、上述したサンプル映像の検証では、以下に例示するような特徴的な部分領域において歪みが顕著となっていることが確認された：
−特定色領域（例えば、肌色領域）
−平坦な領域（例えば、模様の無い建物の壁）
これらの部分領域において歪みが顕著となる原因は、ＨＤＲ用の信号フォーマットの信号伝達関数及び色域の選択に依存して、色成分の個々の符号値が意味する実世界における階調又は色に違いがあることである。

［１−３．伝達関数］
一般に、撮像装置における光から画像信号への信号変換の特性は、ＯＥＴＦ（Opto-Electronic Transfer Function；光電気伝達関数）でモデル化される。図３は、典型的なＳＤＲ用の信号フォーマットのＯＥＴＦ及びＨＤＲ用の信号フォーマットのＯＥＴＦのそれぞれの例を示している。図３において、横軸は、変換前の光の輝度ダイナミックレンジを表し、１００％が１００ｎｉｔの輝度に相当する。縦軸は、変換後の画像信号の符号値を表し、１０ｂｉｔの場合には符号値は０から１０２３までの値をとり得る。図中に破線で示したＳＤＲ用の信号フォーマット（例えば、ＢＴ．７０９）のＯＥＴＦと実線で示したＨＤＲ用のＯＥＴＦ（例えば、ＨＬＧ、ＳＴ２０８４又はＳ−Ｌｏｇ３）とを比較すると、特に符号値が相対的に大きい部分において伝達関数の傾きの違いが顕著である。これは、こうした部分において、ＨＤＲのケースではＳＤＲと比較して画像情報がより高い圧縮比で圧縮されていること、即ち符号値の同程度の変化がＨＤＲのケースではＳＤＲのケースよりも大きい階調の変化を表すことを意味している。ＲＧＢ表色系において赤色（Ｒ）成分、緑色（Ｇ）成分及び青色（Ｂ）成分の各々の伝達関数を解析した場合にも、図３に示したグラフに類似したＨＤＲとＳＤＲとの間の信号伝達特性の違いが確認された。

図４は、ＳＤＲ用のＢＴ．７０９に対してＨＤＲ用のＳ−Ｌｏｇ３が画像情報をどの程度圧縮しているかを表すグラフを示している。図４の横軸は、１０ビットの画像信号の符号値を表す。縦軸は、ＢＴ．７０９の圧縮比に対するＳ−Ｌｏｇ３の圧縮比の比率を表す。輝度ダイナミックレンジの１００％に相当するＳ−Ｌｏｇ３の符号値“６００”付近において、Ｓ−Ｌｏｇ３の圧縮比はＢＴ．７０９の圧縮比に対して約４倍であり、符号値が大きくなるほどＳ−Ｌｏｇ３の圧縮比は相対的により高くなっている。このグラフからも、符号値が相対的に大きい部分において、ＨＤＲのケースではＳＤＲのケースと比較して画像情報がより強く圧縮されることが理解される。

ＨＤＲ映像を再生する際には、多くの場合、図３に実線で示したようなＯＥＴＦの逆関数であるＥＯＴＦ（Electro-Optical Transfer Function；電気光伝達関数）を画像信号の符号値に適用することにより、表示素子へ供給すべき電圧レベルが決定され得る。そして、ＨＤＲ映像を構成する個々の画像が、ＥＯＴＦの適用によって拡張された輝度ダイナミックレンジで表示される。撮像から表示までを含むシステム全体の伝達関数をＯＯＴＦといい、ＯＯＴＦはシステムガンマと呼ばれることもある。本明細書において、「伝達関数」とは、特段の言及の無い限り、ＯＥＴＦ、ＥＯＴＦ及びＯＯＴＦのいずれか１つ又は２つ以上の組合せをいう。これら伝達関数は、トーンカーブと呼ばれることもある。

［１−４．色域］
実世界の様子をより忠実に再現し又はよりリッチな映像表現を可能とする技術として、ＨＤＲと共に色域もまた重要な概念である。ＩＴＵ−Ｒにより標準化されたＢＴ．２０２０は、これまで多くのアプリケーションで使用されてきたＢＴ．７０９の色域と比較して、より鮮やかな色彩を表現することを可能とする色域を定義している。図５は、ＢＴ．７０９及びＢＴ．２０２０により定義されている色域について説明するための説明図である。図５を参照すると、所定の拘束条件を用いて３次元の色空間を２次元平面へマッピングした色域グラフが示されている。グラフ中の十字マークは、白色がマッピングされる位置を示す。グラフ中の破線は、ＢＴ．７０９に従って表現することのできる色の範囲を示す。グラフ中の実線は、ＢＴ．２０２０に従って表現することのできる色の範囲を示す。グラフ中の点線は、人間の視覚が識別することのできる色の範囲を示す。図５から理解されるように、ＢＴ．２０２０は、ＢＴ．７０９よりも多彩な色を表現することを可能とする。ＢＴ．７０９が実世界に存在する色の約７５％を表現可能であるのに対し、ＢＴ．２０２０は９９％以上の色を表現可能であると言われている。ＢＴ．２０２０は、ＳＤＲ映像の色域として利用されてもよく、又はＨＤＲ映像の色域として利用されてもよい。

＜２．第１の実施形態＞
［２−１．導入］
ＨＤＲ用の信号フォーマットを用いた場合に画像内の部分領域において顕著となる上述したコーデック歪みは、それら部分領域において原信号の階調を表現するための割り当て符号量が不足することを原因としている。ＭＰＥＧ−２、Ｈ．２６４／ＡＶＣ又はＨ．２６５／ＨＥＶＣといった映像符号化方式に準拠するエンコーダは、所要の圧縮率を達成するために、画像信号を周波数ドメインにおいて量子化する。通常は、イントラ予測又はインター予測といった予測技術を適用した後の予測残差を直交変換することにより得られる変換係数が量子化される。しかし、ＳＤＲ映像の符号化のために最適化されたそれらエンコーダにより使用される量子化ステップの決定方式は、ＨＤＲ用の信号フォーマットが使用される場合にはしばしば非最適となる。

いくつかのエンコーダにおいて採用されている量子化ステップの決定方式は、次の式（１）のように表現され得る。

ここで、Ｑ_ｉは、画像の内容に関わらず、アプリケーションの目的に応じた所要の圧縮率が達成されるように決定される、画像内のｉ番目のブロックの暫定的な量子化ステップを表す。Ｑ´_ｉは、ブロックごとの符号化難易度に基づいて調整される調整後の量子化ステップを表す。Ａｃｔ_Ｂｉは、ｉ番目のブロックについて統計的に算出されるアクティビティを表す。アクティビティとは、符号化難易度の指標の１つであり、例えばブロック内の複数のサブブロックについてそれぞれ算出される分散のうちの最小値に等しい。アクティビティの代わりに、最大符号値と最小符号値との差（これも「ダイナミックレンジ」と呼ばれる場合がある）又は調整前の量子化ステップ自体といった他のパラメータが、符号化難易度の指標として用いられてもよい。関数Ｆ（Ａｃｔ_Ｂｉ）は、ブロックごとのアクティビティ（又は符号化難易度の他の指標）を引き数とし、量子化ステップの調整係数を返す関数である。関数Ｆ（Ａｃｔ_Ｂｉ）の２つの例を、Ｆ_１及びＦ_２として以下に示す：

Ａｃｔ_ＰＩＣは、画像全体にわたるアクティビティの代表値（例えば、平均、中央値又は最大値など）を表す。式（２）によれば、Ｇは、アクティビティＡｃｔ_Ｂｉが画像全体のアクティビティＡｃｔ_ＰＩＣに等しい場合の、暫定量子化ステップＱ_ｉに対する調整後量子化ステップＱ´_ｉの比率に相当する。アクティビティＡｃｔ_Ｂｉがゼロから無限大の間で変化すると、関数Ｆ_１（Ａｃｔ_Ｂｉ）の返り値はＧ／２から２Ｇの間で変化する。式（２）の右辺のＧを除く残りの項は、アクティビティＡｃｔ_Ｂｉを正規化する役割を有する。式（３）によれば、Ｇは、アクティビティＡｃｔ_Ｂｉがゼロに等しい場合（即ち、ｉ番目のブロックが全く平坦である場合）の調整利得に相当する。アクティビティＡｃｔ_Ｂｉがゼロから無限大の間で変化すると、関数Ｆ_２（Ａｃｔ_Ｂｉ）の返り値は１／ＧからＧの間で変化する。本明細書において、これらＧを基本調整利得という。式（３）のケースでは、Ｇは最大調整利得又は最大保護比率などと呼ばれてもよい。

式（２）又は式（３）によれば、ｉ番目のブロックＢ_ｉの画像が他のブロックに対して相対的に平坦である場合、調整後量子化ステップＱ´_ｉはより小さい値へと調整される。あるブロックについて使用される量子化ステップがより小さいほど、当該ブロックの変換係数は精細に量子化される。これは、より多くの符号量が当該ブロックに割り当てられること、即ち当該ブロックの画像の階調がより損なわれることなく維持されることを意味する。

しかしながら、ＨＤＲのケースでは、ＳＤＲのケースと比較すると信号変換の際に階調情報がより強く圧縮される。そのため、実世界における見た目の複雑さ（又は、逆の意味で平坦度）が同程度であれば、ＨＤＲのケースで画像信号の符号値から算出される符号化難易度は、ＳＤＲのケースよりも小さくなる。図６の上段には、一例としての画像Ｉｍ１が示されている。ブロックＢ_ｉは、画像Ｉｍ１に設定されるｉ番目のブロックである。ブロックＢ_ｉについて、ＳＤＲ用の伝達関数が適用された場合の画像信号から算出される符号化難易度（図左下の矢印Ｄ１）よりも、ＨＤＲ用の伝達関数が適用された場合の画像信号から算出される符号化難易度（図右下の矢印Ｄ２）の方が小さい。このような情報圧縮の度合いの異なる２つの画像信号について同程度の主観的画質の保護を提供するためには、式（１）の関数Ｆが包含する利得（例えば、式（２）又は式（３）の基本調整利得Ｇ）は、情報の圧縮に伴う統計値の変動を打ち消すように可変的に設定されることが望ましい。

図５を用いて説明したＢＴ．２０２０の色域のようにより広い色域が使用されるケースでも、例えばＢＴ．７０９のようにより狭い色域が使用されるケースと比較して、色情報がより強く圧縮される。従って、適用された伝達関数ではなく適用された色域が異なる２つの画像信号についても、同程度の主観的画質の保護を提供するためには、量子化ステップの決定の際に情報の圧縮分を補償するような柔軟な制御が行われることが望ましい。

そこで、本節では、どういった種別の伝達関数又は色域が画像に適用されるかに基づいて量子化ステップを柔軟に決定し、主観的な画質について改善された保護を提供するための実施形態について説明する。

［２−２．システムの概要］
図７Ａは、本実施形態に係る画像処理システムの構成の第１の例を示す説明図である。図７Ａに示した画像処理システム１０ａは、撮像装置１１、信号処理装置１４、及びサーバ装置１５を含む。

撮像装置１１は、例えば、デジタルビデオカメラ若しくはデジタルスチルカメラ、又は映像撮影機能を有する任意の種類の装置（例えば、監視カメラ、Ｗｅｂカメラ又は情報端末など）であってよい。撮像装置１１は、イメージセンサを用いて実世界の様子を撮影して、原始的な画像信号を生成する。信号処理装置１４は、例えばＢＰＵ（Baseband Processing Unit）であってよく、撮像装置１１と接続される。信号処理装置１４は、撮像装置１１により生成された原始的な画像信号についてＡＤ変換及びデジタル信号処理を実行し、所定の信号フォーマットで画像信号を生成する。信号処理装置１４により実行されるデジタル信号処理は、例えばガンマ補正及び色変換を含み得る。信号処理装置１４は、撮像装置１１と一体的に構成されてもよい。

信号処理装置１４は、何らかのユーザインタフェースを介してユーザにより複数の候補から選択される伝達関数及び色域で画像信号を生成してもよい。一例として、伝達関数の候補は、ＳＤＲ用としてＢＴ．７０９、ＨＤＲ用としてＨＬＧ、ＳＴ２０８４及びＳ−Ｌｏｇ３を含み得る。また、色域の候補は、ＢＴ．７０９、ＢＴ．２０２０及びＳ−Ｇａｍｕｔを含み得る。

信号処理装置１４は、信号変換の結果として生成される画像信号に、必要に応じて音声信号及びメタデータを含む補助信号を多重化し、多重化されたそれら信号をサーバ装置１５へと出力する。サーバ装置１５は、例えばＳＤＩ（Serial Digital Interface）又はＨＤ−ＳＤＩなどの伝送プロトコルに準拠する信号線を介して信号処理装置１４と接続される画像処理装置である。サーバ装置１５は、信号処理装置１４から送信される画像信号を取得し、所定の映像符号化方式で画像を符号化して符号化ビットストリーム１７ａを生成する。符号化ビットストリーム１７ａは、サーバ装置１５の内部若しくは外部の記憶装置に記憶されてもよく、又はサーバ装置１５へ接続される他の装置（例えば、表示装置）へ伝送されてもよい。

図７Ｂは、本実施形態に係る画像処理システムの構成の第２の例を示す説明図である。図７Ｂに示した画像処理システム１０ｂは、撮像装置１２、記憶装置１３、及び端末装置１６を含む。

撮像装置１２は、例えば、デジタルビデオカメラ、デジタルカムコーダ若しくはデジタルスチルカメラ、又は映像撮影機能を有する任意の種類の装置であってよい。撮像装置１２は、イメージセンサを用いて実世界の様子を撮影して、原始的な画像信号を生成する。また、撮像装置１２は、ＡＤ変換と、信号処理装置１４に関連して上で説明したようなデジタル信号処理とを実行し、所定の信号フォーマットで画像信号を生成する。撮像装置１２は、信号処理装置１４と同様に、何らかのユーザインタフェースを介してユーザにより複数の候補から選択される伝達関数及び色域で画像信号を生成してよい。

撮像装置１２は、信号変換の結果として生成される画像信号に基づき、所定の映像符号化方式で画像を符号化して、符号化ビットストリーム１７ｂを生成する。符号化ビットストリーム１７ｂは、例えば、映像ファイルとして記憶されてもよく、又はネットワークを介して記憶装置１３若しくは端末装置１６へ提供されてもよい。

記憶装置１３は、様々な映像データを記憶するデータストレージである。記憶装置１３は、例えば、所定の映像符号化方式で画像を符号化することにより生成された映像ファイル１７ｃを記憶してもよい。映像ファイルのヘッダ領域には、例えば、映像ファイルに含まれる映像コンテンツに適用された光と画像信号との間の変換に関する伝達関数の種別、色域の種別、及び映像符号化方式をそれぞれ識別するパラメータが含められ得る。記憶装置１３は、符号化前（又は信号変換前）の画像信号をＲＡＷデータとして記録するＲＡＷ映像ファイル１８を記憶してもよい。記憶装置１３は、例えば端末装置１６からのリクエストに応じて、ユーザが再生し又は編集することを望むファイルをネットワークを介して端末装置１６へと提供する。

端末装置１６は、撮像装置１２により生成され又は記憶装置１３により記憶されている映像ファイルを再生し又は編集する機能を有する画像処理装置である。端末装置１６は、例えば、撮像装置１２又は記憶装置１３から取得される映像ファイル１７ｂ又は１７ｃに含まれる符号化ビットストリームを復号して復号画像信号を生成してもよい。また、端末装置１６は、そのように生成される復号画像についてダイナミックレンジ変換（例えば、ＨＤＲ−ＳＤＲ変換又はＳＤＲ−ＨＤＲ変換）を実行してもよい。さらに、端末装置１６は、ＲＡＷ映像ファイル１８に含まれる画像信号、又はダイナミックレンジ変換後の復号画像信号を所定の映像符号化方式で符号化して、符号化ビットストリーム１７ｄを生成してもよい。

図７Ａの例におけるサーバ装置１５、並びに図７Ｂの例における撮像装置１２及び端末装置１６は、いずれも画像を符号化する画像処理装置（即ち、エンコーダ）としての機能を有する。本実施形態では、これら画像処理装置が画像を符号化する際に、当該画像に適用される伝達関数及び色域の少なくとも一方に基づいて（例えば、それらの種別又は他の属性に基づいて）量子化処理に関するパラメータが制御され、それにより画質の劣化が軽減される。次項より、そうした画像処理装置の具体的かつ例示的な構成について詳しく説明する。

［２−３．画像処理装置の概略的な構成］
図８Ａは、本実施形態に係る画像処理装置の概略的な構成の第１の例を示すブロック図である。図８Ａに示した画像処理装置１００ａは、例えば、図７Ａの例におけるサーバ装置１５、又は図７Ｂの例における撮像装置１２若しくは端末装置１６（又は、それら装置のいずれかに搭載される画像処理モジュール）であってよい。画像処理装置１００ａは、信号取得部１０１、情報取得部１０３、符号化部１１０及び制御部１４０を備える。

信号取得部１０１は、光と画像信号との間の変換に関する伝達関数に基づいて生成された入力画像信号を取得する。信号取得部１０１は、伝送インタフェースを介して外部の装置から入力画像信号を取得してもよく、又は画像処理装置１００ａと一体的に構成される撮像モジュール及び信号処理モジュール（図示せず）から入力画像信号を取得してもよい。

情報取得部１０３は、符号化部１１０へと入力される画像に適用された伝達関数及び色域に関する入力情報を取得する。一例として、情報取得部１０３は、画像処理装置１００ａが有するユーザインタフェースを介して入力情報を取得してもよい。ユーザインタフェースは、画像処理装置１００ａの筐体に設けられる例えばタッチパネル、ボタン又はスイッチのような物理的な入力デバイスにより提供されてもよい。その代わりに、ユーザインタフェースは、通信インタフェースを介して遠隔的に接続される端末装置上でＧＵＩ（Graphical User Interface）として提供されてもよい。本実施形態において、入力情報は、少なくとも符号化すべき画像に適用された伝達関数の種別を示す伝達関数種別と、当該画像に適用された色域の種別を示す色域種別とを含む。ユーザインタフェースは、例えば、ＳＤＲ用としてＢＴ．７０９、ＨＤＲ用としてＨＬＧ、ＳＴ２０８４及びＳ−Ｌｏｇ３を含み得る複数の伝達関数種別の候補のうちの１つをユーザに選択させてもよい。また、ユーザインタフェースは、ＢＴ．７０９、ＢＴ．２０２０及びＳ−Ｇａｍｕｔを含み得る複数の色域種別の候補のうちの１つをユーザに選択させてもよい。

他の例として、情報取得部１０３は、入力画像信号と多重化される補助信号から入力情報を取得してもよい。例えば、補助信号は、信号線上で画像信号が伝送されていない期間（例えば、ブランキング期間）において信号取得部１０１により受信される。そして、情報取得部１０３は、信号取得部１０１において分離される補助信号から、伝達関数種別及び色域種別を含む入力情報を取得し得る。また、情報取得部１０３は、外部のデータソースへアクセスして必要とされる入力情報を取得してもよい。

符号化部１１０は、信号取得部１０１により取得される画像信号により表現される画像を符号化して、符号化ビットストリームを生成する。符号化部１１０は、例えばＭＰＥＧ−２、Ｈ．２６４／ＡＶＣ又はＨ．２６５／ＨＥＶＣなどのいかなる映像符号化方式に従って符号化処理を実行してもよい。符号化部１１０により実行される符号化処理は、典型的には、予測、直交変換、量子化及びエントロピー符号化といった様々な演算処理を含み、中でも量子化は所要の圧縮率を達成するための非可逆圧縮を含む処理である。

制御部１４０は、情報取得部１０３により取得される入力情報により示される伝達関数種別及び色域種別の少なくとも一方に基づいて、符号化部１１０において実行される量子化処理を制御する。例えば、制御部１４０は、どういった種別の伝達関数が画像に適用されるかに依存して異なる調整利得で、符号化部１１０に量子化処理における量子化ステップを調整させてもよい。また、制御部１４０は、どういった種別の色域が画像に適用されるかに依存して異なる調整利得で、符号化部１１０に量子化処理における量子化ステップを調整させてもよい。なお、ここでは主に伝達関数及び色域の種別に基づいて量子化ステップなどの処理パラメータが決定される例を説明するが、他の属性に基づいて処理パラメータが決定されてもよい。後述する第２の実施形態においても同様である。

図８Ｂは、本実施形態に係る画像処理装置の概略的な構成の第２の例を示すブロック図である。図８Ｂに示した画像処理装置１００ｂもまた、例えば、図７Ａの例におけるサーバ装置１５、又は図７Ｂの例における撮像装置１２若しくは端末装置１６（又は、それら装置のいずれかに搭載される画像処理モジュール）であってよい。画像処理装置１００ｂは、信号処理部１０２、情報取得部１０４、記憶部１０７、符号化部１１０及び制御部１４０を備える。

信号処理部１０２は、何らかの伝送インタフェース若しくは装置内部の信号線を介して撮像装置から入力される原始的な画像信号を取得し、又は記憶部１０７により記憶されている映像ファイルから画像信号を取得する。そして、信号処理部１０２は、原始的な画像信号について例えばガンマ補正及び色変換を含み得るデジタル信号処理を実行し、所定の信号フォーマットで符号化の対象とされる画像信号を生成する。信号処理部１０２により画像に適用される伝達関数及び色域は、情報取得部１０４により取得される入力情報に基づいて決定される。そして、信号処理部１０２は、生成した画像信号を符号化部１１０へ出力する。

情報取得部１０４は、符号化部１１０により符号化される画像に適用される伝達関数及び色域に関する入力情報を取得する。例えば、情報取得部１０４は、画像処理装置１００ｂが有する（物理的な入力デバイスにより提供され又はＧＵＩとして提供される）ユーザインタフェースを介して入力情報を取得してよい。上述したように、入力情報は、少なくとも伝達関数種別と色域種別とを含む。ユーザインタフェースは、例えば、ＳＤＲ用としてＢＴ．７０９、ＨＤＲ用としてＨＬＧ、ＳＴ２０８４及びＳ−Ｌｏｇ３を含み得る複数の伝達関数種別の候補のうちの１つをユーザに選択させてもよい。また、ユーザインタフェースは、ＢＴ．７０９、ＢＴ．２０２０及びＳ−Ｇａｍｕｔを含み得る複数の色域種別の候補のうちの１つをユーザに選択させてもよい。

記憶部１０７は、様々な映像データを記憶するための記憶デバイスである。記憶部１０７は、例えば、信号変換前のデジタル画像信号を記録する映像ファイルを記憶してもよい。ユーザは、画像処理装置１００ｂが有する入出力インタフェース（図示せず）を介して、外部記憶媒体から取得される映像ファイルを記憶部１０７に記憶させてもよい。また、記憶部１０７は、符号化部１１０により実行される符号化処理の結果として生成される符号化ビットストリームを含む映像ファイルを記憶してもよい。映像ファイルは、リクエストに応じて外部の装置へと出力されてもよい。

図８Ａを用いて説明した第１の例と同様に、符号化部１１０は、信号処理部１０２から入力される画像信号により表現される画像を符号化して、符号化ビットストリームを生成する。制御部１４０は、情報取得部１０４により取得される入力情報により示される伝達関数種別及び色域種別の少なくとも一方に基づいて、符号化部１１０において実行される量子化処理を制御する。符号化部１１０により生成される符号化ビットストリームは、画像処理装置１００ｂの外部の装置へと伝送されてもよく、又は記憶部１０７により映像ファイルとして記憶されてもよい。

［２−４．符号化部及び制御部の詳細な構成］
本項では、図８Ａ及び図８Ｂに示した符号化部１１０及び制御部１４０のより具体的な構成について詳しく説明する。図９は、第１の実施形態に係る符号化部及び制御部の詳細な構成の一例を示すブロック図である。

（１）符号化部
図９を参照すると、符号化部１１０は、並び替えバッファ１１１、ブロック設定部１１２、減算部１１３、直交変換部１１４、量子化部１１５、可逆符号化部１１６、逆量子化部１２１、逆直交変換部１２２、加算部１２３、ループフィルタ１２４、フレームメモリ１２６、スイッチ１２７、モード選択部１２８、イントラ予測部１３０及びインター予測部１３５を備える。

並び替えバッファ１１１は、信号取得部１０１又は信号処理部１０２により取得される画像信号により表現される一連の画像の画像データを、ＧＯＰ（Group of Pictures）構造に応じて並び替える。並び替えバッファ１１１は、並び替え後の画像データをブロック設定部１１２、イントラ予測部１３０及びインター予測部１３５へ出力する。

ブロック設定部１１２は、ピクチャに相当する画像の各々を複数のブロックへと分割する。ＭＰＥＧ−２及びＨ．２６４／ＡＶＣでは、ピクチャは固定的なサイズを有する複数のマクロブロックへと格子状に分割され、各マクロブロックを処理単位として符号化処理が実行される。量子化処理は、各マクロブロックに設定されるより小さいサブブロックを処理単位として実行され得る。Ｈ．２６５／ＨＥＶＣでは、ピクチャは可変的なサイズを有する複数の符号化単位（Coding Unit）へと四分木状に分割され、各ＣＵを処理単位として符号化処理が実行される。量子化処理は、各ＣＵに設定されるより小さい変換単位（Transform Unit）を処理単位として実行され得る。

減算部１１３は、ブロック設定部１１２から入力される画像データと予測画像データとの差分である予測残差データを算出し、予測残差データを直交変換部１１４へ出力する。

直交変換部１１４は、減算部１１３から入力される予測残差データを、空間領域の画像データから周波数領域の変換係数データへと変換する。直交変換部１１４により実行される直交変換は、例えば離散コサイン変換又は離散サイン変換などであってよい。そして、直交変換部１１４は、変換係数データを量子化部１１５へ出力する。

量子化部１１５は、直交変換部１１４から入力される変換係数データを量子化する。例えば、出力される符号化ビットストリームのサイズに対してバッファ又は伝送路の空き容量が多い場合には量子化ステップは小さく設定され、逆に空き容量が少ない場合には量子化ステップは大きく設定され得る。より具体的には、量子化部１１５は、所要の圧縮率が達成されるようにブロックごとに暫定的に量子化ステップを決定し、さらにブロックごとの符号化難易度に応じて量子化ステップを調整する。そして、量子化部１１５は、調整後の量子化ステップで変換係数データを量子化する。量子化後の変換係数データ（以下、量子化データという）は、可逆符号化部１１６及び逆量子化部１２１へ出力される。

量子化部１１５における量子化ステップの調整は、上で説明した式（１）に従って行われてよい。式（１）の関数Ｆ（Ａｃｔ_Ｂｉ）は、量子化ステップの調整利得を表す処理パラメータを含む。調整利得が大きいほど量子化ステップはより小さい値へと調整され、結果的に当該ブロックへの符号量の割り当てが増加する。調整利得を表すパラメータの一例は、式（２）及び式（３）に含まれる基本調整利得Ｇである。この場合、量子化部１１５は、基本調整利得Ｇと各ブロックの符号化難易度Ａｃｔ_Ｂｉとに基づいて調整される調整後の量子化ステップで、各ブロックについて量子化処理を実行する。量子化部１１５において、色成分ごとに異なる量子化ステップが使用されてもよい。また、量子化ステップの調整が色成分ごとに異なる処理パラメータを用いて行われてもよい。

可逆符号化部１１６は、量子化部１１５から入力される量子化データを符号化することにより、符号化ビットストリームを生成する。また、可逆符号化部１１６は、デコーダにより参照される様々なパラメータを符号化して、符号化されたパラメータを符号化ビットストリームへ挿入する。可逆符号化部１１６により符号化されるパラメータは、伝達関数に関する情報、色域に関する情報、及び量子化パラメータに関する情報を含み得る。可逆符号化部１１６は、生成した符号化ビットストリームを、アプリケーションの目的に応じた出力先へと出力する。

逆量子化部１２１、逆直交変換部１２２及び加算部１２３は、ローカルデコーダを構成する。ローカルデコーダは、符号化されたデータから原画像を再構築する役割を有する。

逆量子化部１２１は、量子化部１１５により使用されたものと同じ量子化ステップで量子化データを逆量子化し、変換係数データを復元する。そして、逆量子化部１２１は、復元した変換係数データを逆直交変換部１２２へ出力する。

逆直交変換部１２２は、逆量子化部１２１から入力される変換係数データについて逆直交変換処理を実行することにより、予測残差データを復元する。そして、逆直交変換部１２２は、復元した予測残差データを加算部１２３へ出力する。

加算部１２３は、逆直交変換部１２２から入力される復元された予測残差データとイントラ予測部１３０又はインター予測部１３５により生成される予測画像データとを加算することにより、復号画像データを生成する。そして、加算部１２３は、生成した復号画像データをループフィルタ１２４及びフレームメモリ１２６へ出力する。

ループフィルタ１２４は、復号画像の画質の向上を目的とするインループフィルタである。ループフィルタ１２４は、例えば、復号画像に現れるブロック歪みを軽減するためのデブロックフィルタを含んでもよい。また、ループフィルタ１２４は、復号画像にエッジオフセット又はバンドオフセットを加えるための適応オフセットフィルタを含んでもよい。ループフィルタ１２４は、フィルタリング後の復号画像データをフレームメモリ１２６へ出力する。

フレームメモリ１２６は、加算部１２３から入力されるフィルタリング前の復号画像データ、及びループフィルタ１２４から入力されるインループフィルタの適用後の復号画像データを記憶する。

スイッチ１２７は、イントラ予測のために使用されるフィルタリング前の復号画像データをフレームメモリ１２６から読み出し、読み出した復号画像データを参照画像データとしてイントラ予測部１３０に供給する。また、スイッチ１２７は、インター予測のために使用されるフィルタリング後の復号画像データをフレームメモリ１２６から読み出し、読み出した復号画像データを参照画像データとしてインター予測部１３５に供給する。

モード選択部１２８は、イントラ予測部１３０及びインター予測部１３５から入力されるコストの比較に基づいて、ブロックごとに予測手法を選択する。モード選択部１２８は、イントラ予測を選択したブロックについては、イントラ予測部１３０により生成される予測画像データを減算部１１３へ出力すると共に、イントラ予測に関する情報を可逆符号化部１１６へ出力する。また、モード選択部１２８は、インター予測を選択したブロックについては、インター予測部１３５により生成される予測画像データを減算部１１３へ出力すると共に、インター予測に関する情報を可逆符号化部１１６へ出力する。

イントラ予測部１３０は、原画像データ及び復号画像データに基づいて、イントラ予測処理を実行する。例えば、イントラ予測部１３０は、探索範囲に含まれる複数の候補モードの各々について、発生すると推定されるコストを評価する。次に、イントラ予測部１３０は、コストが最小となる予測モードを最良の予測モードとして選択する。また、イントラ予測部１３０は、選択した最良の予測モードに従って予測画像データを生成する。そして、イントラ予測部１３０は、最良の予測モードを示す予測モード情報を含むイントラ予測に関する情報、対応するコスト、及び予測画像データを、モード選択部１２８へ出力する。

インター予測部１３５は、原画像データ及び復号画像データに基づいて、インター予測処理（動き補償）を実行する。例えば、インター予測部１３５は、探索範囲に含まれる複数の候補モードの各々について、発生すると推定されるコストを評価する。次に、インター予測部１３５は、コストが最小となる予測モードを最良の予測モードとして選択する。また、インター予測部１３５は、選択した最良の予測モードに従って予測画像データを生成する。そして、インター予測部１３５は、インター予測に関する情報、対応するコスト、及び予測画像データを、モード選択部１２８へ出力する。

（２）制御部
図９を参照すると、制御部１４０は、統計演算部１４１及び量子化制御部１４３を備える。

統計演算部１４１は、画像全体にわたる符号化難易度、及び画像に設定されるブロックの各々についての符号化難易度を算出する。例えば、統計演算部１４１は、符号化難易度として、上で説明したアクティビティＡｃｔ_Ｂｉ及びＡｃｔ_ＰＩＣを算出し得る。そして、統計演算部１４１は、算出したこれら統計値を量子化制御部１４３へ出力する。

量子化制御部１４３は、符号化される画像に適用される伝達関数及び色域を、情報取得部１０３又は１０４から入力される入力情報に基づいて判定する。そして、量子化制御部１４３は、伝達関数若しくは色域、又はそれらの組合せに基づいて、量子化ステップの調整のために使用すべき基本調整利得を決定する。より具体的には、量子化制御部１４３は、伝達関数及び色域の一方又は双方の相違に起因する画像信号の符号値の変化が量子化処理に与える影響を打ち消すように、基本調整利得を決定し得る。ここでの影響は、典型的には量子化の結果として生じるコーデック歪みの程度の変動として現れ、主観的な画質の劣化としても感知され得る。コーデック歪みの程度は、上述したＰＳＮＲという指標を用いて評価されることができる。例えば、事前のチューニングにおいて調整利得を変化させながらＰＳＮＲの変化を評価し又は主観的な画質を検証することにより、伝達関数ごと若しくは色域ごと又はそれらの組合せごとに、上述した影響を打ち消すための基本調整利得の値を決定することができ、そのように決定された基本調整利得の値が記憶部１０７に記憶され得る。そして、量子化制御部１４３は、例えば、伝達関数若しくは色域、又はそれらの組合せに対応する、それら予め決定された値のうちの１つを記憶部１０７から読み出して、量子化ステップの調整のために使用すべき基本調整利得の値として決定し得る。

以下、図１０〜図１３を用いて、基本調整利得の動的な決定の意義を説明する。図１０には、図６に例示したものと同様の画像Ｉｍ１が示されている。ブロックＢ１は、画像Ｉｍ１の中で相対的に複雑な画像内容を有する領域に位置し、ブロックＢ２は、画像Ｉｍ１の中で相対的に平坦な画像内容を有する領域に位置する。図１１は、ＳＤＲのケース（例えば、伝達関数がＢＴ．７０９である）での量子化ステップの調整の一例を示している。ここでは、仮にブロックＢ１及びＢ２について暫定的に決定される量子化ステップが共にＱに等しいものとする。符号化難易度のより高い（アクティビティのより大きい）ブロックＢ１の量子化ステップは、Ｑ´_Ｂ１へと調整される。一方、符号化難易度のより低い（アクティビティのより小さい）ブロックＢ２の量子化ステップは、Ｑ´_Ｂ１よりもより小さいＱ´_Ｂ２へと調整される。これら調整の幅は、ＳＤＲのケースについて良好に設計された基本調整利得Ｇ_ＳＤＲにより左右される。

図１２は、既存の手法に係るＨＤＲのケース（例えば、伝達関数がＨＬＧである）での量子化ステップの調整の一例を示している。既存の手法によれば、画像に適用される伝達関数及び色域に関わらず固定的な基本調整利得が使用される。一方、同じ被写体を映した画像について算出される符号化難易度は、信号変換の際に画像情報がより強く圧縮されていればより小さい値となり、それに応じて量子化ステップの調整式（１）における調整幅もまたより小さくなる。結果的に、図１２のケースにおいて、ブロックＢ１の量子化ステップはＱ´_Ｂ１よりも大きいＱ´´_Ｂ１へと調整され、ブロックＢ２の量子化ステップはＱ´_Ｂ２よりも大きいＱ´´_Ｂ２へと調整され得る。特に符号化難易度の低い平坦なブロックＢ２については、図１１のＳＤＲのケースでのＱ´_Ｂ２に対して図１２のＨＤＲのケースにおいてＱ´´_Ｂ２は格段に大きい。これが、ＨＤＲのケースで平坦な領域において割り当て符号量が不足し、画像の劣化が顕著となっていた原因である。

図１３は、本実施形態に係る量子化ステップの調整の一例を示している。本実施形態においては、上述したように、量子化制御部１４３が、画像に適用される伝達関数及び色域のうちの少なくとも一方に基づいて、量子化ステップの調整の際に使用される基本調整利得を切り替える。図１３の例では、ＨＤＲのケースで画像情報の圧縮の度合いに応じてそれぞれ設計されたＳＤＲ用の基本調整利得Ｇ_ＳＤＲ及びＨＤＲ用の基本調整利得Ｇ_ＨＤＲのうちの基本調整利得Ｇ_ＨＤＲが使用される。その結果、ブロックＢ１の量子化ステップはＱ´_Ｂ１へと調整され、ブロックＢ２の量子化ステップはＱ´_Ｂ２へと調整され得る。このような処理パラメータの切り替えによって、画像情報の圧縮に伴う符号化難易度の統計値上の変動が補償され、割り当て符号量の不足に起因する画質の劣化が軽減される。

量子化制御部１４３は、このように決定される基本調整利得と、統計演算部１４１により算出される（画像全体の及び各ブロックの）符号化難易度とを用いて調整係数を算出し、算出した調整係数を量子化部１１５へ提供してもよい。その代わりに、量子化制御部１４３により決定される基本調整利得及び統計演算部１４１により算出される符号化難易度が量子化部１１５へ提供され、量子化部１１５において式（２）又は式（３）に従って調整係数が算出されてもよい。記憶部１０７は、伝達関数及び色域のうちの一方又は双方に関連付けられる基本調整利得の値を記憶していてもよい。基本調整利得の値は、伝達関数ごとに定義され、色域ごとに定義され、又は伝達関数と色域との組合せごとに定義され得る。

こうした量子化ステップの制御は、典型的には、ＭＰＥＧ−２若しくはＨ．２６４／ＡＶＣにおけるマクロブロック若しくはサブブロック、又はＨ．２６５／ＨＥＶＣにおけるＣＵ若しくはＴＵといった矩形のブロックごとに行われる。しかしながら、本実施形態のアイディアは、矩形ではない形状を有する部分領域ごとに量子化制御処理が実行されるケースにも適用可能である。

［２−５．処理の流れ］
図１４は、本実施形態に係る符号化制御処理の流れの一例を示すフローチャートである。ここで説明する符号化制御処理は、映像を構成する個々の画像について繰り返されてよい。複数の画像にわたって変化しないパラメータを取得し又は設定するための処理ステップは、２回目以降の繰り返しにおいてスキップされてもよい。なお、ここでは、説明の簡明さのために、量子化処理の制御に直接的に関連しない処理ステップについての説明は省略される。

図１４を参照すると、まず、信号取得部１０１又は信号処理部１０２は、光と画像信号との間の変換に関する伝達関数に基づいて生成された画像信号を取得する（ステップＳ１１０）。ここで取得される画像信号は、符号化部１１０へ出力される。

次に、情報取得部１０３又は１０４は、符号化部１１０へと入力される画像に適用された伝達関数及び色域を示す入力情報を、ユーザインタフェースを介して又は入力画像信号と多重化される補助信号から取得する（ステップＳ１１２）。ここで取得される入力情報は、制御部１４０へ出力される。

次に、量子化制御部１４３は、上述した入力情報により示される伝達関数及び色域のうち少なくとも一方に基づいて、基本調整利得を決定する（ステップＳ１１４）。また、統計演算部１４１は、ピクチャ全体の符号化難易度を算出し、算出した符号化難易度を量子化制御部１４３へ出力する（ステップＳ１１６）。

その後の処理は、処理対象の画像に設定される複数のブロックのうちの各々について繰り返される。各繰り返しにおける処理対象のブロックを、ここでは注目ブロックという。

まず、符号化部１１０の量子化部１１５は、どのような伝達関数及び色域が適用されたかに関わらず、所要の圧縮率が達成されるように注目ブロックの暫定量子化ステップを決定する（ステップＳ１２０）。

また、統計演算部１４１は、注目ブロックの符号化難易度を算出し、算出した符号化難易度を量子化制御部１４３へ出力する（ステップＳ１３０）。量子化制御部１４３は、ステップＳ１１４において決定した基本調整利得及び統計演算部１４１により算出された符号化難易度を用いて、注目ブロックについての調整係数を決定する（ステップＳ１４０）。

量子化部１１５は、量子化制御部１４３から提供される調整係数を用いて、ステップＳ１２０において決定した量子化ステップを調整する（ステップＳ１５０）。そして、量子化部１１５は、直交変換部１１４から入力される注目ブロックの変換係数データを、調整後の量子化ステップで量子化する（ステップＳ１６０）。なお、ここでは、所要の圧縮率が達成されるように暫定的に決定された量子化ステップを調整係数を用いて調整する例を説明しているが、所要の圧縮率及び調整係数の双方を同時に考慮して量子化ステップが決定されてもよい。

次に、可逆符号化部１１６は、量子化部１１５から入力される量子化データと量子化パラメータとを符号化して、符号化ビットストリームを生成する（ステップＳ１７０）。

ステップＳ１２０〜ステップＳ１７０は、ピクチャ内の全てのブロックについて処理が終了するまで繰り返される（ステップＳ１８０）。そして、全てのピクチャについて処理が終了すると、図１４に示した符号化制御処理は終了する（ステップＳ１９０）。

［２−６．第１の実施形態のまとめ］
ここまで、図６〜図１４を用いて、本開示に係る技術の第１の実施形態について説明した。上述した実施形態では、光と画像信号との間の変換に関する伝達関数及び色域のうちの少なくとも一方に基づいて、画像を符号化する際の量子化処理に関する処理パラメータが決定される。かかる構成によれば、伝達関数の相違、又は色域の相違に起因して不適切な量子化ステップが使用されることを防止することができる。それにより、画像を符号化する際に原信号の階調を表現するために十分な割り当て符号量を確保して、画質の劣化を防止することができる。

また、上述した実施形態では、画像の部分領域ごとの符号化難易度に応じて量子化ステップを調整する際に使用される基本調整利得が、伝達関数及び色域のうちの少なくとも一方に基づいて決定される。かかる構成によれば、伝達関数又は色域の選択に依存して符号化難易度が統計値上で小さくなるケースでは相対的に大きい基本調整利得を使用し、逆に符号化難易度が統計値上で大きくなるケースでは相対的に小さい基本調整利得を使用することができる。それにより、画像信号の表現手法に影響されない一貫した量子化ステップの調整が実現される。

また、上述した実施形態では、伝達関数及び色域に関する入力情報に基づいて、伝達関数及び色域が判定され得る。上記入力情報がユーザインタフェースを介して取得される場合には、入力信号からこれら種別を判別できない場合にもユーザが望む通りの制御を実行することができる。上記入力情報が入力画像信号と多重化される補助信号から取得される場合には、ユーザ入力を要することなく自動的に適切な種別を判定することができる。

＜３．第２の実施形態＞
［３−１．導入］
前節で説明したように、ＨＤＲのケースではＳＤＲと比較して画像情報がより高い圧縮比で圧縮されている。色域が異なる場合にも、画像情報の圧縮比は相違する。画像情報の圧縮比が相違すれば、画像信号の同一の符号値は、実世界における異なる明るさ又は色を表す。前節においては、従来画一的に決定されていた量子化ステップをこうした符号値の意味の相違を考慮に入れて柔軟に決定することを提案した。しかし、量子化ステップの調整に関するパラメータ以外にも、符号値の意味の相違を考慮に入れて決定されるべき処理パラメータは存在する。画像処理の様々な場面で実行される画素分類処理に関するパラメータもまた、そうした処理パラメータに該当する。

ここでは、画素分類処理の一例として、図１５Ａ〜図１５Ｄを用いて、ある画素が肌色領域に属するか否かを分類する処理について検討する。これら図において、横軸は２つの色差成分のうちの一方であるＣｂ成分の符号値を表し、縦軸は２つの色差成分のうちの他方であるＣｒ成分の符号値を表す。

図１５Ａの矩形領域Ｒ１１は、人間により主観的に肌色であると認識される実世界の色の集合を、ＳＤＲ用の伝達関数及びＢＴ．７０９の色域でＣｂ−Ｃｒ平面上にマッピングした結果としての、マッピング後の肌色の集合を含む領域である。矩形領域Ｒ１１の左辺及び右辺は、画素が肌色領域に属するか否かを分類する際にＣｂ成分の符号値と比較される閾値に対応し、下辺及び上辺は、画素が肌色領域に属するか否かを分類する際にＣｒ成分の符号値と比較される閾値に対応する。実世界の同じ肌色の集合をＳＤＲ用の伝達関数及びＢＴ．２０２０の色域でＣｂ−Ｃｒ平面上にマッピングすると、マッピング後のそれら肌色の集合は、矩形領域Ｒ１２内に位置する。これら２つの矩形領域Ｒ１１及びＲ１２を比較すると、ＳＤＲのケースにおいて、種別の異なる色域が画像に適用されている場合には、画素を肌色か否かに分類する画素分類処理において異なる閾値を使用すべきであることが理解される。

図１５Ｂの矩形領域Ｒ２は、実世界の同じ肌色の集合を、ＨＤＲ用の伝達関数であるＳ−Ｌｏｇ３及びＢＴ．２０２０の色域でＣｂ−Ｃｒ平面上にマッピングした結果としての、マッピング後の肌色の集合を含む領域である。図１５Ｃの矩形領域Ｒ３は、実世界の同じ肌色の集合を、ＨＤＲ用の伝達関数であるＨＬＧ及びＢＴ．２０２０の色域でＣｂ−Ｃｒ平面上にマッピングした結果としての、マッピング後の肌色の集合を含む領域である。矩形領域Ｒ３は、Ｃｂ−Ｃｒ平面上で矩形領域Ｒ２とは異なる領域を占める。これは、色域が同じであっても種別の異なる伝達関数が画像に適用されている場合には、画素を肌色か否かに分類する画素分類処理において異なる閾値を使用すべきであることを意味している。

図１５Ｄの矩形領域Ｒ４は、実世界の同じ肌色の集合を、ＨＤＲ用の伝達関数であるＳ−Ｌｏｇ３及びＳ−Ｇａｍｕｔという色域でＣｂ−Ｃｒ平面上にマッピングした結果としての、マッピング後の肌色の集合を含む領域である。矩形領域Ｒ４は、Ｃｂ−Ｃｒ平面上で矩形領域Ｒ２とは異なる領域を占める。これは、ＨＤＲのケースにおいて、伝達関数が同じであっても種別の異なる色域が画像に適用されている場合には、画素を肌色か否かに分類する画素分類処理において異なる閾値を使用すべきであることを意味している。

これら考察は、肌色に限らず他の色にも当てはまる。概して、色成分の符号値を何らかの閾値と比較することにより画素を分類する画素分類処理を実装しようとする場合、ある伝達関数及び色域の組合せについて適切な閾値は、必ずしも伝達関数及び色域の他の組合せについて適切ではない。そこで、本節において、第２の実施形態として、画素分類のために画一的な閾値を用いる代わりに、伝達関数及び色域の一方又は双方に基づいて柔軟に閾値を切り替える手法を提案する。

［３−２．システムの概要］
本実施形態に係る画像処理システムは、第１の実施形態における画像処理システム１０ａ又は１０ｂと同様に構成されてもよい。一例として、システム内のいずれかの装置が画像を符号化するエンコーダとしての機能を有し、エンコーダにおいて特定の領域（例えば、肌色領域）の画質の保護を強化するために領域検出処理が実行されてもよい。他の例として、本実施形態に係る画像処理システムは画像信号を取得する任意の種類の装置を含み、その装置において顔認識、ジェスチャ認識、生体認証又は拡張現実などの様々な目的のために画素分類処理が実行されてもよい。本実施形態では、そうした画素分類処理において伝達関数及び色域の少なくとも一方に基づいて画素分類のための処理パラメータが制御される。それにより、画一的な処理パラメータが使用される例と比較して、より正確な画素分類結果を得ることが可能とされる。

［３−３．画像処理装置の概略的な構成］
図１６は、第２の実施形態に係る画像処理装置の概略的な構成の一例を示すブロック図である。図１６に示した画像処理装置２００ａは、信号取得部２０１、情報取得部２０３、符号化部２１０及び制御部２４０を備える。

信号取得部２０１は、光と画像信号との間の変換に関する伝達関数に基づいて生成された入力画像信号を取得する。信号取得部２０１は、伝送インタフェースを介して外部の装置から入力画像信号を取得してもよく、又は画像処理装置２００ａと一体的に構成される撮像モジュール及び信号処理モジュール（図示せず）から入力画像信号を取得してもよい。

情報取得部２０３は、符号化部２１０へと入力される画像に適用された伝達関数及び色域に関する入力情報を取得する。一例として、情報取得部２０３は、画像処理装置２００ａが有するユーザインタフェースを介して入力情報を取得してもよい。ユーザインタフェースは、画像処理装置２００ａの筐体に設けられる例えばタッチパネル、ボタン又はスイッチのような物理的な入力デバイスにより提供されてもよい。その代わりに、ユーザインタフェースは、通信インタフェースを介して遠隔的に接続される端末装置上でＧＵＩとして提供されてもよい。本実施形態において、入力情報は、少なくとも符号化すべき画像に適用された伝達関数の種別を示す伝達関数種別と、当該画像に適用された色域の種別を示す色域種別とを含む。ユーザインタフェースは、例えば、ＳＤＲ用としてＢＴ．７０９、ＨＤＲ用としてＨＬＧ、ＳＴ２０８４及びＳ−Ｌｏｇ３を含み得る複数の伝達関数種別の候補のうちの１つをユーザに選択させてもよい。また、ユーザインタフェースは、ＢＴ．７０９、ＢＴ．２０２０及びＳ−Ｇａｍｕｔを含み得る複数の色域種別の候補のうちの１つをユーザに選択させてもよい。

他の例として、情報取得部２０３は、入力画像信号と多重化される補助信号から入力情報を取得してもよい。例えば、補助信号は、信号線上で画像信号が伝送されていない期間において信号取得部２０１により受信される。そして、情報取得部２０３は、信号取得部２０１において分離される補助信号から、伝達関数種別及び色域種別を含む入力情報を取得し得る。

符号化部２１０は、信号取得部２０１により取得される画像信号により表現される画像を符号化して、符号化ビットストリームを生成する。符号化部２１０は、例えばＭＰＥＧ−２、Ｈ．２６４／ＡＶＣ又はＨ．２６５／ＨＥＶＣなどのいかなる映像符号化方式に従って符号化処理を実行してもよい。符号化部２１０により実行される符号化処理は、所要の圧縮率を達成するための非可逆圧縮を含む量子化処理を包含する。

制御部２４０は、情報取得部２０３により取得される入力情報により示される伝達関数種別及び色域種別の少なくとも一方に基づいて画素分類処理を実行し、画素分類の結果に依存して符号化部２１０における量子化処理を制御する。例えば、制御部２４０は、どういった伝達関数及び色域の組合せが画像に適用されるかに依存して異なる閾値を用いて画像内の特定領域を検出する。そして、制御部２４０は、検出した特定領域に適用される量子化ステップをスケーリングすることにより、特定領域の画質の保護を強化する。

［３−４．符号化部及び制御部の詳細な構成］
本項では、図１６に示した符号化部２１０及び制御部２４０のより具体的な構成について詳しく説明する。図１７は、第２の実施形態に係る符号化部及び制御部の詳細な構成の一例を示すブロック図である。

（１）符号化部
図１７を参照すると、符号化部２１０は、並び替えバッファ１１１、ブロック設定部１１２、減算部１１３、直交変換部１１４、量子化部２１５、可逆符号化部１１６、逆量子化部２２１、逆直交変換部１２２、加算部１２３、ループフィルタ１２４、フレームメモリ１２６、スイッチ１２７、モード選択部１２８、イントラ予測部１３０及びインター予測部１３５を備える。

量子化部２１５は、直交変換部１１４から入力される変換係数データを量子化する。より具体的には、量子化部２１５は、所要の圧縮率が達成されるようにブロックごとに暫定的に量子化ステップを決定し、さらに画素分類の結果に応じて量子化ステップを調整する。そして、量子化部２１５は、調整後の量子化ステップで変換係数データを量子化し、量子化データを可逆符号化部１１６及び逆量子化部２２１へ出力する。

量子化部２１５における量子化ステップの調整は、制御部２４０により提供される調整利得を暫定量子化ステップに適用する（例えば、調整係数を暫定量子化ステップに乗算する）ことにより行われてよい。調整利得が大きいほど量子化ステップはより小さい値へと調整され、結果的に対象ブロックへの符号量の割り当てが増加する。例えば、肌色領域に属するブロックについて符号量の割り当てを増加させることで、人間の顔や手などが映る領域の画質の保護が強化され得る。量子化部２１５は、色成分ごとに異なる量子化ステップを使用してもよい。

逆量子化部２２１は、量子化部２１５により使用されたものと同じ量子化ステップで量子化データを逆量子化し、変換係数データを復元する。そして、逆量子化部２２１は、復元した変換係数データを逆直交変換部１２２へ出力する。

（２）制御部
図１７を参照すると、制御部２４０は、閾値制御部２４１、画素分類部２４３及び量子化制御部２４５を備える。

閾値制御部２４１は、符号化される画像に適用される伝達関数及び色域を、情報取得部２０３から入力される入力情報に基づいて判定する。そして、閾値制御部２４１は、伝達関数若しくは色域、又はそれらの組合せに基づいて、画素分類処理において使用されるべき、色成分の符号値と比較される閾値を決定する。例えば、画素分類処理は、各画素が特定の色を表すか否かを分類して特定の色領域を検出するための領域検出処理であってもよい。また、画素分類処理は、各画素が特定の明るさを表すか否かを分類して特定の明るさ領域を検出するための領域検出処理であってもよい。これらの例に限定されず、画素を何らかのカテゴリへと分類する任意の画素分類処理が採用されてよい。閾値制御部２４１は、例えば、伝達関数若しくは色域、又はそれらの組合せに関連付けられる閾値を記憶するメモリ（図示せず）を参照し、入力情報により示される種別に関連付けられている閾値を、使用すべき閾値として決定してもよい。典型的には、伝達関数及び色域のうちの少なくとも一方の相違に起因する画像信号の符号値の変化が画素分類処理に与える影響を打ち消すように、伝達関数ごと、色域ごと、又はそれらの組合せごとに異なる閾値が使用され得る。

画素分類部２４３は、閾値制御部２４１により決定される閾値を用いて、入力画像信号により表現される画像について画素分類処理を実行する。例えば、画素分類処理が肌色領域検出処理である場合、閾値制御部２４１により決定される閾値は、肌色判定閾値を含む。肌色判定閾値は、図１５Ａ〜図１５Ｄに例示した矩形領域Ｒ１１、Ｒ１２、Ｒ２、Ｒ３又はＲ４の境界に対応し、左辺及び右辺がＣｂ成分と比較される２つの閾値に、下辺及び上辺がＣｒ成分と比較される２つの閾値にそれぞれ対応する。例えば、ＳＤＲ用の伝達関数及びＢＴ．７０９の色域が適用されるケースでは、画素分類部２４３は、閾値判定の結果として各画素がＣｂ−Ｃｒ平面上で矩形領域Ｒ１１内に位置すると判定される場合に、当該画素が肌色を表すと判定し得る。ＳＤＲ用の伝達関数及びＢＴ．２０２０の色域が適用されるケースでは、画素分類部２４３は、閾値判定の結果として各画素がＣｂ−Ｃｒ平面上で矩形領域Ｒ１２内に位置すると判定される場合に、当該画素が肌色を表すと判定し得る。他の伝達関数及び色域が適用されるケースでも、対応する領域検出閾値を用いて同様の判定が行われ得る。画素分類部２４３は、こうした画素分類の結果を量子化制御部２４５へ出力する。なお、ここでは単純な閾値判定での画素分類の例を主に説明しているが、画素分類の手法はかかる例に限定されない。例えば、矩形ではない形状の領域に各画素が位置するかを判定するために、１つ以上の色成分の符号値を引き数とする領域判定用関数が利用されてもよい。そして、領域判定用関数に含まれる係数又は定数などのパラメータが、伝達関数及び色域のうちの一方又は双方の組合せに依存して切り替えられてもよい。代替的に、異なる識別情報が付与された複数の領域判定用関数が予め定義され、伝達関数及び色域のうちの一方又は双方の組合せに依存して選択される識別情報により識別される領域判定用関数が利用されてもよい。

量子化制御部２４５は、画素分類部２４３から入力される画素分類の結果に基づいて、量子化部２１５において実行される量子化処理を制御する。例えば、量子化制御部２４５は、制御対象の画素又はブロックが画質の保護を強化することが望まれる特定の領域に属すると分類された場合には、その画素又はブロックについて、暫定量子化ステップよりも小さい値へと調整した量子化ステップを量子化部２１５に使用させてよい。また、量子化制御部２４５は、ある程度の画質の劣化が許容される領域に属する画素又はブロックについて、暫定量子化ステップよりも大きい値へと調整した量子化ステップを量子化部２１５に使用させてもよい。上述したように柔軟に設定される処理パラメータを用いて行われた画素分類の結果に基づいて調整される量子化ステップで量子化部２１５が量子化処理を実行することで、画像信号の表現手法に影響されない一貫した画質の保護が実現される。

［３−５．処理の流れ］
図１８は、本実施形態に係る符号化制御処理の流れの一例を示すフローチャートである。ここで説明する符号化制御処理は、映像を構成する個々の画像について繰り返されてよい。複数の画像にわたって変化しないパラメータを取得し又は設定するための処理ステップは、２回目以降の繰り返しにおいてスキップされてもよい。なお、ここでは、説明の簡明さのために、画素分類に関連しない処理ステップについての説明は省略される。

図１８を参照すると、まず、信号取得部２０１は、光と画像信号との間の変換に関する伝達関数に基づいて生成された画像信号を取得する（ステップＳ２１０）。ここで取得される画像信号は、符号化部２１０へ出力される。

次に、情報取得部２０３は、符号化部２１０へと入力される画像に適用された伝達関数及び色域を示す入力情報を、ユーザインタフェースを介して又は入力画像信号と多重化される補助信号から取得する（ステップＳ２１２）。ここで取得される入力情報は、制御部２４０へ出力される。

次に、閾値制御部２４１は、上述した入力情報により示される伝達関数及び色域のうち少なくとも一方に基づいて、画素分類のための閾値を決定する（ステップＳ２１４）。

その後の処理は、処理対象の画像に設定される複数のブロックのうちの各々について繰り返される。各繰り返しにおける処理対象のブロックを、ここでは注目ブロックという。

まず、画素分類部２４３は、閾値制御部２４１により決定された閾値を用いて、注目ブロックについて画素分類を実行する（ステップＳ２２０）。例えば、特定領域検出のケースにおいて、画素分類部２４３は、ブロック内の各画素がＣｂ−Ｃｒ平面上で閾値に囲まれた特定領域内に位置するか否かを分類する。画素分類部２４３は、ブロック内の全画素数に対する特定領域内に位置する画素数の割合を算出する。そして、画素分類部２４３は、算出した割合が所定の閾値を上回る場合に、注目ブロックが特定領域に属すると判定し得る。

量子化部２１５は、どのような伝達関数及び色域が適用されたかに関わらず、所要の圧縮率が達成されるように注目ブロックの暫定量子化ステップを決定する（ステップＳ２３０）。次に、量子化部２１５は、画素分類の結果に基づいて量子化制御部２４５により決定される調整係数を用いて、ステップＳ２３０において決定した量子化ステップを調整する（ステップＳ２４０）。そして、量子化部２１５は、直交変換部２１４から入力される注目ブロックの変換係数データを、調整後の量子化ステップで量子化する（ステップＳ２５０）。

次に、可逆符号化部２１６は、量子化部２１５から入力される量子化データと量子化パラメータとを符号化して、符号化ビットストリームを生成する（ステップＳ２６０）。

ステップＳ２２０〜ステップＳ２６０は、ピクチャ内の全てのブロックについて処理が終了するまで繰り返される（ステップＳ２８０）。そして、全てのピクチャについて処理が終了すると、図１８に示した符号化制御処理は終了する（ステップＳ２９０）。

［３−６．変形例］
ここまで、画素分類の結果をエンコーダにおいて割り当て符号量の制御のために利用する例について主に説明した。しかしながら、本実施形態のアイディアは、画素分類の結果を他の用途に利用するケースにも適用可能である。本項では、そうした一変形例について説明する。

（１）画像処理装置の構成
図１９は、第２の実施形態に係る画像処理装置の構成の一変形例を示すブロック図である。図１９に示した画像処理装置２００ｂは、信号取得部２０１、情報取得部２０３、閾値制御部２５０、画素分類部２６０及び出力信号生成部２７０を備える。

閾値制御部２５０は、画像に適用される伝達関数及び色域を、情報取得部２０３から入力される入力情報に基づいて判定する。そして、閾値制御部２５０は、伝達関数若しくは色域、又はそれらの組合せに基づいて、画素分類処理において使用されるべき、色成分の符号値と比較される閾値を決定する。閾値制御部２５０は、例えば、伝達関数若しくは色域、又はそれらの組合せに関連付けられる閾値を記憶するメモリ（図示せず）を参照し、入力情報により示される種別に関連付けられている閾値を、使用すべき閾値として決定してもよい。閾値制御部２５０は、決定した閾値を画素分類部２６０へ出力する。

画素分類部２６０は、閾値制御部２５０により決定される閾値を用いて、入力画像信号により表現される画像について画素分類処理を実行する。例えば、画素分類処理が肌色領域検出処理である場合、閾値制御部２５０により決定される閾値は、肌色判定閾値を含む。例えば、ＳＤＲ用の伝達関数及びＢＴ．７０９の色域が適用されるケースでは、画素分類部２６０は、閾値判定の結果として各画素がＣｂ−Ｃｒ平面上で矩形領域Ｒ１１内に位置すると判定される場合に、当該画素が肌色を表すと判定し得る。ＳＤＲ用の伝達関数及びＢＴ．２０２０の色域が適用されるケースでは、画素分類部２６０は、閾値判定の結果として各画素がＣｂ−Ｃｒ平面上で矩形領域Ｒ１２内に位置すると判定される場合に、当該画素が肌色を表すと判定し得る。他の伝達関数及び色域が適用されるケースでも、対応する肌色判定閾値を用いて同様の判定が行われ得る。画素分類部２６０は、こうした画素分類の結果を出力信号生成部２７０へ出力する。

出力信号生成部２７０は、画素分類部２６０から入力される画素分類の結果に基づいて出力信号を生成する。例えば、出力信号生成部２７０は、画素分類の結果として検出される特定領域の位置を画像上で指し示す標識（例えば、領域を囲む枠）を表示するための出力信号を生成してもよい。また、出力信号生成部２７０は、肌色領域検出の結果を用いて顔認識を実行し、顔認識の結果を示す出力信号を生成してもよい。出力信号生成部２７０は、ジェスチャ認識の結果、生体認証の結果、又は拡張現実において出力画像に重畳される表示オブジェクトなどを表示するための出力信号を生成してもよい。

（２）処理の流れ
図２０は、図１９を用いて説明した変形例に係る画像処理の流れの一例を示すフローチャートである。

図２０を参照すると、まず、信号取得部２０１は、光と画像信号との間の変換に関する伝達関数に基づいて生成された画像信号を取得する（ステップＳ２１０）。ここで取得される画像信号は、画素分類部２６０へ出力される。

次に、情報取得部２０３は、画素分類部２６０により処理される画像に適用された伝達関数及び色域を示す入力情報を、ユーザインタフェースを介して又は入力画像信号と多重化される補助信号から取得する（ステップＳ２１２）。ここで取得される入力情報は、閾値制御部２５０へ出力される。

次に、閾値制御部２５０は、上述した入力情報により示される伝達関数及び色域のうち少なくとも一方に基づいて、画素分類のための閾値を決定する（ステップＳ２１４）。

次に、画素分類部２６０は、閾値制御部２５０により決定された閾値を用いて、画像内の各画素について画素分類を実行する（ステップＳ２２５）。画素分類は、画像内で処理すべき画素が無くなるまで繰り返される（ステップＳ２７０）。

次に、出力信号生成部２７０は、ステップＳ２２５において実行された画素分類の結果に基づいて、出力信号を生成する（ステップＳ２８５）。

上述した処理は、一連の画像の各々について繰り返される（ステップＳ２９０）。次の画像が無い場合、図２０に示した符号化制御処理は終了する。

［３−７．第２の実施形態のまとめ］
ここまで、図１５Ａ〜図２０を用いて、本開示に係る技術の第２の実施形態について説明した。上述した実施形態では、光と画像信号との間の変換に関する伝達関数及び色域のうちの少なくとも一方に基づいて、多様な目的で行われ得る画素分類処理に関する処理パラメータが決定される。かかる構成によれば、伝達関数の相違、又は色域の相違に起因して不適切な基準で画素が分類されることを防止し、画素分類の結果に基づく処理の適正な実行を保証することができる。

また、上述した実施形態では、画素分類処理において色成分の符号値と比較される閾値が、伝達関数及び色域のうちの少なくとも一方に基づいて決定される。かかる構成によれば、実世界における同一の明るさ又は色が伝達関数又は色域の選択に依存して異なる符号値で表現される場合にも、それら画像信号の表現手法に影響されない一貫した閾値判定を提供することができる。

例えば、画素分類処理は画像内の特定領域を検出するための領域検出処理であってよく、上記閾値は領域検出閾値であってよい。この場合、伝達関数又は色域の選択に依存して本来検出されるべきではない領域が特定領域として誤って検出されるといった事態が防止され得る。ある実施例によれば、上述した領域検出処理の結果に基づいて調整される量子化ステップで、画像の符号化の際の量子化処理が実行される。この場合、画質の保護を強化することが望まれる特定領域を正確に検出し、その特定領域の割り当て符号量を増加させることができる。

上述した実施形態においても、伝達関数及び色域に関する入力情報に基づいて、伝達関数及び色域が判定され得る。上記入力情報がユーザインタフェースを介して取得される場合には、入力信号から伝達関数又は色域を判別できない場合にもユーザが望む通りの制御を実行することができる。上記入力情報が入力画像信号と多重化される補助信号から取得される場合には、ユーザ入力を要することなく自動的に適切な種別を判定することができる。

＜４．ハードウェア構成例＞
前節までに説明した実施形態は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。画像処理装置１００ａ、１００ｂ、２００ａ又は２００ｂがソフトウェアを使用する場合、ソフトウェアを構成するプログラムは、例えば、装置の内部又は外部に設けられる記憶媒体（非一時的な媒体：non-transitory media）に予め格納される。そして、各プログラムは、例えば、実行時にＲＡＭ（Random Access Memory）に読み込まれ、ＣＰＵ（Central Processing Unit）などのプロセッサにより実行される。

図２１は、上述した実施形態のうちの１つ以上を適用可能な装置のハードウェア構成の一例を示すブロック図である。図２１を参照すると、画像処理装置９００は、システムバス９１０、画像処理チップ９２０及びオフチップメモリ９９０を備える。画像処理チップ９２０は、ｎ個（ｎは１以上）の処理回路９３０−１、９３０−２、…、９３０−ｎ、参照バッファ９４０、システムバスインタフェース９５０及びローカルバスインタフェース９６０を含む。

システムバス９１０は、画像処理チップ９２０と外部モジュール（例えば、中央制御機能、アプリケーション機能、通信インタフェース又はユーザインタフェースなど）との間の通信路を提供する。処理回路９３０−１、９３０−２、…、９３０−ｎは、システムバスインタフェース９５０を介してシステムバス９１０と接続され、及びローカルバスインタフェース９６０を介してオフチップメモリ９９０と接続される。処理回路９３０−１、９３０−２、…、９３０−ｎは、オンチップメモリ（例えば、ＳＲＡＭ）に相当し得る参照バッファ９４０にもアクセスすることができる。オフチップメモリ９９０は、例えば、画像処理チップ９２０により処理される画像データを記憶するフレームメモリであってよい。一例として、処理回路９３０−１は画像信号の変換のために利用されてもよい。処理回路９３０−２は画像信号の符号化のために利用されてもよい。他の処理回路は画素の分類のために利用されてもよい。なお、これら処理回路は、同一の画像処理チップ９２０ではなく、別個のチップ上に形成されてもよい。

＜５．総括＞
本開示に係る技術は、ここまでに詳しく説明した仕組みに従って、多様化しつつある映像信号表現に必ずしも十分に適応できていない例えばデジタルビデオカメラ、デジタルカムコーダ、ビデオエンコーダ、又はエンコード機能若しくは画素分類機能を有する任意の種類の既存の装置に対する改善を提供する。本開示に係る技術によれば、ＨＤＲ映像を扱う場合に不適切な処理パラメータが使用されることが防止され得る。

本明細書では、説明の簡明さのために、特定の映像符号化方式に固有の専門用語を一部で使用しているが、本開示に係る技術は、そうした用語によっては限定されない。例えば、輝度（luminance/luma）及び色差（chrominance/chroma）との語は、利用される表色系に依存して、明度（brightness）及び彩度（saturation）などの他の語にそれぞれ置き換えられてもよい。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的又は例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果と共に、又は上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
画像に適用される光と画像信号との間の変換に関する伝達関数及び前記画像に適用される色域のうちの少なくとも一方に基づいて、前記画像に対する画像処理のための処理パラメータを決定する制御部と、
前記制御部により決定される前記処理パラメータを用いて、前記画像処理を実行する処理部と、
を備える画像処理装置。
（２）
前記制御部は、前記伝達関数及び前記色域の組合せに基づいて、前記処理パラメータを決定する、前記（１）に記載の画像処理装置。
（３）
前記制御部は、前記伝達関数及び前記色域のうちの前記少なくとも一方の相違に起因する画像信号の符号値の変化が前記画像処理に与える影響を打ち消すように、前記処理パラメータを決定する、前記（１）又は前記（２）に記載の画像処理装置。
（４）
前記処理部は、前記画像の部分領域ごとの符号化難易度に応じて調整される量子化ステップで各部分領域について量子化処理を実行し、
前記処理パラメータは、前記量子化処理に関するパラメータである、
前記（１）〜（３）のいずれか１項に記載の画像処理装置。
（５）
前記量子化処理に関するパラメータは、前記画像についての前記量子化ステップの調整利得を含む、前記（４）に記載の画像処理装置。
（６）
前記制御部は、前記伝達関数及び前記色域のうちの前記少なくとも一方に基づいて、前記画像についての前記量子化ステップの基本調整利得を決定する、前記（５）に記載の画像処理装置。
（７）
前記処理部は、前記基本調整利得と各部分領域の符号化難易度とに基づいて調整される調整後の量子化ステップで、各部分領域について前記量子化処理を実行する、前記（６）に記載の画像処理装置。
（８）
前記処理部は、前記処理パラメータを用いて前記画像について画素分類処理を実行する、前記（１）又は前記（２）に記載の画像処理装置。
（９）
前記処理パラメータは、前記画素分類処理において色成分の符号値と比較される閾値を含む、前記（８）に記載の画像処理装置。
（１０）
前記画素分類処理は、前記画像内の特定の領域を検出するための領域検出処理を含み、
前記閾値は、領域検出閾値を含む、
前記（９）に記載の画像処理装置。
（１１）
前記特定の領域は、特定の色の領域であり、
前記領域検出閾値は、色判定閾値を含む、
前記（１０）に記載の画像処理装置。
（１２）
前記特定の色は、肌色であり、
前記色判定閾値は、肌色判定閾値を含む、
前記（１１）に記載の画像処理装置。
（１３）
前記画像処理装置は、前記領域検出処理の結果に基づいて調整される量子化ステップで前記画像について量子化処理を実行する量子化部、をさらに備える、前記（１２）に記載の画像処理装置。
（１４）
前記画像処理装置は、前記伝達関数及び前記色域のうちの一方又は双方に関連付けられる前記処理パラメータの値を記憶する記憶部、をさらに備える、前記（１）〜（１３）のいずれか１項に記載の画像処理装置。
（１５）
前記制御部は、前記伝達関数及び前記色域のうちの前記少なくとも一方に関する入力情報に基づいて前記伝達関数及び前記色域のうちの前記少なくとも一方の種別を判定し、判定した前記種別に基づいて前記画像処理のための前記処理パラメータを決定する、前記（１）〜（１４）のいずれか１項に記載の画像処理装置。
（１６）
前記入力情報は、ユーザインタフェースを介して取得された情報である、前記（１５）に記載の画像処理装置。
（１７）
前記入力情報は、前記画像を表現する入力画像信号と多重化される補助信号から取得された情報である、前記（１５）に記載の画像処理装置。
（１８）
画像に適用される光と画像信号との間の変換に関する伝達関数及び前記画像に適用される色域のうちの少なくとも一方に基づいて、前記画像に対する画像処理のための処理パラメータを決定することと、
決定される前記処理パラメータを用いて、前記画像処理を実行することと、
を含む画像処理方法。
（１９）
画像処理装置のプロセッサを、
画像に適用される光と画像信号との間の変換に関する伝達関数及び前記画像に適用される色域のうちの少なくとも一方に基づいて、前記画像に対する画像処理のための処理パラメータを決定する制御部と、
前記制御部により決定される前記処理パラメータを用いて、前記画像処理を実行する処理部と、
として機能させるためのプログラム。

１００ａ，１００ｂ 画像処理装置
１０１ 信号取得部
１０２ 信号処理部
１０３，１０４ 情報取得部
１０７ 記憶部
１１０ 符号化部
１１５ 量子化部（処理部）
１４０ 制御部
２００ａ，２００ｂ 画像処理装置
２０１ 信号取得部
２０３ 情報取得部
２１０ 符号化部
２４０ 制御部
２４１，２５０ 閾値制御部
２４３，２６０ 画素分類部（処理部）
２７０ 出力信号生成部

Claims (18)

1. 画像に適用される光と画像信号との間の変換に関する伝達関数及び前記画像に適用される色域の組み合わせに基づいて、前記画像に対する画像処理のための処理パラメータを決定する制御部と、
   前記制御部により決定される前記処理パラメータを用いて、前記画像処理を実行する処理部と、
   を備え、
   前記制御部が決定する前記処理パラメータは、前記伝達関数及び前記色域の組み合せごとに定義される、
   画像処理装置。
2. 前記制御部は、前記伝達関数及び前記色域のうちの前記少なくとも一方の相違に起因する画像信号の符号値の変化が前記画像処理に与える影響を打ち消すように、前記処理パラメータを決定する、請求項１に記載の画像処理装置。
3. 前記処理部は、前記画像の部分領域ごとの符号化難易度に応じて調整される量子化ステップで各部分領域について量子化処理を実行し、
   前記処理パラメータは、前記量子化処理に関するパラメータである、
   請求項１または請求項２に記載の画像処理装置。
4. 前記量子化処理に関するパラメータは、前記画像についての前記量子化ステップの調整利得を含む、請求項３に記載の画像処理装置。
5. 前記制御部は、前記伝達関数及び前記色域のうちの前記少なくとも一方に基づいて、前記画像についての前記量子化ステップの基本調整利得を決定する、請求項４に記載の画像処理装置。
6. 前記処理部は、前記基本調整利得と各部分領域の符号化難易度とに基づいて調整される調整後の量子化ステップで、各部分領域について前記量子化処理を実行する、請求項５に記載の画像処理装置。
7. 前記処理部は、前記処理パラメータを用いて前記画像について画素分類処理を実行する、請求項１に記載の画像処理装置。
8. 前記処理パラメータは、前記画素分類処理において色成分の符号値と比較される閾値を含む、請求項７に記載の画像処理装置。
9. 前記画素分類処理は、前記画像内の特定の領域を検出するための領域検出処理を含み、
   前記閾値は、領域検出閾値を含む、
   請求項８に記載の画像処理装置。
10. 前記特定の領域は、特定の色の領域であり、
    前記領域検出閾値は、色判定閾値を含む、
    請求項９に記載の画像処理装置。
11. 前記特定の色は、肌色であり、
    前記色判定閾値は、肌色判定閾値を含む、
    請求項１０に記載の画像処理装置。
12. 前記画像処理装置は、前記領域検出処理の結果に基づいて調整される量子化ステップで前記画像について量子化処理を実行する量子化部、をさらに備える、請求項１１に記載の画像処理装置。
13. 前記画像処理装置は、前記伝達関数及び前記色域のうちの一方又は双方に関連付けられる前記処理パラメータの値を記憶する記憶部、をさらに備える、請求項１〜１２のいずれか１項に記載の画像処理装置。
14. 前記制御部は、前記伝達関数及び前記色域のうちの前記少なくとも一方に関する入力情報に基づいて前記伝達関数及び前記色域のうちの前記少なくとも一方の種別を判定し、判定した前記種別に基づいて前記画像処理のための前記処理パラメータを決定する、請求項１〜１３のいずれか１項に記載の画像処理装置。
15. 前記入力情報は、ユーザインタフェースを介して取得された情報である、請求項１４に記載の画像処理装置。
16. 前記入力情報は、前記画像を表現する入力画像信号と多重化される補助信号から取得された情報である、請求項１４に記載の画像処理装置。
17. 画像に適用される光と画像信号との間の変換に関する伝達関数及び前記画像に適用される色域の組み合わせに基づいて、前記画像に対する画像処理のための処理パラメータを決定することと、
    決定される前記処理パラメータを用いて、前記画像処理を実行することと、
    を含み、
    前記決定することが決定する前記処理パラメータは、前記伝達関数及び前記色域の組み合せごとに定義される、
    画像処理方法。
18. 画像処理装置のプロセッサを、
    画像に適用される光と画像信号との間の変換に関する伝達関数及び前記画像に適用される色域の組み合わせに基づいて、前記画像に対する画像処理のための処理パラメータを決定する制御部と、
    前記制御部により決定される前記処理パラメータを用いて、前記画像処理を実行する処理部と、
    として機能させ、
    前記制御部が決定する前記処理パラメータは、前記伝達関数及び前記色域の組み合せごとに定義される、
    ためのプログラム。

Images