JP6822122B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本開示は、画像処理装置、画像処理方法及びプログラムに関する。

従来、映像を効率的に符号化するための多くの映像符号化方式が標準化されている。例えば、ＩＴＵ−Ｔ及びＩＳＯ／ＩＥＣが共同で開発したＨ．２６４／ＡＶＣ（Advanced Video Coding）は、ＭＰＥＧ−２の後継の標準符号化方式である（非特許文献１参照）。Ｈ．２６４／ＡＶＣは、予測、直交変換、量子化及びエントロピー符号化といった様々な要素技術を用いて、改善された符号化効率で画像信号をビットストリームへと符号化する。さらに、Ｈ．２６４／ＡＶＣの後継の標準符号化方式であるＨ．２６５／ＨＥＶＣ（High Efficiency Video Coding）は、ＭＰＥＧ−２と比較すると約４倍、Ｈ．２６４／ＡＶＣと比較すると約２倍の符号化効率を達成すると言われている（非特許文献２参照）。

高い符号化効率を追求することとは別に、近年、実世界の様子をより忠実に再現し又はより豊富な明るさ及び色彩で映像を表示することを可能とするための、映像信号表現の拡張が進められている。ＨＤＲ（High Dynamic Range）は、従来の標準的なダイナミックレンジであるＳＤＲ（Standard Dynamic Range）よりも広い輝度ダイナミックレンジで画像又は映像を表現しようとする概念である。例えば、ＨＬＧ（Hybrid Log-Gamma）、ＳＴ２０８４又はＳ−Ｌｏｇ３といった伝達関数（トーンカーブともいう）で光を画像信号へと変換（及び、画像信号を光へと変換）することにより、１００ｎｉｔよりも高い輝度を有する実世界の光をディスプレイ上で再現することが可能となることが知られている（ＨＬＧについては非特許文献３参照）。他の例として、ＩＴＵ−Ｒにより標準化されたＢＴ．２０２０は、これまで多くのアプリケーションで使用されてきたＢＴ．７０９の色域と比較して、より鮮やかな色彩を表現することを可能とする色域を定義している。

ITU-T， "H.264: Advanced video coding for generic audiovisual services", ITU-T Recommendation H.264， 2007年11月 ITU-T， "H.265: High efficiency video coding", ITU-T Recommendation H.265， 2014年10月 Association of Radio Industries and Businesses，"ESSENTIAL PARAMETER VALUES FOR THE EXTENDED IMAGE DYNAMIC RANGE TELEVISION (EIDRTV) SYSTEM FOR PROGRAMME PRODUCTION ARIB STANDARD"，ARIB STD-B67 Version 1.0，July 3, 2015，［online］，［２０１６年１１月２４日検索］，インターネット＜URL： http://www.arib.or.jp/english/html/overview/doc/2-STD-B67v1_0.pdf＞

映像（若しくは映像を構成する個々の画像）の符号化、復号、又は撮像若しくは再生の際の信号変換、に関与する既存の装置は、多様化しつつある映像信号表現に必ずしも十分に適応できていない。静止画の画像処理についても同様の状況が考えられる。

信号表現の方式に関わらず、良好な画質を提供することのできる仕組みが提供されることが望ましい。

本開示によれば、光と画像信号との間の変換に関する伝達関数に基づいて取得される画像を符号化する符号化部と、前記伝達関数に基づいて、前記符号化部において前記画像の各部分領域に割り当てられる符号量を制御する制御部と、を備える画像処理装置が提供される。

また、本開示によれば、光と画像信号との間の変換に関する伝達関数に基づいて取得される画像を符号化することと、前記伝達関数に基づいて、前記符号化の際に前記画像の各部分領域に割り当てられる符号量を制御することと、を含む画像処理方法が提供される。

また、本開示によれば、画像処理装置のプロセッサを、光と画像信号との間の変換に関する伝達関数に基づいて取得される画像を符号化する符号化部と、前記伝達関数に基づいて、前記符号化部において前記画像の各部分領域に割り当てられる符号量を制御する制御部と、として機能させるためのプログラムが提供される。

また、本開示によれば、１００ｎｉｔより高い輝度での表示を可能とするための光と画像信号との間の変換に関する伝達関数に基づいて取得される画像を符号化する符号化部と、前記符号化部において前記画像の各部分領域に割り当てられる符号量を、当該部分領域の輝度成分及び色差成分のうちの少なくとも一方に依存して制御する制御部と、を備える画像処理装置が提供される。

また、本開示によれば、１００ｎｉｔより高い輝度での表示を可能とするための光と画像信号との間の変換に関する伝達関数に基づいて取得される画像を符号化することと、前記符号化の際に前記画像の各部分領域に割り当てられる符号量を、当該部分領域の輝度成分及び色差成分のうちの少なくとも一方に依存して制御することと、を含む画像処理方法が提供される。

また、本開示によれば、画像処理装置のプロセッサを、１００ｎｉｔより高い輝度での表示を可能とするための光と画像信号との間の変換に関する伝達関数に基づいて取得される画像を符号化する符号化部と、前記符号化部において前記画像の各部分領域に割り当てられる符号量を、当該部分領域の輝度成分及び色差成分のうちの少なくとも一方に依存して制御する制御部と、として機能させるためのプログラムが提供される。

また、本開示によれば、光と画像信号との間の変換に関する伝達関数に基づいて取得される画像を符号化する符号化部と、前記伝達関数に基づいて、前記符号化部において前記画像を符号化する際のモード選択のための予測残差符号量又はモード符号量を制御する制御部と、を備える画像処理装置が提供される。

また、本開示によれば、光と画像信号との間の変換に関する伝達関数に基づいて取得される画像を符号化することと、前記伝達関数に基づいて、前記画像を符号化する際のモード選択のための予測残差符号量又はモード符号量を制御することと、を含む画像処理方法が提供される。

また、本開示によれば、画像処理装置のプロセッサを、光と画像信号との間の変換に関する伝達関数に基づいて取得される画像を符号化する符号化部と、前記伝達関数に基づいて、前記符号化部において前記画像を符号化する際のモード選択のための予測残差符号量又はモード符号量を制御する制御部と、として機能させるためのプログラムが提供される。

本開示に係る技術によれば、信号表現の方式に関わらず、良好な画質を提供することができる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果と共に、又は上記の効果に代えて、本明細書に示されたいずれかの効果、又は本明細書から把握され得る他の効果が奏されてもよい。

ＳＤＲ映像の輝度ダイナミックレンジについて説明するための説明図である。 ＨＤＲ映像の輝度ダイナミックレンジについて説明するための説明図である。 ＳＤＲ映像の画像信号のコーデック歪みについて説明するための説明図である。 ＨＤＲ映像の画像信号のコーデック歪みについて説明するための説明図である。 ＨＤＲ−ＳＤＲ変換を経て拡大されるコーデック歪みについて説明するための説明図である。 ＳＤＲ用の信号フォーマット及びＨＤＲ用の信号フォーマットのＯＥＴＦの例を示す説明図である。 ＳＤＲ用のＢＴ．７０９に対してＨＤＲ用のＳ−Ｌｏｇ３が画像情報をどの程度圧縮しているかを表すグラフを示している。 ＢＴ．７０９及びＢＴ．２０２０により定義されている色域について説明するための説明図である。 一実施形態に係る画像処理システムの構成の第１の例を示す説明図である。 一実施形態に係る画像処理システムの構成の第２の例を示す説明図である。 第１の実施形態に係る画像処理装置の概略的な構成の第１の例を示すブロック図である。 第１の実施形態に係る画像処理装置の概略的な構成の第２の例を示すブロック図である。 第１の実施形態に係る制御部及び符号化部の詳細な構成の一例を示すブロック図である。 高輝度部分を保護するための保護比の第１の例について説明するための説明図である。 高輝度部分を保護するための保護比の第２の例について説明するための説明図である。 高色差部分として保護されるべき符号値について説明するための説明図である。 高色差部分を保護するための保護比の一例について説明するための説明図である。 第１の実施形態に係る符号化制御処理の流れの一例を示すフローチャートである。 高輝度部分の階調を保護するための量子化制御処理の流れの一例を示すフローチャートである。 高色差部分の階調を保護するための量子化制御処理の流れの一例を示すフローチャートである。 高輝度部分及び高色差部分の双方の階調を保護するための量子化制御処理の流れの一例を示すフローチャートである。 第１の実施形態に係る画像処理装置の構成の一変形例を示すブロック図である。 図１４を用いて説明した変形例に係る符号化制御処理の流れの一例を示すフローチャートである。 モード選択への伝達関数の違いの影響について説明するための第１の説明図である。 モード選択への伝達関数の違いの影響について説明するための第２の説明図である。 第２の実施形態に係る画像処理装置の概略的な構成の第１の例を示すブロック図である。 第２の実施形態に係る画像処理装置の概略的な構成の第２の例を示すブロック図である。 第２の実施形態に係る制御部及び符号化部の詳細な構成の一例を示すブロック図である。 伝達関数の種別に基づくモード符号量の切り替えの一例について説明するための説明図である。 第２の実施形態に係る符号化制御処理の流れの一例を示すフローチャートである。 装置のハードウェア構成の一例を示すブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、以下の順序で説明を行う。
１．関連技術の説明
１−１．ＳＤＲ及びＨＤＲ
１−２．コーデック歪み
１−３．伝達関数
１−４．色域
２．第１の実施形態
２−１．導入
２−２．システムの概要
２−３．画像処理装置の概略的な構成
２−４．符号化部及び制御部の詳細な構成
２−５．処理の流れ
２−６．変形例
２−７．第１の実施形態のまとめ
３．第２の実施形態
３−１．導入
３−２．システムの概要
３−３．画像処理装置の概略的な構成
３−４．符号化部及び制御部の詳細な構成
３−５．処理の流れ
３−６．第２の実施形態のまとめ
４．ハードウェア構成例
５．総括

＜１．関連技術の説明＞
［１−１．ＳＤＲ及びＨＤＲ］
近年、実世界の様子をより忠実に再現し又はより豊富な明るさ及び色彩で映像を再生することを可能とするための、映像信号表現の拡張が進められている。ＨＤＲは、従来の標準的なダイナミックレンジであるＳＤＲよりも広い輝度ダイナミックレンジで画像又は映像を表現しようとする概念である。

図１Ａは、ＳＤＲ映像の輝度ダイナミックレンジについて説明するための説明図である。図１Ａの縦軸は輝度［ｎｉｔ］を表す。自然界の最大輝度は２００００ｎｉｔに達することがあり、一般的な被写体の輝度は例えば最大で１２０００ｎｉｔ程度である。イメージセンサのダイナミックレンジの上限は、自然界の最大輝度よりも低く、例えば４０００ｎｉｔであり得る。デジタルカメラ又はデジタルカムコーダといった撮像装置は、イメージセンサにおいて入射光を光電変換することにより生成される電気信号を、イメージセンサの後段の信号処理回路において例えば１０ビットのデジタル画像信号へと変換する。旧来のＳＤＲ映像の信号フォーマットでは、こうした変換の際に１００ｎｉｔを上回る高輝度部分の階調が失われる。撮像装置により生成されたデジタル画像信号は、例えば伝送又は記録といったアプリケーションの目的に応じて、所定の映像符号化方式（ビデオコーデックともいう）で符号化され、符号化ビットストリームへと変換される。そして、ＳＤＲ映像を表示する際には、符号化ビットストリームを復号することにより取得されるデジタル画像信号が表示装置へと提供され、上限１００ｎｉｔの表示輝度で映像が再生される。

図１Ｂは、ＨＤＲ映像の輝度ダイナミックレンジについて説明するための説明図である。ＳＤＲのケースと同様に、撮像装置は、イメージセンサへの入射光をアナログ電気信号へと変換し、さらにアナログ電気信号を例えば１０ビットのデジタル画像信号へと変換する。ＨＤＲ映像の信号フォーマットは、こうした変換の際に、１００ｎｉｔを上回る高輝度部分の階調を維持し、数百又は数千ｎｉｔという上限までの輝度で映像を再生することを可能とする。撮像装置により生成されたデジタル画像信号は、やはりアプリケーションの目的に応じて所定の映像符号化方式で符号化され、符号化ビットストリームへと変換される。ＨＤＲ映像を表示する際には、符号化ビットストリームを復号することにより取得されるデジタル画像信号が表示装置へと提供され、１００ｎｉｔより高い表示輝度を含む輝度ダイナミックレンジで映像が再生される。

なお、ＳＤＲとＨＤＲとを分類する基準として、ここでは輝度ダイナミックレンジの上限が１００ｎｉｔに等しいか又はそれを下回るケースをＳＤＲ、上限が１００ｎｉｔを上回るケースをＨＤＲと仮定している。しかしながら、将来のある時点において、１００ｎｉｔではなくより高い基準値によって、その時点で普及している（即ち、標準的となった）ダイナミックレンジと、より新しい（より高い上限を有する）ダイナミックレンジとがそれぞれＨＤＲ及びＳＤＲとして分類されることがあってもよい。本開示に係る技術は、概して、２種類のダイナミックレンジが互いに異なる上限を有するケースに広く適用可能であり、それらダイナミックレンジがどういった基準値によって分類されるかには限定されない。ＳＤＲは、ＨＤＲとの対比において、ＬＤＲ（Low Dynamic Range）と呼ばれることもある。

［１−２．コーデック歪み］
ＳＤＲ映像かＨＤＲ映像かに関わらず、画像信号を非可逆圧縮を含む映像符号化方式で符号化すると、復号される画像信号に基づいて再生される画像に、画質の劣化が生じる。こうした画質の劣化を、本明細書ではコーデック歪みという。コーデック歪みの度合いは、ＰＳＮＲ（Peak Signal-to-Noise Ratio）という指標で評価され得る。概して、符号化効率を同等とした場合、Ｈ．２６４／ＡＶＣで符号化／復号された画像の画質は、ＭＰＥＧ−２で符号化／復号された画像の画質よりも高く、Ｈ．２６５／ＨＥＶＣで符号化／復号された画像の画質はＨ．２６４／ＡＶＣよりも高い。しかしながら、通常、コーデック歪みの評価は、エンコーダへ入力される原画像とデコーダから出力される復号画像とを比較することにより行われる。ＨＤＲ映像の撮像若しくは表示の際に行われる信号変換、又はダイナミックレンジの縮減若しくは拡張がコーデック歪みにどのように作用するかは、あまり知られていない。

発明者らは、多数のサンプル映像をＨＤＲ用の信号フォーマットで画像信号へと変換し、Ｈ．２６４／ＡＶＣに準拠するエンコーダ及びデコーダによる符号化及び復号の後に、復号後の画像信号から再生されるＨＤＲ映像の画質を検証する実験を行った。その結果、同一のサンプルでＳＤＲ映像では感知されなかった画質の劣化が、ビデオコーデックを経たＨＤＲ映像において視認されるケースがあることが認識された。画質の劣化は、主にブロックノイズ又はモスキートノイズといった形で、画像全体に散在すると共に、画像内の一部分において顕著に生じていた。

同じ１０ビットの画像信号を同じ映像符号化方式で符号化する際に生じる劣化の度合いは、通常は同程度である。それでもＳＤＲ映像では感知されない（又は感知されにくい）歪みがＨＤＲ映像において検出されたのは、復号後の画像信号のダイナミックレンジを拡張する際にコーデック歪みが一緒に拡大されたからであると考えられる。

図２Ａには、ＳＤＲ映像の画像信号に、符号化及び復号を経てコーデック歪みが生じる様子が示されている。コーデック歪みはＳＤＲ映像を再生する際には拡大されないため、歪みが十分に小さければ主観的に歪みが感知されることはない。一方、図２Ｂには、ＨＤＲ映像の画像信号にやはりコーデック歪みが生じる様子が示されている。ＨＤＲ映像を再生する際には、ダイナミックレンジの拡張に伴ってコーデック歪みが拡大される結果、ブロックノイズ又はモスキートノイズといった画質の劣化が主観的に感知される可能性が高まる。

コーデック歪みは、ＨＤＲ用の信号フォーマットで表現されている画像信号についてＨＤＲからＳＤＲへのフォーマット変換が実行される際にも拡大され得る。図２Ｃには、ＨＤＲからＳＤＲへのフォーマット変換、即ちＨＤＲ−ＳＤＲ変換を経てコーデック歪みが拡大される様子が示されている。ＨＤＲ−ＳＤＲ変換は、概して、ＨＤＲ用の信号フォーマットに対応する伝達関数の逆関数で（例えば符号化ビットストリームを復号することにより得られる）画像信号をイメージセンサの出力に相当する原信号へと復元する処理と、復元された原信号からＳＤＲ用の信号フォーマットに対応する伝達関数でＳＤＲ用の画像信号へと再変換する処理とを含む。これら処理のうちの前者において拡大されたコーデック歪みは、ＳＤＲ用の信号フォーマットへの再変換において縮小されない。そのため、ＨＤＲ−ＳＤＲ変換後の画像信号に基づいてＳＤＲ映像を再生すると、拡大されたコーデック歪みが主観的に感知される結果となり得る。

上述したようなコーデック歪みが、映像符号化方式自体の性能に起因するのであれば、歪みは均一に生じるはずである。しかし、上述したサンプル映像の検証では、画像全体に散在する歪みに加えて、以下に例示するような特徴的な部分領域において歪みが顕著となっていることが確認された：
−輝度の高い領域（例えば、空の中の雲）
−色の鮮やかな領域（例えば、赤色又は青色に光るランプ）
これらの部分領域において歪みが顕著となる原因は、ＨＤＲ用の信号フォーマットの信号伝達関数に関連する。

［１−３．伝達関数］
一般に、撮像装置における光から画像信号への信号変換の特性は、ＯＥＴＦ（Opto-Electronic Transfer Function；光電気伝達関数）でモデル化される。図３は、典型的なＳＤＲ用の信号フォーマットのＯＥＴＦ及びＨＤＲ用の信号フォーマットのＯＥＴＦのそれぞれの例を示している。図３において、横軸は、変換前の光の輝度ダイナミックレンジを表し、１００％が１００ｎｉｔの輝度に相当する。縦軸は、変換後の画像信号の符号値を表し、１０ｂｉｔの場合には符号値は０から１０２３までの値をとり得る。図中に破線で示したＳＤＲ用の信号フォーマット（例えば、ＢＴ．７０９）のＯＥＴＦと実線で示したＨＤＲ用のＯＥＴＦ（例えば、ＨＬＧ、ＳＴ２０８４又はＳ−Ｌｏｇ３）とを比較すると、特に符号値が相対的に大きい部分において伝達関数の傾きの違いが顕著である。これは、こうした部分において、ＨＤＲのケースではＳＤＲと比較して画像情報がより高い圧縮比で圧縮されていること、即ち符号値の同程度の変化がＨＤＲのケースではＳＤＲのケースよりも大きい階調の変化を表すことを意味している。ＲＧＢ表色系において赤色（Ｒ）成分、緑色（Ｇ）成分及び青色（Ｂ）成分の各々の伝達関数を解析した場合にも、図３に示したグラフに類似したＨＤＲとＳＤＲとの間の信号伝達特性の違いが確認された。

図４は、ＳＤＲ用のＢＴ．７０９に対してＨＤＲ用のＳ−Ｌｏｇ３が画像情報をどの程度圧縮しているかを表すグラフを示している。図４の横軸は、１０ビットの画像信号の符号値を表す。縦軸は、ＢＴ．７０９の圧縮比に対するＳ−Ｌｏｇ３の圧縮比の比率を表す。輝度ダイナミックレンジの１００％に相当するＳ−Ｌｏｇ３の符号値“６００”付近において、Ｓ−Ｌｏｇ３の圧縮比はＢＴ．７０９の圧縮比に対して約４倍であり、符号値が大きくなるほどＳ−Ｌｏｇ３の圧縮比は相対的により高くなっている。このグラフからも、符号値が相対的に大きい部分において、ＨＤＲのケースではＳＤＲのケースと比較して画像情報がより強く圧縮されることが理解される。

ＨＤＲ映像を再生する際には、多くの場合、図３に実線で示したようなＯＥＴＦの逆関数であるＥＯＴＦ（Electro-Optical Transfer Function；電気光伝達関数）を画像信号の符号値に適用することにより、表示素子へ供給すべき電圧レベルが決定され得る。そして、ＨＤＲ映像を構成する個々の画像が、ＥＯＴＦの適用によって拡張された輝度ダイナミックレンジで表示される。撮像から表示までを含むシステム全体の伝達関数をＯＯＴＦといい、ＯＯＴＦはシステムガンマと呼ばれることもある。本明細書において、「伝達関数」とは、特段の言及の無い限り、ＯＥＴＦ、ＥＯＴＦ及びＯＯＴＦのいずれか１つ又は２つ以上の組合せをいう。これら伝達関数は、トーンカーブと呼ばれることもある。

［１−４．色域］
実世界の様子をより忠実に再現し又はよりリッチな映像表現を可能とする技術として、ＨＤＲと共に色域もまた重要な概念である。ＩＴＵ−Ｒにより標準化されたＢＴ．２０２０は、これまで多くのアプリケーションで使用されてきたＢＴ．７０９の色域と比較して、より鮮やかな色彩を表現することを可能とする色域を定義している。図５は、ＢＴ．７０９及びＢＴ．２０２０により定義されている色域について説明するための説明図である。図５を参照すると、所定の拘束条件を用いて３次元の色空間を２次元平面へマッピングした色域グラフが示されている。グラフ中の十字マークは、白色がマッピングされる位置を示す。グラフ中の破線は、ＢＴ．７０９に従って表現することのできる色の範囲を示す。グラフ中の実線は、ＢＴ．２０２０に従って表現することのできる色の範囲を示す。グラフ中の点線は、人間の視覚が識別することのできる色の範囲を示す。図５から理解されるように、ＢＴ．２０２０は、ＢＴ．７０９よりも多彩な色を表現することを可能とする。ＢＴ．７０９が実世界に存在する色の約７５％を表現可能であるのに対し、ＢＴ．２０２０は９９％以上の色を表現可能であると言われている。ＢＴ．２０２０は、ＳＤＲ映像の色域として利用されてもよく、又はＨＤＲ映像の色域として利用されてもよい。

＜２．第１の実施形態＞
［２−１．導入］
ＨＤＲ用の信号フォーマットを用いた場合に画像内の部分領域において顕著となる上述したコーデック歪みのうちのいくつかは、特に画像信号の各色成分のダイナミックレンジのうち相対的に大きい符号値に対応するサブレンジにおいて、原信号の階調を表現するための割り当て符号量が不足することを原因としている。ＭＰＥＧ−２、Ｈ．２６４／ＡＶＣ又はＨ．２６５／ＨＥＶＣといった映像符号化方式に準拠するエンコーダは、所要の圧縮率を達成するために、画像信号を周波数ドメインにおいて量子化する。通常は、イントラ予測又はインター予測といった予測技術を適用した後の予測残差を直交変換することにより得られる変換係数が量子化される。しかし、ＳＤＲ映像の符号化のために最適化されたそれらエンコーダにより使用される量子化ステップは、ＨＤＲ用の信号フォーマットが使用される場合にはしばしば大き過ぎる。これは、大きい符号値に対応するサブレンジにおいて、既に信号変換の際に階調情報が（ＳＤＲのケースよりも）強く圧縮されているという事実を、既存のエンコーダが考慮していないからである。

そこで、本節では、ＨＤＲ用の信号フォーマットが使用される場合に画像内で階調が強く圧縮されている部分領域により多くの符号量を割り当てて階調を良好に保全し、画質の劣化を軽減するための実施形態について説明する。

［２−２．システムの概要］
図６Ａは、本実施形態に係る画像処理システムの構成の第１の例を示す説明図である。図６Ａに示した画像処理システム１０ａは、撮像装置１１、信号処理装置１４、及びサーバ装置１５を含む。

撮像装置１１は、例えば、デジタルビデオカメラ若しくはデジタルスチルカメラ、又は映像撮影機能を有する任意の種類の装置（例えば、監視カメラ、Ｗｅｂカメラ又は情報端末など）であってよい。撮像装置１１は、イメージセンサを用いて実世界の様子を撮影して、原始的な画像信号を生成する。信号処理装置１４は、例えばＢＰＵ（Baseband Processing Unit）であってよく、撮像装置１１と接続される。信号処理装置１４は、撮像装置１１により生成された原始的な画像信号についてＡＤ変換及びデジタル信号処理を実行し、所定の信号フォーマットで画像信号を生成する。信号処理装置１４により実行されるデジタル信号処理は、例えばガンマ補正及び色変換を含み得る。信号処理装置１４は、撮像装置１１と一体的に構成されてもよい。

撮像装置１１へ入射する光から信号処理装置１４により生成される画像信号への信号変換の特性は、ＯＥＴＦにより表される。例えば、信号処理装置１４は、何らかのユーザインタフェースを介してユーザにより複数の候補から選択される伝達関数（又は信号フォーマット）で画像信号を生成してもよい。一例として、複数の候補は、１つのＳＤＲ用の信号フォーマット（例えば、ＢＴ．７０９）と１つのＨＤＲ用の信号フォーマット（例えば、ＢＴ．２０２０と、ＨＬＧ又はＳ−Ｌｏｇ３との組合せ）とを含んでもよい。他の例として、複数の候補は、複数のＨＤＲ用の信号フォーマットを含んでもよい。一変形例として、信号処理装置１４は、単一のＨＤＲ用の信号フォーマットのみで画像信号を生成可能であってもよい。

信号処理装置１４は、信号変換の結果として生成される画像信号に、必要に応じて音声信号及びメタデータを含む補助信号を多重化し、多重化されたそれら信号をサーバ装置１５へと出力する。サーバ装置１５は、例えばＳＤＩ（Serial Digital Interface）又はＨＤ−ＳＤＩなどの伝送プロトコルに準拠する信号線を介して信号処理装置１４と接続される画像処理装置である。サーバ装置１５は、信号処理装置１４から送信される画像信号を取得し、所定の映像符号化方式で画像を符号化して符号化ビットストリーム１７ａを生成する。符号化ビットストリーム１７ａは、サーバ装置１５の内部若しくは外部の記憶装置に記憶されてもよく、又はサーバ装置１５へ接続される他の装置（例えば、表示装置）へ伝送されてもよい。

図６Ｂは、本実施形態に係る画像処理システムの構成の第２の例を示す説明図である。図６Ｂに示した画像処理システム１０ｂは、撮像装置１２、記憶装置１３、及び端末装置１６を含む。

撮像装置１２は、例えば、デジタルビデオカメラ、デジタルカムコーダ若しくはデジタルスチルカメラ、又は映像撮影機能を有する任意の種類の装置であってよい。撮像装置１２は、イメージセンサを用いて実世界の様子を撮影して、原始的な画像信号を生成する。また、撮像装置１２は、ＡＤ変換と、信号処理装置１４に関連して上で説明したようなデジタル信号処理とを実行し、所定の信号フォーマットで画像信号を生成する。撮像装置１２は、信号処理装置１４と同様に、何らかのユーザインタフェースを介してユーザにより複数の候補から選択される伝達関数で画像信号を生成してもよく、又は、単一のＨＤＲ用の伝達関数のみで画像信号を生成可能であってもよい。

撮像装置１２は、信号変換の結果として生成される画像信号に基づき、所定の映像符号化方式で画像を符号化して、符号化ビットストリーム１７ｂを生成する。符号化ビットストリーム１７ｂは、例えば、映像ファイルとして記憶されてもよく、又はネットワークを介して記憶装置１３若しくは端末装置１６へ提供されてもよい。

記憶装置１３は、様々な映像データを記憶するデータストレージである。記憶装置１３は、例えば、所定の映像符号化方式で画像を符号化することにより生成された映像ファイル１７ｃを記憶してもよい。映像ファイルのヘッダ領域には、例えば、映像ファイルに含まれる映像コンテンツに適用された光と画像信号との間の変換に関する伝達関数の種別、色域の種別、及び映像符号化方式をそれぞれ識別するパラメータが含められ得る。記憶装置１３は、符号化前（又は信号変換前）の画像信号をＲＡＷデータとして記録するＲＡＷ映像ファイル１８を記憶してもよい。記憶装置１３は、例えば端末装置１６からのリクエストに応じて、ユーザが再生し又は編集することを望むファイルをネットワークを介して端末装置１６へと提供する。

端末装置１６は、撮像装置１２により生成され又は記憶装置１３により記憶されている映像ファイルを再生し又は編集する機能を有する画像処理装置である。端末装置１６は、例えば、撮像装置１２又は記憶装置１３から取得される映像ファイル１７ｂ又は１７ｃに含まれる符号化ビットストリームを復号して復号画像信号を生成してもよい。また、端末装置１６は、そのように生成される復号画像についてダイナミックレンジ変換（例えば、ＨＤＲ−ＳＤＲ変換又はＳＤＲ−ＨＤＲ変換）を実行してもよい。さらに、端末装置１６は、ＲＡＷ映像ファイル１８に含まれる画像信号、又はダイナミックレンジ変換後の復号画像信号を所定の映像符号化方式で符号化して、符号化ビットストリーム１７ｄを生成してもよい。

図６Ａの例におけるサーバ装置１５、並びに図６Ｂの例における撮像装置１２及び端末装置１６は、いずれも画像を符号化する画像処理装置（即ち、エンコーダ）としての機能を有する。本実施形態では、これら画像処理装置が画像を符号化する際に、伝達関数に基づいて（例えば、伝達関数の種別又は他の属性に基づいて）画像の各部分領域に割り当てられる符号量を制御することにより、ＨＤＲ用の信号フォーマットが使用される場合の画質の劣化を軽減する。次項より、そうした画像処理装置の具体的かつ例示的な構成について詳しく説明する。

［２−３．画像処理装置の概略的な構成］
図７Ａは、本実施形態に係る画像処理装置の概略的な構成の第１の例を示すブロック図である。図７Ａに示した画像処理装置１００ａは、例えば、図６Ａの例におけるサーバ装置１５、又は図６Ｂの例における撮像装置１２若しくは端末装置１６（又は、それら装置のいずれかに搭載される画像処理モジュール）であってよい。画像処理装置１００ａは、信号取得部１０１、情報取得部１０３、符号化部１１０及び制御部１４０を備える。

信号取得部１０１は、光と画像信号との間の変換に関する伝達関数に基づいて生成された入力画像信号を取得する。信号取得部１０１は、伝送インタフェースを介して外部の装置から入力画像信号を取得してもよく、又は画像処理装置１００ａと一体的に構成される撮像モジュール及び信号処理モジュール（図示せず）から入力画像信号を取得してもよい。

情報取得部１０３は、符号化部１１０により符号化される画像に適用された伝達関数に関する入力情報を取得する。一例として、情報取得部１０３は、画像処理装置１００ａが有するユーザインタフェースを介して入力情報を取得してもよい。ユーザインタフェースは、画像処理装置１００ａの筐体に設けられる例えばタッチパネル、ボタン又はスイッチのような物理的な入力デバイスにより提供されてもよい。その代わりに、ユーザインタフェースは、通信インタフェースを介して遠隔的に接続される端末装置上でＧＵＩ（Graphical User Interface）として提供されてもよい。本実施形態において、入力情報は、少なくとも符号化すべき画像に適用された伝達関数の種別を示す伝達関数種別を含む。ユーザインタフェースは、例えば、「ＳＤＲ」及び「ＨＤＲ」という２つの選択肢のうち画像に適用すべき１つをユーザに選択させてもよい。この場合、ＳＤＲ用の予め定義される１つの伝達関数、又はＨＤＲ用の予め定義される１つの伝達関数が画像に適用されたものと判定される。また、ユーザインタフェースは、複数の伝達関数の候補（例えば、ＢＴ．７０９、ＨＬＧ、ＳＴ２０８４及びＳ−Ｌｏｇ３）から、画像に適用すべき伝達関数をユーザに選択させてもよい。

他の例として、情報取得部１０３は、入力画像信号と多重化される補助信号から入力情報を取得してもよい。例えば、補助信号は、信号線上で画像信号が伝送されていない期間（例えば、ブランキング期間）において信号取得部１０１により受信される。そして、情報取得部１０３は、信号取得部１０１において分離される補助信号から、画像に適用された伝達関数の種別を示す伝達関数種別を含む入力情報を取得し得る。また、情報取得部１０３は、外部のデータソースへアクセスして必要とされる入力情報を取得してもよい。

符号化部１１０は、信号取得部１０１により取得される画像信号により表現される画像を符号化して、符号化ビットストリームを生成する。符号化部１１０は、例えばＭＰＥＧ−２、Ｈ．２６４／ＡＶＣ又はＨ．２６５／ＨＥＶＣなどのいかなる映像符号化方式に従って符号化処理を実行してもよい。符号化部１１０により実行される符号化処理は、典型的には、予測、直交変換、量子化及びエントロピー符号化といった様々な演算処理を含み、中でも量子化は所要の圧縮率を達成するための非可逆圧縮を含む処理である。

制御部１４０は、情報取得部１０３により取得される入力情報により示される伝達関数に基づいて、符号化部１１０において画像の各部分領域に割り当てられる符号量を制御する。より具体的には、制御部１４０は、ＨＤＲに対応する第１の伝達関数（ＨＤＲ用の伝達関数）及びＳＤＲに対応する第２の伝達関数（ＳＤＲ用の伝達関数）のうちのＨＤＲ用の伝達関数が画像に適用されている場合に、ＨＤＲ映像の画質の劣化を軽減するための量子化制御処理を有効化する。当該量子化制御処理は、伝達関数又は信号フォーマットに関わらず実行される量子化処理の処理パラメータを、ＨＤＲ用の伝達関数が適用されている場合に符号量の割り当てを調整するために修正する処理を含み得る。なお、ここでは主に伝達関数の種別に基づいて割り当て符号量が制御される例を説明するが、伝達関数に関連付けられるダイナミックレンジの上限値など、伝達関数の他の属性に基づいて符号量が制御されてもよい。

図７Ｂは、本実施形態に係る画像処理装置の概略的な構成の第２の例を示すブロック図である。図７Ｂに示した画像処理装置１００ｂもまた、例えば、図６Ａの例におけるサーバ装置１５、又は図６Ｂの例における撮像装置１２若しくは端末装置１６（又は、それら装置のいずれかに搭載される画像処理モジュール）であってよい。画像処理装置１００ｂは、信号処理部１０２、情報取得部１０４、記憶部１０７、符号化部１１０及び制御部１４０を備える。

信号処理部１０２は、何らかの伝送インタフェース若しくは装置内部の信号線を介して撮像装置から入力される原始的な画像信号を取得し、又は記憶部１０７により記憶されている映像ファイルから画像信号を取得する。そして、信号処理部１０２は、原始的な画像信号について例えばガンマ補正及び色変換を含み得るデジタル信号処理を実行し、所定の信号フォーマットで符号化の対象とされる画像信号を生成する。信号処理部１０２により画像に適用される信号フォーマット及び対応する伝達関数は、情報取得部１０４により取得される入力情報に基づいて決定される。そして、信号処理部１０２は、生成した画像信号を符号化部１１０へ出力する。

情報取得部１０４は、符号化部１１０により符号化される画像に適用される伝達関数に関する入力情報を取得する。例えば、情報取得部１０４は、画像処理装置１００ｂが有する（物理的な入力デバイスにより提供され又はＧＵＩとして提供される）ユーザインタフェースを介して入力情報を取得してよい。上述したように、入力情報は、少なくとも符号化すべき画像に適用される伝達関数の種別を示す伝達関数種別を含む。ユーザインタフェースは、例えば、「ＳＤＲ」及び「ＨＤＲ」という２つの選択肢のうち画像に適用すべき１つをユーザに選択させてもよい。また、ユーザインタフェースは、複数の伝達関数の候補から、画像に適用すべき伝達関数をユーザに選択させてもよい。

記憶部１０７は、様々な映像データを記憶するための記憶デバイスである。記憶部１０７は、例えば、信号変換前のデジタル画像信号を記録する映像ファイルを記憶してもよい。ユーザは、画像処理装置１００ｂが有する入出力インタフェース（図示せず）を介して、外部記憶媒体から取得される映像ファイルを記憶部１０７に記憶させてもよい。また、記憶部１０７は、符号化部１１０により実行される符号化処理の結果として生成される符号化ビットストリームを含む映像ファイルを記憶してもよい。映像ファイルは、リクエストに応じて外部の装置へと出力されてもよい。

図７Ａを用いて説明した第１の例と同様に、符号化部１１０は、信号処理部１０２により取得される画像信号により表現される画像を符号化して、符号化ビットストリームを生成する。制御部１４０は、情報取得部１０４により取得される入力情報により示される伝達関数の種別に基づいて、符号化部１１０において画像の各部分領域に割り当てられる符号量を制御する。符号化部１１０により生成される符号化ビットストリームは、画像処理装置１００ｂの外部の装置へと伝送されてもよく、又は記憶部１０７により映像ファイルとして記憶されてもよい。

［２−４．符号化部及び制御部の詳細な構成］
本項では、図７Ａ及び図７Ｂに示した符号化部１１０及び制御部１４０のより具体的な構成について詳しく説明する。図８は、第１の実施形態に係る符号化部及び制御部の詳細な構成の一例を示すブロック図である。

（１）符号化部
図８を参照すると、符号化部１１０は、並び替えバッファ１１１、ブロック設定部１１２、減算部１１３、直交変換部１１４、量子化部１１５、可逆符号化部１１６、逆量子化部１２１、逆直交変換部１２２、加算部１２３、ループフィルタ１２４、フレームメモリ１２６、スイッチ１２７、モード選択部１２８、イントラ予測部１３０及びインター予測部１３５を備える。

並び替えバッファ１１１は、信号取得部１０１又は信号処理部１０２により取得される画像信号により表現される一連の画像の画像データを、ＧＯＰ（Group of Pictures）構造に応じて並び替える。並び替えバッファ１１１は、並び替え後の画像データをブロック設定部１１２、イントラ予測部１３０及びインター予測部１３５へ出力する。

ブロック設定部１１２は、ピクチャに相当する画像の各々を複数のブロックへと分割する。ＭＰＥＧ−２及びＨ．２６４／ＡＶＣでは、ピクチャは固定的なサイズを有する複数のマクロブロックへと格子状に分割され、各マクロブロックを処理単位として符号化処理が実行される。量子化処理は、各マクロブロックに設定されるより小さいサブブロックを処理単位として実行され得る。Ｈ．２６５／ＨＥＶＣでは、ピクチャは可変的なサイズを有する複数の符号化単位（Coding Unit）へと四分木状に分割され、各ＣＵを処理単位として符号化処理が実行される。量子化処理は、各ＣＵに設定されるより小さい変換単位（Transform Unit）を処理単位として実行され得る。

減算部１１３は、ブロック設定部１１２から入力される画像データと予測画像データとの差分である予測残差データを算出し、予測残差データを直交変換部１１４へ出力する。

直交変換部１１４は、減算部１１３から入力される予測残差データを、空間領域の画像データから周波数領域の変換係数データへと変換する。直交変換部１１４により実行される直交変換は、例えば離散コサイン変換又は離散サイン変換などであってよい。そして、直交変換部１１４は、変換係数データを量子化部１１５へ出力する。

量子化部１１５は、直交変換部１１４から入力される変換係数データを、所要の圧縮率が達成されるように決定される量子化ステップで量子化する。例えば、出力される符号化ビットストリームのサイズに対してバッファ又は伝送路の空き容量が多い場合には量子化ステップは小さく設定され、逆に空き容量が少ない場合には量子化ステップは大きく設定され得る。量子化ステップは、概して、画像内の部分領域ごとに決定される。３つの色成分の各々について異なる量子化ステップが使用されてもよい。ある部分領域について使用される量子化ステップがより小さいほど、当該部分領域の変換係数は精細に量子化される。これは、より多くの符号量が当該部分領域に割り当てられること、即ち当該部分領域の画像の階調がより損なわれることなく維持されることを意味する。量子化部１１５は、量子化行列を用いて変換係数のうち異なる周波数成分に異なる量子化ステップを適用してもよい。そして、量子化部１１５は、量子化後の変換係数データ（以下、量子化データという）を可逆符号化部１１６及び逆量子化部１２１へ出力する。

入力画像信号にＨＤＲ用の伝達関数が適用された場合、量子化部１１５には、各部分領域について使用される量子化ステップを調整（スケーリング）するためのパラメータが、制御部１４０から提供される。量子化部１１５は、制御部１４０から提供されるこのパラメータで除算（又は乗算）することにより量子化ステップをスケーリングして、スケーリング後の量子化ステップで変換係数データを量子化する。なお、いくつかの映像符号化方式では、デコーダ側での逆量子化のために要する制御値として量子化ステップを直接的に符号化する代わりに、量子化ステップとは対数関数的な関係を有する量子化パラメータ（ＱＰ）が符号化される。量子化ステップのスケーリングは、何らかの係数で量子化ステップを除算（又は乗算）する代わりに、何らかのオフセットを量子化パラメータに加算（又は減算）することにより実現されてもよい。

可逆符号化部１１６は、量子化部１１５から入力される量子化データを符号化することにより、符号化ビットストリームを生成する。また、可逆符号化部１１６は、デコーダにより参照される様々なパラメータを符号化して、符号化されたパラメータを符号化ビットストリームへ挿入する。可逆符号化部１１６により符号化されるパラメータは、伝達関数に関する情報、色域に関する情報、及び上述した量子化パラメータに関する情報を含み得る。可逆符号化部１１６は、生成した符号化ビットストリームを、アプリケーションの目的に応じた出力先へと出力する。

逆量子化部１２１、逆直交変換部１２２及び加算部１２３は、ローカルデコーダを構成する。ローカルデコーダは、符号化されたデータから原画像を再構築する役割を有する。

逆量子化部１２１は、量子化部１１５により使用されたものと同じ量子化ステップで量子化データを逆量子化し、変換係数データを復元する。入力画像信号にＨＤＲ用の伝達関数が適用された場合には、制御部１４０から提供されるパラメータを用いてスケーリングされた量子化ステップが、各部分領域について使用され得る。そして、逆量子化部１２１は、復元した変換係数データを逆直交変換部１２２へ出力する。

逆直交変換部１２２は、逆量子化部１２１から入力される変換係数データについて逆直交変換処理を実行することにより、予測残差データを復元する。そして、逆直交変換部１２２は、復元した予測残差データを加算部１２３へ出力する。

加算部１２３は、逆直交変換部１２２から入力される復元された予測残差データとイントラ予測部１３０又はインター予測部１３５により生成される予測画像データとを加算することにより、復号画像データを生成する。そして、加算部１２３は、生成した復号画像データをループフィルタ１２４及びフレームメモリ１２６へ出力する。

ループフィルタ１２４は、復号画像の画質の向上を目的とするインループフィルタである。ループフィルタ１２４は、例えば、復号画像に現れるブロック歪みを軽減するためのデブロックフィルタを含んでもよい。また、ループフィルタ１２４は、復号画像にエッジオフセット又はバンドオフセットを加えるための適応オフセットフィルタを含んでもよい。ループフィルタ１２４は、フィルタリング後の復号画像データをフレームメモリ１２６へ出力する。

フレームメモリ１２６は、加算部１２３から入力されるフィルタリング前の復号画像データ、及びループフィルタ１２４から入力されるインループフィルタの適用後の復号画像データを記憶する。

スイッチ１２７は、イントラ予測のために使用されるフィルタリング前の復号画像データをフレームメモリ１２６から読み出し、読み出した復号画像データを参照画像データとしてイントラ予測部１３０に供給する。また、スイッチ１２７は、インター予測のために使用されるフィルタリング後の復号画像データをフレームメモリ１２６から読み出し、読み出した復号画像データを参照画像データとしてインター予測部１３５に供給する。

モード選択部１２８は、イントラ予測部１３０及びインター予測部１３５から入力されるコストの比較に基づいて、ブロックごとに予測手法を選択する。モード選択部１２８は、イントラ予測を選択したブロックについては、イントラ予測部１３０により生成される予測画像データを減算部１１３へ出力すると共に、イントラ予測に関する情報を可逆符号化部１１６へ出力する。また、モード選択部１２８は、インター予測を選択したブロックについては、インター予測部１３５により生成される予測画像データを減算部１１３へ出力すると共に、インター予測に関する情報を可逆符号化部１１６へ出力する。

イントラ予測部１３０は、原画像データ及び復号画像データに基づいて、イントラ予測処理を実行する。例えば、イントラ予測部１３０は、探索範囲に含まれる複数の候補モードの各々について、発生すると推定されるコストを評価する。次に、イントラ予測部１３０は、コストが最小となる予測モードを最良の予測モードとして選択する。また、イントラ予測部１３０は、選択した最良の予測モードに従って予測画像データを生成する。そして、イントラ予測部１３０は、最良の予測モードを示す予測モード情報を含むイントラ予測に関する情報、対応するコスト、及び予測画像データを、モード選択部１２８へ出力する。

インター予測部１３５は、原画像データ及び復号画像データに基づいて、インター予測処理（動き補償）を実行する。例えば、インター予測部１３５は、探索範囲に含まれる複数の候補モードの各々について、発生すると推定されるコストを評価する。次に、インター予測部１３５は、コストが最小となる予測モードを最良の予測モードとして選択する。また、インター予測部１３５は、選択した最良の予測モードに従って予測画像データを生成する。そして、インター予測部１３５は、インター予測に関する情報、対応するコスト、及び予測画像データを、モード選択部１２８へ出力する。

（２）制御部
図８を参照すると、制御部１４０は、統計演算部１４１及び符号量制御部１４３を備える。

統計演算部１４１は、画像に設定される部分領域の各々について、輝度成分及び色差成分のうちの少なくとも一方の強さに関する統計を算出する。統計演算部１４１により算出される統計は、１つ以上の色成分についての部分領域内の画素値（符号値）の代表値（例えば、平均、中央値若しくは最頻値）又はヒストグラムであってよい。そして、統計演算部１４１は、算出した統計を符号量制御部１４３へ出力する。

なお、ここでの部分領域は、典型的には、量子化処理の処理単位に相当するブロックに相当し得る。例えば、ＭＰＥＧ−２若しくはＨ．２６４／ＡＶＣにおけるマクロブロック若しくはサブブロック、又はＨ．２６５／ＨＥＶＣにおけるＣＵ若しくはＴＵといった部分領域ごとに統計が算出され、次に説明する符号量制御部により量子化ステップが制御されてよい。また、かかる例に限定されず、他の形状を有する部分領域（１画素であってもよい）ごとに、ここで説明される量子化制御処理が実行されてもよい。

符号量制御部１４３は、符号化される画像に適用される伝達関数の種別を、情報取得部１０３又は１０４から入力される入力情報に基づいて判定する。そして、符号量制御部１４３は、ＨＤＲ用の伝達関数及びＳＤＲ用の伝達関数のうちのＳＤＲ用の伝達関数が適用されている場合には、以下に説明する量子化制御処理をスキップし得る。一方、符号量制御部１４３は、符号化される画像にＨＤＲ用の伝達関数が適用されている場合には、各部分領域に割り当てられる符号量を、当該部分領域の輝度成分及び色差成分のうちの少なくとも一方に依存して制御する。より具体的には、符号量制御部１４３は、各部分領域について量子化部１１５により使用される量子化ステップを、１つ以上の色成分の強さに依存してスケーリングする（又は量子化部１１５にスケーリングさせる）ことにより、各部分領域に割り当てられる符号量を制御する。以下、第１の実施例として輝度成分の強さに依存する制御、第２の実施例として色差成分の強さに依存する制御、第３の実施例として輝度成分及び色差成分の双方の強さに依存する制御について説明する。

（３）第１の実施例−高輝度部分の保護
第１の実施例において、符号量制御部１４３は、輝度成分の強さがより強い部分領域（即ち、高輝度部分）により多くの符号量が割り当てられるように、各部分領域について使用される量子化ステップをスケーリングする。各部分領域の輝度成分の強さは、統計演算部１４１により算出される部分領域ごとの統計から把握される。ここでは、符号量制御部１４３は、量子化ステップを各部分領域の輝度成分の強さに依存する保護比で除算することにより、量子化ステップをスケーリングするものとする。保護比は、部分領域の画質をどの程度保護するかを表すパラメータである。保護比の値が大きいほど、量子化ステップの値は小さくなり、当該量子化ステップが適用される部分領域の画質はより強く保護される。なお、保護比での実際の除算は、保護比を提供される量子化部１１５において行われてよい。

図９Ａは、高輝度部分を保護するための保護比の第１の例について説明するための説明図である。図９Ａの横軸は、輝度成分の符号値を表す。縦軸は、保護比を表す。ここで示したように、保護比は、各部分領域の輝度成分の強さを引き数とする所定の関数を用いて算出されるパラメータであってもよい。図９Ａには一例として一次関数が示されているが、より高次の関数、又は例えば対数関数などの他の種類の関数が使用されてもよい。この例のように、輝度成分の強さがより強い部分領域の保護比をより高くすることで、そうした部分領域の量子化ステップがより小さい値へとスケーリングされる。それにより、光から電気信号への変換の際に既に強く圧縮されている高輝度部分の画像情報が過剰に損なわれることを回避することができる。

図９Ｂは、高輝度部分を保護するための保護比の第２の例について説明するための説明図である。図９Ｂに示したように、保護比は、各部分領域の輝度成分の強さがどのサブレンジに属するかによって選択的に決定されるパラメータであってもよい。第２の例によれば、各部分領域の輝度成分の強さが２００ｎｉｔ未満、２００ｎｉｔ以上３００ｎｉｔ未満、３００ｎｉｔ以上４００ｎｉｔ未満、４００ｎｉｔ以上５００ｎｉｔ未満、５００ｎｉｔ以上６００ｎｉｔ未満及び６００ｎｉｔ以上という６つのサブレンジに分類されており、各サブレンジに対応する保護比が定義される。符号量制御部１４３は、このようなサブレンジと対応する保護比とをマッピングするマッピングテーブルを予め記憶するメモリを有していてもよい。第２の例においても、第１の例と同様に、輝度成分の強さがより強い部分領域の保護比がより高く設定されるため、光から電気信号への変換の際に既に強く圧縮されている高輝度部分の画像情報が過剰に損なわれることを回避することができる。

なお、第２の例によれば、ダイナミックレンジの中央部分において、保護比（又は量子化ステップ）が精細に制御される一方、ダイナミックレンジの端部においては保護比は固定的である。保護比をこのように設定することで、人間の視覚を通じて主観的に感知される画質に影響を与えやすいダイナミックレンジの中央部分の保護を、符号化効率の犠牲を抑制しながら効率的に強化することができる。

（４）第２の実施例−高色差部分の保護
第２の実施例において、符号量制御部１４３は、色差成分の強さがより強い部分領域（即ち、高色差部分）により多くの符号量が割り当てられるように、各部分領域について使用される量子化ステップをスケーリングする。

図１０は、高色差部分として保護されるべき符号値について説明するための説明図である。図１０の横軸は、２つの色差成分のうちの一方であるＣｂ成分の符号値を表す。縦軸は、２つの色差成分のうちの他方であるＣｒ成分の符号値を表す。図中の点Ｐ１は、ＲＧＢ空間においてＲ成分及びＧ成分の符号値が１０００を上回る所謂「黄色」に該当する特定の点の、ＹＣｂＣｒ空間のＣｂＣｒ平面上の対応する位置を示している。点Ｐ２は、ＲＧＢ空間においてＧ成分及びＢ成分の符号値が１０００を上回る所謂「シアン」に該当する特定の点の、ＹＣｂＣｒ空間のＣｂＣｒ平面上の対応する位置を示している。点Ｐ３は、ＲＧＢ空間においてＧ成分の符号値が１０００を上回る所謂「緑色」に該当する特定の点の、ＹＣｂＣｒ空間のＣｂＣｒ平面上の対応する位置を示している。点Ｐ４は、ＲＧＢ空間においてＲ成分及びＢ成分の符号値が１０００を上回る所謂「マゼンタ」に該当する特定の点の、ＹＣｂＣｒ空間のＣｂＣｒ平面上の対応する位置を示している。点Ｐ５は、ＲＧＢ空間においてＲ成分の符号値が１０００を上回る所謂「赤色」に該当する特定の点の、ＹＣｂＣｒ空間のＣｂＣｒ平面上の対応する位置を示している。点Ｐ６は、ＲＧＢ空間においてＢ成分の符号値が１０００を上回る所謂「青色」に該当する特定の点の、ＹＣｂＣｒ空間のＣｂＣｒ平面上の対応する位置を示している。

これら点の色成分値の分析によれば、図中で破線枠ＨＬの内部にある点Ｐ１、Ｐ２及びＰ３はＹＣｂＣｒ空間において相対的に高いＹ成分値（例えば、７００以上）を有するのに対し、破線枠ＨＬの外部にある点Ｐ４、Ｐ５及びＰ６は相対的に低いＹ成分値（例えば、７００未満）を有する。これは、色の鮮やかな部分の中でも「黄色」、「シアン」及び「緑色」の部分は輝度成分を考慮すれば保護され得るのに対し、「マゼンタ」、「赤色」及び「青色」の部分はそうではないことを意味する。そのため、高色差部分について符号量の割り当てを増加させることもまた有益である。各部分領域の色差成分の強さは、統計演算部１４１により算出される部分領域ごとの統計から把握される。ここでは、符号量制御部１４３は、量子化ステップを各部分領域の色差成分の強さに依存する保護比で除算することにより、（輝度成分と共通の又は色差成分に固有の）量子化ステップをスケーリングするものとする。なお、実際の除算は、保護比を提供される量子化部１１５において行われてよい。

高色差部分を保護するための保護比は、図９Ａに示した第１の例と同様に、各部分領域の色差成分の強さを引き数とする所定の関数を用いて算出されるパラメータであってもよい。代替的に、高色差部分を保護するための保護比は、図９Ｂに示した第２の例と同様に、各部分領域の色差成分の強さがどのサブレンジに属するかに依存して決定されるパラメータであってもよい。符号量制御部１４３は、色差成分のサブレンジと対応する保護比とをマッピングするマッピングテーブルを予め記憶するメモリを有していてもよい。

図１１は、高色差部分を保護するための保護比の一例について説明するための説明図である。図１１には、図９Ｂに例示した６つのサブレンジに対応する輝度成分の保護比（実線）に加えて、同じ６つのサブレンジに対応する色差成分の保護比（破線）が示されている。このように色差成分の強さがより強い部分領域の保護比をより高く設定することで、光から電気信号への変換の際に既に強く圧縮されている高色差部分の画像情報が過剰に損なわれることを回避することができる。また、ダイナミックレンジの中央部分において保護比を精細に設定することで、主観的に感知される画質に影響を与えやすいダイナミックレンジの中央部分の保護を、符号化効率の犠牲を抑制しながら効率的に強化することができる。

（５）第３の実施例−高輝度部分及び高色差部分の保護
図１０の点Ｐ１、Ｐ２及びＰ３（「黄色」、「シアン」及び「緑色」）は、上述したように、色の鮮やかな（Ｒ成分、Ｇ成分及びＢ成分のうちの１つ以上が強い）領域に属し且つ高輝度（Ｙ成分が強い）領域にも属する。このような色を有する部分領域を高輝度部分として保護しながら高色差部分としても保護すると、割り当て符号量が不適切なほど多くなってしまう可能性がある。そこで、符号量制御部１４３は、輝度成分及び色差成分のうちの一方の強さに応じて量子化ステップがスケーリングされた部分領域の当該量子化ステップを、輝度成分及び色差成分のうちの他方の強さに応じてスケーリングしなくてもよい。

一例として、符号量制御部１４３は、各部分領域について統計演算部１４１により色成分ごとに算出されるヒストグラムに基づいて、各部分領域を２つのグループに分類する。より具体的には、例えば、符号量制御部１４３は、あるＣｂ基準値を上回るＣｂ成分を有する画素の割合が閾値を上回り、又はあるＣｒ基準値を上回るＣｒ成分を有する画素の割合が閾値を上回る部分領域を第１のグループに、そうではない（双方の割合が閾値を下回る）部分領域を第２のグループに分類し得る。第１のグループは、図１０の破線枠ＨＬの外部に位置する画素の多い部分領域を含み、第２のグループは、破線枠ＨＬの内側に位置する画素の多い部分領域を含むことになる。符号量制御部１４３は、第１のグループに属する部分領域には第２の実施例に従って高色差部分の保護を、第２のグループに属する部分領域には第１の実施例に従って高輝度部分の保護を適用してもよい。

こうした保護手法の切り替えにより、冗長的な量子化ステップの制御を回避して処理コストを低減すると共に、画像内で局所的に割り当て符号量が過剰となることを防止することができる。

［２−５．処理の流れ］
（１）符号化制御処理
図１２は、本実施形態に係る符号化制御処理の流れの一例を示すフローチャートである。ここで説明する符号化制御処理は、映像を構成する個々の画像について繰り返されてよい。複数の画像にわたって変化しないパラメータを取得し又は設定するための処理ステップは、２回目以降の繰り返しにおいてスキップされてもよい。なお、ここでは、説明の簡明さのために、符号量の制御に直接的に関連しない処理ステップについての説明は省略される。

図１２を参照すると、まず、信号取得部１０１又は信号処理部１０２は、光と画像信号との間の変換に関する伝達関数に基づいて生成された画像信号を取得する（ステップＳ１１０）。ここで取得される画像信号は、符号化部１１０へ出力される。

次に、情報取得部１０３又は１０４は、符号化部１１０により符号化される画像に適用された伝達関数に関する入力情報を、ユーザインタフェースを介して又は入力画像信号と多重化される補助信号から取得する（ステップＳ１１２）。ここで取得される入力情報は、制御部１４０へ出力される。

次に、符号量制御部１４３は、上述した入力情報により示される伝達関数の種別に基づいて、個々の部分領域に保護比を設定する際に使用される保護比テーブル又は関数を設定する（ステップＳ１１４）。ここで設定される保護比テーブル又は関数は、ＨＤＲ用の複数の伝達関数にわたって共通的であってもよく、又はＨＤＲ用の複数の伝達関数のうちのいずれが適用されるかに依存して異なってもよい。

その後の処理は、処理対象の画像に設定される複数の部分領域のうちの各々について繰り返される。各繰り返しにおける処理対象の部分領域を、ここでは注目部分領域という。

まず、符号化部１１０の量子化部１１５は、どのような伝達関数が適用されたかに関わらず、所要の圧縮率が達成されるように注目部分領域の量子化ステップを決定する（ステップＳ１３０）。

次に、符号量制御部１４３は、適用された伝達関数の種別を、入力情報に基づいて判定する（ステップＳ１３２）。そして、符号量制御部１４３は、符号化される画像にＨＤＲ用の伝達関数が適用されたと判定される場合には、後に詳しく説明する量子化制御処理を実行する（ステップＳ１４０）。一方、符号化される画像にＳＤＲ用の伝達関数が適用されたと判定される場合には、符号量制御部１４３は、量子化制御処理をスキップする。

次に、量子化部１１５は、直交変換部１１４から入力される注目部分領域の変換係数データを、スケーリング後の（又はＳＤＲ映像であるためにスケーリングされない）量子化ステップで量子化する（ステップＳ１６０）。

次に、可逆符号化部１１６は、量子化部１１５から入力される量子化データと量子化パラメータとを符号化して、符号化ビットストリームを生成する（ステップＳ１７０）。

ステップＳ１３０〜ステップＳ１７０は、ピクチャ内の全ての部分領域について処理が終了するまで繰り返される（ステップＳ１８０）。そして、全てのピクチャについて処理が終了すると、図１２に示した符号化制御処理は終了する（ステップＳ１９０）。

（２）量子化制御処理（第１の実施例）
図１３Ａは、図１２のステップＳ１４０において実行され得る量子化制御処理の流れの第１の例を示すフローチャートである。第１の例は、画像内の高輝度部分の階調を保護するための量子化制御処理の流れの一例を示している。

図１３Ａを参照すると、まず、統計演算部１４１は、注目部分領域の輝度成分の強さに関する統計を算出する（ステップＳ１４１）。ここで算出される統計は、例えば、輝度成分についての部分領域内の画素値の平均、中央値又は最頻値を含み得る。そして、統計演算部１４１は、算出した統計を符号量制御部１４３へ出力する。

次に、符号量制御部１４３は、統計演算部１４１から入力される注目部分領域の輝度統計に対応する保護比を、保護比テーブルを参照し又は保護比算出用の関数を用いることにより決定する（ステップＳ１４４）。そして、符号量制御部１４３は、決定した保護比を、量子化部１１５へ出力する。

次に、量子化部１１５は、符号量制御部１４３から入力される保護比に従って、図１２のステップＳ１３０にて決定した量子化ステップをスケーリングする（ステップＳ１４６）。例えば、量子化部１１５は、符号量制御部１４３から入力される１より大きい保護比で量子化ステップを除算することにより量子化ステップを縮小し、又は１より小さい保護比で量子化ステップを除算することにより量子化ステップを拡大する。なお、ここでは、所要の圧縮率が達成されるように暫定的に決定された量子化ステップを保護比でスケーリングする例を説明しているが、所要の圧縮率及び保護比の双方を同時に考慮して量子化ステップが決定されてもよい。以下に説明する他の実施例についても同様である。

（３）量子化制御処理（第２の実施例）
図１３Ｂは、図１２のステップＳ１４０において実行され得る量子化制御処理の流れの第２の例を示すフローチャートである。第２の例は、画像内の高色差部分の階調を保護するための量子化制御処理の流れの一例を示している。

図１３Ｂを参照すると、まず、統計演算部１４１は、注目部分領域の色差成分の強さに関する統計を算出する（ステップＳ１４２）。ここで算出される統計は、例えば、色差成分についての部分領域内の画素値の平均、中央値又は最頻値を含み得る。そして、統計演算部１４１は、算出した統計を符号量制御部１４３へ出力する。

次に、符号量制御部１４３は、統計演算部１４１から入力される注目部分領域の色差統計に対応する保護比を、保護比テーブルを参照し又は保護比算出用の関数を用いることにより決定する（ステップＳ１４５）。そして、符号量制御部１４３は、決定した保護比を、量子化部１１５へ出力する。

次に、量子化部１１５は、符号量制御部１４３から入力される保護比に従って、図１２のステップＳ１３０にて決定した量子化ステップをスケーリングする（ステップＳ１４７）。例えば、量子化部１１５は、符号量制御部１４３から入力される１より大きい保護比で量子化ステップを除算することにより量子化ステップを縮小し、又は１より小さい保護比で量子化ステップを除算することにより量子化ステップを拡大する。

（４）量子化制御処理（第３の実施例）
図１３Ｃは、図１２のステップＳ１４０において実行され得る量子化制御処理の流れの第３の例を示すフローチャートである。第３の例は、画像内の高輝度部分及び高色差部分の双方の階調を保護するための量子化制御処理の流れの一例を示している。

図１３Ｃを参照すると、まず、統計演算部１４１は、注目部分領域の輝度成分の強さに関する統計を算出する（ステップＳ１４１）。また、統計演算部１４１は、注目部分領域の色差成分の強さに関する統計を算出する（ステップＳ１４２）。そして、統計演算部１４１は、算出した統計を符号量制御部１４３へ出力する。

次に、符号量制御部１４３は、統計演算部１４１から入力される注目部分領域の統計（例えば、色差成分のヒストグラム）に基づいて、注目部分領域に輝度に依存する保護を適用するか又は色差に依存する保護を適用するかを判定する（ステップＳ１４３）。

次に、符号量制御部１４３は、注目部分領域に輝度に依存する保護を適用すると判定した場合には、注目部分領域の輝度統計に対応する保護比を、保護比テーブルを参照し又は保護比算出用の関数を用いることにより決定する（ステップＳ１４４）。そして、量子化部１１５は、輝度統計に基づく符号量制御部１４３から入力される保護比に従って量子化ステップをスケーリングする（ステップＳ１４８）。

一方、符号量制御部１４３は、注目部分領域に色差に依存する保護を適用すると判定した場合には、注目部分領域の色差統計に対応する保護比を、保護比テーブルを参照し又は保護比算出用の関数を用いることにより決定する（ステップＳ１４５）。そして、量子化部１１５は、色差統計に基づく符号量制御部１４３から入力される保護比に従って量子化ステップをスケーリングする（ステップＳ１４９）。

［２−６．変形例］
ここまで、画像を符号化する機能を有する画像処理装置が、画像に適用された伝達関数の種別に基づいて、部分領域ごとの割り当て符号量を制御する処理のオン／オフを切り替える例について説明した。しかしながら、本実施形態のアイディアは、伝達関数の種別の判定を経ることなく、部分領域ごとの割り当て符号量の制御が実行されるケースにも適用可能である。本項では、そうした一変形例について説明する。

（１）画像処理装置の構成
図１４は、第１の実施形態に係る画像処理装置の構成の一変形例を示すブロック図である。図１４に示した画像処理装置１００ｃは、例えば、図６Ａの例におけるサーバ装置１５、又は図６Ｂの例における撮像装置１２若しくは端末装置１６（又は、それら装置のいずれかに搭載される画像処理モジュール）であってよい。画像処理装置１００ｃは、信号取得部１０１、符号化部１１０及び制御部１４０ｃを備える。

図７Ａを用いて説明した例と同様、信号取得部１０１は、光と画像信号との間の変換に関する伝達関数に基づいて生成された入力画像信号を取得する。本変形例において信号取得部１０１により取得される入力画像信号は、ＨＤＲ用の伝達関数によって光から変換され、ＨＤＲ用の信号フォーマットで生成された信号である。ここでのＨＤＲ用の伝達関数は、例えば、１００ｎｉｔより高い輝度での映像の表示を可能とするための、ＨＬＧ、ＳＴ２０８４又はＳ−Ｌｏｇ３といった伝達関数であってよい。符号化部１１０は、信号取得部１０１から入力される画像信号により表現される画像を符号化して、符号化ビットストリームを生成する。なお、画像処理装置１００ｃは、信号取得部１０１の代わりに、図７Ｂを用いて説明した信号処理部１０２を備えていてもよい。

本変形例において、制御部１４０ｃは、符号化される画像にＨＤＲ用の伝達関数が適用されたことを前提として、符号化部１１０において画像の各部分領域に割り当てられる符号量を、当該部分領域の輝度成分及び色差成分のうちの少なくとも一方に依存して制御する。より具体的には、制御部１４０ｃは、伝達関数の種別を判定することなく、図１３Ａ〜図１３Ｃを用いて説明した実施例のうちのいずれかに従って、各部分領域について使用される量子化ステップを、輝度成分及び色差成分のうちの少なくとも一方に依存してスケーリングすることにより、各部分領域に割り当てられる符号量を制御し得る。

量子化ステップのスケーリングは、例えば図９Ａを用いて説明したような色成分の符号値を引き数とする関数を用いて決定されるパラメータの乗算又は除算（例えば、保護比での除算）によって実現されてもよい。その代わりに、量子化ステップのスケーリングは、例えば図９Ｂを用いて説明したような色成分の符号値と予めマッピングされる（マッピングテーブルを参照して取得される）パラメータの乗算又は除算によって実現されてもよい。色成分の強さがより強い部分領域の量子化ステップを縮小することにより、より多くの符号量をそれら部分領域に割り当てて、コーデック歪みに起因する画質の劣化を軽減することができる。

（２）符号化制御処理
図１５は、図１４を用いて説明した変形例に係る符号化制御処理の流れの一例を示すフローチャートである。ここで説明する符号化制御処理は、映像を構成する個々の画像について繰り返されてよい。複数の画像にわたって変化しないパラメータを取得し又は設定するための処理ステップは、２回目以降の繰り返しにおいてスキップされてもよい。なお、ここでは、説明の簡明さのために、符号量の制御に直接的に関連しない処理ステップについての説明は省略される。

図１５を参照すると、まず、信号取得部１０１又は信号処理部１０２は、光と画像信号との間の変換に関するＨＤＲ用の伝達関数が適用された画像信号を取得する（ステップＳ１１１）。ここで取得される画像信号は、符号化部１１０へ出力される。

次に、制御部１４０ｃは、個々の部分領域に保護比を設定する際に使用される保護比テーブル又は関数を設定する（ステップＳ１１５）。ここで設定される保護比テーブル又は関数は、ＨＤＲ用の複数の伝達関数にわたって共通的であってもよく、又はＨＤＲ用の複数の伝達関数のうちのいずれが適用されるかに依存して異なってもよい。

その後の処理は、処理対象の画像に設定される複数の部分領域のうちの各々について繰り返される。まず、符号化部１１０の量子化部１１５は、所要の圧縮率が達成されるように注目部分領域の量子化ステップを決定する（ステップＳ１３０）。

次に、制御部１４０ｃは、図１３Ａ〜図１３Ｃを用いて説明した量子化制御処理のうちの１つを実行する（ステップＳ１４０）。それにより、ステップＳ１３０において決定された注目部分領域の量子化ステップがスケーリングされる。

次に、量子化部１１５は、直交変換部１１４から入力される注目部分領域の変換係数データを、スケーリング後の量子化ステップで量子化する（ステップＳ１６０）。

次に、可逆符号化部１１６は、量子化部１１５から入力される量子化データと量子化パラメータとを符号化して、符号化ビットストリームを生成する（ステップＳ１７０）。

ステップＳ１３０〜ステップＳ１７０は、ピクチャ内の全ての部分領域について処理が終了するまで繰り返される（ステップＳ１８０）。そして、全てのピクチャについて処理が終了すると、図１５に示した符号化制御処理は終了する（ステップＳ１９０）。

［２−７．第１の実施形態のまとめ］
ここまで、図６Ａ〜図１５を用いて、本開示に係る技術の第１の実施形態について説明した。上述した実施形態では、光と画像信号との間の変換に関する伝達関数に基づいて取得される画像を符号化する際に、伝達関数に基づいて、画像の各部分領域に割り当てられる符号量が制御される。かかる構成によれば、どういった伝達関数が画像に適用されるかに依存して部分領域ごとに割り当て符号量を変化させることができる。それにより、伝達関数の選択の結果として原信号の階調を表現するための割り当て符号量が不足することを原因として、画像の部分領域においてコーデック歪みが顕著となることを防止することが可能となる。

また、上述した実施形態では、第１のダイナミックレンジに対応する第１の伝達関数及び第１のダイナミックレンジよりも狭い第２のダイナミックレンジに対応する第２の伝達関数のうちの第１の伝達関数が画像に適用されている場合に、各部分領域に割り当てられる符号量が、当該部分領域の輝度成分及び色差成分のうちの少なくとも一方に依存して制御され得る。かかる構成によれば、伝達関数に関わらず決定される割り当て符号量を、より広いダイナミックレンジに対応する伝達関数が適用されている場合に、少なくとも１つの色成分の強さに依存して部分領域ごとに調整することができる。それにより、特定のダイナミックレンジを前提として設計され又はチューニングされたエンコーダの構成を、拡張されたダイナミックレンジのために活用しながら、割り当て符号量を最適化して画質の劣化を軽減することができる。

一例として、上記第１のダイナミックレンジは、１００ｎｉｔより高い輝度での表示を可能とするためのダイナミックレンジであってよく、上記第２のダイナミックレンジは、１００ｎｉｔの輝度を上限とするダイナミックレンジであってよい。それにより、既存のＳＤＲ映像のために設計されたエンコーダを、画質の劣化を防止しつつ例えばＨＬＧ、ＳＴ２０８４又はＳ−Ｌｏｇ３といった伝達関数が適用されたＨＤＲ映像を符号化するために活用することが可能となる。

また、上述した実施形態では、各部分領域に割り当てられる符号量は、当該部分領域の輝度成分及び色差成分のうちの少なくとも一方に依存して量子化ステップをスケーリングすることにより制御される。例えば、アプリケーションの要件（所要の圧縮率など）に応じて決定される量子化ステップをより小さい値へとスケーリングすることで、画像の階調をより良好に保全することができる。また、割り当て符号量に相対的に余裕のある部分領域について量子化ステップをより大きい値へとスケーリングすることで、符号化効率の低下を補うことができる。

一例として、個々の映像符号化方式において定義されている量子化処理の処理単位に相当するブロックごとに量子化ステップのスケーリングを行うという構成を採用すれば、それら映像符号化方式をサポートするエンコーダを拡張して、上述した実施形態に係る技術を低コストで容易に実装することができる。

また、上述した実施形態では、各部分領域について使用される量子化ステップは、当該部分領域の輝度成分及び色差成分のうちの少なくとも一方の強さがより強い部分領域により多くの符号量が割り当てられるようにスケーリングされる。上述したように、例えばＨＤＲのケースでは、特に符号値が相対的に大きい部分において、ＳＤＲのケースと比較して画像情報がより高い圧縮比で圧縮されており、これがＨＤＲ映像の表示の際に画像内の高輝度部分及び高色差部分においてコーデック歪みが拡大する原因となっていた。これに対し、色成分の強さがより強い部分領域において量子化ステップを縮小して割り当て符号量を引き上げることで、コーデック歪みを軽減し、原画像における階調の変化を適切に再現することが可能となる。

また、上述した実施形態では、画像に適用される伝達関数に関する入力情報に基づいて、伝達関数が判定され得る。上記入力情報がユーザインタフェースを介して取得される場合には、入力信号から伝達関数を判別できない場合にもユーザが望む通りに伝達関数に基づく制御を実行することができる。上記入力情報が入力画像信号と多重化される補助信号から取得される場合には、ユーザ入力を要することなく自動的に伝達関数に基づく制御を実行することができる。

また、一変形例によれば、光と画像信号との間の変換に関する伝達関数に基づいて取得される画像を符号化する際に、画像の各部分領域に割り当てられる符号量が、当該部分領域の輝度成分及び色差成分のうちの少なくとも一方に依存して制御される。それにより、原信号の階調を表現するための割り当て符号量が不足することを原因として画像の部分領域においてコーデック歪みが顕著になることを防止することができる。

＜３．第２の実施形態＞
［３−１．導入］
多くの映像符号化方式において、エンコーダは、画像を符号化する際に、選択可能な複数のモードから符号化効率の観点で最良のモードを選択し、選択したモードを示すモード情報を符号化してデコーダへ伝送する。そうしたモード選択は、例えば、イントラ予測における予測モード（例えば、予測方向及び予測ブロックサイズ）の選択、インター予測における予測モード（例えば、動きベクトル、予測ブロックサイズ及び参照ピクチャ）の選択、並びにイントラ予測モードとインター予測モードとの間の予測手法の選択を含み得る。モード選択は、通常、原画像データから予測画像データを減算して残る予測残差から発生する符号量とオーバヘッドとしてのモード情報から発生する符号量との和に相当し得るコストを、複数の候補モードにわたって評価することにより行われる。しかし、ＳＤＲ映像のために設計され又はチューニングされたコスト評価式は、必ずしもＨＤＲ映像のために最適ではない。なぜなら、ＨＤＲ映像の画像信号においては、ＳＤＲ映像と比較して画像情報がより強く圧縮されており、同じ評価式が使用される場合には予測残差から発生する符号量のモード間の差異が過小評価されがちだからである。

発明者らは、ＨＤＲ用の信号フォーマットで表現されたサンプル映像の画像信号をＨ．２６４／ＡＶＣに準拠する既存のエンコーダで符号化した場合に、選択される予測モードにしばしば不自然な偏りが生じることを認識している。例えば、ある画像についてイントラ予測の結果として予測ブロックごとに選択された予測モードを分析すると、画像全体にわたって、不自然なほど多くのブロックでＤＣ予測（平均値予測ともいう）が選択されているケースがあった。こうした予測モードの偏りは、予測精度を悪化させ、所要の圧縮率の下で画像全体に散在する歪みをもたらす。予測モードの偏りが生じる原因は、モード選択のための画一的なコスト評価式がＨＤＲ映像のために適していないことである。特に、ＨＤＲのケースでは、画像情報の強い圧縮の結果として、コスト評価式における予測残差の寄与が小さくなり、モード情報の寄与が過剰に支配的になっていると推測される。

一般に、複数の候補モードから最良のモードを選択するための手法として、ラグランジュの未定乗数法に基づくＲＤ（Rate Distortion）最適化が知られている。ＲＤ最適化において、ｉ番目の候補モードについて符号化コストＪ_ｉは、次式のように記述され得る：

式（１）において、Ｄ_ｉは、ｉ番目の候補モードにおいて画像に生じる歪み（以下、予測残差符号量という）を表し、通常は原画像と予測画像との間の差分絶対値総和（ＳＡＤ）に等しい。Ｒ_ｉは、ｉ番目の候補モードにおいて生じるオーバヘッドビット（例えば、予測モードを表すモード情報）の符号量を表す。λは、量子化パラメータＱＰに依存する係数である。式（１）の右辺において、係数λの代わりに、ＱＰに依存するオフセット値が加算（又は減算）されてもよい。また、予測残差符号量Ｄ_ｉとして、差分絶対値総和をアダマール変換した値が使用されてもよい。

式（１）のようなコスト評価式をエンコーダに実装する際、例えば十分な処理速度を確保し又は実装の複雑さを低減するために、オーバヘッドビットの符号量の項Ｒ_ｉ（以下、モード符号量という）として、候補モードごとに予め定義される固定的な値を使用することが有益である。一方、信号変換前の画像における同程度の階調の差は、ＳＤＲのケースと比較してＨＤＲのケースではより小さい符号値の差へと圧縮される。すると、ＳＤＲ映像のために最適化されたモード符号量Ｒ_ｉは、ＨＤＲ映像において生じる予測残差符号量Ｄ_ｉと共にコスト評価式へ算入するには大き過ぎることになる。

図１６Ａ及び図１６Ｂは、モード選択への伝達関数の違いの影響について説明するための説明図である。図１６Ａの上段に示したグラフの横軸は、画像の１ライン上の水平方向の画素位置を表す。縦軸は、そのライン上の画素列のある色成分の符号値を表す。グラフの実線は、原画像の符号値を表し、図示した例では、符号値はラインの左半分において大きい値をとり、ラインの中央において減少し、ラインの右半分において小さい値をとる。左のグラフの破線は、イントラ予測の予測モードの１つであるＤＣ予測に従って生成され得る予測画像の符号値を表す。右のグラフの破線は、イントラ予測の予測モードの他の１つである対角方向予測に従って生成され得る予測画像の符号値を表す。原画像の符号値の軌跡（実線）と予測画像の符号値の軌跡（破線）とで囲まれた部分の面積（図中の斜線網掛け部分）は、それぞれの予測モードが選択された場合の予測誤差に相当する。図１６Ａの例では、ＤＣ予測の予測誤差が、対角方向予測の予測誤差よりも大きい。一方、例えばモード番号のより小さいＤＣ予測には、対角方向予測よりも小さいモード符号量（図中のドット網掛け部分）が付与されているものとする。しかし、図１６Ａの例では、予測誤差符号量とモード符号量との和、即ちコストを２つの予測モードの間で比較すると、ＤＣ予測よりも対角方向予測の方が低いコスト値を示す。従って、この場合には、イントラ予測の予測モードとして、対角方向予測が選択され得る。

図１６Ｂの上段に示したグラフにおいても、実線は原画像の符号値を表す。但し、図１６Ａの例ではＳＤＲ用の伝達関数が画像に適用されたのに対し、図１６Ｂの例ではＨＤＲ用の伝達関数が画像に適用された結果として、本来同程度であったはずの階調の差が、より小さい符号値の差へと圧縮されている。そのため、原画像の符号値の軌跡（実線）と予測画像の符号値の軌跡（破線）とで囲まれた部分の面積、即ち予測誤差（図中の斜線網掛け部分）をＤＣ予測と対角方向予測とで比較すると、それら予測誤差の差は小さくなっている。そして、予測誤差符号量にそれぞれモード符号量（図中のドット網掛け部分）を加算すると、総コストは対角方向予測よりもＤＣ予測の方が低い値を示す。従って、本来の画像は同じであるにも関わらず、この場合には、イントラ予測の予測モードとしてＤＣ予測が選択され得る。

このように伝達関数の違いがモード選択に影響を与える結果として画像に望ましくないコーデック歪みが生じることを防止するために、本節において、第２の実施形態として、コスト評価式に算入される予測残差符号量及びモード符号量のうちの一方を、伝達関数に基づいて制御する手法を提案する。

［３−２．システムの概要］
本実施形態に係る画像処理システムは、第１の実施形態における画像処理システム１０ａ又は１０ｂと同様に構成されてよい。例えばシステム内の撮像装置、サーバ装置若しくは端末装置、又はそれら装置のいずれかに搭載される画像処理モジュールは、光と画像信号との間の変換に関する伝達関数に基づいて取得される画像を符号化する画像処理装置（即ち、エンコーダ）としての機能を有する。本実施形態では、エンコーダが画像を符号化する際に、伝達関数に基づいて、モード選択のための予測残差符号量又はモード符号量が制御される。それにより、ＨＤＲ用の信号フォーマットが使用される場合の不適切なモードの選択が回避され、画質の劣化が軽減される。次項より、そうした画像処理装置の具体的かつ例示的な構成について詳しく説明する。

［３−３．画像処理装置の概略的な構成］
図１７Ａは、本実施形態に係る画像処理装置の概略的な構成の第１の例を示すブロック図である。図１７Ａに示した画像処理装置２００ａは、信号取得部２０１、情報取得部２０３、符号化部２１０及び制御部２４０を備える。

信号取得部２０１は、光と画像信号との間の変換に関する伝達関数に基づいて生成された入力画像信号を取得する。信号取得部２０１は、伝送インタフェースを介して外部の装置から入力画像信号を取得してもよく、又は画像処理装置２００ａと一体的に構成される撮像モジュール及び信号処理モジュール（図示せず）から入力画像信号を取得してもよい。

情報取得部２０３は、符号化部２１０により符号化される画像に適用された伝達関数に関する入力情報を取得する。一例として、情報取得部２０３は、画像処理装置２００ａが有するユーザインタフェースを介して入力情報を取得してもよい。ユーザインタフェースは、画像処理装置２００ａの筐体に設けられる例えばタッチパネル、ボタン又はスイッチのような物理的な入力デバイスにより提供されてもよい。その代わりに、ユーザインタフェースは、通信インタフェースを介して遠隔的に接続される端末装置上でＧＵＩとして提供されてもよい。本実施形態において、入力情報は、少なくとも符号化すべき画像に適用された伝達関数の種別を示す伝達関数種別を含む。ユーザインタフェースは、例えば、「ＳＤＲ」及び「ＨＤＲ」という２つの選択肢のうち画像に適用すべき１つをユーザに選択させてもよい。この場合、ＳＤＲ用の予め定義される１つの伝達関数、又はＨＤＲ用の予め定義される１つの伝達関数が画像に適用されたものと判定される。また、ユーザインタフェースは、複数の伝達関数の候補から、画像に適用すべき伝達関数をユーザに選択させてもよい。

他の例として、情報取得部２０３は、入力画像信号と多重化される補助信号から入力情報を取得してもよい。例えば、補助信号は、信号線上で画像信号が伝送されていない期間において信号取得部２０１により受信される。そして、情報取得部２０３は、信号取得部２０１において分離される補助信号から、画像に適用された伝達関数の種別を示す伝達関数種別を含む入力情報を取得し得る。

符号化部２１０は、信号取得部２０１により取得される画像信号により表現される画像を符号化して、符号化ビットストリームを生成する。符号化部２１０は、例えばＭＰＥＧ−２、Ｈ．２６４／ＡＶＣ又はＨ．２６５／ＨＥＶＣなどのいかなる映像符号化方式に従って符号化処理を実行してもよい。符号化部２１０により実行される符号化処理は、典型的には、予測、直交変換、量子化及びエントロピー符号化といった様々な処理を含み、それら処理において多様なモード選択が実行される。ここでは主にイントラ予測及びインター予測におけるモード選択について説明するが、本実施形態のアイディアは、例えば変換ブロックサイズの選択、又はスケーラブル符号化のためのインターレイヤ予測の予測モードの選択など、いかなる種類のモード選択のために活用されてもよい。

制御部２４０は、情報取得部２０３により取得される入力情報により示される伝達関数に基づいて、符号化部２１０において画像を符号化する際のモード選択のための予測残差符号量又はモード符号量を制御する。典型的には、制御部２４０は、モード選択のためのコスト評価式において予測残差及びモード符号量の一方が他方に対して過小にも過大にも評価されないように、コスト評価式に算入される少なくとも１つの項を伝達関数に基づいて切り替える。なお、ここでは主に伝達関数の種別に基づいてコスト評価が制御される例を説明するが、伝達関数に関連付けられるダイナミックレンジの上限値など、伝達関数の他の属性に基づいてコスト評価が制御されてもよい。

図１７Ｂは、本実施形態に係る画像処理装置の概略的な構成の第２の例を示すブロック図である。図１７Ｂに示した画像処理装置２００ｂは、信号処理部２０２、情報取得部２０４、記憶部２０７、符号化部２１０及び制御部２４０を備える。

信号処理部２０２は、何らかの伝送インタフェース若しくは装置内部の信号線を介して撮像装置から入力される原始的な画像信号を取得し、又は記憶部２０７により記憶されている映像ファイルから画像信号を取得する。そして、信号処理部２０２は、原始的な画像信号について例えばガンマ補正及び色変換を含み得るデジタル信号処理を実行し、所定の信号フォーマットで符号化の対象とされる画像信号を生成する。信号処理部２０２により画像に適用される信号フォーマット及び対応する伝達関数は、情報取得部２０４により取得される入力情報に基づいて決定される。そして、信号処理部２０２は、生成した画像信号を符号化部２１０へ出力する。

情報取得部２０４は、符号化部２１０により符号化される画像に適用される伝達関数に関する入力情報を取得する。例えば、情報取得部２０４は、画像処理装置２００ｂが有するユーザインタフェースを介して入力情報を取得してよい。上述したように、入力情報は、少なくとも符号化すべき画像に適用される伝達関数の種別を示す伝達関数種別を含む。ユーザインタフェースは、例えば、「ＳＤＲ」及び「ＨＤＲ」という２つの選択肢のうち画像に適用すべき１つをユーザに選択させてもよい。また、ユーザインタフェースは、複数の伝達関数の候補から、画像に適用すべき伝達関数をユーザに選択させてもよい。

記憶部２０７は、様々な映像データを記憶するための記憶デバイスである。記憶部２０７は、例えば、信号変換前のデジタル画像信号を記録する映像ファイルを記憶してもよい。ユーザは、画像処理装置２００ｂが有する入出力インタフェース（図示せず）を介して、他の記憶媒体に記憶されている映像ファイルを記憶部２０７に記憶させてもよい。また、記憶部２０７は、符号化部２１０により実行される符号化処理の結果として生成される符号化ビットストリームを含む映像ファイルを記憶してもよい。映像ファイルは、リクエストに応じて外部の装置へと出力されてもよい。

図１７Ａを用いて説明した第１の例と同様に、符号化部２１０は、信号処理部２０２により取得される画像信号により表現される画像を符号化して、符号化ビットストリームを生成する。制御部２４０は、情報取得部２０４により取得される入力情報により示される伝達関数の種別に基づいて、符号化部２１０において画像を符号化する際のモード選択のための予測残差符号量又はモード符号量を制御する。符号化部２１０により生成される符号化ビットストリームは、画像処理装置２００ｂの外部の装置へと伝送されてもよく、又は記憶部２０７により映像ファイルとして記憶されてもよい。

［３−４．符号化部及び制御部の詳細な構成］
本項では、図１７Ａ及び図１７Ｂに示した符号化部２１０及び制御部２４０のより具体的な構成について詳しく説明する。図１８は、第２の実施形態に係る符号化部及び制御部の詳細な構成の一例を示すブロック図である。

（１）符号化部
図１８を参照すると、符号化部２１０は、並び替えバッファ２１１、ブロック設定部２１２、減算部２１３、直交変換部２１４、量子化部２１５、可逆符号化部２１６、逆量子化部２２１、逆直交変換部２２２、加算部２２３、ループフィルタ２２４、フレームメモリ２２６、スイッチ２２７、モード選択部２２８、イントラ予測部２３０及びインター予測部２３５を備える。

並び替えバッファ２１１は、入力される画像信号により表現される一連の画像の画像データを、ＧＯＰ構造に応じて並び替える。並び替えバッファ２１１は、並び替え後の画像データをブロック設定部２１２、イントラ予測部２３０及びインター予測部２３５へ出力する。

ブロック設定部２１２は、ピクチャに相当する画像の各々を複数のブロックへと分割する。ＭＰＥＧ−２及びＨ．２６４／ＡＶＣでは、ピクチャは固定的なサイズを有する複数のマクロブロックへと格子状に分割される。Ｈ．２６５／ＨＥＶＣでは、ピクチャは可変的なサイズを有する複数の符号化単位へと四分木状に分割される。これらブロックは、さらに予測処理において１つ以上の予測ブロックへと分割され得る。

減算部２１３は、ブロック設定部２１２から入力される画像データと予測画像データとの差分である予測残差データを算出し、予測残差データを直交変換部２１４へ出力する。

直交変換部２１４は、減算部２１３から入力される予測残差データを、空間領域の画像データから周波数領域の変換係数データへと変換する。直交変換部２１４により実行される直交変換は、例えば離散コサイン変換又は離散サイン変換などであってよい。そして、直交変換部２１４は、変換係数データを量子化部２１５へ出力する。

量子化部２１５は、直交変換部２１４から入力される変換係数データを、所要の圧縮率が達成されるように決定される量子化ステップで量子化する。そして、量子化部２１５は、量子化後の変換係数データ（以下、量子化データという）を可逆符号化部２１６及び逆量子化部２２１へ出力する。

可逆符号化部２１６は、量子化部２１５から入力される量子化データを符号化することにより、符号化ビットストリームを生成する。また、可逆符号化部２１６は、デコーダにより参照される様々なパラメータを符号化して、符号化されたパラメータを符号化ビットストリームへ挿入する。可逆符号化部２１６により符号化されるパラメータは、伝達関数に関する情報、色域に関する情報、イントラ予測に関する情報及びインター予測に関する情報を含み得る。可逆符号化部２１６は、生成した符号化ビットストリームを、アプリケーションの目的に応じた出力先へと出力する。

逆量子化部２２１、逆直交変換部２２２及び加算部２２３は、ローカルデコーダを構成する。ローカルデコーダは、符号化されたデータから原画像を再構築する役割を有する。

逆量子化部２２１は、量子化部２１５により使用されたものと同じ量子化ステップで量子化データを逆量子化し、変換係数データを復元する。そして、逆量子化部２２１は、復元した変換係数データを逆直交変換部２２２へ出力する。

逆直交変換部２２２は、逆量子化部２２１から入力される変換係数データについて逆直交変換処理を実行することにより、予測残差データを復元する。そして、逆直交変換部２２２は、復元した予測残差データを加算部２２３へ出力する。

加算部２２３は、逆直交変換部２２２から入力される復元された予測残差データとイントラ予測部２３０又はインター予測部２３５により生成される予測画像データとを加算することにより、復号画像データを生成する。そして、加算部２２３は、生成した復号画像データをループフィルタ２２４及びフレームメモリ２２６へ出力する。

ループフィルタ２２４は、復号画像の画質の向上を目的とするインループフィルタである。ループフィルタ２２４は、例えば、復号画像に現れるブロック歪みを軽減するためのデブロックフィルタを含んでもよい。また、ループフィルタ２２４は、復号画像にエッジオフセット又はバンドオフセットを加えるための適応オフセットフィルタを含んでもよい。ループフィルタ２２４は、フィルタリング後の復号画像データをフレームメモリ２２６へ出力する。

フレームメモリ２２６は、加算部２２３から入力されるフィルタリング前の復号画像データ、及びループフィルタ２２４から入力されるインループフィルタの適用後の復号画像データを記憶する。

スイッチ２２７は、イントラ予測のために使用されるフィルタリング前の復号画像データをフレームメモリ２２６から読み出し、読み出した復号画像データを参照画像データとしてイントラ予測部２３０に供給する。また、スイッチ２２７は、インター予測のために使用されるフィルタリング後の復号画像データをフレームメモリ２２６から読み出し、読み出した復号画像データを参照画像データとしてインター予測部２３５に供給する。

モード選択部２２８は、イントラ予測部２３０及びインター予測部２３５から入力されるコストの比較に基づいて、ブロックごとに予測手法を選択する。モード選択部２２８は、イントラ予測を選択したブロックについては、イントラ予測部２３０により生成される予測画像データを減算部２１３へ出力すると共に、イントラ予測に関する情報を可逆符号化部２１６へ出力する。また、モード選択部２２８は、インター予測を選択したブロックについては、インター予測部２３５により生成される予測画像データを減算部２１３へ出力すると共に、インター予測に関する情報を可逆符号化部２１６へ出力する。

イントラ予測部２３０は、原画像データ及び復号画像データに基づいて、イントラ予測処理を実行する。例えば、イントラ予測部２３０は、探索範囲に含まれる複数の候補モードの各々について、発生すると推定されるコストを評価する。コストの評価は、例えば上で説明したコスト評価式（１）又は類似する評価式に従って行われる。典型的には、コスト評価式は、予測残差符号量の項とモード符号量の項とを含む。本実施形態では、これら予測残差符号量の項及びモード符号量の項の少なくとも一方が、後述するコスト制御部２４１により伝達関数の種別に基づいて制御される。イントラ予測部２３０は、複数の候補モードにわたるコストの評価結果に基づいて、コストが最小となる予測モードを最良の予測モードとして選択する。また、イントラ予測部２３０は、選択した最良の予測モードに従って予測画像データを生成する。そして、イントラ予測部２３０は、最良の予測モード（予測方向及び予測ブロックサイズなど）を示す予測モード情報を含むイントラ予測に関する情報、対応するコスト、及び予測画像データを、モード選択部２２８へ出力する。

インター予測部２３５は、原画像データ及び復号画像データに基づいて、インター予測処理（動き補償）を実行する。例えば、インター予測部２３５は、探索範囲に含まれる複数の候補モードの各々について、発生すると推定されるコストを評価する。イントラ予測のケースと同様、コストの評価は、典型的に予測残差符号量の項とモード符号量の項とを含むコスト評価式に従って行われる。本実施形態では、これら予測残差符号量の項及びモード符号量の項の少なくとも一方が、後述するコスト制御部２４１により伝達関数の種別に基づいて制御される。インター予測部２３５は、複数の候補モードにわたるコストの評価結果に基づいて、コストが最小となる予測モードを最良の予測モードとして選択する。また、インター予測部２３５は、選択した最良の予測モードに従って予測画像データを生成する。そして、インター予測部２３５は、最良の予測モード（動きベクトル、参照ピクチャ及び予測ブロックサイズなど）を示す予測モード情報を含むインター予測に関する情報、対応するコスト、及び予測画像データを、モード選択部２２８へ出力する。

（２）制御部
図１８を参照すると、制御部２４０は、コスト制御部２４１及び設定値記憶部２４３を備える。コスト制御部２４１は、符号化される画像に適用される伝達関数の種別を、情報取得部２０３又は２０４から入力される入力情報に基づいて判定する。そして、コスト制御部２４１は、判定した伝達関数の種別に基づいて、符号化部２１０の１つ以上のセクションにおけるモード選択のためのコストの評価を制御する。より具体的には、コスト制御部２４１は、例えば、コスト評価式に算入される予測残差符号量及びモード符号量のうちの一方をスケーリングすることにより、コスト評価における予測残差の寄与とモード情報の寄与との間のバランスを調整することができる。コスト評価の際に、複数の候補モードにわたる予測残差符号量の変動に対してモード符号量の変動が大きい場合、モード選択へのモード符号量の寄与が予測残差符号量の寄与と比較して過剰となり、結果的に予測残差符号量の変動を過小評価した状態で最適なモードが決定される。逆に、複数の候補モードにわたる予測残差符号量の変動に対してモード符号量の変動が小さい場合、モード選択へのモード符号量の寄与が予測残差符号量の寄与と比較して過少となり、結果的にモード符号量の変動を過小評価した状態で最適なモードが決定される。そのため、これら符号量の寄与を良好に調整して両者の間のバランスを最適化し、適正なコスト評価を行うことが有益である。

第１の例として、符号量のスケーリングは、予め定義されるコスト値の複数のセットのうちコスト評価において使用すべきセットを伝達関数の種別に依存して設定することにより行われてもよい。予測残差は予め定義されることができないため、第１の例では、モード符号量（例えば、式（１）におけるＲ_ｉの項）が候補モードごとに定義され得る。画像に第１の伝達関数が適用されている場合にはコスト値の第１のセットが設定され、画像に第２の伝達関数が適用されている場合にはコスト値の第２のセットが設定され得る。典型的には、第１のダイナミックレンジに対応する第１の伝達関数（例えば、ＨＤＲ用の伝達関数）が画像に適用されている場合に設定されるコスト値のセットは、より狭い第２のダイナミックレンジに対応する第２の伝達関数（ＳＤＲ用の伝達関数）が画像に適用されている場合に設定されるコスト値のセットと比較して、より小さいモード符号量を定義する。それにより、推定される予測残差の縮小に合わせてモード符号量をも小さくして、良好なバランスで適正なコスト評価を行うことができる。

第２の例として、符号量のスケーリングは、伝達関数の種別に対応するオフセットの加算（若しくは減算）、又は伝達関数の種別に対応する係数の乗算（又は減算）によって行われてもよい。この場合、オフセット又は係数は、予測残差符号量及びモード符号量のいずれに適用されてもよい。例えば、コスト制御部２４１は、ＨＤＲ用の伝達関数が画像に適用されている場合に、予測誤差符号量を増加させ又はモード符号量を減少させてもよい。また、コスト制御部２４１は、ＳＤＲ用の伝達関数が画像に適用されている場合に、予測誤差符号量を減少させ又はモード符号量を増加させてもよい。

図１９は、上述した第１の例に係る、伝達関数の種別に基づくモード符号量の切り替えの一例について説明するための説明図である。図１９の左上に示したコスト値セットＣ１は、ＳＤＲ用の伝達関数が適用されている場合にコスト評価式に算入されるべき、Ｍ個の候補モードのそれぞれのモード符号量Ｒ_{ｉ，ＳＤＲ}（ｉ＝０，…，Ｍ−１）を含む。コスト値セットＣ２は、ＨＤＲ用の伝達関数が適用されている場合にコスト評価式に算入されるべき、Ｍ個の候補モードのそれぞれのモード符号量Ｒ_{ｉ，ＨＤＲ}（ｉ＝０，…，Ｍ−１）を含む。設定値記憶部２４３は、予め定義されるこのようなコスト値セットＣ１及びＣ２を記憶する。図示したように、ｉ番目の候補モードについて、コスト値セットＣ２に含まれるモード符号量Ｒ_{ｉ，ＨＤＲ}は、コスト値セットＣ１に含まれるモード符号量Ｒ_{ｉ，ＳＤＲ}よりも小さい。設定値記憶部２４３は、３つ以上の伝達関数の種別にそれぞれ関連付けられる３つ以上のコスト値セットを記憶してもよい。コスト制御部２４１は、このように異なる複数の伝達関数にそれぞれ関連付けられる複数のコスト値セットのうちの伝達関数の種別に対応する１つを、モード選択を行う符号化部２１０の１つ以上のセクションＸ１〜Ｘｎに設定し得る。

なお、図１９の例に限定されず、設定値記憶部２４３は、予測残差符号量若しくはモード符号量をスケーリングする際に使用されるパラメータ（例えば、オフセット又は係数）を１つ以上の伝達関数に関連付けて予め記憶してもよい。

上述したように、符号化部２１０は、イントラ予測を実行するイントラ予測部２３０を含む。コスト制御部２４１により制御される予測残差符号量又はモード符号量は、イントラ予測部２３０により、イントラ予測における複数の候補モードからのモード選択の際に使用されてもよい。また、符号化部２１０は、インター予測を実行するインター予測部２３５を含む。コスト制御部２４１により制御される予測残差符号量又はモード符号量は、インター予測部２３５により、インター予測における複数の候補モードからのモード選択の際に使用されてもよい。また、符号化部２１０は、イントラ予測又はインター予測である予測手法の選択を実行するモード選択部２２８を含む。コスト制御部２４１により制御される予測残差符号量又はモード符号量は、モード選択部２２８により、こうした予測手法の選択の際に使用されてもよい。

［３−５．処理の流れ］
図２０は、本実施形態に係る符号化制御処理の流れの一例を示すフローチャートである。ここで説明する符号化制御処理は、映像を構成する個々の画像について繰り返されてよい。複数の画像にわたって変化しないパラメータを取得し又は設定するための処理ステップは、２回目以降の繰り返しにおいてスキップされてもよい。なお、ここでは、説明の簡明さのために、モード選択の制御に直接的に関連しない処理ステップについての説明は省略される。

図２０を参照すると、まず、信号取得部２０１又は信号処理部２０２は、光と画像信号との間の変換に関する伝達関数に基づいて生成された画像信号を取得する（ステップＳ２１０）。ここで取得される画像信号は、符号化部２１０へ出力される。

次に、情報取得部２０３又は２０４は、符号化部２１０により符号化される画像に適用された伝達関数に関する入力情報を、ユーザインタフェースを介して又は入力画像信号と多重化される補助信号から取得する（ステップＳ２１２）。ここで取得される入力情報は、制御部２４０へ出力される。

次に、コスト制御部２４１は、上述した入力情報により示される伝達関数の種別に基づいて、符号化部２１０におけるモード選択の際に使用すべきパラメータを設定する（ステップＳ２１４）。ここで設定されるパラメータは、候補モードごとに予め定義されるモード符号量のセットであってもよく、又は予測残差符号量若しくはモード符号量に適用されるオフセット若しく係数であってもよい。

その後の処理は、処理対象の画像に設定される複数のブロックのうちの各々について繰り返される。各繰り返しにおける処理対象のブロックを、ここでは注目ブロックという。

符号化部２１０のイントラ予測部２３０は、注目ブロックについて複数の候補モードにわたってコストを評価し、それら候補モードのコスト評価に基づいて最良のイントラ予測モードを選択する（ステップＳ２２０）。ここでのコスト評価は、予測残差符号量及びモード符号量を算入するコスト評価式を用いて行われ得る。ある例において、モード符号量は、コスト制御部２４１により設定されるコスト値のセットから選択される。他の例において、予測残差符号量及びモード符号量の一方は、コスト制御部２４１により設定されるパラメータを用いてスケーリングされる。

インター予測部２３５は、注目ブロックについて複数の候補モードにわたってコストを評価し、それら候補モードのコスト評価に基づいて最良のインター予測モードを選択する（ステップＳ２３０）。ここでのコスト評価もまた、予測残差符号量及びモード符号量を算入するコスト評価式を用いて行われ得る。ある例において、モード符号量は、コスト制御部２４１により設定されるコスト値のセットから選択される。他の例において、予測残差符号量及びモード符号量の一方は、コスト制御部２４１により設定されるパラメータを用いてスケーリングされる。

次に、モード選択部２２８は、注目ブロックについて、イントラ予測及びインター予測のうちより良好な符号化効率を実現する予測手法を選択する（ステップＳ２４０）。ここでの予測手法の選択もまた、コスト評価に基づいて行われる。但し、モード選択部２２８は、イントラ予測部２３０及びインター予測部２３５において導出されたコスト評価を再利用してよい。代替的に、モード選択部２２８は、イントラ予測とインター予測との比較のためのコスト値を再計算してもよい。また、モード選択部２２８によるコスト値の再計算のために、ステップＳ２２０及びステップＳ２３０において使用されたものとは異なるコスト値のセットが採用されてもよい。

ステップＳ２２０〜ステップＳ２４０は、ピクチャ内の全てのブロックについて処理が終了するまで繰り返される（ステップＳ２８０）。そして、全てのピクチャについて処理が終了すると、図２０に示した符号化制御処理は終了する（ステップＳ２９０）。

［３−６．第２の実施形態のまとめ］
ここまで、図１６Ａ〜図２０を用いて、本開示に係る技術の第２の実施形態について説明した。上述した実施形態では、光と画像信号との間の変換に関する伝達関数に基づいて取得される画像を符号化する際に、伝達関数に基づいて、画像を符号化する際のモード選択のための予測残差符号量又はモード符号量が制御される。かかる構成によれば、画一的ではなく、どういった伝達関数が画像に適用されるかに依存して異なる評価式でモード選択のためのコスト評価を行うことができる。それにより、不自然な予測モードの偏りが生じることを防止し、予測精度を改善して画像の歪みを軽減することが可能となる。

また、ある実施例では、第１のダイナミックレンジに対応する第１の伝達関数が画像に適用されている場合に、第１のダイナミックレンジよりも狭い第２のダイナミックレンジに対応する第２の伝達関数が画像に適用されている場合よりもモード符号量が少なくなるように、モード符号量が制御され得る。かかる構成によれば、特定のダイナミックレンジを前提としてチューニングされたコスト評価式を、拡張されたダイナミックレンジのために簡易に再利用することができる。特に、候補モードの数は、映像符号化方式に固有であって変化しない。そのため、候補モードそれぞれのモード符号量を複数セット予め定義しておいて使用すべきセットを伝達関数に基づいて切り替えるという、処理コストの少ない手法を採用することができる。

他の実施例では、第１のダイナミックレンジに対応する第１の伝達関数が画像に適用されている場合に予測残差符号量又はモード符号量をスケーリングすることにより、モード符号量が制御され得る。かかる構成によれば、第１の伝達関数（例えば、ＨＤＲ用の伝達関数）が適用されるケースでの画質の劣化を防止する一方で、第１の伝達関数とは異なる第２の伝達関数が適用されるケースにおいて、第２の伝達関数のために最適化された処理（例えば、ＳＤＲ用の伝達関数について最適化された既存の評価式でのコスト評価）を改変することなく実行することができる。

一例として、上記第１のダイナミックレンジは、１００ｎｉｔより高い輝度での表示を可能とするためのダイナミックレンジであってよく、上記第２のダイナミックレンジは、１００ｎｉｔの輝度を上限とするダイナミックレンジであってよい。それにより、既存のＳＤＲ映像のために設計されたエンコーダを、画質の劣化を防止しつつ例えばＨＬＧ、ＳＴ２０８４又はＳ−Ｌｏｇ３といった伝達関数が適用されたＨＤＲ映像を符号化するために活用することが可能となる。

＜４．ハードウェア構成例＞
前節までに説明した実施形態は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。画像処理装置１００ａ、１００ｂ、１００ｃ、２００ａ又は２００ｂがソフトウェアを使用する場合、ソフトウェアを構成するプログラムは、例えば、装置の内部又は外部に設けられる記憶媒体（非一時的な媒体：non-transitory media）に予め格納される。そして、各プログラムは、例えば、実行時にＲＡＭ（Random Access Memory）に読み込まれ、ＣＰＵ（Central Processing Unit）などのプロセッサにより実行される。

図２１は、上述した実施形態のうちの１つ以上を適用可能な装置のハードウェア構成の一例を示すブロック図である。図２１を参照すると、画像処理装置９００は、システムバス９１０、画像処理チップ９２０及びオフチップメモリ９９０を備える。画像処理チップ９２０は、ｎ個（ｎは１以上）の処理回路９３０−１、９３０−２、…、９３０−ｎ、参照バッファ９４０、システムバスインタフェース９５０及びローカルバスインタフェース９６０を含む。

システムバス９１０は、画像処理チップ９２０と外部モジュール（例えば、中央制御機能、アプリケーション機能、通信インタフェース又はユーザインタフェースなど）との間の通信路を提供する。処理回路９３０−１、９３０−２、…、９３０−ｎは、システムバスインタフェース９５０を介してシステムバス９１０と接続され、及びローカルバスインタフェース９６０を介してオフチップメモリ９９０と接続される。処理回路９３０−１、９３０−２、…、９３０−ｎは、オンチップメモリ（例えば、ＳＲＡＭ）に相当し得る参照バッファ９４０にもアクセスすることができる。オフチップメモリ９９０は、例えば、画像処理チップ９２０により処理される画像データを記憶するフレームメモリであってよい。一例として、処理回路９３０−１は画像信号の変換のために利用されてもよく、処理回路９３０−２は画像信号の符号化のために利用されてもよい。なお、これら処理回路は、同一の画像処理チップ９２０ではなく、別個のチップ上に形成されてもよい。

＜５．総括＞
本開示に係る技術は、ここまでに詳しく説明した仕組みに従って、多様化しつつある信号表現に必ずしも十分に適応できていない例えばデジタルビデオカメラ、デジタルカムコーダ、ビデオエンコーダ、又はエンコード機能を有する任意の種類の既存の装置に対する改善を提供する。本開示に係る技術によれば、ＨＤＲ映像を再生する際にダイナミックレンジの拡張に伴って拡大されるコーデック歪みが軽減され、良好な画質でＨＤＲ映像を再生することが可能となる。本開示に係る技術は、静止画の符号化へと応用されてもよい。

本明細書では、説明の簡明さのために、特定の映像符号化方式に固有の専門用語を一部で使用しているが、本開示に係る技術は、そうした用語には限定されず、任意の映像符号化方式に準拠するエンコーダに広く適用可能である。例えば、輝度（luminance/luma）及び色差（chrominance/chroma）との語は、利用される表色系に依存して、明度（brightness）及び彩度（saturation）などの他の語にそれぞれ置き換えられてもよい。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的又は例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果と共に、又は上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
光と画像信号との間の変換に関する伝達関数に基づいて取得される画像を符号化する符号化部と、
前記伝達関数に基づいて、前記符号化部において前記画像の各部分領域に割り当てられる符号量を制御する制御部と、
を備える画像処理装置。
（２）
前記制御部は、第１のダイナミックレンジに対応する第１の伝達関数及び前記第１のダイナミックレンジよりも狭い第２のダイナミックレンジに対応する第２の伝達関数のうちの前記第１の伝達関数が前記画像に適用されている場合に、各部分領域に割り当てられる前記符号量を当該部分領域の輝度成分及び色差成分のうちの少なくとも一方に依存して制御する、前記（１）に記載の画像処理装置。
（３）
前記制御部は、各部分領域について使用される量子化ステップを、前記輝度成分及び前記色差成分のうちの前記少なくとも一方に依存して調整することにより、各部分領域に割り当てられる前記符号量を制御する、前記（２）に記載の画像処理装置。
（４）
前記制御部は、前記輝度成分及び前記色差成分のうちの前記少なくとも一方の強さがより強い部分領域により多くの符号量が割り当てられるように、各部分領域について使用される前記量子化ステップをスケーリングする、前記（３）に記載の画像処理装置。
（５）
前記第１のダイナミックレンジは、１００ｎｉｔより高い輝度での表示を可能とするためのダイナミックレンジである、前記（２）〜（４）のいずれか１項に記載の画像処理装置。
（６）
前記制御部は、前記輝度成分及び前記色差成分のうちの一方のみの強さに応じて、各部分領域の前記量子化ステップをスケーリングする、前記（４）に記載の画像処理装置。
（７）
前記制御部は、前記画像に適用される前記伝達関数に関する入力情報に基づいて、前記伝達関数の種別を判定し、判定した前記種別に基づいて各部分領域に割り当てられる前記符号量を制御する、前記（１）〜（６）のいずれか１項に記載の画像処理装置。
（８）
前記入力情報は、ユーザインタフェースを介して取得された情報である、前記（７）に記載の画像処理装置。
（９）
前記入力情報は、前記画像を表現する入力画像信号と多重化される補助信号から取得される、前記（７）に記載の画像処理装置。
（１０）
前記部分領域は、量子化処理の処理単位に相当するブロックである、前記（１）〜（９）のいずれか１項に記載の画像処理装置。
（１１）
光と画像信号との間の変換に関する伝達関数に基づいて取得される画像を符号化することと、
前記伝達関数に基づいて、前記符号化の際に前記画像の各部分領域に割り当てられる符号量を制御することと、
を含む画像処理方法。
（１２）
画像処理装置のプロセッサを、
光と画像信号との間の変換に関する伝達関数に基づいて取得される画像を符号化する符号化部と、
前記伝達関数に基づいて、前記符号化部において前記画像の各部分領域に割り当てられる符号量を制御する制御部と、
として機能させるためのプログラム。
（１３）
１００ｎｉｔより高い輝度での表示を可能とするための光と画像信号との間の変換に関する伝達関数に基づいて取得される画像を符号化する符号化部と、
前記符号化部において前記画像の各部分領域に割り当てられる符号量を、当該部分領域の輝度成分及び色差成分のうちの少なくとも一方に依存して制御する制御部と、
を備える画像処理装置。
（１４）
前記制御部は、各部分領域について使用される量子化ステップを、前記輝度成分及び前記色差成分のうちの前記少なくとも一方に依存して調整することにより、各部分領域に割り当てられる前記符号量を制御する、前記（１３）に記載の画像処理装置。
（１５）
前記制御部は、前記輝度成分及び前記色差成分のうちの前記少なくとも一方の強さがより強い部分領域により多くの符号量が割り当てられるように、各部分領域について使用される前記量子化ステップをスケーリングする、前記（１４）に記載の画像処理装置。
（１６）
前記制御部は、各部分領域について所要の圧縮率に基づいて決定される前記量子化ステップを、前記輝度成分及び前記色差成分のうちの前記少なくとも一方に依存してスケーリングし、
前記符号化部は、スケーリングされた前記量子化ステップで各部分領域の変換係数を量子化する、
前記（１５）に記載の画像処理装置。
（１７）
前記制御部は、前記輝度成分及び前記色差成分のうちの一方のみの強さに応じて、各部分領域の前記量子化ステップをスケーリングする、前記（１５）又は前記（１６）に記載の画像処理装置。
（１８）
前記部分領域は、量子化処理の処理単位に相当するブロックである、前記（１３）〜（１７）のいずれか１項に記載の画像処理装置。
（１９）
１００ｎｉｔより高い輝度での表示を可能とするための光と画像信号との間の変換に関する伝達関数に基づいて取得される画像を符号化することと、
前記符号化の際に前記画像の各部分領域に割り当てられる符号量を、当該部分領域の輝度成分及び色差成分のうちの少なくとも一方に依存して制御することと、
を含む画像処理方法。
（２０）
画像処理装置のプロセッサを、
１００ｎｉｔより高い輝度での表示を可能とするための光と画像信号との間の変換に関する伝達関数に基づいて取得される画像を符号化する符号化部と、
前記符号化部において前記画像の各部分領域に割り当てられる符号量を、当該部分領域の輝度成分及び色差成分のうちの少なくとも一方に依存して制御する制御部と、
として機能させるためのプログラム。

１００ａ，１００ｂ，１００ｃ 画像処理装置
１０１ 信号取得部
１０２ 信号処理部
１０３，１０４ 情報取得部
１０７ 記憶部
１１０ 符号化部
１１５ 量子化部
１４０，１４０ｃ 制御部
２００ａ，２００ｂ 画像処理装置
２０１ 信号取得部
２０２ 信号処理部
２０３，２０４ 情報取得部
２０７ 記憶部
２１０ 符号化部
２２８ モード選択部
２３０ イントラ予測部
２３５ インター予測部
２４０ 制御部

Claims (20)

1. 光と画像信号との間の変換に関する伝達関数に基づいて取得される画像を符号化する符号化部と、
   前記伝達関数に基づいて、前記符号化部において前記画像の各部分領域に割り当てられる符号量を、前記各部分領域のうち、輝度成分及び色差成分のうちの少なくとも一方の強さがより強い前記部分領域により多くの前記符号量が割り当てられるように、制御する制御部と、
   を備える画像処理装置。
2. 前記制御部は、第１のダイナミックレンジに対応する第１の伝達関数及び前記第１のダイナミックレンジよりも狭い第２のダイナミックレンジに対応する第２の伝達関数のうちの前記第１の伝達関数が前記画像に適用されている場合に、前記各部分領域に割り当てられる前記符号量を当該部分領域の輝度成分及び色差成分のうちの少なくとも一方に依存して制御する、請求項１に記載の画像処理装置。
3. 前記制御部は、前記各部分領域について使用される量子化ステップを、前記輝度成分及び前記色差成分のうちの前記少なくとも一方に依存して調整することにより、前記各部分領域に割り当てられる前記符号量を制御する、請求項２に記載の画像処理装置。
4. 前記制御部は、前記輝度成分及び前記色差成分のうちの前記少なくとも一方の強さがより強い前記部分領域により多くの符号量が割り当てられるように、前記各部分領域について使用される前記量子化ステップをスケーリングする、請求項３に記載の画像処理装置。
5. 前記第１のダイナミックレンジは、１００ｎｉｔより高い輝度での表示を可能とするためのダイナミックレンジである、請求項２〜４のいずれか１項に記載の画像処理装置。
6. 前記制御部は、前記輝度成分及び前記色差成分のうちの一方のみの強さに応じて、前記各部分領域の前記量子化ステップをスケーリングする、請求項４に記載の画像処理装置。
7. 前記制御部は、前記画像に適用される前記伝達関数に関する入力情報に基づいて、前記伝達関数の種別を判定し、判定した前記種別に基づいて前記各部分領域に割り当てられる前記符号量を制御する、請求項１〜６のいずれか１項に記載の画像処理装置。
8. 前記入力情報は、ユーザインタフェースを介して取得された情報である、請求項７に記載の画像処理装置。
9. 前記入力情報は、前記画像を表現する入力画像信号と多重化される補助信号から取得される、請求項７に記載の画像処理装置。
10. 前記部分領域は、量子化処理の処理単位に相当するブロックである、請求項１〜９のいずれか１項に記載の画像処理装置。
11. 光と画像信号との間の変換に関する伝達関数に基づいて取得される画像を符号化することと、
    前記伝達関数に基づいて、前記符号化の際に前記画像の各部分領域に割り当てられる符号量を、前記各部分領域のうち、輝度成分及び色差成分のうちの少なくとも一方の強さがより強い前記部分領域により多くの前記符号量が割り当てられるように、制御することと、
    を含む画像処理方法。
12. 画像処理装置のプロセッサを、
    光と画像信号との間の変換に関する伝達関数に基づいて取得される画像を符号化する符号化部と、
    前記伝達関数に基づいて、前記符号化部において前記画像の各部分領域に割り当てられる符号量を、前記各部分領域のうち、輝度成分及び色差成分のうちの少なくとも一方の強さがより強い前記部分領域により多くの前記符号量が割り当てられるように、制御する制御部と、
    として機能させるためのプログラム。
13. １００ｎｉｔより高い輝度での表示を可能とするための光と画像信号との間の変換に関する伝達関数に基づいて取得される画像を符号化する符号化部と、
    前記符号化部において前記画像の各部分領域に割り当てられる符号量を、前記各部分領域のうち、輝度成分及び色差成分のうちの少なくとも一方の強さがより強い前記部分領域により多くの前記符号量が割り当てられるように、制御する制御部と、
    を備える画像処理装置。
14. 前記制御部は、前記各部分領域について使用される量子化ステップを、前記輝度成分及び前記色差成分のうちの前記少なくとも一方に依存して調整することにより、前記各部分領域に割り当てられる前記符号量を制御する、請求項１３に記載の画像処理装置。
15. 前記制御部は、前記輝度成分及び前記色差成分のうちの前記少なくとも一方の強さがより強い前記部分領域により多くの符号量が割り当てられるように、前記各部分領域について使用される前記量子化ステップをスケーリングする、請求項１４に記載の画像処理装置。
16. 前記制御部は、前記各部分領域について所要の圧縮率に基づいて決定される前記量子化ステップを、前記輝度成分及び前記色差成分のうちの前記少なくとも一方に依存してスケーリングし、
    前記符号化部は、スケーリングされた前記量子化ステップで前記各部分領域の変換係数を量子化する、
    請求項１５に記載の画像処理装置。
17. 前記制御部は、前記輝度成分及び前記色差成分のうちの一方のみの強さに応じて、前記各部分領域の前記量子化ステップをスケーリングする、請求項１５又は請求項１６に記載の画像処理装置。
18. 前記部分領域は、量子化処理の処理単位に相当するブロックである、請求項１３〜１７のいずれか１項に記載の画像処理装置。
19. １００ｎｉｔより高い輝度での表示を可能とするための光と画像信号との間の変換に関する伝達関数に基づいて取得される画像を符号化することと、
    前記符号化の際に前記画像の各部分領域に割り当てられる符号量を、前記各部分領域のうち、輝度成分及び色差成分のうちの少なくとも一方の強さがより強い前記部分領域により多くの前記符号量が割り当てられるように、制御することと、
    を含む画像処理方法。
20. 画像処理装置のプロセッサを、
    １００ｎｉｔより高い輝度での表示を可能とするための光と画像信号との間の変換に関する伝達関数に基づいて取得される画像を符号化する符号化部と、
    前記符号化部において前記画像の各部分領域に割り当てられる符号量を、前記各部分領域のうち、輝度成分及び色差成分のうちの少なくとも一方の強さがより強い前記部分領域により多くの前記符号量が割り当てられるように、制御する制御部と、
    として機能させるためのプログラム。

Images