JP6797400B2

JP6797400B2 - カラーデバンディング処理とその最適パラメータ学習方法

Info

Publication number: JP6797400B2
Application number: JP2016179113A
Authority: JP
Inventors: 力松永
Original assignee: KABUSHIKI KAISYA HOUEI
Current assignee: KABUSHIKI KAISYA HOUEI
Priority date: 2016-09-14
Filing date: 2016-09-14
Publication date: 2020-12-09
Anticipated expiration: 2036-09-14
Also published as: JP2018045401A

Description

本発明は、カラーデバンディング処理とその最適パラメータ学習方法に関する。

Ｂｈａｇａｖａｔｈｙらは、マルチスケール解析に基づく確率的なディザリングによりカラーバンディングを抑制した。また、水野らは、カラーバンディングを階調補間するために、２次元補間問題を１次元ポアソン方程式に帰着させて解いた。Ｂａｕｇｈらは、ＲＧＢ画素レベルにより領域分割したブロック中の画素数からバンディング領域を検出し、バンディング領域に対して、近傍ブロックからの距離に応じた重み付け平滑化によりカラーバンディングを除去した。上記事項は、下記非特許文献１乃至非特許文献３にそれぞれ記載されている。

G. Baugh, A. Kokaram and Ｆ. Pitie, Advanced video debanding, Proceedings of the 11th European Conference on Visual Media Production （CVMP'14）, London, United Kingdom, （November 2014）. S.Bhagavathy, J. Llach and J. Zhai, Multiscale probabilistic dithering for suppressing contour artifacts in digital images, IEEE Transactions on Image Processing, 18-9 （September 2009）, 1936-1945. 水野暁, 五十嵐正樹, 池辺将之, ポアソン方程式を用いた画像の滑らかな階調復元、映像情報メディア学会誌, 67-8（2013）, J326-J333.

従来方法の多くは、反復を伴う最適化処理や画像全体を用いる大域的な処理であり、画素をラスタスキャンしながら行う局所的な処理ではないため、処理時間が比較的長く要するものとなるので、多くの映像を継続的に処理する必要がある映像処理には向かない。

さらなる問題は、画像処理における調整パラメータの決定方法である。画像処理においては、何らかの調整パラメータが存在するのが普通であり、調整パラメータをどのように決定するかは、それぞれの処理の内容や画像／映像内容によるとされて、主観評価による経験的な値が従来用いられてきた。カラーデバンディング処理においても同様の問題がある。

本発明では、画像をラスタスキャンしながら、近傍ブロック領域における画素を用いた局所処理を行う。フィルタパラメータは、インターネット等から収集した画像から擬似カラーバンディング画像を生成し、そのバンディング特微量を抽出するとともに、バンディングが存在していない原画像と擬似カラーバンディング画像を処理した結果のデバンディング処理画像との間のカルバック・ライブラー情報量が最小になる最適なパラメータを推定する。また、バンディング特微量に対する最適パラメータを予測する最適なモデルを複数のインターネット収集画像を用いて重回帰分析と変数選択（モデル選択）により決定する。

本発明により、近傍ブロック領域における画素を用いた局所処理によりカラーバンディングを除去することができる。インターネットから収集した画像により予め決定したモデルを用いることにより、カラーバンディング特微量に対して、最適なパラメータを予測して、カラーバンディング処理を実現することができる。従来の画像処理における主観的・経験的なパラメータ決定に対して、極めて合理的に妥当な結果が得られるパラメータを自動的に決定する方法である。

カラーデバンディング処理ブロック図である。カラーデバンディング処理の最適パラメータ学習のブロック図である。最適パラメータ予測によるカラーデバンディング処理のブロック図である。ハイブリッドＬｏｇガンマ（ＨｙｂｒｉｄＬｏｇ−Ｇａｍｍａ）、ＰＱ（ＰｅｒｃｅｐｔｕａｌＱｕｎａｔｉｚｅｒ）のＯＥＴＦを標準ダイナミックレンジ（BT.709（Recommendation ITU-R BT.709-5, Parameter values for the HDTV standards for production and international programme exchange （2002））／BT.2020（Recommendation ITU-R BT.2020-1, Parameter values for ultra-high definition television systems for production and international programme exchange （2014）））のＯＥＴＦ（カンマ補正関数）とともに示す図である。カラーデバンディング処理パラメータの自動最適化について説明する図であり、（ａ）がカラーデバンディング処理の最適パラメータ学習のブロック図を示し、（ｂ）が最適パラメータ予測によるカラーデバンディング処理のブロック図を示すものである。カラーデバンディング処理の画像シミュレーションの一例について説明する図である。カラーデバンディング処理フィルタの最適パラメータの学習に用いた画像を示す図である。デバンディング処理フィルタの最適パラメータの重回帰分析と変数選択（モデル選択）の結果を示す図である。最適パラメータ学習によるデバンディング処理画像例を示す図である。

（発明の概要１）
本発明では、ＨＤＲ映像において発生しやすい擬似輪郭状の妨害である“カラーバンディング”を、簡易な画像処理により補正する方法を提案する。まず、注目画素の近傍ブロック領域中の輝度値の標準偏差からバンディング候補画素を検出する。バンディング候補画素の近傍ブロック画素を用いて、できるだけ似た色で、明るさが近い画素に対する重みを大きくして、輝度信号の重み付け平均を行うことにより、バンディングを除去する。

次に、インターネット等から収集した複数の画像から生成した擬似カラーバンディング画像のバンディング特微量を抽出する。バンディング特微量に対して、原画像とデバンディング処理画像との間のカルバック・ライブラー情報量による目的関数を最小とする最適パラメータを予測するモデルを学習により決定する。

より具体的には、ラスタスキャンにより近傍ブロック領域における画素を用いた局所処理により、カラーバンディングを除去する構造と、カラーバンディング候補画素の検出とカラーバンディング除去処理の構造と、最適パラメータを自動決定するために、インターネット検索画像を収集して、擬似カラーバンディング画像を生成し、原画像との間のカルバック・ライブラー情報量を最小化する最適パラメータを推定し、バンディング特微量と最適パラメータの組み合わせから重回帰分析とモデル選択により最適パラメータを予測する最適なモデルを決定する構造と、カラーバンディング除去の際に、バンディング特微量を抽出して、学習したモデルから最適パラメータを予測して、カラーデバンディング処理を行う構造と、を備える画像処理装置とする。

また、バンディング候補画素の検出処理部と、バンディング候補画素を近傍ブロック領域における輝度値と色差値のレベル差による重みの積を最終的な重みとして、近傍ブロック領域における輝度値を重み付け平均するバンディング除去部と、インターネット検索画像から擬似カラーバンディング画像を生成する擬似カラーバンディング画像生成部と、擬似カラーバンディング画像からバンディングを除去するパラメータを最適に推定する最適パラメータ推定方法とする、さらには、バンディング特微量を抽出するバンディング特微量抽出部と、複数のインターネット画像からバンディング特微量と最適パラメータの組み合わせから最適なモデルを推定するモデル推定方法（学習方法）とし、抽出したバンディング特微量と学習したモデルパラメータを用いて最適なパラメータを予測する最適パラメータ予測部を備えるものとする。

（発明の概要２）
実現方法としては、ベースバンドビデオ信号を処理するハードウェア装置により実現することも可能であるし、ＭＸＦファイルを処理するソフトウェアおよびそれを実行するコンピュータをベースとした装置により実現することも可能であるし、ＭＸＦファイルをベースバンドビデオ信号に変換、あるいは逆変換する装置を用いれば、いかなる構成による実現も可能である。

カメラ映像を動画像圧縮したもの、あるいはＭＸＦファイルをＩＰ（インターネット・プロトコル）伝送して、クラウド上で処理を行うことも可能である。ＩＰ伝送された圧縮映像をベースバンドビデオ信号に復号して、カラーデバンディング処理を行った結果を再び圧縮してストリーム配信する等、様々なシステム形態が考えられる。

バンディング特微量と最適パラメータの組み合わせから最適なモデルを推定するモデル推定方法（学習方法）としては、重回帰分析のみならず、主成分分析、非線形モデルの当てはめも考えられる。最適パラメータの学習に用いる画像には、バンディングが存在しない画像であれば、インターネット検索による画像のみならず、様々なメディアからの画像を用いてもよい。

図１は、カラーデバンディング処理ブロック図である。図１に示すように、カラーデバンディング処理の手順は、次のようになる．

１、カラーＲＧＢ入力を輝度色差ＹＣ_ＢＣ_Ｒに変換する（ＲＧＢ→ＹＣ_ＢＣ_Ｒ）。
２、変換したＹの画素値の近傍ブロック領域における標準偏差を計算して、しきい値（Ｔｈｒｅｓｈｏｌｄｌ）以下の画素をバンディング候補画素とする（ＢａｎｄＤｅｔｅｃｔ）。さらに、Ｙの画素値が別のしきい値（Ｔｈｒｅｓｈｏｌｄ２）以上である条件を加える。このようにして得られたバンディング候補画素に対して、２値メジアンフィルタにより、マスク整形を行ったものをバンドマスク（ＢａｎｄＭａｓｋ）とする。

３、近傍ブロック領域におけるＣ_ＢＣ_Ｒ、およびＹの画素値のレベル距離による重みを計算して（ＷｅｉｇｈｔＣａｌｃ）、その重み（Ｗｅｉｇｈｔ）を用いて、Ｙを重み付け平均する（ＷｅｉｇｈｔＡｖｅｒａｇｅ）。ただし、バンドマスク（ＢａｎｄＭａｓｋ）によるバンディング候補画素に対してのみ重み付け平均を行う。バンディング候補画素以外における重み付け平均の際に、近傍ブロック領域中のバンディング候補画素以外の画素の重みは０とする。

４、このように重み付け平均されたＹ’とＣ_ＢＣ_ＲをＲＧＢに変換して（ＹＣ_ＢＣ_Ｒ→ＲＧＢ）、出力する。輝度色差ＹＣ_ＢＣ_Ｒ入出力の場合、入出力におけるＲＧＢとＹＣ_ＢＣ_Ｒ間の相互の変換は不要である。

輝度値Ｙの重み付け平均は、色差信号Ｃ_ＢＣ_Ｒ、および輝度信号Ｙから計算した重み係数ｗを用いて、次のように計算する。

重み係数ｗは、色差信号Ｃ＝（Ｃ_Ｂ，Ｃ_Ｒ）^Ｔのレべル距離による重みｗ_ｒＣと輝度信号Ｙのレベル距離による重みｗ_ｒＹの積であり、それぞれガウス関数により次のように定義する。

σ_ｒＣ，σ_ｒＹはそれぞれ色差信号、輝度信号のレベル距離の許容範囲を調整するパラメータである。

また、図２は、カラーデバンディング処理の最適パラメータ学習のブロック図である。図２に示すように、カラーバンディングを除去するデバンディング処理フィルタの最適パラメータを予測するための事前のパラメータ学習の手順は次のようになる。
１、インターネットにより画像検索を行い、適当な画像を複数ダウンロードする。
２、ダウンロードした画像を原画像として、擬似カラーバンディング画像を生成する。擬似カラーバンディング画像は、画像の輝度値Ｙを

に変換したものを、ｓ倍することにより生成する。ここで、ｓは任意の正数であり、

は小数部を切り捨てる床関数である。
３、擬似カラーバンディング画像におけるバンディング候補領域から、バンディング特微量を検出する。
４、デバンディング処理パラメータは、原画像と擬似カラーバンディング画像をデバンディング処理した画像の間のバンディング候補画素の輝度値ヒストグラムから計算したカルバック・ライブラー情報量が最小となるように、滑降シンプレックス法（Ｎｅｌｄｅｒ−Ｍｅａｄ法）により最適化する。
５、上記、バンディング特微量と最適デバンディング処理パラメータの組み合わせに対して、重回帰分析を行い、変数選択（モデル選択）により最適デバンディング処理パラメータを予測する最適なモデルを決定する。

図３は、最適パラメータ予測によるカラーデバンディング処理のブロック図である。図３に示すように、学習用画像におけるバンディング特微量と最適パラメータの間の学習結果を用いて、カラーデバンディング処理を行う手順は、次のようになる。
１、バンディング画像からバンディング特微量を抽出する。
２、バンディング特微量に対して、学習結果を用いて最適パラメータを予測する。
３、予測された最適パラメータを用いて、デバンディング処理を行う。
なお、バンディング特微量の抽出方法、およびバンディング特微量に対する最適パラメータを予測するモデルを推定する重回帰分析と変数選択による学習方法に関しては、後述の論文を参照することにより当業者には理解できるものである。

（詳細な説明：ＨＤＲ映像のためのカラーデバンディング処理：インターネット検索画像を用いた最適パラメータ学習）

（Ａｂｓｔｒａｃｔ）
ＨＤＲ映像において発生する擬似輪郭状の妨害である“カラーバンディング”を簡易な画像処理により補正する。注目画素の近傍ブロック領城中の輝度値とその標準偏差からバンディング候補画素を検出し、近傍ブロック領域の画素において、できるだけ似た色で、明るさが近い画素に対する重みを大きくして、輝度信号の重み付け平均を行うことにより、バンディングを除去する。

デバンディング処理フィルタのパラメータを自動最適化するために、インターネットから収集した複数の画像から擬似カラーバンディング画像を生成するとともに、簡易な画像処理によりバンディング特微量を抽出する。擬似カラーバンディング画像に対して、原画像との間のカルバック・ライブラー情報量を最小化するデバンディング処理フィルタの最適パラメータを滑降シンプレックス法により推定し、バンディング特微量に対するデバンディング処理フィルタの最適パラメータを予測するための最適なモデルを重回帰分析と赤池情報量規準（ＡＩＣ）による変数選択（モデル選択）により決定する。

（１はじめに）
次世代テレビ放送としての４Ｋの試験放送が２０１４年６月２日より、ＣＳ（ＣｏｍｍｕｎｉｃａｔｉｏｎＳａｔｅｌｌｉｔｅ）、およびケーブルテレビにて開始された（次世代放送推進フォーラム（NexTV-F）、http://www.nextv-f.jP/）。８Ｋ（スーパーハイビジョン（参考文献［１７］）も含め、２０１８年（可能な限り早期に）の実用放送開始へ向けて加速している（総務省「4K・8Kロードマップに関するフォローアップ会合（第6回会合）配布資料」、平成27年7月、http://www.soumu.go.jp/main_sosiki/kenkyu/4k8kroadmap/02ryutsu11_03000046.html）。

４Ｋ／８Ｋ超高精細映像は、解像度だけではなく、広色域、高フレームレート、高ビット深度がＩＴＵ−Ｒ勧告ＢＴ.２０２０規格（Recommendation ITU-R BT.2020-1, Parameter values for ultra-high definition television systems for production and international programme exchange （2014））として規定されているが、近年、さらに、映像の明るさを拡張するハイダイナミックレンジ（ＨＤＲ）に注目が集まっている。表示装置の技術向上により、「黒」の表示輝度は変えず、表示装置の最大輝度（ピーク輝度）を増大すること（ダイナミックレンジを拡張すること）が可能となってきた。再現範囲が広がった領域をハイライト再現に用いて、新たな視聴体験を提供する、現実に近いハイライト再現（鏡面反射や光沢の再現）が可能となる、ハイライト部の白飛びなどの改善効果がある、とされている（総務省「情報通信審議会情報通信技術分科会ＩＴＵ部会放送業務委員会（第19回）配付資料」, 2015年9月2日開催。http://www.soumu.go.jp/main_sosiki/joho_tsusin/policyreports/joho_tsusin/docs_Broadcast/02ryutsu08_03000224.html）。

最新のカメラでは、イメージセンサの進化により、これまでのダイナミックレンジを越えて撮像することが可能となっており、拡張された信号レベルを圧縮するための非線形の伝達関数を、各社が独自に提案している（S-Log: A new LUT for digital production mastering and interchange applications, https://pro.Sony.com/bbsccms/assets/files/mkt/cinema/solutions/slog_manual.pdf、V-Log/V-Gamut REFERENCE MANUAL, http://Pro-av.Panasonic.net/jp/varicam/common/pdf/VARICAM_V-Log_V-Gamut.pdf、 Canon-Log Cine Optoelectronic Transfer Function, http://learn.usa.canon.com/app/pdfs/white_papers/White_Paper_Clog_optoelectronic.pdf）。

そのような伝達関数は、光−電気伝達関数（Ｏｐｔｏ−ＥｌｅｃｔｒｉｃａｌＴｒａｎｓｆｅｒＦｕｎｃｔｉｏｎ，ＯＥＴＦ）、およびその逆関数としての電気−光伝達関数（Ｅｌｅｃｔｒｏ−ＯｐｔｉｃａｌＴｒａｎｓｆｅｒＦｕｎｃｔｉｏｎ，ＥＯＴＦ）と呼ばれ、主に指数・対数関数により定義されている。

ハイブリッドＬｏｇガンマ（ＨＬＧ）（ARIB STD-B67 Version 1.0, Essential parameter values for the extended image dynamic range television （EIRTV） system for programme production （2015））と呼ばれるものは、ＮＨＫ（日本放送協会）とＢＢＣ（英国放送協会）の共同で提案されている方式であり、そのＯＥＴＦは、従来の標準ダイナミックレンジ（ＳＤＲ）におけるカンマ補正関数と対数関数を組み合わせた非線形の伝達関数である［文献３、文献１３］。ＰＱ（ＰｅｒｃｅｐｔｕａｌＱｕｎａｔｉｚｅｒ）（SMPTE ST2084:2014, Dynamic range electro-optical transfer function of mastering reference displays （2014））と呼ばれるものは、４Ｋ（ＵＨＤ）ブルーレイディスク^ＴＭ（登録商標）における標準ＨＤＲ方式として採用されているものである（White Paper Blu-ray Disc^TM Read-Only Format, Coding constraints on HEVC video streams for BD-ROM Version 3.0, June 2015. http://www.blu-raydisc.com/Assets/Downloadablefile/BD-ROM-AV-WhitePaper_HEVC_150608a-clean.pdf）。

図４は、ハイブリッドＬｏｇガンマ（ＨｙｂｒｉｄＬｏｇ−Ｇａｍｍａ）を、ＰＱ（ＰｅｒｃｅｐｔｕａｌＱｕｎａｔｉｚｅｒ）のＯＥＴＦを標準ダイナミックレンジ（BT.709（Recommendation ITU-R BT.709-5, Parameter values for the HDTV standards for production and international programme exchange （2002））／BT.2020（Recommendation ITU-R BT.2020-1, Parameter values for ultra-high definition television systems for production and international programme exchange （2014）））のＯＥＴＦ（カンマ補正関数）とともに示す図である。図４に示すように、ハイブリッドＬｏｇガンマ（ＨｙｂｒｉｄＬｏｇ−Ｇａｍｍａ）（SMPTE ST2084:2014, Dynamic range electro-optical transfer function of mastering reference displays （2014））［文献３、文献１３］、 PQ （Perceptual Quantizer）（White Paper Blu-ray Disc^TM Read-Only Format, Coding constraints on HEVC video streams for BD-ROM Version 3.0, June 2015. http://www.blu-raydisc.com/Assets/Downloadablefile/BD-ROM-AV-WhitePaper_HEVC_150608a-clean.pdf）、標準ダイナミックレンジ（BT.709（Recommendation ITU-R BT.709-5, Parameter values for the HDTV standards for production and international programme exchange （2002））／BT.2020（Recommendation ITU-R BT.2020-1, Parameter values for ultra-high definition television systems for production and international programme exchange （2014）））の光−電気伝達関数（ＯＥＴＦ）である。図４に示すように、ＰＱは、ハイブリッドＬｏｇガンマで表現可能な最大レベル入力１２．０（１２００％）で出力が１．０（１００％）になるように調整している。標準ダイナミックレンジのＯＥＴＦ（ガンマ補正関数）は、１．０以上の出力を１．０にクリップしている。

ＨＤＲ映像は１００％を越える信号レベルを様々な非線形のＯＥＴＦによりレベル変換したものを、圧縮・伝送し、これを受像機側で元の信号レベル（リニアＲＧＢ）に戻して高輝度表示するものであるが、シーンによっては、擬似輪郭状の妨害が現れる。特に、空のような高輝度、かつ低コントラストで階調が滑らかに変化する領域に発生しやすい（例えば、空に縞状の模様が現れたように表示されてしまう）。

そのような現象は、カラーバンディング（Ｃｏｌｏｒｂａｎｄｉｎｇ）として知られており、レベル変換を行うＥＯＴＦ／ＯＥＴＦの計算処理に伴う演算誤差や、リニアＲＧＢにおける色補正等の各種プロセス処理、そして、ＯＥＴＦによりレベル変換されたＨＤＲ映像の圧縮・伸長等が原因と考えられる。画像／映像圧縮における歪みのひとつの形態とも言えるだろう。

Ｂｈａｇａｖａｔｈｙらは、マルチスケール解析に基づく確率的なディザリングによりカラーバンディングを抑制した［文献２］。水野らは、カラーバンディングを階調補間するために、２次元補間問題を１次元ポアソン方程式に帰着させて解いた［文献１６］。Ｂａｕｇｈらは、ＲＧＢ画素レベルにより領域分割したブロック中の画素数からバンディング領域を検出し、バンディング領域に対して、近傍ブロックからの距離に応じた重み付け平滑化によりカラーバンディングを除去した［文献１］。従来方法の多くは、反復を伴う最適化処理や画像全体を用いる大域的な処理であり、画素をラスクスキャンしながら行う局所的な処理ではない。

本提案では、ＨＤＲ映像において発生する擬似輪郭状の妨害であるカラーバンディングを簡易な画像処理により補正することを目的とする。具体的には、注目画素の近傍ブロック領城中の輝度値とその標準偏差からバンディング候補画素を検出する。標準偏差が小さいほど、画像内容は平坦に近く、カラーバンディングが発生する可能性がある。さらに、バンディングは高輝度値の領域に発生しやすい。そして、近傍ブロック領域の画素において、できるだけ似た色で、明るさが近い画素に対する重みを大きくして、輝度信号の重み付け平均を行うことにより、バンディングを除去する。

問題は、そのようなデバンディング処理フィルタにおけるパラメータの決定方法である。画像処理においては、何らかの調整パラメータが存在するのが普通であり、調整パラメータをどのように決定するかは、それぞれの処理の内容や画像／映像内容によるとされて、主観評価による経験的な値が用いられている。本提案では、インターネット検索により収集した画像を用いた学習により、デバンディング処理フィルタの最適パラメータを自動的に決定することを試みる。インターネット検索画像を原画像として擬似カラーバンディング画像を生成し、バンディング特微量を抽出する。原画像と擬似カラーバンディング画像の間のカルバック・ライブラー情報量が最小となる最適パラメータを滑降シンプレックス法により推定し、バンディング特微量に対する最適パラメータを重回帰分析と変数選択（モデル選択）により決定する。

画像から得られる特微量により画像内容を認識する試みが、２０００年代に盛んに研究された［文献４］。ＳＩＦＴ特徴量［文献１４］をサポートベクタマシン（ＳｕｐｐｏｒｔＶｅｃｔｏｒＭａｃｈｉｎｅ，ＳＶＭ）［文献２１］により学習を行い判別する方法である。インターネットから得られる大量画像を用いて、画像復元を行う研究も行われた。Ｈａｙｓらは、類似シーン画像を用いて欠損画像の自動補完を行い［文献７］、Ｋｅｖｉｎらは、ホワイトバランス補正、コントラスト強調、そして、露光補正による画像修復を行った［文献１１］。

一方、近年一大ブームの様相を呈しているのが、何らかの画像特徴を用いるのではなく、画像をそのまま用いて学習を行う“深層学習（ＤｅｅｐＬｅａｒｎｉｎｇ）”と呼ばれる方法である［文献１２］。深層学習処理の本質は、畳み込みニューラルネットワークと呼ばれる“フィルタである。画像認識だけではなく、様々な画像処理にも用いられている［文献９、文献６、文献５、文献２２］。松永は、超高精細映像におけるフォーカス補正を目的として、最小構成の畳み込みニューラルネットワークによるフォーカスずれ画像のデブラー復元性能を実験的に評価した［文献１５］。

本提案の構成は、２章でカラーデバンディング処理の手順について説明する。３章でデバンディング処理フィルタのパラメータを自動最適化するためのインターネット検索画像を用いた最適パラメータ学習について説明する。４章で画像シミュレーションにより、カラーバンディングのない画像から擬似的なカラーバンディング画像を生成して、カラーデバンディング処理を行う。カラーデバンディング処理画像をカルバック・ライブラー情報量により定量的に評価する。そして、インターネット検索画像を用いた最適パラメータ学習によるデバンディング処理の評価結果を示して、５章で纏める。

（２カラーデバンディング処理）
図１は、カラーデバンディング処理のブロック図である。カラーデバンディング処理の手順は、次のようになる。
１、カラーＲＧＢ入力を輝度色差ＹＣ_ＢＣ_Ｒに変換する（ＲＧＢ→ＹＣ_ＢＣ_Ｒ）。
２、変換したＹの画素値の近傍ブロック領域における標準偏差を計算して、しきい値（Ｔｈｒｅｓｈｏｌｄ１）以下の画素をバンディング候補画素とする（ＢａｎｄＤｅｔｅｃｔ）。さらに、Ｙの画素値が別のしきい値（Ｔｈｒｅｓｈｏｌｄ２）以上である条件を加える。そのようにして得られたバンディング候補画素に対して、２値メジアンフィルタにより、マスク整形を行ったものをバンドマスク（ＢａｎｄＭａｓｋ）とする。

３、近傍ブロック領域におけるＣ_ＢＣ_Ｒ、およびＹの画素値のレベル距離による重みを計算して（ＷｅｉｇｈｔＣａｌｃ.）、その重み（Ｗｅｉｇｈｔ）を用いて、Ｙを重み付け平均する（ＷｅｉｇｈｔＡｖｅｒａｇｅ）。ただし、バンドマスク（ＢａｎｄＭａｓｋ）によるバンディング候補画素に対してのみ重み付け平均を行う。バンディング候補画素における重み付け平均の際に、近傍ブロック領城中のバンディング候補画素以外の画素の重みは０とする。
４、そのような重み付け平均されたＹ’とＣ_ＢＣ_ＲをＲＧＢに変換して（ＹＣ_ＢＣ_Ｒ→ＲＧＢ）、出力する。

重み係数ｗは、色差信号Ｃ＝（Ｃ_Ｂ，Ｃ_Ｒ）^Ｔのレベル距離による重みｗ_ｒＣと輝度信号Ｙのレベル距離による重みｗ_ｒＹの積であり、それぞれガウス関数により次のように定義する。

σ_ｒＣ，σ_ｒＹはそれぞれ色差信号、輝度信号のレベル距離の許容範囲を調整するパラメータである。これは、輝度信号に対する領域選択的かつ画素値のレベル距離による重み”のみ”のバイラテラルフィルタ［文献２０］である（Ｙａｒｏｓｌａｖｓｋｙフィルタ［文献２３］として知られているものであり、バイラテラルフィルタにおける空間的な距離による重みをｂｏｘ関数としたものに相当する。）。

重み付け平均やバンドマスクのマスク整形のための２値メジアンフィルタに用いる近傍ブロック領域の画素を広範囲に得るために、飛び飛びに画素を取得するａｔｒｏｕｓアルゴリズム［文献８］を用いてもよい。

（３デバンディング処理パラメータの自動最適化）
カラーバンディングを除去するデバンディング処理フィルタの最適パラメータを予測するための事前の最適パラメータ学習の手順は次のようになる（図５（ａ）参照）。ここで、図５は、カラーデバンディング処理パラメータの自動最適化について説明する図であり、図５（ａ）がカラーデバンディング処理の最適パラメータ学習のブロック図を示し、図５（ｂ）が最適パラメータ予測によるカラーデバンディング処理のブロック図を示すものである。
１、インターネットにより画像検索を行い、適当な画像を複数ダウンロードする。（この際、検索及びダウンロードによる画像取得は自動的に遂行するようにしてもよい）
２、ダウンロードした画像を原画像として擬似カラーバンディング画像を生成する。擬似カラーバンディング画像は、画像の輝度値Ｙを

は小数部を切り捨てる床関数である。
３、擬似カラーバンディング画像におけるバンディング候補画素領域からバンディング特微量を抽出する。
４、デバンディング処理パラメータを、原画像とデバンディング処理画像の間のバンディング候補画素の輝度値ヒストグラムから計算したカルバック・ライブラー情報量［文献１９］が最小となるように、滑降シンプレックス法（Ｎｅｌｄｅｒ−Ｍｅａｄ法）［文献１８］により推定する。
５、バンディング特微量と最適デバンディング処理パラメータの組み合わせに対して、重回帰分析を行い、赤池情報量規準（ＡＩＣ）による変数選択（モデル選択）［文献１９］により、最適デバンディング処理パラメータを予測するための最適なモデルを決定する。

（３．１バンディング特微量の抽出）
バンディング特徴量としては、バンディング候補画素領域Ｂにおける
・輝度値ＹのバンディングギャップＢＧ
・輝度値Ｙのバンディングエッジ強度平均

・１次元輝度値Ｙの標準偏差σ_Ｙ
・２次元色差値Ｃ_ＢＣ_Ｒの分散共分散行列Ｖ［Ｃ_Ｂ，Ｃ_Ｒ］
が考えられる。パラメータ数は、それぞれ１，１，１，３であるから、６次元のベクトルになる（分散共分散行列は対称行列なので、Ｖ［Ｃ_Ｂ，Ｃ_Ｒ］のパラメータ数は３である）。２次元色差値Ｃ_ＢＣ_Ｒの分散共分散行列Ｖ［Ｃ_Ｂ，Ｃ_Ｒ］を固有値分解により標準形として［文献１０］、その固有値λ_１，λ_２（λ_１≧λ_２）を用いるとすれば、５次元ベクトルになる。

輝度値Ｙのバンディングギャップ特微量は、バンディング候補画素の輝度値ヒストグラムの最大頻度値から決定したしきい値によりヒストグラムを２値化する。そして、２値化輝度値ヒストグラムの、１値と１値の間の０値の個数による複数の間隔のメジアン値をバンディングギャップＢＧに相当する特微量とする。

バンディングエッジ強度平均特微量は、バンディング候補画素領域Ｂにおけるエッジ強度の平均値

を次のように計算する。

ただし、Ｙ（ｉ，ｊ）は画素座標（ｉ，ｊ）のバンディング候補画素領域Ｂにおける輝度値であり、γはエッジ強度値のゲイン定数である。

を計算する際には、γｅがしきい値Ｔ_γｅ以上の画素を用いる。したがって、Ｍはバンディング候補画素のうち、γｅがＴ_γｅ以上の画素数である。
２次元色差値Ｃ＝（Ｃ_Ｂ，Ｃ_Ｒ）^Ｔの分散共分散行列Ｖ［Ｃ］の（ｍ，ｎ）要素は、次のようになる。

の解である［文献１０］。
（３．２デバンディング処理の最適パラメータ推定と重回帰分析）
デバンディング処理パラメータは、
・色差信号Ｃ_ＢＣ_Ｒのレベル距離を許容するパラメータσ_ｒＣ
・輝度信号Ｙのレベル距離を許容するパラメータσ_ｒＹ
の２つである。
デバンディング処理パラメータは、原画像とデバンディング処理画像の間のバンディング候補画素の輝度値ヒストグラムから計算したカルバック・ライブラー情報量［文献１９］が最小になるように、滑降シンプレックス法（Ｎｅｌｄｅｒ−Ｍｅａｄ法）［文献１８］により推定する。ただし、できるだけ小さいσ_ｒＣ，σ_ｒＹを推定するために、最終的な目的関数Ｊを次のように定義する。

ここで、第１項はカルバック・ライブラー情報量であり、バンディング候補画素領域Ｂにおける原画像の輝度値ヒストグラムＰ（Ｙ）、デバンディング処理パラメータθによるデバンディング処理画像の輝度値ヒストグラムＱ（Ｙ；θ）から計算される。第２項は正則化項である。νは正則化パラメータであり、原画像と推定パラメータにおけるデバンディング処理画像の間の近さと推定パラメータの大きさに対するトレードオフを調整する。

デバンディング処理におけるブロック領域は正方ブロックとして、そのブロックサイズは固定とする。したがって、バンディング特微量の５次元ベクトルからデバンディング処理の最適パラメータを決定する。

式（１０）（１１）それぞれの部分モデルの当てはめも行い、赤池情報量規準（ＡＩＣ）による変数選択（モデル選択）［文献１９］により、デバンディング処理の最適パラメータを予測するための最適なモデルを決定する。

実際のバンディング画像では、抽出したバンディング特微量に対して、式（１０）（１１）の最適モデルから予測される最適パラメータによりデバンディング処理を行う（図５（ｂ）参照）。

（４画像シミュレーション）
（４．１デバンディング処理結果）
図６はカラーデバンディング処理の画像シミュレーションの一例について説明する図である。図６（ａ）は、原画像（４００×２６５画素サイズ）であり、図６（ｂ）は原画像から生成した擬似カラーバンディング画像である。原画像の輝度値を１／６倍して小数部を切り捨てしたものを６倍することにより生成した（輝度値スケールｓ＝６）。図６（ｃ）は、擬似カラーバンディング画像の５×５ブロック領域における輝度値の標準偏差を画素毎に計算して、しきい値５以下、および輝度値１００以上をカラーバンディング候補画素（白）としたバンディングマスク画像である。孤立画素が目立つため、２値メジアンフィルタ処理により、マスク整形したものが、図６（ｄ）である。ブロックサイズ７×７の２値メジアンフィルタの結果を、さらに、ブロックサイズ１１×１１の２値メジアンフィルタにより処理した。バンディングマスク画像（ｄ）によるバンディング候補画素に対して、デバンディング処理した結果が図６（ｅ）である。デバンディング処理パラメータは、σ_ｒＣ＝５，σ_ｒＹ＝７，ブロックサイズ１１×１１（１画素飛び）として、デバンディング処理を行った。図６（ｆ）は、バンディング候補画素領域の輝度値ヒストグラムである。原画像（Ｏｒｉｇｉｎａｌ）とそれぞれ擬似カラーバンディング画像（Ｂａｎｄｉｎｇ）、カラーデバンディング処理画像（Ｄｅｂａｎｄｉｎｇ）の結果である。ヒストグラムから計算した原画像に対するそれぞれのカルバック・ライブラー情報量は、１．７８８０１６から０．２９２４２０に減少しており、デバンディング処理画像の方が原画像に近づいている。

（４．２デバンディング処理の最適パラメータ学習結果）
カラーデバンディング処理フィルタの最適パラメータの学習には、バンディングが発生する可能性が高いと予想される階調が滑らかに変化している空を含む画像１００枚をインターネットから検索して用いた。図７にカラーデバンディング処理フィルタの最適パラメータの学習に用いた画像を示す（Ｆｌｉｃｋｒ，http://www.flickr.com/,Commercial use ＆mods allowedの画像を用いた）。

学習用画像毎に輝度値スケールｓ＝５，６，７，８として、擬似カラーバンディング画像を生成し、そのデバンディング処理画像と原画像の間のカルバック・ライブラー情報量に基づく、式（９）の目的関数Ｊを最小とするデバンディング処理パラメータσ_ｒＣ，σ_ｒＹを滑降シンプレックス法により推定した。滑降シンプレックス法は局所最適化により初期値依存性を示すため、初期値を変えて推定を行った結果のうち、Ｊ値が最小になるものを最終的な結果とした。最適化パラメータの初期値をそれぞれ区間｛σ_ｒＣ｜５≦σ_ｒＣ≦２０｝，｛σ_ｒＹ｜５≦σ_ｒＹ≦２０｝の一様乱数、取り得るパラメータの最小値最大値をそれぞれ１、１００として、各２０回推定した。

デバンディング候補画素は、５×５ブロック領域の輝度値の標準偏差５以下、画像上部４０％領域における輝度値の平均、および標準偏差から決定したしきい値以上の画素を検出して、ブロックサイズ１１×１１の２値メジアンフィルタ処理を２回行うことによりマスク整形した。デバンディング処理におけるブロックサイズは、１９×１９（１画素飛び）に固定して、正則化パラメータを、ν＝０．００８として最適化を行った。

そのようにして推定したデバンディング処理フィルタの最適パラメータと擬似カラーバンディング画像のバンディング特徴量

に対して重回帰分析を行った。重回帰分析と変数選択（モデル選択）には、Ｒ言語（ＴｈｅＲＰｒｏｊｅｃｔｆｏｒＳｔａｔｉｓｔｉｃａｌＣｏｍｐｕｔｉｎｇ, http://www.r-project.org/）を用いた。デバンディング処理フィルタの最適パラメータの重回帰分析と変数選択（モデル選択）の結果を図８に示す。

表１は、カラーデバンディング処理フィルタの最適パラメータ学習による評価の結果である。カラーデバンディング処理フィルタの最適パラメータの学習に用いたものとは異なる評価用画像１００枚によりカラーデバンディング処理を行った。評価用画像を原画像として生成した擬似カラーバンディング画像のバンディング特微量に対して、学習用画像による最適パラメータ学習の結果から評価用画像の最適パラメータを予測してデバンディング処理を行ったものと、滑降シンプレックス法により推定した最適パラメータによりデバンディング処理を行ったものである。それぞれ、原画像と擬似カラーバンディング画像、原画像とデバンディング処理画像の間のカルバック・ライブラー情報量の平均である（括弧内は標準偏差）。学習用画像による最適パラメータ学習の結果から最適パラメータを予測した場合でも、滑降シンプレックス法により推定した最適パラメータによるデバンディング処理結果の良い近似になっていることがわかる。

図９は、最適パラメータ学習によるデバンディング処理画像例である。評価用画像のうちの１枚を原画像図９（ａ）として生成した擬似カラーバンディング画像図９（ｂ）からバンディング特微量を抽出して、最適パラメータ学習の結果からデバンディング処理の最適パラメータを予測した。

図９（ｃ）は、バンディング候補画素領域における式（５）のエッジ強度γｅを計算した結果を合成して表示している。エッジ強度ゲインγ＝５．０として、γｅ値が１０以上のエッジ強度の平均値

は４４．９６８１２７であった。

図９（ｄ）は、バンディング候補画素における輝度値Ｙのヒストグラム（Ｈｉｓｔｏ）、およびその２値化輝度値ヒストグラム（ＢｉｎＨｉｓｔｏ）である。最大頻度値の４０％をしきい値として２値化したヒストグラムの１値と１値の間の０値の複数間隔のメジアン値によるバンディングギャップＢＧは６であった。輝度値の標準偏差σ_Ｙは２６．８０６２６４であり、色差値の分散共分散行列の固有値λ_１，λ_２は、それぞれ８６．２５２４６５，１．０３７１７９であった。

図９（ｅ）及び図９（ｆ）は、それぞれ、最適パラメータ学習により予測した最適パラメータによるデバンディング処理画像、滑降シンプレックス法により推定した最適パラメータによるデバンディング処理画像である。最適パラメータ学習による予測パラメータは、（σ_ｒＣ，σ_ｒＹ）＝（１．８４８６９７，９．３４０４４２）であり、滑降シンプレックス法による最適パラメータは、（σ_ｒＣ，σ_ｒＹ）＝（２．２１５４０８，９．９５４１２５）であった。原画像との間のカルバック・ライブラー情報量は、それぞれ０．０６９０９２，０．０５７７６１であり、疑似カラーバンディング画像と原画像の間のカルバック・ライブラー情報量は、１．８１８０４５であった。

（５まとめ）
ＨＤＲ映像において発生する擬似輪郭状の妨害である“カラーバンディング”を簡易な画像処理により補正した。具体的には、注目画素の近傍ブロック領城中の輝度値とその標準偏差からバンディング候補画素を検出した。そして、近傍ブロック領域の画素において、できるだけ似た色で、明るさが近い画素に対する重みを大きくして、輝度信号の重み付け平均を行うことにより、バンディングを除去した。

デバンディング処理フィルタのパラメータを自動最適化するために、
・インターネットから収集した複数の画像から擬似カラーバンディング画像を生成するとともに、簡易な画像処理によりバンディング特微量を抽出した。
・擬似カラーバンディング画像に対して、原画像との間のカルバック・ライブラー情報量を最小化するデバンディング処理フィルタの最適パラメータを滑降シンプレックス法により推定した。
・バンディング特微量に対するデバンディング処理フィルタの最適パラメータを予測するための最適なモデルを重回帰分析と赤池情報量規準（ＡＩＣ）による変数選択（モデル選択）により決定した。

今後の課題としては、
・デバンディング処理フィルタのパラメータのみならず、ブロックサイズや最適化における正則化パラメータといったハイパーパラメータ、そして、バンディング候補画素領域を検出するための各種しきい値の自動最適化
・マルチコアＣＰＵ／ＧＰＵ／ＦＰＧＡによるＨＤＲ映像のリアルタイム処理の実現が挙げられる。深層学習によるデバンディング処理の実現可能性の探求も興味深いところである。

（参考文献）
[1] G. Baugh, A. Kokaram, and F. Pitie, Advanced videodebanding, Proceedings of the 11th European Conference on Visual Media Production (CVMP'14), London, United Kingdom, (November 2014).
[2] S. Bhagavathy, J. Llach and J. Zhai, Multiscale probabilistic dithering for suppressing contour artifacts in digital images, IEEE Transactions on Image Processing, 18-9 (September 2009), 1936-1945.
[3] T. Borer and A. Cotton, A "display independent"high dynamic range television system, IBC2015 Conference, RAI, Amsterdam, the Netherlands, (September 2015).
[4] G. Csurka, C. Bray, C. Dance, and L. Fan, Visual categorization with bags of keypoints, Proceedings of ECCV Workshop on Statistical Learning in Computer Vision (SLCV), pp. 59-74 (2004).
[5] C. Dong, C.-C. Loy, K. He, and X. Tang, Learning a deep convolutional network for image superresolution, Proceedings of 13th European Conference on Computer Vision (ECCV2014), Part IV, Zurich,Switzerland, pp. 184-199 (September 2014).
[6] D. Eigen, D. Krishnan, and R. Fergus, Restoring an image taken through a window covered with dirt or rain, IEEE International Conference on Computer Vision (ICCV2013), Sydney, Australia, pp. 633-640(December 2013).
[7] J. Hays, and A. A. Efros, Scene completion using millions of photographs, ACM SIGGRAPH(SIGGRAPH'07), New York, NY, USA,Article 4 (August 2007).
[8] M. Holschneider, R. Kronland-Martinet, J. Morlet,and P. Tchamitchian, A real-time algorithm for signal analysis with the help of the wavelet transform, In Wavelets, Time-Frequency Methods and Phase Space,289-297, Springer-Verlag, 1989.
[9] V. Jain and H. S. Seung, Natural image denoising with convolutional networks, Proceedings of Advances in Neural Information Processing Systems 21(NIPS2008), pp. 769-776 (2008).
[10] 金谷健一, 「これなら分かる応用数学教室：最小二乗法からウェーブレットまで」, 共立出版, 2003 年6 月.
[11] D. Kevin, M. K. Johnson, K. Sunkavalli, W. Matusik, and H. Pfister, Image restoration using online photo collections, Proceedings IEEE 12th International Conference on Computer Vision (ICCV),Kyoto, Japan, pp. 2217-2224 (September - October 2009).
[12] A. Krizhevsky, I. Sutskever, and G. E. Hinton, ImageNet classification with deep convolutional neuralnetworks, Proceedings of Advances in Neural Information Processing Systems 25 (NIPS2012), pp. 1106-1114 (2012).
[13] Y. Kusakabe, Y. Ikeda, N. Shirai, K. Masaoka, T.Yamashita, Y. Nishida, T. Ikeda, and M. Sugawara,Extended image dynamic range system for UHDTV broadcasting, IBC2015 Conference, RAI, Amsterdam, the Netherlands, (September 2015).
[14] D. Lowe, Distinctive image features from scaleinvariant keypoints, International Journal of Computer Vision, 60-2 (January 2004), 91-110.
[15] 松永力, 超高精細映像のための畳み込みニューラルネットワークによるフォーカス補正, 第22 回画像センシングシンポジウム(SSII2016) 講演論文集, 横浜(パシフィコ横浜), 2016 年6 月.
[16] 水野暁, 五十嵐正樹, 池辺将之, ポアソン方程式を用いた画像の滑らかな階調復元, 映像情報メディア学会誌,67-8 (2013), J326-J333.
[17] 日本放送協会, 「スーパーハイビジョン映像技術」特集号, NHK 技研R&D, No. 137, 2013 年1 月.
[18] W. H. Press, S. A. Teukolsky, W. T. Vetterling, and B.P. Flannery, Numerical Recipes 3rd Edition: The Art of Scientific Computing, Cambridge University Press,September 2007.
[19] 坂元慶行, 石黒真木夫, 北川源四郎, 「情報量統計学」,共立出版, 1983 年．
[20] C. Tomasi and R. Manduchi, Bilateral filtering forgray and color images, Proceedings of the Sixth IEEE International Conference on Computer Vision (ICCV'98), Bombay, India, (January 1998).
[21] V. N. Vapnik, Statistical Learning Theory, Wiley,1998.
[22] L. Xu, J. S. Ren, C. Liu, and J. Jia, Deep convolutional neural network for image deconvolution, Proceedings of Advances in Neural Information Processing Systems 27 (NIPS2014), pp. 1790-1798 (2014).
[23] L. P. Yaroslavsky, Digital Picture Processing: An Introduction, Springer Verlag, 1985.

本発明は、４Ｋ／８Ｋ（スーパーハイビジョン）超高精細映像にも好適である。

Claims

画像をラスタスキャンしながら、近傍ブロック領域における画素を用いた局所処理を行うカラーデバンディング処理方法において、
注目画素の前記近傍ブロック領域中の輝度値の標準偏差からバンディング候補画素を検出する段階と、
前記バンディング候補画素の近傍ブロック画素を用いて、できるだけ似た色で、明るさが近い画素に対する重みを大きくして、輝度信号の重み付け平均を行うことにより、バンディングを除去する段階と、を有する
ことを特徴とするカラーデバンディング処理方法。
カラーデバンディング処理に用いる最適パラメータ学習方法において、
インターネットから収集した原画像から擬似カラーバンディング画像を生成する段階と、
前記生成した擬似カラーバンディング画像のバンディング特微量を抽出する段階と、
バンディングが存在していない前記原画像と、前記擬似カラーバンディング画像を処理した結果のデバンディング処理画像と、の間のカルバック・ライブラー情報量が最小になる最適なフィルタパラメータを推定する段階と、
前記バンディング特微量に対する最適な前記フィルタパラメータを予測する最適なモデルを、前記インターネットから収集した複数の原画像を用いて、重回帰分析と、変数選択またはモデル選択、により決定する段階と、を有する
ことを特徴とする最適パラメータ学習方法。
請求項２に記載の最適パラメータ学習方法により取得した最適パラメータを用いて請求項１に記載のカラーデバンディング処理方法により画像処理をする方法において、
前記バンディングを除去する段階は、
前記バンディング候補画素のバンディング特徴量を抽出する段階と、
抽出した前記バンディング特徴量に対応する前記最適パラメータを前記モデルに基づいて算出する段階と、をさらに有する
ことを特徴とする方法。