JP7724643B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関し、特に画像のデモザイク処理に関する。

デジタルカメラなどのデジタル撮像装置に利用される撮像素子の各画素には、カラーフィルタを介して特定の波長の光が入射する。例えば、Ｂａｙｅｒ配列を持つカラーフィルタを用いる場合、撮像素子からは、各画素がＲＧＢいずれかの色に対応する画素値を有するモザイク画像データが得られる。そして、モザイク画像データの各画素について残り２色に対応する画素値を得るデモザイク処理などの様々な信号処理を施すことにより、各画素が複数の色のそれぞれに対応する画素値を有するカラー画像データが得られる。

デモザイク処理の手法としては、周囲の同一色の画素値に基づいて線形補間又は非線形補間を行う手法がある。さらなるデモザイク処理の手法として、非特許文献１は、深層学習技術を用いた補間手法を提案している。非特許文献１は、具体的には、学習データの中からデモザイクした際にアーティファクト等が発生する一部の困難データのみを抽出し、困難データに基づいてＣＮＮベースのデモザイクネットワークの学習を行う手法を開示している。

Michael Gharbi et al. "Deep joint demosaicking and denoising", ACM Transactions on Graphics, Vol. 35, Issue 6, Article No.: 191 (2016).

本件発明者は、非特許文献１に記載された深層学習のような、ニューラルネットワークを用いるデモザイク処理では、偽色及びモアレは発生しにくくなるものの、本来存在しない偽パターンが発生しやすいことを見出した。

本発明は、デモザイク処理を、偽パターンを抑制しながら高精度に行うことを目的とする。

本発明の目的を達成するために、本発明の一実施形態に係る画像処理装置は以下の構成を備える。すなわち、
モザイク画像を取得する取得手段と、
前記モザイク画像に対して、ニューラルネットワークを用いた第１のデモザイク処理を行うことにより、第１のデモザイク画像を生成する第１の処理手段と、
前記モザイク画像に対して、前記第１のデモザイク処理とは異なる第２のデモザイク処理を行うことにより、第２のデモザイク画像を生成する第２の処理手段と、
前記第１のデモザイク画像から、特定のパターンを有する領域、又は、特定の色相を有する領域を、検出領域として検出する検出手段と、
前記第１のデモザイク画像の前記検出領域に前記第２のデモザイク画像の対応する部分を合成することにより、前記第１のデモザイク画像と前記第２のデモザイク画像とが合成された合成画像を生成する合成手段と、
を備えることを特徴とする。

デモザイク処理を、偽パターンを抑制しながら高精度に行うことができる。

一実施形態に係る画像処理装置のハードウェア構成例を示すブロック図。 一実施形態に係る画像処理装置の機能構成例を示すブロック図。 一実施形態に係る画像処理の流れを示すフローチャート。 所定のパターンを検出する処理について説明する図。 一実施形態に係る画像処理装置の機能構成例を示すブロック図。 一実施形態に係る画像処理の流れを示すフローチャート。 偽パターンの一例を示す図。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［実施形態１］
（ＣＮＮについて）
一実施形態に係る画像処理装置は、ニューラルネットワークを用いたデモザイク処理を行う。まず、一実施形態で使用可能なニューラルネットワークの一例として、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＣＮＮ）について説明する。ＣＮＮは、非特許文献１、及び深層学習技術を応用した画像処理技術において用いられている。ＣＮＮとは、フィルタと画像データとの畳み込み処理（ｃｏｎｖｏｌｕｔｉｏｎ）の後で、非線形演算を行うことを繰り返す、学習に基づく画像処理技術である。フィルタは、局所受容野（Ｌｏｃａｌ Ｒｅｃｅｐｔｉｖｅ Ｆｉｅｌｄ：ＬＰＦ）とも呼ばれる。フィルタと画像データとの畳み込み処理の後で、非線形演算を行うことにより得られる画像データは、特徴マップ（ｆｅａｔｕｒｅ ｍａｐ）と呼ばれる。また、フィルタは学習（ｔｒａｉｎｉｎｇ又はｌｅａｒｎｉｎｇ）により生成される。学習は、入力画像データと出力画像データとのペアからなる学習データ（ｔｒａｉｎｉｎｇ ｉｍａｇｅｓ又はｄａｔａ ｓｅｔｓ）を用いて行われる。簡単にいうと、学習とは、入力画像データから対応する出力画像データへと高精度に変換可能なフィルタの値を、学習データから生成することである。詳細については後述する。

画像データが複数のカラーチャンネル（例えばＲＧＢ）を有する場合、又は特徴マップが複数枚の画像データから構成されている場合、畳み込みに用いるフィルタも、対応する数の複数のチャンネルを有することができる。すなわち、フィルタは、縦横サイズ及び枚数に加えて、チャンネル数の次元を持つ、４次元配列で表現される。フィルタと画像データ（又は特徴マップ）との畳み込み処理の後で、非線形演算する処理は、層（ｌａｙｅｒ）という単位で表現される。例えば、特定の特徴マップ及びフィルタは、ｎ層目の特徴マップ及びｎ層目のフィルタと呼ばれる。また、例えばフィルタと画像データとの畳み込み処理と非線形演算とのセットを３回繰り返すＣＮＮは、３層のネットワーク構造を有するという。

このような畳み込みと非線形演算との組み合わせは、以下の式（１）で表すことができる。
式（１）において、Ｗ_ｎはｎ層目のフィルタ、ｂ_ｎはｎ層目のバイアス、ｆは非線形演算子、Ｘ_ｎはｎ層目の特徴マップ、＊は畳み込み演算子を表す。なお、（ｌ）はｌ番目のフィルタ又は特徴マップであることを表している。フィルタ及びバイアスは、後述する学習により生成され、まとめてネットワークパラメータとも呼ばれる。

非線形演算の種類は特に限定されないが、例えばシグモイド関数（ｓｉｇｍｏｉｄ ｆｕｎｃｔｉｏｎ）又はＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ）を用いることができる。ＲｅＬＵに従う非線形演算は以下の式（２）で表すことができる。
すなわち、ＲｅＬＵ処理は、入力したベクトルＸの要素のうち負の要素値をゼロに変換し、正の要素値をそのままにする非線形な処理である。

次に、ＣＮＮの学習について説明する。ＣＮＮの学習は、入力画像（生徒画像）と対応する出力画像（教師画像）との組からなる学習データに対して得られる目的関数を最小化することにより行うことができる。目的関数は、例えば以下の式（３）で表すことができる。
ここで、目的関数であるＬは、正解（出力画像）と、推定（入力画像に対するＣＮＮ処理結果）との誤差を測る損失関数（ｌｏｓｓ ｆｕｎｃｔｉｏｎ）である。また、Ｙ_ｉはｉ番目の出力画像、Ｘ_ｉはｉ番目の入力画像である。Ｆは、ＣＮＮの各層で行う演算（式１）をまとめて表す関数である。θは、ネットワークパラメータ（フィルタ及びバイアス）である。また、｜｜Ｚ｜｜_２はベクトルＺのＬ２ノルムを表し、簡単にいえばベクトルＺの要素の２乗和の平方根である。式（３）における目的関数では、Ｌ２ノルムの２乗が用いられている。また、ｎは学習に用いる学習データ（入力画像と出力画像とのセット）の数である。一般に、学習データの総数は多いため、確率的勾配降下法（Ｓｔｏｃｈａｓｔｉｃ Ｇｒａｄｉｅｎｔ Ｄｅｓｃｅｎｔ：ＳＧＤ）を用いた学習においては、学習データの一部をランダムに選び、目的関数の最小化のために用いることができる。このような方法によれば、多くの学習データを用いた学習における計算負荷を低減できる。

目的関数の最小化（＝最適化）法としては、モーメンタム（ｍｏｍｅｎｔｕｍ）法、ＡｄａＧｒａｄ法、ＡｄａＤｅｌｔａ法、及びＡｄａｍ法等の様々な方法を用いることができる。例えば、以下の式（４）に従うＡｄａｍ法を採用することができる。
式（４）において、θ_ｉ ^ｔは、ｔ回目の反復におけるｉ番目のネットワークパラメータであり、ｇはθ_ｉ ^ｔに関する損失関数Ｌの勾配である。また、ｍ及びｖはモーメントベクトルであり、αは基本学習率（ｂａｓｅ ｌｅａｒｎｉｎｇ ｒａｔｅ）であり、β_１及びβ_２はハイパーパラメータであり、εは適宜定めることができる小さな定数である。使用する最適化法は特に限定されないが、最適化法ごとに収束性の違いがあり、学習時間の違いも生じることが知られているため、用途等に応じて選択することができる

ＣＮＮの具体的な構成は特に限定されない。ＣＮＮを用いたネットワークの具体的な構成としては、画像認識分野で用いられるＲｅｓＮｅｔ、及び超解像分野におけるＲＥＤ－Ｎｅｔ等が挙げられる。いずれも、多層のＣＮＮを用いて、フィルタの畳み込みを何度も行うことにより、処理の高精度化が図られている。例えば、ＲｅｓＮｅｔは畳み込み層をショートカットする経路を有するネットワーク構造を有しており、１５２層の多層ネットワークにより人間の認識率に迫る高精度な認識を実現する。なお、多層のＣＮＮにより処理が高精度化する理由は、簡単にいえば、非線形演算を何度も繰り返すことによりＣＮＮが入出力間の非線形な関係を表現できるためである。

（画像処理装置の構成）
本実施形態に係る画像処理装置は、ニューラルネットワーク又は深層学習を用いて生成された第１のデモザイク画像と第２のデモザイク画像とを合成することにより、偽パターンのような画質弊害を抑制することができる。上記のように、本願発明者は、ニューラルネットワーク又は深層学習を用いてデモザイク処理を行うと、偽色又はモアレのような画質弊害は良好に抑制されるが、偽パターンのような新たな画質弊害が発生しやすいことを見出した。偽パターンの一例を図７に示す。図７（Ａ）は円を表すＲＡＷ画像データに対してニューラルネットワークを用いてデモザイク処理を行った結果を、図７（Ｂ）はニューラルネットワークを用いずに一般的なデモザイク処理を行った結果を、それぞれ表している。図７（Ａ）に見られるように、ニューラルネットワークを用いて得られたデモザイク画像には、Ｂａｙｅｒ配列に沿って市松模様状の偽パターンが生じている。この原因は、ニューラルネットワーク又は深層学習のようなデータ駆動型の処理を行っていることにあり、具体的には学習データの不足若しくは偏り、又は学習の順番などによって画質弊害が生じるのではないかと考えられる。本実施形態においては、偽パターンが抑制された高精度なデモザイク画像を得るために、第１のデモザイク画像に対し、より偽パターンが生じにくい第２のデモザイク処理により得られた第２のデモザイク画像が合成される。

実施形態１に係る画像処理装置は、プロセッサとメモリとを備えるコンピュータにより実現することができる。図１は、実施形態１に係る画像処理装置のハードウェア構成の一例を示す。画像処理装置１００は、例えばＰＣ等のコンピュータであり、ＣＰＵ１０１、ＲＡＭ１０２、ＨＤＤ１０３、汎用インターフェース（Ｉ／Ｆ）１０４、モニタ１０８、及びメインバス１０９を備える。また、画像処理装置１００のメインバス１０９には、汎用Ｉ／Ｆ１０４を介して、カメラ等の撮像装置１０５、マウス又はキーボード等の入力装置１０６、及びメモリカード等の外部メモリ１０７が接続されている。汎用Ｉ／Ｆ１０４には、さらに、デモザイク処理に用いるニューラルネットワークの学習を行う学習処理装置１１０が接続されている。

ＣＰＵ１０１は、ＨＤＤ１０３に格納された各種ソフトウェア（コンピュータプログラム）に従って動作することにより、以下のような各種処理を実現する。まず、ＣＰＵ１０１は、ＨＤＤ１０３に格納されている画像処理アプリケーションのプログラムをＲＡＭ１０２に展開して実行することにより、モニタ１０８にユーザインターフェース（ＵＩ）を表示させる。続いて、ＨＤＤ１０３又は外部メモリ１０７に格納されている各種データ、撮像装置１０５により取得された画像データ、入力装置１０６からのユーザ指示等が、ＲＡＭ１０２に転送される。さらに、画像処理アプリケーションの処理に従って、ＲＡＭ１０２に格納されているデータを用いた演算処理がＣＰＵ１０１からの指令に基づいて行われる。演算処理の結果は、モニタ１０８に表示することができ、また、ＨＤＤ１０３又は外部メモリ１０７に格納することができる。なお、ＨＤＤ１０３又は外部メモリ１０７に格納されている画像データがＲＡＭ１０２に転送されてもよい。また、不図示のネットワークを介してサーバから送信された画像データがＲＡＭ１０２に転送されてもよい。

以下では、上記のような構成を備える画像処理装置１００において、ＣＰＵ１０１からの指令に基づき、画像処理アプリケーションに入力されたＲＡＷ画像データを現像し、現像後の画像データを出力する態様について説明する。例えば図２に示されている、以下で説明される各部の機能は、ＣＰＵ１０１のようなプロセッサが、ＲＡＭ１０２又はＨＤＤ１０３のようなメモリに格納されたプログラムを実行することにより実現することができる。

図２は、本実施形態に係る画像処理装置１００の機能構成例を示すブロック図である。図２に示すように、画像処理装置１００は、画像取得部２０１、第１デモザイク部２０２、第２デモザイク部２０４、及び画像合成部２０５を有している。また、画像処理装置１００は、検出部２０３及び現像部２０６を有していてもよい。なお、図２，５に示した構成は、適宜変形又は変更することが可能である。例えば、１つの機能部を複数の機能部に分割してもよいし、２つ以上の機能部を１つの機能部に統合してもよい。また、図２，５に示す構成は、２以上の装置によって実現されてもよい。この場合、各装置は、回路又有線若しくは無線のネットワークを介して接続され、互いにデータ通信を行って協調動作を行うことで、後述する各処理を実現することができる。

画像取得部２０１は、モザイク画像を取得する。本実施形態において、画像取得部２０１は、モザイク画像データとして、各画素が１色についての情報を有するＲＡＷ画像データを取得する。一方で、モザイク画像データは、１以上のプレーンそれぞれについての、画素値が設定された画素と画素値が設定されていない画素とが周期的に繰り返される画像の各画素値のデータ（例えばＢａｙｅｒ配列に従うＲＧＢ各プレーンのデータ）であってもよい。以下では、ＲＡＷ画像データは各画素が１色分の情報を有するＢａｙｅｒ配列のカラーフィルタを用いて撮像されていることを前提として説明を行うが、本発明はその他の配列のカラーフィルタを用いて撮像されたＲＡＷ画像にも適用可能である。

第１デモザイク部２０２は、モザイク画像に対して、ニューラルネットワークを用いた第１のデモザイク処理を行うことにより、第１のデモザイク画像を生成する。本実施形態において、第１デモザイク部２０２は、画像取得部２０１が取得したＲＡＷ画像データに対するニューラルネットワークを用いたデモザイク処理を行い、色情報が補間された第１のデモザイク画像を生成する。本実施形態においては、ニューラルネットワークとして、学習処理装置１１０が出力した学習済モデルであるデモザイクネットワークモデルが用いられる。デモザイクネットワークモデルとは、ニューラルネットワークのアーキテクチャ及びパラメータ（係数）を意味する。本実施形態においては、デモザイクネットワークモデルとして、上記のような多層ＣＮＮをベースとしたニューラルネットワークが用いられるが、ニューラルネットワークのアーキテクチャはＣＮＮをベースとするものには限られない。

なお、学習処理装置１１０は、以下のようにしてニューラルネットワークの学習を行うことができる。まず、モザイク画像データ（生徒画像データ）をニューラルネットワークに入力し、ニューラルネットワークからの出力とデモザイク画像データ（教師画像データ）との誤差を評価する。そして、この誤差に基づいて、誤差逆伝播法によりニューラルネットワークのパラメータの更新を行う。この処理を繰り返すことにより、学習済モデルを得ることができる。ここで、教師画像データとしては任意の画像のデータを用いることができ、例えばＲＡＷ画像データに対してデモザイク処理を行わずに縮小処理を行うことにより得られた、デモザイク処理に伴う画質弊害が少ない画像を用いることができる。生徒画像データは、教師画像データをカラーフィルタ配列パターンに従ってサンプリングすることにより生成することができる。

第２デモザイク部２０４は、モザイク画像に対して、第１のデモザイク処理とは異なる第２のデモザイク処理を行うことにより、第２のデモザイク画像を生成する。本実施形態においては、第２デモザイク部２０４は、画像取得部２０１が取得したＲＡＷ画像データに対する第２のデモザイク処理を行い、色情報が補間された第２のデモザイク画像を出力する。第２のデモザイク処理の種類は特に限定されない。例えば、まばらなＲＧＢ各色のデータに対して、周囲の同一色の画素値に基づく線形補間を行うことにより、各画素に対応する画素値を算出することができる。具体的には、ＲＧＢ各プレーンの画像データに対して線形フィルタを適用することにより、線形補間を行うことができる。また、別の方法として、メディアン処理による補間を行ってもよいし、エッジ解析に基づく適応的な補間を行う非線形補間（例えばＡＣＰＩ法）を用いてもよい。さらには、第１のデモザイク処理で用いた学習済モデルとは異なる学習済モデルを用いてもよい。この場合に用いる学習済モデルは、例えば、偽色又はモアレと比較して、偽パターンをより強く抑制するように学習が行われていてもよい。

画像合成部２０５は、第１のデモザイク画像と第２のデモザイク画像とが合成された合成画像を生成する。合成方法は特に限定されない。本実施形態においては、第１のデモザイク画像のうち、画質弊害が検出された領域（弊害領域）に対して、第２のデモザイク画像が合成される。このために、本実施形態に係る画像処理装置１００は、第１のデモザイク画像から画質弊害を検出する検出部２０３を有することができる。

検出部２０３は、第１のデモザイク画像から、特定の属性を有する領域を検出する。本実施形態において、検出部２０３は、第１のデモザイク画像から画質弊害が存在する領域（弊害領域）を検出することができる。とりわけ、ニューラルネットワークを用いたデモザイク処理においては偽パターンが生じやすいことから、検出部２０３は、第１のデモザイク画像から特定のパターンを有する領域を検出することができる。以下では、検出部２０３が検出した領域のことを検出領域と呼ぶ。

そして、画像合成部２０５は、検出部２０３による検出結果に基づいて、第１のデモザイク画像と第２のデモザイク画像とを合成することができる。例えば、画像合成部２０５は、第１のデモザイク画像の検出領域に第２のデモザイク画像の対応する部分を合成することができる。こうして得られた合成画像において、検出領域に相当する部分は第２のデモザイク画像となり、検出領域以外に相当する部分は第１のデモザイク画像となっている。検出部２０３及び画像合成部２０５の処理の詳細については後に説明する。

現像部２０６は、画像合成部２０５によって合成されたデモザイク画像に対して現像処理を行うことにより、現像処理結果を出力する。現像処理の種類は特に限定されず、例えばノイズ低減処理、ダイナミックレンジ調整処理、ガンマ補正処理、シャープネス処理、及び色調整処理のうちの１つ以上であってもよい。

（画像処理の流れ）
本実施形態に係る画像処理装置１００が行う処理について、図３のフローチャートを参照して説明する。図３に示されるフローチャートの処理は、ＣＰＵ１０１のようなプロセッサが、ＲＡＭ１０２又はＨＤＤ１０３のようなメモリに格納されたプログラムを実行することにより実現することができる。

Ｓ３０１で、画像取得部２０１は、撮像装置１０５、ＨＤＤ１０３、又は外部メモリ１０７等からＲＡＷ画像データを取得する。そして、画像取得部２０１は、ＲＡＷ画像データに対して、ホワイトバランス処理又はオフセット加算処理等の前処理を実施する。

Ｓ３０２で、第１デモザイク部２０２は、上述のように、学習済モデルを用いて、Ｓ３０１における前処理後のＲＡＷ画像データに対する第１のデモザイク処理を行い、色情報が補間された第１のデモザイク画像を出力する。例えば、図４（Ａ）に示すように、ＲＡＷ画像データ４００に対するデモザイク処理により第１のデモザイク画像データが得られる。そして、第１のデモザイク画像データををＲＧＢの３チャンネルに分割することにより、ＲＧＢそれぞれのデモザイク画像データ４１０Ｒ，４１０Ｇ，４１０Ｂが得られる。

Ｓ３０３で、検出部２０３は、第１のデモザイク画像から画質弊害が存在する弊害領域を検出する。検出部２０３は、空間フィルタを用いて、特定のパターンが存在する領域を、弊害領域として検出することができる。以下では、画質弊害を検出する空間フィルタを検出フィルタと表記する。

本願発明者は、ニューラルネットワークを用いて、所定の色配列に従うモザイク画像をデモザイク処理すると、この所定の色配列に相関のある偽パターンが生じやすいことを見出した。例えば、上記のように、Ｂａｙｅｒ配列に従うモザイク画像をデモザイク処理すると、Ｂａｙｅｒ配列に相関を持つ市松模様状の偽パターンが生じやすい。そこで、この例において、検出部２０３は、所定の色配列に相関のあるパターン、例えば市松模様状のパターンを、特定のパターンとして検出する。このようなパターンを検出するためには、Ｂａｙｅｒ配列に相関を持つフィルタ係数が設定された検出フィルタを用いることができる。このような検出フィルタの一例である、５×５のサイズを有するフィルタを図４（Ｂ）に示す。もっとも、検出フィルタのサイズ及び係数は特に限定されず、例えば３×３以上のサイズを有するフィルタを用いることができる。また、図４（Ｂ）に示す、係数として４又は－４が設定された検出フィルタの代わりに、縦横それぞれの方向について１画素ずつ正負の値が繰り返される検出フィルタを用いてもよい。さらには、弊害検出フィルタの係数は、中央部に近いほど値が大きく、端部に近いほど値が小さく設定されていてもよい。

検出部２０３は、デモザイク画像データ４１０Ｒ，４１０Ｇ，４１０Ｂのそれぞれに対して、検出フィルタを適用することができる。こうして、検出部２０３は、各チャンネルについての特定のパターンの強度を示すマップを生成することができる。そして、検出部２０３は、Ｒ、Ｇ、及びＢの各チャネルについて検出された特定のパターンの強度に基づいて、弊害領域を検出することができる。ここで、マップには孤立点のようなノイズが発生することがあり、これらのノイズが弊害領域として検出されることを防ぐために、検出部２０３は各チャンネルのマップに対してノイズ除去フィルタを適用することができる。ノイズ除去フィルタとしては、メディアンフィルタを用いることができる。また、画像データにおいてＧチャンネルの画素値は大きくなる傾向が大きいことから、弊害領域を検出する際には、Ｇチャネルについて検出された強度の重みを、Ｒ及びＢチャネルについて検出された強度の重みよりも大きくすることができる。例えば、特定のパターンの検出においてＧチャンネルの重みが大きくなるように、Ｇチャンネルのマップの各強度値に対して１より大きい係数を乗算してもよい。

そして、検出部２０３は、各画素について、画素ごとに各チャンネルの特定のパターンの強度の最小値を抽出し、予め設定した閾値ｔｈ（例えばｔｈ＝１００）と比較することができる。画素について抽出された最小値が閾値ｔｈ以上の場合、この画素は弊害領域に属すると判定することができる。

Ｓ３０４で、検出部２０３は、第１のデモザイク画像から弊害領域を検出したか否かを判定する。弊害領域を検出した場合、処理はＳ３０５へ進み、そうでない場合、処理はＳ３０７へ進む。

Ｓ３０５で、第２デモザイク部２０４は、上述のように、Ｓ３０１における前処理後のＲＡＷ画像データに対する第２のデモザイク処理を行う。

Ｓ３０６で、画像合成部２０５は、第１のデモザイク画像と第２のデモザイク画像とを合成する。ここで、画像合成部２０５は、第１のデモザイク画像からの検出領域に、第２のデモザイク画像を合成することができる。

もっとも、合成方法はこの方法には限定されない。例えば、検出領域の外側に移行領域を設定してもよい。このような移行領域は、検出領域をＤ（例えばＤ＝１０）画素分だけ膨張させる処理により設定することができる。そして、合成テモザイク画像の移行領域に相当する部分には、アルファブレンド手法により合成された第１のデモザイク画像と第２のデモザイク画像との合成画像を適用してもよい。こうして得られた合成画像は、検出領域の境界部に、第１のデモザイク画像と第２のデモザイク画像とが重畳された画像を有している。また、合成画像の検出領域に相当する部分は第２のデモザイク画像であり、検出領域及び移行領域以外の領域に相当する部分は第１のデモザイク画像である。また、別の方法として、検出領域における第２のデモザイク画像の重みが、検出領域以外における第２のデモザイク画像の重みよりも大きくなるように、第１のデモザイク画像と第２のデモザイク画像とを重畳してもよい。

Ｓ３０７で、現像部２０６は、Ｓ３０６で出力された合成画像データに対して現像処理を行い、現像処理結果を出力する。結果の出力先は特に限定されず、例えば、ＨＤＤ１０３、外部メモリ１０７、又は汎用Ｉ／Ｆ１０４に接続される他の機器（例えばネットワークを介して画像処理装置１００と接続される外部機器）であってもよい。

なお、図３の例では、第１のデモザイク処理（Ｓ３０２）の後に第２のデモザイク処理（Ｓ３０５）が直列に行われていたが、第１及び第２のデモザイク処理は並列に行われてもよい。また、第２のデモザイク処理はモザイク画像全体に対して行われたが、Ｓ３０３で検出された検出領域に対応するモザイク画像の一部に対してのみ、第２のデモザイク処理が行われてもよい。

このように本実施形態によれば、第１のデモザイク画像に対し、より偽パターンが生じにくい第２のデモザイク画像を合成することにより、偽パターンが抑制された高精度なデモザイク画像を得ることができる。とりわけ、ニューラルネットワーク又は深層学習技術を用いて得られたデモザイク処理において発生しやすい偽パターンを有する弊害領域を検出し、弊害領域には別のデモザイク処理結果を適用することにより、偽パターンを効果的に抑制することができる。

［実施形態２］
実施形態１では、特定のパターンの検出結果に基づいて、第１のデモザイク画像と第２のデモザイク画像とが合成された。一方で本願発明者は、ニューラルネットワーク又は深層学習を用いたデモザイク処理においては、特定の色相の領域において偽パターンのような画質弊害が生じやすいことを見出した。そこで、実施形態２では、学習済モデルを用いたデモザイク処理において弊害が発生しやすい色相が事前に特定され、この色相の領域の検出結果に基づいて、第１のデモザイク画像と第２のデモザイク画像とが合成される。以下では、実施形態１との差異を中心に説明し、実施形態１と共通する部分については説明を省略する。

図５は、実施形態２に係る画像処理装置１００の機能構成例を示すブロック図である。画像取得部２０１、第１デモザイク部２０２、第２デモザイク部２０４、画像合成部２０５、及び現像部２０６の機能は実施形態１と同様であり、相違点については後述する。

テスト画像取得部５０１は、テスト用の画像データを取得し、テスト用の画像データに対するモザイク処理により、テスト用のモザイク画像データを生成する。こうして、ニューラルネットワークに入力されるモザイク画像データと同じデータ形式のモザイク画像データを生成することができる。テスト用の画像データとしては、例えば、モザイク画像データではないＲＧＢ画像データを用いることができる。テスト用の画像の種類は特に限定されないが、様々な色相の組み合わせからなる、記号又は図形が描画された画像のデータであってもよい。例えば、テスト用の画像データは、１つの色の記号又は図形部分と、別の色の背景部分と、で構成される画像のデータであってもよい。また、テスト用の画像データに対するモザイク処理としては、Ｂａｙｅｒ配列のようなカラーフィルタ配列に基づくサンプリング処理を行うことができ、この場合Ｂａｙｅｒ配列のテスト用のモザイク画像データを出力することができる。

第１デモザイク部２０２は、モザイク画像に対して第１のデモザイク処理を行うことに加えて、テスト用のモザイク画像に対して、ニューラルネットワークを用いた第１のデモザイク処理を行うことにより、テスト用のデモザイク画像を生成する。第１のデモザイク処理は実施形態１と同様である。

検出部５０３は、テスト用のデモザイク画像のうち、特定の属性を有する領域を検出する。本実施形態において、検出部５０３は、実施形態１の検出部２０３と同様に、第１のデモザイク画像から弊害領域を検出することができ、例えば、市松模様状のパターンのような特定のパターンを有する領域を検出することができる。

解析部５０４は、検出部５０３が検出した弊害領域の色相を判定する。そして、解析部５０４は、判定された弊害領域の色相を記録する。具体的には、解析部５０４は、ＲＧＢ色空間における弊害領域の色値をＨＳＶ色空間へと変換し、色相値（Ｈ：０～１８０）を抽出して、色相情報ファイルに記録することができる。

検出部２０３は、第１デモザイク部２０２がモザイク画像データに対する第１のデモザイク処理を行うことにより得られた第１のデモザイク画像のうち、特定の属性を有する領域を検出する。例えば、検出部２０３は、解析部５０４により判定された弊害領域の色相と同様の色相の領域を検出することができる。

本実施形態において、検出部２０３は、第１のデモザイク画像から特定の色相を有する領域を検出する。ここで、特定の色相を示す情報としては、解析部が記録した弊害領域の色相情報を用いることができる。具体的には、検出部２０３は、色相情報ファイルに記録された色相と同様の色相を持つ領域を検出することができる。実施形態１と同様に、検出部２０３が検出した領域のことを検出領域と呼ぶ。なお、検出領域においては偽パターンのような画質弊害が生じやすいことから、検出領域のことを弊害領域と呼んでもよい。

なお、検出部２０３は、画像取得部２０１が取得したモザイク画像から、弊害領域の色相と同様の色相の領域を検出してもよい。このような構成は、第１のデモザイク画像のうち、第１のデモザイク処理における補間の対象とならなかった画素に基づいて検出領域を検出することと等価である。したがって、このような構成においても、第１のデモザイク画像から弊害領域の色相と同様の色相の領域を検出しているといえる。

画像合成部２０５は、第１のデモザイク画像と第２のデモザイク画像とを合成する。ここで、画像合成部２０５は、第１のデモザイク画像のうち、検出部２０３が検出した検出領域に、第２のデモザイク画像を合成することができる。すなわち、合成により得られた合成画像は、検出領域の位置に第２のデモザイク画像を有し、検出領域の外側に第１のデモザイク画像を有している。

本実施形態に係る画像処理装置１００が行う処理について、図６（Ａ）及び（Ｂ）のフローチャートを参照して説明する。これらのフローチャートの処理は、ＣＰＵ１０１のようなプロセッサが、ＲＡＭ１０２又はＨＤＤ１０３のようなメモリに格納されたプログラムを実行することにより実現することができる。なお、図６（Ａ）及び（Ｂ）の処理は別の装置によって行われてもよい。

図６（Ａ）は、テスト画像データを用いて弊害領域の色相を判定する処理である。図６（Ａ）の処理は、複数のテスト画像のそれぞれに対して行うことができる。

Ｓ６０１で、テスト画像取得部５０１は、撮像装置１０５、ＨＤＤ１０３、又は外部メモリ１０７等からテスト画像データを取得する。また、テスト画像取得部５０１は、上述のようにテスト画像データからテストモザイク画像データを出力する。テスト画像取得部５０１は、テストモザイク画像データに対してホワイトバランス処理又はオフセット加算処理等の前処理を行ってもよい。

Ｓ６０２で、第１デモザイク部２０２は、上述のように、学習処理装置１１０が出力した学習済モデルを用いた第１のデモザイク処理により、色情報が補間されたテストデモザイク画像データを出力する。

Ｓ６０３で、検出部５０３は、Ｓ３０３と同様の方法でテストデモザイク画像データから弊害領域を検出する。

Ｓ６０４で、検出部５０３は、Ｓ３０４と同様の方法でテストデモザイク画像データから弊害領域を検出したか否かを判定する。弊害領域を検出した場合、処理はＳ６０５へ進み、そうでない場合、処理はＳ６０６へ進む。

Ｓ６０５で、解析部５０４は、上述のように、Ｓ６０４で検出した弊害領域の色相値を抽出し、色相情報ファイルに記録する。色相情報ファイルには、検出された弊害領域の個数に応じた色相値を記録することができる。このとき、Ｓ６０４で検出された色相値が既に記録されている色相値と類似する場合は、記録をスキップしてもよい。なお、弊害領域に複数の色が含まれる場合、解析部５０４は、それぞれの色の情報（例えば色相値）を記録することができる。別の方法として、解析部５０４は、弊害領域の各画素の色のヒストグラムを作成し、最も出現頻度が高い色相値を記録してもよい。

図６（Ｂ）は、ＲＡＷ画像データに対するデモザイク処理である。Ｓ６０６及びＳ６０７の処理は、実施形態１のＳ３０１及びＳ３０２と同様である。

Ｓ６０８で、検出部２０３は、第１のデモザイク画像から、色相情報ファイルに記録されている色相と同様の色相を持つ領域（検出領域）を検出する。検出部２０３は、例えば、第１のデモザイク画像をＲＧＢ色空間からＨＳＶ色空間に変換することができる。そして、第１のデモザイク画像のうち、Ｘ±αの範囲に該当する色相を有する領域を検出することができる。ここで、色相値Ｘは色相情報ファイルに記録されている色相値（０～１８０）であり、αは任意の値である。こうして、検出部２０３は、色相情報ファイルに記録されている色相から所定範囲内の色相を持つ領域を検出することができる。色相情報ファイルに複数の色相値が記録されている場合、検出部２０３は、色相情報ファイルに記録されているいずれかの色相から所定範囲内の色相を持つ領域を検出することができる。

Ｓ６０９で、検出部２０３は、第１のデモザイク画像に検出領域が存在するか否かを判定する。検出領域が存在する場合、処理はＳ６１０へ進み、そうでない場合、処理はＳ６１２へ進む。

Ｓ６１０の処理は、実施形態１のＳ３０５と同様である。Ｓ６１１の処理も、実施形態１のＳ３０６と同様であり、第１のデモザイク画像からの検出領域に第２のデモザイク画像を合成することができる。Ｓ６１２の処理も、実施形態１のＳ３０７と同様である。なお、実施形態１と同様に、第１のデモザイク処理（Ｓ６０７）と第２のデモザイク処理（Ｓ６１０）とを並列に行ってもよいし、Ｓ６０８で検出された検出領域に対応するモザイク画像の一部に対してのみ、第２のデモザイク処理が行われてもよい。

上記の実施形態では、弊害領域の色相と同様の色相の領域が検出され、この領域に第２のデモザイク画像が合成された。一方で、本願発明者は、画像の一部の領域が特定の色相を有し、画像の別の領域が別の特定の色相を有する場合に、特に偽パターンのような画質弊害が生じやすいことを見出した。このため、検出部５０３は、弊害領域の色相と、弊害領域以外の領域の色相と、の組み合わせを検出及び記録してもよい。この場合、検出部５０３は、弊害領域以外の各画素の色相のヒストグラムを作成し、最も出現頻度が高い色相値を記録してもよい。このような実施形態において、検出部２０３は、弊害領域の色相と、弊害領域以外の色相と、の組み合わせに基づいて、第２のデモザイク画像を合成する領域を決定することができる。例えば、検出部２０３は、解析部５０４により判定された弊害領域の色相と同様の色相の領域を検出し、検出領域以外の領域の色相と、記録されている弊害領域以外の領域の色相と、に基づいて、検出領域に第２のデモザイク画像を合成するか否かを判定できる。具体的には、検出部２０３は、検出領域以外の各画素の色相のヒストグラムを作成することができる。そして、検出部２０３は、最も出現頻度が高い色相値が、記録された弊害領域以外の領域の色相値と同様である場合に、検出領域に第２のデモザイク画像を合成すると判定することができる。

このように本実施形態によれば、学習済モデルを用いて得られる第１のデモザイク処理により偽パターンが発生しやすい色相を事前に特定し、特定した色相の領域には別のデモザイク処理結果を適用することで、偽パターンを効果的に抑制することができる。

（その他の実施例）
上述の実施形態では、図７に示すような特定のパターンを第１のデモザイク画像から検出する例について説明した。一方で、さらに特定のパターンを検出する処理を第２のデモザイク画像に対して行ってもよい。この処理は、Ｓ３０３及びＳ６０３と同様に行うことができる。この場合、第１デモザイク画像から検出された特定のパターンが、第２デモザイク画像の対応する位置から検出されていない場合に、第１デモザイク画像からは偽パターンが検出されていると判定することができる。したがって、第１デモザイク画像から検出された特定のパターンの領域が弊害領域と判定される。一方で、第１デモザイク画像から検出された特定のパターンが、第２デモザイク画像の対応する位置からも検出された場合、第１デモザイク画像からは本物のパターンが検出されていると判定し、この領域は弊害領域として判定しないことが可能になる。このような構成によれば、検出部２０３，５０３が、本物の市松模様が存在する領域を弊害領域として判定することを抑制することができる。

実施形態１では、第１のデモザイク画像のうち特定のパターンが検出された領域に対して第２のデモザイク画像を合成した。しかしながら、第１のデモザイク画像の補正方法はこの方法に限定されない。例えば、一実施形態に係る画像処理装置は、実施形態１の画像取得部２０１及び第１デモザイク部２０２に加えて、モザイク画像から市松模様状のパターンを有する領域を検出する検出部２０３を備える。検出部２０３は、実施形態１と同様の方法で市松模様状のパターンを検出できる。さらに、この画像処理装置は、第１のデモザイク画像のうち市松模様状のパターンが検出された検出領域に対して補正処理を行う補正部（不図示）を備える。この補正部は、実施形態１と同様に市松模様状のパターンが検出された部分に対して第２のデモザイク画像を合成することにより、この部分の補正を行ってもよい。一方で、この補正部は、市松模様状のパターンが検出された部分に対して、メディアンフィルタ等を用いた平滑化処理を行うことにより、この部分の補正を行ってもよい。このように、補正部は、市松模様状のパターンが検出された部分に対して、市松模様状のパターンを抑制する補正処理を行うことができる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００：画像処理装置、２０１：画像取得部、２０２：第１デモザイク部、２０３：検出部、２０４：第２デモザイク部、２０５：画像合成部

Claims (14)

1. モザイク画像を取得する取得手段と、
   前記モザイク画像に対して、ニューラルネットワークを用いた第１のデモザイク処理を行うことにより、第１のデモザイク画像を生成する第１の処理手段と、
   前記第１のデモザイク画像のうち、市松模様状のパターンを有する領域を検出領域として検出する検出手段と、
   前記第１のデモザイク画像の前記検出領域に対して補正処理を行う補正手段と、
   を備えることを特徴とする画像処理装置。
2. 前記モザイク画像に対して、前記第１のデモザイク処理とは異なる第２のデモザイク処理を行うことにより、第２のデモザイク画像を生成する第２の処理手段をさらに備え、
   前記補正手段が行う前記補正処理は、前記第１のデモザイク画像の前記検出領域に前記第２のデモザイク画像の対応する部分を合成する処理であり、
   前記補正処理により得られた画像は、前記検出領域の位置に前記第２のデモザイク画像を有し、前記検出領域の外側に前記第１のデモザイク画像を有することを特徴とする、請求項１に記載の画像処理装置。
3. 前記補正処理により得られた画像は、さらに、前記検出領域の境界部に、前記第１のデモザイク画像と前記第２のデモザイク画像とが重畳された画像を有することを特徴とする、請求項２に記載の画像処理装置。
4. 前記モザイク画像は、所定の色配列に従うＲＡＷ画像であり、
   前記市松模様状のパターンは、前記所定の色配列に相関のあるパターンであることを特徴とする、請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記モザイク画像は、Ｂａｙｅｒ配列に従うＲＡＷ画像であり、
   前記第１の処理手段は、Ｒ、Ｇ、及びＢの各チャネルについての前記第１のデモザイク画像を生成し、
   前記検出手段は、Ｒ、Ｇ、及びＢの各チャネルについての前記第１のデモザイク画像から前記市松模様状のパターンの強度を検出し、
   前記検出手段は、Ｇチャネルについて検出された前記強度の重みを、Ｒ及びＢチャネルについて検出された前記強度の重みよりも大きくして、Ｒ、Ｇ、及びＢの各チャネルについて検出された前記強度に基づいて前記検出領域を検出することを特徴とする、請求項１から４のいずれか１項に記載の画像処理装置。
6. 画像処理装置が行う画像処理方法であって、
   モザイク画像を取得する工程と、
   前記モザイク画像に対して、ニューラルネットワークを用いた第１のデモザイク処理を行うことにより、第１のデモザイク画像を生成する工程と、
   前記第１のデモザイク画像のうち、市松模様状のパターンを有する領域を検出領域として検出する工程と、
   前記第１のデモザイク画像の前記検出領域に対して補正処理を行う工程と、
   を有することを特徴とする画像処理方法。
7. モザイク画像を取得する取得手段と、
   前記モザイク画像に対して、ニューラルネットワークを用いた第１のデモザイク処理を行うことにより、第１のデモザイク画像を生成する第１の処理手段と、
   前記モザイク画像に対して、前記第１のデモザイク処理とは異なる第２のデモザイク処理を行うことにより、第２のデモザイク画像を生成する第２の処理手段と、
   前記第１のデモザイク画像から、特定のパターンを有する領域、又は、特定の色相を有する領域を、検出領域として検出する検出手段と、
   前記第１のデモザイク画像の前記検出領域に前記第２のデモザイク画像の対応する部分を合成することにより、前記第１のデモザイク画像と前記第２のデモザイク画像とが合成された合成画像を生成する合成手段と、
   を備えることを特徴とする画像処理装置。
8. 前記合成画像は、前記検出領域の位置に前記第２のデモザイク画像を有し、前記検出領域の外側に前記第１のデモザイク画像を有することを特徴とする、請求項７に記載の画像処理装置。
9. 前記合成画像は、さらに、前記検出領域の境界部に、前記第１のデモザイク画像と前記第２のデモザイク画像とが重畳された画像を有することを特徴とする、請求項８に記載の画像処理装置。
10. 前記検出手段は、前記特定のパターンを有する領域を前記検出領域として検出し、
    前記モザイク画像は、所定の色配列に従うＲＡＷ画像であり、
    前記特定のパターンは、前記所定の色配列に相関のあるパターンであることを特徴とする、請求項７から９のいずれか１項に記載の画像処理装置。
11. 前記検出手段は、前記特定のパターンを有する領域を前記検出領域として検出し、
    前記モザイク画像は、Ｂａｙｅｒ配列に従うＲＡＷ画像であり、
    前記第１の処理手段は、Ｒ、Ｇ、及びＢの各チャネルについての前記第１のデモザイク画像を生成し、
    前記検出手段は、Ｒ、Ｇ、及びＢの各チャネルについての前記第１のデモザイク画像から前記特定のパターンの強度を検出し、
    前記検出手段は、Ｇチャネルについて検出された前記強度の重みを、Ｒ及びＢチャネルについて検出された前記強度の重みよりも大きくして、Ｒ、Ｇ、及びＢの各チャネルについて検出された前記強度に基づいて前記検出領域を検出することを特徴とする、請求項７から１０のいずれか１項に記載の画像処理装置。
12. 前記検出手段は、前記特定の色相を有する領域を前記検出領域として検出し、
    前記第１の処理手段は、さらにテスト用のモザイク画像に対して前記第１のデモザイク処理を行うことにより、テスト用のデモザイク画像を生成し、
    前記画像処理装置は、前記テスト用のデモザイク画像から特定のパターンを有する領域を検出する手段と、当該検出された領域の色相情報を、前記特定の色相を示す情報として記録する手段と、をさらに備えることを特徴とする、請求項７から９のいずれか１項に記載の画像処理装置。
13. 画像処理装置が行う画像処理方法であって、
    モザイク画像を取得する工程と、
    前記モザイク画像に対して、ニューラルネットワークを用いた第１のデモザイク処理を行うことにより、第１のデモザイク画像を生成する工程と、
    前記モザイク画像に対して、前記第１のデモザイク処理とは異なる第２のデモザイク処理を行うことにより、第２のデモザイク画像を生成する工程と、
    前記第１のデモザイク画像から、特定のパターンを有する領域、又は、特定の色相を有する領域を、検出領域として検出する工程と、
    前記第１のデモザイク画像の前記検出領域に前記第２のデモザイク画像の対応する部分を合成することにより、前記第１のデモザイク画像と前記第２のデモザイク画像とが合成された合成画像を生成する工程と、
    を有することを特徴とする画像処理方法。
14. コンピュータを、請求項１から５及び７から１２のいずれか１項に記載の画像処理装置として機能させるためのプログラム。