JP2024058184A - 画像処理装置、撮像装置、画像処理方法、プログラムおよび記憶媒体 - Google Patents

Abstract

【課題】 画像からノイズを除去するノイズ低減処理と連続して画像回復処理を実行する場合に、前段処理の強度を変更すると後段処理を再度実行しなおさなければならない。【解決手段】 画像処理装置は、画像に対して補正を行う補正手段と、前記補正手段が前記補正を行った後の画像に対して、ニューラルネットワークを用いて拡大を行い、第１の拡大画像を生成する第１の拡大手段と、前記補正手段が前記補正を行った後の画像に対して、第１の拡大手段と異なり、第２の拡大画像を生成する第２の拡大手段と、前記補正の強度に基づいて、前記第１の拡大画像と前記第２の拡大画像とに対して合成を行う合成手段と、を有することを特徴とする。【選択図】 図２

Description

本発明は、画像処理装置に関するものであり、特に学習モデルを参照して拡大画像を生成する画像処理装置に関するものである。

近年ディープラーニングを用いて画像の拡大に関する技術が開発されている。従来の画像拡大の技術では、バイリニア補間やバイキュービック補間といったフィルタリングベースの手法を用いた拡大処理が一般的に使われてきた。しかし、従来手法は高周波領域の推定精度が悪く拡大率が大きくなるにつれて画像の解像感が失われてしまう傾向があった。これに対して、たとえば特許文献１には、ディープラーニングを用いた画像拡大処理が開示され、高い解像感を持った拡大画像の生成が可能となっている。ディープラーニングによる画像拡大技術においては、特に畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）を用いられることが多い。

国際公開２０１８―２１６２０７号公報

ただし、ディープラーニングを用いた画像拡大で生成された画像では、学習ベースであるがゆえに演算結果によっては適切な値で補間されず、高周波信号を過度に強調してしまう場合や、元の画像には存在しなかったノイズ等を発生してしまう場合がある。

本発明では、上記の課題を鑑みてなされたものであり、ディープラーニング拡大画像にバイキュービック等の従来手法による拡大画像を合成する技術を提供することを目的とする。

本発明は、画像に対して補正を行う補正手段と、前記補正手段が前記補正を行った後の画像に対して、ニューラルネットワークを用いて拡大を行い、第１の拡大画像を生成する第１の拡大手段と、前記補正手段が前記補正を行った後の画像に対して、第１の拡大手段と異なり、第２の拡大画像を生成する第２の拡大手段と、前記補正の強度に基づいて、前記第１の拡大画像と前記第２の拡大画像とに対して合成を行う合成手段と、を有することを特徴とする画像処理装置を提供する。

本発明によれば、２種類の画像拡大処理で得られた画像に対してさらに合成を行うとき、適切な合成比率を決めることを可能にする。

本発明の実施形態におけるデジタルカメラの構成を説明するためのブロック図である。 本発明の実施形態における拡大処理のフローを説明するためのシステム図である。 本発明の実施形態における解像感補正レベルと合成比率との関係を説明するためのグラフである。 本発明の実施形態におけるＲＡＷデータを用いない拡大処理のフローについて説明するためのシステム図である。 本発明の実施形態における顔領域の解像感補正レベルと合成比率の関係を説明するためのグラフである。

以下では、図を用いながら本発明の実施に好適な実施形態について説明する。なお、以下に記載の実施形態は、あくまでも本発明を実施するための一例であり、本発明は以下の実施形態に限定されない。

図１は、本実施形態におけるデジタルカメラの構成を説明するためのブロック図である。

デジタルカメラ１００は、操作部１０１と、レンズ１０２と、撮像素子１０３と、制御部１０４と、表示器１０５と、を備えている。操作部１０１は、ユーザがデジタルカメラ１００を操作するために用いるスイッチやタッチパネル等の入力デバイス群である。操作部１０１には、撮像準備動作の開始および撮像開始を指示するためのレリーズスイッチや、撮像モードを選択するための撮像モード選択スイッチ、方向キー、決定キー等が含まれる。レンズ１０２は、複数の光学レンズから構成される。レンズ１０２を構成するレンズには、ピント調節用レンズ等が含まれる。撮像素子１０３は、例えばＣＭＯＳやＣＣＤなどのイメージセンサーであり、複数の画素（光電変換素子）が配列されており、なおかつ各画素にはＲ（赤）、Ｇ（緑）、Ｂ（青）のいずれかのカラーフィルタが設けられているものとする。撮像素子１０３にはまた、画素から得られる信号を処理する増幅回路などの周辺回路が設けられている。撮像素子１０３は、レンズ１０２を通して結像された被写体像を撮像し、得られた画像信号を制御部１０４へ出力する。制御部１０４は、ＣＰＵ、メモリ、およびその他の周辺回路により構成され、カメラ１００を制御する。なお、制御部１０４を構成するメモリには、ＤＲＡＭ等が含まれる。メモリは、ＣＰＵが種々の信号処理を行う際のワークメモリとして使われたり、後述する表示器１０５に画像を表示する際のＶＲＡＭとして使われたりする。表示器１０５は、カメラ１００の電子ビューファインダーや、背面液晶ディスプレイや、外部ディスプレイであり、カメラ１００の設定値などの情報やメッセージ、メニュー画面等のＧＵＩ、また撮像画像などを表示する。記憶部１０６は、例えば半導体メモリカードである。記憶部１０６には、制御部１０４により記録用の画像信号（動画データまたは静止画データ）が、所定形式のデータファイルとして記録される。

次に、本実施形態における拡大処理のフローについて説明する。図２は、本実施形態における拡大処理のフローを説明するためのシステム図である。図２におけるそれぞれの矩形のブロックは、制御部１０４が行う処理を示している。なお、図２に示したシステム図で説明した拡大処理の機能の開始のタイミングは、デジタルカメラ１００の撮像時とする。

まず撮像素子１０３が撮像したＲＡＷデータ２０１に対し、解像感補正部２０２ではユーザが設定した解像感補正情報２０８に基づいて、画像の解像感を変化させるような処理が行われる。解像感補正情報２０８とはユーザによる解像感に関する設定情報を示し、解像感設定は具体的にはエッジ強調などの解像感を上げる設定情報や、逆に解像感は弱まるが輝度ノイズ・色ノイズを低減するようなノイズ低減処理の設定情報、さらに美肌モードなど画像の特定領域における解像感を調整する処理の設定情報などが含まれる。各設定においては、補正の強度などがユーザ設定により調整できるようになっている。

解像感の補正の強度の調整方法はいくつかあるが、例えば解像感補正がノイズ低減処理である場合、平滑化フィルタ処理における閾値を調整する方法などが挙げられる。これらの方法により、解像感補正の強度を大きくしたり小さくしたりすることが可能となる。

次に現像処理部２０３が、ＲＧＢの色情報が揃ったカラー画像に変換後、色や輝度の調整などを実行する。現像処理完了後、第１の拡大処理部２０４および第２の拡大処理部２０５が画像を任意の倍率に拡大した拡大画像を生成する。ここで第１の拡大処理部２０４における拡大処理と、第２の拡大処理部２０５における拡大処理は、異なる方法によるものである。本実施形態においては、第１の拡大処理部２０４はディープラーニングを用いた拡大処理（以下、ディープラーニング拡大と記載）を実行する。それに対して、第２の拡大処理部２０５はニアレストネイバー補間やバイキュービック補間、バイリニア補間などフィルタリングベースの手法を用いた拡大処理（以下、一例としてバイキュービック拡大のみについて記載）を実行する。それらの出力を合成部２０６が合成するが、合成に当たって各拡大画像の合成比率は、解像感補正情報２０８を基に合成比率算出部２０９で求める。合成比率算出部２０９で算出した合成比率を用いて合成部２０６で２種類の拡大画像を合成し、最終的な拡大画像２０７が生成される。

ここで合成比率算出部２０９での処理について詳しく説明する。ディープラーニング拡大画像とバイキュービック拡大画像との「合成比率」は高品質な拡大画像を得るための重要な要素となる。その原因は、合成後の拡大画像２０７について、バイキュービック拡大画像の使用率は大きくなるほど弊害の少ない安定した画質を得られる一方で解像感は失われる傾向にある。それに対してディープラーニング拡大画像の使用率は大きくなるほど解像感が出る一方で「高周波領域の過度な強調」などの弊害も出やすくなり、それぞれの拡大手法で解像感と安定感がトレードオフの関係にある。ここで適切な合成比率は、解像感補正情報２０８に依存する。画像の解像感が高くなる方向に補正されているほど、ディープラーニング拡大における「高周波領域の過度な強調」が出やすく、ディープラーニング拡大前の画像とディープラーニング拡大後の画像とで、解像感の補正効果が異なって見える可能性があるためである。

本実施形態においては、たとえばデフォルトとなる合成比率を５０％ずつと決めた上で、ユーザが設定した解像感補正情報２０８に応じて、補正強度に合った合成比率を合成比率算出部２０９が算出する。合成比率の算出方法について、解像感補正レベルと合成比率との関係性の一例を説明する。

図３は、本実施形態における解像感補正レベルと合成比率との関係を説明するためのグラフである。図３に示したブラフでは、横軸の解像感補正レベルは解像感補正情報２０８から得られる解像感補正設定の補正強度を示す。解像感補正設定とは前述したようにノイズ低減処理の強度設定や美肌処理の強度設定などが含まれるが、ここでの解像感補正レベルはそれらの各解像感補正設定の補正強度をトータルで示した指標とする。また、第１の拡大画像はディープラーニング拡大画像を、第２の拡大画像はバイキュービック拡大画像をそれぞれ示すこととする。図３より、合成比率は解像感を上げる方向に補正した場合はバイキュービック拡大画像の合成比率を高く、逆に解像感を下げる方向に補正した場合はディープライニング拡大画像の合成比率が高くなるような関係とする。

たとえばユーザ設定で解像感を強める設定をした場合には、図３に示したグラフおける解像感補正レベルはプラス側となる。この場合には「高周波領域の過剰な強調」を防ぐために、デフォルトの合成比率に対してディープラーニング拡大画像の合成比率を下げる方向に調整する。

なお、ここでの基準となるデフォルトの合成比率は２種類の拡大画像をそれぞれ５０％ずつとしたが、デフォルト画質のディープラーニング耐性を考慮した上でデフォルトの合成比率を別の比率に設定してもよい。また、デフォルトの合成比率として、片方をゼロにしてもよい。

以上の本実施形態の実施方法について、様々な変形が可能である。一例として、同じ画像の異なる領域に対して異なる合成比率を与えることがあげられる。

たとえば、人物の肌領域は他の領域よりも高周波信号の強調を避けたいと考えるユーザがいる。このようなユーザのニーズのために、「肌領域」についてはディープラーニング拡大とバイキュービック拡大との合成比率をそれぞれ５０％に設定し、一方で「肌領域」以外の領域については解像感を高めるためディープラーニング拡大の合成比率を１００％に設定することで、必要最低限の領域にだけ安定画質を与えてできる限り解像感を向上させる方法がある。「肌領域」の判定は、公知の画像認識の方法、たとえばニューラルネットワークを用いる方法でよい。または、ユーザの指定により「肌領域」を判定してもよい。

ここで解像感補正情報２０８について、画像全体にかかる補正ではなく、画像内の特定領域のみの解像感を調整するような補正を考える。例えば、画像内の人物の顔領域を検出してその領域のノイズだけを低減する「美肌補正」の設定などが挙げられる。

上述した肌領域の合成比率を変える方法による拡大処理と、「美肌補正」とを組み合わせた場合を考えると、解像感補正部２０２で美肌補正設定により顔領域だけがノイズ低減された後、合成部２０６で顔領域だけが高周波が強調されにくい合成比率で合成される。そのため拡大画像２０７は、顔領域の美肌補正効果が過剰に見えてしまう可能性がある。合成部２０６は、顔領域をディープラーニング拡大画像５０％で、顔以外の領域をディープラーニング拡大画像１００％で、それぞれ合成することで、相対的に顔領域の美肌補正効果がさらに強まってしまうためである。

上記の課題を解決するために、美肌処理と拡大処理とが組み合わさる場合においては、ユーザが選択した美肌強度に応じて肌領域の合成比率を調整する。この時の合成比率の決め方の例を図５に示す。たとえばユーザが「美肌強度強め」に設定した場合、つまり肌領域の解像感が低くなる補正をかけた場合を、横軸の解像感補正レベル－３に相当するものとすると、顔領域のディープラーニング拡大画像の合成比率をデフォルト設定である５０％から１００％に上げる。顔領域のディープラーニング拡大画像の合成比率を上げることで、合成後の拡大画像において肌領域が過剰にノイズ低減されるのを防ぐ。

また、「肌領域」が画像に占める面積により、解像感補正の領域の大きさも変わるので、「肌領域」の大きさにより合成比率を変えてもよい。「肌領域」以外の特定領域でも同様である。

また、拡大処理の機能の開始のタイミングは、デジタルカメラ１００の撮像時の設定において開始させてもよいが、表示器１０５において任意の画像の再生がされる時点で開始させてもよい。再生時に拡大機能が発動する場合には、選択した撮影画像についてＲＡＷデータが残ってさえいれば、図２のフローをそのまま適用することができる。このとき解像感補正部２０２における補正はＲＡＷのメタデータから取得した解像感補正情報２０８に基づいて実行し、現像処理部２０３における処理についてもＲＡＷデータのメタデータなどに付与されている撮影時設定に基づいて実行されるものとする。

また、本実施形態の拡大方法においては、ＲＡＷデータが残っていなく、現像後の画像データを用いる場合にも適用可能である。

図４は、本実施形態におけるＲＡＷデータを用いない拡大処理のフローについて説明するためのシステム図である。図４に示したシステム図は図２と比べて、ＲＡＷデータ２０１と解像感補正部２０２と現像処理部２０３とが設けられていない。しかし、図４に示したように、解像感補正情報４０６は現像後画像４０１のメタデータなどに付与されていれば、ＲＡＷデータ２０１がある場合と同様に合成比率を算出することができる。

第１の実施形態によれば、第１の拡大画像と第２の拡大画像との合成比率を調整することで、最終の拡大画像における解像感を調整することができる。

（そのほかの実施形態）
上記実施形態における「画像処理装置」は、個人向けのデジタルカメラのほか、任意の電子機器において実施可能である。このような電子機器には、デジタルカメラやデジタルビデオカメラはもちろん、パーソナルコンピュータ、タブレット端末、携帯電話機、ゲーム機、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：拡張現実）やＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ：複合現実）等で使用する透過型ゴーグルなどが含まれるが、これらに限定されない。

なお、本発明は、上述の実施形態の１つ以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し作動させる処理でも実現可能である。また、１以上の機能を実現する回路（たとえば、ＡＳＩＣ）によっても実現可能である。

１００ デジタルカメラ
１０１ 操作部
１０２ レンズ
１０３ 撮像素子
１０４ 制御部
１０５ 表示器
１０６ 記憶部

Claims (17)

1. 画像に対して補正を行う補正手段と、
   前記補正手段が前記補正を行った後の画像に対して、ニューラルネットワークを用いて拡大を行い、第１の拡大画像を生成する第１の拡大手段と、
   前記補正手段が前記補正を行った後の画像に対して、第１の拡大手段と異なり、第２の拡大画像を生成する第２の拡大手段と、
   前記補正の強度に基づいて、前記第１の拡大画像と前記第２の拡大画像とに対して合成を行う合成手段と、を有することを特徴とする画像処理装置。
2. 前記第２の拡大手段は、ニューラルネットワークを用いないことを特徴とする請求項１に記載の画像処理装置。
3. 前記第２の拡大手段は、ニアレストネイバーとバイキュービックとバイリニアとの少なくともいずれかの方法を用いることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記第１の拡大手段が前記画像に対して拡大を行って生成した第１の拡大画像は、前記第２の拡大手段が該画像に対して拡大を行って生成した第２の拡大画像より高周波信号が強調されていることを特徴とする請求項１または２に記載の画像処理装置。
5. 前記第１の拡大手段が前記画像に対して拡大を行って生成した第１の拡大画像は、前記第２の拡大手段が該画像に対して拡大を行って生成した第２の拡大画像より解像感が高いことを特徴とする請求項１または２に記載の画像処理装置。
6. 前記補正の強度が第１の強度の場合は、前記補正の強度が前記第１の強度より強い第２の強度の場合よりも、前記第１の拡大画像の合成比率が大きいことを特徴とする請求項１または２に記載の画像処理装置。
7. 前記補正の強度が第１の強度の場合は、前記補正の強度が前記第１の強度より強い第２の強度の場合よりも、前記第１の拡大画像の合成比率が小さいことを特徴とする請求項１または２に記載の画像処理装置。
8. 前記補正手段は、前記画像の一部の領域に対して、前記補正を行うことを特徴とする請求項１または２記載の画像処理装置。
9. 前記一部の領域は、顔の領域であることを特徴とする請求項８に記載の画像処理装置。
10. 前記一部の領域は、肌の領域であることを特徴とする請求項８に記載の画像処理装置。
11. 前記補正手段は、前記一部の領域に対して行った前記補正は、美肌のための補正であることを特徴とする請求項１０に記載の画像処理装置。
12. 前記合成手段は、前記補正手段が前記補正を行った前記一部の領域の面積に基づいて前記合成を行うことを特徴とする請求項８ないし１１のいずれか１項に記載に記載の画像処理装置。
13. 前記補正手段は、前記画像の複数の領域に対して、異なる補正を行い、
    前記合成手段は、前記画像の複数の領域のそれぞれに対して、前記補正手段が該領域に行った補正に基づいて前記合成を行うことを特徴とする請求項１または２に記載の画像処理装置。
14. 画像を撮像する撮像手段と、
    前記画像に対して補正を行う補正手段と、
    前記補正手段が前記補正を行った後の画像に対して、ニューラルネットワークを用いて拡大を行い、第１の拡大画像を生成する第１の拡大手段と、
    前記補正手段が前記補正を行った後の画像に対して、第１の拡大手段と異なり、第２の拡大画像を生成する第２の拡大手段と、
    前記補正の強度に基づいて、前記第１の拡大画像と前記第２の拡大画像とに対して合成を行う合成手段と、を有することを特徴とする撮像装置。
15. 画像に対して補正を行う補正ステップと、
    前記補正ステップにおいて前記補正を行った後の画像に対して、ニューラルネットワークを用いて拡大を行い、第１の拡大画像を生成する第１の拡大ステップと、
    前記補正ステップにおいて前記補正を行った後の画像に対して、第１の拡大ステップと異なり、第２の拡大画像を生成する第２の拡大ステップと、
    前記補正の強度に基づいて、前記第１の拡大画像と前記第２の拡大画像とに対して合成を行う合成ステップと、を有することを特徴とする画像処理方法。
16. 画像処理装置をコンピュータに作動させるプログラムであって、
    画像に対して補正を行う補正ステップと、
    前記補正ステップにおいて前記補正を行った後の画像に対して、ニューラルネットワークを用いて拡大を行い、第１の拡大画像を生成する第１の拡大ステップと、
    前記補正ステップにおいて前記補正を行った後の画像に対して、第１の拡大ステップと異なり、第２の拡大画像を生成する第２の拡大ステップと、
    前記補正の強度に基づいて、前記第１の拡大画像と前記第２の拡大画像とに対して合成を行う合成ステップと、を行わせることを特徴とするプログラム。
17. 請求項１６に記載のプログラムを記録したコンピュータが読み出し可能な記憶媒体。

Images