JP7051536B2 - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Description

本発明は、出力する画像において光沢感を表現するための制御を行う画像処理装置、画像処理方法、およびプログラムに関する。

近年、物体の表面の透明感、光沢、金属感等の質感を検知する方法および検知された質感を画像上で表現する方法について様々な提案がなされている。特許文献１にはバックライトを有する画像表示装置において画像信号に対応した画像の表示制御を行うため、画像に光沢部分が有るか否かを判定し、画像全体の輝度を下げることなく光沢感のある画像を表現できるように制御する技術が開示されている。ここで、画像に光沢部分が有るか否かを判定する光沢判定方法として、非特許文献１にて紹介された、画像データから取得される輝度ヒストグラムの歪度を利用して画像が有する光沢度を算出する方法が用いられている。

非特許文献１では、心理物理実験を通して、物理的な光沢や明るさ、輝度ヒストグラムの歪みと知覚的な光沢や明るさとに高い相関関係があることについて開示している。

この相関関係によれば、例えば光沢が強い画像の表面ほど、画像データから取得される輝度ヒストグラムが正の方向に歪む（高い輝度の方に画素の出現頻度がなだらかに広がる）ことを示す。よって、輝度ヒストグラムの歪度に基づいて画像の表面の光沢度を評価することが可能になる。

一方で、複合機やプリンタなどの画像処理装置から印刷される印刷画像においても、色味や階調性に加え、質感（光沢感）を表現することが求められている。

特開２００９－６３６９４号公報

"Ｉｍａｇｅ ｓｔａｔｉｓｔｉｃｓ ａｎｄ ｔｈｅ ｐｅｒｃｅｐｔｉｏｎ ｏｆ ｓｕｒｆａｃｅ ｑｕａｌｉｔｉｅｓ"，Ｎａｔｕｒｅ，４４７，２０６－２０９，（２００７）

画像において光沢感を表現するための制御（光沢制御）を行う場合、光沢があると判定された画像データにおける全ての周波数帯域（以下、帯域）に対して画像信号のゲイン調整を行うと、不必要な帯域の画像データにゲイン調整を行ってしまう場合がある。例えば、光沢があると判定され、かつ低周波と高周波を含む画像データにおいてゲイン調整を行うと、高周波成分のノイズが増えたように見え、画像に対する光沢制御が適切に行われない場合がある。

上記課題を解決すべく本画像処理装置は、入力画像を前記入力画像における複数の周波数帯域をそれぞれ示す複数の画像に分解する分解手段と、前記分解手段により分解された前記複数の画像のそれぞれのヒストグラムの歪度を取得する取得手段と、前記取得手段により取得された歪度に基づいて、前記複数の画像のうち調整すべき画像を決定する決定手段と、前記決定手段によって決定された画像にゲイン調整を実行する調整手段と、を有することを特徴とする。

本発明では、光沢制御対象の画像に対し、画像における適切な周波数帯域の画像にのみゲイン調整を行う。これにより、画像に対して適切に光沢制御を行うことが可能となる。

本実施例における画像処理システムを示すブロック図である。 本実施例におけるＭＦＰの構成を示す図である。 実施例１におけるデータ処理部２１５のブロック図である。 実施例１におけるフローチャートである。 実施例１における入力画像の例である。 実施例１における帯域の画像を示す図である。 実施例１における入力画像のＢチャンネルのヒストグラムを示す図である。 実施例１における帯域分解を説明するための図である。 実施例１における帯域別のヒストグラムを示す図である。 実施例１における帯域別の歪度を示す図である。 実施例１における領域分割を説明するための図である。 実施例１における光沢調整のＵＩ画面である。 実施例１における帯域の画像を示す図である。 実施例１における光沢調整後の結果画像を示す図である。 実施例２および実施例３におけるデータ処理部２１５のブロック図である。 実施例２におけるフローチャートである。 実施例３におけるフローチャートである。 実施例２における光沢調整のＵＩ画面である。 実施例３における光沢調整のＵＩ画面である。 実施例２および実施例３における光沢調整の説明図である。 実施例２および実施例３における光沢調整後の結果画像を示す図である。 実施例３における飽和画素算出の説明図である。

以下、本発明を実施するための形態について図面を用いて説明する。

（実施例１）
図１において、オフィスＡ内に構築されたＬＡＮ１０２には、複数種類の機能（複写機能、印刷機能、送信機能等）を実現する複合機であるＭＦＰ１０１が接続されている。ＬＡＮ１０２は、プロキシサーバ１０３を介して外部ネットワーク１０４にも接続されている。クライアントＰＣ１００はＬＡＮ１０２を介してＭＦＰ１０１からの送信データを受信したり、ＭＦＰ１０１が有する機能を利用したりする。例えば、クライアントＰＣ１００は、印刷データをＭＦＰ１０１へ送信することで、その印刷データに基づく印刷物をＭＦＰ１０１で印刷することもできる。尚、図１の構成は一例であり、オフィスＡと同様の構成要素を有する、複数のオフィスが外部ネットワーク１０４上に接続されていても良い。また、外部ネットワーク１０４は、典型的にはインターネットやＬＡＮやＷＡＮや電話回線、専用デジタル回線、ＡＴＭやフレームリレー回線、通信衛星回線、ケーブルテレビ回線、データ放送用無線回線等で実現される通信ネットワークである。これは、データの送受信が可能なものであれば、何でも良い。また、クライアントＰＣ１００、プロキシサーバ１０３の各種端末はそれぞれ、汎用コンピュータに搭載される標準的な構成要素を有している。例えば不図示のＣＰＵ、ＲＡＭ、ＲＯＭ、ハードディスク、外部記憶装置、ネットワークインタフェース、ディスプレイ、キーボード、マウス等である。

図２は、ＭＦＰ１０１の詳細構成を示す図である。ＭＦＰ１０１は、画像データ入力デバイスであるスキャナ部２０１と、画像データ出力デバイスであるプリンタ部２０２、ＭＦＰ全体の制御を行う制御ユニット２０４、ユーザーインタフェースである操作部２０３等を有する。制御ユニット２０４は、スキャナ部２０１、プリンタ部２０２、操作部２０３と接続し、一方では、ＬＡＮ２０９と接続することで、画像情報やデバイス情報の入出力を行うコントローラである。ＣＰＵ２０５はシステム全体を制御するプロセッサである。ＲＡＭ２０６はＣＰＵ２０５が動作するためのシステムワークメモリであり、画像データを一時記憶するための画像メモリでもある。ＲＯＭ２１０はブートＲＯＭであり、システムのブートプログラム等のプログラムが格納されている。記憶部２１１は、ハードディスクドライブ等の不揮発性記憶媒体であり、システム制御ソフトウェアや画像データを格納する。操作部Ｉ／Ｆ２０７は操作部（ＵＩ）２０３とのインターフェース部で、操作部２０３に表示するための画像データを操作部２０３に対して出力する。また、操作部Ｉ／Ｆ２０７は、操作部２０３を介して本画像処理装置のユーザが指示した情報を、ＣＰＵ２０５に伝える役割をする。ネットワークＩ／Ｆ２０８は本画像処理装置をＬＡＮ２０９に接続し、データの入出力を行う（例えば、２値画像データを別の装置に送信したり、別の装置から２値画像データを受信したりする）。以上のデバイスがシステムバス２１６上に配置される。

また、イメージバスインターフェース２１２は、システムバス２１６と画像データを高速で転送する画像データバス２１７とを接続し、データ構造を変換するバスブリッジである。画像データバス２１７は、例えば、ＰＣＩバスやＩＥＥＥ１３９４で構成される。画像データバス２１７上には以下のデバイスが配置される。ラスターイメージプロセッサ（ＲＩＰ）２１３は、ＰＤＬ（ページ記述言語）コードを解析し、指定された解像度のビットマップイメージに展開する、いわゆるレンダリング処理を実現する。デバイスＩ／Ｆ２１４は、信号線２１８を介して画像データ入力デバイスであるスキャナ部２０１を接続し、信号線２１９を介して画像データ出力デバイスであるプリンタ部２０２を接続しており、画像データの同期系／非同期系の変換を行う。データ処理部２１５では、画像データの光沢判定、及び光沢制御を行う。

また、ネットワークＩ／Ｆ２０８及びＬＡＮ２０９を介して受信した圧縮データの伸長を行うこともできる。伸長画像は、デバイスＩ／Ｆ２１４を介してプリンタ部２０２に送られ、印刷されることになる。尚、データ処理部２１５についての詳細は後述する。

＜データ処理部２１５の説明＞
次に、図２のデータ処理部２１５により実現される光沢判定部、及び光沢制御部の構成について、図３のブロック図を用いて説明する。データ処理部２１５は、プロセッサがコンピュータプログラムを実行することにより、図３の各処理部として機能するように構成してもよいし、その一部または全部をＡＳＩＣや電子回路等のハードウェアで構成するようにしてもよい。

領域分割部３０１は、入力画像データを、矩形単位、または任意形状に分割する処理を行う。ここで、矩形単位で領域分割した場合の例を図１１に示す。図１１は、幅Ｗ、高さＨの入力画像データの模式図である。領域分割部３０１は、入力画像データを幅ｗ、高さｈの矩形単位に分割する。尚、入力画像データとして、果物の「オレンジ」の画像を使った例について図５で後述する。

チャンネル分解部３０２は、領域分割部３０１によって分割されたカラー画像データの各々の領域に対してチャンネル分解を行う。本実施例では、チャンネル分解として、カラー画像データの各々の領域に対してＲ、Ｇ、Ｂの３つの色成分に分解する説明を行うが、これに限るものではなく、例えば、ＬＡＢや、ＹＵＶの色成分に分解してもよい。

帯域分解部３０３は、チャンネル分解部３０２によってチャンネル分解された全てのチャンネルの画像データのそれぞれを、複数の異なる周波数帯域の画像データに分解する。

本実施例における帯域分解について図８を用いて説明する。入力画像データ８０１は、チャンネル分解部３０２によってチャンネル分解される画像データを示す。平滑化フィルタ８０３～平滑化フィルタ８０６は、平滑化フィルタ（ローパスフィルタ）１～４であり、入力画像データ８０１に対して各フィルタの平滑化度合に応じたフィルタ処理が行われる。平滑化度合は、画像データに含まれる各信号値の差を小さくして、変動を滑らかにする処理（スムージング処理）の度合であり、平滑化度が強いほど、画像データに含まれる各信号値の変動がより滑らかになるよう処理される。ここで、平滑化フィルタ１～４の中において、平滑化フィルタ１は平滑化度が最も弱い平滑化フィルタ、平滑化フィルタ４は平滑化度が最も強い平滑化フィルタであり、平滑化フィルタ１、２、３，４の順に、より強い平滑化フィルタとする。

尚、平滑化フィルタは、ローパスフィルタに限らず、エッジ保持平滑化フィルタ（バイラテラルフィルタ、ガイデッドフィルタ）であってもよい。

８０７から８１０は、前述の平滑化フィルタで処理を行った画像データに含まれる信号値の差分をとることを示している。まず、入力画像データに含まれる信号値と平滑化フィルタ１で処理を行った画像データに含まれる信号値との差分８０７をとることで、処理対象の画像データから帯域０の画像データが得られる。次に、平滑化フィルタ１で処理を行った画像データに含まれる信号値と平滑化フィルタ２で処理を行った画像に含まれる信号値との差分８０８をとることで、処理対象の画像データから帯域１の画像データが得られる。以降同様に、処理対象の画像データから帯域２の画像データ、帯域３の画像データが得られる。ここで、帯域０～３の中で、帯域０が処理対象の画像データのうち最も高い帯域（高周波）の画像データ、帯域３が、処理対象の画像データのうち最も低い帯域（低周波）の画像データである。帯域０、１，２，３の順に、処理対象の画像データのうちより低い帯域の画像データとなる。

基準画像データ８０２は、後述する帯域合成の際に必要となる画像データである。よって、入力画像データ８０１は、基準画像データ８０２に、帯域０の画像データと帯域１の画像データと帯域２の画像データと帯域３の画像データとを加えたものと言える。

以上のように、帯域分解部３０３は、処理対象である入力画像データを複数の異なる帯域の画像データに分解する。尚、帯域分解は、一般的に知られるウェーブレット変換等の公知の手法を用いてもよい。

ヒストグラム生成部３０４は、帯域分解部３０３によって、帯域分解された帯域別の画像データに対してヒストグラム生成を行う。ここで、ヒストグラムとは横軸を画像信号値、または信号値差分、縦軸を度数とする度数分布を示す。

歪度算出部３０５は、ヒストグラム生成部３０４によって生成されたヒストグラムから、チャンネル別・帯域別の歪度を取得する。尚、歪度の取得には、たとえば次の式１に示すような一般的な数式を用いればよい。
（式１）
歪度＝Σ（Ｘｉ－Ｘａｖｅ）＾３／Ｎ×Ｓ＾３
Ｎ：データの件数、Ｘｉ：各データの値、Ｘａｖｅ：算術平均、Ｓ：標準偏差

歪度は、グラフのひずみの程度を表しており、歪度が０より大きく正の値であるとグラフが左に偏る。一方、歪度が０より小さく負の値であるとグラフが右に偏る。なお、偏りがない場合、グラフは正規分布となる。

画像データから得られるヒストグラムの歪度が正の値である場合、この画像データに対応する画像には光沢があると判定される。一方、画像データから得られるヒストグラムの歪度が負の値である場合、この画像データに対応する画像には光沢がないと判定される。

光沢判定部３０６は、歪度算出部３０５によって取得されたチャンネル別・帯域別の歪度にもとづいて、処理対象の画像データが光沢領域を有する画像データか否かの判定を行う。

尚、本実施例では、帯域分解部３０３によって帯域分解を行っているため、帯域ごとに光沢を有する帯域か否かの判定をする。また、Ｒ，Ｇ、Ｂチャンネルの少なくとも一つにおいて、光沢を有すると判定された帯域があれば、Ｒ，Ｇ、Ｂチャンネルの該帯域の画像データに対応する画像には光沢領域があると判定する。

ゲイン調整部３０７は、帯域分解部３０３によって帯域分解された帯域別の画像データに含まれる画素信号に対して、光沢判定部３０６の判定結果にもとづいて、所定の係数を乗じる。これにより、画像データに対するゲイン調整を行う。尚、ゲイン調整は、Ｒ、Ｇ、Ｂの全てのチャンネルの画像データであり、その中でも同じ帯域の画像データに対して行うことが望ましい。一つのチャンネルのある帯域の画像データにのみにゲイン調整を行うと、調整後の入力画像データにおけるカラーバランスが崩れてしまうためである。

ゲイン調整における所定の係数は正の値であり、例えば、この係数が１より大きい場合は、画像データの信号値は増幅する。よって、画像が表現する光沢感は増す（光沢Ｕｐ）。一方、ゲイン調整における所定の係数が１より小さい場合は、信号値は低減する。よって、画像が表現する光沢感は抑えられる（光沢Ｄｏｗｎ）。

図１２は、本実施例における光沢調整のためのＵＩ画面であり、このＵＩ画面は図２の操作部２０３に表示される。光沢調整のために指定された設定値は、例えば、操作者によりクライアントＰＣ１００に保存されている画像データ、または、記憶部２１１に記憶されている画像データを印刷する際に予め指定しておく。

操作者によって、設定値「＋１」「＋２」が指示されると、光沢Ｕｐとなる。この結果、処理対象の画像に含まれ光沢領域と判定された領域が表現する光沢感が増す。設定値「－１」、「－２」が指示されると、光沢Ｄｏｗｎとなる。この結果、処理対象の画像に含まれる光沢領域と判定された領域が表現する光沢感が抑えられる。入力画像データとして、果物の「オレンジ」の画像を使った例について図１４で後述する。

尚、光沢調整の設定値「－２」～「＋２」に対応するゲイン調整のための係数は、例えばそれぞれ「０．６」、「０．８」、「１．０」、「１．２」、「１．４」とするが、これに限るものではない。

帯域合成部３０８は、ゲイン調整部３０７によってゲイン調整された帯域の画像データと、光沢判定部３０６によって非光沢である（光沢領域を有さない）と判定された帯域の画像データと、帯域分解部３０３によって分解された基準画像データとを合成する。この結果帯域合成部３０８は、出力画像データを生成する。

図４は、データ処理部２１５における光沢判定、及び光沢制御を説明するフローチャートである。尚、該フローチャートを実行するプログラムは、図２のＲＯＭ２１０、または、記憶部２１１に格納され、ＣＰＵ２０５にて実行される。ＣＰＵ２０５は、イメージバスインターフェース２１２、システムバス２１６、画像データバス２１７を用いて、データ処理部２１５とデータのやり取りをすることが可能である。また、説明を行う上で、図５～１０を適宜参照する。ここで、図５（Ａ）は、本実施例における入力画像データの一例であり、領域５０１は、果物の「オレンジ」の画像を示す。画像の色は橙色であり、表面は光沢がある様子を示している。領域５０２は、背景画像を示し、色は白色である。

まず、ステップＳ４０１において、領域分割部３０１は、入力画像を入力して得られた入力画像データ５００全体の領域を、矩形単位、または任意形状に分割する処理を行う。ここで、図５（Ａ）に示す入力画像データ５００を矩形単位に分割する例を図５（Ｂ）に示す。図５（Ｂ）では、領域５０３～領域５１１に示すように入力画像データ５００が矩形単位で領域分割される。よって、例えば領域５０７は、果物の「オレンジ」を示す領域のみとなるが、領域５１０は、果物の「オレンジ」を示す画像領域と、背景画像を示す領域が混在する。

一方、任意形状に分割する方法は公知として知られる方法を用いればよい。例えば、類似色を統合し続け、最終的には類似色を一つの領域とする方法がある。ここで、図５（Ａ）に示す入力画像データ５００を任意形状に分割する例を図５（Ｃ）に示す。図５（Ｃ）は、領域５１２～領域５１８に示すように入力画像データ５００が任意形状で領域分割されるため、例えば、果物の「オレンジ」を示す画像領域と背景画像を示す領域とを分割することが可能である。ただし、この方法を用いると矩形単位で領域分割する方法より、処理負荷がかかる点と、処理精度が低下する場合がある。本実施例では、入力画像データを、矩形単位に分割する処理を用いることとする。なおこの矩形１つの大きさは、任意の大きさでよい。

次に、ステップＳ４０２において、チャンネル分解部３０２は、領域分割部３０１によって分割されたカラー画像データの各々の領域に対してチャンネル分解を行う。図５（Ｄ）は、図５（Ｂ）の画像データをＲ成分、Ｇ成分、Ｂ成分の３つの色成分の画像データに分解した様子を示している。実際の処理としては、図５（Ｄ）に示すようなＲ成分、Ｇ成分、Ｂ成分の３つの色成分に分解した画像データを生成する必要はなく、図５（Ｂ）の矩形に分割された画像データからのＲ、Ｇ、Ｂの各色成分の信号値を参照すればよい。

次に、ステップＳ４０３において、帯域分解部３０３は、ステップＳ４０２においてチャンネル分解された全てのチャンネルの各画像データを異なる帯域の画像データに分解する。

図６は、例として一つのチャンネルを帯域分解した様子を示す模式図である。画像データ６０１は、図５（Ｄ）のＢチャンネルの画像データにおける中央の矩形を示す。画像データ６０２～６０５は、画像データ６０１を入力画像データとし、帯域分解部３０３によって分解された帯域０～３の画像データを示している。画像データ６０２は図８の帯域０の画像データ、画像データ６０３は図８の帯域１の画像データ、画像データ６０４は図８の帯域２の画像データ、画像データ６０５は図８の帯域３の画像データを示す。

ここで、画像データ６０２～６０５における図中の縦横点線は、周波数の高低を模式的に表現したものである。帯域０の画像データが入力画像データのうち最も高い帯域（高周波）の画像データ、帯域３の画像データが入力画像データのうち最も低い帯域（低周波）の画像データである。

果物の「オレンジ」の実画像を用いて帯域分解した画像の例を図１３に示す。図６と同様、画像データ１３０２～１３０５は、画像データ１３０１を入力画像データとし、帯域分解部３０３によって分解された帯域０～３の画像データを示している。

帯域分解は、入力画像データに対して平滑化フィルタで処理を行うことで得られた画像データの差分なので各帯域は負の値を含む。しかし、画像データ６０２～６０５は、視覚的に理解しやすくするため８ｂｉｔ（０～２５５）の正の値に修正した図とする。また、不図示であるがＲチャンネルの画像データやＧチャンネルの画像データも同様に帯域分解が行われる。帯域分解の方法については前述のため説明を省略する。

次に、ステップＳ４０４において、ヒストグラム生成部３０４は、ステップＳ４０３において、帯域分解された帯域別の画像データに対してヒストグラム生成を行う。つまり、図６の帯域別の画像データからヒストグラム生成を行う。図９のヒストグラム９０１～９０４は、それぞれ図６の帯域０～３の画像データから生成されるヒストグラムである。ここで、横軸は、信号値差分を示し、範囲は－１２８～＋１２８である。また、縦軸は画像信号値の度数を示す。

ここで、高周波数帯域の帯域０の画像データ、及び帯域１の画像データから取得されたヒストグラムは負の方向に歪み、低周波数帯域の帯域２の画像データ、及び帯域３の画像データから取得されたヒストグラムは正の方向に歪んでいることがわかる。

比較として、図６の帯域分解前の入力画像データ６０１から取得されたヒストグラムを図７に示す。図７が示すように、帯域分解前の画像データから取得されるヒストグラムは正の方向に歪んでいる。しかし、図９が示すように、帯域別の画像データから取得されたヒストグラムは、負の方向に歪んでいる帯域０、１の画像データと正の方向に歪んでいる帯域２、３の画像データとを含んでいることがわかる。

次に、ステップＳ４０５において、歪度算出部３０５は、ステップＳ４０４において生成されたヒストグラムから歪度を取得する。歪度の取得方法については前述のため説明を省略する。ここで、図９のヒストグラム９０１～９０４から取得される各歪度を図１０に示す。前述したように、ヒストグラムが負の方向に歪んでいる帯域０、１の画像データに対応する歪度は負の値、ヒストグラムが正の方向に歪んでいる帯域２，３の画像データに対応する歪度は正の値であることがわかる。

次に、ステップＳ４０６において、光沢判定部３０６は、ステップＳ４０５において取得された歪度にもとづいて、処理対象の画像データが光沢領域を有するか否かの判定を行う。本実施例では、ステップＳ４０３において帯域分解を行っているため、処理対象の画像データにおいて、各帯域の画像データに対して光沢領域を有するか否かの判定を意味する。歪度が正の値であれば処理対象の画像データは光沢領域を有する、負の値であれば処理対象の画像データは光沢領域を有さないと判定してもよい。また、画像処理装置のプリンタ部の状態や用いる用紙やトナーの種類に応じて、光沢判定を行う際に用いられる歪度の閾値を任意に変更しても良い。また、最も高い歪度を有する帯域の画像データに対して光沢領域を有すると判定してもよい。

本実施例では、歪度が所定の閾値よりも大きければ、ステップＳ４０７において処理対処の画像データは光沢領域を有すると判定し、歪度が所定の閾値以下であれば、ステップＳ４０８において処理対象の画像データは光沢領域を有さないと判定する。例えば、所定の閾値を「１．０」とすると、光沢判定部３０６は、図１０の歪度と比較することで、帯域３の画像データは光沢領域を有すると判定し、帯域０～２の画像データは光沢領域を有さないと判定する。

次に、ステップＳ４０９において、ゲイン調整部３０７は、ステップＳ４０７において光沢領域を有すると判定された帯域の画像データを処理対象と決定し、この画像データに対してゲイン調整を行う。

ステップＳ４０６において、帯域３の画像データが光沢領域を有すると判定されている。よって、図１２のＵＩ画面で示す光沢調整の設定値「－２」～「＋２」に基づき、ゲイン調整部３０７が帯域３の画像データに対して所定の係数を乗じることにより画像データに対するゲイン調整を行う。例えば、設定値が、「＋２」の時は、帯域３の画像データに対して係数「１．４」を乗じる。尚、ステップＳ４０８において光沢領域を有さないと判定された帯域０～２の画像データに対しては、ゲイン調整は行われない。

入力画像データに対して光沢調整が実施された後の結果画像の例を図１４に示す。

図１４の画像１４０１から１４０５は、それぞれ設定値「－２」～「＋２」が選択されたときの結果画像であり、後述する帯域合成後の出力画像である。

ここで、設定値「＋１」「＋２」が指示されると、画像１４０４や画像１４０５が生成され、光沢領域の光沢感が増していることがわかる。一方、設定値「－２」、「－１」が指示されると、画像１４０１や画像１４０２に示す画像が生成され、光沢領域の光沢感が減っていることがわかる。

次にステップＳ４１０で、帯域合成部３０８は、ステップＳ４０９においてゲイン調整された帯域の画像データ、ステップＳ４０８において光沢領域を有さないと判定された帯域の画像データ、帯域分解部３０３によって帯域分解された基準画像データを合成する。この合成された画像データを、出力画像データとして生成する。

以上のように、処理対象の画像データに対して周波数帯域別に光沢制御を行うことにより、処理対象の画像データのうち必要な帯域にゲイン調整を行い、不必要な帯域にゲイン調整を行うことがないため、高精度な光沢制御が可能となる。

尚、本実施例において、帯域分解はチャンネル分解部３０２によってチャンネル分解された全てのチャンネルを有する画像データに対して、複数の異なる周波数帯域の画像データに分解を行った。しかしこれに限らず、チャンネル分解の後、光沢があると判定されたチャンネルを有する画像データのみに帯域分解を行ってもよい。

これにより、分割された各チャンネルの画像データに対して、帯域分解を行い、分解された各帯域の画像データに対して光沢判定処理や光沢制御を行うよりも処理の高速化が可能となる。

（実施例２）
実施例１では、光沢制御対象の画像データに対し、歪度が所定の閾値よりも大きい周波数帯域の画像データにゲイン調整を行うことで高精度な光沢制御が可能となる説明を行った。

実施例２では、後述する図１８の光沢調整のためのＵＩを用いて、操作者により指定された「光沢の強度」、及び「光沢の範囲」の設定にもとづき、「ゲイン調整」、及び「範囲調整」を行う。これにより、入力画像を出力する際にユーザの意図する光沢感を表現させるべく、画像データに対する光沢調整を、より詳細に行うことを可能とする。

まず、実施例２におけるブロック図について、図１５を用いて説明を行う。尚、実施例１で前述した部分は説明を省略する。図３との差分は、光沢調整部１５０１である。光沢調整部は、ゲイン調整部１５０２と範囲調整部１５０３を含むものとする。

ゲイン調整部１５０２は、図３の３０７と同様、実施例１で前述したとおり、歪度が所定の閾値よりも大きい周波数帯域の画像データに所定の係数を乗じ、処理対象画素の画像信号値の調整を行う。

範囲調整部１５０３は、ゲイン係数を固定し、ゲイン係数を乗じる処理帯域数を増やすことで調整を行う。すなわち、帯域分解された画像データのうち、ゲイン係数を乗じる処理を施す対象となる画像データの数を増やす。例えば、帯域分解部３０３によって帯域０～３に帯域分解された場合、処理帯域数の最大値は「４」（処理対象となる画像データは４つ）となる。このように処理対象となる帯域数を増やすことで、帯域分割された画像データのうち処理対象となる画像データが増えるため、入力画像を構成する画素のうちゲイン調整の対象となる画素の数を増やすことが可能になる。すなわち、入力画像のうち光沢調整される領域（範囲）が大きくなる。

次に、実施例２における光沢調整のためのＵＩ画面について、図１８を用いて説明を行う。このＵＩ画面は図２の操作部２０３に表示される。

「光沢の強度」１８０１は、ゲイン調整部１５０２によって処理対象画素の画像信号値を調整するためのＵＩである。ここで、設定値「０」～「＋２」に対応するゲイン調整のための係数の例を図２０（Ａ）に示す。

「光沢の範囲」１８０２は、範囲調整部１５０３によって処理帯域数を増やすことで、調整を行うためのＵＩである。ここで、設定値「０」～「＋１」に対応する処理帯域数の例を図２０（Ｂ）に示す。

ここで、光沢の範囲が「０」の時、処理帯域数は「１」とし、処理対象帯域は「歪度の最も高い帯域」とする。例えば、図１０で示す帯域と歪度が得られる場合、光沢判定を行う際に用いられる歪度の閾値を「０」とすると、帯域２の画像データと帯域３の画像データが光沢領域を有すると判定される。歪度の最も高い帯域は帯域３の画像データであり、帯域３の画像データがゲイン係数を乗じる処理対象の帯域の画像データとなる。

光沢の範囲が「１」の時、処理帯域数は「２」とし、処理対象帯域は「歪度の最も高い帯域」と「前記帯域と隣り合う帯域」とする。

同様に、図１０で示す帯域と歪度の場合は、帯域３の画像データと帯域２の画像データの２つの帯域の画像データが、ゲイン係数を乗じる処理対象の画像データとなる。

次に、実施例２におけるフローチャートについて、図１６を用いて説明を行う。

図１６は、データ処理部２１５における光沢判定、及び光沢制御を説明するフローチャートである。尚、該フローチャートを実行するプログラムは、図２のＲＯＭ２１０、または、記憶部２１１に格納され、ＣＰＵ２０５にて実行される。ＣＰＵ２０５は、イメージバスインターフェース２１２、システムバス２１６、画像データバス２１７を用いて、データ処理部２１５とデータのやり取りをすることが可能である。尚、実施例１の図４で前述した部分は説明を省略する。

まず、ステップＳ１６０１において、操作部２０３は、操作者による光沢調整の設定指示、具体的には、図１８で前述した「光沢の強度」、及び「光沢の範囲」の設定指示を受け付ける。

次に、図４で前述したステップＳ４０１～Ｓ４０８の処理が行われる。

次に、ステップＳ１６０２において、光沢調整部１５０１は、ステップＳ１６０１において、操作部２０３によって受け付けられた設定が、「光沢の強度」または、「光沢の範囲」を判断する。

「光沢の強度」が設定されている場合、ステップＳ１６０３において、ゲイン調整部１５０２は、所定の係数を乗じ、処理対象画素の画像信号値の調整を行う。

「光沢の範囲」が設定されている場合、ステップＳ１６０４において、範囲調整部１５０３は、ゲイン係数を固定し、帯域分割された画像データのうち処理対象となる帯域数を増やすことで調整を行う。

尚、「光沢の強度」、及び「光沢の範囲」の両方とも設定されている場合は、不図示であるが、ステップＳ１６０３におけるゲイン調整とステップＳ１６０４における範囲調整を両方とも行うものとする。

次に、図４で前述したステップＳ４１０の処理が行われる。

本実施例２によれば、「光沢の強度」、または「光沢の範囲」の設定にもとづき、「ゲイン調整」、及び「範囲調整」を行う。つまり、光沢調整時に用いるゲイン係数や、帯域分割された画像データのうち調整対象となる画像データの数を変更可能にする。これにより、ユーザの意図する光沢感を表現させるべく、光沢制御対象の画像データに対する光沢調整を、詳細に行うことを可能とする。

（実施例３）
実施例３では、後述する図１９の光沢調整のためのＵＩを用いて、操作者により指定された「光沢調整」の設定にもとづき、ゲイン調整による白抜けを抑えつつ光沢調整を行う方法について説明を行う。

例えば、光沢調整の設定が「０」、「＋１」「＋２」の時は、ゲイン調整で光沢を段階的に増やす。図２１の２００１～２００３は、光沢調整の設定が「０」、「＋１」「＋２」に対応しており、ゲイン調整で光沢を段階的に増やした様子を示している。

光沢調整の設定が「＋３」の時は、白く飽和した画素が増えて、白抜けしたような好ましくない画像になってしまう。図２１の２１０４は、ゲイン調整により、光沢調整後の画像が白抜けしてしまった様子を示している。

従って、白く飽和した画素が所定の閾値より大きくなる場合は、ゲイン調整の係数を大きくせずに、調整対象となる帯域数（帯域分割された画像データのうち処理対象となる帯域の画像データの数）を調整する。これにより、ゲイン調整による白抜けを抑えつつ光沢調整を行う。

図２１の２１０５は、光沢調整の設定が「＋３」に対応しており、光沢調整の設定が「＋２」の時のゲイン係数で固定したまま、範囲調整を行った様子を示している。

次に、実施例３における光沢調整のためのＵＩ画面について、図１９を用いて説明を行う。このＵＩ画面は図２の操作部２０３に表示される。

ここで、設定値「０」～「＋３」に対応するゲイン調整のための係数、及びゲイン調整対象となる画像データの帯域範囲（処理帯域数）の例を図２０（Ｃ）、（Ｄ）に示す。図２０（Ｃ）は、光沢調整の設定値と、ゲイン係数、処理帯域数の関係の初期値を示す。図２０（Ｄ）は、光沢調整の設定値が「＋３」の時に白く飽和した画素が所定の閾値より大きくなる場合を示す。つまり、光沢調整の設定値が「＋３」の時、ゲイン係数の初期値「１．６」を使うと、白く飽和した画素が所定の閾値より大きくなる。よって、ゲイン係数を光沢調整の設定値が「＋２」の時と同様に「１．４」で固定したまま、処理帯域数を「２」に増やしていることが示されている。

次に、実施例３におけるフローチャートについて、図１７を用いて説明を行う。

図１７は、データ処理部２１５における光沢判定、及び光沢制御を説明するフローチャートである。尚、該フローチャートを実行するプログラムは、図２のＲＯＭ２１０、または、記憶部２１１に格納され、ＣＰＵ２０５にて実行される。ＣＰＵ２０５は、イメージバスインターフェース２１２、システムバス２１６、画像データバス２１７を用いて、データ処理部２１５とデータのやり取りをすることが可能である。尚、実施例１の図４で前述した部分は説明を省略する。

まず、ステップＳ１７０１において、操作部２０３は、操作者による図１８で前述した光沢調整の設定指示を受け付ける。

次に、図４で前述したステップＳ４０１～Ｓ４０８の処理が行われる。

次に、ステップＳ１７０２において、光沢調整部１５０１は、ステップＳ４０７で光沢領域と判定された領域において、ステップＳ１７０１の光沢調整の設定値とゲイン調整のための係数から、飽和画素の増加量を算出する。

飽和画素の増加量を算出について、図２２を用いて説明を行う。尚、説明をわかりやすくするため簡易的な数値を用いている。

図２２（Ａ）は、光沢領域と判定された領域のゲイン調整前のヒストグラム（信号値と度数の関係）を示している。ここで、信号値０は黒画素、信号値２５５は白画素とする。つまり、ゲイン調整前の白画素は、１００である。

図２２（Ｂ）は、ゲイン係数１．２で画像データに対してゲイン調整を行った後のヒストグラム（信号値と度数の関係）を示している。ゲイン調整後の白画素は１００となり、ゲイン調整前と同じである。

図２２（Ｃ）は、ゲイン係数１．６で画像データに対してゲイン調整を行った後のヒストグラム（信号値と度数の関係）を示している。ゲイン調整前に信号値２００だった画素は３００であるが、画像データを構成する画素に対してゲイン係数１．６を乗じることで、全て信号値２５５となり、ゲイン調整後の白画素は、ゲイン調整前の白画素１００と合計して４００となる。

従って、図２２の例において、飽和画素の増加量は、ゲイン係数１．２の時は「０」、ゲイン係数１．６の時は「４００」となる。

飽和画素の増加量を判定する所定の閾値を２００と設定すると、ゲイン係数１．２の時は、ゲイン調整を行い、ゲイン係数１．６の時は帯域調整を行うものとなる。

尚、飽和画素の増加量の判定を白画素の度数の増加量として説明を行ったが、これに限るものではなく、例えば光沢領域と判定された領域に占める白画素の割合で判定を行ってもよい。

次に、ステップＳ１７０３において、光沢調整部１５０１は、ステップＳ１７０２において算出された飽和画素の増加量が所定の閾値より大きいか否かを判断する。

閾値以下の場合、ステップＳ１７０４において、ゲイン調整部１５０２は、所定の係数を乗じ、処理対象画素の画像信号値の調整を行う。閾値より大きい場合、ステップＳ１７０５において、範囲調整部１５０３は、ゲイン係数を固定し、処理帯域数を増やすことで調整を行う。

次に、図４で前述したステップＳ４１０の処理が行われる。

本実施例３によれば、「光沢調整」の設定にもとづき、ゲイン調整による白抜けを抑えつつ、光沢制御対象の画像データに対する光沢調整を行うことが可能である。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

Claims (15)

1. 入力画像を前記入力画像における複数の周波数帯域をそれぞれ示す複数の画像に分解する分解手段と、
   前記分解手段により分解された前記複数の画像のそれぞれのヒストグラムの歪度を取得する取得手段と、
   前記取得手段により取得された歪度に基づいて、前記複数の画像のうち調整すべき画像を決定する決定手段と、
   前記決定手段によって決定された画像にゲイン調整を実行する調整手段と、
   を有することを特徴とする画像処理装置。
2. 少なくとも、前記入力画像と、前記調整手段によってゲイン調整を実行することによって得られた画像と、前記分解手段によって分解された複数の画像のうち調整すべきでないと決定された画像とを合成する合成手段と、
   前記合成手段により合成された画像を出力する出力手段と、
   を有することを特徴とする請求項１に記載の画像処理装置。
3. 前記入力画像は、Ｒ、Ｇ、Ｂの成分に分けられ、前記分解手段は、前記Ｒ、Ｇ、Ｂの成分のそれぞれについて分解を行うことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記入力画像は、少なくとも２つの色成分に分解されることを特徴とする請求項１または２に記載の画像処理装置。
5. 前記分解手段は、前記入力画像を、平滑化フィルタを用いて前記入力画像における複数の周波数帯域をそれぞれ示す複数の画像に分解することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記ヒストグラムとは、前記入力画像の画像信号値に対する画素の度数を示す度数分布であることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記ヒストグラムの歪度とは、前記ヒストグラムの歪みの程度を示す値であることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記調整手段は、前記周波数帯域のそれぞれに対して算出された歪度が所定の閾値よりも大きい場合に、前記分解した周波数帯域に所定の係数を乗じることでゲイン調整を行うことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記調整手段によりゲイン調整をする際に用いるゲイン係数は変更することが可能であることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記ゲイン係数を予め指定するための表示を行う表示手段を有する請求項９に記載の画像処理装置。
11. 前記取得手段により取得された歪度に基づき、前記入力画像における複数の周波数帯域をそれぞれ示す複数の画像のうち調整すべき画像の数は変更することが可能であることを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 前記入力画像における複数の周波数帯域をそれぞれ示す複数の画像のうち調整すべき画像の数を予め指定するための表示を行う表示制御手段を有する請求項１１に記載の画像処理装置。
13. 前記調整手段により調整すべき画像に対してゲイン調整する際に用いる係数と前記調整手段による調整を行う対象となる画像データの数とを制御する制御手段を有し、
    前記制御手段は、前記調整手段により調整される前の画像に含まれる白画素の数と前記調整手段により調整された後の調整すべき画像に含まれる白画素の数とを比較した結果を用いて、前記ゲイン調整におけるゲイン係数および前記ゲイン調整の対象となる調整すべき画像の数を決定することを特徴とする請求項１に記載の画像処理装置。
14. 入力画像を前記入力画像における複数の周波数帯域をそれぞれ示す複数の画像に分解する分解ステップと、
    前記分解ステップにより分解された前記複数の画像のそれぞれのヒストグラムの歪度を取得する取得ステップと、
    前記取得ステップにより取得された歪度に基いて、前記複数の画像のうち調整すべき画像を決定する決定ステップと、
    前記決定ステップにより決定された画像にゲイン調整を実行する調整ステップと、
    を有することを特徴とする画像処理方法。
15. コンピュータに請求項１４に記載の画像処理方法を実行させるためのプログラム。

Images