JP4277868B2 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及び画像処理プログラムの構造に関する。

従来、色相、彩度を保存しかつ合成後の画像全般の明度に大きな変動のないテクスチャの合成画像を得る画像処理装置が知られている（例えば、特許文献１参照。）。特許文献１に記載の画像処理装置では、テクスチャ画像データ全体から平均値とゲイン値とを求め、テクスチャ画像データと平均値との差にゲイン値を乗じてイメージ画像データにテクスチャ画像を合成している。

ところで、ディジタル画像には、そのディジタル画像を生成したディジタルスチルカメラやイメージスキャナに付着していたゴミや汚れなど（以下、単に「ゴミ」という）が写し込まれてしまうことがある。ディジタル画像においてゴミが写し込まれている領域に画素値を略平均化する平均化処理を施すと、ゴミを目立たなくすることができる。しかしながら、平均化処理を施すとゴミが目立たなくなる反面、その領域に写されている対象物の凹凸感が損なわれてしまう。この場合、平均化処理を施した領域に対象物と同じ凹凸感を付与することにより、対象物に凹凸感を取り戻すことができる。

しかしながら、特許文献１に記載の画像処理装置によると、イメージ画像データ全体にテクスチャ画像データを合成するので、凹凸感を付与したい領域以外にもテクスチャ画像データが合成されてしまうという問題がある。
更に、特許文献１に記載の画像処理装置によると、テクスチャ画像データ全体から平均値及びゲイン値を求めるので、テクスチャ画像データの一部の領域のみに基づいて平均値およびゲイン値を求めることはできないという問題がある。

特開平６−８６０４５号公報

本発明は、上述の問題を解決するために創作されたものであって、ディジタル画像上の任意の領域に基づいて対象物の凹凸感を表す凹凸感情報を生成し、生成した凹凸感情報に基づいてディジタル画像上の任意の領域に凹凸感を付与する画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。

（１）上記目的を達成するための画像処理装置は、第１のディジタル画像上に参照領域を設定する手段と、前記参照領域に画素値を略平均化する平均化処理を施した場合の前記参照領域の各画素の画素値を求める手段と、前記参照領域の各画素の画素値と前記平均化処理を施した場合の前記参照領域の各画素の画素値とに基づいて前記参照領域が表している対象物の表面の凹凸感を表す凹凸感情報を生成する手段と、第２のディジタル画像上に対象領域を設定する手段と、前記凹凸感情報に基づいて前記対象領域に前記凹凸感を付与する手段と、を備える。
本発明によると、第１のディジタル画像上の任意の領域を参照領域に設定できるので、第１のディジタル画像上の任意の領域に基づいて対象物の凹凸感を表す凹凸感情報を生成できる。また、本発明によると、第２のディジタル画像上の任意の領域を対象領域に設定できるので、生成した凹凸感情報に基づいて第２のディジタル画像上の任意の領域に凹凸感を付与できる。

（２）前記対象領域に前記平均化処理を施す手段を更に備えてもよい。前記凹凸感を付与する手段は、前記平均化処理が施された前記対象領域に前記凹凸感を付与してもよい。
本発明によると、第２のディジタル画像にゴミが写し込まれている場合、ゴミを含む領域を対象領域に設定し、設定した対象領域に平均化処理を施すことにより、第２のディジタル画像上でゴミが目立たないようにできる。ただし、平均化処理を施すことで対象領域が表している対象物の凹凸感が損なわれる。この場合、同一のあるいは同種の対象物が写されている第１のディジタル画像の当該対象物を表している範囲内に参照領域を設定して凹凸感情報を生成し、生成した凹凸感情報に基づいて対象領域に凹凸感を付与することにより、対象領域が表している対象物に概ね元の凹凸感を付与できる。すなわち本発明によると、対象物の凹凸感を損なうことなくゴミを除去できる。

（３）前記平均化処理はディジタル画像をぼかす処理であってもよい。
本発明によると、ぼかし処理を施すことにより、画素値を略平均化できる。

（４）前記凹凸感情報は前記参照領域に前記平均化処理を施した場合の前記各画素の画素値で前記参照領域の対応する画素の画素値を除算して求めた比の集合であってもよい。前記付与する手段は、前記対象領域の各画素の画素値に前記比を乗算することによって前記凹凸感を付与してもよい。

（５）前記対象領域の大きさ又は形状を設定するための手段を更に備えてもよい。
本発明によると、対象領域の大きさ又は形状を設定できるので、凹凸感の付与が無用な領域にまで凹凸感が付与されてしまうことを低減できる。

（６）前記対象領域を複製して対象領域画像を生成する手段と、前記凹凸感が付与された前記対象領域に前記対象領域画像を所定の合成率で合成する手段と、を更に備えてもよい。
本発明によると、凹凸感が付与された後の対象領域に対象領域画像を合成することによって凹凸感の変化を緩和できるので、人が見たときに対象領域の凹凸感に違和感を覚え難くなる。

（７）前記対象領域は中心を一意に特定可能な形状であってもよい。前記合成率は前記凹凸感が付与された前記対象領域の割合を画素単位に示すものであり、前記対象領域の中心から遠い画素ほど前記割合が低くてもよい。
本発明によると、対象領域の中心から遠い画素ほど凹凸感が付与された後の対象領域の合成割合が低くなる。言い換えると、対象領域の中心から遠い画素ほど対象領域画像の合成割合が高くなる。これにより対象領域の凹凸感と周囲の領域の凹凸感とが滑らかに繋がり、人が見たときに感じる対象領域と周囲の領域との境界における凹凸感の変化の不自然さを低減できる。

（８）前記合成率を設定するための手段を更に備えてもよい。
本発明によると、ユーザは所望の合成率を設定できる。

（９）前記第１のディジタル画像と前記第２のディジタル画像とは同一のディジタル画像であってもよい。

（１０）前記第１のディジタル画像及び前記第２のディジタル画像はＲＧＢ表色系で表現されているディジタル画像であってもよい。前記凹凸感情報を生成する手段は、Ｒ成分、Ｇ成分及びＢ成分毎に前記凹凸感情報を生成してもよい。

（１１）上記目的を達成するための画像処理方法は、参照領域を設定する手段が第１のディジタル画像上に参照領域を設定する段階と、画素値を求める手段が前記参照領域に画素値を略平均化する平均化処理を施した場合の前記参照領域の各画素の画素値を求める段階と、凹凸感情報を生成する手段が前記参照領域の各画素の画素値と前記平均化処理を施した場合の前記参照領域の各画素の画素値とに基づいて前記参照領域が表している対象物の表面の凹凸感を表す凹凸感情報を生成する段階と、対象領域を設定する手段が第２のディジタル画像上に対象領域を設定する段階と、前記凹凸感を付与する手段が前記凹凸感情報に基づいて前記対象領域に前記凹凸感を付与する段階と、を含む。
本発明によると、ディジタル画像上の任意の領域に基づいて対象物の凹凸感を表す凹凸感情報を生成できるとともに、生成した凹凸感情報に基づいてディジタル画像上の任意の領域に凹凸感を付与できる。

（１２）上記目的を達成するための画像処理プログラムは、第１のディジタル画像上に参照領域を設定する手段と、前記参照領域に画素値を略平均化する平均化処理を施した場合の前記参照領域の各画素の画素値を求める手段と、前記参照領域の各画素の画素値と前記平均化処理を施した場合の前記参照領域の各画素の画素値とに基づいて前記参照領域が表している対象物の表面の凹凸感を表す凹凸感情報を生成する手段と、第２のディジタル画像上に対象領域を設定する手段と、前記凹凸感情報に基づいて前記対象領域に前記凹凸感を付与する手段としてコンピュータを機能させる。
本発明によると、ディジタル画像上の任意の領域に基づいて対象物の凹凸感を表す凹凸感情報を生成できるとともに、生成した凹凸感情報に基づいてディジタル画像上の任意の領域に凹凸感を付与できる。

尚、本発明に備わる複数の手段の各機能は、構成自体で機能が特定されるハードウェア資源、プログラムにより機能が特定されるハードウェア資源、又はそれらの組み合わせにより実現される。また、これら複数の手段の各機能は、各々が物理的に互いに独立したハードウェア資源で実現されるものに限定されない。また、請求項に記載された方法の各動作の順序は、技術上の阻害要因がない限り、記載順に限定されるものではなく、どのような順番で実行されてもよく、また同時に実行されてもよい。

以下、本発明の実施の形態を実施例に基づいて説明する。
図２は、本発明の一実施例に係る画像処理装置としてのパーソナルコンピュータ（ＰＣ）１０のハードウェア構成を示すブロック図である。
ＣＰＵ２１はＲＯＭ２２や外部記憶部２７に記憶されているプログラムを実行してＰＣ１０の全体を制御する。ＲＯＭ２２は各種のプログラムやデータを予め記憶しているメモリであり、ＲＡＭ２３は各種のプログラムやデータを一時的に記憶するメモリである。

ディスプレイコントローラ２４は、ＣＰＵ２１に制御され、ＣＲＴ（Cathode Ray Tube）、ＬＣＤ（Liquid Crystal Display）、ＦＰＤ（Flat Panel Display）などのディスプレイ３１にディジタル画像を表示させる。
インタフェース部２５は、イメージスキャナ３３などの外部システムと通信するためのＵＳＢコントローラ、ＵＳＢコネクタなどを備える。通信規格はＵＳＢに限らず、ＩＥＥＥ１３９４、赤外線、イーサネット（登録商標）などのいかなる規格でもよい。例えばイメージスキャナ３３で対象物を表す写真原稿を読み取って生成したディジタル画像はインタフェース部２５を介してＰＣ１０に入力される。

リムーバブルメモリコントローラ（ＲＭＣ）２６は、図示しないコネクタを介してリムーバブルメモリ（ＲＭ）３２に接続され、リムーバブルメモリ３２とＲＡＭ２３との間でデータ転送を制御する。リムーバブルメモリ３２はカード型フラッシュメモリ（所謂メモリカード）でもよいし、その他の繰り返し書き込み可能ないかなる不揮発性記憶媒体であってもよい。例えばディジタルスチルカメラ（ＤＳＣ）３４で対象物を撮像して生成したディジタル画像はリムーバブルメモリ３２を介してＰＣ１０に入力される。

外部記憶部２７は、ハードディスクやハードディスクコントローラなどで構成され、オペレーティングシステム（ＯＳ）、画像処理プログラム、その他各種のプログラムやデータなどが記憶されている。これらのプログラムや各種のデータは、所定のサーバからネットワークを介してダウンロードして入力してもよいし、リムーバブルメモリ３２等のコンピュータ読み取り可能な記憶媒体から読み出して入力してもよい。

操作部２８は、図示しないキーボードが接続されるキーボードコントローラやマウス２９が接続されるマウスコントローラなどで構成されている。
次に、凹凸感情報について説明する。
図３（Ａ）は、ディジタル画像においてある対象物を表している領域の各画素のＲ成分の画素値を所定の順で並べたグラフである。所定の順とは、例えば上の行から下の行の順、各行においては左にある画素から右にある画素の順である。一般に人は対象物を見たとき、表面の凹凸感によってその対象物の質感を知覚する。例えば、対象物に木に特有の凹凸感があれば人はその対象物に木の質感を感じ、同様に対象物に布に特有の凹凸感があれば人はその対象物に布の質感を感じる。各画素のＲ成分の画素値を並べたグラフを生成すると、グラフには当該対象物の表面の凹凸感に対応する起伏が生じる。従って、グラフに生じている起伏は、当該対象物の表面の凹凸感を表しているといえる。言い換えると、グラフは当該対象物の質感を表しているといえる。ここではＲ成分について説明したが、緑色成分（Ｇ成分）および青色成分（Ｂ成分）についても同様である。

図３（Ｂ）は、上述した領域に画素値を略平均化する平均化処理を施し、平均化処理を施した後の各画素のＲ成分の画素値を同じ順で並べたグラフである。ここで画素値を略平均化するとは、画素値の標準偏差を小さくすることをいう。一般に平均化処理を施すと図示するようにグラフは起伏が小さくなって平坦な形状になる。すなわち、平均化処理を施すとディジタル画像上で対象物の凹凸感が損なわれてしまうことになる。

図３（Ｃ）は、上述した領域の各画素について平均化処理を施す前のＲ成分の値を平均化処理を施した後の対応するＲ成分の値で除算して求めた比を示している。例えば、ある画素の平均化処理を施す前のＲ成分の値が「１４０」であり、平均化処理を施した後のＲ成分の値が「１２０」であったとすると、比は「１．１７０」になる。本実施例では各画素について求めた比を上述した順で並べた集合のことを凹凸感情報というものとする。なお、凹凸感情報は平均化処理を施す前のＲ成分の値から平均化処理を施した後の対応するＲ成分の値を減算して求めた差であってもよい。

次に、画像処理プログラムとしてのゴミ除去プログラムについて説明する。
図１はゴミ除去プログラムのデータフロー図であり、図４はディジタル画像の一例を示す模式図である。図１に示す各プロセスはゴミ除去プログラムを実行するＣＰＵ２１によって実行される。
ＧＵＩ（Graphical User Interface）プロセス４１は、第１のディジタル画像上に参照領域を設定するためのＧＵＩ、および第２のディジタル画像上に対象領域を設定するためのＧＵＩを提供するプロセスである。なお、第１のディジタル画像と第２のディジタル画像とは同一のディジタル画像であってもよい。本実施例では第１のディジタル画像と第２のディジタル画像とが同一のディジタル画像である場合を例に説明する。ＧＵＩプロセス４１は図４に示すようにディジタル画像上に円形のマウスポインタ５１を表示する。この円形のマウスポインタ５１のことをゴミ除去ブラシというものとする。表示するゴミ除去ブラシ５１の大きさや形状はパラメータ設定プロセス４７で設定された半径や形状によって決定される。以下、参照領域および対象領域の設定について説明する。

参照領域ｔの設定は、マウス操作によってディジタル画像上でゴミ除去ブラシ５１を移動し、移動した位置でマウス２９の左ボタンをクリックすることによって行う。ユーザがマウス２９の左ボタンをクリックすると、ディジタル画像においてゴミ除去ブラシ５１と重なっている円形の領域が図５に示すように参照領域ｔとして設定される。

対象領域ｐの設定は、マウス２９の左ボタンを押したままゴミ除去ブラシ５１でゴミ５２を擦るように操作することによって行う。参照領域ｔを設定した後、ユーザがマウス操作によってゴミ除去ブラシ５１をゴミ５２の上に移動し、移動した位置でマウス２９の左ボタンを押すと、ディジタル画像においてゴミ除去ブラシ５１に重なっている領域が図５に示すように対象領域ｐとして設定される。なお、対象領域ｐは参照領域ｔと一部が重なっていてもよい。

ユーザがマウス２９の左ボタンを押したままマウス２９を移動すると、それにともなってゴミ除去ブラシ５１が移動し、ゴミ除去ブラシ５１が所定距離移動する毎に移動後の領域が対象領域ｐとして再設定される。所定距離とは具体的には例えばゴミ除去ブラシ５１の半径である。
第１の平均化処理プロセス４２は、参照領域ｔに画素値を略平均化する平均化処理を施した場合の参照領域ｔの各画素の画素値を求めるプロセスである。第１の平均化処理プロセス４２は、設定された参照領域ｔをＲＡＭ２３上にコピーすることにより参照領域ｔを複製した参照領域画像を生成し、ＲＡＭ２３上の参照領域画像にガウシアンフィルタを適用することによって平均化処理を施す。以降の説明では平均化処理を施した参照領域画像のことを参照領域画像ｔ’という。ガウシアンフィルタは注目画素に近い画素に大きな重みを、対象画素から遠い画素には小さい重みを付けた加重平均を取り、その加重平均値を注目画素に設定する空間フィルタである。なお、ガウシアンフィルタは画像のノイズ除去を目的とした平均化フィルタとしては良く知られた手法である。

なお、平均化処理の方法は適宜選択可能な設計事項であり、ガウシアンフィルタを適用する以外に、近傍８画素値の中間値を選択するメディアンフィルタ等の他の方法で行ってもよい。さらに、参照領域と対象領域の平均化の処理方法をそれぞれ異なった手法を採ることも考えられる。また、何等かの平均化処理を実際に施すのではなく、参照領域ｔを構成している画素の平均値や中央値を求め、求めた平均値や中央値を平均化処理を施した場合の各画素の画素値として一律に用いてもよい。平均値や中央値は参照領域画像に平均化処理を施さなくても求めることができるので、その場合は参照領域画像を生成しなくてもよい。

凹凸感情報生成プロセス４３は、参照領域ｔと参照領域画像ｔ’とに基づいて凹凸感情報ｔ／ｔ’を生成するプロセスである。凹凸感情報生成プロセス４３は、参照領域ｔを構成する各画素のＲ成分、Ｇ成分、およびＢ成分を、参照領域画像ｔ’の対応する画素のＲ成分、Ｇ成分、およびＢ成分でそれぞれ除算することにより、Ｒ成分、Ｇ成分およびＢ成分毎の凹凸感情報を生成する。本実施例ではＲ成分の凹凸感情報をＲ／Ｒ’、Ｇ成分の凹凸感情報をＧ／Ｇ’、Ｂ成分の凹凸感情報をＢ／Ｂ’と表し、それらを総称して凹凸感情報ｔ／ｔ’と表す。

対象領域画像生成プロセス４６は、平均化処理が施される前の対象領域ｐをＲＡＭ２３上にコピーすることにより対象領域ｐを複製した対象領域画像を生成するプロセスである。
第２の平均化処理プロセス４４は、ディジタル画像上の対象領域ｐに直にガウシアンフィルタを適用して平均化処理を施すプロセスである。平均化処理を施した後の対象領域ｐのことを対象領域ｐ’というものとする。ガウシアンフィルタを適用すると対象領域ｐがぼかされてゴミ５２が目立たくなるが、前述したようにグラフの起伏が小さくなって平坦な形状になるので、凹凸感が損なわれてしまうことになる。なお、平均化処理の方法は前述したように適宜選択可能な設計事項である。

凹凸感付与プロセス４５は、対象領域ｐ’に凹凸感情報ｔ／ｔ’を用いて凹凸感を付与するプロセスである。凹凸感が付与された後の対象領域ｐ’をｏとすると、凹凸感の付与は以下に示す式１で表すことができる。

式１は凹凸感の付与を概念的に示すものであり、実際の計算では対象領域ｐ’を構成する各画素のＲ成分、Ｇ成分、およびＢ成分に凹凸感情報Ｒ／Ｒ’、凹凸感情報Ｇ／Ｇ’、およびＢ凹凸感情報Ｂ／Ｂ’の対応する比をそれぞれ乗算する。凹凸感情報を乗算すると、対象領域ｐ’を構成する画素の色成分毎のグラフに、平均化処理を施す前と同等の起伏を生じさせることができる。すなわち、対象領域ｐ’に概ね元の凹凸感を付与できる。

凹凸感情報ｔ／ｔ’は参照領域ｔの凹凸感を対象領域ｐ’に付与するものであって、参照領域ｔの色を付与するものではない。このため、凹凸感情報ｔ／ｔ’を用いて凹凸感を付与しても対象領域ｐ’の色に大きな変動はない。従って、対象領域ｐ’に色を大きく変動させることなく凹凸感を付与できる。
ただし、参照領域ｔに基づいて凹凸感情報ｔ／ｔ’を生成すると、対象領域ｐ’には対象領域ｐの凹凸感ではなく参照領域ｔの凹凸感が付与されることになるので、対象領域ｐ’の凹凸感は完全に元の凹凸感（対象領域ｐの凹凸感）に戻るわけではない。しかしながら、対象領域ｐと参照領域ｔとをディジタル画像上において同一の対象物を表している範囲内に設定すれば、人が見て凹凸感に違和感を覚えることはほとんどないといってよい、あるいは凹凸感に違和感を覚える程度は極めて小さいといってよい。

なお、平均化処理を施す前の画素値と平均化処理を施した後の対応する画素値との差を凹凸感情報として用いる場合は、対象領域ｐ’の各画素に凹凸感情報の対応する差を加算すればよい。この場合、ユーザにゲイン値を指定させ、ユーザが指定したゲイン値に基づいて各差を調整して加算してもよい。
また、本実施例では参照領域ｔと対象領域ｐとが同じ大きさおよび同じ形状である場合を例に説明するが、参照領域ｔと対象領域ｐとは同じ大きさおよび同じ形状でなくてもよい。例えば、対象領域ｐより小さい矩形の領域を参照領域ｔに設定し、生成した凹凸感情報ｔ／ｔ’を複製して繋ぎ合わせて用いてもよい。

合成プロセス４８は、対象領域ｏに対象領域画像を所定の合成率で合成するプロセスである。合成プロセス４８は、パラメータ設定プロセス４７で設定されたパラメータと画素の位置とによって決まる画素毎の合成率に基づいて対象領域ｏと対象領域画像とを合成する。例えば、ある位置にある画素の合成率が２０％である場合、合成プロセス４８は対象領域ｏの当該ある位置にある画素の画素値を２０％、対象領域画像の当該ある位置にある画素の画素値を８０％として合成し、合成した画素値を合成後の対象領域ｏ’の当該ある位置にある画素の画素値とする。

パラメータ設定プロセス４７は、ゴミ除去ブラシ５１の半径、ストレングス、ポジションなどの各種のパラメータを設定するためのプロセスである。
ゴミ除去ブラシ５１の半径は、ゴミ除去ブラシ５１の大きさを決定するパラメータである。言い換えると、対象領域ｐの大きさを決定するパラメータである。パラメータ設定プロセス４７は、ゴミ除去ブラシ５１の半径を設定するための図示しない設定画面をディスプレイ３１に表示してユーザに画素単位で半径を指定させる。ユーザはゴミ除去ブラシ５１の半径を設定することにより、ゴミの大きさに応じてゴミ除去ブラシ５１の大きさを適切に変えることができる。

なお、ここではゴミ除去ブラシ５１の大きさを決定するパラメータについて説明したが、ゴミ除去ブラシ５１の形状、すなわち対象領域ｐの形状を決定するためのパラメータを更に設定できるようにしてもよい。例えば、円形のゴミ除去ブラシ５１を楕円にするためのパラメータや、楕円にしたゴミ除去ブラシ５１の回転角度を決定するためのパラメータを設定できるようにしてもよい。ユーザはゴミ除去ブラシ５１の形や角度を設定することにより、ゴミ５２の形に応じてゴミ除去ブラシ５１の形や角度を適切に変えることができる。

ストレングスおよびポジションは、対象領域ｐ’に対象領域画像を合成する合成率を決定するパラメータである。
図６（Ａ）および図６（Ｂ）は、ストレングスおよびポジションを説明するためのグラフである。グラフの横軸はゴミ除去ブラシ５１の中心からの距離を画素数で示しており、縦軸は合成後の対象領域ｏ’において対象領域ｏの画素値が占める割合（合成率）を百分率で示している。

ストレングスは合成率の最大値を決定するパラメータであり、ストレングスが大きくなるにつれてグラフが高くなる。パラメータ設定プロセス４７はストレングスを指定するための図示しない設定画面をディスプレイ３１に表示して０％〜１００％の範囲でユーザにストレングスを指定させる。
ポジションはグラフの形状を決定するパラメータであり、ポジションが大きいと図６（Ａ）に示すようにグラフの形状は半円に近い形状になり、ポジションが小さいと図６（Ｂ）に示すようにグラフの形状は正規分布のような形状になる。パラメータ設定プロセス４７はポジションを指定するための図示しない設定画面をディスプレイ３１に表示してユーザにポジションを指定させる。

図６（Ａ）および図６（Ｂ）に示すように、合成率はゴミ除去ブラシ５１の中心から遠い画素ほど対象領域ｏの割合が低くなっており、中心に近い画素ほど対象領域ｏの割合が高くなっている。合成率をこのように設定すると、対象領域ｏ’の凹凸感と周囲の領域の凹凸感とを滑らかに繋ぐことができる。これにより、人が見たときに感じる対象領域ｏ’と周囲の領域との境界における凹凸感の変化の不自然さを低減できる。

次に、ゴミ除去プログラムを実行するＰＣ１０の処理について説明する。
ここでは図４に示すディジタル画像上のゴミ５２を除去する場合を例に、ゴミ除去プログラムを実行するＰＣ１０の処理を操作毎に説明する。以下の操作においてユーザは図５に示すように顔のゴミ５２が含まれていない領域を参照領域ｔとして設定し、顔のゴミ５２が含まれている領域を対象領域ｐとして設定するものとする。

（１）参照領域を設定する操作が行われたとき。
図７（Ａ）は、参照領域を設定する操作が行われたときの処理の流れを示すフローチャートである。
Ｓ１０５では、ＣＰＵ２１は設定された参照領域ｔをＲＡＭ２３にコピーすることにより、参照領域ｔを複製した参照領域画像を生成する。

Ｓ１１０では、ＣＰＵ２１は参照領域画像に平均化処理を施すことにより、参照領域画像ｔ’を生成する。
Ｓ１１５では、ＣＰＵ２１は参照領域ｔと参照領域画像ｔ’とに基づいて凹凸感情報ｔ／ｔ’を生成し、生成した凹凸感情報ｔ／ｔ’をＲＡＭ２３に記憶する。

（２）参照領域ｔが設定された後、対象領域ｐを設定する操作が行われたとき。
図７（Ｂ）は、対象領域ｐを設定する操作が行われたときの処理の流れを示すフローチャートである。
Ｓ２０５では、ＣＰＵ２１は設定された対象領域ｐをＲＡＭ２３にコピーすることにより、対象領域ｐを複製した対象領域画像を生成する。

Ｓ２１０では、ＣＰＵ２１はディジタル画像上の対象領域ｐに直に平均化処理を施すことにより、対象領域ｐ’を生成する。
Ｓ２１５では、ＣＰＵ２１はＲＡＭ２３から凹凸感情報ｔ／ｔ’を読み込み、凹凸感情報ｔ／ｔ’に基づいて対象領域ｐ’に凹凸感を付与する。
Ｓ２２０では、ＣＰＵ２１は凹凸感が付与された後の対象領域ｐ’である対象領域ｏと対象領域画像とを設定されているパラメータと画素の位置とに基づいて画素毎に決まる合成率で合成する。

（３）対象領域ｐを設定する操作が行われた後、マウス２９の左ボタンを押したままマウス２９を移動する操作が行われてゴミ除去ブラシ５１が任意の方向に所定距離移動したとき。
この場合の処理は上述した「（２）」と同じである。すなわち、「（２）」の処理はマウス２９の左ボタンが押されたままでゴミ除去ブラシ５１が任意の方向に所定距離移動する毎にも実行される。すなわち、ユーザはマウス２９の左ボタンを押したままゴミ除去ブラシ５１でゴミ５２を擦るように操作することにより、ゴミを徐々に薄くできる。

以上説明した本発明の一実施例に係るＰＣ１０によると、ディジタル画像上の任意の領域を参照領域ｔに設定できるので、ディジタル画像上の顔を表している領域に基づいて顔の凹凸感を表す凹凸感情報ｔ／ｔ’を生成できる。また、本発明によると、ディジタル画像上の任意の領域を対象領域ｐに設定できるので、顔の平均化処理が施された領域を対象領域ｐに設定することにより、顔の平均化処理が施された領域に凹凸感情報ｔ／ｔ’に基づいて凹凸感を付与できる。

また、ＰＣ１０によると、ディジタル画像上においてゴミを含む領域を対象領域ｐに設定し、対象領域ｐに平均化処理を施すことにより、ディジタル画像上でゴミが目立たないようにできる。平均化処理を施すことで対象領域ｐが表している顔の凹凸感が損なわれるが、同一人物の顔の範囲内に参照領域ｔを設定して凹凸感情報ｔ／ｔ’を生成し、凹凸感情報ｔ／ｔ’に基づいて対象領域ｐに凹凸感を付与することにより、顔の平均化処理が施された領域に概ね元の凹凸感を付与できる。すなわちＰＣ１０によると、顔の凹凸感を損なうことなくゴミを除去できる。

なお、本発明は上記実施例に限定されるものではなく、その要旨を逸脱しない範囲で種々の実施形態に適用可能である。

本発明の一実施例に係る画像処理プログラムのデータフロー図。 本発明の一実施例に係る画像処理装置のブロック図。 （Ａ）は本発明の一実施例に係るディジタル画像の画素値のグラフ、（Ｂ）はそのディジタル画像に平均化処理を施した後の画素値のグラフ、（Ｃ）は本発明の一実施例に係る凹凸情報を示す模式図。 本発明の一実施例に係るディジタル画像の模式図。 本発明の一実施例に係る参照領域及び対象領域を示す模式図。 （Ａ）および（Ｂ）は本発明の一実施例に係る合成率のグラフ。 （Ａ）および（Ｂ）は本発明の一実施例に係る合成率のフローチャート。

符号の説明

１０ パーソナルコンピュータ（画像処理装置）、２１ ＣＰＵ、２２ ＲＯＭ、２３ ＲＡＭ、２４ ディスプレイコントローラ、２５ インタフェース部、２６ リムーバブルメモリコントローラ、２７ 外部記憶部、２８ 操作部、２９ マウス、３１ ディスプレイ、４１ ＧＵＩプロセス、４２ 平均化処理プロセス、４３ 凹凸感情報生成プロセス、４４ 平均化処理プロセス、４５ 凹凸感付与プロセス、４６ 対象領域画像生成プロセス、４７ パラメータ設定プロセス、４８ 合成プロセス、５１ ゴミ除去ブラシ（マウスポインタ）

Claims (11)

1. 除去対象を含まない第１のディジタル画像と、
   前記除去対象を含む第２のディジタル画像と、
   を入力画像とし、
   前記第１のディジタル画像上にあって除去対象を含まない参照領域をユーザーインターフェースにより設定する手段と、
   前記参照領域に画素値を略平均化する平均化処理を施した場合の前記参照領域の各画素の画素値を求める手段と、
   前記参照領域の各画素の画素値と前記平均化処理を施した場合の前記参照領域の各画素の画素値とに基づいて、前記参照領域が表している対象物の表面の凹凸感を表す凹凸感情報を生成する手段と、
   前記第２のディジタル画像上にあって除去対象を含む対象領域をユーザーインターフェースにより設定する手段と、
   前記対象領域に前記平均化処理を施す手段と、
   前記凹凸感情報に基づいて前記対象領域に前記凹凸感を付与する手段と、
   を備える画像処理装置。
2. 前記平均化処理はディジタル画像をぼかす処理である請求項１に記載の画像処理装置。
3. 前記凹凸感情報は前記参照領域に前記平均化処理を施した場合の前記各画素の画素値で前記参照領域の対応する画素の画素値を除算して求めた比の集合であり、
   前記凹凸感を付与する手段は、前記対象領域の各画素の画素値に前記比を乗算することによって前記凹凸感を付与する請求項１又は２のいずれか一項に記載の画像処理装置。
4. 前記対象領域の大きさ又は形状を設定するための手段を更に備える請求項１〜３のいずれか一項に記載の画像処理装置。
5. 前記対象領域を複製して対象領域画像を生成する手段と、
   前記凹凸感が付与された前記対象領域に前記対象領域画像を所定の合成率で合成する手段と、
   を更に備える請求項１〜４のいずれか一項に記載の画像処理装置。
6. 前記対象領域は中心を一意に特定可能な形状であり、
   前記合成率は前記凹凸感が付与された前記対象領域の割合を画素単位に示すものであり、前記対象領域の中心から遠い画素ほど前記割合が低い請求項５に記載の画像処理装置。
7. 前記合成率を設定するための手段を更に備える請求項５又は６に記載の画像処理装置。
8. 前記第１のディジタル画像と前記第２のディジタル画像とは同一のディジタル画像である請求項１〜７のいずれか一項に記載の画像処理装置。
9. 前記第１のディジタル画像及び前記第２のディジタル画像はＲＧＢ表色系で表現されているディジタル画像であり、
   前記凹凸感情報を生成する手段は、Ｒ成分、Ｇ成分及びＢ成分毎に前記凹凸感情報を生成する請求項１〜８のいずれか一項に記載の画像処理装置。
10. 除去対象を含まない第１のディジタル画像と、
    前記除去対象を含む第２のディジタル画像と、
    を入力画像とし、
    参照領域を設定する手段が第１のディジタル画像上にあって除去対象を含まない参照領域をユーザーインターフェースにより設定する段階と、
    画素値を求める手段が前記参照領域に画素値を略平均化する平均化処理を施した場合の前記参照領域の各画素の画素値を求める段階と、
    凹凸感情報を生成する手段が前記参照領域の各画素の画素値と前記平均化処理を施した場合の前記参照領域の各画素の画素値とに基づいて前記参照領域が表している対象物の表面の凹凸感を表す凹凸感情報を生成する段階と、
    対象領域を設定する手段が第２のディジタル画像上にあって除去対象を含む対象領域をユーザーインターフェースにより設定する段階と、
    対象領域に平均化処理を施す手段が前記対象領域に前記平均化処理を施す段階と、
    前記凹凸感を付与する手段が前記凹凸感情報に基づいて前記対象領域に前記凹凸感を付与する段階と、
    を含む画像処理方法。
11. 除去対象を含まない第１のディジタル画像と、
    前記除去対象を含む第２のディジタル画像と、
    を入力画像とし、
    第１のディジタル画像上にあって除去対象を含まない参照領域をユーザーインターフェースにより設定する手段と、
    前記参照領域に画素値を略平均化する平均化処理を施した場合の前記参照領域の各画素の画素値を求める手段と、
    前記参照領域の各画素の画素値と前記平均化処理を施した場合の前記参照領域の各画素の画素値とに基づいて前記参照領域が表している対象物の表面の凹凸感を表す凹凸感情報を生成する手段と、
    第２のディジタル画像上にあって除去対象を含む対象領域をユーザーインターフェースにより設定する手段と、
    前記対象領域に前記平均化処理を施す手段と、
    前記凹凸感情報に基づいて前記対象領域に前記凹凸感を付与する手段としてコンピュータを機能させる画像処理プログラム。

Images