JP5999359B2 - 画像処理装置及び画像処理プログラム - Google Patents

Description

本発明は、画像処理装置及び画像処理プログラムに関するものである。

カラー画像に対して、様々な修正の処理が行われている。修正の処理の例としては、全体的に暗くなった画像を明るくする、人物の肌色のみを明るくし滑らかにする、人以外の背景をぼかして遠近感を出す、物品の質感を向上させるなど、様々な処理がある。また、カラー画像が読取装置や撮影装置で取得されたものである場合には、装置の性能のバラツキによって生じる画質の修正などもある。修正の処理は、要求や目的、用途などによって異なるが、いずれにしても何らかのソフトウェアや装置を使用して画像を修正している。画像の修正を行うソフトウェアや装置も従来より様々なものが存在する。

画像の修正には、その修正が高度になればなるほど、スキルやノウハウが要求される。一般の利用者は自動的に修正が行われることを望む傾向にあり、ボタン１つで修正の処理を行うものもある。一方で、プロのデザイナーなどは、自動的な修正を望まない傾向にあり、手動操作で多機能なものを使用し、ノウハウやスキルを駆使して、納得のいく画質に仕上げている。

画像の修正には、装置の処理能力の関係から、旧来はパーソナルコンピュータ（以下ＰＣ）が使用されており、ノートパソコンが使用されるようになって、デザイナーによっては出先での作業も行われている。一方で、ＩＣＴ（Ｉｎｆｏｒｍａｔｉｏｎ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ）と呼ばれる技術が発展してきている。ＩＣＴで使用される機器の代表例として、タブレットが挙げられるが、指やペンで直接描画するなど、マウスでのレタッチ作業に比べ、人が紙面で直接作業する感覚により近くなっている。修正の作業がタブレット中心であるイラストレーターやレタッチャーも珍しくはない。このような機器を使用する場合、従来に比べてより簡単な、直接的な操作による修正の作業が要求されている。

上述したが、画像の修正処理には種々のものがあり、あるカラー画像に対して行われる処理も、その目的などによって行われる修正処理は異なる。例えば、ある１つのカラー画像に対して、「逆光のバックをとばさず主要被写体を明るくする」のか「バックそのものを入れ替える」のかは、目的や用途次第である。その目的までを自動的に推測することはできないので、最低限、利用者が何らかの指示を行うこと必須となる。

画像全体に対して一律に修正を行う場合もあるが、特定の領域を指定して修正を行う場合もある。上述の「逆光のバックをとばさず主要被写体を明るくする」処理や、「バックそのものを入れ替える」処理、「バックをぼかして主要被写体を際立たせる」処理、「バックの色を変更する」処理など、様々な処理がある。

利用者が特定の領域を指定して修正を行う一例として、特許文献１に記載されている方法がある。この文献に記載されている一つの方法として、利用者がマウス等で対象とその代表色を指定し、指定された対象の領域について色の修正を行っている。

また、特許文献２では携帯電話やタブレットに設けられたタッチパネルに対応し、画面上で利用者がなぞった領域の輝度を変更する方法が記載されており、利用者がなぞった位置、２回のなぞり、速度などに応じて特定される領域を変化させている。

これらの処理では、利用者が指定した領域や利用者がなぞった領域についての処理が行われるが、その他の例えば背景についての処理は行われない。また、利用者が指定した領域について処理を行う際にも、背景によって処理結果が異なって見えてしまう場合もある。例えば、ある色がその色よりも暗い色に囲まれていると明るく感じられ、逆に明るい色に囲まれていると暗く感じられる場合がある。

このように、特定の領域（前景）と他の領域（背景）との関係から、両者あるいはいずれか一方の修正の処理を行うことが望まれる。その際には、上述のように、前景の指定や処理の意図などについて利用者の何らかの指示を受けることは有用である。様々な操作を手動で行えば納得のいく画質を得られるが、決して扱いやすいわけではないことも確かであり、その手間は作業の効率に影響する。

例えば特定の領域を利用者が効率よく指定する方法として、特許文献３には、利用者がマウスやタブレットにより自由線で描画した縦と横の最小値と最大値を切り出し範囲とすることが記載されている。この場合には、領域の形状は矩形に限られることになる。

また特許文献４には、グラフカットなどのエネルギー最小化法を用いた領域分割の方法が記載されている。グラフカットは、ネットワークグラフを２つのグラフへ分割する方法である。画像を対象とした場合、各画素を結ぶグラフを２つのグラフ、例えば前景の領域と背景の領域に分割することに対応する。この技術では、それぞれの領域に属する１以上の画素をそれぞれ指定すればよく、画像の内容に応じて２つの領域に分割される。

なお、領域ごとに修正を行った場合に、その合成の処理が考えられるが、領域を合成する方法としては例えば特許文献５に記載されている方法がある。この方法では、合成対象のオブジェクトと合成先で輪郭に不整合が生じないように合成を行っている。

特開２００１−０９２９５６号公報 特開２００８−２５０８０４号公報 特開２００９−２６６０６１号公報 特開２０１２−０２７７５５号公報 特表２００９−５０３６９６号公報

本発明は、対象とする領域とその領域以外の背景の両者に対して、本構成を有しない場合に比べて簡易に適切な修正処理を行うことができる画像処理装置および画像処理プログラムを提供することを目的とするものである。

本願請求項１に記載の発明は、カラー画像を１または複数の前景画像と背景画像に分離する分離手段と、１または複数の前記前景画像と前記背景画像を解析して１または複数の前景特性値と背景特性値を得る解析手段と、前記前景特性値と前記背景特性値をともに用いて１または複数の前記前景画像に対する画像処理係数である前景係数を求めるとともに、前記前景特性値と前記背景特性値をともに用いて前記背景画像に対する画像処理係数である背景係数を決定する決定手段と、１または複数の前記前景係数に基づいて対応する前記前景画像の修正を行うとともに前記背景係数に基づいて前記背景画像の修正を行って修正後の１または複数の前記前景画像と前記背景画像を合成する画像修正手段を有することを特徴とする画像処理装置である。

本願請求項２に記載の発明は、本願請求項１に記載の発明における前記分離手段が、前記カラー画像から前景と背景に分離する処理を複数回行った場合に、前景として分離されたそれぞれの画像を前記前景画像とし、複数の前記前景画像に分離されなかった領域を前記背景画像として分離することを特徴とする画像処理装置である。

本願請求項３に記載の発明は、本願請求項１または請求項２に記載の発明の構成に、さらに、前記画像修正手段で修正後の１または複数の前記前景画像と前記背景画像を合成する際のそれぞれに対する重みを制御する加重画像を生成する加重生成手段を有し、前記画像修正手段は、前記加重画像を用いて修正後の１または複数の前記前景画像と前記背景画像を合成することを特徴とする画像処理装置である。

本願請求項４に記載の発明は、本願請求項３に記載の発明における前記加重生成手段が、１または複数の前記前景画像または前記背景画像として分離した領域を示す領域画像に対してぼかし処理を施して前記加重画像を生成し、前記画像修正手段は、前記加重画像の値を合成の割合を示す値として参照し、修正後の１または複数の前記前景画像と前記背景画像を合成することを特徴とする画像処理装置である。

本願請求項５に記載の発明は、本願請求項１から請求項４のいずれか１項に記載の発明の構成に、さらに、前記カラー画像に対する前景と背景を指示する事前情報を受け付ける事前情報受付手段を有し、前記分離手段は、前記カラー画像と前記事前情報に基づき画素をグラフ結合してグラフリンク情報を生成し、該グラフリンク情報と前記カラー画像から前記カラー画像を前景と背景に分離することを特徴とする画像処理装置である。

本願請求項６に記載の発明は、本願請求項５に記載の発明における前記事前情報受付手段が、指またはポインティング装置により点や線の集合で前景または背景の指示を受け付けることを特徴とする画像処理装置である。

本願請求項７に記載の発明は、本願請求項１から請求項６のいずれか１項に記載の発明の構成に、さらに、修正の項目に対応する選択肢を提示する修正候補提示手段と、利用者による前記選択肢からの選択に従って修正の項目を受け付ける修正項目受付手段を有し、前記解析手段は、前記修正項目受付手段で受け付けた修正の項目をもとに解析項目を選択し、前記前景画像及び前記背景画像のそれぞれに対応する解析項目によって前記前景画像と前記背景画像を解析して前記前景特性値と前記背景特性値を得ることを特徴とする画像処理装置である。

本願請求項８に記載の発明は、本願請求項７に記載の発明における前記修正候補提示手段が、画像の内容を表す語句や文章により表現される内容種別提示、または、色修正や周波数修正の少なくとも１つの修正処理を含む修正処理を表す語句や文章により表現される修正種別提示のうち、少なくとも１つの提示を行うことを特徴とする画像処理装置である。

本願請求項９に記載の発明は、本願請求項７に記載の発明における前記修正候補提示手段が、画像の内容を表す語句や文章により表現される内容種別提示を行い、選択された内容種別に対応して、色修正や周波数修正の少なくとも１つの修正処理を含む修正処理を表す語句や文章により表現される修正種別提示を行うことを特徴とする画像処理装置である。

本願請求項１０に記載の発明は、本願請求項７から請求項９のいずれか１項に記載の発明における前記修正項目受付手段が、前記修正候補提示手段が提示した前記選択肢から利用者が選択した項目または複数の項目の組み合わせをもとに前記修正の項目を受け付けることを特徴とする画像処理装置である。

本願請求項１１に記載の発明は、本願請求項７から請求項１０のいずれか１項に記載の発明における前記決定手段が、さらに前記修正項目受付手段で受け付けた修正の項目をもとに、前記画像処理係数を決定することを特徴とする画像処理装置である。

本願請求項１２に記載の発明は、本願請求項１から請求項１１のいずれか１項に記載の発明における前記解析手段が、カラー画素の平均値、カラー画素の分散、カラー画素のヒストグラム、画像周波数の平均値、画像周波数の分散、画像周波数のヒストグラム、の少なくとも１つを解析することを特徴とする画像処理装置である。

本願請求項１３に記載の発明は、本願請求項１から請求項１２のいずれか１項に発明における前記画像修正手段が、色修正または周波数修正のうち少なくとも１つを含む修正処理を行うことを特徴とする記載の画像処理装置である。

本願請求項１４に記載の発明は、コンピュータに、請求項１から請求項１３のいずれか１項に記載の画像処理装置の機能を実行させるものであることを特徴とする画像処理プログラムである。

本願請求項１に記載の発明によれば、画像中のそれぞれの部品となる前景画像と背景画像とに対して、本構成を有しない場合に比べて簡易に適切な修正処理を施して全体として不自然さのない画像を得ることができるという効果がある。

本願請求項２に記載の発明によれば、本構成を有しない場合に比べて簡易に精度よく利用者が注目する複数の領域（前景画像）と背景画像を分離することができる。

本願請求項３に記載の発明によれば、修正後の画像として不自然さのない画像を得ることができる。

本願請求項４に記載の発明によれば、本構成を有しない場合に比べて前景と背景の境界が滑らかで、不自然さのない画像を得ることができる。

本願請求項５に記載の発明によれば、本構成を有しない場合に比べて簡易に精度よく前景画像と背景画像を分離することができる。

本願請求項６に記載の発明によれば、パソコンまたはＩＣＴデバイスなどの広い環境で、本構成を有しない場合に比べて人の感覚に近い操作で容易に前景と背景の指定を行うことができる。

本願請求項７に記載の発明によれば、利用者は本構成を有しない場合に比べて容易に修正の指示を与え、その指示に従った的確な修正処理を行うことができる。

本願請求項８に記載の発明によれば、利用者が考えている修正の処理や修正の結果を反映した修正処理を行うことができる。

本願請求項９に記載の発明によれば、本構成を有しない場合に比べ、利用者は得ようとする画像の内容をもとに簡易に指示を行うことができる。

本願請求項１０に記載の発明によれば、利用者は意図を的確に伝える指示を行って意図した修正の処理結果を得ることができる。

本願請求項１１に記載の発明によれば、利用者の意図に応じた画像処理係数を用いて修正の処理を行うことができる。

本願請求項１２に記載の発明によれば、色再現や質感に対する特徴量を得ることができる。

本願請求項１３に記載の発明によれば、質感を向上させる修正処理を行うことができる。

本願請求項１４に記載の発明によれば、本願請求項１から請求項１３のいずれか１項に記載の発明の効果を得ることができる。

本発明の第１の実施の形態を示す構成図である。 事前情報を受け付ける画面の一例の説明図である。 事前情報を受け付ける画面の別の例の説明図である。 事前情報を受け付ける画面のさらに別の例の説明図である。 グラフリンクを用いた画像の分離方法の概要の説明図である。 分離された画像の一例の説明図である。 前景特性値と背景特性値の一例の説明図である。 ＤＯＧ関数の一例の説明図である。 ＤＯＧ関数の制御係数と特性の関係の一例の説明図である。 帯域ごとに分解された画像の一例の説明図である。 本発明の第１の実施の形態の変形例を示す構成図である。 修正候補提示部２１による選択肢の提示例の説明図である。 本発明の第２の実施の形態を示す構成図である。 本発明の第２の実施の形態による処理の一例の説明図である。 本発明の第２の実施の形態による処理の別の例の説明図である。 本発明の第２の実施の形態による処理のさらに別の例の説明図である。 本発明の第２の実施の形態における第１の変形例を示す構成図である。 加重画像を用いた画像修正部の処理の一例の説明図である。 本発明の第２の実施の形態における別の変形例を示す構成図である。 複数回の分離処理の一例の説明図である。 複数の前景画像を分離する場合に利用者に提示する画面の一例の説明図である。 本発明の第２の実施の形態の第２の変形例における修正候補提示部が提示する選択肢の一例の説明図である。 本発明の第２の実施の形態の第２の変形例における画像修正部３２の処理の一例の説明図である。 本発明の各実施の形態及び各変形例で説明した機能をコンピュータプログラムで実現した場合におけるコンピュータプログラム及びそのコンピュータプログラムを格納した記憶媒体とコンピュータの一例の説明図である。

図１は、本発明の第１の実施の形態を示す構成図である。図中、１１は事前情報受付部、１２は領域分離部、１３は解析部、１４は係数決定部、１５は画像修正部である。

事前情報受付部１１は、カラー画像に対する前景と背景を指示する事前情報を利用者から受け付ける。前景または背景の指示は、ＰＣであればマウスやデジタイザなどのポインティング装置などを用い、タブレットなどのＩＣＴデバイスであればペンや指などを用いて、点や線の集合として受け付ければよい。なお、この事前情報受付部１１を設けずに構成してもよい。

領域分離部１２は、カラー画像を前景画像と背景画像に分離する。事前情報受付部１１を設けない場合には周知の領域分離処理を行えばよいし、事前情報受付部１１を設ける場合には、事前情報受付部１１で受け付けた事前情報をもとにして前景画像と背景画像に分離する。

事前情報を用いた分離処理の一例としては、グラフリンクを用いた分離方法がある。カラー画像と事前情報に基づき、画素をグラフ結合してグラフリンク情報を生成し、グラフリンク情報を用いて最大流量最小カットの原理を利用してリンクを切断し、カラー画像を前景と背景に分離すればよい。最大流量最小カットの原理は、前景の仮想ノードを始点、背景の仮想ノードを終点として、始点から水を流した場合、流せる最大量はいくらかを計算するもので、前述のリンクの値を水道管のパイプの太さと考えて、ボトルネックになっている（流れにくい）箇所のカットの総和が最大流量であるという原理である。すなわち、ボトルネックとなるリンクをカットすることが、前景と背景を分離することになる（グラフカット）。もちろん、前景画像と背景画像に分離する方法は、この方法に限られるものでないことは言うまでもない。

解析部１３は、領域分離部１２で分離した前景画像と背景画像を別々に解析して、前景特性値と背景特性値を得る。前景特性値と背景特性値としては、カラー画素の平均値、カラー画素の分散、カラー画素のヒストグラム、画像周波数の平均値、画像周波数の分散、画像周波数のヒストグラム、の少なくとも１つを解析するとよい。カラー画素の平均値、分散、ヒストグラムは、明度や色について解析すればよい。色は、ＲＧＢ値やｓＲＧＢ値、ＣＭＹＫ値、Ｌ^* ａ^* ｂ^* 値、ＹＣｒＣｂ値など、色を表す尺度であればどのような値をもとにして解析してもよい。

係数決定部１４は、解析部１３で得た前景特性値と背景特性値から画像処理係数を決定する。この第１の実施の形態では、与えられたカラー画像全体に対して修正の処理を施すことから、この係数決定部１４は画像全体に対する画像処理係数を決定することになる。画像処理係数を決定する際には、前景特性値と背景特性値の両者の関係から決定する。

画像修正部１５は、係数決定部１４で決定した画像処理係数に基づいて、与えられたカラー画像の修正処理を行う。係数決定部１４で前景特性値と背景特性値から決定した画像処理係数を用いて修正の処理を行っており、前景と背景の内容に応じた処理が施されることになる。修正処理としては、色修正または周波数修正のうち少なくとも１つを含むとよい。例えば色修正の処理としては、明度や彩度等のトーンカーブを用いた処理でもよいし、ヒストグラムイコライゼーションでもよいし、階調補正等でもよい。または、色空間内で調整範囲を表す立体を構成し、この立体の範囲で色を修正する方法である特開２００６−１３５６２８号公報に記載された方法を使用してもよい。この文献に記載されている方法により色領域を限定しても、前景とともに背景についても修正されてしまうが、係数決定部１４で決定された画像処理係数を用いて修正の処理を行えば、前景と背景に対してバランスのとれた修正処理が行われることになる。

上述の構成について、具体例を用いながらさらに説明する。なお、以下に説明する例では、領域分離部１２はグラフリンクを用いた分離方法によりカラー画像を前景画像と背景画像に分離する場合を例として説明する。

まず、事前情報受付部１１はカラー画像に対する前景と背景を指示する事前情報を利用者から受け付ける。図２は、事前情報を受け付ける画面の一例の説明図である。図２（Ａ）には処理対象となるカラー画像の一例を示している。このように処理対象となるカラー画像を利用者に提示し、その画像に対して前景となる領域の指示と、背景となる領域の指示を受ける。その指示の一例を図２（Ｂ）、（Ｃ）に示している。図２（Ｂ）では、前景の指示を行った例を示し、図２（Ｃ）では、前景の指示の後に背景の指示を行った例を示している。前景の指示を太線で、背景の指示を破線で、それぞれ示している。前景の指示と背景の指示の切り替えは、この例では「前景背景切り替え」と記載して示したラジオボタンによって行えばよい。これらの指示は、ＰＣであればマウスやデジタイザなどのポインティング装置などを用い、タブレットなどのＩＣＴデバイスであればペンや指などを用いて行えばよい。

前景と背景の指示方法は、領域分離部１２における分離処理にもよるが、グラフリンクを用いた分離方法では、点や線の集合として受け付ければよく、輪郭を正確に指示する必要はない。図２に示した例では、前景の指示として中央の人物の領域の内側を線により指示している。また、背景の指示として中央の人物の領域の外側を線により示している。前景の指示としては、例えば人物であれば、髪、肌、服などを部分的に指定すればよい。人物であっても、その人物が何かを持っていて、その持ち物も前景とする場合は、前景情報としてその持ち物を部分的に指定すればよい。背景は、前景で指定しなかった領域で、前景にしたくない領域を部分的に指示すればよい。図２に示す例では、左右の人物や机、壁などを部分的に指示すればよい。

図３は、事前情報を受け付ける画面の別の例の説明図である。図２では前景及び背景の指示をそれぞれ１本の線によって行っているが、図３に示す例では、いくつかの線や点によって指示した例を示しており、前景の指示を黒く塗りつぶした楕円で、背景の指示を白く抜いた楕円で、それぞれ示している。この例では、前景として人物の髪、顔、衣服、バッグなどを指示し、背景として建物の部分をいくつか指示している。このように、前景の指示及び背景の指示とも、いくつかに分けて行ってもよい。

図４は、事前情報を受け付ける画面のさらに別の例の説明図である。図４に示す例では、物品の画像の例を示している。人物以外であっても、注目する領域を前景として指示し、前景に含めたくない領域を背景として指示すればよい。図４に示す例では、グラスを前景として指示し、それ以外を背景として指示した例を示している。

また図４では、ラジオボタンに代えて「前景終了」及び「背景終了」のボタンを用意している。まず前景の指示を行い、指示が終了したら「前景終了」のボタンを操作し、次に背景の指示を行う。背景の指示が終了したら「背景終了」のボタンを操作し、指示操作の終了とすればよい。

このほかにも、このようなボタンを用いずに、１回目のタッチからタッチ終了までの指示を前景の指示とし、タッチ終了で切り替えを行って、２回目のタッチからタッチ終了までの指示を背景の指示としてもよい。

事前情報の指示を行う方法としていくつかを示したが、画面の構成、指示方法、前景の指示と背景の指示の切替方法などは、これらの例に限られず、種々の画面構成、種々の指示方法、種々の切替方法から選択して用いればよい。

事前情報受付部１１で受け付けた事前情報は、領域分離部１２に送られる。領域分離部１２では、この例ではグラフリンクを用いた分離方法により事前情報に基づいてカラー画像を前景画像と背景画像に分離する。この分離方法については、例えば特許文献４などのいくつかの文献に記載されており、ここでは概略を説明するに留める。

図５は、グラフリンクを用いた画像の分離方法の概要の説明図である。矩形はカラー画像の各画素を示し、これをノードとする。また、隣接する画素はリンク（二重線で示す）されているとする。このリンクには、ある画素とその周辺を比較した場合に、色が近いほど大きな値を、色が遠いほど小さな値を与えるものとする。

さらに、前景の仮想ノードと背景の仮想ノードを設ける。前景の仮想ノードから各画素へのリンクは、前景として指示された画素ならば１、その他は０とする。また、背景の仮想ノードから各画素へのリンクは、背景として指示された画素ならば１、その他は０とする。実質的に、事前情報で前景として指示された画素と前景の仮想ノードをリンクし（太線で示す）、また背景として指示された画素と背景の仮想ノードをリンクする（破線で示す）ことになる。このようにしてグラフリンクを生成する。

このグラフリンクを用い、最大流量最小カットの原理を利用して分離を行う。この原理では、前景の仮想ノードを始点、背景の仮想ノードを終点とし、それぞれのリンクの値を水道管のパイプの太さと考えて、始点から終点へ水を流した場合に流せる水の最大量はいくらであるかを計算する。すると、ボトルネックになって流れにくくなっているリンクの総和が最大流量となる。そのようなリンクを切断することが、前景と背景を分離することになる。

図６は、分離された画像の一例の説明図である。例えば図４で示したカラー画像及び前景と背景の指示を行った場合、図６（Ａ）に示すようにグラスの領域が前景画像として分離され、それ以外の領域が図６（Ｂ）に示すように背景画像として分離される。グラフリンクを用いた分離方法では、図４に示したように簡易な操作で前景と背景の指示を行えば、輪郭を正しく指示しなくても、図６に示すように正しく輪郭部で前景と背景とに分離される。

ここではグラフリンクを用いた分離方法により前景画像と背景画像に分離するものとしたが、もちろん、前景画像と背景画像に分離する方法は、この方法に限られるものでないことは言うまでもない。

領域分離部１２で分離された前景画像と背景画像は解析部１３に渡される。解析部１３では、領域分離部１２で分離された前景画像と背景画像のそれぞれについて解析を行い、前景特性値と背景特性値を得る。図７は、前景特性値と背景特性値の一例の説明図である。この例では、図６に示した前景画像と背景画像のそれぞれについて、色のヒストグラムと色の平均値、周波数のヒストグラムと周波数強度の平均値を解析項目として解析した例を示している。これらが前景特性値及び背景特性値となる。

なお、この例における色のヒストグラムは、画素値をＲＧＢ値とし、それぞれの成分についての頻度分布を求めている。もちろん、他の色空間の色信号について、成分ごとの頻度分布を求めてもよい。また、種々の多次元色空間における頻度値を求めるなど、他の態様により色のヒストグラムを求めてもよい。

周波数の解析は、前景画像または背景画像に対し、帯域ごとの画像を生成し、強度の平均値を算出すれば、周波数強度のヒストグラムが算出される。また、それぞれの帯域における周波数強度を用いて平均値や分散を算出してもよい。このような画像の周波数解析は、例えばＲＧＢ色空間の画像であれば、画素値をＲＧＢ色空間からＹＣｂＣｒ色空間やＬ^* ａ^* ｂ^* 色空間などの輝度成分を有する色空間へ色空間変換し、輝度成分であるＹ成分やＬ^* 成分を用いて帯域毎の周波数分解を行えばよい。

帯域ごとに分解する方法には種々の方法があるが、ここではＤＯＧ（Ｄｉｆｆｅｒｅｎｃｅ Ｏｆ ｔｗｏ Ｇａｕｓｓｉａｎ）関数をフィルタとして用いる方法を示す。図８は、ＤＯＧ関数の一例の説明図である。ＤＯＧ関数は以下の数式１で表される。
Ｇ_DOG （ｘ，ｙ）＝（１／２πσ_e ²）ｅ^te−Ａ・（１／２πσ_i ²）ｅ^ti …数式１
ｔｅ＝−（ｘ²＋ｙ²）／２σ_e ²
ｔｉ＝−（ｘ²＋ｙ²）／２σ_i ²
ここで、σ_e、σ_i、Ａは制御係数である。

このＤＯＧ関数は、人間の脳内における視覚特性の数学的モデルとして知られており、例えば図８に形状の一例を示している。制御係数を変更することで、周波数帯域やその周波数帯域に対する反応の強さなどが制御される。数式１の関数をフィルタとし、制御係数を調整して輝度成分の画像をフィルタリングすれば、設定されている係数に応じた帯域画像が得られる。制御係数を変更して複数の帯域画像を生成すればよい。フィルタリングは実空間でも周波数空間でもどちらでもよい。周波数空間で行う場合は、数式１をフーリエ変換して用いればよい。

図９は、ＤＯＧ関数の制御係数と特性の関係の一例の説明図である。数式１の制御係数σ_e、σ_i、Ａを制御することにより変化する周波数帯域を表している。縦軸の反応値は、輝度成分の画像がフィルタリングによって反応する値である。反応値が大きいほど当該周波数帯域への反応が強いことを意味する。図９に示すように、数式１の制御係数を制御して周波数帯域を変えてフィルタリングを行い、それぞれの周波数帯域の帯域画像を得ればよい。

また別の帯域ごとに分解する方法として、ガウス関数を用いる方法がある。この場合、次に示す数式２を用いればよい。
Ｇ（ｘ，ｙ）＝（１／２πσ² ）・ｅｘｐ（−（ｘ² ＋ｙ² ）／２σ² ） …数式２
画像が２次元なので、広がりを（ｘ，ｙ）で表した。σは帯域を制御する係数であり、値が大きいほど低周波側の帯域が含まれることになる。σを小さくすれば、少しだけぼける。よって原画像との差分は高周波成分になる。中周波の特定は、２つのσの値でぼかした画像の差をとればよい。１つは小さめのσで、２つめは、１つめのσより大きなσでぼかす。その差分は、２つのσの間の帯域の画像となり、帯域を限定した画像が得られる。このように、数式２のガウス関数を用いて画像をぼかしながら（低周波画像の生成）、ぼかす前との差を取ることで帯域を限定すればよい。

帯域ごとに分解するさらに別の方法として、画像の縮小拡大を用いる方法もある。画像を一度縮小させてから拡大することでぼかし画像を得る。この場合は、画像の縮小率が上述のガウス関数の係数σを制御することと等価になり、帯域を限定した画像が得られる。

帯域ごとに分解する方法としては、上述のＤＯＧ関数を用いる方法、ガウス関数を用いる方法、画像の縮小拡大を用いる方法に限られるものではなく、例えばウェーブレット変換など、種々の公知の方法を用いてもよい。

図１０は、帯域ごとに分解された画像の一例の説明図である。図１０（Ａ）は原画像の輝度成分を示しており、上述のような種々の方法により帯域ごとに分解された画像（以後、帯域画像とする）を、この例では図１０（Ｂ）、（Ｃ）、（Ｄ）に示している。このような帯域画像への分解を、前景画像、背景画像のそれぞれについて行い、それぞれの帯域画像での画素の頻度分布を作成すれば、例えば図７に示した周波数強度のヒストグラムが生成される。

係数決定部１４は、解析部１３で得た前景特性値と背景特性値の両者の関係から、カラー画像全体に対して修正の処理を施す画像処理係数を決定する。例えば人物の肌色を調整する修正処理を行う際に、前景特性値から肌色が目標とする肌色よりも暗めで、背景特性値から背景が目標とする明るさよりも明るい場合に、肌色を目標とする肌色に合わせて修正すると背景が飛んでしまうことがある。このような場合には、肌色を目標の肌色まで調整しないように画像処理係数を決定すればよい。また、物品の画像で、背景の高周波数成分が物品（前景）より強めの場合は、背景に雑音成分が存在していることが考えられる。このような場合は、画像全体の周波数強調の画像処理係数を通常よりも弱めに設定すればよい。

画像修正部１５では、係数決定部１４で決定した画像処理係数に基づいて、与えられたカラー画像の修正処理を行う。例えば、色修正の処理や周波数修正の処理などを、画像処理係数に従って行う。前景と背景に応じた画像処理係数が係数決定部１４で決定されているので、前景と背景に対してバランスのとれた修正処理が行われることになる。

図１１は、本発明の第１の実施の形態の変形例を示す構成図である。図中、２１は修正候補提示部、２２は修正項目受付部である。この変形例では、利用者の意図を上述の構成よりも反映した画像の解析及び修正の処理を行う構成を示している。上述の説明と異なる点について主に説明する。

修正候補提示部２１は、修正の項目に対応する選択肢を利用者に対して提示する。例えば、色修正や周波数修正といった、修正処理を表す語句や文章により表現される修正種別を利用者に提示してもよいし、修正の内容に対応する、画像の内容を表す語句や文章により表現される内容種別を提示して、間接的に修正項目を選択するようにしてもよい。あるいは、まず、画像の内容を表す語句や文章により表現される内容種別を提示し、選択された内容種別に対応して、色修正や周波数修正などの修正処理を表す語句や文章により表現される修正種別を提示するようにしてもよい。

図１２は、修正候補提示部２１による選択肢の提示例の説明図である。図１２（Ａ）に示した例では、内容種別の選択肢を「画像種別」として提示した例を示している。選択肢としては、「人物（男性）」、「人物（女性）」、「物品（金属）」、「物品（ガラス）」、「食品」などの項目が並べられている。これらの中から利用者は前景として指示した画像の部分について、どのような内容であるのかを選択すればよい。

また図１２（Ｂ）に示した例では、修正種別の選択肢を提示した例を示している。選択肢としては、この例では「色（かぶり）」、「色（肌）」、「周波数（高）」、「周波数（中）」などを設けている。これらの中から利用者はどのような修正を希望しているのかを選択すればよい。

もちろん、図１２に示した例に限らず、種々の項目を提示してもよいし、提示方法もこの例に限られるものではない。また、ここでは内容種別あるいは修正種別の選択肢を提示する例を示しているが、上述のように、内容種別の提示により選択された項目に従って修正種別の提示を行うなど、種々の態様により選択肢を利用者に提示してよい。

修正項目受付部２２は、利用者による選択肢からの選択に従って修正の項目を受け付け、解析部１３あるいは解析部１３と係数決定部１４に通知する。利用者による選択肢からの選択は、１つであっても、複数であってもよい。選択された１つの項目または複数の項目の組み合わせをもとに、受け付ける修正の項目を決定すればよい。また、内容種別の提示に対する選択に応じて修正種別の提示に対する選択を行う場合、その両者の選択から、受け付ける修正の項目を決定してもよい。

解析部１３は、修正項目受付部２２で受け付けた修正の項目をもとに解析項目を選択し、その選択された解析項目について前景画像及び背景画像のそれぞれを解析して前景特性値と背景特性値を得る。

例えば、図１２（Ａ）に示した例で利用者が「人物（女性）」を選択した場合、解析部１３は人物が含まれると考えられる前景画像の肌色の平均値を解析項目とすればよい。また、この場合、背景が壁などの単調な絵柄であれば、解析すれば色かぶりが生じているか否かがわかることから、背景画像に対しては色のヒストグラムを解析項目とすればよい。また、利用者が「物品（金属）」を選択した場合には、利用者は物品の部分の質感向上を意図しているものと推測される。この場合には、物品が含まれると考えられる前景画像に対する周波数成分の強度を解析項目として選択すればよい。背景画像については、周波数成分の強度平均が通常よりも高い場合は、雑音成分が含まれていると考えられ、この周波数成分の強度平均を解析項目とするとよい。もちろん、この例に限らず、種々の特性を解析してもよいことは言うまでもない。

係数決定部１４は、解析部１３で得た前景特性値と背景特性値の両者の関係から、カラー画像全体に対して修正の処理を施す画像処理係数を決定するが、その際に、修正項目受付部２２で受け付けた修正の項目をもとにして決定してもよい。

上述の例では、図１２（Ａ）に示した例で利用者により「人物（女性）」が選択された場合、解析部１３で前景特性値として得た肌色の平均値と、背景特性値として得た色のヒストグラムをもとに、背景の色かぶりを考慮した肌色の色補正を行う画像処理係数を決定する。また、利用者により「物品（金属）」が選択された場合は、解析部１３で前景特性値として得た周波数成分の強度と、背景特性値として得た周波数成分の強度平均をもとに、背景の雑音成分が目立たない程度に周波数帯域及び強調度合いを調節した画像処理係数を決定すればよい。

この係数決定部１４で決定した画像処理係数を用いて画像修正部１５で与えられたカラー画像の修正処理を行う。この場合も前景と背景に対してバランスのとれた修正処理が行われるとともに、利用者による項目の選択に対応した前景画像及び背景画像の解析とその解析結果に従った画像処理係数の決定を行っており、利用者の意図が反映された画像が得られることになる。

図１３は、本発明の第２の実施の形態を示す構成図である。図中、３１は係数決定部、３２は画像修正部である。本発明の第１の実施の形態では、カラー画像の修正処理が、画像全体に対して一律に行われる場合について説明した。この第２の実施の形態では、前景画像と背景画像に対してそれぞれ異なる画像処理係数を設定してそれぞれが修正処理を行い、合成して修正処理後の画像を得る場合を示している。なお、事前情報受付部１１、領域分離部１２、解析部１３については第１の実施の形態で説明した通りであるので、重複する説明を省略する。

係数決定部３１は、解析部１３で得た前景特性値と背景特性値をともに用いて前景画像に対する画像処理係数である前景係数を求めるとともに、前景特性値と背景特性値をともに用いて背景画像に対する画像処理係数である背景係数を決定する。

画像修正部３２は、係数決定部３１で決定された前景係数に基づいて対応する前景画像の修正を行うとともに、背景係数に基づいて背景画像の修正を行って、修正後の前景画像と背景画像を合成する。係数決定部１４で前景特性値と背景特性値から決定した前景係数及び背景係数を用いて前景画像と背景画像の修正処理を行っており、前景と背景の内容に応じた処理が施されることになる。修正処理としては、第１の実施の形態の画像修正部１５で例示した処理を含む種々の修正処理が考えられる。

図１４は、本発明の第２の実施の形態による処理の一例の説明図である。図１４（Ａ）は与えられたカラー画像の一例を示しており、図３において使用した画像である。図１４（Ａ）では、全体に斜線を付して色かぶりが生じていることを示している。利用者が人物の内側を前景として指示し、人物の外側を背景として指示して事前情報受付部１１で事前情報を取得し、この事前情報をもとに領域分離部１２は前景画像と背景画像に分離する。図１４（Ａ）に示したカラー画像から分離した前景画像を図１４（Ｂ）に、背景画像を図１４（Ｃ）に、それぞれ示している。

解析部１３は前景画像を解析して前景特性値を得るとともに、背景画像を解析して背景特性値を得る。色かぶりが生じている場合、例えば背景画像を解析して色ヒストグラムを取得すればわかる。また、前景画像は人物の肌色を含んでおり、色の解析を行って色ヒストグラムを取得すれば、肌色の平均がわかる。

これらの前景特性値及び背景特性値をもとに、係数決定部３１は前景係数と背景係数を決定する。例えば前景画像に対しては、背景特性値から得られる色かぶりの状態の修正とともに肌色の修正を行う前景係数を決定する。また、背景画像に対しては、色かぶりの状態を修正するが、前景画像の人物が背景に埋没しない程度の修正が行われるように背景係数を決定する。

画像修正部３２は、係数決定部３１で決定された前景係数に従って前景画像に対する修正処理を行い、また、背景係数に従って背景画像に対する修正処理を行う。修正処理を行った前景画像の一例を図１４（Ｄ）に示し、背景画像の一例を図１４（Ｅ）に示す。背景画像について、色かぶりが軽減されたことを斜線の密度を変更して示している。前景画像については、色かぶりが除去されたものとして斜線を付さずに示している。

このようにそれぞれ修正処理が施された前景画像と背景画像を合成する。合成後の画像を図１４（Ｆ）に示している。色かぶりが軽減されるとともに前景となる人物が目立つように修正処理が施されている。

図１５は、本発明の第２の実施の形態による処理の別の例の説明図である。図１５（Ａ）は与えられた画像の一例を、図１５（Ｂ）は修正処理後の画像の一例を示している。この例では、前景となる人物に対しては背景に応じた肌色の修正などを行う。また背景については、前景画像と背景画像の周波数成分の解析結果などから、遠近感を出すボカシ処理（周波数処理）を行った場合を示している。図示の都合上、背景については破線を用いてぼかしたことを示している。

図１６は、本発明の第２の実施の形態による処理のさらに別の例の説明図である。図１６（Ａ）は与えられた画像の一例を示しており、図４で用いた画像である。また、図１６（Ｂ）は修正処理後の画像の一例を示している。この例は物品を含む画像の例であり、グラスの部分が前景として分離されたものとしている。

前景特性値及び背景特性値として、色の平均値とともに、高周波成分の平均値または周波数成分のヒストグラムを取得すると、グラスと背景の明るさの違いやグラスの背景に対する強調度合いなどが把握される。これらから、前景画像に対して周波数成分の強調や明度のトーンカーブの変更による明るさの調整などの修正処理を施し（図示の都合上、太線により示す）、背景画像に対しては前景画像が目立つように明度のトーンカーブの変更により暗めに修正（図示の都合上、斜線を付して示す）すればよい。

この第２の実施の形態についても、第１の実施の形態の変形例で説明した修正候補提示部２１及び修正項目受付部２２を設けて構成してもよい。例えば図１５に示した例では内容種別として「人物（女性）」を選択し、図１６に示した例では「物品（ガラス）」を選択して修正処理を行わせれば、その選択指示が反映されたされた修正処理が行われ、そのような指示を行わない場合に比べて正確な修正処理が行われることになる。

図１７は、本発明の第２の実施の形態における第１の変形例を示す構成図である。図中、４１は加重生成部である。上述の第２の実施の形態の構成で前景画像と背景画像に別々に修正処理を施した場合、合成した画像では前景と背景の境界において連続性に問題が生じる場合がある。この変形例では、前景と背景の境界における連続性を考慮した合成を行う構成を示している。上述の第２の実施の形態と異なる点について主に説明する。

加重生成部４１は、画像修正部３２で修正後の前景画像と背景画像を合成する際のそれぞれに対する重みを制御する加重画像を生成する。加重画像は、合成の際に境界の連続性に支障が生じないものであればどのようなものでもよい。一例としては、前景画像または背景画像として分離した領域を示す領域画像に対してぼかし処理を施したものを加重画像とすればよい。

画像修正部３２では、加重生成部４１で生成した加重画像を用いて修正後の前景画像と背景画像を合成する。合成の際には、加重画像の値を合成の割合を示す値として参照して、その割合で修正後の前景画像と背景画像を合成するとよい。

図１８は、加重画像を用いた画像修正部の処理の一例の説明図である。ここでは図４に示したカラー画像について図６に示したように前景画像と背景画像に分離されたものとし、前景画像を図１８（Ａ）に、背景画像を図１８（Ｂ）にそれぞれ示している。図１８（Ａ）に示した前景画像は、前景係数に従って修正処理が施される。また、図１８（Ｂ）に示した背景画像は、背景係数に従って修正処理が施される。

図１８（Ａ）に示した前景画像と図１８（Ｂ）に示した背景画像のいずれかに分離する際に、いずれに分離したかを示す領域画像を生成しておく。ここでは、前景画像として分離した領域は白く示し、例えば値を１とする。また、背景画像として分離した領域は黒く示し、例えば値を０としておく。もちろん、前景と背景の値はこの例に限らない。

このように１と０で構成される情報を画像と見なし、ここではボカシ処理を施す。ボカシ処理としては、例えば上述の数式２として示したガウス関数を用いてもよいし、画像の縮小拡大により生成するなど、種々の公知の方法を用いればよい。図１８（Ｃ）には、領域画像に対してボカシ処理を施して得た加重画像の一例を示している。ぼけた部分には、図示の都合上、斜線を付して示している。このような加重画像を加重生成部４１で生成すればよい。

画像修正部３２では、このようにして加重生成部４１で生成した加重画像を用い、修正処理後の前景画像と背景画像を合成する。例えば、（ｉ，ｊ）番目の加重画像の画素値をｗ_ij、前景画像の画素値をＰ_ij、背景画像の画素値をＱ_ij、合成した画像の画素値をＲ_ijとした場合、
Ｒ_ij＝ｗ_ij・Ｐ_ij＋（１−ｗ_ij）・Ｑ_ij …数式３
として加重合成を行えばよい。重みとなる加重画像の画素値ｗ_ijは、０以上１以下の値に正規化しておけばよい。また、カラー画像ではそれぞれの色成分において合成すればよく、例えばＲＧＢ色空間の画像であれば、Ｒ、Ｇ、Ｂのそれぞれの色成分について、合成の処理を行えばよい。合成後の画像の一例を図１８（Ｄ）に示している。

この第２の実施の形態における第１の変形例についても、第１の実施の形態の変形例で説明した修正候補提示部２１及び修正項目受付部２２を設け、修正項目受付部２２で受け付けた修正の項目に従って前景画像と背景画像の解析を行い、前景係数と背景係数を決定して前景画像と背景画像にそれぞれ修正処理を施して、加重画像に従って合成するように構成してもよい。

図１９は、本発明の第２の実施の形態における別の変形例を示す構成図である。これまでの例では前景画像は１つとして説明してきたが、この第２の変形例では、与えられたカラー画像から複数の前景画像を分離する場合の例を示している。上述した各例の構成と異なる点について主に説明する。

なお、図１９に示した例では第１の実施の形態の変形例で説明した修正候補提示部２１及び修正項目受付部２２、第２の実施の形態の第１の変形例で説明した加重生成部４１を含めた構成を示している。しかしこれに限らず、修正候補提示部２１及び修正項目受付部２２を設けない構成や、加重生成部４１を設けない構成、あるいはその両方を設けない構成であってもよい。

この第２の実施の形態の第２の変形例では、領域分離部１２は、与えられたカラー画像を複数の前景画像と１つの背景画像に分離する。ここではＮ個の前景画像に分離するものとし、前景画像１，前景画像２、…、前景画像Ｎと背景画像に分離している。解析部１３では、前景画像１，前景画像２、…、前景画像Ｎと背景画像について、それぞれ解析を行って前景特性値１、前景特性値２、…、前景特性値Ｎと背景特性値を得る。係数決定部３１では、それぞれの前景画像と背景画像に対して行う修正処理の係数をそれぞれの前景特性値と背景特性値から決定し、ここでは前景係数１，前景係数２、…、前景係数Ｎと背景係数を決定する。一方、加重生成部４１ではそれぞれの前景画像と背景画像に分離した際の領域の情報をもとに、加重画像１、加重画像２、…、加重画像Ｎを生成しておく。画像修正部３２では、それぞれの前景画像に対して対応する前景係数を用いて修正処理を行うとともに、背景画像に対して背景係数を用いて修正処理を行い、これらを加重画像に従って合成し、処理後の画像を得ればよい。

まず、領域分離部１２で複数の前景画像に分離する処理は、公知の分離方法を使用すればよいが、例えば第１の実施の形態で説明した前景画像と背景画像の分離処理を複数回行って複数の前景画像を得て、それらの前景画像に分離されなかった領域を背景画像として分離すればよい。

図２０は、複数回の分離処理の一例の説明図である。ここでは一例として、上述のグラフリンクを用いた分離方法を複数回行う場合の例を示している。図２０（Ａ）に示した例では、事前情報として人物の髪の内部を前景、髪の外部を背景として指示している。これにより領域分離部１２で分離される前景画像の一例を図２０（Ｂ）に示している。人物の頭髪の領域が分離されている。

また、図２０（Ｃ）では、事前情報として人物の顔の内部を前景、顔の外部を背景として指示している。これにより領域分離部１２で分離される前景画像の一例を図２０（Ｂ）に示している。人物の顔の領域が分離されている。

このように、この例では事前情報受付部１１及び領域分離部１２の処理を２回繰り返して行うことで、人物の頭髪と顔の２つの前景画像が分離される。残りの領域を背景画像として分離すればよく、これを図２０（Ｅ）に示している。ここでは２つの前景画像を分離したが、３回以上繰り返して３以上の前景画像を分離してもよく、利用者が所望する部品の数だけ繰り返して行えばよい。

図２１は、複数の前景画像を分離する場合に利用者に提示する画面の一例の説明図である。図中、５１は画像表示部、５２は分離ボタン、５３は前景画像提示部、５４は保存ボタン、５５は削除ボタンである。与えられたカラー画像が画像表示部５１に表示される。この画像表示部５１に表示された画像に対して、前景及び背景の指示を行えばよい。ここでは１回目の指示が前景、２回目の指示が背景の指示として事前情報受付部１１が受け付けるものとしている。前景と背景の指示を行ったら、分離ボタン５２を例えばタッチするなどして操作すれば、領域分離部１２が前景画像を分離し、前景画像提示部５３に前景画像を追加する。この例では図２０で示した人物の頭髪と顔をそれぞれ前景として指定し、前景画像として分離した状態を示している。指示した前景画像が誤りであったり、不要となったり、あるいはやり直したいなど、分離した前景画像に不要なものがあれば、削除ボタン５５を例えばタッチするなどして操作すれば、その前景画像は前景画像提示部５３から削除される。

前景画像への分離が終了したら、保存ボタン５４を例えばタッチするなどして操作すればよい。保存ボタン５４が操作されると、それまで前景画像に分離されなかった領域を背景画像として分離し、複数の前景画像とともに解析部１３へ送られる。なお、図２１に示した画面の一例に限らず、種々の画面構成や、種々の操作方法に従った表示を行ってもよいことは言うまでもない。

図２２は、本発明の第２の実施の形態の第２の変形例における修正候補提示部が提示する選択肢の一例の説明図である。修正候補提示部２１が選択肢を利用者に提示し、その選択肢から選択された修正の項目を修正項目受付部２２が受け付ける処理についても、複数の前景画像に対応する。図２２に示した例では、内容種別の選択肢として、人物の顔（肌）、髪の色、衣類などと、物品が金属か、ガラスか、ぬいぐるみか、などを用意した例を示している。前景画像を複数分離してもよいことから、例えば図１２に示した例に比べて選択肢を細分している。図２０、図２１に示した例では、人物の頭髪を分離した前景画像に対しては、図２２（Ａ）に示すように人物の「黒髪」を選択し、人物の顔を分離した前景画像に対しては図２２（Ｂ）に示すように人物の「顔（肌）」を選択すればよい。例えば、画像中に人物と物品が含まれていて人物と物品を前景画像として分離した場合には、それぞれ人物の選択肢と物品の選択肢から選択すればよい。これらの選択が修正項目受付部２２で受け付けられ、対応する修正の項目が解析部１３、あるいは解析部１３と係数決定部３１に通知される。

もちろん、図２２に示した選択肢は一例であって、この例に限られないことは言うまでもない。また、内容種別に代えて修正種別を提示したり、内容種別の選択後に選択された内容種別に応じた修正種別を提示するなど、種々の形態での提示を行ってもよい。

これらの利用者からの指示に従った複数の前景画像及び背景画像の分離と、それぞれの修正の項目の選択が終了すると、解析部１３では、それぞれの前景画像について対応する修正の項目によって選択される特性値を取得するように解析を行い、それぞれの前景画像に対応する前景特性値を得る。また背景画像についてもそれぞれの前景画像で取得する特性値に応じた解析を行って背景特性値を得る。図１９では、前景特性値１、前景特性値２、…、前景特性値Ｎ、背景特性値として示している。

例えば図２０、図２１に示したように人物の頭髪及び顔を前景画像として分離し、図２２に示すように内容種別として人物の頭髪の前景画像（前景画像１とする）については「黒髪」が、人物の顔の前景画像（前景画像２とする）については「顔（肌）」が選択された場合、前景画像１については周波数解析を行い、周波数平均値、周波数ヒストグラムなどを前景特性値１とすればよい。また、前景画像２については色の解析を行い、肌色平均値などを前景特性値２とすればよい。背景画像については周波数解析と色解析を行い、前景特性値１と前景特性値２に対応する特性値を背景特性値とすればよい。

解析部１３で得た前景特性値１、前景特性値２、…、前景特性値Ｎ、背景特性値は係数決定部３１に送られ、それぞれの前景画像と背景画像に対応する修正処理の係数を決定する。図１９では、決定した各係数を前景係数１、前景係数２、…、前景係数Ｎ、背景係数として示している。

例えば上述の前景画像１に対しては、前景特性値１及び背景特性値から高周波成分の強調係数を決定すればよい。また前景画像２に対しては、前景特性値２及び背景特性値から肌色の目標色への色変換係数を決定すればよい。背景画像に対しては、前景特性値１及び前景特性値２と背景特性値から中低周波成分の強調係数（ボカシ係数）や色変換係数を決定すればよい。また背景特性値から色かぶりが予測される場合には、その修正を加味した係数を前景係数１及び前景係数２として決定すればよい。ここでは人物の画像を例にしているが、物品の画像の場合、例えば金属の物品の前景画像であれば高周波成分の強調係数を決定し、ぬいぐるみの前景画像であれば、やわらかな感じを出す中周波成分の強調係数を決定すればよい。

一方、加重生成部４１では、それぞれの前景画像に対応した加重画像を生成する。それぞれの加重画像は上述の第１の変形例で説明したようにして生成すればよい。例えば、それぞれの前景画像を分離した際の領域情報を画像としてボカシフィルタをかけることで生成すればよい。

画像修正部３２では、それぞれの前景画像及び背景画像に対して、対応する係数を用いて修正処理を施し、対応する加重画像の値に従った配分で背景画像と合成してゆく。

図２３は、本発明の第２の実施の形態の第２の変形例における画像修正部３２の処理の一例の説明図である。図２３（Ａ）は上述の前景画像１を、図２３（Ｂ）には前景画像２を、図２３（Ｃ）は背景画像を、それぞれ示している。図２３（Ａ）に示した前景画像１は、前景係数１に従って修正処理が施され、図２３（Ｂ）に示した前景画像２は、前景係数２に従って修正処理が施される。また、図２３（Ｃ）に示した背景画像は、背景係数に従って修正処理が施される。

また、加重生成部４１で前景画像１に対応して生成された加重画像１を図２３（Ｄ）に、前景画像２に対応して生成された加重画像２を図２３（Ｅ）に、それぞれ示している。

修正処理後の前景画像１及び前景画像２は、加重画像１及び加重画像２を用いて背景画像と合成される。合成の処理は、例えば、（ｉ，ｊ）番目の加重画像１の画素値をｗ１_ij、加重画像２の画素値をｗ２_ij、前景画像１の画素値をＰ１_ij、前景画像２の画素値をＰ２_ij、背景画像の画素値をＱ_ij、合成された画像の画素値をＲ_ijとすると、
Ｒ_ij＝ｗ１_ij・Ｐ１_ij＋ｗ２_ij・Ｐ２_ij
＋（Σ_k=1 ²ｗ_kmax−ｗ１_ij−ｗ２_ij）・Ｑ_ij …数式４
のようにすればよい。ここでΣ_k=1 ²ｗ_kmaxは加重画像ｋの最大値を表し、例えば０以上１以下に正規化している場合は１となる。前景画像が２つの場合には、Σ_k=1 ²ｗ_kmax＝２となる。このようにして加重合成を行い、それぞれの部分に適した修正処理が施された画像が得られる。もちろん、合成の方法は数式４を用いる方法に限られるものではなく、加重画像を用いて画素値を配分して合成するものであればよい。また、上述したように加重生成部４１を設けずに、従って加重画像を使用せずに、例えば予め与えておいた関数に従って合成してもよいし、あるいはそのまま合成してもよく、合成方法としては種々の方法のうちから選択すればよい。

図２４は、本発明の各実施の形態及び各変形例で説明した機能をコンピュータプログラムで実現した場合におけるコンピュータプログラム及びそのコンピュータプログラムを格納した記憶媒体とコンピュータの一例の説明図である。図中、６１はプログラム、６２はコンピュータ、７１は光磁気ディスク、７２は光ディスク、７３は磁気ディスク、７４はメモリ、８１はＣＰＵ、８２は内部メモリ、８３は読取部、８４はハードディスク、８５はインタフェース、８６は通信部である。

上述の本発明の各実施の形態及び各変形例として説明した各部の機能の全部あるいは部分的に、コンピュータが実行するプログラム６１によって実現してもよい。その場合、そのプログラム６１およびそのプログラムが用いるデータなどは、コンピュータによって読み取られる記憶媒体に記憶させておけばよい。記憶媒体とは、コンピュータのハードウェア資源に備えられている読取部８３に対して、プログラムの記述内容に応じて、磁気、光、電気等のエネルギーの変化状態を引き起こして、それに対応する信号の形式で、読取部８３にプログラムの記述内容を伝達するものである。例えば、光磁気ディスク７１、光ディスク７２（ＣＤやＤＶＤなどを含む）、磁気ディスク７３、メモリ７４（ＩＣカード、メモリカード、フラッシュメモリなどを含む）等である。もちろんこれらの記憶媒体は、可搬型に限られるものではない。

これらの記憶媒体にプログラム６１を格納しておき、例えばコンピュータ６２の読取部８３あるいはインタフェース８５にこれらの記憶媒体を装着して、コンピュータからプログラム６１を読み出し、内部メモリ８２またはハードディスク８４（磁気ディスクやシリコンディスクなどを含む）に記憶し、ＣＰＵ８１によってプログラム６１を実行し、上述の本発明の各実施の形態及び各変形例として説明した機能が全部又は部分的に実現される。あるいは、通信路を介してプログラム６１をコンピュータ６２に転送し、コンピュータ６２では通信部８６でプログラム６１を受信して内部メモリ８２またはハードディスク８４に記憶し、ＣＰＵ８１によってプログラム６１を実行して実現してもよい。

コンピュータ６２には、このほかインタフェース８５を介して様々な装置を接続してもよい。例えば情報を表示する表示手段が接続され、事前情報を指示する際の画像などの提示や、修正候補の選択肢の提示などを行ってもよい。また、利用者からの情報を受け付ける受付手段が接続され、利用者による前景と背景の指示や選択肢の選択などを行うようにしてもよい。もちろん、その他の装置が接続されていてもよい。なお、各構成が１台のコンピュータにおいて動作する必要はなく、処理段階に応じて別のコンピュータにより処理が実行されてもよい。

１１…事前情報受付部、１２…領域分離部、１３…解析部、１４，３１…係数決定部、１５，３２…画像修正部、２１…修正候補提示部、２２…修正項目受付部、４１…加重生成部、５１…画像表示部、５２…分離ボタン、５３…前景画像提示部、５４…保存ボタン、５５…削除ボタン、６１…プログラム、６２…コンピュータ、７１…光磁気ディスク、７２…光ディスク、７３…磁気ディスク、７４…メモリ、８１…ＣＰＵ、８２…内部メモリ、８３…読取部、８４…ハードディスク、８５…インタフェース、８６…通信部。

Claims (14)

1. カラー画像を１または複数の前景画像と背景画像に分離する分離手段と、１または複数の前記前景画像と前記背景画像を解析して１または複数の前景特性値と背景特性値を得る解析手段と、前記前景特性値と前記背景特性値をともに用いて１または複数の前記前景画像に対する画像処理係数である前景係数を求めるとともに、前記前景特性値と前記背景特性値をともに用いて前記背景画像に対する画像処理係数である背景係数を決定する決定手段と、１または複数の前記前景係数に基づいて対応する前記前景画像の修正を行うとともに前記背景係数に基づいて前記背景画像の修正を行って修正後の１または複数の前記前景画像と前記背景画像を合成する画像修正手段を有することを特徴とする画像処理装置。
2. 前記分離手段は、前記カラー画像から前景と背景に分離する処理を複数回行った場合に、前景として分離されたそれぞれの画像を前記前景画像とし、複数の前記前景画像に分離されなかった領域を前記背景画像として分離することを特徴とする請求項１に記載の画像処理装置。
3. さらに、前記画像修正手段で修正後の１または複数の前記前景画像と前記背景画像を合成する際のそれぞれに対する重みを制御する加重画像を生成する加重生成手段を有し、前記画像修正手段は、前記加重画像を用いて修正後の１または複数の前記前景画像と前記背景画像を合成することを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記加重生成手段は、１または複数の前記前景画像または前記背景画像として分離した領域を示す領域画像に対してぼかし処理を施して前記加重画像を生成し、前記画像修正手段は、前記加重画像の値を合成の割合を示す値として参照し、修正後の１または複数の前記前景画像と前記背景画像を合成することを特徴とする請求項３に記載の画像処理装置。
5. さらに、前記カラー画像に対する前景と背景を指示する事前情報を受け付ける事前情報受付手段を有し、前記分離手段は、前記カラー画像と前記事前情報に基づき画素をグラフ結合してグラフリンク情報を生成し、該グラフリンク情報と前記カラー画像から前記カラー画像を前景と背景に分離することを特徴とする請求項１から請求項４のいずれか１項に記載の画像処理装置。
6. 前記事前情報受付手段は、指またはポインティング装置により点や線の集合で前景または背景の指示を受け付けることを特徴とする請求項５に記載の画像処理装置。
7. さらに、修正の項目に対応する選択肢を提示する修正候補提示手段と、利用者による前記選択肢からの選択に従って修正の項目を受け付ける修正項目受付手段を有し、前記解析手段は、前記修正項目受付手段で受け付けた修正の項目をもとに解析項目を選択し、前記前景画像及び前記背景画像のそれぞれに対応する解析項目によって前記前景画像と前記背景画像を解析して前記前景特性値と前記背景特性値を得ることを特徴とする請求項１から請求項６のいずれか１項に記載の画像処理装置。
8. 前記修正候補提示手段は、画像の内容を表す語句や文章により表現される内容種別提示、または、色修正や周波数修正の少なくとも１つの修正処理を含む修正処理を表す語句や文章により表現される修正種別提示のうち、少なくとも１つの提示を行うことを特徴とする請求項７に記載の画像処理装置。
9. 前記修正候補提示手段は、画像の内容を表す語句や文章により表現される内容種別提示を行い、選択された内容種別に対応して、色修正や周波数修正の少なくとも１つの修正処理を含む修正処理を表す語句や文章により表現される修正種別提示を行うことを特徴とする請求項７に記載の画像処理装置。
10. 前記修正項目受付手段は、前記修正候補提示手段が提示した前記選択肢から利用者が選択した項目または複数の項目の組み合わせをもとに前記修正の項目を受け付けることを特徴とする請求項７から請求項９のいずれか１項に記載の画像処理装置。
11. 前記決定手段は、さらに前記修正項目受付手段で受け付けた修正の項目をもとに、前記画像処理係数を決定することを特徴とする請求項７から請求項１０のいずれか１項に記載の画像処理装置。
12. 前記解析手段は、カラー画素の平均値、カラー画素の分散、カラー画素のヒストグラム、画像周波数の平均値、画像周波数の分散、画像周波数のヒストグラム、の少なくとも１つを解析することを特徴とする請求項１から請求項１１のいずれか１項に記載の画像処理装置。
13. 前記画像修正手段は、色修正または周波数修正のうち少なくとも１つを含む修正処理を行うことを特徴とする請求項１から請求項１２のいずれか１項に記載の画像処理装置。
14. コンピュータに、請求項１から請求項１３のいずれか１項に記載の画像処理装置の機能を実行させるものであることを特徴とする画像処理プログラム。

Images