JP6919433B2 - 画像処理装置、画像処理方法、画像処理システムおよびプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、画像処理システム、プログラムに関する。

画像中の特定の色を変えたい場合は、一般に、特定の色が希望の色に代わるような階調カーブを使用したり、色空間での色を移動することによって、色調整を行なう。この方法は、画像全体の画素に反映されるため、画像中の特定の領域について色調整したい場合は、一般に、この特定の領域を前処理で切り抜き、切り抜いた領域をマスクとして、この特定の領域に対して色調整の結果を反映させる。

特許文献１には、領域指定部において、操作者が画面上で人物画像における人物の顔の領域を指定すると、補正対象領域抽出部が領域の色情報等に基づいて肌領域および頭髪領域からなる補正対象領域を抽出し、マスク作成部が補正対象領域にのみ補正の効果を及ぼすための、領域の境界をぼかしたマスク画像を作成することがされている。そして画像合成部は、画像補正部で画像全体が補正された全体補正画像ともとの人物画像とを、対応する画素毎にマスク画像が表す重みで合成して、補正対象領域のみが境界をぼかしながら補正された補正済画像を得る。

特開２００６−３３８３７７

特定の領域に対する色調整を行なう際に、例えば、調整前の色相と調整後の色相とが異なる場合 、色調整を行なった領域の色調整を行なう前後の色とその外縁の領域の色との関係から、色調整を行った領域の外縁境界部分に疑似輪郭のような不自然な色の領域が生じる場合がある。従来は、この疑似輪郭部分を手動にて色調整を行なうことで自然に見えるようにしていた。しかしながらこの作業は、多大な労力を必要とする。
特定の領域の色調整を行なう際に、色調整を行なった領域とその外縁の領域に疑似輪郭のような不自然な色の領域が生じにくい画像処理装置等を提供することを目的とする。

請求項１に記載の発明は、画像の画像情報から第１の画像領域または第２の画像領域であることを示す二値で表された二値画像を生成する二値画像生成部と、前記二値画像を使用して、前記第１の画像領域および前記第２の画像領域の境界部で画素値を決定したい未知領域を設定する未知領域設定部と、前記未知領域以外の既知領域の中で前記第１の画像領域に属する画素を基に、当該未知領域中の画素の画素値を当該第１の画像領域の予測画素値として予測する画素値予測部と、前記画素値予測部で予測した前記第１の画像領域の予測画素値を色調整後の予測画素値に変換する画素値変換部と、前記画素値変換部により変換された色調整後の予測画素値と前記第２の画像領域の画素値とを基に、前記未知領域の画素値を多値にて生成する多値画像生成部と、を備える画像処理装置である。
請求項２に記載の発明は、前記画素値予測部は、前記既知領域の中で前記第２の画像領域に属する画素を基に、前記未知領域中の画素の画素値を当該第２の画像領域の予測画素値として予測し、前記多値画像生成部は、色調整後の予測画素値と前記第２の画像領域の予測画素値とから、前記未知領域の画素値を生成することを特徴とする請求項１に記載の画像処理装置である。
請求項３に記載の発明は、前記多値画像生成部は、色調整後の予測画素値と前記第２の画像領域の予測画素値との加重平均を求めることで、前記未知領域の画素値を生成することを特徴とする請求項２に記載の画像処理装置である。
請求項４に記載の発明は、前記多値画像生成部は、色調整後の予測画素値と前記第２の画像領域の画素値とから、前記未知領域の画素値を生成することを特徴とする請求項１に記載の画像処理装置である。
請求項５に記載の発明は、前記多値画像生成部は、色調整後の予測画素値と前記第２の画像領域の画素値との加重平均を求めることで、前記未知領域の画素値を生成することを特徴とする請求項４に記載の画像処理装置である。
請求項６に記載の発明は、前記画素値予測部は、前記既知領域に含まれ強さを有する画素を起点の画素とし、当該起点の画素の強さおよび当該起点の画素の前記未知領域に含まれる画素に及ぼす加重に基づいて当該未知領域中の画素の画素値を予測することを特徴とする請求項１に記載の画像処理装置である。
請求項７に記載の発明は、前記画素値予測部は、前記起点の画素の強さおよび当該起点の画素の前記未知領域に含まれる画素に及ぼす加重に基づいて当該未知領域に含まれる画素の画素値を決定し、画素値が決定した画素を新たな起点の画素としてさらに当該決定を行なうことを繰り返すことで当該未知領域中の画素の画素値を予測することを特徴とする請求項６に記載の画像処理装置である。
請求項８に記載の発明は、前記画素値予測部は、前記起点の画素の強さと当該起点の画素の前記未知領域に含まれる画素に及ぼす加重とを乗じた値が最も大きくなる起点の画素の画素値に基づいて当該未知領域中の画素の画素値を予測することを特徴とする請求項６に記載の画像処理装置である。
請求項９に記載の発明は、前記未知領域設定部は、前記第１の画像領域および前記第２の画像領域の境界部から予め定められた幅で前記未知領域を設定することを特徴とする請求項１に記載の画像処理装置である。
請求項１０に記載の発明は、前記未知領域設定部は、前記第１の画像領域および前記第２の画像領域の境界部の画素を中心として二値の画素値の設定を解除するフィルタを適用することで前記未知領域を設定することを特徴とする請求項９に記載の画像処理装置である。
請求項１１に記載の発明は、画像の画像情報から第１の画像領域または第２の画像領域であることを示す二値で表された二値画像を生成し、前記二値画像を使用して、前記第１の画像領域および前記第２の画像領域の境界部で画素値を決定したい未知領域を設定し、前記未知領域以外の既知領域の中で前記第１の画像領域に属する画素を基に、当該未知領域中の画素の画素値を当該第１の画像領域の予測画素値として予測し、予測した前記第１の画像領域の予測画素値を色調整後の予測画素値に変換し、変換された色調整後の予測画素値と前記第２の画像領域の画素値とを基に、前記未知領域の画素値を多値にて生成する画像処理方法である。
請求項１２に記載の発明は、画像を表示する表示装置と、前記表示装置に表示される前記画像の画像情報に対し画像処理を行なう画像処理装置と、を備え、前記画像処理装置は、画像の画像情報から第１の画像領域または第２の画像領域であることを示す二値で表された二値画像を生成する二値画像生成部と、前記二値画像を使用して、前記第１の画像領域および前記第２の画像領域の境界部で画素値を決定したい未知領域を設定する未知領域設定部と、前記未知領域以外の既知領域の中で前記第１の画像領域に属する画素を基に、当該未知領域中の画素の画素値を当該第１の画像領域の予測画素値として予測する画素値予測部と、前記画素値予測部で予測した前記第１の画像領域の予測画素値を色調整後の予測画素値に変換する画素値変換部と、前記画素値変換部により変換された色調整後の予測画素値と前記第２の画像領域の画素値とを基に、前記未知領域の画素値を多値にて生成する多値画像生成部と、を備える画像処理システムである。
請求項１３に記載の発明は、コンピュータに、画像の画像情報から第１の画像領域または第２の画像領域であることを示す二値で表された二値画像を生成する二値画像生成機能と、前記二値画像を使用して、前記第１の画像領域および前記第２の画像領域の境界部で画素値を決定したい未知領域を設定する未知領域設定機能と、前記未知領域以外の既知領域の中で前記第１の画像領域に属する画素を基に、当該未知領域中の画素の画素値を当該第１の画像領域の予測画素値として予測する画素値予測機能と、前記画素値予測機能で予測した前記第１の画像領域の予測画素値を色調整後の予測画素値に変換する画素値変換機能と、前記画素値変換機能により変換された色調整後の予測画素値と前記第２の画像領域の画素値とを基に、前記未知領域の画素値を多値にて生成する多値画像生成機能と、を実現させるためのプログラムである。

請求項１の発明によれば、特定の領域の色調整を行なう際に、色調整を行なった領域とその外縁の領域に疑似輪郭のような不自然な色の領域が生じにくい画像処理装置を提供できる。
請求項２の発明によれば、第２の画像領域の影響を加味して第１の画像領域の色調整を行なうことができる。
請求項３の発明によれば、未知領域における画素値をより簡単に決定することができる。
請求項４の発明によれば、第２の画像領域の影響を加味して第１の画像領域の色調整を行なうことができる。
請求項５の発明によれば、未知領域における画素値をより簡単に決定することができる。
請求項６の発明によれば、未知領域の画素値をより高速に予測することができる。
請求項７の発明によれば、未知領域の画素値をより正確に予測することができる。
請求項８の発明によれば、画素値の決定をより容易に行なうことができる。
請求項９の発明によれば、疑似輪郭のような不自然な色の領域が生じやすい箇所に未知領域を設定できる。
請求項１０の発明によれば、未知領域の設定がより容易になる。
請求項１１の発明によれば、特定の領域の色調整を行なう際に、色調整を行なった領域とその外縁の領域に疑似輪郭のような不自然な色の領域が生じにくい画像処理方法を提供できる。
請求項１２の発明によれば、より自然な色調整を行なうことができる画像処理システムを提供できる。
請求項１３の発明によれば、特定の領域の色調整を行なう際に、色調整を行なった領域とその外縁の領域に疑似輪郭のような不自然な色の領域が生じにくい機能をコンピュータにより実現できる。

本実施の形態における画像処理システムの構成例を示す図である。 本実施形態における画像処理装置の機能構成例を表すブロック図である。 （ａ）〜（ｂ）は、二値画像生成部が行なう処理について示した図である。 （ａ）〜（ｂ）は、加重について説明した図である。 （ａ）〜（ｂ）は、加重を決定する方法について示した図である。 （ａ）〜（ｂ）は、未知領域設定部が、未知領域を設定する処理について示した図である。 原画像に対し未知領域を適用した場合を示している。 画素値予測部が行なう処理の概念図である。 （ａ）〜（ｄ）は、画素値予測部が予測画素値を求める様子を示した図である。 （ａ）〜（ｉ）は、前景領域のみからの画素値を伝搬する場合を示している。 （ａ）は、図１０（ｉ）と同様の図であり、一通り未知領域の画素値が決定したときの画素値の様子を示している。（ｂ）は、さらにループを繰り返し、収束したときの画素値の様子を示している。 （ａ）〜（ｉ）は、後景領域のみからの画素値を伝搬する場合を示している。 （ａ）は、図１２（ｉ）と同様の図であり、一通り未知領域の画素値が決定したときの画素値の様子を示している。（ｂ）は、さらにループを繰り返し、収束したときの画素値の様子を示している。 （ａ）は、原画像において、前景から未知領域内の画素の画素値を求めた結果を示す。（ｂ）は、後景から未知領域Ｍ内の画素の画素値を求めた結果を示す。 （ａ）〜（ｃ）は、従来の色調整により生成された画像と多値画像生成部により生成された多値画像とを比較した図である。 本実施形態における画像処理装置の動作について説明したフローチャートである。

以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。

＜画像処理システム全体の説明＞
図１は、本実施の形態における画像処理システム１の構成例を示す図である。
図示するように本実施の形態の画像処理システム１は、表示装置２０に表示される画像の画像情報に対し画像処理を行なう画像処理装置１０と、画像処理装置１０により作成された画像情報が入力され、この画像情報に基づき画像を表示する表示装置２０と、画像処理装置１０に対しユーザが種々の情報を入力するための入力装置３０とを備える。

画像処理装置１０は、例えば、所謂汎用のパーソナルコンピュータ（ＰＣ）である。そして、画像処理装置１０は、ＯＳ（Operating System）による管理下において、各種アプリケーションソフトウェアを動作させることで、画像情報の作成等が行われるようになっている。
画像処理装置１０は、演算手段であるＣＰＵ（Central Processing Unit）と、記憶手段であるメインメモリ、およびＨＤＤ（Hard Disk Drive）とを備える。ここで、ＣＰＵは、ＯＳやアプリケーションソフトウェア等の各種プログラムを実行する。また、メインメモリは、各種プログラムやその実行に用いるデータ等を記憶する記憶領域であり、ＨＤＤは、各種プログラムに対する入力データや各種プログラムからの出力データ等を記憶する記憶領域である。さらに、画像処理装置１０は、外部との通信を行なうための通信インターフェースを備える。

表示装置２０は、表示画面２１に画像を表示する。表示装置２０は、例えばＰＣ用の液晶ディスプレイ、液晶テレビあるいはプロジェクタなど、加法混色にて画像を表示する機能を備えたもので構成される。したがって、表示装置２０における表示方式は、液晶方式に限定されるものではない。なお、図１に示す例では、表示装置２０内に表示画面２１が設けられているが、表示装置２０として例えばプロジェクタを用いる場合、表示画面２１は、表示装置２０の外部に設けられたスクリーン等となる。

入力装置３０は、キーボードやマウス等で構成される。入力装置３０は、画像処理を行なうためのアプリケーションソフトウェアの起動、終了や、詳しくは後述するが、画像処理を行なう際に、ユーザが画像処理装置１０に対し画像処理を行なうための指示を入力するのに使用する。

画像処理装置１０および表示装置２０は、ＤＶＩ（Digital Visual Interface）を介して接続されている。なお、ＤＶＩに代えて、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）やDisplayPort等を介して接続するようにしてもかまわない。
また画像処理装置１０と入力装置３０とは、例えば、ＵＳＢ（Universal Serial Bus）を介して接続されている。なお、ＵＳＢに代えて、ＩＥＥＥ１３９４やＲＳ−２３２Ｃ等を介して接続されていてもよい。

このような画像処理システム１において、表示装置２０には、まず最初に画像処理を行なう前の画像である原画像が表示される。そしてユーザが入力装置３０を使用して、画像処理装置１０に対し画像処理を行なうための指示を入力すると、画像処理装置１０により原画像の画像情報に対し画像処理がなされる。この画像処理の結果は、表示装置２０に表示される画像に反映され、画像処理後の画像が再描画されて表示装置２０に表示されることになる。この場合、ユーザは、表示装置２０を見ながらインタラクティブに画像処理を行なうことができ、より直感的に、またより容易に画像処理の作業を行える。

なお本実施の形態における画像処理システム１は、図１の形態に限られるものではない。例えば、画像処理システム１としてタブレット端末を例示することができる。この場合、タブレット端末は、タッチパネルを備え、このタッチパネルにより画像の表示を行なうとともにユーザの指示が入力される。即ち、タッチパネルが、表示装置２０および入力装置３０として機能する。また同様に表示装置２０および入力装置３０を統合した装置として、タッチモニタを用いることもできる。これは、上記表示装置２０の表示画面２１としてタッチパネルを使用したものである。この場合、画像処理装置１０により画像情報が作成され、この画像情報に基づきタッチモニタに画像が表示される。そしてユーザは、このタッチモニタをタッチ等することで画像処理を行なうための指示を入力する。

＜画像処理装置の説明＞
本実施の形態では、画像処理装置１０は、画像処理として画像の色調整を行なう。具体的には、画像の特定の領域に対し、色の調整を行なう。ここで「色調整」とは、画像の色の変更を行なうことである。また「色調整」とは、ある色空間に対し、その色空間を構成する成分の何れか１つ以上を変更することであると言ってもよい。例えば、色調整として、色相を変更する。ただしこれに限られるものではなく、色調整には、彩度や明度を変更する場合も含む。

図２は、本実施形態における画像処理装置１０の機能構成例を表すブロック図である。なお図２では、画像処理装置１０が有する種々の機能のうち本実施形態に関係するものを選択して図示している。
図示するように本実施の形態の画像処理装置１０は、原画像の画像情報を取得する画像情報取得部１１と、ユーザ指示を受け付けるユーザ指示受付部１２と、原画像を二値画像とする二値画像生成部１３と、二値画像中に未知領域を設定する未知領域設定部１４と、未知領域中の画素値を予測する画素値予測部１５と、色調整のために画素値を変換する画素値変換部１６と、多値画像を生成する多値画像生成部１７と、色調整後の画像情報を出力する画像情報出力部１８とを備える。

画像情報取得部１１は、画像処理を行なう対象となる画像の画像情報を取得する。即ち、画像情報取得部１１は、画像処理を行なう前の原画像の画像情報を取得する。この画像情報は、表示装置２０で表示を行なうための、例えば、ＲＧＢ（Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ）のビデオデータ（ＲＧＢデータ）である。

ユーザ指示受付部１２は、入力装置３０により入力された画像処理に関するユーザによる指示を受け付ける。
詳しくは後述するが、具体的には、ユーザ指示受付部１２は、色調整を行なう際に色調整後の色を指定する指示をユーザ指示として受け付ける。

二値画像生成部１３は、原画像の画像情報から前景または後景であることを示す二値で表された二値画像を生成する。
なおここで、「前景」は、第１の画像領域の一例である。ここで「前景」は、画像中で色調整の対象となる領域のことである。また、「後景」は、第２の画像領域の一例である。また「後景」は、画像中で色調整の対象となる領域でない領域であると言うこともできる。ただし、ここでは説明の便宜上、前景と後景とに分けるものであり、３次元空間中で、前景が、前方に位置する画像であり、後景が後方に位置する画像であることを必ずしも意味するものではない。即ち、前景が、後方に位置する画像であり、後景が前方に位置する画像であってもよい。つまりここで第１の画像領域と第２の画像領域は、画像を何らかの方法で、２つの画像領域に分けたときに、便宜上色調整を行なう対象となる箇所を前景と呼び、他方を後景と言うものである。

図３（ａ）〜（ｂ）は、二値画像生成部１３が行なう処理について示した図である。
ここで図３（ａ）は、画像処理を行なう前の画像であり、画像情報取得部１１が取得した画像情報に基づき表示装置２０に表示した原画像Ｇ１を示している。この原画像Ｇ１は、前景である人の髪の毛の画像Ｇ１１と後景であるその背後の画像Ｇ１２とからなる。そして前景と後景との境界は、曖昧である。
また図３（ｂ）は、二値画像生成部１３で原画像Ｇ１の処理を行った後の二値画像Ｇ２である。
ここでは、画像情報取得部１１が取得した画像情報を、前景である髪の毛の画像Ｇ１１の部分を、例えば、「１」とし、後景である背後の部分を「０」とすることで二値化し、二値画像Ｇ２としたものである。

二値画像生成部１３が、画像情報を二値化するには、以下の方法を使用することができる。この方法は、例えば、特開２０１６−００６６４５号公報に記載された方法である。
二値画像生成部１３は、前景に属する画素に基準画素であるシード１を設定する。また後景に属する画素に基準画素であるシード２を設定する。そしてシードが与えられた画素にラベル（例えば、前景なら１、後景なら０というラベル）を設ける。そしてシードが与えられた画素には強さ１を設定しておき、シードが与えられた画素から、まだシードが与えられていない画素に対して、強さを伝搬していきながら、かつ、強さ同士を比較しながら強い方のラベルが採用されていく方法である。この方法によれば、前景と後景とのそれぞれに与えられたシードからそれぞれのラベルを有する画素がその領域を拡張していき、最終的に前景と後景に分離される。

このとき１つの画素から隣接する画素への強さの影響度として加重を考える。そして例えば、この１つの画素から隣接する画素へ強さを伝搬する際には、１つの画素の持つ強さと加重を乗じ、乗じた値が隣接画素の強さになるように行なうことを基本とする。このとき「強さ」は、ラベルに対応する前景や後景に属する強さであり、ある画素がラベルに対応する前景や後景に属する可能性の大きさを表す。強さが大きいほどその画素がラベルに対応する前景や後景に属する可能性が高く、強さが小さいほどその画素がラベルに対応する前景や後景に属する可能性が低い。
また「加重」については、次のように考えることができる。

図４（ａ）〜（ｂ）は、加重について説明した図である。
図４（ａ）では、対象画素Ｔに対して加重を決定する隣接画素Ｒを示している。この場合、隣接画素Ｒは、対象画素Ｔに隣接する８画素である。そして加重は、原画像の画素情報を用いて決定される。つまり対象画素Ｔに対する隣接画素Ｒへの加重は、画素値が近いものほどより大きく、画素値が遠いものほどより小さくなるように決められる。画素値が近いか否かは、例えば、画素値（例えば、ＲＧＢ値）のユークリッド距離などを使用して決めることができる。

例えば、対象画素Ｔの画素値をＰ_０＝（Ｒ_０、Ｇ_０、Ｂ_０）とし、隣接画素Ｒの画素値をＰ_ｉ＝（Ｒ_ｉ、Ｇ_ｉ、Ｂ_ｉ）とすると、ＲＧＢ値のユークリッド距離ｄ_ｉは、下記数１式で定義できる。

またＲＧＢ値のユークリッド距離ｄ_ｉの代わりに下記数２式に示したＹＣｂＣｒ値を使用したユークリッド距離ｄ_ｉ ^ｗを考えてもよい。数２式は、対象画素Ｔの画素値が、Ｐ_０＝（Ｙ_０、Ｃｂ_０、Ｃｒ_０）であり、隣接画素Ｒの画素値が、Ｐ_ｉ＝（Ｙ_ｉ、Ｃｂ_ｉ、Ｃｒ_ｉ）であったときのユークリッド距離ｄ_ｉ ^ｗを示している。また数２式のユークリッド距離ｄ_ｉ ^ｗは、重み係数Ｗ_Ｙ、Ｗ_Ｃｂ、Ｗ_Ｃｒを使用した重みづけユークリッド距離となっている。

さらに画素値は、３成分からなるものに限定されるものではない。例えば、ｎ次元色空間を使用し、ｎ個の色成分によるユークリッド距離ｄ_ｉ ^ｗを考えてもよい。
例えば、下記数３式は、色成分が、Ｘ_１、Ｘ_２、…、Ｘ_ｎである場合である。そして数３式は、対象画素Ｔの画素値が、Ｐ_０＝（Ｘ_１０、Ｘ_２０、…、Ｘ_ｎ０）であり、隣接画素Ｒの画素値が、Ｐ_ｉ＝（Ｘ_１ｉ、Ｘ_２ｉ、…、Ｘ_ｎｉ）であったときのユークリッド距離ｄ_ｉ ^ｗを示している。なお数３式のユークリッド距離ｄ_ｉ ^ｗも重み係数Ｗ_Ｘ１、Ｗ_Ｘ２、…、Ｗ_Ｘｎを使用した重みづけユークリッド距離となっている。

図４（ｂ）では、対象画素Ｔに対して決められる加重の大きさを図示している。ここでは、対象画素Ｔに対して決められる加重がより大きい隣接画素Ｒについては、より太い線ＬＦで示し、対象画素Ｔに対して決められる加重がより小さい隣接画素Ｒについては、より細い線ＬＨで示している。

なおユークリッド距離ｄ_ｉから加重を決定するのは、具体的には以下の方法で行なっている。
図５（ａ）〜（ｂ）は、加重を決定する方法について示した図である。図５（ａ）〜（ｂ）において、横軸は、ユークリッド距離ｄ_ｉを表し、縦軸は、加重を表す。
このユークリッド距離ｄ_ｉは、強さを与えられた画素とその画素の周辺に位置する画素との間で決まる画素値のユークリッド距離ｄ_ｉである。そして例えば、図５（ａ）に図示するように非線形の単調減少関数ｆ１を定め、ユークリッド距離ｄ_ｉに対し、この単調減少関数ｆ１により決まる値を加重とする。
つまりユークリッド距離ｄ_ｉが小さいほど、加重はより大きくなり、ユークリッド距離ｄ_ｉが大きいほど、加重はより小さくなる。
なお単調減少関数は、図５（ａ）のような形状のものに限られるものではなく、単調減少関数であれば特に限られるものではない。よって図５（ｂ）のような線形の単調減少関数ｆ２であってもよい。またユークリッド距離ｄ_ｉの特定の範囲で線形であり、他の範囲で非線形であるような区分線形の単調減少関数であってもよい。

以上のように、強さの伝搬と強さの比較により、結果的に「ラベル」が伝搬され領域を分離することができる。この場合、ラベルと強さが伝搬し、領域の切り分けを行なうと考えることができる。
そしてその結果、前景であるラベル１が付与された領域の画素値を「１」とし、後景であるラベル２が付与された領域の画素値を「０」とする。その結果、画像情報取得部１１が取得した画像情報を二値化し、二値画像Ｇ２とすることができる。

未知領域設定部１４は、二値画像Ｇ２を使用して、前景および後景の境界部で画素値を決定したい未知領域Ｍを設定する。ここで「未知領域」とは、画素値が決定されていない領域のことである。また本実施の形態で、未知領域は、前景および後景の境界部で画素に付与されていたラベルをリセットされた領域である、と言うこともできる。また以後、未知領域以外の領域であり、画素値が決まっている領域を、「既知領域」ということがある。

本実施の形態では、未知領域設定部１４は、前景および後景の境界部から予め定められた幅で未知領域Ｍを設定する。これを行なうため、未知領域設定部１４は、二値画像Ｇ２の中で隣接画素の画素値が異なる画素に対し、未知領域Ｍを設定するフィルタを適用する。具体的には、前景および後景の境界部の画素を中心として二値の画素値の設定を解除する（ラベルをリセットする）フィルタを適用することで未知領域Ｍを設定する。

図６（ａ）〜（ｂ）は、未知領域設定部１４が、未知領域Ｍを設定する処理について示した図である。
このうち図６（ａ）は、未知領域Ｍを設定するフィルタ１４１を示している。このフィルタ１４１は、隣接画素の画素値が異なる画素を中心として設定される。図６（ａ）では、この中心となる画素を中心画素１４２とし、この中心画素１４２に対して設定されるフィルタ１４１を図示している。中心画素１４２の画素値は、「１」および「０」の何れであってもよい。またフィルタ１４１の大きさは、例えば、１０画素×１０画素である。

図６（ｂ）は、このフィルタ１４１を使用して未知領域Ｍを設定した後について示した図である。図６（ｂ）で示すように図６（ａ）で図示した画素値が「１」と「０」との境界部において未知領域Ｍが設定される。

図７は、原画像Ｇ１に対し未知領域Ｍを適用した場合を示している。
図３（ａ）と比較すると、図７では、前景である人の髪の毛の画像Ｇ１１と後景であるその背後の画像Ｇ１２との境界部に、未知領域設定部１４で設定した未知領域Ｍが適用されているのがわかる。

画素値予測部１５は、原画像Ｇ１に対し、図７で示したように未知領域Ｍを適用する。そして未知領域Ｍ以外の既知領域の中で前景に属する画素を基に、未知領域Ｍ中の画素の画素値を前景の予測画素値として予測する。さらに画素値予測部１５は、既知領域の中で後景に属する画素を基に、未知領域Ｍ中の画素の画素値を後景の予測画素値として予測する。
なおここで「予測画素値」とは、既知領域に属する画素の画素値を基に、未知領域に属する画素の画素値を予測したものである。本実施の形態では、既知領域の中で前景に属する画素を基に予測した予測画素値と、既知領域の中で後景に属する画素を基に予測した予測画素値との２種類の予測画素値を求める。

画素値予測部１５が、既知領域の中で前景に属する画素を基に、未知領域Ｍ中の画素の画素値を前景の予測画素値として予測するには、二値画像生成部１３が二値画像を生成した方法と類似する方法を使用することができる。上述したように二値画像生成部１３では、ラベルと強さが伝搬し、領域の切り分けを行なっていた。一方、画素値予測部１５は、ラベルの代わりに画素値を使用し、画素値と画素値の強さを伝搬させ、未知領域Ｍの画素値を決定する。このときシードは、前景に属する画素から選択する。さらに、画素値予測部１５は、前景のみからの画素値を伝搬させ、後景の画素値は考慮しない。

一方、画素値予測部１５が、既知領域の中で後景に属する画素を基に、未知領域Ｍ中の画素の画素値を後景の予測画素値として予測するには、同様に、ラベルの代わりに画素値を使用し、画素値と画素値の強さを伝搬させ、未知領域Ｍの画素値を決定する。このときシードは、後景に属する画素から選択する。さらに、画素値予測部１５は、後景のみからの画素値を伝搬させ、前景の画素値は考慮しない。

図８は、画素値予測部１５が行なう処理の概念図である。
図示するように未知領域Ｍ内の画素１５１の画素値は、前景から画素値を予測する場合と、後景から画素値を予測する場合について求められる。その結果、同じ画素１５１であっても、２通りの結果が得られ、２つの予測画素値が求められる。

図９（ａ）〜（ｄ）は、画素値予測部１５が予測画素値を求める様子を示した図である。
例えば、図９（ａ）は、原画像Ｇ１における画像Ｇ１１と画像Ｇ１２との領域を分離する境界を表したものである。また図９（ｂ）は、二値画像生成部１３で原画像を二値化画像Ｇ２としたもので、前景と後景に分けられたことを示している。この場合、二値画像Ｇ２には、前景と後景を表す二値のラベルがついている。さらに図９（ｃ）は、未知領域設定部１４が、原画像Ｇ１に対し未知領域Ｍを適用した場合を示している。この場合、未知領域Ｍは、前景である画像Ｇ１１と後景である画像Ｇ１２に挟まれるように適用される。そして画像Ｇ１１と未知領域Ｍとの間、および画像Ｇ１２と未知領域Ｍとの間に２つの境界が生じている。さらに図９（ｄ）は、未知領域Ｍの画素を黒で表した図を示す。つまりこの場合、画素値がリセットされている状態を表す。

図１０（ａ）〜（ｉ）は、前景領域のみからの画素値を伝搬する場合を示している。
この場合、画素値と強さの伝搬は、対象画素Ｔと隣接画素Ｒとの（強さ×加重）の比較によりすぐに行なわれる（非同期型）。また対象画素Ｔは、隣接画素Ｒから受ける（強さ×加重）の比較で、自分の強さが更新される（受け身型）。

この場合の加重の算出は、図９（ａ）に示す原画像で行ってもよく、または図９（ａ）に示す原画像を平滑化してから行ってもよい。または、図９（ｄ）の未知領域Ｍに何かしらの画素値を設定して平滑化してもよいものとする。

図１０（ａ）〜（ｉ）では、未知領域Ｍ以外の既知領域の画素で、かつ、前景に属する画素のみが強さ１を持つ。まず、図１０（ｂ）に示す枠Ｗｋの中心の対象画素Ｔが、右下の前景の属する隣接画素Ｒ３の影響のみを受け、加重を乗じた強さが伝搬される。同様に、図１０（ｃ）では、枠Ｗｋ中心の対象画素Ｔは、左隣りの隣接画素Ｒ４と真下の隣接画素Ｒ５から影響を受け、強さが強い方の画素値に更新される。この場合は、まだ対象画素Ｔは、強さを持たないので、この２つの強さの比較でよい。
対象画素Ｔは、未知領域Ｍの画素から順次選択され、図１０（ａ）〜（ｉ）の処理が行われる。なおこの例では、何ループかの結果、一通り未知領域Ｍの画素値が決定することになり、図１０（ｉ）は、一通り決定した結果を示す。
図１０の場合は、後景に属する画素からの影響は受けず、伝搬されるのは前景に属する画素からということになる。

図１１（ａ）は、図１０（ｉ）と同様の図であり、一通り未知領域Ｍの画素値が決定したときの画素値の様子を示している。また図１１（ｂ）は、さらにループを繰り返し、収束したときの画素値の様子を示している。
以上のように、未知領域Ｍの画素に対して、前景からの画素値を予測することができる。

また図１２（ａ）〜（ｉ）は、後景領域のみからの画素値を伝搬する場合を示している。
図１２（ａ）〜（ｉ）で行なう処理は、図１０（ａ）〜（ｉ）の場合と同様である。ただしこの場合は、前景に属する画素からの影響は受けず、伝搬されるのは後景に属する画素からということになる。

図１３（ａ）は、図１２（ｉ）と同様の図であり、一通り未知領域Ｍの画素値が決定したときの画素値の様子を示している。また図１３（ｂ）は、さらにループを繰り返し、収束したときの画素値の様子を示している。

図１４（ａ）は、原画像Ｇ１において、前景から未知領域Ｍ内の画素の画素値を求めた結果を示す。また図１４（ｂ）は、後景から未知領域Ｍ内の画素の画素値を求めた結果を示す。

以上説明したように、画素値予測部１５は、既知領域に含まれ強さを有する画素を起点の画素とし、起点の画素の強さおよび起点の画素の未知領域Ｍに含まれる画素に及ぼす加重に基づいて未知領域Ｍ中の画素の画素値を予測する。具体的には、画素値予測部１５は、起点の画素の強さと起点の画素の未知領域Ｍに含まれる画素に及ぼす加重とを乗じた値が最も大きくなる起点の画素の画素値に基づいて未知領域Ｍ中の画素の画素値を予測する。
そして画素値予測部１５は、このようにして未知領域Ｍに含まれる画素の画素値を決定し、画素値が決定した画素を新たな起点の画素としてさらに決定を行なうことを繰り返すことで未知領域Ｍ中の画素の画素値を予測する。

画素値変換部１６は、画素値予測部１５で予測した前景の予測画素値を色調整後の予測画素値に変換する。この色調整の指示はユーザによりなされ、このユーザ指示がユーザ指示受付部１２により受け付けられる。そしてこのユーザ指示に従い、画素値変換部１６は、前景の予測画素値を色調整後の予測画素値に変換する。

画素値変換部１６が行なう変換は、下記数４式で表すことができる。ここでＩ_Ｆは、画素値予測部１５で予測した前景の予測画素値である。またＩ_Ｆｔは、色調整後の前景の予測画素値である。

色調整後の色は、例えば、表示装置２０の表示画面２１にカラーパレットなどを表示させ、これからユーザが色を選択するような方法で決定することができる。また表示画面２１に、色相、彩度、明度をそれぞれ調整するためのスライバーを設け、ユーザがこれを操作するような方法で決定することができる。

多値画像生成部１７は、画素値変換部１６により変換された色調整後の予測画素値と後景の画素値とを基に、未知領域Ｍの画素値を多値にて生成する。ここでは、多値画像生成部１７は、色調整後の予測画素値と後景の予測画素値とから、未知領域Ｍの画素値を生成する。

ここで未知領域Ｍ中の画素値をＩ_Ｃすると、Ｉ_Ｃは、以下の数５式で表すことができる。

ここでＩ_Ｆｔは、色調整後の前景の予測画素値である。またＩ_Ｂは、後景の予測画素値である。つまり、多値画像生成部１７は、色調整後の予測画素値Ｉ_Ｆｔと後景の予測画素値Ｉ_Ｂとの加重平均を求めることで、未知領域Ｍの画素値を生成する。なおＩ_Ｃ、Ｉ_Ｆｔ、Ｉ_Ｂの画素値は、ＲＧＢ色空間やＬ^＊ａ^＊ｂ^＊色空間では、ベクトルで表すことができ、グレースケールであればスカラーで表すことができる。つまり画像がカラー画像の場合は、複数の色成分からなるため、数５式の画素値Ｉ_Ｃ、Ｉ_Ｆｔ、Ｉ_Ｂは、それぞれ色成分の数だけ存在する。例えば、ＲＧＢ色空間では、Ｉ_Ｃ、Ｉ_Ｆｔ、Ｉ_Ｂは、３つずつ存在する。

またαは、０≦α≦１であり、前景度合いを表すパラメータである。即ち、αが１のときＩ_Ｃ＝Ｉ_ＦｔとなりＩ_Ｃの画素値は、前景から予測された画素値と同じになる。またαが０のときＩ_Ｃ＝Ｉ_ＢとなりＣの画素値は、後景から予測された画素値と同じになる。よってαが大きいほど前景の度合いが高まると考えることができる。

つまり境界部の画素は、前景から予測された画素値と後景から予測された画素値とがある割合で混合した画素値を有すると考え、画素値Ｉ_Ｃを上記数５式のように表す。

画像情報出力部１８は、色調整後の画像情報を出力する。つまり色調整後の画素値としてＩ_Ｃからなる画像情報を出力する。

図１５（ａ）〜（ｃ）は、従来の色調整により生成された画像と多値画像生成部１７により生成された多値画像とを比較した図である。
このうち図１５（ａ）は、原画像Ｇ１である。また図１５（ｂ）は、従来の色調整により生成された画像ＧＥを概念的に示したものであり、原画像Ｇ１におけるバックの画像Ｇ１３に対し色調整を行なった場合を示している。この場合、画像ＧＥでは、色調整後のバックの画像Ｇ１３の周囲に疑似輪郭Ｇｒが生じている。なおここで「疑似輪郭」とは、画像中の滑らかに明るさが変化する箇所において、本来存在しないはずの輪郭のような線が生じる現象を言う。
対して図１５（ｃ）は、多値画像生成部１７により生成された多値画像Ｇ３を概念的に示したものであり、バックの画像Ｇ１３に対し色調整を行なった場合を示している。この場合、多値画像Ｇ３では、バックの画像Ｇ１３の周囲に疑似輪郭Ｇｒは生じていない。

図１６は、本実施形態における画像処理装置１０の動作について説明したフローチャートである。

まず画像情報取得部１１が、画像処理を行なう画像の画像情報としてＲＧＢデータを取得する（ステップ１０１）。

次に二値画像生成部１３が、画像情報を前景または後景であることを示す二値で表された二値画像を生成する（ステップ１０２）。その結果、図３（ｂ）に示すような二値画像Ｇ２が生成される。

次に未知領域設定部１４が、二値画像を使用して、前景および後景の境界部で未知領域Ｍを設定する（ステップ１０３）。この処理は、図６で示したような未知領域Ｍを設定するフィルタを使用することで行なう。その結果、図７で示すような未知領域Ｍが設定される。

さらに画素値予測部１５は、既知領域の画像情報を使用して、前景に属する画素と後景に属する画素とでそれぞれシードを設定し、未知領域Ｍ中の画素に対する画素値をそれぞれの場合について予測する（ステップ１０４）。その結果、図１４に示したような２通りの結果が得られる。

次にユーザ指示受付部１２が、前景について色調整後の色をユーザ指示として取得する（ステップ１０５）。
さらに画素値変換部１６が、画素値予測部１５で予測した前景の予測画素値を色調整後の予測画素値に変換する（ステップ１０６）。

そして多値画像生成部１７が、画素値変換部１６により変換された色調整後の予測画素値と後景の画素値とを基に、未知領域Ｍの画素値を多値にて生成する（ステップ１０７）。この多値の画素値は、例えば、数５式を使用することで求めることができる。

さらに画像情報出力部１８が、色調整がなされた後の画像情報を出力する（ステップ１０８）。この画像情報は、ＲＧＢデータであり、このＲＧＢデータは、表示装置２０に送られ、表示画面２１に色調整後の画像が表示される。

また図１６で説明した処理は、画像の画像情報から前景または後景であることを示す二値で表された二値画像を生成し、二値画像を使用して、前景および後景の境界部で画素値を決定したい未知領域Ｍを設定し、未知領域Ｍ以外の既知領域の中で前景に属する画素を基に、未知領域Ｍ中の画素の画素値を前景の予測画素値として予測し、予測した前景の予測画素値を色調整後の予測画素値に変換し、変換された色調整後の予測画素値と後景の画素値とを基に、未知領域Ｍの画素値を多値にて生成する画像処理方法、として捉えることもできる。

以上説明した画像処理装置１０によれば、前景と後景とに分けた二値画像を作成し、前景と後景との境界部に未知領域Ｍを設定する。そして既知領域の画像情報を使用して、前景に属する画素と後景に属する画素とでそれぞれシードを設定し、領域拡張法により、未知領域Ｍ中の画素に対する画素値をそれぞれの場合について予測し、前景から予測した予測画素値と後景から予測した予測画素値との２通りの予測画素値を算出する。そして前景の予測画素値をユーザの指示により色変換を行い色調整する。さらに色調整後の予測画素値と後景の予測画素値から多値の画素値を生成し、これを未知領域Ｍにおける色調整後の画素値とする。
これにより前景と後景との境界付近で、色調整の結果が、後景の影響を考慮したものとなり、より自然な色再現が可能となる。その結果、色調整を行なった前景とその外縁の領域に疑似輪郭のような不自然な色の領域が生じにくくなる。

＜変形例＞
上述した例では、多値画像生成部１７は、色調整後の予測画素値と後景の予測画素値とから、未知領域Ｍの画素値を生成したが、後景の予測画素値の代わりに後景の画素値を使用してもよい。つまりこの場合、多値画像生成部１７は、色調整後の予測画素値と後景の画素値とから、未知領域Ｍの画素値を生成する。
この場合、数５式は、下記６式となる。

ここでＩ_Ｏは、未知領域Ｍを設定前の後景の画素値である。この場合、多値画像生成部１７は、色調整後の予測画素値と後景の画素値との加重平均を求めることで、未知領域Ｍの画素値を生成する。つまり数６式は、数５式の後景の予測画素値Ｉ_Ｂが、後景の画素値Ｉ_Ｏに置き換わったものである。

＜プログラムの説明＞
ここで以上説明を行った本実施の形態における画像処理装置１０が行なう処理は、例えば、アプリケーションソフトウェア等のプログラムとして用意される。

よって本実施の形態で、画像処理装置１０が行なう処理は、コンピュータに、画像の画像情報から第１の画像領域（前景）または第２の画像領域（後景）であることを示す二値で表された二値画像を生成する二値画像生成機能と、二値画像を使用して、第１の画像領域および第２の画像領域の境界部で画素値を決定したい未知領域を設定する未知領域設定機能と、未知領域以外の既知領域の中で第１の画像領域に属する画素を基に、未知領域中の画素の画素値を第１の画像領域の予測画素値として予測する画素値予測機能と、画素値予測機能で予測した第１の画像領域の予測画素値を色調整後の予測画素値に変換する画素値変換機能と、画素値変換機能により変換された色調整後の予測画素値と第２の画像領域の画素値とを基に、未知領域の画素値を多値にて生成する多値画像生成機能と、を実現させるためのプログラムとして捉えることもできる。

なお、本実施の形態を実現するプログラムは、通信手段により提供することはもちろん、ＣＤ−ＲＯＭ等の記録媒体に格納して提供することも可能である。

以上、本実施の形態について説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、種々の変更または改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。

１…画像処理システム、１０…画像処理装置、１１…画像情報取得部、１２…ユーザ指示受付部、１３…二値画像生成部、１４…未知領域設定部、１５…画素値予測部、１６…画素値変換部、１７…多値画像生成部、１８…画像情報出力部、２０…表示装置、３０…入力装置

Claims (13)

1. 画像の画像情報から第１の画像領域または第２の画像領域であることを示す二値で表された二値画像を生成する二値画像生成部と、
   前記二値画像を使用して、前記第１の画像領域および前記第２の画像領域の境界部で画素値を決定したい未知領域を設定する未知領域設定部と、
   前記未知領域以外の既知領域の中で前記第１の画像領域に属する画素を基に、当該未知領域中の画素の画素値を当該第１の画像領域の予測画素値として予測する画素値予測部と、
   前記画素値予測部で予測した前記第１の画像領域の予測画素値を色調整後の予測画素値に変換する画素値変換部と、
   前記画素値変換部により変換された色調整後の予測画素値と前記第２の画像領域の画素値とを基に、前記未知領域の画素値を多値にて生成する多値画像生成部と、
   を備える画像処理装置。
2. 前記画素値予測部は、前記既知領域の中で前記第２の画像領域に属する画素を基に、前記未知領域中の画素の画素値を当該第２の画像領域の予測画素値として予測し、
   前記多値画像生成部は、色調整後の予測画素値と前記第２の画像領域の予測画素値とから、前記未知領域の画素値を生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記多値画像生成部は、色調整後の予測画素値と前記第２の画像領域の予測画素値との加重平均を求めることで、前記未知領域の画素値を生成することを特徴とする請求項２に記載の画像処理装置。
4. 前記多値画像生成部は、色調整後の予測画素値と前記第２の画像領域の画素値とから、前記未知領域の画素値を生成することを特徴とする請求項１に記載の画像処理装置。
5. 前記多値画像生成部は、色調整後の予測画素値と前記第２の画像領域の画素値との加重平均を求めることで、前記未知領域の画素値を生成することを特徴とする請求項４に記載の画像処理装置。
6. 前記画素値予測部は、前記既知領域に含まれ強さを有する画素を起点の画素とし、当該起点の画素の強さおよび当該起点の画素の前記未知領域に含まれる画素に及ぼす加重に基づいて当該未知領域中の画素の画素値を予測することを特徴とする請求項１に記載の画像処理装置。
7. 前記画素値予測部は、前記起点の画素の強さおよび当該起点の画素の前記未知領域に含まれる画素に及ぼす加重に基づいて当該未知領域に含まれる画素の画素値を決定し、画素値が決定した画素を新たな起点の画素としてさらに当該決定を行なうことを繰り返すことで当該未知領域中の画素の画素値を予測することを特徴とする請求項６に記載の画像処理装置。
8. 前記画素値予測部は、前記起点の画素の強さと当該起点の画素の前記未知領域に含まれる画素に及ぼす加重とを乗じた値が最も大きくなる起点の画素の画素値に基づいて当該未知領域中の画素の画素値を予測することを特徴とする請求項６に記載の画像処理装置。
9. 前記未知領域設定部は、前記第１の画像領域および前記第２の画像領域の境界部から予め定められた幅で前記未知領域を設定することを特徴とする請求項１に記載の画像処理装置。
10. 前記未知領域設定部は、前記第１の画像領域および前記第２の画像領域の境界部の画素を中心として二値の画素値の設定を解除するフィルタを適用することで前記未知領域を設定することを特徴とする請求項９に記載の画像処理装置。
11. 画像の画像情報から第１の画像領域または第２の画像領域であることを示す二値で表された二値画像を生成し、
    前記二値画像を使用して、前記第１の画像領域および前記第２の画像領域の境界部で画素値を決定したい未知領域を設定し、
    前記未知領域以外の既知領域の中で前記第１の画像領域に属する画素を基に、当該未知領域中の画素の画素値を当該第１の画像領域の予測画素値として予測し、
    予測した前記第１の画像領域の予測画素値を色調整後の予測画素値に変換し、
    変換された色調整後の予測画素値と前記第２の画像領域の画素値とを基に、前記未知領域の画素値を多値にて生成する画像処理方法。
12. 画像を表示する表示装置と、
    前記表示装置に表示される前記画像の画像情報に対し画像処理を行なう画像処理装置と、
    を備え、
    前記画像処理装置は、
    画像の画像情報から第１の画像領域または第２の画像領域であることを示す二値で表された二値画像を生成する二値画像生成部と、
    前記二値画像を使用して、前記第１の画像領域および前記第２の画像領域の境界部で画素値を決定したい未知領域を設定する未知領域設定部と、
    前記未知領域以外の既知領域の中で前記第１の画像領域に属する画素を基に、当該未知領域中の画素の画素値を当該第１の画像領域の予測画素値として予測する画素値予測部と、
    前記画素値予測部で予測した前記第１の画像領域の予測画素値を色調整後の予測画素値に変換する画素値変換部と、
    前記画素値変換部により変換された色調整後の予測画素値と前記第２の画像領域の画素値とを基に、前記未知領域の画素値を多値にて生成する多値画像生成部と、
    を備える画像処理システム。
13. コンピュータに、
    画像の画像情報から第１の画像領域または第２の画像領域であることを示す二値で表された二値画像を生成する二値画像生成機能と、
    前記二値画像を使用して、前記第１の画像領域および前記第２の画像領域の境界部で画素値を決定したい未知領域を設定する未知領域設定機能と、
    前記未知領域以外の既知領域の中で前記第１の画像領域に属する画素を基に、当該未知領域中の画素の画素値を当該第１の画像領域の予測画素値として予測する画素値予測機能と、
    前記画素値予測機能で予測した前記第１の画像領域の予測画素値を色調整後の予測画素値に変換する画素値変換機能と、
    前記画素値変換機能により変換された色調整後の予測画素値と前記第２の画像領域の画素値とを基に、前記未知領域の画素値を多値にて生成する多値画像生成機能と、
    を実現させるためのプログラム。

Images