JP4529820B2 - 画像処理装置およびその方法 - Google Patents

Description

本発明は、画像処理装置およびその方法に関し、特に、カラー画像データの地肌を検出して、その地肌を有効に除去することができるようにした画像処理装置およびその方法に関する。

近年、デジタルカメラの普及に伴い、黒板やホワイトボードに書き込まれた情報や掲示物、チラシ、雑誌、新聞の一部情報や名刺等をデジタルカメラで撮影して情報を記録するケースが見受けられる。

これには、デジタルカメラの性能が向上し、解像度が上昇して可搬性良く出先で簡単に撮影対象を撮影して情報を記録することができるようになった要因が考えられる。

従来は、チラシ、雑誌等の紙面の情報を記録する際には、半固定式のスキャナーが用いられ、その際には、均一なライティング（照明）状態が得られた。

しかし、デジタルカメラで情報を記録する際には、撮影時に常に均一なライティング状態を得ることは難しく、そのような均一でないライティング状態により撮影された画像にはムラが生じてしまう。

また、紙の原稿等をデジタルカメラで撮影した場合には、画像データに紙の地肌も撮影されて汚くなってしまう。

ムラのあるカラー画像データは、カラーコピー、カラースキャン等でも、撮影された画像データ中の地肌を除去することは困難である。

撮影された画像データの地肌を除去する従来技術として、特許文献１に示すように、貼り合せ原稿等の地肌の画像データを示す地肌レベルが急激に変化する場合や地肌レベルが連続的に変化するようなムラのある原稿であっても、原稿のエリア毎に地肌レベルを検知し、自然な地肌除去処理をすることができる画像処理装置が提案されている。

なお、特許文献１に記載された技術においては、貼り合せ原稿に対する地肌除去処理として、検出する地肌レベルを急激に切り替える方式が提案され、また、ムラのある原稿に対する地肌除去処理として、地肌レベルが徐々に連続的に変化するように調整する方式が提案されている。
特開２００２−２４７３６３号公報

しかし、特許文献１に記載された技術においては、原稿の画像データの濃度値だけに注目して処理を行うため、それぞれの画素が色空間のチャンネルの値で表現されるカラー画像データへの対応がなされていなかった。

それで、例えば、ＲＧＢの色空間で表現されるカラー画像データの場合に、Ｒ、Ｇ、Ｂのそれぞれのチャンネルに対して特許文献１に示す発明を適用すると、色合いが変わる、色滲みが発生する等の不都合が生じた。

そこで、この発明は、原稿の画像データがカラーであっても、カラー画像データの地肌を検出して、その地肌を有効に除去することができる画像処理装置およびその方法を提供することを目的とする。

上記目的を達成する為、請求項１の発明の画像処理装置は、画像データを入力する画像データ入力手段と、前記画像データ入力手段で入力した画像データを所定の色空間における各チャンネルのデータに変換する変換手段と、前記変換手段で変換された前記各チャンネルのデータからそれぞれ地肌レベルを検出する地肌検出手段と、前記地肌検出手段で検出した前記各チャンネルの地肌レベルに基づき各チャンネルの地肌除去レベルを算出する算出手段と、前記所定の色空間における各チャンネルの優先順位を操作者より受け付ける優先順位受付手段と、前記優先順位が第１位のチャンネルの前記算出手段で算出された地肌除去レベルと、地肌除去処理対象画素の該第１位のチャンネルのデータとに基づき当該地肌除去処理対象画素が地肌である可能性があるか否かを判断する第１の判断手段と、前記第１の判断手段で当該地肌除去処理対象画素が地肌である可能性があると判断された場合に、前記優先順位が第２位のチャンネルの前記算出手段で算出された地肌除去レベルと当該地肌除去処理対象画素の当該第２位のチャンネルのデータとに基づき当該地肌除去処理対象画素が地肌である否かの判断を行う第２の判断手段と、前記第２の判断手段で当該地肌除去処理対象画素が地肌であると判断された場合に、当該地肌除去処理対象画素の前記優先順位が第１位以外のチャンネルのデータに対する前記画像データの地肌除去処理を実行する第１の地肌除去処理手段と、前記第２の判断手段で当該地肌除去処理対象画素が地肌であると判断されない場合、或いは、前記第１の判断手段で当該地肌除去処理対象画素が地肌である可能性がないと判断された場合に、当該地肌除去処理対象画素の前記優先順位が第１位以外のチャンネルのデータに対する前記画像データの地肌除去処理を実行する第２の地肌除去処理手段と、前記第１の地肌除去処理手段或いは前記第２の地肌除去処理手段で前記画像データの地肌除去処理がされた各チャンネルのデータに基づき地肌が除去された画像データを生成する生成手段とを具備するように構成される。

また、請求項２の発明は、請求項１の発明において、前記画像データ入力手段で入力した画像データを複数の領域に分割する領域分割手段を更に具備し、前記地肌検出手段による地肌レベルの検出、および、前記算出手段による地肌除去レベルの算出、および、前記第１の地肌除去処理手段による地肌除去処理或いは前記第２の地肌除去処理手段による地肌除去処理、を前記領域分割手段で分割された領域毎に行うように構成される。

また、請求項３の発明は、請求項１または２の発明において、前記所定の色空間における各チャンネルは、色相を表すＨチャンネルと、明度式を表すＩチャンネルと、彩度を表すＳチャンネルとからなり、前記優先順位受付手段は、前記Ｈチャンネルを第１の優先順位、前記Ｉチャンネルを第２の優先順位、前記Ｓチャネンルを第３の優先順位と受け付け、前記第１の判断手段は、前記地肌除去処理対象画素の前記Ｈチャンネルのデータが所定の範囲内である場合に当該地肌除去処理対象画素を地肌と判断し、前記第２の判断手段は、前記地肌除去処理対象画素の前記Ｉチャンネルのデータが当該チャンネルの地肌除去レベルより低い場合は、当該地肌除去処理対象画素を地肌と判断するように構成される。

また、請求項４の発明は、請求項３の発明において、前記第１の地肌除去処理手段は、前記地肌除去処理対象画素の前記Ｉチャンネルのデータおよび前記地肌除去処理対象画素の前記Ｓチャンネルのデータを最小の値にすることにより当該地肌除去処理対象画素に対する前記画像データの地肌除去処理を実行し、前記第２の地肌除去処理手段は、前記地肌除去処理対象画素の前記Ｉチャンネルのデータを前記Ｉチャンネルの地肌レベルにしたがって下げるとともに、前記地肌除去処理対象画素の前記Ｓチャンネルのデータを前記Ｉチャンネルの当該地肌除去処理対象画素のデータの下げ量に対応して下げることにより当該地肌除去処理対象画素に対する前記画像データの地肌除去処理を実行するように構成される。

また、請求項５の発明の画像処理方法は、所定の色空間における各チャンネルの優先順位を操作者より優先順位受付手段により受け付け、画像データを画像データ入力手段により入力し、前記画像データ入力手段で入力した画像データを前記所定の色空間における各チャンネルのデータに変換手段により変換し、前記変換手段で変換された前記各チャンネルのデータからそれぞれ地肌レベルを地肌検出手段により検出し、前記地肌検出手段で検出した前記各チャンネルの地肌レベルに基づき各チャンネルの地肌除去レベルを算出手段により算出し、前記優先順位が第１位のチャンネルの前記算出手段で算出された地肌除去レベルと、地肌除去処理対象画素の該第１位のチャンネルのデータとに基づき当該地肌除去処理対象画素が地肌である可能性があるか否かを第１の判断手段で判断し、前記第１の判断手段で当該地肌除去処理対象画素が地肌である可能性があると判断された場合に、前記優先順位が第２位のチャンネルの前記算出手段で算出された地肌除去レベルと当該地肌除去処理対象画素の当該第２位のチャンネルのデータとに基づき当該地肌除去処理対象画素が地肌である否かの判断を第２の判断手段により行い、更に、前記第２の判断手段で当該地肌除去処理対象画素が地肌であると判断された場合に、当該地肌除去処理対象画素の前記優先順位が第１位以外のチャンネルのデータに対する前記画像データの地肌除去処理を第１の地肌除去処理手段により実行し、前記第２の判断手段で当該地肌除去処理対象画素が地肌であると判断されない場合、或いは、前記第１の判断手段で当該地肌除去処理対象画素が地肌である可能性がないと判断された場合に、当該地肌除去処理対象画素の前記優先順位が第１位以外のチャンネルのデータに対する前記画像データの地肌除去処理を第２の地肌除去処理手段により実行し、前記第１の地肌除去処理手段或いは前記第２の地肌除去処理手段で前記画像データの地肌除去処理がされた各チャンネルのデータに基づき地肌が除去された画像データを生成する。

本発明の画像処理装置およびその方法によれば、画像データを入力する画像データ入力手段と、前記画像データ入力手段で入力した画像データを所定の色空間における各チャンネルのデータに変換する変換手段と、前記変換手段で変換された前記各チャンネルのデータからそれぞれ地肌レベルを検出する地肌検出手段と、前記地肌検出手段で検出した前記各チャンネルの地肌レベルに基づき各チャネルの地肌除去レベルを算出する算出手段と、前記算出手段で算出した各チャネルの地肌除去レベルに基づき前記各チャンネル毎に地肌除去処理を行う地肌除去手段と、前記地肌除去手段で地肌除去処理された各チャンネルのデータに基づき地肌が除去された画像データを生成する生成手段とを具備するように構成したので、カラー画像データの地肌を示す画像情報を検出して、その地肌を有効に除去することができるという効果を奏する。

以下、本発明に係わる画像処理装置およびその方法の実施例について添付図面を参照して詳細に説明する。

図１は、本発明に係わる画像処理装置における構成について示したブロック図である。

本発明に係わる画像処理装置は、パーソナルコンピュータに、カラー画像用地肌検出部１０１、カラー画像用地肌除去部１０２、ユーザ指示部１０３、処理速度吸収用メモリ１０４、ＨＩＳ空間変換部１０５、ＲＧＢ空間変換部１０６を備えて構成される。

カラー画像用地肌検出部１０１は、地肌レベル検出部１０７と地肌除去レベル算出部１０８を有している。

地肌レベル検出部１０７は、処理速度吸収用メモリ１０４に入力されたＨＩＳ（Hue Intensity Saturation）空間で表されるカラー画像データを地肌の分布に応じて複数のエリアに分割し、分割されたエリア毎にエリア内に存在する画素のＨＩＳ空間のＨ（色相）、Ｉ（明度）、Ｓ（彩度）の各チャンネル毎の値によって、ヒストグラムを作成する。

作成したヒストグラムから、地肌レベルとして閾値をＨ、Ｉ、Ｓの各チャンネル毎に決定し、また、ユーザ指示部１０３より入力される地肌除去の優先順位が１位のチャンネルについては、地肌レベルとして地肌の範囲を示す範囲値を決定する。

このように作成したヒストグラムより、地肌レベルとして閾値と範囲値を決定する。

閾値は、作成したヒストグラムをＨ、Ｉ、Ｓ毎に作成し頻度最大値をもって閾値と決定するが、他に、作成したヒストグラムを解析して決定するやり方や、エリア内のＨ、Ｉ、Ｓの各チャンネルのそれぞれの平均値、中間値を計算して算出した値を閾値と決定するやり方も可能である。

範囲値は、閾値からの幅であり、ユーザ指示部１０３よりユーザの所望する地肌除去基準がカラー画像用地肌検出部１０１に送られ、送られた地肌除去基準に応じて地肌レベル検出部１０７に予め設定されているデータ列から決定される。

そして、検出された地肌レベルは、カラー画像用地肌検出部１０１内の地肌除去レベル算出部１０８により、入力カラー画像データがムラ原稿や貼り合せ原稿の場合に対応して、地肌レベルを調整して地肌除去レベルが算出される。

地肌除去レベル算出部１０８で、入力カラー画像データがムラ原稿の場合には、分割されたエリアのチャンネル毎の地肌レベルが徐々に連続的に変化するように調整する方式が行われ、貼り合せ原稿の場合には、分割されたエリアのチャンネル毎の地肌レベルが急激に切り替えられる方式によって調整が行われて、分割されたエリアにおけるチャンネル毎に地肌除去レベルが算出される。

カラー画像用地肌除去部１０２は、カラー画像用地肌検出部１０１から送られた地肌除去レベルを元に処理速度吸収用メモリ１０４に保存されているカラー画像データの地肌除去処理を行う。

カラー画像用地肌除去部１０２に送られる情報は、地肌除去レベル算出部１０８で地肌除去レベルが算出された後に、カラー画像用地肌検出部１０１から、地肌除去レベルである各チャンネル毎の閾値と、優先順位が１位のチャンネルの範囲値と、優先して地肌除去するチャンネルの優先順位とが送られる。

カラー画像用地肌除去部１０２において地肌除去されるカラー画像データは、処理速度吸収用メモリ１０４からカラー画像用地肌除去部１０２に送られる。

ユーザ指示部１０３は、地肌除去する強弱を地肌除去基準として、ユーザが地肌除去基準を強、中、弱で入力したり、場合によっては、範囲値をユーザが直接入力したり、地肌レベルを表す範囲値を自動で決定する選択の入力をユーザが行う。

また、ユーザ指示部１０３から、地肌除去処理が行われる際に、優先して地肌除去を行うＨ、Ｉ、Ｓのチャンネルの優先順位が、ユーザによって入力される。

処理速度吸収用メモリ１０４は、地肌除去処理されるＨＩＳの色空間で表現されるカラー画像データが入力され、表現されるカラー画像データが、カラー画像用地肌検出部１０１で閾値と範囲値が検出される際に、処理速度を上げる為に、地肌除去の対象となるカラー画像データを処理速度吸収用メモリ１０４内に保存する処理を行う。

ＨＩＳ空間変換部１０５は、地肌除去の対象となるカラー画像データがＲＧＢ（Red Green Blue）の色空間で表現されている場合に、ＲＧＢの色空間で表現されているカラー画像データをＨＩＳの色空間で表現するように、ＲＧＢからＨＩＳへの色空間の変換処理を行う。

ＨＩＳ空間変換部１０５で変換されたカラー画像データはＨＩＳの色空間で表され、Ｈ、Ｉ、Ｓの各チャンネルの値がともに０から２５５へ拡張されて処理速度吸収用メモリ１０４に送られる。

ＲＧＢ空間変換部１０６は、カラー画像用地肌除去部１０２によって地肌が除去されたＨＩＳの色空間で表現されるカラー画像データを、ＲＧＢの色空間で表現されるように変換する処理を行う。

このように、本発明に係わる画像処理装置には、ＲＧＢの色空間によって表現されたカラー画像データがＨＩＳ空間変換部１０５に入力され、ＨＩＳ空間変換部１０５において入力カラー画像データの色空間がＲＧＢからＨＩＳに変換されて処理速度吸収用メモリ１０４に保存される。

そして、ユーザ指示部１０３より入力された地肌除去基準等の情報により、カラー画像用地肌検出部１０１内で地肌除去レベルが算出され、カラー画像用地肌除去部１０２で入力カラー画像データの地肌除去処理が行われ、ＲＧＢ空間変換部１０６でＨＩＳ空間からＲＧＢ空間に変換されて、地肌除去処理されたＲＧＢ空間のカラー画像データが生成される。

次に、カラー画像データが地肌の分布に応じて複数のエリアに分割されて、分割されたエリアのうちの１つのエリア内に存在するＭ×Ｎ（縦×横）個の画素について図２を参照して説明を行う。

図２は、カラー画像データが地肌の分布に応じて複数のエリアに分割されて、１つのエリア内に存在するＭ×Ｎ個の画素について示す模式図である。

図２に示すように、カラー画像データは、複数のエリアに分割され、１つのエリアであるエリア２０１内にはＭ×Ｎ個の画素が存在する。

カラー画像用地肌検出部１０１ないの地肌レベル検出部１０７において、１つのエリア内に存在するＭ×Ｎ個の画素のＨ、Ｉ、Ｓの各チャンネルの値についてヒストグラムが形成されて、地肌レベルである閾値と範囲値とが求められる。

次に、処理速度吸収用メモリ１０４に保存されたカラー画像データの分割されたエリアのうちの１つのエリア内に存在するＭ×Ｎ個の画素のＨ、Ｉ、Ｓの各チャンネルの値によって形成されるヒストグラムについて図３を参照して説明する。

図３は、処理速度吸収用メモリ１０４に保存されたカラー画像データの分割されたエリアのうちの１つのエリア内に存在するＭ×Ｎ個の画素のＨ、Ｉ、Ｓの各チャンネルの値によって形成されるヒストグラムである。

図３（ａ）は、処理速度吸収用メモリ１０４に保存されたカラー画像データの分割されたエリアのうちの１つのエリア内に存在するＭ×Ｎ個の画素のＨのチャンネルの値で形成されるヒストグラム、図３（ｂ）は、処理速度吸収用メモリ１０４に保存されたカラー画像データの分割されたエリアのうちの１つのエリア内に存在するＭ×Ｎ個の画素のＩのチャンネルの値で形成されるヒストグラム、図３（ｃ）は、処理速度吸収用メモリ１０４に保存されたカラー画像データの分割されたエリアのうちの１つのエリア内に存在するＭ×Ｎ個の画素のＳのチャンネルの値で形成されるヒストグラムである。

処理速度吸収用メモリ１０４に保存されたカラー画像データの分割されたエリアのうちの１つのエリアには、図２を参照して説明したように、Ｍ×Ｎ個の画素が存在し、Ｍ×Ｎ個の画素の各画素のＨ、Ｉ、Ｓの各チャンネルの値によってＨ、Ｉ、Ｓ毎にヒストグラムが形成される。

１つのエリアについてのＨ、Ｉ、Ｓ毎のヒストグラムはカラー画像用地肌検出部１０１において形成され、カラー画像データの地肌を除去する為に必要な地肌レベルを示す閾値と範囲値とが形成された各ヒストグラムより求められる。

図３に示すように、１つのエリアにおける画素のＨ、Ｉ、Ｓの各チャンネルによるヒストグラムが形成され、形成されたヒストグラムの山を形成する値である、エリア内の画素において使用される頻度の高いＨ、Ｉ、Ｓの値が、閾値として地肌レベル検出部１０７で決定される。

例えば、図３（ａ）に示すＨについてのヒストグラムにおいては、ヒストグラムにおいて山を形成しているＨの値がｋ（３０１）であり、ヒストグラムが形成されたエリア内で使用される頻度が最も高いので、Ｈについての閾値はｋ（３０１）となる。

他のチャンネルであるＳ、Ｉの閾値についても同様に求められ、図３（ｂ）に示すＳについてのヒストグラムと図３（ｃ）に示すＩについてのヒストグラムから、使用される頻度の高いＳ、Ｉの値がそれぞれのチャンネルの閾値として求められる。

次に、カラー画像用地肌検出部１０１において、カラー画像データが分割されたエリアのうちの１つのエリアにおいて、Ｈ、Ｉ、Ｓに関する閾値を決定する他のやり方について図４を参照して説明を行う。

図４は、カラー画像用地肌検出部１０１において、カラー画像データが分割されたエリアのうちの１つのエリアにおいて、Ｈ、Ｉ、Ｓの各チャンネルの閾値を決定するやり方の１つであって、作成されたヒストグラムに解析を行って各チャンネルの閾値を決定するやり方について示したヒストグラムである。

カラー画像データが分割されたエリアのうちの１つのエリアにおいて、Ｈ、Ｉ、Ｓの各チャンネルの閾値を決定するやり方は、Ｈ、Ｉ、Ｓ毎にヒストグラムを作成して頻度最大値を閾値とするやり方を説明したが、それ以外に、作成されたヒストグラムを他の解析手法により解析して閾値を決定することも可能である。

例えば、他の解析手法として、図４に示すようにエリア内の１つのチャンネルについてのヒストグラムに２つの山が形成された状態となった場合には、１つの山を示す値ｐ（４０１）ともう１つの山を示す値ｑ（４０２）との中間地であるｒ（４０３）を閾値とする解析手法も可能である。

このように、エリア内の画素について、Ｈ、Ｉ、Ｓの各チャンネル毎にヒストグラムを形成して、頻度最大値を閾値とするやり方以外に、ヒストグラムを解析して閾値を決定することができる。

次に、カラー画像用地肌検出部１０１内の地肌レベル検出部１０７で検出される地肌レベルの色空間における範囲を示す範囲値について図５を参照して説明を行う。

図５は、カラー画像用地肌検出部１０１内の地肌レベル検出部１０７で検出される地肌レベルの色空間における範囲を示す範囲値について示すヒストグラムである。

図５に示すように、ユーザ指示部１０４より入力される、優先して地肌除去するＨ、Ｉ、Ｓのチャンネルの優先順位において最優先順位となったチャンネルについてのヒストグラムより頻度最大値を閾値として、閾値β（５０１）が求められる。

そして、閾値β（５０１）を中心として、次に説明する−α１（５０２）、＋α２（５０３）を地肌除去対象となる地肌レベルの色空間における範囲を示す範囲値として、β−α１からβ＋α２までが地肌除去処理される地肌除去範囲となる。

次に、地肌除去処理される地肌レベルを示す範囲値となるα１（５０２）、α２（５０３）の求め方について図６を参照して説明を行う。

図６は、ユーザ指示部１０３に属する、ユーザが地肌除去基準の強弱を入力するユーザインタフェース画面の一例であるユーザインタフェース画面６０１の画面構成図である。

図６に示すように、ユーザインタフェース画面６０１より、カラー画像データの地肌除去処理を行うユーザによってカラー画像データの地肌を除去するレベルの強さが強、中、弱より選択される。

ユーザによって地肌除去基準が選択されると、選択されたレベルがユーザ指示部１０３からカラー画像用地肌検出部１０１内の地肌レベル検出部１０７に送られ、カラー画像用地肌検出部１０１内に予め設定されているデータ列より、地肌除去処理される地肌レベルを示す範囲値となるα１（５０２）、α２（５０３）の値が決定される。

すなわち、地肌除去基準が「強」が選択された場合には、地肌除去処理される地肌レベルである範囲値となるα１（５０２）、α２（５０３）の値が大きく設定されることで、地肌除去処理される地肌の範囲が広くなり、広い範囲の地肌が除去されることになる。

地肌除去処理される地肌レベルを示す範囲値となるα１（５０２）、α２（５０３）を求める他のやり方としては、ユーザ指示部１０３からα１（５０２）、α２（５０３）の値が直接入力されてもよい。

ユーザ指示部１０３からα１（５０２）、α２（５０３）の値が直接入力される場合には、α１（５０２）、α２（５０３）の値が入力される図示しないユーザインタフェース画面よりユーザによって入力が行われる。

また、地肌除去処理される地肌レベルの範囲値となるα１（５０２）、α２（５０３）を求める他のやり方として、カラー画像用地肌検出部１０１で、作成されたヒストグラムにおける山の麓が自動的に検出されて、１つの山の麓から山の頂点を挟んで向かい側の麓までを地肌を表す範囲として、範囲値であるα１（５０２）、α２（５０３）を決定するやり方も可能である。

地肌除去処理される地肌レベルの範囲値となるα１（５０２）、α２（５０３）をヒストグラムの山の麓から自動的に検出して求めるやり方は、ユーザ指示部１０３より、α１（５０２）、α２（５０３）が自動で求めることが選択される図示しないユーザインタフェース画面よりユーザによって選択される。

なお、地肌除去処理される地肌除去範囲を示す範囲値は閾値からの幅としてα１（５０２）、α２（５０３）を求めるのではなく、色空間における範囲を範囲値をしてもよい。

つまり、上述の例では、α１（５０２）、α２（５０３）を範囲値としたが、範囲を示すβ−α１、β＋α２を範囲値として、地肌を示す範囲がβ−α１からβ＋α２であるとしてもよい。

次に、カラー画像用地肌除去部１０２で行われる地肌除去処理について説明を行う。

カラー画像用地肌検出部１０１内の地肌レベル検出部１０７で地肌レベルが検出された後、入力された地肌除去されるカラー画像データが貼り合せ原稿やムラ原稿の場合でも自然な地肌除去処理ができるように、地肌除去レベル算出部１０８で、検出された地肌レベルが調整されて地肌除去レベルが算出され、カラー画像用地肌検出部１０１からカラー画像用地肌除去部１０２に、算出された地肌除去レベルであるＨ、Ｉ、Ｓの各チャンネルの閾値と、優先して地肌除去を行うＨ、Ｉ、Ｓのチャンネルの優先順位と、地肌除去レベルである閾値からの範囲値とが送られる。

カラー画像用地肌除去部１０２は、処理速度吸収用メモリ１０４に保存されたカラー画像データより、カラー画像用地肌検出部１０１から受け取った数値を基にして地肌除去処理を行う。

ここで、地肌除去処理されるカラー画像データの分割されたエリアの１つのエリアに存在するＭ×Ｎ個の画素のうちの、地肌除去処理が行われる１つの画素に注目して、該画素のＨＩＳの値をそれぞれＨｎ、Ｉｎ、Ｓｎとして、該画素に行われる地肌除去処理について説明を行う。

処理速度吸収用メモリ１０４に保存されたカラー画像データの地肌除去処理は、分割されたエリア内に存在するＭ×Ｎ個の画素すべてに地肌除去処理が行われて、エリア内の地肌除去処理が行われる。

１つのエリアに行われる地肌除去処理が全てのエリアについて行われて、処理速度吸収用メモリ１０４に保存されたカラー画像データの地肌除去処理が行われる。

カラー画像用地肌検出部１０１よりカラー画像用地肌除去部１０２に送られた情報は、ユーザ指示部１０３より入力されたチャンネルの優先順位がＨ、Ｉ、Ｓの順番であり、地肌除去処理されるエリア内のＨ、Ｉ、Ｓ毎の地肌除去レベルである閾値がそれぞれＨ＿Ｈｉｓｔｍａｘ、Ｉ＿ｈｉｓｔｍａｘ、Ｓ＿ｈｉｓｔｍａｘであり、そして、優先順位の一番高いＨについての地肌除去処理が行われる地肌を示す範囲である地肌除去レベルである範囲値をＨ＿α１からＨ＿α２であるとして説明を行う。

なお、Ｈは色相であるため、実際の値は、０、１、２、・・・２５４、２５５、０、１・・・というようにリング構造をとるので、Ｈ＿α１が２５４、Ｈ＿α２が１０の時には、地肌除去処理が行われる地肌を示す範囲は、２５４、２５５、０、１、・・・９、１０となる。

地肌除去処理が行われるエリア内の１つの画素に行われる地肌除去処理を示す処理フローについて図７を参照して説明する。

図７は、地肌除去処理が行われるエリア内の１つの画素について行われる地肌除去処理の処理フローを示したフローチャートである。

まず、ユーザ指示部１０３より地肌除去を行うチャンネルの優先順位である、Ｈ、Ｉ、Ｓの順番が受け付けられる（ステップ７０１）。

次に、カラー画像用地肌検出部１０１内の地肌レベル検出部１０７で、処理速度吸収用メモリ１０４に入力されたＨＩＳ空間で表されるカラー画像データが図２を参照して説明したように複数のエリアに分割され、分割されたエリアのうちの１つのエリア内に存在する画素のＨ、Ｉ、Ｓの各チャンネルの値によってヒストグラムが形成されＨ、Ｉ、Ｓの各チャンネル毎に地肌レベルである閾値と地肌レベルである範囲値が決定され（ステップ７０２）、さらに、カラー画像用地肌検出部１０１内の地肌除去レベル算出部１０８で、地肌除去レベルが各チャンネル毎の閾値にＨ＿Ｈｉｓｔｍａｘ、Ｉ＿ｈｉｓｔｍａｘ、Ｓ＿ｈｉｓｔｍａｘと算出され、そして、ユーザ指示部１０３より受け付けた優先順位が１位のチャンネルについて地肌を示す範囲がＨ＿α１からＨ＿α２であるとして算出される（ステップ７０３）。

そして、カラー画像用地肌除去部１０２において、分割されたエリア内の１つの画素の画素値はＨｎ、Ｉｎ、Ｓｎであり、優先順位はＨ、Ｉ、Ｓの順番なので、優先順位が１位のチャンネルであるＨのチャンネルについての判断が行われ（ステップ７０４）、そしてＨについての判断結果に応じて２位のＩのチャンネルについての判断が行われ（ステップ７０５）、ステップ７０４、７０５の結果に応じてチャンネルＨ、Ｉ、Ｓについて地肌除去処理された値が求められる（ステップ７０６若しくはステップ７０７）。

なお、ステップ７０４で行われる優先順位が１位のチャンネルについての判断は、地肌除去処理が行われる画素の画素値が地肌を表す範囲に含まれているかどうかによって行われる。

つまり、優先順位１位のチャンネルであるＨについて、画素値であるＨｎが、Ｈ＿α１＜Ｈｎ＜Ｈ＿α２となっているかどうかの判断が行われる。

また、ステップ７０５で行われる優先順位が２位のチャンネルについての判断は、地肌除去処理が行われる画素の画素値が地肌レベルである閾値以下であるかどうかによって行われる。

つまり、優先順位２位のチャンネルであるＩについて、画素値であるＩｎが、Ｉｎ＜Ｉ＿ｈｉｓｔｍａｘとなっているかどうかの判断が行われる。

優先順位１位のチャンネルについての判断がＹＥＳである場合、つまり、Ｈ（色相）の値であるＨｎが、Ｈ＿α１＜Ｈｎ＜Ｈ＿α２となっている場合には（ステップ７０４でＹＥＳ）、処理される画素は地肌の可能性があると判断されてステップ７０５に進み、次に、ステップ７０５において、優先順位２位のチャンネルであるＩ（明度）についての判断が行われ、Ｉの値であるＩｎが、Ｉｎ＜Ｉ＿ｈｉｓｔｍａｘとなっているかどうかが判断される。

優先順位２位のチャンネルについての判断がＹＥＳである場合、つまり、Ｉの値であるＩｎが、Ｉｎ＜Ｉ＿ｈｉｓｔｍａｘとなっている場合には（ステップ７０５でＹＥＳ）、処理される画素は地肌であると判断されて、画素値であるＨｎ、Ｉｎ、Ｓｎの値を、色相を表すＨｎの値は変えずに、Ｉの値を色が最も明るくなる値である０とし、Ｓの値を色が最も鮮やかでない灰色に近くなる値である０に決定する（ステップ７０６）。

なお、本実施例において、明度に関しては、色空間上の値の範囲を０から２５５として、明度の値が０に近づくほど色の明るさが明るくなって白に近づき、明度の値が２５５に近づくほど色の明るさが暗くなって黒に近づくような明度を表す色空間を想定しているが、別の色空間であって、明度の値が２５５に近づくほど色の明るさが明るくなって白に近づき、明度の値が０に近づくほど色の明るさが暗くなって黒に近づくような明度を表す色空間においては、ステップ７０６で決定されるＩの値は０でなく２５５となり明度Ｉは明るい色に決定される。

また、ステップ７０４において、優先順位１位のチャンネルについての判断がＮＯである場合、つまり、Ｈの値であるＨｎが、Ｈ＿α１＜Ｈｎ＜Ｈ＿α２となっていない場合（ステップ７０４でＮＯ）や、或いは、ステップ７０５において、優先順位２位のチャンネルについての判断がＮＯである場合、つまり、Ｉ（明度）の値であるＩｎが、Ｉｎ＜Ｉ＿ｈｉｓｔｍａｘとなっていない場合（ステップ７０５でＮＯ）には、各チャンネルの地肌除去された値は、Ｈの値はＨｎとなり、Ｉ、Ｓの値はＬＵＴ（Look Up Table）が使用されて決定される（ステップ７０７）。

ここで、ステップ７０４でＮＯ、または、ステップ７０５でＮＯとなった場合に、ステップ７０７においてＩ、Ｓの値をＬＵＴによって決定するやり方について、図８を参照して説明を行う。

図８は、図７に示すフローチャートにおいて、ステップ７０４でＮＯ、または、ステップ７０５でＮＯとなった場合に、ステップ７０７においてＩ、Ｓの値をＬＵＴによって決定する際に使用されるＬＵＴを示したグラフである。

図８（ａ）は、図７に示すフローチャートにおいて、ステップ７０４でＮＯ、または、ステップ７０５でＮＯとなった場合にＩの値が決定される際に使用されるＬＵＴ１（８０１）を示したグラフ、図８（ｂ）は、図７に示すフローチャートにおいて、ステップ７０４でＮＯ、または、ステップ７０５でＮＯとなった場合にＳの値が決定される際に使用されるＬＵＴ２（８０２）を示したグラフである。

ＬＵＴ１（８０１）、ＬＵＴ２（８０２）は入力する値に対応して値を出力するグラフであり、ＬＵＴ１（８０１）、ＬＵＴ２（８０２）は、入力する値に対応して値を出力する任意の変換テーブル或いは関数に変更可能である。

チャンネルＩの値については、まず、Ｉｎ−Ｉ＿ｈｉｓｔｍａｘの値を求めて、求めた値を図８（ａ）に示すＬＵＴ１（８０１）に入力してΔＩの値が求められる。

そして、次に、Ｉｎ−ΔＩの値を求めることにより、チャンネルＩについての地肌除去処理が行われた値が求められ、チャンネルＩの地肌除去処理が行われた値はＩｎ−ΔＩとなる。

チャンネルＳの値については、まず、（Ｉｎ−ΔＩ）／Ｉｎの値を求めて、求めた値を図８（ｂ）に示すＬＵＴ２（８０２）に入力してΔＳの値が求められる。

そして、Ｓｎ−ΔＳの値を求めることにより、チャンネルＳについての地肌除去処理が行われた値が求められ、チャンネルＳの地肌除去処理が行われた値はＳｎ−ΔＳとなる。

このようにして、分割されたエリアのうちの１つのエリア内の１つの画素について、地肌除去処理が行われた後の各チャンネルＨ、Ｉ、Ｓの値が求められ、同じエリア内のその他の画素についても同様に地肌除去処理が行われ、各々の画素におけるチャンネルＨ、Ｉ、Ｓの値が求められ、エリア内の画素について地肌除去処理が行われる。

そして、分割されたすべてのエリアについて、同じように地肌除去処理が行われ、入力カラー画像データに関して、すべての画素について、地肌除去処理された各チャンネルＨ、Ｉ、Ｓの値が求められる。

処理速度吸収用メモリ１０４に保存されたカラー画像データについて、カラー画像用地肌除去部１０２で地肌除去処理が行われて各チャンネルＨ、Ｉ、Ｓの値が求められ、地肌除去処理されたＨＩＳ空間で表現されるカラー画像データが求まると、ＲＧＢ空間変換部１０６において、ＨＩＳ空間で表現されるカラー画像データがＲＧＢの色空間で表現されるカラー画像データに変換されて、地肌除去処理されたＲＧＢの色空間で表現されるカラー画像データが求まる。

次に、本発明に係わる画像処理装置によって地肌除去されたカラー画像データについて図９を参照して説明を行う。

図９は、本発明に係わる画像処理装置によって地肌除去処理が行われたカラー画像データについて示す模式図である。

図９（ａ）は、本発明に係わる画像処理装置によって地肌除去される前の地肌を有するカラー画像データ９０１を示す模式図であり、図９（ｂ）は、本発明に係わる画像処理装置によって図９（ａ）に示す地肌を有するカラー画像データ９０１が地肌除去された後のカラー画像データ９０２を示す模式図である。

スキャナーのように均一なライティング状態でない場所で撮影が行われると画像中にムラが生じやすくなり、図９（ａ）に示すように、カラー画像データ９０１は、地肌が青くムラのある状態で、文字、線が黒、赤、緑、青の色で構成されている。

本発明に係わるカラー画像処理装置で地肌除去処理されることによって、カラー画像データ９０１が、図９（ｂ）に示すカラー画像データ９０２のように文字、線の情報が保たれたまま、不必要な青色のムラのある地肌が除去される。

以上述べたように、本発明に係わる地肌除去処理が行われる際には、地肌除去を行う際に優先するチャンネルを示すチャンネルの優先順位や除去する地肌レベルを示す範囲値等の入力が可能であり、従来、地肌を有する文字、線を含むカラー画像データの地肌を除去する時に文字、線のカラー情報を残そうとすると地肌も再現してしまって、地肌と文字、線との境界があいまいとなり判読しにくかった現象が、本発明に係わる地肌除去処理で処理を行うことによって、地肌と文字、線との境界近辺の地肌を所望の地肌に調整することができ、また、ユーザの調整で地肌を残す際にも自然な色の再現を行うことができる。

なお、本実施例においては、地肌除去を行う際に優先するチャンネルを示すチャンネルの優先順位をＨ、Ｉ、Ｓの順番として説明を行ったが、優先順位が他の順番であっても、上述した記載内容は適用される。

なお、本発明に係わる画像処理装置は、ＨＩＳ空間で表されるカラー画像データが処理速度吸収用メモリ１０４に直接入力されて、そして、地肌除去処理が行われ、カラー画像用地肌除去部１０２より地肌が除去されたＨＩＳ空間で表されるカラー画像データが生成されるようにしてもよい。

なお、ＨＩＳ空間変換部１０５において、ＲＧＢの色空間以外の例えばＬ＊ａ＊ｂ＊空間等で表現されるカラー画像データをＨＩＳの色空間に変換して処理速度吸収用メモリ１０４に入力し、カラー画像用地肌検出部１０１、カラー画像用地肌除去部１０２、ユーザ指示部１０３、処理速度吸収用メモリ１０４で、処理速度吸収用メモリ１０４に入力されたＨＩＳの色空間で表現されるカラー画像データの地肌が除去され、そして、本発明に係わる画像処理装置に、地肌除去処理が行われたＨＩＳの色空間で表現されるカラー画像データがＲＧＢ以外の例えばＬ＊ａ＊ｂ＊空間等の色空間で表されるカラー画像データに変換される構成要素を備えて該変換が実行されることで、ＲＧＢ以外の例えばＬ＊ａ＊ｂ＊空間等の色空間で表される地肌除去処理されたカラー画像データが求められる。

本実施例においては、地肌除去する際に優先するチャンネルとなるＨＩＳ空間のチャンネルの優先順位が入力されるように説明したが、カラー画像データの色空間におけるチャンネルの優先順位、例えば、ＲＧＢの色空間ならば、ＲＧＢの各チャンネル、Ｌ＊ａ＊ｂ＊空間ならば、Ｌ＊、ａ＊、ｂ＊のチャンネルの優先順位が、地肌除去する際のカラー画像データの優先するチャンネルとして入力されることが可能である。

なお、本実施例においては、地肌レベル、或いは、地肌除去レベルにおいて、ＨＩＳの各チャンネル毎に閾値が求められ、優先順位が１位のチャンネルについては、閾値を中心とした前後の範囲を地肌除去する対象としたが、求めた閾値を中心とした前後の範囲ではなく、求めた閾値以下の範囲を地肌除去する対象と定め地肌除去処理を行ってもよい。

なお、入力カラー画像データの色空間がＲＧＢでなく他の色空間、例えば、Ｌ＊ａ＊ｂ＊空間等であった場合には、ＨＩＳ空間変換部１０５の代わりに、入力カラー画像データのＬ＊ａ＊ｂ＊空間等をＨＩＳ空間に変換するＨＩＳ空間変換部を設け、ＲＧＢ空間変換部１０６の代わりに、ＨＩＳ空間をＬ＊ａ＊ｂ＊空間等に変換する変換部を備えることで、Ｌ＊ａ＊ｂ＊空間等によって表現されたカラー画像データの地肌除去処理も可能となる。

また、入力カラー画像データの色空間がＨＩＳ以外の色空間で表されるカラー画像データであった場合でも、カラー画像用地肌検出部１０１内の地肌レベル検出部１０７で入力カラー画像データの色空間の各チャンネル毎に地肌レベルが検出され、カラー画像用地肌検出部１０１内の地肌除去レベル算出部１０８で各チャンネル毎に地肌除去レベルが算出され、カラー画像用地肌除去部１０２で各チャンネル毎に地肌除去されて地肌除去された画像が生成される。

なお、ＨＩＳ空間変換部１０５で変換されたカラー画像データのＨ、Ｉ、Ｓの各チャンネルの値を０から２５５に拡張するように説明したが、精度を上げる為に、０から２５５の間ではなくさらに範囲を広げて拡張するようにしてもよい。

また、ＨＩＳ空間で表現されるカラー画像データが、直接、処理速度吸収用メモリ１０４に入力される場合には、ＨＩＳ空間で表現されるカラー画像データが処理速度吸収用メモリ１０４に直接入力される前に、Ｈ、Ｉ、Ｓの値を、ともに、０から２５５またはさらに範囲を広げて拡張する図示しないデータ拡張部を設けて、Ｈ、Ｉ、Ｓの値をともに拡張して処理速度吸収用メモリ１０４に入力するようにしても良い。

なお、カラー画像用地肌検出部１０１内の地肌レベル検出部１０７で決定された閾値は、ユーザ指示部１０３から入力される調整値や、地肌レベル検出部１０７内部に予め用意された値によってオフセットが行われても良い。

なお、地肌レベルを示す範囲値は、図１に示すユーザ指示部１０３からユーザによって範囲値が直接入力されて、ユーザ指示部１０３から地肌レベル検出部１０７に送られるやり方や、カラー画像用地肌検出部１０１において、作成したヒストグラムについて、ヒストグラムの山の麓が自動的に検出されて、山の麓から山の頂点を挟んだ向かい側の麓までを範囲として範囲値を決定するやり方も可能である。

なお、地肌除去レベル算出部１０８で算出される地肌除去レベルは、分割されたエリアの地肌レベルが徐々に連続的に変化するように調整する方式もしくは急激に切り替えられる方式によって地肌除去レベルが求められるが、ユーザ指示部１０３より入力される優先順位が１位のチャンネルの地肌除去レベルが地肌レベル検出部１０７で求められた地肌レベルより算出され、そして算出された優先順位１位のチャンネルの地肌除去レベルに基づいて他のチャンネルの地肌除去レベルが算出されるようにしてもよい。

なお、本発明に係わる画像処理装置をコンピュータ等に組み込む或いは、本発明に係わる画像処理装置が有する構成をソフトウェアとしてコンピュータ等にインストールして、本発明に係わる画像処理装置が組み込まれた、或いは、ソフトウェアとしてインストールされたコンピュータ等が本発明に係わる画像処理装置の構成を備えるようにして、カメラ付携帯電話やデジタルカメラで撮影された画像が当該コンピュータ等によって様々な用途に使用されることが可能である。

次に、本発明に係わる画像処理装置の構成を備えるコンピュータ等によって、カメラ付携帯電話やデジタルカメラで撮影された画像が様々な用途に使用される使用例について図１０を参照して説明を行う。

図１０は、本発明に係わる画像処理装置の構成を備えるコンピュータ等によって、カメラ付携帯電話やデジタルカメラで撮影された画像が様々な用途に使用される使用例について示した模式図である。

図１０に示すように、インターネット１０１２には、本発明に係わる画像処理装置の構成を備えるコントローラ１００２、本発明に係わる画像処理装置の構成を備える携帯電話用のＷｅｂサーバ１０１１、本発明に係わる画像処理装置の構成を備える画像形成装置１００５、そして、ネットワークプリンタ１００４、コンピュータ１００７が接続される。

デジタルカメラ１００１で撮影されたカラー画像データはコントローラ１００２に対して汎用インタフェースまたはメディアにて送られ、コントローラ１００２に地肌除去する際のＨ、Ｉ、Ｓのチャンネルの優先順位と地肌除去基準の強弱が入力され、コントローラ１００２に送られた画像は、コントローラ１００２によって、カラー画像データの地肌が除去される処理が行われ、地肌が除去されたカラー画像データがコントローラ１００２の内部に電子保存される。

コントローラ１００２に電子保存された画像は、コントローラ１００２が接続されている図示しないネットワーク若しくはインターネット１０１２に接続されている図示しないコンピュータから取り出して活用されることが可能である。

また、コントローラ１００２で処理された画像をコントローラ１００２に接続されたプリンタ１００３に定型変倍処理を行ってプリントアウトさせることも可能である。

さらに、コントローラ１００２で処理された画像を、インターネット１０１２に接続されたネットワークプリンタ１００４にプリントアウトさせることももちろん可能である。

また、インターネット１０１２に接続された画像形成装置１００５は、コンビニエンスストア等の店頭に設置された、デジタルカメラで撮影された画像をプリントさせることができる画像形成装置を想定しており、デジタルカメラ１００６で撮影されたカラー画像データが画像形成装置１００５に入力されて、ユーザによって、地肌除去する際に優先して地肌除去するＨ、Ｉ、Ｓのチャンネルの優先順位と地肌除去基準の強弱が画像形成装置１００５に入力されて、画像形成装置１００５に備えられた本発明に係わる画像処理装置の機能により、入力カラー画像データの地肌が除去される処理が行われる。

画像形成装置１００５の他の利用法としては、デジタルカメラ１００８で撮影されたカラー画像データがインターネット１０１２に接続されたコンピュータ１００７に入力され、コンピュータ１００７を通して画像形成装置１００５に対してプリント予約が行われ、コンピュータ１００７からインターネット１０１２を通して画像形成装置１００５に、当該カラー画像データと、ユーザによってコンピュータ１００７に入力された地肌除去する際のＨ、Ｉ、Ｓのチャンネルの優先順位と、ユーザによってコンピュータ１００７に入力された地肌除去基準の強弱が送信され、プリント予約が行われた地肌を有するカラー画像データが画像形成装置１００５で地肌除去処理され、地肌除去されたカラー画像データが画像形成装置１００５よりプリントされてユーザに渡されるようにすることも可能である。

また、カメラ付携帯電話１００９で撮影されたカラー画像データをＷｅｂサーバ１０１１に携帯電話網を使って送信し、そして、カメラ付携帯電話１００９から、地肌除去する際に優先して地肌除去するＨ、Ｉ、Ｓのチャンネルの優先順位と地肌除去基準の強弱が入力され、Ｗｅｂサーバ１０１１で地肌を有するカラー画像データが地肌除去処理されて、カメラ付携帯電話１００９に地肌除去処理された画像が送り返されるようにすることが可能である。

また、Ｗｅｂサーバ１０１１で地肌除去処理された画像を、電話回線を利用してファクシミリ装置１０１０に送信することも可能である。

なお、本発明に係わる画像処理装置を使用して、会議室内の原稿やホワイトボードに書かれた内容を電子化する際に、会議室の天井に配置されたズームカメラで撮影した会議室内の原稿やホワイトボードのカラー画像データの地肌を除去する処理が行われるようにすることも可能である。

次に、本発明に係わる画像処理装置を使用して、会議室天井に配置されたズームカメラより撮影された会議室内の原稿やホワイトボードのカラー画像データの地肌を除去して、地肌除去された会議室内の原稿やホワイトボードのカラー画像データが使用される様子について図１１を参照して説明を行う。

図１１は、本発明に係わる画像処理装置を使用して、会議室天井に配置されたズームカメラより撮影された会議室内の原稿やホワイトボードのカラー画像データの地肌を除去して、地肌除去された会議室内の原稿やホワイトボードのカラー画像データが使用される様子について示した模式図である。

図１１に示すように、会議室１１０１の天井部分には、ズームカメラ１１０２と会議室１１０１の光源となる照明器具１１０４が備えられ、会議室１１０１の壁にはホワイトボード１１０３が掛けられており、そして会議室１１０１の机の上には本発明を適用した画像処理装置１１０６、会議に使用される原稿１１０５、パーソナルコンピュータ１１０８、プリンタ１１０７が存在し、会議室１１０１の壁にはＬＡＮコネクタ１１０９が存在する。

ズームカメラ１１０２は、照明器具１１０４によって照らされた会議室１１０１内全体の撮影が可能である。

ホワイトボード１１０３は、電子ボードでなく、通常のホワイトボードであって、ユーザによって任意の文字、記号等が記述され、ズームカメラ１１０２で撮影されて、撮影されたカラー画像データが画像処理装置１１０６で地肌除去処理される対象となる。

照明器具１１０４は、ズームカメラ１１０２が撮影する撮影対象を照らす光源となるが、撮影対象に対してスキャナー装置の中にあるような均一なライティングが困難な為、ズームカメラ１１０２で撮影される原稿１１０５、ホワイトボード１１０３には影や光による濃度ムラが必ず発生してしまう。

原稿１１０５は、紙に文字、記号等が記述された、会議で使用される原稿であり、ズームカメラ１１０２で撮影されて、撮影されたカラー画像データが画像処理装置１１０６で処理される対象となる。

画像処理装置１１０６は、本発明に係わる画像処理装置の構成を備え、入力された地肌を有するカラー画像データに対して地肌除去処理を行う機能を有する。

プリンタ１１０７は、画像処理装置１１０６で処理されたカラー画像データをプリントアウトする。

パーソナルコンピュータ１１０８は、必要に応じて、ズームカメラ１１０２で撮影された原稿１１０５やホワイトボード１１０３のカラー画像データの地肌を除去する際に、優先して地肌除去するＨ、Ｉ、Ｓのチャンネルの優先順位と、地肌除去基準の強弱が入力される。

さらに、ズームカメラ１１０２で撮影する撮影範囲をパーソナルコンピュータ１１０８によって指定することを可能とし、セキュリティ上ズームカメラ１１０２で撮影されたくない場所を指定することが可能である。

そして、画像処理装置１１０６は、会議室１１０１のＬＡＮコネクタ１１０９を介してインターネットと接続されており、インターネットを利用した電子会議が行われる際には、他の会議室に画像処理装置１１０６で地肌除去処理されたホワイトボード１１０３、原稿１１０５のカラー画像データを送ることが可能となる。

このように図１１に示す会議室１１０１において、均一な照明効果が得られない照明１１０４によって照らされて撮影されて地肌を有するカラー画像データとなる、ズームカメラ１１０２で撮影される原稿１１０５やホワイトボード１１０３のカラー画像データが、本発明に係わる画像処理装置１１０６を使用することによって、自然な地肌除去処理が行われて電子データとして活用されることが可能となる。

この発明は、画像データの地肌除去処理を行う画像処理装置において利用可能である。

この発明によれば、カラー画像データの地肌レベルを色空間における各チャンネル毎に検出して、その地肌を除去することができる。

本発明に係わる画像処理装置における構成について示したブロック図。 カラー画像データが地肌の分布に応じて複数のエリアに分割されて、１つのエリア内に存在するＭ×Ｎ個の画素について示す模式図。 処理速度吸収用メモリ１０４に保存されたカラー画像データの分割されたエリアのうちの１つのエリア内に存在するＭ×Ｎ個の画素のＨ、Ｉ、Ｓの各チャンネルの値によって形成されるヒストグラム。 カラー画像用地肌検出部１０１において、カラー画像データが分割されたエリアのうちの１つのエリアにおいて、Ｈ、Ｉ、Ｓの各チャンネルの閾値を決定するやり方の１つであって、作成されたヒストグラムに解析を行って各チャンネルの閾値を決定するやり方について示したヒストグラム。 カラー画像用地肌検出部１０１内の地肌レベル検出部１０７で検出される地肌レベルの色空間における範囲を示す範囲値について示すヒストグラム。 ユーザ指示部１０３に属する、ユーザが地肌除去基準の強弱を入力するユーザインタフェース画面の一例であるユーザインタフェース画面６０１の画面構成図。 地肌除去処理が行われるエリア内の１つの画素について行われる地肌除去処理の処理フローを示したフローチャート。 図７に示すフローチャートにおいて、ステップ７０４でＮＯ、または、ステップ７０５でＮＯとなった場合に、ステップ７０７においてＩ、Ｓの値をＬＵＴによって決定する際に使用されるＬＵＴを示したグラフ。 本発明に係わる画像処理装置によって地肌除去処理が行われたカラー画像データについて示す模式図。 本発明に係わる画像処理装置の構成を備えるコンピュータ等によって、カメラ付携帯電話やデジタルカメラで撮影された画像が様々な用途に使用される使用例について示した模式図。 本発明に係わる画像処理装置を使用して、会議室天井に配置されたズームカメラより撮影された会議室内の原稿やホワイトボードのカラー画像データの地肌を除去して、地肌除去された会議室内の原稿やホワイトボードのカラー画像データが使用される様子について示した模式図。

符号の説明

３０１ ｋ
５０１ β
５０２ α１
５０３ α２
８０１ ＬＵＴ１
８０２ ＬＵＴ２
９０１ カラー画像データ
９０２ カラー画像データ
１００１ デジタルカメラ
１００２ コントローラ
１００３ プリンタ
１００４ ネットワークプリンタ
１００５ 画像形成装置
１００６ デジタルカメラ
１００７ コンピュータ
１００８ デジタルカメラ
１００９ カメラ付携帯電話
１０１０ ファクシミリ装置
１０１１ Ｗｅｂサーバ
１０１２ インターネット
１１０１ 会議室
１１０２ ズームカメラ
１１０３ ホワイトボード
１１０４ 照明器具
１１０５ 原稿
１１０６ 画像処理装置
１１０７ プリンタ
１１０８ パーソナルコンピュータ
１１０９ ＬＡＮコネクタ

Claims (5)

1. 画像データを入力する画像データ入力手段と、
   前記画像データ入力手段で入力した画像データを所定の色空間における各チャンネルのデータに変換する変換手段と、
   前記変換手段で変換された前記各チャンネルのデータからそれぞれ地肌レベルを検出する地肌検出手段と、
   前記地肌検出手段で検出した前記各チャンネルの地肌レベルに基づき各チャンネルの地肌除去レベルを算出する算出手段と、
   前記所定の色空間における各チャンネルの優先順位を操作者より受け付ける優先順位受付手段と、
   前記優先順位が第１位のチャンネルの前記算出手段で算出された地肌除去レベルと、地肌除去処理対象画素の該第１位のチャンネルのデータとに基づき当該地肌除去処理対象画素が地肌である可能性があるか否かを判断する第１の判断手段と、
   前記第１の判断手段で当該地肌除去処理対象画素が地肌である可能性があると判断された場合に、前記優先順位が第２位のチャンネルの前記算出手段で算出された地肌除去レベルと当該地肌除去処理対象画素の当該第２位のチャンネルのデータとに基づき当該地肌除去処理対象画素が地肌である否かの判断を行う第２の判断手段と、
   前記第２の判断手段で当該地肌除去処理対象画素が地肌であると判断された場合に、当該地肌除去処理対象画素の前記優先順位が第１位以外のチャンネルのデータに対する前記画像データの地肌除去処理を実行する第１の地肌除去処理手段と、
   前記第２の判断手段で当該地肌除去処理対象画素が地肌であると判断されない場合、或いは、前記第１の判断手段で当該地肌除去処理対象画素が地肌である可能性がないと判断された場合に、当該地肌除去処理対象画素の前記優先順位が第１位以外のチャンネルのデータに対する前記画像データの地肌除去処理を実行する第２の地肌除去処理手段と、
   前記第１の地肌除去処理手段或いは前記第２の地肌除去処理手段で前記画像データの地肌除去処理がされた各チャンネルのデータに基づき地肌が除去された画像データを生成する生成手段と
   を具備する画像処理装置。
2. 前記画像データ入力手段で入力した画像データを複数の領域に分割する領域分割手段
   を更に具備し、
   前記地肌検出手段による地肌レベルの検出、および、前記算出手段による地肌除去レベルの算出、および、前記第１の地肌除去処理手段による地肌除去処理或いは前記第２の地肌除去処理手段による地肌除去処理、を前記領域分割手段で分割された領域毎に行う
   請求項１記載の画像処理装置。
3. 前記所定の色空間における各チャンネルは、
   色相を表すＨチャンネルと、
   明度式を表すＩチャンネルと、
   彩度を表すＳチャンネルと
   からなり、
   前記優先順位受付手段は、
   前記Ｈチャンネルを第１の優先順位、前記Ｉチャンネルを第２の優先順位、前記Ｓチャネンルを第３の優先順位と受け付け、
   前記第１の判断手段は、
   前記地肌除去処理対象画素の前記Ｈチャンネルのデータが所定の範囲内である場合に当該地肌除去処理対象画素を地肌と判断し、
   前記第２の判断手段は、
   前記地肌除去処理対象画素の前記Ｉチャンネルのデータが当該チャンネルの地肌除去レベルより低い場合は、当該地肌除去処理対象画素を地肌と判断する
   請求項１または２記載の画像処理装置。
4. 前記第１の地肌除去処理手段は、
   前記地肌除去処理対象画素の前記Ｉチャンネルのデータおよび前記地肌除去処理対象画素の前記Ｓチャンネルのデータを最小の値にすることにより当該地肌除去処理対象画素に対する前記画像データの地肌除去処理を実行し、
   前記第２の地肌除去処理手段は、
   前記地肌除去処理対象画素の前記Ｉチャンネルのデータを前記Ｉチャンネルの地肌レベルにしたがって下げるとともに、前記地肌除去処理対象画素の前記Ｓチャンネルのデータを前記Ｉチャンネルの当該地肌除去処理対象画素のデータの下げ量に対応して下げることにより当該地肌除去処理対象画素に対する前記画像データの地肌除去処理を実行する
   請求項３記載の画像処理装置。
5. 所定の色空間における各チャンネルの優先順位を操作者より優先順位受付手段により受け付け、
   画像データを画像データ入力手段により入力し、
   前記画像データ入力手段で入力した画像データを前記所定の色空間における各チャンネルのデータに変換手段により変換し、
   前記変換手段で変換された前記各チャンネルのデータからそれぞれ地肌レベルを地肌検出手段により検出し、
   前記地肌検出手段で検出した前記各チャンネルの地肌レベルに基づき各チャンネルの地肌除去レベルを算出手段により算出し、
   前記優先順位が第１位のチャンネルの前記算出手段で算出された地肌除去レベルと、地肌除去処理対象画素の該第１位のチャンネルのデータとに基づき当該地肌除去処理対象画素が地肌である可能性があるか否かを第１の判断手段で判断し、
   前記第１の判断手段で当該地肌除去処理対象画素が地肌である可能性があると判断された場合に、前記優先順位が第２位のチャンネルの前記算出手段で算出された地肌除去レベルと当該地肌除去処理対象画素の当該第２位のチャンネルのデータとに基づき当該地肌除去処理対象画素が地肌である否かの判断を第２の判断手段により行い、更に、前記第２の判断手段で当該地肌除去処理対象画素が地肌であると判断された場合に、当該地肌除去処理対象画素の前記優先順位が第１位以外のチャンネルのデータに対する前記画像データの地肌除去処理を第１の地肌除去処理手段により実行し、
   前記第２の判断手段で当該地肌除去処理対象画素が地肌であると判断されない場合、或いは、前記第１の判断手段で当該地肌除去処理対象画素が地肌である可能性がないと判断された場合に、当該地肌除去処理対象画素の前記優先順位が第１位以外のチャンネルのデータに対する前記画像データの地肌除去処理を第２の地肌除去処理手段により実行し、
   前記第１の地肌除去処理手段或いは前記第２の地肌除去処理手段で前記画像データの地肌除去処理がされた各チャンネルのデータに基づき地肌が除去された画像データを生成する画像処理方法。

Images