JP4804382B2 - 画像処理方法、画像処理プログラムおよび画像処理装置 - Google Patents

Description

本発明は、取り入れた画像データに加工を施す画像処理方法、画像処理プログラムおよび画像処理装置に関する。

イラストやマンガなどの原画像は、一体的に表現されている線図、スクリーントーン（登録商標）（以下、トーンとも称する）、ベタ塗り、テキスト等により形成されており、これらを編集する際にはそれらを分離することが一般的である。たとえば商用画像処理ツールPhotoshop（登録商標）等を用いてユーザが画像編集する場合がある。

従来の画像編集としては、ユーザが手動で領域を指定して、対象となる部分を抽出して削除等の処理を行う必要があり、全面的に作業者の手作業に頼らざるを得ず作業時間が長くなり負担が非常に大きいという問題があった。この点で、作業者の負担を軽減する種々の画像編集方法が開示されている（特許文献１〜４）。
特開平１１−１２０３２９号公報 特開２００５−１２９０６５号公報 特開２００５−３１８１８号公報 特開２０００−１７２８３１号公報

一方、背景、洋服の柄等様々なものの柄を表現するのにスクリーントーンが用いられているが、マンガ等の原画像に一体的に表現されているスクリーントーンを線画像と分離する際には、線画とスクリーントーンとを明確に区別する必要がある。

この点、従来の画像編集方法においては、ある線画部分（輪郭線、服のシワ線等）についてはスクリーントーンと線画との区別の判定が難しいという問題があった。

本発明は、上記のような問題を解決するためになされたものであって、スクリーントーンと線画とを明確に区別してスクリーントーンを単位として画像編集（着色、抽出等）を実行することにより、使い勝手がよく、処理速度の向上を図ることが可能なスクリーントーンの画像処理方法、画像処理プログラムおよび画像処理装置を提供することを目的とする。

本発明に係る画像処理方法は、原画像を表示する原画像データを記憶するための記憶装置と、記憶装置に記憶された原画像データを演算処理するための演算装置とを備えたコンピュータを用いた画像処理方法であって、演算装置が、原画像に含まれる線画を抽出するステップと、演算装置が、原画像のうちの指定された領域に含まれるトーンと同じトーンを含む領域を検出するステップと、演算装置が、検出された領域をマスクパターンとしてマスクパターンの輪郭線を生成するステップと、演算装置が、検出された領域をマスクパターンとして原画像の線画の中からマスクパターン内の対応する線画を抽出するステップと、演算装置が、マスクパターンの輪郭線と抽出された線画とを合成するステップと、演算装置が、合成された線画に基づいてトーン領域を抽出するステップとを備える。

好ましくは、トーン領域を抽出するステップは、合成線画に囲まれる領域をトーンラベルとして生成するステップと、原画像の中からトーンラベルに対応する領域を抽出するステップとを含む。

好ましくは、演算装置が、原画像のうちの抽出されたトーン領域を削除するステップをさらに備える。

好ましくは、線画を抽出するステップは、原画像を平滑処理するステップを含む。
本発明に係る画像処理プログラムは、原画像を表示する原画像データを記憶するための記憶装置と、記憶装置に記憶された原画像データを演算処理するための演算装置とを備えたコンピュータに実行させるための画像処理プログラムであって、原画像に含まれる線画を抽出するステップと、原画像のうちの指定された領域に含まれるトーンと同じトーンを含む領域を検出するステップと、検出された領域をマスクパターンとしてマスクパターンの輪郭線を生成するステップと、検出された領域をマスクパターンとして原画像の線画の中からマスクパターン内の対応する線画を抽出するステップと、マスクパターンの輪郭線と抽出された線画とを合成するステップと、合成された線画に基づいてトーン領域を抽出するステップとを備える、処理をコンピュータの演算装置に実行させる。

本発明に係る画像処理装置は、原画像を表示する原画像データを記憶するための記憶装置と、記憶装置に記憶された原画像データを演算処理するための演算装置とを備える。演算装置は、原画像に含まれる線画を抽出する線画抽出手段と、原画像のうちの指定された領域に含まれるトーンと同じトーンを含む領域を検出するトーン検出手段と、検出された領域をマスクパターンとしてマスクパターンの輪郭線を生成する輪郭線生成手段と、検出された領域をマスクパターンとして原画像の線画の中からマスクパターン内の対応する線画を抽出するマスクパターン線画抽出手段と、マスクパターンの輪郭線と抽出された線画とを合成する線画合成手段と、合成された線画に基づいてトーン領域を抽出するトーン抽出手段とを含む。

本発明に係る画像処理方法、画像処理プログラムおよび画像処理装置は、原画像に含まれる線画を抽出する。そして、原画像のうちの指定された領域に含まれるトーンと同じトーンを含む領域の範囲を検出して、検出された領域をマスクパターンとしてマスクパターンの輪郭線を生成する。また、検出された領域をマスクパターンとしてマスクパターン内の対応する線画を抽出する。そして、マスクパターンの輪郭線と抽出された線画とを合成する。そして、合成された線画に基づいてトーン領域を抽出することにより、線画とトーン領域とを明確に区別することができ、トーンの画像編集（抽出等）を実行することができる。

以下、この発明の実施の形態について図面を参照して詳細に説明する。なお、図中同一または相当部分に同一符号を付してその説明は繰返さない。

図１は、本発明の実施の形態に従う画像処理装置の機能ブロックを説明する概略ブロック図である。

図１を参照して、本発明の実施の形態に従う画像処理装置１は、演算部５と、記憶部を構成するＲＡＭ（Random Access Memory）１０およびＲＯＭ（Read Only Memory）１１と、表示部１５と、画像読取部２０と、入力部２５と、内部バス３０とを含む。

各機能ブロックは、内部バス３０と接続され、画像処理装置１内において互いにデータの授受が可能な構成となっている。

画像読取部２０は、紙媒体等に印刷された原画像を読取ってビットマップ形式のデジタル画像データを出力するものである。画像読取部２０で読取られたビットマップ形式のデジタル画像データ（以下、画像データとも称する）は、例えば記憶部のＲＡＭ１０の後述する原画像データ記憶領域に格納されるものとする。なお、本例においては、画像読取部２０は、画像処理装置１内に設けられた場合について説明するが、画像処理装置１内に設ける必要は無く、外部装置として設けられ、入力部２５を介して画像データが外部から入力されて記憶部に格納される構成とすることも可能である。

演算部５は、記憶部のＲＯＭ１１に記憶される画像処理プログラムの手順に従って原画像を読取って画像データに変換したり、当該画像データを加工する画像編集等の処理を実行する。

表示部１５は、カラーＣＲＴ等の適宜の表示手段で画像データを表示するものである。 記憶部のＲＯＭ１１には、演算部５が実行する処理のプログラムが格納されているものであり、後述する本発明に係る画像処理方法による処理を実行するプログラムも格納されている。ＲＡＭ１１は、読出および書込可能なメモリであり後述する画像処理に必要な記憶領域等を含む。

また、入力部２５は、キーボード、ポインティングデバイスであるマウス等で構成されるとともに外部装置と接続するための入力インタフェース等も含むものとする。

図２は、本発明の実施の形態に従う演算部５およびＲＡＭ１０の機能ブロックを説明する概略ブロック図である。

図２を参照して、本発明の実施の形態に従う演算部５は、ＲＡＭ１０の原画像データ記憶領域１０ａに記憶された画像データ（以下、原画像データと称する）を受けてユーザのポインティングデバイス（マウス等）を用いた指定入力に従って前処理を実行する前処理実行部５０と、前処理実行部５０の前処理実行結果および原画像データ記憶領域１０ａに記憶された原画像データから線画を抽出するための線画抽出部５１と、ユーザのポインティングデバイス（マウス等）を用いた指定入力、例えば指定入力した指定点に対応するスクリーントーンと同じスクリーントーンの領域（以下、トーン領域とも称する）の範囲を検出するためのトーン検出部５２と、後述するマスクパターンからマスクパターン内の線画を抽出するためのマスクパターン線画抽出部５３と、後述するマスクパターンからマスクパターンの輪郭線を生成するための輪郭線生成部５４と、マスクパターン線画抽出部５３により抽出された線画と輪郭線生成部５４により生成された輪郭線とに基づいて線画を合成するための線画合成部５５と、線画合成部５５の合成結果に基づいてスクリーントーン領域を抽出するためのトーン抽出部５６と、原画像に対して、トーン抽出部５６で抽出したスクリーントーン領域を用いて加工編集する加工部５９とを含む。

トーン抽出部５６は、線画合成部５５からの合成結果に基づいてスクリーントーン領域を抽出するために用いるトーンラベルを生成するトーンラベル生成部５７と、トーンラベル生成部５７により生成されたトーンラベルに基づいて原画像からスクリーントーン領域を抽出するためのトーン領域抽出部５８と、原画像から抽出したスクリーントーン領域を用いて加工編集処理を実行する加工部５９とを含む。

ＲＡＭ１０は、原画像について画像読取部２０で読取ったビットマップ形式の画像データである原画像データを記憶する原画像データ記憶領域１０ａと、線画抽出部５１により抽出した線画の線画像データを記憶するための線画像データ記憶領域１０ｂと、トーン検出部５２により検出されたトーン領域の範囲をマスクパターンとして当該マスクパターンのデータを記憶するためのマスクパターン記憶領域１０ｃと、トーンラベル生成部５６により生成されたトーンラベルについて当該トーンラベルのデータを記憶するためのトーンラベル記憶領域１０ｄと、各種のスクリーントーンのパターンデータを予め記憶するトーンパターン記憶領域１０ｅと、加工部５９の加工結果である編集後画像の画像データを記憶するための編集後画像データ記憶領域１０ｆとを含む。

前処理実行部５０は、ノイズを減少するために原画像データを平滑にする前処理を実行する。本例においては５点濃度値平均処理により平滑処理を実行する。また、後述するが、前処理実行部５０は、ユーザの指定点の入力を検知して、当該検知結果に基づいて前処理を実行する。

図３は、本発明の実施の形態に従う線画抽出部５１の内部の機能ブロックを説明する概略ブロック図である。

図３を参照して、本発明の実施の形態に従う線画抽出部５１は、原画像データ記憶領域に記憶された原画像データ（例えば、原稿マンガデータ）を受けて線画を抽出するために用いる線画マスクパターンを生成するための線画マスクパターン生成部７１と、前処理実行部５０からの前処理された原画像データ（例えば、前処理後マンガデータ）を受けてユーザの指示に従って線画の縁を抽出するための第１〜第３の線画縁抽出部７２〜７４のいずれかを選択して出力する選択切換部７０と、前処理後マンガデータの入力を受けて後述する線画縁抽出処理を実行する第１〜第３の線画縁抽出部７２〜７４と、第１〜第３の線画縁抽出部７２〜７４にそれぞれ対応して設けられた背景除去部７５〜７７とを含む。

線画を抽出する際、線画以外の縁も干渉ノイズ部分として抽出処理される可能性がある。

そこで、線画マスクパターン生成部７１は、原画像データ記憶領域１０ａに記憶されている原画像データ（原稿マンガデータ）を受けて線画を抽出するために用いる線画マスクパターンを生成する。この線画マスクパターンで、線画以外の干渉を含む背景除去を実行する。

具体的には、線画マスクパターン生成部７１は、閾値法を用いて２値化処理を実行するとともに反転変換処理を実行する。閾値法は、画像について、ある濃度以上の階調のグレーピクセルを例えば背景に対応する白に、それ以下の濃度のグレーピクセルを例えば線画に対応する黒に変換する方法であり、このとき用いる基準濃度の値を適当な値に設定することにより、干渉背景部分を取り除くことが可能である。

そして、反転変換処理を実行して線画を抽出するための線画マスクパターンを生成する。例えば、背景部分は黒に、線画部分は例えば白に変換する
第１の線画縁抽出部７２は、線画の中心線を抽出することが可能なＬｏＧ（Laplacian
of Gaussian）フィルタ処理（線画は黒色で表示される）、異方性抑制フィルタリング処理（単に異方性抑制処理とも称する）を実行する。なお、線画マスクパターンで干渉ノイズを除去する。このＬｏｇフィルタ処理後の画像に線画マスクに対応する背景部分を全て白に変換して、干渉ノイズ部分を除去する。

第２の線画縁抽出部７３は、ＬｏＧフィルタ処理、線画の２つのエッジ部分を抽出することが可能なＳｏｂｅｌフィルタ処理（エッジは白色で表示される）、異方性抑制フィルタリング処理、および反転変換処理を実行する。線画の中心線をＬｏＧフィルタで抽出し、線画のエッジ部分をＬｏｇフィルタで抽出してこれらの論理和演算を実行する。そして、上述した干渉ノイズ部分を除去する。

第３の線画縁抽出部７４は、ＬｏＧフィルタ処理、Ｓｏｂｅｌフィルタ処理、異方性抑制フィルタリング処理および反転変換処理を実行する第２の線画縁抽出部７４の機能にさらに線画を一画素線幅に細線化する処理を加えて実行する。

背景除去部７５〜７７は、線画マスクパターン生成部７１により生成された線画マスクパターンに基づいて、第１〜第３の線画縁抽出部７２〜７４により抽出された抽出結果から背景画像を除去する。

そして、背景除去部７５から非平滑線画像データが出力される。また、背景除去部７６から平滑線画像データが出力される。背景除去部７７から均等平滑線画像データが出力される。

これらの線画像データは、上述したように図２で説明したＲＡＭ１０の線画像データ記憶領域１０ｂに格納される。

図４は、本発明の実施の形態に従う原画像データ記憶領域１０ａに格納された原画像データを表示部１５で表示した場合を説明する一例図である。本例においては、当該原画像データで表示される原画像に対してユーザが指定したスクリーントーン領域を抽出する方法について主に説明する。なお、ここでは、一例として少女の画像が示されている。

図５は、図４で説明した原画像に対してＬｏＧフィルタ処理あるいはＳｏｂｅｌフィルタ処理を実行した結果を示す図である。図５（ａ）には、ＬｏＧフィルタ処理を実行した場合が示されている。また、図５（ｂ）には、Ｓｏｂｅｌフィルタ処理を実行した場合が示されている。なお、図５で示されるように抽出した線画の縁部分について白色で表示されるため上述したように線画縁抽出部において反転変換処理が実行される。

図６は、異方性抑制フィルタリング処理を説明する図である。
図６（ａ）は、原画像を説明する図である。抽出したい線画の背景画像に線があるような場合には、原画像に対してＬｏＧフィルタ処理あるいはＳｏｂｅｌフィルタ処理を実行した場合であっても図６（ｂ）に示されるように線画を抽出することはできない。

図６（ｃ）は、異方性抑制処理をさらに実行した場合の結果を示す図である。図６（ｃ）に示されるように抽出したい線画部分のみを抽出することが可能である。線画抽出において異方性抑制処理を適用する手法については、非特許文献（"Contour and Boundary detection improved by surround suppression of texture edges": C. Grigorescu et al. / Image and Vision Computing 22 (2004) 609-622）に、周囲の線からの影響を減らし、ノイズ背景線抽出を抑制する処理方法が記載されており、その詳細については省略する。

図７は、背景除去部７７に与えられる線画マスクパターンを説明する図である。
図８は、図４で説明した原画像に対して、背景除去部７５〜７７から出力された線画像データにより表示される線画像を説明する図である。

図８（ａ）には、非平滑線画が示されている。図８（ｂ）には、平滑線画が示されている。図８（ｃ）には、均等平滑線画が示されている。なお、本例においては、ユーザの指示に従って非平滑線画とするか、平滑線画とするか、均等平滑線画とするかを選択可能である旨説明したが、予めデフォルトでいずれか１つに指定しておき、選択切替指示に従って切り替えるようにすることも当然に可能である。あるいは、それぞれの線画像を表示してユーザにより所望の線画像を選択指示するように促すようにすることも可能である。

図９は、本発明の実施の形態に従うトーン検出部５２の機能ブロックを説明する図である。

図９を参照して、本発明の実施の形態に従うトーン検出部５２は、選択入力判定部８０と、連結領域検出部８１と、内部パターン検出部８２とを含む。

選択入力判定部８０は、ユーザの選択指示入力に従って前処理後マンガデータを連結領域検出部８１あるいは内部パターン検出部８２のいずれか一方に出力する。

選択入力判定部８０は、ユーザの選択指示入力がポインティングデバイス（例えばマウス）を用いた指定点の指定入力である場合には、連結領域検出部８１に対して前処理後マンガデータを出力する。一方、選択入力判定部８０は、ユーザの選択指示入力がポインティングデバイス（例えばマウス）を用いた指定線（あるいは指定領域）の指定入力である場合には、内部パターン検出部８２に対して前処理後マンガデータを出力する。

連結領域検出部８１は、指定点の指定入力に従って、指定点に対応するスクリーントーンと同じスクリーントーンの領域の範囲を検出し、検出したトーン領域の範囲をマスクパターンとする。

一方、内部パターン検出部８２は、指定線の指定入力に従って、指定線に対応する内部パターンを抽出処理する。

図１０は、図４で説明した原画像に対してユーザが指定点を入力した場合を説明する図である。

図１０（ａ）は、ユーザが図４の原画像における少女の衣服の袖領域において、指定点を指定した場合が示されている。

図１０（ｂ）は、後述するユーザの指定点の指定に従って計算される累積統計ヒストグラムに用いるための計算対象領域（ヒストグラム計算窓）を説明する図である。なお、このヒストグラム計算窓については、デフォルトで予め定められており、例えば指定点を含む１６×１６の領域が指定されるものとする。なお、当該計算対象領域のデフォルト値については、例えばメモリのＲＡＭ１０に記憶されているものとし、ユーザの入力指示に従って変更可能であるものとする。

図１１は、連結領域検出部８１で実行されるトーン領域の範囲の生成について説明する図である。

図１１に示されるように、連結領域検出部８１は、ユーザが指定した指定点と同じテクスチャ類の中の点とを識別することによってトーン領域の範囲を検出する。

具体的には、テクスチャ分析（Texture Analysis）および画像濃度分析（ヒストグラム閾値（histogram threshold）のアルゴリズムでトーン領域の範囲を検出する。

テクスチャ分析としては、構造レベルのテクスチャ分析と、統計レベルのテクスチャ分析とがあるが、本例においては、統計レベルのテクスチャ分析として、画素の濃度に着目して、その一様性、方向性、コントラスト変化等の画像の性質を表す特徴量を特徴として分析する手法である濃度共起行列（Co-occurrenfce matrix）を用いたテクスチャ分析を用いることとする。

ここで、濃度共起行列はテクスチャ領域を把握するためのものであり小領域において濃淡画像の明るさがｋの画素から一定の相対位置δ＝（ｒ，θ）に画素が出現する頻度をｐδ（ｋ，ｌ）とする。

図１２は、濃度共起行列を説明する図である。
図１２（ａ）には、ある画素からの一定の相対位置δ＝（ｒ，θ）の関係を説明する図が示されている。

図１２（ａ）には、ある画素と（ｒ，θ）の関係を有する別の画素とが示されている。
図１２（ｂ）においては、ある相対位置関係δにおける（ｋ，ｌ）の組み合わせについて、その生起頻度ｐδ（ｋ，ｌ）を求めて、行列で表した一例図が示されている。

そして、δ＝（１，０）の同時生起行列が示されている。
この同時生起行列を用いるといくつかの特徴を獲得することができる。

たとえばある方向δについて次式の式が成り立つ。

上式は行列の値がどのくらい密集して分布しているかを示している。値が大きいほどｐδ（ｋ，ｌ）はどこかの（ｋ，ｌ）より大きな値をとることになる。すなわち密集していることになる。

したがって、当該結果に基づいて明るさの変化が少なくテクスチャが一様であるという特徴を得ることができる。

ある方向δについて次式を用いることによってテクスチャの特徴をさらに抽出することができる。

値が大きいほどδ方向の２組の画素がほぼ同じ明るさである確率が高い。すなわちテクスチャに方向性があることを検出してテクスチャ領域を把握してトーン領域の範囲を生成することができる。

濃度共起行列（CO-OCCURRENCE MATRIX）を用いたテクスチャ分析については、非特許文献("ROCK TEXTURE RETRIEVAL USING GRAY LEVEL CO-OCCURRENCE MATRIX": Mari Partio et al）に示されており、一般的な技術であるため詳細な技術については説明を省略する。

また、ガボールウェーブレット変換（Gabor Wavelet）を用いることによって各種テクスチャの特徴を抽出することができる。

上式はガボールウェーブレット変換の一般式である。
ガボールウェーブレット変換は、上式のガボールフィルタの解像度（式中のｋ）と方位（式中のθ）を変化させたものを畳み込むことにより、その特徴点周辺における濃淡特徴の周期性と方向性を特徴量として抽出する手法である。

ガボールウェーブレット変換（Gabor Wavelet）を用いたテクスチャ分析については、非特許文献（"Texture Features for Browsing and Retrieval of Image Data": B. S. Manjunath and W. Y. Ma, IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL. 18, NO. 8, AUGUST 1996）、（"Fusion of Gabor Filter and Co-occurrence Probability Features for Texture Recognition": David A. Clausi, et al.）、（"Texture Similarity Measure", P. Vacha, WDS'05 Proceedings of Contributed Papers, Part I, 47-52, 2005.）等に示されており、一般的な技術であるため詳細な技術については省略する。

図１３は、ガボールウェーブレット変換について説明する図である。
図１３（ａ）は、原画像であり、ガボールウェーブレット変換を用いることにより図１３（ｂ）に示されるようにテクスチャの輪郭が検出された場合が示されている。

画像濃度分析として、ヒストグラム（Cumulative Histogram）を用いてテクスチャを把握することもできる。

統計的特徴として、画像が小領域に構成されていると考えて小領域素の濃淡値の平均と分散とを求める。隣接する２つの小領域間でこれらの値が類似している場合には両者は同一領域にあると考える手法である。

図１４は、ユーザの指定点の入力によって指定されたヒストグラム計算窓により計算された累積ヒストグラムが示されている。

ここで、縦軸は、個数であり、横軸は濃度値を示している。
この図１４で示されるヒストグラム結果に基づいてヒストグラム閾値を設定することによりスクリーントーン領域を識別する。すなわち、トーン領域の範囲を検出することができる。

図１５は、連結領域検出部８１の検出結果に基づいて検出されたトーン領域を説明する図である。

図１５（ａ）においては、ユーザが指定した指定点に従うトーン領域の範囲が示されており、指定点が属する１つの領域が示されている。具体的には、衣服の袖の右側部分をトーン領域の範囲として検出した場合が示されている。

図１５（ｂ）においては、画像全体における、ある一定面積以上のトーン領域の範囲を検出した場合が示されている。具体的には、衣服の袖の右側および左側部分をトーン領域の範囲として検出した場合が示されている。

図１５（ｃ）においては、画像全体における、ユーザが指定した指定点に従うトーンと同じトーンに属するトーン領域の範囲が全て示されている。具体的には、衣服の袖の右側および左側ならびに袖の裾部分についてもトーン領域の範囲として検出した場合が示されている。

なお、このトーン領域の範囲の検出パターンについては、指定点が属する領域のみを検出範囲とするか、一定面積以上かつ画像全体を検出範囲とするか、画像全体を検出範囲とするかについてはユーザの選択が可能であるものとする。なお、当該トーン領域の範囲の検出パターンについては、デフォルトとして、指定点が属する領域のみを検出範囲とする場合について本例においては説明するが、ユーザの入力指示に従って自由に変更可能であるものとする。

なお、累計ヒストグラムは、簡単なスクリーントーンに対して有用であり計算量が少ないため高速に処理することができる。一方、濃度共起行列を用いたテクスチャ分析は、一定の規則パターンのスクリーントーンについては有用であるが計算量が多いため計算に時間がかかる。また、ガボールウェーブレット変換を用いることにより複雑なパターンからのテクスチャの抽出が可能である。

したがって、連結領域検出部８１は、抽出するスクリーントーンに適した手法をそれぞれ互いに組み合わせて用いることにより適切なトーン領域の範囲を検出することが可能である。具体的には、トーンパターン記憶領域１０ｅに各種のスクリーントーンと上記手法の組み合わせを予め対応付けて登録しておき、トーンパターン記憶領域１０ｅに登録されている内容（手法）に基づいて連結領域検出部８１においてトーン領域の範囲の検出を実行することが可能である。

図１６は、内部パターン検出部８２における内部パターンの検出を説明する図である。
図１６（ａ）を参照して、原画像に対してユーザの選択指示入力がポインティングデバイス（例えばマウス）を用いた指定線（あるいは指定領域）の指定入力である場合には、内部パターン検出部８２における内部パターンの検出動作が実行される。

具体的には、内部パターン検出部８２においては、レベルセット法（Level set）を用いることとする。レベルセット法を用いることにより緊密なテクスチャパターンを抽出することが可能である。レベルセット法については、非特許文献（"Total variation and level set methods in image science", Acta Numerica (2005), pp. 509-573）に示されており、一般的な技術であるためその詳細な説明は省略する。

当該レベルセット法を用いることにより、図１６（ｂ）に示されるように緊密なテクスチャパターンが検出される。

図１７は、本発明の実施の形態に従う画像処理方法を説明するフローチャート図である。

図１７を参照して、画像編集が開始される（ステップＳ０）。なお、画像編集モードを実行するためのプログラムは予めＲＯＭ１１に格納されており、ユーザの所定の指示に応答して本発明の実施の形態に従う画像処理方法が実行されるものとする。

そして、記憶部を構成するＲＡＭ１０に格納されている原画像データ記憶領域１０ａから予め格納されている原画像データが読み出されて表示部１５に表示される（ステップＳ１）。本例においては、図４で説明したデータ記憶領域１０ａに格納された原画像データを表示部１５で表示した場合について説明する。

次に、ユーザが表示部１５で表示された原画像に対して、マウス等の入力部２５を用いてスクリーントーンを指定入力があったかどうかを判断する（ステップＳ２）。

具体的には、演算部５の前処理実行部５０は、図９で説明したユーザの指定入力を検知して、指定入力があったと判断した場合には、原画像データ記憶領域１５ａに記憶された原画像データを受けて前処理を実行する（ステップＳ３）。

そして、次に前処理が実行された前処理後画像データは、線画抽出部５１により線画抽出処理が実行される（ステップＳ４）。具体的には、図８（ａ）〜（ｃ）で説明したいずれかの線画抽出が実行される。

次に、トーン検出部５２は、スクリーントーンをユーザが指定したことにより上述したトーン領域の範囲を検出する（ステップＳ５）。そして、検出されたトーン領域は、マスクパターンとしてマスクパターン記憶領域１０ｃに記憶される。

図１８は、ユーザの指定点に従うトーン領域の範囲を検出した場合を説明する図である。

ここでは、衣服の袖の右側部分の領域がトーン領域の範囲として検出された場合が示されている。

ここで、このトーン領域の範囲内においては、衣服の袖のシワの部分も含まれている。
次に、輪郭線生成部５４は、マスクパターン記憶領域１０ｃに記憶されたマスクパターンに基づいてマスクパターンの輪郭線を生成する（ステップＳ６）。

図１９は、輪郭線生成部５４により生成されたマスクパターンの輪郭線を説明する図である。

そして、次にマスクパターン線画抽出部５３は、マスクパターン記憶領域１０ｃに記憶されたマスクパターンおよび線画抽出部により抽出された線画像データ記憶領域１０ｂに記憶された線画像データに基づいてマスクパターン内の線画を抽出する（ステップＳ７）。

図２０は、マスクパターン線画抽出部５３により抽出されたマスクパターン内の線画を説明する図である。

ここで、この線画は、衣服の袖の右側部分について、原画像に示される衣服の袖のシワの部分の線画が示されているとともに、原画像において袖の下方の境界線が欠落していることを示している。

次に、線画合成部５５は、マスクパターン線画抽出部５３で抽出された線画と輪郭線生成部５４により生成された輪郭線を合成する（ステップＳ８）。

図２１は、輪郭線と線画を合成した場合を説明する図である。
ここで、この線画は、衣服の袖の右側部分について、袖のシワと、袖の境界線とをともに含んでいる。

そして、次に、トーン抽出部５６のトーンラベル生成部５７は、合成線画に囲まれる領域をトーンラベルとして生成する（ステップＳ９）。

図２２は、生成されたトーンラベルを説明する図である。
そして、次に、トーン領域抽出部５８は、トーンラベル生成部５７で生成したトーンラベルに基づいて原画像データで表示される原画像の中から対応するトーン領域を抽出する（ステップＳ１０）。

図２３は、抽出したトーン領域を説明する図である。
ここで、このトーン領域は、図１８で説明した検出したトーン領域の範囲と異なり、袖のシワの線画部分は含まれていないものである。

次に、加工部５９において、原画像から抽出したトーン領域に基づいてトーン領域を削除するとともに原画像を加工編集する（ステップＳ１１）。具体的には、トーン領域を背景色と同じ色に設定することにより削除することが可能である。

そして、画像編集を終了する（ステップＳ１２）。
図２４は、抽出したトーン領域を原画像から削除して加工編集した場合を説明する図である。

ここでは、トーン領域部分のスクリーントーンが削除されて無地となるとともに袖の境界線あるいは輪郭線が加工編集されて付加された場合が示されている。

したがって、本発明の実施の形態に従う画像処理方法、具体的には、トーン領域の範囲を検出して、その検出した範囲の中にある線画を抽出してトーン領域の中から当該線画を除くことによりユーザが指定した指定点に対応するスクリーントーンのトーン領域を忠実に抽出することが可能である。

すなわち、ある線画部分（輪郭線、服のシワ線等）についてはスクリーントーンと線画との区別の判定が難しいという問題に対して、スクリーントーンと線画とを明確に区別して、スクリーントーンの画像編集（抽出等）が可能であり、原稿作成者の描いた線画を忠実に再現することが可能であり、マンガの迫力、繊細さを保持することが可能である。

また、トーンラベル記憶領域１０ｄに記憶されたトーンラベルデータにより、後に画像編集する際に、当該トーンラベルに別のスクリーントーンあるいは色を替えて原画像に対して簡易に加工編集処理を施すことも可能である。

上記で説明した画像処理方法は、画像処理を機能させるためのプログラムで実現される。この発明の対象とするのはこのプログラムそのものであってもよいし、このプログラムを記録しているコンピュータに読取可能な記憶媒体であってもよい。

本発明では、この記録媒体が図１の画像処理装置で処理が行なわれるために必要なメモリたとえばＲＯＭのようなものそのものであってもよいし、また図示していないが画像処理装置の外部にプログラム読取装置が設けられそこに当該記録媒体を挿入することで読取可能な記憶装置のようなものであってもよい。いずれの場合においても、記録されているプログラムは画像処理装置がアクセスして実行させる構成であってもよいし、あるいはいずれの場合もプログラムを読出し、読出されたプログラムは画像処理装置の図示されていないプログラム記憶エリアにロードされて、そのプログラムが実行される方式であってもよい。なお、このロード用のプログラムは予め画像処理装置に記憶されているものとする。

ここで、上記記憶媒体は、画像処理装置と分離可能に構成され、デッキテープやカセットテープ等のテープ系、フロッピー（登録商標）ディスクやハードディスク等の磁気ディスクやＣＤ−ＲＯＭ、ＭＯ、ＭＤ、ＤＶＤ等の光ディスクのディスク系、ＩＣカード、メモリカード、光カード等のカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュＲＯＭ等により半導体メモリを含めた固定的にプログラムを記憶する媒体であってもよい。

また、本発明においてはインターネット等のネットワークと接続可能なシステム構成であることから、ネットワークからプログラムをダウンロードするように流動的にプログラムを記憶する媒体であってもよい。なお、このようにネットワークからプログラムをダウンロードする場合にはそのダウンロード用プログラムを予め画像処理装置にインストールするかあるいは別の記録媒体からインストールされるものであってもよい。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

本発明の実施の形態に従う画像処理装置の機能ブロックを説明する概略ブロック図である。 本発明の実施の形態に従う演算部５およびＲＡＭ１０の機能ブロックを説明する概略ブロック図である。 本発明の実施の形態に従う線画抽出部５１の内部の機能ブロックを説明する概略ブロック図である。 本発明の実施の形態に従う原画像データ記憶領域１０ａに格納された原画像データを表示部１５で表示した場合を説明する一例図である。 図４で説明した原画像に対してＬｏＧフィルタ処理あるいはＳｏｂｅｌフィルタ処理を実行した結果を示す図である。 異方性抑制処理を説明する図である。 背景除去部７７に与えられる線画マスクを説明する図である。 図４で説明した原画像に対して、背景除去部７５〜７７から出力された線画像データにより表示される線画像を説明する図である。 本発明の実施の形態に従うトーン検出部５２の機能ブロックを説明する図である。 図４で説明した原画像に対してユーザが指定点を入力した場合を説明する図である。 連結領域検出部８１で実行されるトーン領域の範囲の生成について説明する図である。 濃度共起行列を説明する図である。 ガボールウェーブレット変換について説明する図である。 ユーザの指定点の入力によって指定されたヒストグラム計算窓により計算された累積ヒストグラムが示されている。 連結領域検出部８１の検出結果に基づいて検出されたトーン領域を説明する図である。 内部パターン検出部８２における内部パターンの検出を説明する図である。 本発明の実施の形態に従う画像処理方法を説明するフローチャート図である。 ユーザの指定点に従うトーン領域の範囲を検出した場合を説明する図である。 輪郭線生成部５４により生成されたマスクパターンの輪郭線を説明する図である。 マスクパターン線画抽出部５３により抽出されたマスクパターン内の線画を説明する図である。 輪郭線と線画を合成した場合を説明する図である。 生成されたトーンラベルを説明する図である。 抽出したトーン領域を説明する図である。 抽出したトーン領域を原画像から削除して加工編集した場合を説明する図である。

符号の説明

１ 画像処理装置、５ 演算部、１０ ＲＡＭ、１０ａ 原画像データ記憶領域、１０ｂ 線画像データ記憶領域、１０ｃ マスクパターン記憶領域、１０ｄ トーンラベル記憶領域、１０ｅ トーンパターン記憶領域、１０ｆ 編集後画像データ記憶領域、１１ ＲＯＭ、１５ 表示部、２０ 画像読取部、２５ 入力部、３０ 内部バス、５０ 前処理実行部、５１ 線画抽出部、５２ トーン検出部、５３ マスクパターン線画抽出部、５４ 輪郭線生成部、５５ 線画合成部、５６ トーン抽出部、５７ トーンラベル生成部、５８ トーン領域生成部、５９ 加工部、７０ 選択切替部、７１ 線画マスクパターン生成部、７２〜７４ 第１〜第３の線画縁抽出部、７５〜７７ 背景除去部、８０ 選択入力判定部、８１ 連結領域検出部、８２ 内部パターン検出部。

Claims (6)

1. 原画像を表示する原画像データを記憶するための記憶装置と、前記記憶装置に記憶された前記原画像データを演算処理するための演算装置とを備えるコンピュータを用いた画像処理方法であって、
   前記演算装置が、前記原画像に含まれる線画を抽出するステップと、
   前記演算装置が、前記原画像のうちの指定された領域に含まれるトーンと同じトーンを含む領域の範囲を検出するステップと、
   前記演算装置が、前記検出された領域をマスクパターンとして前記マスクパターンの輪郭線を生成するステップと、
   前記演算装置が、前記検出された領域をマスクパターンとして前記原画像の線画の中から前記マスクパターン内の対応する線画を抽出するステップと、
   前記演算装置が、前記マスクパターンの輪郭線と抽出された線画とを合成するステップと、
   前記演算装置が、前記合成された線画に基づいてトーン領域を抽出するステップとを備える、画像処理方法。
2. 前記トーン領域を抽出するステップは、前記合成線画に囲まれる領域をトーンラベルとして生成するステップと、
   前記原画像の中から前記トーンラベルに対応する領域を抽出するステップとを含む、請求項１記載の画像処理方法。
3. 前記演算装置が、前記原画像のうちの前記抽出されたトーン領域を削除するステップをさらに備える、請求項１記載の画像処理方法。
4. 前記線画を抽出するステップは、前記原画像を平滑処理するステップを含む、請求項１記載の画像処理方法。
5. 原画像を表示する原画像データを記憶するための記憶装置と、前記記憶装置に記憶された前記原画像データを演算処理するための演算装置とを備えるコンピュータに実行させるための画像処理プログラムであって、
   前記原画像に含まれる線画を抽出するステップと、
   前記原画像のうちの指定された領域に含まれるトーンと同じトーンを含む領域の範囲を検出するステップと、
   前記検出された領域をマスクパターンとして前記マスクパターンの輪郭線を生成するステップと、
   前記検出された領域をマスクパターンとして前記原画像の線画の中から前記マスクパターン内の対応する線画を抽出するステップと、
   前記マスクパターンの輪郭線と抽出された線画とを合成するステップと、
   前記合成された線画に基づいてトーン領域を抽出するステップとを備える、処理を前記コンピュータの演算装置に実行させる、画像処理プログラム。
6. 原画像を表示する原画像データを記憶するための記憶装置と、
   前記記憶装置に記憶された前記原画像データを演算処理するための演算装置とを備え、
   前記演算装置は、
   前記原画像に含まれる線画を抽出する線画抽出手段と、
   前記原画像のうちの指定された領域に含まれるトーンと同じトーンを含む領域の範囲を検出するトーン検出手段と、
   前記検出された領域をマスクパターンとして前記マスクパターンの輪郭線を生成する輪郭線生成手段と、
   前記検出された領域をマスクパターンとして前記原画像の線画の中から前記マスクパタ
   ーン内の対応する線画を抽出するマスクパターン線画抽出手段と、
   前記マスクパターンの輪郭線と抽出された線画とを合成する線画合成手段と、
   前記合成された線画に基づいてトーン領域を抽出するトーン抽出手段とを含む、画像処理装置。