JP3689574B2 - 画像処理方法及び装置及び画像処理システム、及び記録媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、原画像に対して加工を施す画像処理方法及び装置及び画像処理システム、及び記録媒体に関する。
【従来の技術】
近年、デジタルカメラやフォトスキャナ等の普及に伴って、写真画像のデジタル化が手軽に行なえるようになってきた。また、インクジェットプリンタを代表とする出力機器側も高画質化、低価格化が進み、一般のユーザが例えば自宅で写真を手軽に用紙上に出力することも可能となっている。
【０００２】
従って、パーソナルコンピュータ等の画像処理を可能とする装置において、例えばデジタルカメラで撮影した画像に対してユーザが所定のアプリケーションによって所望の加工を施し、該加工結果をインクジェットプリンタによって出力することが一般的に行われるようになった。
【０００３】
また、ポスタリゼーションと呼ばれる処理は特開平１−３１４３８９号、或いはイラスト風処理としては特開平３−９１０８８号、特開平３−９１０８７号として提案されている。
【０００４】
【発明が解決しようとする課題】
しかしながら上記従来の画像処理装置において、例えば写真画像をイラスト調に加工するためには、加工処理を行なうアプリケーションに対して、例えば該写真画像のエッジ部を抽出し、更に各部の色を原画と同じ色として塗りつぶしていた。更に、かかるエッジ抽出、塗りつぶす色等の各種パラメータを、ユーザが詳細に設定する必要があった。
【０００５】
従って、イラスト調の画像を得るには、画質の点で未だ改善する余地があった。また、その設定作業が繁雑であるばかりでなく、適切な設定を行なうためにはユーザの熟練を要し、一般のユーザには困難な作業であった。
【０００６】
本発明は上記問題を個々にあるいは全て解決するためになされたものであり、画像データに対して効果的なイラスト加工処理を施すことを容易に可能とする画像処理方法及び装置及び画像処理システム、及び記録媒体、更には、イラストらしい新規な処理が施された画像が形成された媒体を提供することを目的とする。
【０００７】
また、イラスト加工の詳細をユーザが容易に設定することを可能とする画像処理方法及び装置及び画像処理システム、及び記録媒体を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記目的を達成するための一手法として、本発明の画像処理方法は以下の工程を備える。
【０００９】
即ち、第１の画像を、該第１の画像の輪郭部を抽出した第１の信号と該第１の画像を階調数を低減して明るさを増大させるように処理した第２の信号とに基づいて、第２の画像に加工する加工工程を有し、前記加工工程では、前記第 1 の画像がブロック符号化された画像でない場合に、該第 1 の画像に対してブロック符号化を施してから復号した後に、前記第 2 の画像に加工することを特徴とする。
【００１０】
例えば、更に加工モードの指示をユーザから受け付ける指示受付工程を備え、前記加工工程では前記ユーザの指示に対応した加工モードにおいて前記加工が行われることを特徴とする。
【００１１】
例えば、前記加工工程においては、前記第１の画像に対して所定のフィルタによるフィルタ処理を施すことによって前記第１及び第２の信号を生成することを特徴とする。
【００１２】
例えば、前記加工工程において、ユーザから粒状化加工の要求を受け付け、前記第 1 の画像がブロック符号化された画像でない場合に、前記第 1 の画像に対してブロック符号化を施して復号化を行なうことを特徴とする。
【００１６】
【発明の実施の形態】
以下、添付の図面を参照して本発明に係る一実施形態について詳細に説明する。
【００１７】
＜第１実施形態＞
●システム構成
本実施形態におけるシステムの一例を図１に示す。ホストコンピュータ１００には、例えばインクジェットプリンタなどのプリンタ１０５とモニタ１０６が接続されている。
【００１８】
ホストコンピュータ１００は、ワードプロセッサ、表計算、インターネットブラウザ等のアプリケーションソフトウエア１０１と、ＯＳ（ＯｐｅｒａｔｉｎｇＳｙｓｔｅｍ）１０２、アプリケーション１０１によってＯＳ１０２に発行される出力画像を示す各種描画命令群（イメージ描画命令、テキスト描画命令、グラフィックス描画命令）を処理して印刷データを作成するプリンタドライバ１０３、およびアプリケーション１０１が発行する各種描画命令群を処理してモニタ１０６に表示を行なうモニタドライバ１０４をソフトウエアとして持つ。
また、１１２は指示入力デバイス、１１３はそのデバイスドライバであり、例えばモニタ１０６上に表示されている各種情報を指示することにより、ＯＳ１０２に対して各種指示を行なうマウスが接続される。尚、マウスに替えてトラックボールやペン、又はタッチパネル等の他のポインティングデバイス、又はキーボードを備えていても良い。
【００１９】
ホストコンピュータ１００は、これらソフトウエアが動作可能な各種ハードウエアとして中央演算処理装置ＣＰＵ１０８、ハードディスクＨＤ１０７、ランダムアクセスメモリＲＡＭ１０９、リードオンリメモリＲＯＭ１１０等を備える。図１で示される画像処理システムの例として、例えば一般的に普及しているＩＢＭ社製のＰＣ−ＡＴ互換のパーソナルコンピュータにＭｉｃｒｏｓｏｆｔ社のＷｉｎｄｏｗｓ９８をＯＳとして使用し、印刷を行える所望のアプリケーションをインストールし、モニタとプリンタとを接続した形態が考えられる。
【００２０】
ホストコンピュータ１００では、モニタに表示された表示画像にもとづき、アプリケーション１０１で、文字などのテキストに分類されるテキストデータ、図形などのグラフィックスに分類されるグラフィックスデータ、自然画などに分類されるイメージ画像データなどを用いて出力画像データを作成する。そして、出力画像データを印刷出力するときには、アプリケーション１０１からＯＳ１０２に印刷出力要求を行ない、グラフィックスデータ部分はグラフィックス描画命令、イメージ画像データ部分はイメージ描画命令で構成される出力画像を示す描画命令群をＯＳ１０２に発行する。ＯＳ１０２はアプリケーションの出力要求を受け、出力プリンタに対応するプリンタドライバ１０３に描画命令群を発行する。プリンタドライバ１０３はＯＳ１０２から入力した印刷要求と描画命令群を処理しプリンタ１０５で印刷可能な印刷データを作成してプリンタ１０５に転送する。プリンタ１０５がラスタープリンタである場合は、プリンタドライバ１０３では、ＯＳからの描画命令に対して順次画像補正処理を行い、そして順次ＲＧＢ２４ビットページメモリにラスタライズし、全ての描画命令をラスタライズした後にＲＧＢ２４ビットページメモリの内容をプリンタ１０５が印刷可能なデータ形式、例えばＣＭＹＫデータに変換を行ないプリンタ１０５に転送する。
【００２１】
尚、ホストコンピュータ１００においては、被写体を撮影してＲＧＢ形式による画像データを生成するデジタルカメラ１１１を接続し、その撮影画像データをＨＤ１０７に読み込んで格納することが可能である。尚、デジタルカメラ１１１による撮影画像データは、ＪＰＥＧ形式により符号化されている。そして、該撮影画像データを上述したイメージ画像データとして、プリンタドライバ１０３において復号した後、プリンタ１０５へ転送することももちろん可能である。
【００２２】
●プリンタドライバ処理
プリンタドライバ１０３で行われる処理を図２を用いて説明する。
【００２３】
プリンタドライバ１０３は、ＯＳ１０２から入力した描画命令群に含まれるイメージ描画命令の色情報に対して、画像補正処理部１２０で後述する画像補正処理及び加工処理を行う。プリンタ用補正処理部１２１は、まず、処理された色情報によって描画命令をラスタライズし、ＲＧＢ２４ビットページメモリ上にドット画像データを生成する。そして、各画素に対してプリンタの色再現性に応じたマスキング処理、ガンマ補正処理および量子化処理などを行い、プリンタ特性に依存したＣＭＹＫデータを生成してプリンタ１０５に転送する。
【００２４】
次に、イメージ描画命令で示される原画像に対して画像補正処理部１２０で行われる画像処理について、図３のフローチャートを参照して説明する。グラフィクス描画命令あるいはテキスト描画命令で示される原画像に対しては以下の処理は行われない。尚、原画像は例えばＲＡＭ１０９内の所定領域に格納されているとする。
【００２５】
本実施形態の画像補正処理部１２０は図３に示すように、まず原画像がＪＰＥＧ等により符号化されたデータであれば、復号する（Ｓ２０，Ｓ２１）。その後、ヒストグラム作成処理（Ｓ２２）と該ヒストグラムに応じた画像補正処理（Ｓ２３）を行なった後、該ヒストグラムに応じたイラスト加工処理（Ｓ２４）を行なう。
【００２６】
このようにしてイラスト加工処理が施された画像は、プリンタ用補正処理部１２１を介して印刷可能なデータとしてプリンタ１０５へ出力され、記録媒体上に印刷出力される。
【００２７】
●輝度ヒストグラムの作成
図４は、ステップＳ２２に示すヒストグラム作成処理を示すフローチャートである。
【００２８】
図４において、Ｓ１で原画像の輝度ヒストグラム作成のルーチンに入ると、Ｓ２で原画像の画素から輝度ヒストグラムの作成に用いる画素の選択比率を決定する。本実施形態では、処理対象の画像データが３５万画素の場合に全画素を対象（選択比率１（あるいは１００％））に輝度ヒストグラムを作成することとする。３５万画素以上の画素数の画像データが入力された場合には、その総画素数の３５万画素に対する比率に応じて画素選択（サンプリング）を行う。例えば、３５０万画素の画像データが入力された場合には、選択比率は３５０万／３５万＝１０であり、１０画素に１画素の割合（選択比率１０（あるいは１０％））で輝度ヒストグラムを作成する。本実施形態では選択比率ｎは次式により求める。
【００２９】
ｎ＝ｉｎｔ（対象画像データの総画素数／基準画素数３５万）
（但し、ｎ＜１の時はｎ＝１、ｎは正数）
続いてＳ３でライン番号を管理するカウンタをリセットあるいは所定の初期値にセットし、Ｓ４でそのカウンタをインクリメントして注目ラインのライン番号とする。
【００３０】
本実施形態では画素の間引き（サンプリング）はライン単位で行うので、選択比率ｎの場合には、ライン番号をｎで割ったときの余りが０の場合に、そのラインに属する画素を処理対象として選択する（Ｓ５−ＹＥＳ）。例えば選択比率１０の場合であれば、ライン番号を１０で割ったときの余りが０の場合に、そのラインに属する画素を処理対象として選択する
注目ラインが間引かれるライン、すなわち処理対象とならないラインの場合にはＳ４に戻る。処理対象ラインの場合にはＳ６に進み、注目ラインに属する画素に順次注目し、その注目画素に対して輝度変換，色度変換を処理を行う。本実施形態における輝度変換、色度変換は以下の式により行う。なお、輝度、色度変換は以下の式に限らず様々な式を用いることが可能である。
【００３１】
Ｙ（輝度）＝ｉｎｔ（０．３０Ｒ＋０．５９Ｇ＋０．１１Ｂ）
（Ｙは正数）
Ｃ１（色度）＝Ｒ−Ｙ
Ｃ２（色度）＝Ｂ−Ｙ
また本実施形態では白位置（ハイライトポイント）、黒位置（シャドーポイント）の検出精度を向上させるために次式により注目画素の彩度Ｓを計算し、予め定めた彩度値（Ｓｃｏｎｓｔ）より大きいか否かを判断して（Ｓ７）、大きい場合には、その画素の情報は輝度ヒストグラムに反映させない。
【００３２】
彩度Ｓ＝ｓｑｒｔ（Ｃ１^2＋Ｃ２^2）
ここでｓｑｒｔ（ｘ）はｘの平方根を与える関数であり、ｘ^yはｘのｙ乗を表す。
【００３３】
即ち、（Ｓ＞Ｓｃｏｎｓｔ）の場合にはＳ６に戻り、注目画素のデータは以後の処理に反映させない。これは、白位置の彩度は高輝度の画素群の平均彩度により与えられ、その彩度の値は色かぶりにより生じた誤差となるため、本来高彩度であると考えられる画素はハイライトポイントの算出から除外したほうが良いためである。この処理の効果を具体例を上げて説明する。例えばイエローの画素（Ｒ＝Ｇ＝２５５、Ｂ＝０）は、上式からその輝度Ｙは２２６となり、彩度Ｓは２２７となる。すなわち、この画素は極めて高輝度であるとともに、十分に彩度の高い色を有することが分かる。このような画素は、無彩色の画素がイエローに色かぶりした結果そのようになったと判断するよりも、本来イエローの画素であると判断した方が多くの場合間違えが少ない。このような高輝度・高彩度の画素を輝度ヒストグラムに含めると、検出される白位置に誤差が生じてしまう。よって、本実施形態では所定の彩度（Ｓｃｏｎｓｔ）を定め、所定の彩度を越える彩度の画素は輝度ヒストグラムに含めない。こうすることで、高彩度の画素により検出される白位置に誤差が生じることを防ぎ、白位置の精度を向上させることができる。
【００３４】
尚、本実施形態において後述のように画像の平均濃度を検出するためだけであれば、上述したステップＳ７の処理を省略しても良い。
【００３５】
このように、Ｓ７における判断の後、条件（Ｓ≦Ｓｃｏｎｓｔ）を満たした画素について輝度ヒストグラムを作成していく（Ｓ８）。ここで本実施形態で扱う画素データＲＧＢは各８ビット（２５６階調）データであるので、輝度Ｙも２５６の深さに変換される。よって輝度ヒストグラムは、０から２５５までの２５６段階の各輝度値の画素が夫々何度数あるかを計数することで得られる。
【００３６】
尚、色度Ｃ１，Ｃ２の計算値は、例えば色かぶり等の補正処理時に、各輝度値を有する画素の平均色度を算出するためのデータとして用いることができる。従って本実施形態では次のようにデータを保持する。すなわち、インデクスの範囲が０から２５５の構造体配列変数の形式で、度数，Ｃ１累積値，Ｃ２累積値の３メンバーを設定し、各画素ごとの演算結果をその画素の輝度値をインデクスとする各メンバーに反映していく。
【００３７】
注目画素について処理を終えたなら、注目ラインの全画素の処理が終了したかどうかを判断し（Ｓ９）、注目ラインに未処理画素が残っている場合にはＳ６に戻り、Ｓ６以降の処理を繰り返す。注目ライン内の全画素の処理が終了したら、Ｓ１０で未処理のラインが残っているかを判断し、全ライン終了であればＳ１１で終了し、未処理のラインが残っていればＳ４に戻り、注目ラインを次のラインに移して上記処理を繰り返す。
【００３８】
以上の様に原画像データの画素を選択しながら輝度ヒストグラムを作成することにより、必要最小限の画素数で、且つ画像補正のための情報となる白位置、黒位置検出時の精度の向上も考慮した輝度ヒストグラムを作成することができる。
【００３９】
●画像補正処理
次に、図３のステップＳ２３において、原画像に対してステップＳ２２で得られた輝度ヒストグラムに基づいた画像補正処理を施す。例えば、輝度ヒストグラムに基づいて原画像の白位置及び黒位置を検出し、それに基づいて、例えば、原画像の色かぶりを補正する色かぶり補正、原画像の露出を最適化すべく輝度のコントラストを補正する露出補正、および出力画像の色のみえを良くするための彩度補正等の画像補正処理を行う。尚、これらの画像補正処理としては周知の方法を用いることができるため、ここでは詳細な説明は省略する。
【００４０】
●イラスト加工処理
次に、図３のステップＳ２４において、ステップＳ２３で補正された原画像に対してステップＳ２２で得られた輝度ヒストグラムに基づいたイラスト加工処理を施す。本実施形態においては、例えばデジタルカメラ１１１で撮影された原画像に対して、手書きのイラスト調の風合いを有する画像に加工するイラスト加工処理を行なうことを特徴とする。
【００４１】
尚、本発明においてはステップＳ２３で説明した補正処理を省略しても良い。
【００４２】
以下、本実施形態におけるイラスト加工について詳細に説明する。
【００４３】
まず、本実施形態におけるイラスト加工処理の原理について説明する。本実施形態においては、原画像に対して所定条件を満たす５画素×５画素（以下、単に５×５と表記する）のフィルタによるフィルタリング処理を施すことにより、画像のエッジを抽出し、かつ色味を保存した画像に加工することができる。このフィルタの例を図５に示す。例えば、図６Ａに示す原画像に対して図５に示すフィルタ４０によるフィルタ処理を施すことにより、図６Ｃに示す画像が得られる。図６Ｃによれば即ち、写真画像である原画像の輪郭部が抽出されて階調数が減少し、更に明るさが増加していることにより、あたかも手書きのイラストであるかのような印象を与える画像に加工されていることが分かる。尚、図６Ａはキャノン社のデジタルカメラであるＰｏｗｅｒＳｈｏｔＡ５(登録商標)によって撮影されたものであり、画素数は８１万画素である。
【００４４】
ここで、本実施形態のイラスト加工処理を実現するフィルタについて説明する。
【００４５】
画像に対してエッジ抽出を行なうためのフィルタとしては、例えばラプラシアンフィルタが知られている。一般にラプラシアンフィルタにおいては、その中央に位置する注目画素の係数（重み）を周囲よりも大きく設定することにより、画像における濃度の変化点、即ちエッジの抽出を可能としている。通常、エッジ抽出のためのラプラシアンフィルタにおける各係数の総和は「０」である。
【００４６】
本実施形態におけるイラスト加工のためのフィルタ（以下、単に「フィルタ」と称する）は、例えば上述したように図５に示すフィルタ４０が適当であり、図示される係数からなる５×５フィルタである。フィルタ４０においては、注目画素の係数を「２６」とし、その周囲の係数を全て「−１」に設定することにより、その総和は「２」となっている。
【００４７】
本実施形態においては、前述のＲＧＢ各プレーンに対してそれぞれイラスト加工のためのフィルタをかける処理を行なう。従って、原色系のデータであるため、データの数値が大きいほど明度が高くなる。
【００４８】
また、本実施形態のフィルタは、もちろん図５に示すフィルタ４０に限定されるものではなく、その係数の総和が０以上であれば良い。その他のフィルタ例を図７に示す。図７の（ａ）は、フィルタ４０における注目画素の係数を１減じて「２５」としたフィルタ６１、図７の（ｂ）は、同じくフィルタ４０における注目画素の係数を１加算して「２７」としたフィルタ６２を示す。フィルタ６１によるフィルタ処理後の画像は、フィルタ４０の場合と比べて暗くなり、フィルタ６２によるフィルタ処理後の画像は、フィルタ４０の場合と比べて明るくなる。従って、それぞれの加工結果の特性から、フィルタ４０を通常フィルタとすれば、フィルタ６１，６２はそれぞれ暗いめフィルタ、明るいめフィルタとなる。
【００４９】
また、図７の（ｃ）は、フィルタ４０における注目画素の周囲係数を間引いたフィルタ６３を示し、係数の総和を「２」に保つために、注目画素の係数も「１８」に設定されている。フィルタ６３によるフィルタ処理によれば、係数の数が減少することによりフィルタ処理時の演算量を減らし、処理速度の向上を可能とする。但し、フィルタ６３における係数の間引きは、縦、横、斜め方向のエッジ検出を考慮して行われている。
【００５０】
以上、本実施形態におけるフィルタの例として、５×５のフィルタについて説明したが、本実施形態はもちろん他のサイズのフィルタによっても実行可能である。例えばフィルタサイズとしては、ｎ×ｎ（ｎ=２×ｍ＋１（ｍは１以上の整数））であれば良い。また、フィルタのサイズは縦横で異なっていても良い。図８に、他のサイズの一フィルタ例として、３×３フィルタを示す。図６Ａに示す原画像に対して図８に示す３×３のフィルタによるフィルタ処理を施すことにより、図６Ｂに示す画像が得られる。図６Ｂに示す画像においても、写真画像である原画像から輪郭部が抽出されて階調数が減少し、更に明るさが増加しているが、５×５のフィルタ４０に基づく図６Ｃに示す画像ほどには、イラストの風合いは得られない。これは、５×５フィルタの方が、抽出したエッジをより太く表現するように作用するためである。
【００５１】
尚、本実施形態におけるイラスト加工処理では、フィルタのサイズによって、加工後の画像において抽出された輪郭部の太さが変化する。従って、イラスト加工の際の最適なフィルタサイズは、本実施形態で説明した５×５や３×３に限定されず、原画像の画像サイズや解像度、または画像内のオブジェクトの細かさ等に依存する。例えば、大きな画像や高解像度の画像、又は粗いオブジェクトの画像には大きなフィルタを、小さな画像や低解像度の画像、又は細かいオブジェクトの画像には小さなフィルタを適用することにより、抽出された輪郭部が前者の場合には太く、後者の場合には細くなる。また、オブジェクトの明るさ等によって、フィルタサイズを設定しても良い。また、要求される処理速度に応じてフィルタサイズを設定しても良いことはもちろんである。
【００５２】
かかるフィルタ処理の選択は、画像のサイズ、解像度、オブジェクトの細かさに応じて自動的に行なっても良いし、或いは、ユーザのマニュアル指示によって行なっても良い。従って、マニュアル選択のためのユーザインタフェースを提供することも、本発明に含まれる。
【００５３】
図３のステップＳ２４においては、ステップＳ２３で補正された原画像に対して上述したようなフィルタを用いたイラスト加工処理を行なう。図９に、本実施形態におけるイラスト加工処理のフローチャートを示す。まずステップＳ８１において、上述したステップＳ２２で作成された輝度ヒストグラムに基づき、画像の明るさを検出する。この検出方法としては、例えば輝度ヒストグラムに基づいてその平均値や中間値、又は最大頻度値を算出し、所定のしきい値と比較することによって、複数段階の明るさのレベルを検出することができる。例えば、明るさの「通常」レベルである所定範囲を予め設定しておき、該所定範囲よりも明るいと判断される画像を「明るい」レベル、該所定範囲よりも暗いと判断される画像を「暗い」レベルであると判定することにより、３段階の明るさが検出される。
【００５４】
ステップＳ８１で検出された明るさのレベルに基づいて、ステップＳ８２，Ｓ８３，Ｓ８４においてフィルタを設定する。即ち、原画像が「明るい」レベルであれば、ステップＳ８２で加工結果を暗くするために暗いめフィルタであるフィルタ６１を設定し、「通常」レベルであればステップＳ８３で通常フィルタであるフィルタ４０を設定し、「暗い」レベルであればステップＳ８４で加工画像を明るくするために明るめフィルタであるフィルタ６２を設定する。
【００５５】
そしてステップＳ８５において上記設定されたフィルタに基づいて、原画像に対するフィルタ処理を実行することにより、適切なイラスト加工が施される。
【００５６】
尚、判定する明るさのレベルは何段階であっても良いことはもちろんであり、各レベル毎に適切な効果を発生するフィルタに対応させれば良い。
【００５７】
尚、本実施形態においてはプリンタドライバ１０５においてイラスト加工処理を行なうため、原画像の全領域を一括して処理することはできず、複数ラインによる領域ブロックに分割し、該ブロック単位でイラスト加工処理を行なう。従って、加工後の画像においてブロック境界が目立ってしまうことを回避するために、ブロックの最終ライン付近においては、フィルタサイズをより小さく、例えば３×５等に変更する。これにより、加工後の画像においてブロック境界の連続性を維持することができる。
【００５８】
以上説明したように本実施形態によれば、原画像に対してイラスト加工を施すことを容易に可能とし、原画像の雰囲気を残し、かつ明度が高くなるためにイラストらしい調子の画像を得ることができる。また、イラスト加工後の画像は原画像に比べて階調数が低減されているため、画像のデータ量を低減することができる。
【００５９】
尚、本実施形態においては、原画像の輝度ヒストグラムを生成し、該輝度ヒストグラムに基づいて原画像に対して画像補正処理を施した後に、該輝度ヒストグラムによるイラスト加工処理を行なう例について説明したが、輝度ヒストグラムによる画像補正処理は、必ずしも行なわなくても良い。輝度ヒストグラムを生成した直後にイラスト加工処理のみを行なうことにより、処理速度が向上する。
【００６０】
但し、例えば画像補正処理において色補正等を行なう際に、判定条件として使用された例えば背景とオブジェクトのコントラスト情報や画像の属するシーン情報等、画像補正処理に基づくパラメータに基づいて、イラスト加工処理におけるフィルタ制御を行なうことも可能である。
【００６１】
また、本実施形態においては輝度信号Ｙのヒストグラムを作成する例について説明したが、原画像データの輝度色度変換を行なわずに、Ｇ成分のヒストグラムに基づいて明るさ検出を行なってもよい。この場合、輝度色度変換を行なわないため、処理速度の向上が望める。
【００６２】
また、本実施形態においては原画像がＲＧＢ形式のデータであるとして説明したが、もちろん他の形式であっても本発明は適用可能である。例えば、他の形式の原画像データに対しては、一旦ＲＧＢ形式に変換した後に、それぞれの色成分に本実施形態に示したイラスト加工処理を実行するか、または、原画像のデータ形式に応じたフィルタを適用すれば良い。例えば、原画像がＹＭＣ形式であった場合には、本実施形態で示したフィルタの係数の正負を全て反転させれば良い。また、原画像がＹＨＳ等のデータに対しても適用が可能である。例えば、原画像がＬａｂ形式等、輝度成分のみを抽出可能な形式であれば、該輝度成分のみに対してフィルタ処理を施すことにより、ＲＧＢ形式の各成分毎にフィルタ処理を施す場合と比べて演算量を減少させることができる。
【００６３】
また、本実施形態におけるイラスト加工対象となる画像は、デジタルカメラ１１１で撮影された画像に限定されず、例えばフォトスキャナ等によって読取られた写真画像を入力しても良いし、ＣＤ−ＲＯＭ等の外部装置に格納されている写真画像であっても良い。
【００６４】
尚、本実施形態においてはイラスト加工処理を実現するために、フィルタ係数を制御する例について説明したが、本実施形態の特徴であるところの、画像の輪郭部を抽出して階調数を減少し、更に明るさを増加させることによってイラスト調に加工された画像は、フィルタ係数制御以外の方法でも得られる。例えば、Ａｄｏｂｅｘ社のｐｈｏｔｏｓｈｏｐ（登録商標）等の画像加工を行なうアプリケーションによって、油絵処理等、原画像に対して絵画調への加工を施す処理を行なった後、画像全体の明るさを上げ、更に階調数を減らすように自動的に処理する様に、予めプログラムを設定することによって、図６Ｃに示すようなイラスト調の画像を得ることができる。
【００６５】
＜第２実施形態＞
以下、本発明に係る第２実施形態について説明する。
【００６６】
上述した第１実施形態においては、原画像に対するイラスト加工処理を自動実行する例について説明した。第２実施形態においては、ユーザによる任意の加工指示を可能とする画像処理システムについて説明する。
【００６７】
第２実施形態におけるシステム構成は上述した第１実施形態と同様であるため、説明を省略する。
【００６８】
図１０に、第２実施形態における画像加工処理のフローチャートを示す。図１０において、第１実施形態で示した図３と同様の処理については同一ステップ番号を付してある。尚、図１０に示す処理のうち、ユーザインタフェースを伴う部分は所定のアプリケーション１０１によって実現され、その他は基本的にプリンタドライバ１０５内の画像補正処理部１２０において実現される。
【００６９】
●対象画像選択
まずステップＳ３１において、ユーザが加工処理対象となる画像を選択する。図１１は、加工対象画像の選択画面例であり、所定の画像加工アプリケーション１０１の起動に伴ってモニタ１０６に表示される。図１１において、１１は画像表示部であり、本実施形態における加工処理の対象となりうる画像の縮小画像（サムネイル画像）が、一覧表示される。これらの画像は、例えばＨＤ１０７やＣＤ−ＲＯＭ等の外部記憶装置から入力されても良いし、ＲＡＭ１０９やＲＯＭ１１０から読み出されても良い。また、画像表示部１１に表示される画像はサムネイル画像に限らず、例えば、一覧表示されたサムネイル画像のうち任意の画像を選択し、該画像を復号して表示することも可能である。また、１４は画像の加工開始を指示するためのボタン、１５は画像加工処理の終了を指示するためのボタンである。また、その他の機能ボタンを設けることももちろん可能である。尚、「加工」ボタン１４の上部に表示されている「画像の一覧」のテキスト表示は、画像表示部１１における現在の表示が、画像の一覧表示であることを示すものである。
【００７０】
図１１に示す対象画像選択画面において、ユーザがキーボードやマウス等の指示入力デバイス１１２によって画面上のカーソル１６を画像表示部１１の所望する画像上に移動させ、クリック等の実行操作を行なうことにより、該画像が選択状態となる。同図においては、画像表示部の右端に示す画像が選択されており、太枠で囲まれている。尚、複数の画像を選択することも可能である。このように少なくとも１枚の画像が選択された状態で、カーソル１６を「加工」ボタン１４上に移動して実行操作を行なうことにより、選択画像の決定、及び画像加工の開始指示がなされる。そして、選択された画像データがＲＧＢ形式でＲＡＭ１０９上の所定領域にに読み込まれる。
【００７１】
●加工モード選択
すると次にステップＳ３２において、ユーザが実行する加工モード（本実施形態においてはイラストモード）を指示する。本実施形態においては、予め用意された複数の加工モードから、ユーザが任意のモードを選択することにより、加工モードが指示される。ここで図１２を参照して、加工モードの選択処理について説明する。
【００７２】
図１２は加工モード選択画面であり、上述したように加工対象画像が選択された後に、モニタ１０６に表示される。図１２において、２１は加工モード表示部であり、本実施形態において実行可能な加工形態の種類が、その概要を示す画像を伴って一覧表示される。この加工モード表示部２１は、ボタン２２，２３の操作により前画面又は次画面表示を可能とし、さらなる加工モードの表示が可能である。２７は更に詳細設定を行なうためのボタンである。また、２４は画像の加工開始を指示するためのボタン、２５は図１１に示した対象画像選択画面に戻るためのボタンである。図１２においても、その他の機能ボタンを設けることがもちろん可能である。尚、「戻る」ボタン２５の上部に表示されている「加工の一覧」のテキスト表示は、画像表示部２１における現在の表示が、加工モードの一覧表示であることを示すものである。
【００７３】
ここでは、各加工モードの詳細な内容については省略するが、例えば所定のテクスチャデータを原画像に対して重ね印刷するような加工モード（レンガモード等）については、該モードに適した所定色を示すＲＧＢデータが、所定パターンと共にテクスチャデータとしてＲＡＭ１０９又はＲＯＭ１１０の所定領域に格納されている。
【００７４】
尚、図１２の加工モード表示部２１に示した各加工モードの概要を示す画像は、装置内に予め備えておくことが考えられるが、例えば、図１１において選択された対象画像の画像データ又はそのサムネイル画像データに対して、実際に各モードに応じた加工処理を施し、その結果を加工モード表示部２１に表示する（プレビュー表示）ことも可能である。
【００７５】
図１２に示す加工モード選択画面において、ユーザは指示入力デバイス１１２によって画面上のカーソル２６を加工モード表示部２１の所望する加工モード上に移動させ、クリック等の実行操作を行なうことにより、該加工モードの選択がなされる。同図においては、「イラスト」モードが選択されており、太枠で囲まれている。
【００７６】
●イラスト加工詳細設定
この状態で、ユーザが更に詳細設定ボタン２７をクリックすることにより、イラストモードによる加工、即ちイラスト加工処理の際の詳細パラメータの設定を、ユーザが任意に行なうことができる。該詳細設定画面の例を図１３に示す。図１３において、３１は画像表示部であり、ユーザによる設定を可能とする項目が表示され、ボタン３２，３３の操作に応じて、更に他の項目を表示、設定することができる。また、３５は図１２に示した加工モード選択画面に戻るためのボタンである。尚、「戻る」ボタン３５の上部に表示されている「イラストモード詳細」のテキスト表示は、画像表示部３１における現在の表示が、イラスト加工における詳細項目の設定用であることを示すものである。
【００７７】
また、画像表示部３１内に表示された３８，３９は、それぞれ明るさ設定，粒状加工設定の項目である。明るさ設定３８においては、ユーザがイラスト加工後の画像を明るめにしたいか又は暗めにしたいかに応じて、「明るめ加工」又は「暗め加工」のボタンを選択する。もちろんデフォルトは「通常加工」である。この明るさ設定に応じて、後述するようにフィルタが選択される。粒状加工設定３９においては、後述する粒状加工処理を施すか否かを、オン又はオフのいずれかのボタンによって設定する。デフォルトとしては、例えばオンを設定しておく。
【００７８】
尚、図１３に示した設定項目は一例に過ぎず、他のパラメータに基づく設定項目を設けることももちろん可能である。例えば、第１実施形態で説明したフィルタサイズの設定に関するパラメータを、ユーザが設定するようにしても良い。
【００７９】
このようにして、ユーザによる各種詳細項目の設定が終了すると、「戻る」ボタン３５によって図１２の加工モード設定画面に戻り、「加工」ボタン２４のクリックによって、ステップＳ３２の加工モード設定処理を終了し、ユーザにより選択、詳細設定されたイラスト加工処理が開始される。
【００８０】
ここで、第２実施形態における粒状加工設定について説明する。上述した第１実施形態においては、主にデジタルカメラ１１１によって撮影された画像に対してイラスト加工を施す例について説明した。従って、加工対象となる画像は一旦ブロック符号化、例えばＪＰＥＧ符号化が施された画像であるため、目立たないがブロック符号化特有のブロック歪みが発生している。第１実施形態において図６Ａに示した原画像例は、一旦ＪＰＥＧ符号化され、復号された画像である。従って、図６Ｃに示したイラスト加工後の画像においては、フィルタ処理に伴ってブロック歪みが強調されてしまうことにより、細かいノイズが発生して粒状化していることが分かる。しかしながら該粒状化の発生によって、イラスト加工後の画像が単調な印象を与えない、独特の風合いを持った画像となっている。第２実施形態においてはこのような粒状化をイラスト効果の一つ（粒状効果）としてとらえ、ユーザにより該効果の付与（粒状加工）を選択可能とすることを特徴とする。
【００８１】
図１０のステップＳ３３においては、ステップＳ３１で加工対象として選択された画像を、ステップＳ３２で設定された加工モード及びその詳細パラメータに基づいて読み出し、加工を施す原画像データとしてＲＡＭ１０９内の所定領域に格納する。
【００８２】
●原画像データ作成処理
以下、ステップＳ３３の原画像データ作成処理の一例として、イラストモードが選択された場合の処理について説明する。図１４は、イラストモードにおける原画像データ作成処理を示すフローチャートである。
【００８３】
まずステップＳ４１において、粒状加工の設定が「オン」であるか否かを判断する。「オン」である、即ち粒状効果を付与することをユーザが要求しているのであればステップＳ４２に進み、加工対象として選択された画像がブロック符号化による符号化画像であるか否かを判定し、ブロック符号化画像であれば、ステップＳ４４で復号する。一方、ブロック符号化画像でなければ、ステップＳ４３においてＪＰＥＧ符号化の処理を行なう。
【００８４】
ステップＳ４３においては即ち、対象画像のデータ形式に関わらず、該画像をＪＰＥＧ符号に変換する。例えば、他の形式で符号化された画像であれば一旦復号した後、ブロック歪みを付与するために再度ＪＰＥＧ形式により符号化する。そしてその後、ステップＳ４４で復号する。
【００８５】
一方、ステップＳ４１において粒状加工の設定が「オフ」であれば、粒状化の抑制をユーザが要求しているためステップＳ４５に進み、加工対象として選択された画像がＪＰＥＧによる符号化画像であるか否かを判定し、ＪＰＥＧ符号化画像であれば、ステップＳ４６で復号する。そして更にステップＳ４７で平滑化をほどこすことにより、ブロック歪みを除去する。一方、ステップＳ４５において対象画像がＪＰＥＧ符号化画像でなければ、画像の形式に応じた例えば復号等の処理を施した後、そのまま処理を終了する。
【００８６】
図１４に示すフローチャートから明らかな様に、ＪＰＥＧ画像については粒状加工設定が「オン」である方が、ステップＳ４７の平滑化処理を行なわないために処理速度は速い。
【００８７】
●画像加工（イラスト加工）処理
次にステップＳ３４において、原画像データに対してステップＳ３２で設定された加工モードによる画像加工処理を行なう。
【００８８】
以下、ステップＳ３４の画像加工処理の一例である、イラスト加工処理について説明する。図１５は、イラスト加工処理のフローチャートである。上述した第１実施形態で説明した図９と同様の処理については同一ステップ番号を付す。図１５においては、ステップＳ８１で上述したように設定されたイラストモードにおける明るさ設定の内容に応じて、ステップＳ８２，Ｓ８３，Ｓ８４においてフィルタを設定する。即ち、「暗め加工」が設定されていればステップＳ８２で暗いめフィルタであるフィルタ６１を設定し、「通常加工」が設定されていればステップＳ８３で通常フィルタであるフィルタ４０を設定し、「明るめ加工」が設定されていればステップＳ８４で明るめフィルタであるフィルタ６２を設定する。そしてステップＳ８５において上記設定されたフィルタに基づいて、原画像に対するフィルタ処理を実行することにより、ユーザの所望するイラスト加工が施される。
【００８９】
以上説明したように第２実施形態によれば、ユーザにより粒状加工設定のオン／オフが選択可能である。ここで、粒状加工設定がオフである場合のイラスト加工例を図１６Ａ〜図１６Ｃに示す。図１６ＡはＴＩＦＦ形式により圧縮された画像を伸張して得られた画像であり、即ちＪＰＥＧ特有のブロック歪みは有していない。尚、図１６Ａは画像電子学会の標準画像（ＳＨＩＰＰ）であり、その画素数は４０９６×３０２７（約１２５０万）画素である。この画像に対して３×３のフィルタ、及び５×５のフィルタによるイラスト加工を施した結果を、それぞれ図１６Ｂ及び図１６Ｃに示す。例えば図１６Ｃによれば、図６Ｃに示した粒状化が発生した画像に比べて、粒状化の発生を抑制したより単調なイラスト加工が行われていることが分かる。また、図６Ａ〜図６Ｃの場合と同様に、図１６Ｂに示す３×３のフィルタによる画像よりも、図１６Ｃに示す５×５のフィルタによる画像の方が、よりイラスト調に加工されている。
【００９０】
以上説明したように本実施形態によれば、ユーザによる任意の加工モード選択、及びその詳細設定を可能としたことにより、特にイラスト加工処理についてユーザの所望する形態でのイラスト加工が可能となり、更に、第１実施形態におけるヒストグラム作成処理等を行なう必要がないため処理の高速化が望める。
【００９１】
尚、第２実施形態では複数の選択可能な加工モードのうち、特にイラスト加工モードによる加工処理について説明を行なったが、本発明はもちろんこれに限定されず、イラスト加工を含む複数の加工処理を所定順に施すことによって、より効果的な加工結果が得られることもある。
【００９２】
尚、上述した各実施形態においては画像加工機能をプリンタドライバに持たせる例について説明したが、ＯＳがアプリケーションを実行することによっても実現可能であることはもちろんである。
【００９３】
また、イラスト加工処理の際に必要となる各種情報や領域は、ＲＡＭ１０９上の所定領域に確保されるとして説明したが、該領域は、例えば加工処理を行なうアプリケーションの起動時に確保しても良いし、または、それぞれが必要となった時点で確保しても良い。後者によれば、メモリ領域を無駄に確保しておく必要がないため、他の処理に対してさらなるメモリ領域を提供する等、メモリ効率を高めることができる。
【００９４】
＜他の実施形態＞
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【００９５】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
【００９６】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００９７】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。
【００９８】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行ない、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００９９】
また、本発明の画像処理方法により得られた生成物、例えばプリント物も本発明に含まれる。
【０１００】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードを格納することになる。
【０１０１】
また、本発明におけるＪＰＥＧ符号化の他に、ブロック符号化としては種々の方法（例えばスケールインデックス符号化と呼ばれる方法）が適用可能である。
【発明の効果】
以上説明したように本発明によれば、画像データに対して従来よりも明るい階調でイラストらしい、効果的なイラスト加工処理を施すことが容易に可能となる。
【０１０２】
また、イラスト加工の詳細をユーザが容易に設定することができる。
【０１０３】
更には、新規なよりイラストらしい処理が施された画像が形成された媒体が提供できる。
【０１０４】
【図面の簡単な説明】
【図１】本発明に係る一実施例における画像処理システムの構成を示すブロック図、
【図２】プリンタドライバのブロック図、
【図３】プリンタドライバにおける画像処理を示すフローチャート、
【図４】ヒストグラム作成処理を示すフローチャート、
【図５】通常フィルタ例を示す図、
【図６Ａ】原画像（ＪＰＥＧ）の一例を示す図、
【図６Ｂ】図６Ａの原画像の３×３フィルタによるイラスト加工例を示す図、
【図６Ｃ】図６Ａの原画像の５×５フィルタによるイラスト加工例を示す図、
【図７】他のフィルタ例を示す図、
【図８】他のフィルタ例を示す図、
【図９】イラスト加工処理を示すフローチャート、
【図１０】本発明に係る第２実施形態における画像加工処理を示すフローチャート、
【図１１】加工対象画像の選択画面例を示す図、
【図１２】加工モードの選択画面例を示す図、
【図１３】イラストモード詳細の設定画面例を示す図、
【図１４】原画像データ作成処理を示すフローチャート、
【図１５】イラスト加工処理を示すフローチャート、
【図１６Ａ】原画像（ＴＩＦＦ）の一例を示す図、
【図１６Ｂ】図６Ａの原画像の３×３フィルタによるイラスト加工例を示す図、
【図１６Ｃ】図６Ａの原画像の５×５フィルタによるイラスト加工例を示す図、である。
【符号の説明】
１００ ホストコンピュータ
１０１ アプリケーション
１０２ ＯＳ
１０３ プリンタドライバ
１０４ モニタドライバ
１０５ プリンタ
１０６ モニタ
１０７ ＨＤ
１０８ ＣＰＵ
１０９ ＲＡＭ
１１０ ＲＯＭ
１１１ デジタルカメラ
１１２ 入力デバイス
１１３ デバイスドライバ

Claims (7)

1. 第1の画像を、該第1の画像の輪郭部を抽出した第1の信号と該第1の画像を階調数を低減して明るさを増大させるように処理した第２の信号とに基づいて、第2の画像に加工する加工工程を有し、
   前記加工工程では、前記第 1 の画像がブロック符号化された画像でない場合に、該第 1 の画像に対してブロック符号化を施して復号した後に、前記第 2 の画像に加工することを特徴とする画像処理方法。
2. 更に、加工モードの指示をユーザから受け付ける指示受付工程を備え、前記加工工程では前記ユーザの指示に対応した加工モードにおいて前記加工が行われることを特徴とする請求項１記載の画像処理方法。
3. 前記加工工程において、前記第1の画像に対して所定のフィルタによるフィルタ処理を施すことによって前記第1及び第2の信号を生成することを特徴とする請求項１に記載の画像処理方法。
4. 前記加工工程において、ユーザから粒状化加工の要求を受け付け、前記第 1 の画像がブロック符号化された画像でない場合に、前記第 1 の画像に対してブロック符号化を施してから復号化を行なうことを特徴とする請求項１乃至３のいずれかに記載の画像処理方法。
5. 第 1 の画像を、該第1の画像の輪郭部を抽出した第1の信号と該第1の画像を階調数を低減して明るさを増大させるように処理した第２の信号とに基づいて、第 2 の画像に加工する加工手段を有し、
   前記加工手段では、前記第 1 の画像がブロック符号化された画像でない場合に、該第 1 の画像に対してブロック符号化を施して復号した後に、前記第 2 の画像に加工することを特徴とする画像処理装置。
6. 第１の画像に対して加工処理を行って第２の画像を生成する画像処理装置と、該第２の画像を出力する画像出力装置と、を接続した画像処理システムであって、
   該画像処理装置は、前記第1の画像の輪郭部を抽出した第1の信号と該第1の画像を階調数を低減して明るさを増大させるように処理した第２の信号とに基づいて、第 2 の画像に加工する加工手段を有し、
   前記加工手段では、前記第 1 の画像がブロック符号化された画像でない場合に、該第 1 の画像に対してブロック符号化を施して復号した後に、前記第 2 の画像に加工することを特徴とする画像処理システム。
7. コンピュータに請求項１乃至４のいずれかに記載の画像処理方法を実現させるための画像処理プログラムを記憶したコンピュータで読み取り可能な記憶媒体。

Images