JP4941568B2 - 画像処理装置及びプログラム - Google Patents

Description

本発明は、画像処理装置及びプログラムに関し、特に、原画像から芸術性の高い画像を得るための画像処理として、原画像全体を勘案して、芸術性の演出効果をより高める画像のデータを生成する画像処理を実現可能な技術に関する。

近年、撮像等により取得された画像を鑑賞する際の演出効果を高める目的で、原画像のデータに対して芸術性を高める加工を施す画像処理が実行されるようになっている。
例えば、特許文献１には、上述の目的を達成すべく、原画像についての輝度、彩度、色相の情報を画素単位で取得し、これらの情報を用いて、芸術性を高めるような画像（例えば水彩画や油彩画）のデータに変換する際の筆運びや色彩をシミュレートして描画する技術が開示されている。

特開平８−４４８６７号公報

しかしながら、特許文献１に記載の技術では、画素単位でシミュレートするために、画像全体を勘案して芸術性を高めるという点においては不足する点もあった。

本発明は、このような状況に鑑みてなされたものであり、原画像から芸術性の高い画像を得るための画像処理として、原画像全体を勘案して芸術性の演出効果をより高める画像のデータを生成する画像処理を実現可能にすることを目的とする。

上記目的達成のため、請求項１記載の発明は、画像のデータを入力する入力手段と、前記入力手段によって入力された前記画像のデータを、入力されたときの形態から、輝度成分を含む色空間の形態に変換する変換手段と、前記変換手段によって変換された前記画像のデータから、複数の画素のデータを選択する選択手段と、前記画像における所定画素単位毎の水平方向及び垂直方向のエッジ強度から、テクスチャ処理を施すための筆運びパターンの描画方向を決定する第１の決定手段と、前記第１の決定手段により決定された前記描画方向の前記筆運びパターンで、前記選択手段によって選択された前記複数の画素のデータの位置に、その画素の色を用いたテクスチャを張り付けるテクスチャ処理を施す第１のテクスチャ処理手段と、前記画像における所定画素単位毎の水平方向及び垂直方向のエッジ強度から、前記第１の決定手段によって決定された前記筆運びパターンよりも小さい筆運びパターンの描画方向を決定する第２の決定手段と、前記第１のテクスチャ処理手段による処理の後の画像のデータのエッジ部分に対して、前記第２の決定手段により決定された前記描画方向の前記筆運びパターンで前記テクスチャ処理を施す第２のテクスチャ処理手段と、前記第１のテクスチャ処理手段及び前記第２のテクスチャ処理手段による処理結果が含まれる画像のデータの記憶を制御する記憶制御手段と、を備えることを特徴とする。
また、請求項２記載の発明は、上記請求項１に記載の発明において、前記筆運びパターンとは、筆状のパターンである。
また、請求項３記載の発明は、上記請求項１又は２に記載の発明において、前記入力手段は、撮像手段を含む。

また上記目的達成のため、請求項４記載の発明は、入力された画像のデータに対して画像処理を施すコンピュータに、入力された前記画像のデータを、入力されたときの形態から、輝度成分を含む色空間の形態に変換する変換機能と、前記変換機能の実現によって変換された前記画像のデータから、複数の画素のデータを選択する選択機能と、前記画像における所定画素単位毎の水平方向及び垂直方向のエッジ強度から、テクスチャ処理を施すための筆運びパターンの描画方向を決定する第１の決定機能と、前記第１の決定機能の実現により決定された前記描画方向の前記筆運びパターンで、前記選択機能の実現によって選択された前記複数の画素のデータの位置に、その画素の色を用いたテクスチャを張り付けるテクスチャ処理を施す第１のテクスチャ処理機能と、前記画像における所定画素単位毎の水平方向及び垂直方向のエッジ強度から、前記第１の決定機能の実現により決定された前記筆運びパターンよりも小さい筆運びパターンの描画方向を決定する第２の決定機能と、前記第１のテクスチャ処理機能の実現による処理の後の画像のデータのエッジ部分に対して、前記第２の決定機能の実現により決定された前記描画方向の前記筆運びパターンで前記テクスチャ処理を施す第２のテクスチャ処理機能と、前記第１のテクスチャ機能手段及び前記第２のテクスチャ処理機能の発揮により実行された処理結果が含まれる画像のデータの記憶を制御する記憶制御機能と、を実現させる。

本発明によれば、原画像から芸術性の高い画像を得るための画像処理として、原画像全体を勘案して、芸術性の演出効果をより高める画像のデータを生成する画像処理を実現することができる。

本発明の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。 図１の撮像装置の機能的構成を示す機能ブロック図である。 図２の撮像装置が実行する油絵調画像生成処理の流れの一例を示すフローチャートである。 図３の油絵調画像生成処理のステップＳ４の処理結果の一例を示す図である。 図３の油絵調画像生成処理のステップＳ５の処理結果の一例を示す図である。 図３の油絵調画像生成処理のステップＳ６の処理結果の一例を示す図である。 図３の油絵調画像生成処理のステップＳ３の筆運びパターン決定処理で選択され得る筆運びパターンの一例を示す図である。 図３の油絵調画像生成処理のステップＳ３の筆運びパターン決定処理で、エッジ強度を演算するために用いるソーベルフィルタの一例を示す図である。 図３の油絵調画像生成処理のステップＳ３の筆運びパターン決定処理の一部として、所定画素に対する描画方向の筆運びパターンを選択するために実行される描画方向選択処理の流れの一例を示すフローチャートである。 図３の油絵調画像生成処理の結果として得られた油絵調画像の一例を示す図である。 図１０の油絵調画像の一部の領域を拡大した図である。 図１０の油絵調画像の一部であって、図１０とは別の領域を拡大した図である。

以下、本発明の一実施形態を図面に基づいて説明する。

図１は、本発明に係る画像処理装置の一実施形態としての撮像装置１のハードウェアの構成を示すブロック図である。撮像装置１は、例えばデジタルカメラにより構成することができる。

撮像装置１は、CPU（Central Processing Unit）１１と、ROM（Read Only Memory）１２と、RAM（Random Access Memory）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、操作部１７と、表示部１８と、記憶部１９と、通信部２０と、ドライブ２１と、を備えている。

CPU１１は、ROM１２に記録されているプログラムに従って各種の処理を実行する。又は、CPU１１は、記憶部１９からRAM１３にロードされたプログラムに従って各種の処理を実行する。
RAM１３にはまた、CPU１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

例えば本実施形態では、後述する図２の画像変換部５２乃至記憶制御部５９の各機能を実現するプログラムが、ROM１２や記憶部１９に記憶されている。従って、CPU１１が、これらのプログラムに従った処理を実行することで、後述する図２の画像変換部５２乃至記憶制御部５９の各機能を実現することができる。

CPU１１、ROM１２、及びRAM１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６、操作部１７、表示部１８、記憶部１９、及び通信部２０が接続されている。

撮像部１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。

光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。

イメージセンサは、光電変換素子や、AFE（Analog Front End）等から構成される。
光電変換素子は、例えばCMOS（Complementary Metal Oxide Semiconductor）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、一定時間毎に被写体像を光電変換（撮像）して画像信号を蓄積し、蓄積した画像信号をアナログ信号としてAFEに順次供給する。
AFEは、このアナログの画像信号に対して、A/D（Analog/Digital）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１６の出力信号として出力される。
なお、以下、撮像部１６の出力信号を、「撮像画像のデータ」と呼ぶ。従って、撮像部１６からは撮像画像のデータが出力されて、CPU１１等に適宜供給される。

操作部１７は、各種釦等で構成され、ユーザの指示操作を受け付ける。
表示部１８は、各種画像を表示する。
記憶部１９は、DRAM（Dynamic Random Access Memory）等で構成され、撮像部１６から出力された撮像画像のデータを一時記憶する。また、記憶部１９は、各種画像処理に必要な各種データ、例えば、画像のデータ、各種フラグの値、閾値等も記憶する。
通信部２０は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

入出力インターフェース１５にはまた、必要に応じてドライブ２１が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなるリムーバブルメディア３１が適宜装着される。そして、それらから読み出されたプログラムが、必要に応じて記憶部１９にインストールされる。また、リムーバブルメディア３１は、記憶部１９に記憶されている画像データ等の各種データも、記憶部１９と同様に記憶することができる。

図２は、油絵調画像生成処理を実行するための撮像装置１の機能的構成を示す機能ブロック図である。
ここで、油絵調画像生成処理とは、画像処理の対象として入力された元の画像（以下、「原画像」と呼ぶ）のデータから、芸術性の高い画像の一種である筆で描いた油絵のような画像（以下、「油絵調画像」と呼ぶ）のデータを生成するまでの一連の処理をいう。

図２に示すように、撮像装置１は、油絵調画像生成処理を実現すべく、画像入力部５１と、画像変換部５２と、サイズ大処理対象選択部５３と、サイズ大描画方向決定部５４と、サイズ大テクスチャ処理部５５と、サイズ小処理対象選択部５６と、サイズ小描画方向決定部５７と、サイズ小テクスチャ処理部５８と、記憶制御部５９と、画像記憶部６０と、を備えている。

画像入力部５１は、本実施形態では、図１に示す構成のうち、撮像部１６、通信部２０、ドライブ２１等により構成され、原画像のデータを入力する。
即ち、本実施形態では、撮像部１６から出力された撮像画像のデータのみならず、他の装置から送信されて通信部２０に受信された画像のデータや、リムーバブルメディア３１からドライブ２１によって読み出された画像のデータ等も、原画像のデータとして画像入力部５１に入力される。

本実施形態ではまた、画像変換部５２乃至記憶制御部５９の各々は、図１に示す構成のうち、CPU１１というハードウェアと、ROM１２等に記憶されたプログラム（ソフトウェア）との組み合わせとして構成されている。
また、画像記憶部６０は、図１に示す構成のうち、撮像装置１のRAM１３若しくは記憶部１９、又はリムーバブルメディア３１内の一領域として構成されている。

画像変換部５２は、画像入力部５１に入力された原画像のデータを、入力されたときの形態から、輝度成分を含む色空間の形態に変換する処理を実行する。このような処理を、以下、「画像変換処理」と呼ぶ。
本実施形態の画像変換処理後の色空間としては、図２に示すように、いわゆるYUV空間が採用されている。即ち、本実施形態では、画像変換部５２による画像変換処理によって、輝度成分（以下、「Ｙ成分」と呼ぶ）、輝度成分と青色成分との色差分成分（以下、「Ｕ成分」と呼ぶ）、及び、輝度成分と赤色成分との色差分成分（以下、「Ｖ成分」と呼ぶ）から構成される原画像のデータが得られる。
なお、以下、Ｙ成分、Ｕ成分、及びＶ成分をまとめたデータを、「YUV成分」と称する。

サイズ大処理対象選択部５３は、画像変換部５２から出力された原画像のYUV成分について、テクスチャ処理の対象になる複数の画素のデータを選択する。

ここで、「テクスチャ処理」とは、油絵を描く筆等の筆跡を模したテクスチャを画像に貼り付ける画像処理をいう。この「筆等の筆跡を模したテクスチャ」のパターンを、本明細書では、「筆運びパターン」と呼称している。
筆運びパターンとして採用されるテクスチャの形状や大きさ等は特に限定されない。ただし、本実施形態では、油絵を描く筆状の筆運びパターンが採用されており、当該筆状の筆運びパターンの描画方向として、Ｎ種類の方向が予め規定されている。ここで、Ｎは、２以上の整数値であって、本実施形態では、後述する図７に示すように８とされている。

そこで、サイズ大描画方向決定部５４は、画像変換部５２から出力された原画像のＹ成分における所定画素単位毎の水平方向及び垂直方向のエッジ強度から、テクスチャ処理を施すための筆運びパターンの描画方向を、所定画素毎に、後述する図７に示す８種類の描画方向の中から１種類ずつ決定する。

サイズ大テクスチャ処理部５５は、サイズ大処理対象選択部５３によって選択された複数の画素のデータについて、後述する図７に示す８種類の描画方向のうちサイズ大描画方向決定部５４により決定された種類の描画方向の筆運びパターンで、その画素の色を用いたテクスチャ処理を施す。
このようなテクスチャ処理が、複数の画素のデータの各々に対して繰り返し実行されることによって、油絵調画像のデータが得られる。

ここで、上述の「画素の色を用いたテクスチャ処理」とは、画素の色そのもののテクスチャを貼り付ける処理のみならず、画素の色情報を用いて演算された色のテクスチャを貼り付ける処理も含んでいる。
即ち、本実施形態では、テクスチャの色としては、テクスチャの輝度と、テクスチャを貼り付ける画素位置の画素の色情報（YUV成分の各値）とを元に演算された値に対して、乱数を加えた値で表現される色が採用されるものとする。
このように、乱数を用いるだけでなく、テクスチャを貼り付ける画素位置の画素の色情報も併せて用いることで、テクスチャの色としてランダムな色が選択されるが、選択された色は原画像の色に近いものになる。

サイズ大処理対象選択部５３乃至サイズ大テクスチャ処理部５５の各処理のさらなる詳細ついては、図３のステップＳ３及びＳ７の処理として、図４乃至図９を用いて後述する。

このようなサイズ大処理対象選択部５３乃至サイズ大テクスチャ処理部５５による１回目のテクスチャ処理の結果、油絵調画像のデータは得られるが、本実施形態ではさらに、当該油絵調画像のエッジを補完することを目的として、２回目のテクスチャ処理が実行される。
当該２回目のテクスチャ処理の実行のために、サイズ小処理対象選択部５６と、サイズ小描画方向決定部５７と、サイズ小テクスチャ処理部５８と、が撮像装置１に設けられている。

サイズ小処理対象選択部５６は、サイズ大処理対象選択部５３乃至サイズ大テクスチャ処理部５５による１回目のテクスチャ処理後の油絵調画像のデータについて、２回目のテクスチャ処理の対象になる複数の画素のデータを選択する。
サイズ小描画方向決定部５７は、画像変換部５２から出力された原画像のＹ成分における所定画素単位毎の水平方向及び垂直方向のエッジ強度から、テクスチャ処理を施すための筆運びパターンの描画方向を、所定画素毎に、後述する図７に示す８種類の描画方向の中から１種類ずつ決定する。ただし、サイズ小描画方向決定部５７は、サイズ大描画方向決定部５４によって決定された筆運びパターンよりも小さな筆運びパターンの描画方向を決定する。
サイズ小テクスチャ処理部５８は、サイズ小描画方向決定部５７により決定された描画方向の筆運びパターンで、サイズ小処理対象選択部５６によって選択された複数の画素のデータについて、その画素の色を用いた２回目のテクスチャ処理を施す。
このような２回目のテクスチャ処理が、複数の画素のデータの各々に対して繰り返し実行されることによって、エッジが補間された油絵調画像のデータが得られる。

サイズ小処理対象選択部５６乃至サイズ小テクスチャ処理部５８の各処理のさらなる詳細ついては、図３のステップＳ８及びＳ１２の処理として後述する。

記憶制御部５９は、サイズ小テクスチャ処理部５８により２回目のテクスチャ処理が施された油絵調画像のデータを、画像記憶部６０に記憶する制御処理（以下、「画像記憶処理」と呼ぶ）を実行する。

次に、このような機能的構成を有する撮像装置１が実行する油絵調画像生成処理について説明する。

図３は、油絵調画像生成処理の流れの一例を示すフローチャートである。

ステップＳ１において、画像入力部５１は、原画像のデータが入力されたか否かを判定する。
原画像のデータが入力されていない場合、ステップＳ１においてＮＯであると判定されて、再度ステップＳ１の判定処理が実行される。即ち、原画像のデータが入力されるまで、ステップＳ１の判定処理が繰り返されて、油絵調画像生成処理は待機状態になる。
その後、原画像のデータが画像入力部５１に入力されると、ステップＳ１においてＹＥＳであると判定されて、処理はステップＳ２に進む。

ステップＳ２において、画像変換部５２は、画像入力部５１に入力された原画像のデータに対する画像変換処理を実行する。これにより、本実施形態では、上述したように、原画像のYUV成分が得られる。

ステップＳ３において、サイズ大描画方向決定部５４は、ステップＳ２の画像変換処理後の原画像のＹ成分における所定画素単位毎の水平方向及び垂直方向のエッジ強度から、テクスチャ処理を施すための筆運びパターンの描画方向を決定する。
このようなステップＳ３の処理を、以下、「筆運びパターン決定処理」と呼ぶ。筆運びパターン決定処理の詳細については、図７乃至図９を用いて後述する。

ステップＳ４において、サイズ大処理対象選択部５３は、YUV成分における複数のライン（行）の中から任意のラインを、処理対象のラインとして選択する。
ステップＳ５において、サイズ大処理対象選択部５３は、処理対象のラインから、処理対象の複数の画素を選択する。例えば、サイズ大処理対象選択部５３は、乱数を発生させて、処理対象のラインを構成する画素列から、複数の画素を選択する。
ステップＳ６において、サイズ大テクスチャ処理部５５は、ステップＳ３の筆運びパターン決定処理で決定された描画方向の筆運びパターン、及びステップＳ５の処理で処理対象として選択された複数画素に基づいて、上述したテクスチャ処理を実行する。

さらに以下、図４乃至図６を参照して、ステップＳ４乃至Ｓ６の処理について具体的に説明する。

図４は、ステップＳ４の処理結果の一例を示す図である。
図５は、ステップＳ５の処理結果の一例を示す図である。
図６は、ステップＳ６の処理結果の一例を示す図である。
図４乃至図６には、YUV成分に対応する画像のうちの一領域（同一領域）が示されている。図４乃至図６において、１つの正方形は１つの画素を示している。

本例では、図４の白抜き矢印に示すように、ステップＳ４の処理で、図４の描画範囲内のうち上から４行目のラインが、処理対象のラインとして選択される。
図５に示すように、ステップＳ５の処理で、当該処理対象のラインを構成する画素列の中から、４つの画素Ｐ１乃至Ｐ４が、処理対象の画素として選択される。
ここで、説明の便宜上、ステップＳ３の筆運びパターン決定処理では、４つの画素Ｐ１乃至Ｐ４の各々に対して、後述する図７に示す８種類の描画方向の筆運びパターンのうち、描画方向が４５°の筆運びパターンが何れも選択されたものとする。
この場合、図６に示すように、ステップＳ６の処理で、４つの画素Ｐ１乃至Ｐ４の各画素位置において、描画方向が４５°の筆運びパターンであって、４つの画素Ｐ１乃至Ｐ４の各画素値（YUV成分の各値）に基づいて演算された４つの色の各々を有するテクスチャＴ１乃至Ｔ４がそれぞれ貼り付けられる。

ここで、図６の例では、説明の便宜上、４つの画素Ｐ１乃至Ｐ４の何れについても同一の描画方向（４５°）の筆運びパターンが採用されている。
しかしながら、実際には、４つの画素Ｐ１乃至Ｐ４のそれぞれに貼り付けられるテクスチャの描画方向は、ステップＳ３の筆運び決定処理において、所定画素毎にその都度選択された描画方向に基づいて決定されるため、必ずしも同一の描画方向にはならない。

以下、図７乃至図９を参照して、このようなステップＳ３の筆運び決定処理の詳細について説明する。

図７は、ステップＳ３の筆運びパターン決定処理で選択され得る筆運びパターンの一例を示す図である。
本実施形態では、図７に示すように、同図中水平右方向に対してなす角度が、垂直（９０°）、６０°、４５°、３０°、水平（０°）、１２０°、１３５°、及び１５０°の８種類の描画方向の筆運びパターンが予め定義されている。

従って、本実施形態では、図３のステップＳ２の処理で画像変換処理が実行された後の原画像のＹ成分を処理対象として、ステップＳ３の筆運び決定処理が実行され、その結果として、Ｙ成分の所定画素毎に、図７に示す８種類の描画方向のうちの所定の１種類の筆運びパターンがそれぞれ選択される。

具体的には例えば、図２のサイズ大描画方向決定部５４は、ステップＳ２の処理で画像変換処理が実行された後の原画像のＹ成分に対して縮小処理を施すことで、ＱＶＧＡサイズのデータを生成する。
次に、サイズ大描画方向決定部５４は、当該ＱＶＧＡサイズのデータを構成する各画素のデータ毎に、図８に示すようなソーベルフィルタをかけることによって、水平方向及び垂直方向のエッジ強度をそれぞれ求める。

図８は、水平方向画素数×垂直方向画素数＝３×３のソーベルフィルタの一例を示す図である。具体的には、図８（Ａ）は、垂直成分抽出用ソーベルフィルタの一例を示す図である。図８（Ｂ）は、水平成分抽出用ソーベルフィルタの一例を示す図である。

サイズ大描画方向決定部５４は、ＱＶＧＡサイズのデータを構成する各画素のデータのうちの所定の１つを、処理の対象として注目すべき注目画素のデータとして設定する。
サイズ大描画方向決定部５４は、注目画素のデータに対して、図８（Ａ）に示す垂直成分抽出用ソーベルフィルタ及び図８（Ｂ）に示す水平成分抽出用ソーベルフィルタの各々をかける。
なお、注目画素のデータに対して図８（Ａ）に示す垂直成分抽出用ソーベルフィルタがかけられた結果得られる値が、垂直方向のエッジ強度である。このような垂直方向のエッジ強度を、以下、「Ｓｏｂｅｌ（垂直）」又は単に「垂直成分」と呼ぶ。
また、注目画素のデータに対して図８（Ｂ）に示す水平成分抽出用ソーベルフィルタがかけられた結果得られる値が、水平方向のエッジ強度である。このような水平方向のエッジ強度を、以下、「Ｓｏｂｅｌ（水平）」又は単に「水平成分」と呼ぶ。

次に、サイズ大描画方向決定部５４は、このようなＳｏｂｅｌ（垂直）及びＳｏｂｅｌ（水平）に基づいて、図７に示す８種類の描画方向の筆運びパターンのうち、注目画素のデータに適する描画方向の筆運びパターンを決定する。
このような処理を、以下、「描画方向選択処理」と呼ぶ。
図９は、描画方向選択処理の流れの一例を示すフローチャートである。

ステップＳ２１において、サイズ大描画方向決定部５４は、水平又は垂直の一方の成分が０か、極端に多いか否かを判定する。

水平又は垂直の一方の成分が０か、極端に多い場合、ステップＳ２１においてＹＥＳであると判定されて、処理はステップＳ２２に進む。
ステップＳ２２において、サイズ大描画方向決定部５４は、水平成分が０か、極端に多いか否かを判定する。

垂直成分が０か、極端に多い場合、ステップＳ２２においてＮＯであると判定されて、処理はステップＳ２３に進む。
ステップＳ２３において、サイズ大描画方向決定部５４は、垂直の筆運びパターンを選択する。これにより、描画方向選択処理は終了になる。

これに対して、水平成分が０か、極端に多い場合、ステップＳ２２においてＹＥＳであると判定されて、処理はステップＳ２４に進む。
ステップＳ２４において、サイズ大描画方向決定部５４は、水平の筆運びパターンを選択する。これにより、描画方向選択処理は終了になる。

また、水平及び垂直の両成分が０でもなく、かつ極端に多いとは判断できない場合、ステップＳ２１においてＮＯであると判定されて、処理はステップＳ２５に進む。
ステップＳ２５において、サイズ大描画方向決定部５４は、水平成分と垂直成分の絶対値が共に閾値以下であるか否かを判定する。

水平成分と垂直成分のうち少なくとも一方の絶対値が閾値を超えている場合、ステップＳ２５においてＮＯであると判定されて、処理はステップＳ２６に進む。
ステップＳ２６において、サイズ大描画方向決定部５４は、水平成分と垂直成分との絶対値が等しいか否かを判定する。

水平成分と垂直成分との絶対値が等しい場合、ステップＳ２６においてＹＥＳであると判定されて、処理はステップＳ２７に進む。
ステップＳ２７において、サイズ大描画方向決定部５４は、６０°の筆運びパターンを選択する。これにより、描画方向選択処理は終了になる。

これに対して、水平成分と垂直成分との絶対値が等しくない場合、ステップＳ２６においてＮＯであると判定されて、処理はステップＳ２８に進む。
ステップＳ２８において、サイズ大描画方向決定部５４は、水平成分の絶対値の方が大きいか否かを判定する。

水平成分の絶対値の方が大きい場合、ステップＳ２８においてＹＥＳであると判定されて、処理はステップＳ２９に進む。
ステップＳ２９において、サイズ大描画方向決定部５４は、４５°の筆運びパターンを選択する。これにより、描画方向選択処理は終了になる。

これに対して、水平成分の絶対値の方が小さい場合、即ち垂直成分の絶対値の方が大きい場合、ステップＳ２８においてＮＯであると判定されて、処理はステップＳ３０に進む。
ステップＳ３０において、サイズ大描画方向決定部５４は、３０°の筆運びパターンを選択する。これにより、描画方向選択処理は終了になる。

また、水平成分と垂直成分の絶対値が共に閾値以下である場合、ステップＳ２５においてＹＥＳであると判定されて、処理はステップＳ３１に進む。
ステップＳ３１において、サイズ大描画方向決定部５４は、垂直成分の方がやや大きいか否かを判定する。
具体的には例えば、ステップＳ３１において、次の不等式（１）を満たすか否かが判定される。
｜Ｓｏｂｅｌ（水平）｜×３ ＜ ｜Ｓｏｂｅｌ（垂直）｜×２ ・・・（１）

垂直成分の方がやや大きい場合、具体的には例えば、上述の不等式（１）を満たす場合、ステップＳ３１においてＹＥＳであると判定されて、処理はステップＳ３２に進む。
ステップＳ３２において、サイズ大描画方向決定部５４は、水平成分と垂直成分の乗算値が正であるか否かを判定する。

水平成分と垂直成分の乗算値が正の場合、ステップＳ３２においてＹＥＳであると判定されて、処理はステップＳ２７に進む。
ステップＳ２７において、サイズ大描画方向決定部５４は、６０°の筆運びパターンを選択する。これにより、描画方向選択処理は終了になる。

これに対して、水平成分と垂直成分の乗算値が負の場合、ステップＳ３２においてＮＯであると判定されて、処理はステップＳ３３に進む。
ステップＳ３３において、サイズ大描画方向決定部５４は、１５０°の筆運びパターンを選択する。これにより、描画方向選択処理は終了になる。

また、垂直成分の方がやや大きいとは判断できない場合、具体的には例えば、上述の不等式（１）を満たさない場合、ステップＳ３１においてＮＯであると判定されて、処理はステップＳ３４に進む。
ステップＳ３４において、サイズ大描画方向決定部５４は、水平成分の方がやや大きいか否かを判定する。
具体的には例えば、ステップＳ３４において、次の不等式（２）を満たすか否かが判定される。
｜Ｓｏｂｅｌ（水平）｜×２ ＞ ｜Ｓｏｂｅｌ（垂直）｜×３ ・・・（２）

水平成分の方がやや大きい場合、具体的には例えば、上述の不等式（２）を満たす場合、ステップＳ３４においてＹＥＳであると判定されて、処理はステップＳ３５に進む。
ステップＳ３５において、サイズ大描画方向決定部５４は、水平成分と垂直成分の乗算値が正であるか否かを判定する。

水平成分と垂直成分の乗算値が正の場合、ステップＳ３５においてＹＥＳであると判定されて、処理はステップＳ３０に進む。
ステップＳ３０において、サイズ大描画方向決定部５４は、３０°の筆運びパターンを選択する。これにより、描画方向選択処理は終了になる。

これに対して、水平成分と垂直成分の乗算値が負の場合、ステップＳ３５においてＮＯであると判定されて、処理はステップＳ３６に進む。
ステップＳ３６において、サイズ大描画方向決定部５４は、１２０°の筆運びパターンを選択する。これにより、描画方向選択処理は終了になる。

また、水平成分の方がやや大きいとは判断できない場合、具体的には例えば、上述の不等式（２）を満たさない場合、ステップＳ３４においてＮＯであると判定されて、処理はステップＳ３７に進む。
ステップＳ３７において、サイズ大描画方向決定部５４は、水平成分と垂直成分の乗算値が正であるか否かを判定する。

水平成分と垂直成分の乗算値が正の場合、ステップＳ３７においてＹＥＳであると判定されて、処理はステップＳ２９に進む。
ステップＳ２９において、サイズ大描画方向決定部５４は、４５°の筆運びパターンを選択する。これにより、描画方向選択処理は終了になる。

これに対して、水平成分と垂直成分の乗算値が負の場合、ステップＳ３７においてＮＯであると判定されて、処理はステップＳ３８に進む。
ステップＳ３８において、サイズ大描画方向決定部５４は、１３５°の筆運びパターンを選択する。これにより、描画方向選択処理は終了になる。

以上説明したように、ステップＳ２の処理で画像変換処理が実行された後の原画像のＹ成分が縮小され、その結果得られるＱＶＧＡサイズのデータのうち所定の画素のデータが注目画素のデータに設定されて、図８（Ａ）に示す垂直成分抽出用ソーベルフィルタ及び図８（Ｂ）に示す水平成分抽出用ソーベルフィルタの各々がかけられる。
このような処理の結果得られたＳｏｂｅｌ（垂直）及びＳｏｂｅｌ（水平）を用いて、図９の描画方向選択処理が実行されると、注目画素のデータに対して、図７に示す８種類の中から所定の１種類の描画方向の筆運びパターンが選択される。

上述のＱＶＧＡサイズのデータを構成する各画素のデータのそれぞれが注目画素のデータに順次設定されて、前段落に記載の一連の処理が繰り返し実行される。これにより、ＱＶＧＡサイズのデータを構成する各画素のデータ毎に、所定の描画方向の描画パターンがそれぞれ独立して選択される。
即ち、本実施形態では、ＶＧＡサイズの各画素毎に、各々選択された描画方向の描画パターンを示す情報を格納したマップが生成される。このようなマップを、以下、「テクスチャ選択用マップ」と呼ぶ。
サイズ大描画方向決定部５４は、このようなＶＧＡサイズのテクスチャ選択用マップに対して拡大処理を施すことによって、原画像と同サイズのテクスチャ選択用マップを生成する。このような原画像と同サイズのテクスチャ選択用マップの各々のデータは、原画像のデータ（YUV成分）を構成する各画素の各々に対して選択された描画方向の筆運びパターンを示している。

従って、図３のステップＳ６の処理では、ステップＳ５の処理で処理対象として選択された複数の画素の各々に対して、このような原画像のサイズのテクスチャ選択用マップを用いて、ステップＳ３の筆運びパターン決定処理で選択された描画方向の筆運びパターンが抽出される。そして、複数の画素の各々に対して抽出された筆運びパターンのテクスチャが、各画素の色を用いて、複数の画素の各々の画素位置に張り付けられる。
このようなステップＳ６の処理が終了すると、処理はステップＳ７に進む。

ステップＳ７において、サイズ大テクスチャ処理部５５は、サイズ大テクスチャ処理を終了したか否かを判定する。
サイズ大テクスチャ処理を終了する条件が満たされない場合、ステップＳ７においてＮＯであると判定されて、処理はステップＳ４に戻され、それ以降の処理が繰り返される。
サイズ大テクスチャ処理を終了する条件は、特に限定されず、例えば、ステップＳ４乃至Ｓ６の処理の繰り返し回数が閾値を超えたこと等の任意の条件を採用することができる。
サイズ大テクスチャ処理を終了する条件が満たされるまでの間、ステップＳ４乃至Ｓ７ＮＯのループ処理が繰り返され、その都度、原画像のYUV成分のうち任意のラインが処理対象のラインに選択されて、処理対象の複数の画素が選択され、当該複数の画素の各々に基づくテクスチャ処理がそれぞれ実行される。
その後、サイズ大テクスチャ処理を終了する条件が満たされると、ステップＳ７においてＹＥＳであると判定されて、処理はステップＳ８に進む。

処理がステップＳ８に進む段階で、上述したように、油絵調画像のデータは得られているが、本実施形態ではさらに、当該油絵調画像のエッジを補完することを目的とする２回目のテクスチャ処理として、ステップＳ８乃至Ｓ１２の処理が実行される。
ただし、２回目のテクスチャ処理であるステップＳ８乃至Ｓ１２の各々の処理は、１回目のテクスチャ処理であるステップＳ３乃至Ｓ７の各々の処理とほぼ同様の処理である。
そこで、以下、２回目のテクスチャ処理であるステップＳ８乃至Ｓ１２の各々の処理のうち、１回目のテクスチャ処理であるステップＳ３乃至Ｓ７の各々の処理とは異なる点についてのみ、以下説明する。

２回目のテクスチャ処理としてのステップＳ８乃至Ｓ１２の処理の動作主体は、１回目のテクスチャ処理と異なり、次のようになる。
即ち、ステップＳ８の処理はサイズ小描画方向決定部５７により実行され、ステップＳ９及びＳ１０の処理はサイズ小処理対象選択部５６により実行され、ステップＳ１１及びＳ１２の処理はサイズ小テクスチャ処理部５８により実行される。

ステップＳ１０の処理対象の画素の選択手法は、乱数を発生させて、処理対象のラインを構成する画素列から、複数の画素を選択するところまでは、ステップＳ５の選択手法と同一であるが、さらに次のようにして処理対象の画素を選択する点が異なる。
即ち、ステップＳ１０の処理では、乱数を用いて選択された時点の複数の画素は未だ処理対象の候補である。そこで、サイズ小処理対象選択部５６は、複数の候補の各画素位置におけるソーベルフィルタの結果をそれぞれ参照することで、複数の候補の中から処理対象の画素を選抜する。

具体的には例えば、サイズ小描画方向決定部５７は、ステップＳ８の筆運びパターン決定処理の一部の処理として、ＱＶＧＡサイズのデータを構成する各画素のデータのそれぞれに対して、図８（Ａ）に示す垂直成分抽出用ソーベルフィルタ及び図８（Ｂ）に示す水平成分抽出用ソーベルフィルタの各々をかける。
このときに得られるソーベルフィルタの結果は、ＱＶＧＡサイズのデータであるため、サイズ小描画方向決定部５７は、当該ソーベルフィルタの結果であるＱＶＧＡサイズのデータに対して拡大処理を施すことによって、原画像と同サイズのソーベルフィルタの結果を生成する。

そこで、ステップＳ１０において、サイズ小処理対象選択部５６は、乱数を用いて複数の処理対象の候補を選択した後に、このような原画像と同サイズのソーベルフィルタの結果の中から、複数の候補の各画素位置におけるソーベルフィルタの結果をそれぞれ抽出する。
そして、サイズ小処理対象選択部５６は、複数の候補の各画素位置におけるソーベルフィルタの結果のうち、水平成分と垂直成分の絶対値が共に閾値よりも高くなっているソーベルフィルタの結果を有する画素位置の候補を、処理対象の画素として選抜する。
なお、この選抜のために用いる閾値は、図９の描画方向選択処理で用いた閾値とは独立したものであるため、同一値であってもよいし、異なる値であってもよい。
このようにして選抜された処理対象の画素に対してのみ、ステップＳ１１の２回目のテクスチャ処理を実行することで、油絵調画像のエッジ部分のみにテクスチャを貼り付けることが可能になる。

ステップＳ１１の２回目のテクスチャ処理については、処理対象の画素に対してテクスチャを貼り付ける点は、ステップＳ６の１回目のテクスチャ処理と同様である。しかしながら、１回目のテクスチャ処理で用いられるテクスチャそのものではなく、その大きさが縮小されたテクスチャが、２回目のテクスチャ処理で用いられる点が、ステップＳ６の１回目のテクスチャ処理とは異なる。

このようなステップＳ１１の２回目のテクスチャ処理が終了すると、処理はステップＳ１２に進む。
ステップＳ１２において、サイズ小テクスチャ処理部５８は、サイズ小テクスチャ処理を終了したか否かを判定する。
ここで、サイズ小テクスチャ処理を終了する条件は、特に限定されず、例えば、ステップＳ９乃至Ｓ１２の処理の繰り返し回数が閾値を超えたこと等の任意の条件を採用することができる。この場合の繰り返し回数は、ステップＳ７のサイズ大テクスチャ処理を終了する条件において採用される繰り返し回数とは独立しており、同一であってもよいし、異なる値であってもよい。
サイズ小テクスチャ処理を終了する条件が満たされるまでの間、ステップＳ９乃至Ｓ１２ＮＯのループ処理が繰り返され、その都度、油絵調画像のYUV成分のうち任意のラインが処理対象のラインに選択されて、処理対象の複数の画素が選択され、複数の画素の各々に基づく２回目のテクスチャ処理がそれぞれ実行される。
その後、サイズ小テクスチャ処理を終了する条件が満たされると、ステップＳ１２においてＹＥＳであると判定されて、処理はステップＳ１３に進む。

ステップＳ１３において、記憶制御部５９は、このようにして２回のテクスチャ処理が施された結果得られる油絵調画像のデータを、画像記憶部６０に記憶する画像記憶処理を実行する。
これにより、油絵調画像生成処理は終了となる。

図１０は、油絵調画像生成処理の結果として得られた油絵調画像の一例を示す図である。
図１１は、図１０の油絵調画像の一部の領域を拡大した図である。
図１２は、図１０の油絵調画像の一部であって、図１１とは別の領域を拡大した図である。

自動車を被写体として含む原画像（図示せず）のデータに対して、図３の油絵調画像生成処理が施されると、図１０に示す油絵調画像７１のデータが生成されて、画像記憶部６０（図２）に記憶される。

油絵調画像７１のうち領域８１は、図１１の拡大図に示すように、主に１回目のテクスチャ処理のみが施された領域である。領域８１においては、ソーベルフィルタによりエッジ検出が行われ、その垂直成分及び水平成分により適切なテクスチャが選択されて貼り付けられていることがわかる。
一方、油絵調画像７１の領域８２のうち自動車のボディの境目部分においては、図１２の拡大図に示すように、テクスチャのサイズが小さくなっていること、即ち、１回目のテクスチャ処理に加えてさらに、エッジを補完することを目的とした２回目のテクスチャ処理が施されていることがわかる。
このように、本実施形態では、エッジ部分近傍にのみ２回目のテクスチャ処理が施されて、エッジ部分のみにテクスチャが追加されることがわかる。

また、図１０に示す油絵調画像７１の全体からわかるように、本実施形態では、原画像（図示せず）の上にテクスチャを貼り付けるという手法が採用されているため、テクスチャ密度を減らしても、適切な油絵調が表現される。即ち、図示はしないが、白地にテクスチャを張る場合を考えると、本実施形態と同様の低いテクスチャ密度では、テクスチャが貼り付けられていない部分が目立ってしまう。これに対して、図１０に示す油絵調画像７１の全体からわかるように、本実施形態の油絵調画像生成処理が実行されると、テクスチャが貼り付けられていない部分であっても、原画像の色が残っているので、当該テクスチャが貼り付けられていない部分が目立つことはない。
なお、テクスチャ密度の低減は、処理速度の向上にも繋がる。

このように、本実施形態の油絵調画像生成処理を実行することで、原画像全体の水平及び垂直のエッジ強度を勘案して、芸術性の演出効果がより高められた油絵調画像７１等のデータを生成することが可能になる。

なお、本発明は前記実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

例えば、図２のサイズ大処理対象選択部５３、サイズ大テクスチャ処理部５５、サイズ小処理対象選択部５６、及びサイズ小テクスチャ処理部５８の処理対象として、前記実施形態では、原画像と同一サイズのデータが採用されていたが、特にこれに限定されない。
具体的には例えば、図１の撮像装置１のRAM１３等のメモリ容量が限られており、サイズの大きいテクスチャを扱うことが困難である一方、筆で描いた様子を表現するために、一定以上のサイズのテクスチャを取り扱う必要がある場合が存在する。このような場合には、画像変換部５２から出力されたYUV成分に対して縮小処理を施し、その結果得られる縮小画像のデータを、サイズ大処理対象選択部５３に供給するようにしてもよい。ただし、この場合には、サイズ小テクスチャ処理部５８の出力データに対して拡大処理を施すことによって、画像サイズを原画像のサイズに戻す必要がある。

また例えば、図２に示す機能ブロック以外の機能ブロックも必要に応じて追加してもよい。
具体的には例えば、上述の如く、処理対象の画像のデータに対して縮小処理を施した後に拡大処理を施すような場合、拡大処理後の画像にはジャギーが発生する場合がある。そこで、このようなジャギーを除去すべく、サイズ小テクスチャ処理部５８から出力される油絵調画像のYUV成分のうち、Ｙ成分に対してDMD（Directional Median Filter）をかける機能ブロックを追加してもよい。

また例えば、サイズ大描画方向決定部５４やサイズ小描画方向決定部５７によるエッジ強度の算出手法は、前記実施形態では、精度を高めるために、画像変換部５２から出力されたＹ成分を縮小したものに対してソーベルフィルタをかける手法が採用されていたが、特にこれに限定されない。
具体的には例えば、画像変換部５２から出力されたＹ成分を縮小せずにそのまま用いて、ソーベルフィルタをかける手法を採用してもよい。この場合、疑似的により大きなサイズのソーベルフィルタをかけたことと等価になる。また、処理速度も速くなる。
また例えば、高速化が必要な場合、画像変換部５２から出力されたＹ成分、又はそれを縮小したものに対して、ラプラシアンフィルタ等、ソーベルフィルタ以外の任意のフィルタをかけることによって、エッジ強度を求める手法を採用してもよい。

また例えば、前記実施形態では、２回のテクスチャ処理が実行されたが、テクスチャ処理の回数はこれに限定されない。即ち、必要に応じて、１回のテクスチャ処理を実行するようにしてもよいし、逆に、３回以上のテクスチャ処理を実行するようにしてもよい。

また例えば、上述した実施形態では、本発明が適用される画像処理装置は、デジタルカメラ等の撮像装置として構成される例として説明した。しかしながら、本発明は、撮像装置に特に限定されず、撮像機能の有無を問わず、上述の画像処理を実行可能な電子機器一般に適用することができる。具体的には例えば、本発明は、パーソナルコンピュータ、ビデオカメラ、携帯型ナビゲーション装置、ポータブルゲーム機等に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディアは、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、CD-ROM（Compact Disk-Read Only Memory），DVD（Digital Versatile Disk）等により構成される。光磁気ディスクは、MD（Mini-Disk）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のROM１２や、図１の記憶部１９に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。

１・・・撮像装置、１１・・・CPU、１２・・・ROM、１３・・・RAM、１６・・・撮像部、１７・・・操作部、１８・・・表示部、１９・・・記憶部、２０・・・通信部、２１・・・ドライブ、３１・・・リムーバブルメディア、５１・・・画像入力部、５２・・・画像変換部、５３・・・サイズ大処理対象選択部、５４・・・サイズ大描画方向決定処理、５５・・・サイズ大テクスチャ処理部、５６・・・サイズ小処理対象選択部、５７・・・サイズ小描画方向決定処理、５８・・・サイズ小テクスチャ処理部、５９・・・記憶制御部、６０・・・画像記憶部

Claims (4)

1. 画像のデータを入力する入力手段と、
   前記入力手段によって入力された前記画像のデータを、入力されたときの形態から、輝度成分を含む色空間の形態に変換する変換手段と、
   前記変換手段によって変換された前記画像のデータから、複数の画素のデータを選択する選択手段と、
   前記画像における所定画素単位毎の水平方向及び垂直方向のエッジ強度から、テクスチャ処理を施すための筆運びパターンの描画方向を決定する第１の決定手段と、
   前記第１の決定手段により決定された前記描画方向の前記筆運びパターンで、前記選択手段によって選択された前記複数の画素のデータの位置に、その画素の色を用いたテクスチャを張り付けるテクスチャ処理を施す第１のテクスチャ処理手段と、
   前記画像における所定画素単位毎の水平方向及び垂直方向のエッジ強度から、前記第１の決定手段によって決定された前記筆運びパターンよりも小さい筆運びパターンの描画方向を決定する第２の決定手段と、
   前記第１のテクスチャ処理手段による処理の後の画像のデータのエッジ部分に対して、前記第２の決定手段により決定された前記描画方向の前記筆運びパターンで前記テクスチャ処理を施す第２のテクスチャ処理手段と、
   前記第１のテクスチャ処理手段及び前記第２のテクスチャ処理手段による処理結果が含まれる画像のデータの記憶を制御する記憶制御手段と、
   を備えることを特徴とする画像処理装置。
2. 前記筆運びパターンとは、筆状のパターンであることを特徴とする、
   請求項１に記載の画像処理装置。
3. 前記入力手段は、撮像手段を含むことを特徴とする、
   請求項１又は２に記載の画像処理装置。
4. 入力された画像のデータに対して画像処理を施すコンピュータに、
   入力された前記画像のデータを、入力されたときの形態から、輝度成分を含む色空間の形態に変換する変換機能と、
   前記変換機能の実現によって変換された前記画像のデータから、複数の画素のデータを選択する選択機能と、
   前記画像における所定画素単位毎の水平方向及び垂直方向のエッジ強度から、テクスチャ処理を施すための筆運びパターンの描画方向を決定する第１の決定機能と、
   前記第１の決定機能の実現により決定された前記描画方向の前記筆運びパターンで、前記選択機能の実現によって選択された前記複数の画素のデータの位置に、その画素の色を用いたテクスチャを張り付けるテクスチャ処理を施す第１のテクスチャ処理機能と、
   前記画像における所定画素単位毎の水平方向及び垂直方向のエッジ強度から、前記第１の決定機能の実現により決定された前記筆運びパターンよりも小さい筆運びパターンの描画方向を決定する第２の決定機能と、
   前記第１のテクスチャ処理機能の実現による処理の後の画像のデータのエッジ部分に対して、前記第２の決定機能の実現により決定された前記描画方向の前記筆運びパターンで前記テクスチャ処理を施す第２のテクスチャ処理機能と、
   前記第１のテクスチャ機能手段及び前記第２のテクスチャ処理機能の発揮により実行された処理結果が含まれる画像のデータの記憶を制御する記憶制御機能と、
   を実現させるためのプログラム。