JP6028485B2 - 画像生成装置、画像生成方法及びプログラム - Google Patents

Description

本発明は、画像生成装置、画像生成方法及びプログラムに関する。

従来より、風景等を撮像した撮像画像に画像処理を施して、撮像画像に新たな効果を付与することが行われている。撮像画像に新たな効果を付与する技術としては、特許文献１乃至３に記載の技術が知られている。
この特許文献１乃至３に記載の技術では、画像処理を施して、撮像画像を絵画又はイラスト調に変換することが種々の手法により行われている。

特開２００１−２４５１３５号公報 特開２００２−１１８７３７号公報 特開２００４−１０２８１９号公報

上述したような絵画又はイラスト調に変換する技術においては、画像そのものを変換して、画風やタッチを変えることはできるが、質感を与えるまでには至っていない。そこで、画像に質感を与えるために、別途処理の対象となる撮像画像に質感を与える画像（以下、「テクスチャ画像」という）を合成して質感を与えることが考えられる。
しかしながら、質感を与えるために別途テクスチャ画像を用意しておかなければならず、テクスチャ画像により記憶容量が増加してしまったり、与えたい質感に対応したテクスチャ画像を用いるために、同一のテクスチャ画像により質感を与えられた画像は、似通った印象を与えてしまったりする虞があった。

本発明は、このような状況に鑑みてなされたものであり、予めテクスチャ画像を保持しておく必要なく、生成の度に異なる質感を醸し出すことができる画像を生成する画像生成装置、画像生成方法及びプログラムを提供することを目的とする。

上記目的を達成するため、本発明の一態様の画像生成装置は、
対象画像のデータから当該画像の画素値を所定の値にした画像マップを作成する画像マップ作成手段と、
前記画像マップ作成手段により作成された前記画像マップの画素の各々にノイズを発生させるノイズ発生手段と、
前記ノイズ発生手段により前記画素の各々にノイズが発生させられた前記画像マップに対して平滑化処理を行って、前記対象画像に質感を与えるテクスチャ画像のデータを生成するテクスチャ生成手段と、
前記テクスチャ生成手段により生成されたテクスチャ画像のデータに基づいて、前記対象画像に所定の質感を付与した画像のデータを生成する画像生成手段と、
を備え、
前記テクスチャ生成手段は、前記ノイズ発生手段により前記画素の各々にノイズが発生させられた前記画像マップに対して縦方向及び横方向に横断する直線状の領域であり、当該領域が所定の画素値となる領域を複数形成する
ことを特徴とする。

本発明によれば、予めテクスチャ画像を保持しておく必要なく、生成の度に異なる質感を醸し出すことができる画像を生成することができる。

本発明の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。 図１の撮像装置の機能的構成のうち、紙質感イラスト調画像生成処理を実行するための機能的構成を示す機能ブロック図である。 紙質感イラスト調画像生成処理のうち、イラスト調画像生成処理を実行するための機能的構成を示す機能ブロック図である。 微分フィルタ処理におけるフィルタ係数の一例について示す模式図である。 紙質感イラスト調画像生成処理のうち、テクスチャ画像生成処理を実行するための機能的構成を示す機能ブロック図である。 キャンバス地生成処理により生成されるキャンバス地線を示す模式図である。 紙質感イラスト調画像生成処理のうち、合成画像生成処理を実行するための機能的構成を示す機能ブロック図である。 本実施形態の撮像装置において生成される紙質感イラスト調画像の表示例について説明するための図である。 図２の機能構成を有する図１の撮像装置が実行する紙質感イラスト調画像生成処理の流れを示すフローチャートである。 紙質感イラスト調画像生成処理のうち、イラスト調画像生成処理の流れを示すフローチャートである。 紙質感イラスト調画像生成処理のうち、テクスチャ画像生成処理の流れを示すフローチャートである。 紙質感イラスト調画像生成処理のうち、合成画像生成処理の流れを示すフローチャートである。

以下、本発明の実施形態について、図面を用いて説明する。

図１は、本発明の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。
撮像装置１は、例えばデジタルカメラして構成される。

撮像装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、画像処理部１４と、バス１５と、入出力インターフェース１６と、撮像部１７と、入力部１８と、出力部１９と、記憶部２０と、通信部２１と、ドライブ２２と、を備えている。

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部２０からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。

ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３及び画像処理部１４は、バス１５を介して相互に接続されている。このバス１５にはまた、入出力インターフェース１６も接続されている。入出力インターフェース１６には、撮像部１７、入力部１８、出力部１９、記憶部２０、通信部２１及びドライブ２２が接続されている。

画像処理部１４は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）や、ＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等から構成されており、ＣＰＵ１１と協働して、画像のデータに対して各種画像処理を施す。

撮像部１７は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。

光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。

イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１７の出力信号として出力される。
このような撮像部１７の出力信号を、以下、「撮像画像のデータ」と呼ぶ。撮像画像のデータは、ＣＰＵ１１や画像処理部１４等に適宜供給される。

入力部１８は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部１９は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部２０は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部２１は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

ドライブ２２には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２２によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部２０にインストールされる。また、リムーバブルメディア３１は、記憶部２０に記憶されている画像のデータ等の各種データも、記憶部２０と同様に記憶することができる。

図２は、このような撮像装置１の機能的構成のうち、紙質感イラスト調画像生成処理を実行するための機能的構成を示す機能ブロック図である。
紙質感イラスト調画像生成処理とは、撮像部１７から取得した画像のデータに基づいて、イラスト調（以下「絵画調」ともいう）の画像であるイラスト調画像のデータと紙の風合いを醸し出すためのテクスチャ画像のデータを生成し、当該生成したイラスト調画像にテクスチャ画像を合成して、紙の質感を持ち、かつ、イラスト調の画像である紙質感イラスト調画像のデータを生成するまでの一連の処理をいう。

紙質感イラスト調画像生成処理が実行される場合には、図２に示すように、ＣＰＵ１１において、テクスチャ選択部５１と、出力制御部５２と、が機能し、画像処理部１４において、画像取得部７１と、イラスト調画像生成処理部７２と、テクスチャ画像生成処理部７３と、合成画像生成処理部７４と、が機能する。
ただし、図２は例示であり、ＣＰＵ１１の機能の少なくとも一部を画像処理部１４に委譲してもよいし、逆に、画像処理部１４の機能の少なくとも一部をＣＰＵ１１に委譲してもよい。

この場合、記憶部２０の一領域として設けられた取得画像記憶部９１と、合成画像記憶部９２と、が用いられる。

テクスチャ選択部５１は、ユーザによる入力部１８へのテクスチャを選択する操作によって、生成する画像の質感を選択する。本実施形態において、画像の質感とは、紙の質感をいい、さらに、紙のうち画用紙又はキャンバス地をいう。ここで、「キャンバス地」とは、亜麻糸、綿糸、絹糸又は、それらの混織からできており、油絵やアクリル絵用の画布であり、素材から独特の風合いを醸し出すことから画風の雰囲気を出す要素にもなっている。
具体的には、テクスチャ選択部５１は、ユーザ操作により、生成する画像の質感を紙の質感のうち、画用紙の質感か、キャンバス地の質感かを選択する。

出力制御部５２は、合成画像記憶部９２に記憶される後述する紙質感イラスト調画像のデータを表示出力するように、出力部１９を制御する。その結果、出力部１９において、紙質感イラスト調画像が表示される。

画像取得部７１は、画像のデータを取得する。撮像装置１として構成される本実施形態においては、画像取得部７１は、撮像部１７のより撮像処理が行われた場合に、撮像部１７から撮像画像のデータを取得する。その後、画像取得部７１は、取得画像記憶部９１に撮像画像のデータを出力して、取得画像記憶部９１に撮像画像のデータを記憶させる。

イラスト調画像生成処理部７２は、取得画像記憶部９１に記憶される撮像画像のデータから、実際の風景等を写した画像をイラストで描いたかのような印象を与える画像となるイラスト調画像のデータを生成するイラスト調画像生成処理を実行する。
また、イラスト調画像生成処理部７２は、εフィルタ処理部１０１と、減色処理部１０２と、Ｙ成分抽出処理部１０３と、第１微分フィルタ処理部１０４と、Ｙ成分加算合成処理部１０５と、を備える。なお、εフィルタ処理部１０１、減色処理部１０２、Ｙ成分抽出処理部１０３、第１微分フィルタ処理部１０４及びＹ成分加算合成処理部１０５の詳細は、後述する。

テクスチャ画像生成処理部７３は、取得画像記憶部９１に記憶される撮像画像のデータから質感を醸し出す要素の画像となるテクスチャ画像のデータを生成するテクスチャ画像生成処理を実行する。
また、テクスチャ画像生成処理部７３は、画像マップ取得部１２１と、ノイズ生成処理部１２２と、キャンバス地生成処理部１２３と、ＬＰＦ（Ｌｏｗ−ｐａｓｓ ｆｉｌｔｅｒ）処理部１２４と、第２微分フィルタ処理部１２５とを備える。なお、画像マップ取得部１２１、ノイズ生成処理部１２２、キャンバス地生成処理部１２３、ＬＰＦ処理部１２４及び第２微分フィルタ処理部１２５の詳細については後述する。

合成画像生成処理部７４は、イラスト調画像生成処理部７２により生成されたイラスト調画像に、テクスチャ画像生成処理部７３により生成したテクスチャ画像を合成して、明度及び彩度を増加させることで、紙質感イラスト調画像のデータを生成する合成画像生成処理を実行する。
また、合成画像生成処理部７４は、Ｙ成分乗算合成処理部１４１と、明度彩度増加処理部１４２と、を備える。なお、Ｙ成分乗算合成処理部１４１及び明度彩度増加処理部１４２の詳細については後述する。

取得画像記憶部９１には、取得した画像のデータが記憶されている。本実施形態においては、取得画像記憶部９１には、例えば、撮像部１７から出力され、画像取得部７１により取得された撮像画像のデータが記憶されている。
合成画像記憶部９２には、例えば、合成画像生成処理部７４によって生成された紙質感イラスト調画像のデータ等の各種合成画像のデータが記憶されている。

図３は、紙質感イラスト調画像生成処理のうち、イラスト調画像生成処理を実行するための機能的構成を示す機能ブロック図である。

イラスト調画像生成処理を実行する場合には、図３に示すように、画像処理部１４のイラスト調画像生成処理部７２において、εフィルタ処理部１０１と、減色処理部１０２と、Ｙ成分抽出処理部１０３と、第１微分フィルタ処理部１０４と、Ｙ成分加算合成処理部１０５と、が機能する。

εフィルタ処理部１０１は、取得した撮像画像のデータ（イラスト調画像の生成対象となる画像）に対して、画像内の急峻な輝度値の変化を維持しつつ小信号ノイズを除去し、エッジを残して小さな凹凸を除去することで平坦な画像を生成する処理（以下、「εフィルタ処理」という）を行う。

減色処理部１０２は、εフィルタ処理を施した画像に対して、画像の色成分の減色を行う減色処理を行う。本実施形態において、減色処理は、例えば、ｂｉｔシフトで処理か可能な観点で実験をから決定した値として、画像のＹ成分については８段階に減色し、画像のＵＶ成分については１２段階に減色するように構成される。当該減色処理を経た画像のデータは、Ｙ成分抽出処理部１０３及びＹ成分加算合成処理部１０５にそれぞれ出力される。

Ｙ成分抽出処理部１０３は、減色処理部１０２による減色処理を経た画像からＹ成分の抽出し、画像をＹ成分のみで構成可能なデータ（以下、「抽出Ｙ成分データ」という）を生成する処理（以下、「Ｙ成分抽出処理」という）を行う。

第１微分フィルタ処理部１０４は、画像から抽出したＹ成分のみから構成される抽出Ｙ成分データに対して、微分フィルタ処理を行い、画像における境界線を強調する効果を付与する。
具体的には、第１微分フィルタ処理部１０４は、例えば、図４に示すようなフィルタ係数とし、Ｘ方向の微分とＹ方向の微分を使って注目画素の値を出力することで、エンボスの効果を付与する。図４の例では、３×３のブロック分けした場合に、左上をフィルタ係数「−０．５」とし、右下をフィルタ係数「０．５」とし、左上から右下を微分フィルタの方向としているが、微分フィルタの方向は縦、横、斜め等いずれの方向でもよい。
なお、図４は、微分フィルタ処理におけるフィルタ係数の一例について示す模式図である。

Ｙ成分加算合成処理部１０５は、減色処理部１０２により減色処理を経た画像に対して、減色処理部１０２によって減色処理が施された画像から別途抽出した抽出Ｙ成分データに微分フィルタ処理を施した画像のデータのＹ成分の値を加算合成する処理（以下、「Ｙ成分加算合成処理」という）を行う。その結果、イラスト調画像のデータが生成されることになる。

図５は、紙質感イラスト調画像生成処理のうち、テクスチャ画像生成処理を実行するための機能的構成を示す機能ブロック図である。

テクスチャ画像生成処理を実行する場合には、図５に示すように、テクスチャ画像生成処理部７３においては、画像マップ取得部１２１と、ノイズ生成処理部１２２と、キャンバス地生成処理部１２３と、ＬＰＦ処理部１２４と、第２微分フィルタ処理部１２５と、が機能する。

画像マップ取得部１２１は、取得画像記憶部９１に記憶される取得画像のデータからイラスト調画像と同一サイズで、画素値が白となる「０」又は黒となる「２５５」のＭＡＰデータを取得する。撮像装置１においては、取得した同一サイズのＭＡＰデータに基づいて、テクスチャ画像のデータを生成することで、例えば、イラスト調画像よりも小さい画像を複数使用してテクスチャ画像のデータを生成した場合に比べて、後述するランダムなノイズ等に起因すう画像間の繋ぎ目等が発生しなくてよくなる。また、別途、テクスチャ画像のデータを保持する必要がないため、取得画像のデータだけで、紙の質感のあるイラスト調画像のデータを生成することができる。

ノイズ生成処理部１２２は、画像マップ取得部１２１により取得された取得画像のＭＡＰデータに対して、ランダムにノイズを発生させる処理（以下、「ノイズ処理」という）を実行する。ノイズ処理によって、ランダムにノイズを発生させることで、画像における紙という素材の風合い感を再現するためのポイントを生成することになる。また、ランダムなノイズを用いることによって、生成の度に異なるテクスチャ画像を生成することができる。

キャンバス地生成処理部１２３は、ノイズ生成処理部１２２によりノイズ発生処理が施された取得画像のＭＡＰデータに対して、キャンバス地生成処理を実行する。
キャンバス地生成処理では、画像内にオフセットな間隔でランダムにキャンバス地線を作成する。また、ランダムなキャンバス地線を用いることで、生成の度に異なるテクスチャ画像を生成することができる。

図６は、キャンバス地生成処理により生成されるキャンバス地線を示す模式図である。
キャンバス地線Ｌは、ＭＡＰを模式的に画像に対応して表すると、図６に示すように、画像Ｐ内において横断的に所定の間隔で引かれた黒線となる。
キャンバス地線は、まず、画像内においてキャンバス地線Ｌ１を作成する画素を選択し、その後、当該画素を含む縦方向（或いは横方向）に所定の画素値（本実施形態においては、画素値の値１２０）となるような線状の形状となる。キャンバス地線が作成された画像を基準にして次の画素が選定され、次のキャンバス地線Ｌ２が引かれる。画素は、所定のオフセット間隔があり、さらに乱数で決定されたものが選定される。これを縦方向及び横方向の全てに対して行うことで、キャンバス地線Ｌが生成されることとなる。

ＬＰＦ処理部１２４は、遮断周波数より低い周波数の成分はほとんど減衰させず、遮断周波数より高い周波数の成分を逓減させるＬＰＦ処理を実行する。ＬＰＦ処理は、テクスチャ画像の特性上、画像の効果を付与する画像よりも主張しないように画像を平滑化する処理である。

第２微分フィルタ処理部１２５は、上述した第１微分フィルタ処理と同様に、Ｘ方向の微分とＹ方向の微分を使って注目画素の値を出力することで、板金や紙などに文字や絵柄などを浮き彫りにする加工を施したような、いわゆる、エンボスの効果を付与する。
具体的には、第２微分フィルタ処理部１２５は、図４に示すフィルタ係数で微分フィルタ処理を行う。

図７は、紙質感イラスト調画像生成処理のうち、合成画像生成処理を実行するための機能的構成を示す機能ブロック図である。

合成画像生成処理を実行する場合には、図７に示すように、合成画像生成処理部７４においては、Ｙ成分乗算合成処理部１４１と、明度彩度増加処理部１４２とが機能する。

Ｙ成分乗算合成処理部１４１は、イラスト調画像生成処理部７２により生成されたイラスト調画像のデータと、テクスチャ画像生成処理部７３により生成されたテクスチャ画像のデータとを、Ｙ成分を乗算して合成する処理（以下、「Ｙ成分乗算合成処理」という）を行う。

明度彩度増加処理部１４２は、Ｙ成分乗算合成処理部１４１により合成された合成画像データに対して、明度及び彩度を増加させる明度彩度増加処理を実行する。当該処理を経ることで、撮像画像のデータは、紙の質感を醸し出すイラスト調の画像のデータとなる。

以上のように撮像装置１を構成することで次に示すような合成画像を生成することができる。
図８は、本実施形態の撮像装置１において生成される紙質感イラスト調画像の表示例について説明するための図である。
具体的には、撮像装置１においては、例えば、図８（ａ）に示すような、撮像画像のデータを、撮像部１７において撮像処理を行うことで取得する。
図８（ａ）の例では、道の両側に街路樹が立ち並ぶ風景を撮影した撮像画像ｇ１である。当該撮像画像においては、風景が鮮明に映し出されている。
これに対して、撮像装置１において紙質感イラスト調画像生成処理を実行して得た、図８（ｂ）の例では、あたかも画用紙に描いた風景画のスケッチを撮影した画像ｇ１−１が映し出されている。
また、撮像装置１において紙質感イラスト調画像生成処理を実行して得た、図８（ｃ）の例でも、あたかもキャンバス地に描いた風景画のスケッチを撮影した画像ｇ１−２が映し出されている。
つまり、本実施形態の撮像装置１においては、紙の質感を醸し出しながらイラストタッチに描かれて陰影が強調されているイラスト調の表示となる画像を提供することができる。

次に、図９のフローチャートを参照して、図２の機能的構成を有する図１の撮像装置１が実行する紙質感イラスト調画像生成処理について説明する。
図９は、図２の機能構成を有する図１の撮像装置１が実行する紙質感イラスト調画像生成処理の流れを示すフローチャートである。

紙質感イラスト調画像生成処理は、ユーザの入力部１８に対する所定の操作により、紙質感イラスト調画像生成処理の開始が指示されると、処理が開始されて、次のような処理が実行される。

ステップＳ１において、テクスチャ選択部５１は、ユーザによる入力部１８へのテクスチャを選択する操作によって、生成する画像の質感を選択する。本実施形態において、生成する画像の質感は、紙の質感のうち、画用紙又はキャンバス地から選択する。

ステップＳ２において、画像取得部７１は、撮像部１７のより撮像処理が行われた場合に、撮像部１７から図８（ａ）に示すような撮像画像（画像）のデータを取得する。その後、画像取得部７１は、取得画像記憶部９１に撮像画像のデータを出力して、取得画像記憶部９１に撮像画像のデータを記憶させる。

ステップＳ３において、イラスト調画像生成処理部７２は、取得画像記憶部９１に記憶される撮像画像のデータから、実際の風景等を写した画像をイラストで描いたかのような印象を与える画像となるイラスト調画像のデータを生成するイラスト調画像生成処理を実行する。イラスト調画像生成処理の詳細については後述する。

ステップＳ４において、テクスチャ画像生成処理部７３は、取得画像記憶部９１に記憶される撮像画像のデータから質感を醸し出す要素の画像となるテクスチャ画像のデータを生成するテクスチャ画像生成処理を実行する。テクスチャ画像生成処理の詳細については後述する。

ステップＳ５において、合成画像生成処理部７４は、イラスト調画像生成処理部７２により生成されたイラスト調画像に、テクスチャ画像生成処理部７３により生成したテクスチャ画像を合成して紙質感イラスト調画像のデータを生成する合成画像生成処理を実行する。合成画像生成処理の詳細については後述する。
その後、紙質感イラスト調画像のデータは、合成画像記憶部９２に記憶されて、出力制御部５２により、例えば、図８（ｂ）や（ｃ）に示すような紙の質感を持ちイラスト調に描かれた画像として出力部１９により表示出力される。
これにより、紙質感イラスト調画像生成処理は終了する。

以上、図２の機能的構成を有する図１の撮像装置１が実行する紙質感イラスト調画像生成処理について説明した。
以下、紙質感イラスト調画像生成処理のうち、イラスト調画像生成処理の詳細な流れについて説明する。
図１０は、紙質感イラスト調画像生成処理のうち、イラスト調画像生成処理の流れを示すフローチャートである。

ステップＳ３１において、εフィルタ処理部１０１は、取得した撮像画像のデータ（イラスト調画像の生成対象となる画像）に対して、εフィルタ処理を行う。これにより、画像内の急峻な輝度値の変化を維持しつつ小信号ノイズを除去し、エッジを残して小さな凹凸を除去することで平坦な画像となる。

ステップＳ３２において、減色処理部１０２は、εフィルタ処理を施した画像に対して、減色処理を行う。本実施形態において、減色処理部１０２は、例えば、ｂｉｔシフトで処理か可能な観点で実験をから決定した値として、画像のＹ成分については８段階に減色し、画像のＵＶ成分については１２段階に減色して減色処理を行う。

ステップＳ３３において、Ｙ成分抽出処理部１０３は、Ｙ成分抽出処理を実行し、減色処理部１０２による減色処理を経た画像からＹ成分の抽出し、抽出Ｙ成分データを生成する。

ステップＳ３４において、第１微分フィルタ処理部１０４は、第１微分フィルタ処理を実行し、画像から抽出したＹ成分のみから構成される抽出Ｙ成分データに対して、Ｘ方向の微分とＹ方向の微分を使って注目画素の値を出力することで、エンボスの効果を付与する。その結果、エンボスの効果が付与されたＹ成分のみで構成される画像のデータが生成される。

ステップＳ３５において、Ｙ成分加算合成処理部１０５は、Ｙ成分加算合成処理を実行し、減色処理部１０２により減色処理を経た画像に対して、減色処理部１０２によって減色処理が施された画像から別途抽出した抽出Ｙ成分データに微分フィルタ処理を施した画像のデータのＹ成分の値を加算合成する。その結果、イラスト調画像のデータが生成される。
これにより、イラスト調画像生成処理が終了し、図９のステップＳ４に進む。

以上、紙質感イラスト調画像生成処理のうち、イラスト調画像生成処理の詳細な流れについて説明した。
以下、紙質感イラスト調画像生成処理のうち、テクスチャ画像生成処理の詳細な流れについて説明する。
図１１は、紙質感イラスト調画像生成処理のうち、テクスチャ画像生成処理の流れを示すフローチャートである。

ステップＳ４１において、画像マップ取得部１２１は、取得画像記憶部９１に記憶される取得画像のデータからイラスト調画像と同一サイズで全ての画素値が白となる「０」又は黒となる「２５５」のＭＡＰデータを取得する。

ステップＳ４２において、ノイズ生成処理部１２２は、ノイズ生成処理を実行し、画像マップ取得部１２１により取得された取得画像のＭＡＰデータに対して、ランダムにノイズを発生させる。

ステップＳ４３において、テクスチャ画像生成処理部７３は、テクスチャ選択部５１により選択されたテクスチャがキャンバス地であるか否かを判断する。
選択されたテクスチャがキャンバス地でない場合、即ち、選択されたテクスチャが画用紙であった場合には、ステップＳ４３においてＮＯと判断されて、処理はステップＳ４５に進む。ステップＳ４５以降の処理について後述する。
これに対して、選択されたテクスチャがキャンバス地である場合には、ステップＳ４３においてＹＥＳと判断されて、処理はステップＳ４４に進む。

ステップＳ４４において、キャンバス地生成処理部１２３は、ノイズ生成処理部１２２によりノイズ発生処理が施された取得画像のＭＡＰデータに対して、キャンバス地生成処理を実行し、図６に示すような画像内にオフセットな間隔でランダムにキャンバス地線を作成する。

ステップＳ４５において、ＬＰＦ処理部１２４は、ＬＰＦ処理を実行し、遮断周波数より低い周波数の成分はほとんど減衰させず、遮断周波数より高い周波数の成分を逓減させる。

ステップＳ４６において、第２微分フィルタ処理部１２５は、第２微分フィルタ処理を実行し、Ｘ方向の微分とＹ方向の微分を使って注目画素の値を出力することで、エンボスの効果を付与する。その結果、テクスチャ画像のデータが生成される。
これにより、テクスチャ画像生成処理が終了し、図９のステップＳ５に進む。

以上、紙質感イラスト調画像生成処理のうち、テクスチャ画像生成処理の詳細な流れについて説明した。
以下、紙質感イラスト調画像生成処理のうち、合成画像生成処理の詳細な流れについて説明する。
図１２は、紙質感イラスト調画像生成処理のうち、合成画像生成処理の流れを示すフローチャートである。

ステップＳ５１において、Ｙ成分乗算合成処理部１４１は、Ｙ成分乗算合成処理を実行し、イラスト調画像生成処理部７２により生成されたイラスト調画像のデータと、テクスチャ画像生成処理部７３により生成されたテクスチャ画像のデータとを、Ｙ成分を乗算して合成する。

ステップＳ５２において、明度彩度増加処理部１４２は、明度彩度増加処理を実行し、Ｙ成分乗算合成処理部１４１により合成された合成画像データに対して、明度及び彩度を増加させる。これにより、紙の質感を醸し出すイラスト調の画像である紙質感イラスト調画像のデータを生成する。その後、紙質感イラスト調画像のデータは、合成画像記憶部９２に記憶される。
これにより合成画像生成処理は終了し、図９の紙質感イラスト調画像生成処理が終了する。

以上のような紙質感イラスト調画像生成処理を実行する撮像装置１は、画像マップ取得部１２１と、テクスチャ画像生成処理部７３（ノイズ生成処理部１２２及びＬＰＦ処理部１２４）と、を備える。
画像マップ取得部１２１は、画像のデータから当該画像の画素値を所定の値にしたＭＡＰデータを作成する。
テクスチャ画像生成処理部７３のノイズ生成処理部１２２は、画像マップ取得部１２１により作成されたＭＡＰデータの各画素にノイズを発生させる。
テクスチャ画像生成処理部７３のＬＰＦ処理部１２４は、ノイズ生成処理部１２２により各画素にノイズが発生させられた前記画像マップに対して平滑化処理を行って、対象画像に質感を与えるテクスチャ画像のデータを生成する。
合成画像生成処理部７４は、テクスチャ画像生成処理部７３により生成されたテクスチャ画像のデータに基づいて、画像に所定の質感を付与した画像を生成する。
撮像装置１においては、取得された画像のデータから当該画像の画素値を所定の値にしたＭＡＰデータを作成し、当該ＭＡＰデータの各画素にノイズを発生させて、平滑化処理を行ってテクスチャ画像のデータを生成し、当該テクスチャ画像のデータに基づいて、画像に所定の質感を付与した画像のデータを生成する。
従って、撮像装置１においては、質感を付与する対象となる対象画像として撮像画像のデータから、紙（画用紙）の質感を醸し出すテクスチャ画像を生成するために、別途テクスチャ画像を保持しておく必要がない。また、撮像装置１においては、ランダムなノイズが付与された場合には、より再現性の低いテクスチャ画像を生成することができる。

また、撮像装置１は、第２微分フィルタ処理部１２５を備える。
第２微分フィルタ処理部１２５は、ＬＰＦ処理の後にエンボス効果を狙って第２微分フィルタ処理を行う。
従って、エンボスの効果が付与されているために、より質感を醸し出すテクスチャ画像を生成することができる。

また、撮像装置１は、キャンバス地生成処理部１２３を備える。
キャンバス地生成処理部１２３は、ノイズ生成処理部１２２により各画素にノイズが発生させられたＭＡＰデータに対して縦方向及び横方向に横断する直線状の領域であり、当該領域が所定の画素値となる領域を複数形成する。
これにより、撮像装置１においては、紙の質感のうちキャンバス地の質感を醸し出すテクスチャ画像を生成することができる。

また、撮像装置１は、イラスト調画像生成処理部７２を備える。
イラスト調画像生成処理部７２は、対象画像を絵画調にした絵画調画像を生成する。
合成画像生成処理部７４は、テクスチャ画像生成処理部７３により生成されたテクスチャ画像のデータに基づいて、イラスト調画像生成処理部７２によって生成されたイラスト調（絵画調）画像に所定の質感を付与する。
従って、撮像装置１においては、撮像画像のデータからイラスト調（絵画調）画像のデータを生成することができる。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

上述の実施形態では、画像マップ取得部１２１は、取得画像記憶部９１に記憶される取得画像のデータからイラスト調画像と同一サイズのＭＡＰデータを取得したがこれに限られない。取得画像のデータよりも小さいサイズのものを用いてテクスチャ画像としてイラスト調画像に敷き詰めるようにして構成してもよい。この場合、ランダムノイズを発生させているため繋ぎ目部分を考慮する必要があるが、小さいデータを扱うことになるために、処理負担を軽減することができる。

また、上述の実施形態では、微分フィルタによるフィルタ処理を施したがこれに限られず、微分フィルタによるフィルタ処理に代えて、ソーベルフィルタによるフィルタ処理を施すように構成してもよい。

また、上述の実施形態では、紙の質感として、画用紙とキャンバス地を例としたがこれに限られない。ランダム性を利用できるテクスチャであればよく、例えば、和紙やヤスリがけをしたような板や腐食した板等のランダムに凹凸ができ当該凹凸が質感としての要素となるものにも適用可能である。

また、上述の実施形態では、本発明が適用される撮像装置１は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、紙質感イラスト調画像生成処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、ポータブルゲーム機等に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図２の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図２の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部２０に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
対象画像のデータから当該画像の画素値を所定の値にした画像マップを作成する画像マップ作成手段と、
前記画像マップ作成手段により作成された前記画像マップの画素の各々にノイズを発生させるノイズ発生手段と、
前記ノイズ発生手段により前記画素の各々にノイズが発生させられた前記画像マップに対して平滑化処理を行って、前記対象画像に質感を与えるテクスチャ画像のデータを生成するテクスチャ生成手段と、
前記テクスチャ生成手段により生成されたテクスチャ画像のデータに基づいて、前記対象画像に所定の質感を付与した画像のデータを生成する画像生成手段と、
を備えることを特徴とする画像生成装置。
［付記２］
前記テクスチャ生成手段は、前記平滑化処理の後にエンボス処理を行うこと、
を特徴とする付記１に記載の画像生成装置。
［付記３］
前記テクスチャ生成手段は、前記ノイズ発生手段により前記画素の各々にノイズが発生させられた前記画像マップに対して縦方向及び横方向に横断する直線状の領域であり、当該領域が所定の画素値となる領域を複数形成すること、
を特徴とする付記１又は２に記載の画像生成装置。
［付記４］
前記対象画像を絵画調にした絵画調画像を生成する絵画調画像生成手段を更に備え、
前記画像生成手段は、前記テクスチャ生成手段により生成されたテクスチャ画像のデータに基づいて、前記絵画調画像生成手段によって生成された絵画調画像に所定の質感を付与すること、
を特徴とする付記１乃至３の何れか１つに記載の画像生成装置。
［付記５］
対象画像のデータから当該画像の画素値を所定の値にした画像マップを作成する画像マップ作成ステップと、
前記画像マップ作成ステップにより作成された前記画像マップの画素の各々にノイズを発生させるノイズ発生ステップと、
前記ノイズ発生ステップにより前記画素の各々にノイズが発生させられた前記画像マップに対して平滑化処理を行って、前記対象画像に質感を与えるテクスチャ画像のデータを生成するテクスチャ生成ステップと、
前記テクスチャ生成手段により生成されたテクスチャ画像のデータに基づいて、前記対象画像に所定の質感を付与した画像のデータを生成する画像生成ステップと、
を含むことを特徴とする画像生成方法。
［付記６］
コンピュータを、
対象画像のデータから当該画像の画素値を所定の値にした画像マップを作成する画像マップ作成手段、
前記画像マップ作成手段により作成された前記画像マップの画素の各々にノイズを発生させるノイズ発生手段、
前記ノイズ発生手段により前記画素の各々にノイズが発生させられた前記画像マップに対して平滑化処理を行って、前記対象画像に質感を与えるテクスチャ画像のデータを生成するテクスチャ生成手段、
前記テクスチャ生成手段により生成されたテクスチャ画像のデータに基づいて、前記対象画像に前記所定の質感を付与した画像のデータを生成する画像生成手段、
として機能させることを特徴とするプログラム。

１・・・撮像装置，１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・画像処理部，１５・・・バス，１６・・・入出力インターフェース，１７・・・撮像部，１８・・・入力部，１９・・・出力部，２０・・・記憶部，２１・・・通信部，２２・・・ドライブ，３１・・・リムーバブルメディア，５１・・・テクスチャ選択部，５２・・・出力制御部，７１・・・画像取得部，７２・・・イラスト調画像生成処理部，７３・・・テクスチャ画像生成処理部，７４・・・合成画像生成処理部，９１・・・取得画像記憶部，９２・・・合成画像記憶部，１０１・・・εフィルタ処理部，１０２・・・減色処理部，１０３・・・Ｙ成分抽出処理部，１０４・・・第１微分フィルタ処理部，１０５・・・Ｙ成分加算合成処理部，１２１・・・画像マップ取得部，１２２・・・ノイズ生成処理部，１２３・・・キャンバス地生成処理部，１２４・・・ＬＰＦ処理部，１２５・・・第２微分フィルタ処理部，１４１・・・Ｙ成分乗算合成処理部，１４２・・・明度彩度増加処理部

Claims (5)

1. 対象画像のデータから当該画像の画素値を所定の値にした画像マップを作成する画像マップ作成手段と、
   前記画像マップ作成手段により作成された前記画像マップの画素の各々にノイズを発生させるノイズ発生手段と、
   前記ノイズ発生手段により前記画素の各々にノイズが発生させられた前記画像マップに対して平滑化処理を行って、前記対象画像に質感を与えるテクスチャ画像のデータを生成するテクスチャ生成手段と、
   前記テクスチャ生成手段により生成されたテクスチャ画像のデータに基づいて、前記対象画像に所定の質感を付与した画像のデータを生成する画像生成手段と、
   を備え、
   前記テクスチャ生成手段は、前記ノイズ発生手段により前記画素の各々にノイズが発生させられた前記画像マップに対して縦方向及び横方向に横断する直線状の領域であり、当該領域が所定の画素値となる領域を複数形成する
   ことを特徴とする画像生成装置。
2. 前記テクスチャ生成手段は、前記平滑化処理の後にエンボス処理を行うこと、
   を特徴とする請求項１に記載の画像生成装置。
3. 前記対象画像を絵画調にした絵画調画像を生成する絵画調画像生成手段を更に備え、
   前記画像生成手段は、前記テクスチャ生成手段により生成されたテクスチャ画像のデータに基づいて、前記絵画調画像生成手段によって生成された絵画調画像に所定の質感を付与すること、
   を特徴とする請求項１または２に記載の画像生成装置。
4. 対象画像のデータから当該画像の画素値を所定の値にした画像マップを作成する画像マップ作成ステップと、
   前記画像マップ作成ステップにより作成された前記画像マップの画素の各々にノイズを発生させるノイズ発生ステップと、
   前記ノイズ発生ステップにより前記画素の各々にノイズが発生させられた前記画像マップに対して平滑化処理を行って、前記対象画像に質感を与えるテクスチャ画像のデータを生成するテクスチャ生成ステップと、
   前記テクスチャ生成ステップにより生成されたテクスチャ画像のデータに基づいて、前記対象画像に所定の質感を付与した画像のデータを生成する画像生成ステップと、
   を含み、
   前記テクスチャ生成ステップは、前記ノイズ発生ステップで前記画素の各々にノイズが発生させられた前記画像マップに対して縦方向及び横方向に横断する直線状の領域であり、当該領域が所定の画素値となる領域を複数形成する
   ことを特徴とする画像生成方法。
5. コンピュータを、
   対象画像のデータから当該画像の画素値を所定の値にした画像マップを作成する画像マップ作成手段、
   前記画像マップ作成手段により作成された前記画像マップの画素の各々にノイズを発生させるノイズ発生手段、
   前記ノイズ発生手段により前記画素の各々にノイズが発生させられた前記画像マップに対して平滑化処理を行って、前記対象画像に質感を与えるテクスチャ画像のデータを生成するテクスチャ生成手段、
   前記テクスチャ生成手段により生成されたテクスチャ画像のデータに基づいて、前記対象画像に前記所定の質感を付与した画像のデータを生成する画像生成手段、
   として機能させ、
   前記テクスチャ生成手段は、前記ノイズ発生手段により前記画素の各々にノイズが発生させられた前記画像マップに対して縦方向及び横方向に横断する直線状の領域であり、当該領域が所定の画素値となる領域を複数形成する
   ることを特徴とするプログラム。