JP5896204B2 - 画像処理装置及びプログラム - Google Patents

Description

本発明は、例えば写真撮影により得られた撮影画像を、絵画調等の視覚的特徴を備えた画像に変換するための画像処理技術に関するものである。

従来、例えば下記特許文献１には、写真撮影により得られた撮影画像を絵画調（油絵調や水彩画調等）の画像に変換する際、顔認識技術を用いて撮影画像内に存在する人物の種別（年齢、性別、人種等）を特定し、前記撮影画像を、特定した人物の種別に対応付けられている種類の絵画調を備えた画像に変換する（絵画変換する）画像処理技術が開示されている。

特開２０１１−１３９３２９号公報

しかしながら、上記の画像処理技術では、人物の種別に応じて画調を変えたとしても、景色や建物等は比較的美しく変換されるが、画像内の細部、特に人物部分は不自然になってしまうことがある。すなわち絵画変換を行うと、人物の顔部分につぶれが生じたり、無用な刷毛目や色調が現れたりして細部のリアリティが失われる。言い換えると絵画的にデフォルメされ過ぎるという課題があった。

本発明は、撮影画像を絵画調画像に変換する場合、撮影画像としての適度なリアリティと絵画としての趣との双方を備えた画像の生成を可能とすることを目的とする。

前記課題を達成するため、請求項１記載の発明は、撮影画像を、人工的な特徴を備えた第１の変換画像に変換する変換手段と、前記撮影画像の所定領域にぼけを生じさせた合成用のぼけ画像を生成するぼけ画像生成手段と、前記ぼけ画像生成手段により生成された前記ぼけ画像を所定の透過率で前記変換手段による変換後の第１の変換画像に透過合成することにより第２の変換画像を生成する透過合成手段と、前記撮影画像から特定の被写体に相当する被写体領域を検出する検出手段と、を備え、前記ぼけ画像生成手段は、前記検出手段により検出された被写体領域を除く背景領域のみにぼかし処理を施して前記ぼけ画像を生成することを特徴とする画像処理装置を提供するものである。

本発明によれば、撮影画像を絵画調画像に変換する場合、撮影画像としての適度なリアリティと絵画としての趣との双方を備えた画像の生成が可能となる。

画像サービスサイトを含むネットワークを示すブロック図である。 画像サービスサイトを実現するサーバーの概略構成を示すブロック図である。 ぼかし強度テーブルを示す概念図である。 サーバーの制御部による画像変換処理を示すフローチャートである。 画像変換処理の要部を示す説明図である。 人物の顔が存在する元画像と、第１の絵画調画像の例を示す図である。 図６に対応する背景ぼけ画像と、第２の絵画調画像の例を示す図である。

以下、本発明の実施形態について説明する。図１は、ＳＮＳ機能を持った画像サービスサイト１０を含むネットワークを示すブロック図である。画像サービスサイト１０は、ユーザーからアップロードされた画像データ（主としてデジタルカメラにより撮影された写真の画像データ）の保存や、アップロードされた画像データの絵画調画像への変換、アップロードされた画像や、変換後の絵画調画像の閲覧、ダウンロード等のサービスを行うサイトである。

画像サービスサイト１０には、インターネット５００を介して、任意のユーザーが使用する複数の端末１−１、１−２、１−３・・・が接続される。端末１−１、１−２、１−３・・・は、通信機能、及び画像データにより表される画像の表示機能を備えた任意の装置であり、例えば通常のパーソナルコンピュータや、スマートフォンを含む携帯電話端末である。

図２は、画像サービスサイト１０を実現するとともに本発明が適用されたサーバー１１の概略構成を示すブロック図である。サーバー１１は、主として制御部１２と、通信処理部１３、表示用バッファ１４、管理データ記憶部１５、絵画変換部１６、画像記憶部１７、プログラム記憶部１８から構成される。

通信処理部１３は、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）に基づいてサーバー１１と端末１−１、１−２、１−３・・・との間における、画像データを含む各種のデータの送受信を制御する。

管理データ記憶部１５は、画像サービスサイト１０を利用するユーザー（以下、単にユーザーという。）に関する種々の情報や、それらのユーザーによってアップロードされた画像データ等からなる各種の管理データを記憶する。管理データ記憶部１５は、例えばハードディスク装置により構成される。

絵画変換部１６は、ユーザーからアップロードされた画像データや、画像記憶部１７に記憶されている画像データを絵画調画像の画像データ（以下、絵画調画像データという。）に変換する絵画変換処理を行うための画像処理回路、及びメモリ等から構成される。

ここで、絵画変換処理とは、写真等の画像を構成する各画素を所定のパラメータ（絵画変換パラメータ）に従って変換し、（ａ）油絵調、（ｂ）水彩画調、（ｃ）パステル調、（ｄ）色鉛筆画調、（ｅ）クレヨン画調、（ｆ）イラスト画調、（ｇ）点描画調、（ｈ）エアブラシ、（ｉ）シルクスクリーン調、（ｉ）刺繍絵調、（ｋ）コラージュ（糊付け）調、ＨＤＲ（High Dynamic Range）等、いわゆる絵画調に変換する画像処理である。

なお、ＨＤＲは、通常の写真では表現できない広いダイナミックレンジの写真を、トーンマッピングにより狭いダイナミックレンジ幅内に入れ込むことで露出過多の白飛びや露出不足の黒つぶれを補正して表現力を増大した画像である。つまりＨＤＲは、撮影画像（写真）を人の脳が受けた記憶や印象に近づけた画像である。

絵画変換処理は、原理的にはエフェクト処理の一種であり、基本的にはフォトレタッチソフト等で知られている各種エフェクト処理のパラメータを調整・組み合わせて絵画調に見えるように変換するプログラムが組んであるものである。

エフェクト処理としては、例えば以下のような処理がある。
（ａ）解像度処理・・・画像にテクスチャをマッピングし、特殊な質感を与えるテクスチャ処理、画像を輪郭部・細かい模様などのテクスチャ部・平坦部に分類し、それぞれに適宜処理を施すことで、質感と解像感を高める。
（ｂ）ＨＳＶ処理・・・色を色相(Hue)、彩度(Saturation)、明度(Value)の３要素に分類して調整する。
（ｃ）ＲＧＢ処理・・・画像のＲ（赤）Ｇ（緑）Ｂ（青）各色の度合いを調整する。
（ｄ）ＲＧＢ交換処理・・・画像のＲ（赤）Ｇ（緑）Ｂ（青）各色の値をＲ→Ｇ→Ｂの方向に交換する。
（ｅ）エッジ抽出処理・・・ラプラシアンフィルタと呼ばれるフィルタをかけてエッジを抽出する。
（ｆ）中間濃度抽出処理・・・メディアンフィルタと呼ばれるフィルタをかけて中間濃度を抽出する。
（ｇ）濃度抽出処理・・・隣接する画素のＲＧＢのヒストグラムを抽出し、それぞれ最小／中間／最大の濃度を抽出した場合の処理を行う。
（ｈ）イコライズ処理・・・画像の一番暗い部分を黒、一番明るい部分を白とし、間のヒストグラムを適宜分布させ、コントラスト修正を行ったり、画像のヒストグラムを引き伸ばしたりする。
（ｉ）ガンマ補正処理・・・明るい部分と暗い部分を維持して中間的な明るさを調節する。
（ｊ）シャドー処理・・・画像の暗い領域を明るくしたり、明るい領域を暗くしたりする。
（ｋ）ソラリゼーション処理・・・各ピクセルのＲＧＢ値が、しきい値以上の明るさの時に、そのＲＧＢ値を反転する
（ｌ）ノイズ付加処理・・・ランダムにドットを描画し、ノイズを発生させ、ノイズの量や色を調整する。

画像記憶部１７は、ユーザーからアップロードされた画像データや、前述した絵画調画像データを記憶する。画像記憶部１７は、例えば大容量のハードディスク装置によって構成される画像データベースである。

表示用バッファ１４は、サーバー１１が、画像記憶部１７に記憶されている画像データ等をユーザーに閲覧させる際、閲覧用の１又は多数の画像データからなる表示用のデータを記憶するメモリである。

制御部１２は、サーバー１１の全体的な動作、すなわち画像サービスサイト１０の運営に要する各種の動作を制御する。また、制御部１２は、絵画変換部１６と協同して後述するアート変換処理を行う。制御部１２は、ＣＰＵ及びその周辺回路や、作業用の外部メモリ、高機能のグラフィックアクセラレータ等から構成される。

プログラム記憶部１８は、制御部１２に上記の各種処理を行わせるためのプログラム、及び種々のデータを更新可能に記憶するハードディスク装置等の記憶装置である。プログラム記憶部１８に記憶されている種々のデータには、図３に示したぼかし強度テーブル１００を示すデータも含まれる。

ぼかし強度テーブル１００は、制御部１２が後述する画像変換処理を行う際に、処理対象の撮影画像から生成されるモノクロ画像に対するぼかし処理で使用されるデータであって、図３に示したように、絵画変換部１６において変換可能な画調（油絵調、水彩画調、パステル調等）の種類に対応するぼかし強度を示すものである。

具体的なぼかし強度は経験則に基づいて予め決められたものであり、基本的には、任意の撮影画像である元画像を絵画調画像に変換したとき元画像の細部に生じる変化が小さな画調のぼかし強度に比べ、元画像の細部に生じる変化が大きな画調のぼかし強度が相対的に高くなっている。例えば油絵調と水彩画調とを比較すると、油絵調のぼかし強度が相対的に高めに調整されており、水彩画調のぼかし強度が相対的に低めに調整されている。

以下、サーバー１１が、例えばユーザーによりアップロードされた画像や、画像記憶部１７に記憶されている画像をユーザーの指示に従い絵画調画像へ変換する際の制御部１２の動作について説明する。

サーバー１１においては、絵画調画像へ変換すべき処理対象の画像（以下、元画像という。）がユーザーによって指定されると、制御部１２が図４のフローチャートに示した画像変換処理を実行する。なお、図５は、画像変換処理の要部を示す説明図である。

制御部１２は、ユーザーによって元画像が指定されることにより処理を開始し、直ちに前処理を行う（ステップＳ１）。この前処理は、元画像に対して画素単位での画像処理を可能とするために、ＪＰＥＧ形式等の画像データをビットマップ形式の画像データに変換する処理である。

次に、制御部１２は、ユーザーに、変換したい画調を選択させる（ステップＳ２）。ユーザーに選択させる画調としては、前述した油絵調、水彩画調、パステル調、色鉛筆画調、ＨＤＲ等である。

次に、制御部１２は、ステップＳ１の前処理で変換した元画像の画像データ（以下、元画像データという）を絵画変換部１６へ送り、絵画変換部１６に、ユーザーに選択された画調への絵画変換処理を行わせる（ステップＳ３）。

すなわち、制御部１２は、絵画変換部１６に、選択された画調に応じた画調変換アルゴリズムによる絵画変換処理を行わせることによって、図５に示したように元画像データＧ１を第１の絵画調画像データＧ２に変換する。また、制御部１２は、絵画変換部１６により変換された第１の絵画調画像データＧ２を表示用バッファ１４に確保されている作業領域に保存する。なお、以下の説明においては、ステップＳ３の処理による変換後の絵画調画像を第１の絵画調画像という。

引き続き、制御部１２は、絵画変換部１６による絵画変換処理とは別に、図５に示したように元画像を対象として画像内に存在する任意の人物の顔を検出する顔検出処理を行う（ステップＳ４）。顔検出処理は、例えば二値化や輪郭抽出、パターンマッチング等の画像認識技術を用いて、一定範囲の位置関係にある目や鼻や口が存在する人物の顔に相当する特定領域（以下、顔領域という。）を探索する公知の技術を適用した処理である。

また、ステップＳ４の顔検出処理で検出する顔領域は、頭髪部分を除く顔の輪郭によって囲まれる領域である。なお、顔検出処理に際して必要とするパターンデータ等の各種データはプログラム記憶部１８に記憶されている。

次に、制御部１２は顔検出処理の結果に応じて以下の処理を実行する。まず、元画像において任意の人物の顔が検出できなかった場合（ステップＳ５：ＮＯ）、制御部１２は、直ちに確認表示を行う（ステップＳ１１）。

ステップＳ１１の処理は、表示用バッファ１４の作業領域に記憶した、元画像データＧ１の変換後の画像データを確認用の画素数、例えば８００×６００画素にリサイズし、ユーザーの端末１へ送り、端末１の画面上に変換後の画像を表示させるための処理である。つまり人物の顔が検出できなかったときのステップＳ１１の処理は、従来行われている一般的な絵画変換によって生成された絵画調画像をユーザーの端末１に画面表示に表示させる処理である。

一方、ステップＳ４の顔検出処理で元画像において任意の人物の顔が検出できた場合（ステップＳ５：ＹＥＳ）、制御部１２は以下の処理を行う。図６（ａ）は、顔検出処理において人物の顔が検出できた場合における元画像Ｇ１、図６（ｂ）は、ステップＳ３の処理による絵画変換処理後の第１の絵画調画像Ｇ２の例を示した図である。なお、図６（ａ）、図６（ｂ）の各画像には、便宜上、図５に示した対応する各画像データ（元画像データ、第１の絵画調画像データ）と同様の符号を付してある。また、これについては、後述する説明で参照する図７についても同様である。

人物の顔が検出できた場合、制御部１２は、図５にも示したように、元画像データＧ１から輝度成分のみからなるモノクロ画像データＧ３を生成した後（ステップＳ６）、生成したモノクロ画像データＧ３に対するぼかし強度を決定する（ステップＳ７）。

ステップＳ７の処理に際して制御部１２は、図３に示したぼかし強度テーブル１００を参照し、モノクロ画像データＧ３に対するぼかし強度として、ユーザーに選択されかつ第１の絵画調画像Ｇ２において表現されている画調に応じたぼかし強度を決定する。つまり制御部１２は、例えばユーザーに選択された画調が油絵調であったときには、ユーザーに選択された画調が水彩画であったときよりも高めのぼかし強度を決定する。

次に、制御部１２は、モノクロ画像データＧ３に対してステップＳ７の処理で決定したぼかし強度によるぼかし処理を施すことにより、図５に示したように背景ぼけ画像データＧ４を生成する（ステップＳ８）。なお、ステップＳ８のぼかし処理は、例えば移動平均フィルタ、メディアンフィルタ、ガウシアンフィルタといった、公知の平滑化（又は平坦化）フィルタを用いたフィルタリング処理である。ここでぼかし処理とは、所謂ソフトフォーカス処理と明確に区別される狭義のぼかし処理ではなく、所謂ソフトフォーカス処理を含む広義のぼかし処理を意味する。

また、ステップＳ８の処理で制御部１２が生成する背景ぼけ画像データＧ４は、ステップＳ４の顔検出処理で検出した顔領域を除く画像内の背景領域のみをぼかしたデータである。つまりステップＳ８の処理に際して制御部１２は、画像内の背景領域を対象として、ユーザーに選択されかつ第１の絵画調画像Ｇ２において表現されている画調に応じた強度のぼかし処理を行う。なお、画像内の顔領域は、先に述べたように人物の頭髪部分を除く顔の輪郭によって囲まれる領域である。

図７（ａ）は、ステップＳ８の処理に伴い生成される背景ぼけ画像データＧ４により表される画像、すなわち背景ぼけ画像の例を示した図である。

引き続き、制御部１２は、図５に示したように、背景ぼけ画像データＧ４の各画素に輝度に応じて異なる透過率を設定したα混合データＧ５を生成する（ステップＳ９）。その際、制御部１２は、背景ぼけ画像データＧ４の各画素の透過率を、輝度の低い画素に対し輝度の高い画素が相対的に高い透過率となることを基本として所定の透過率に設定する。より具体的に述べると、制御部１２は、画調に対応して予め決められている変化特性、すなわち輝度の変化に対する透過率の変化を示す変化特性に従い画素毎の透過率を決定し、それにより、輝度の低い画素に対し輝度の高い画素が相対的に高い透過率となるように設定する。

なお、ステップＳ９の処理で制御部１２が生成するα混合データＧ５は、各画素の色情報に、２つの画像を公知のαブレンディングにより混合して合成するときの画素値の演算に使用される混合係数であるα値を加えた画像データであり、α値により透過率が表されたデータである。

しかる後、図５に示したように制御部１２は、ステップＳ９の処理で生成したα混合データＧ５を、ステップＳ３で生成した第１の絵画調画像データＧ２に合成することによって第２の絵画調画像データＧ６を生成し、生成した第２の絵画調画像データＧ６を表示用バッファ１４の作業領域に記憶する（ステップＳ１０）。

ステップＳ７の合成処理は前述したαブレンディングによるものである。つまり制御部１２は、図７（ａ）に示したような背景ぼけ画像Ｇ４を画素毎に透過率が異なる半透明画像として、図６（ｂ）に示したような第１の絵画調画像Ｇ２に透過合成することにより、図７（ｂ）に示したような第２の絵画調画像Ｇ６を生成する。なお、図７（ｂ）に示した第２の絵画調画像Ｇ６はあくまでも便宜的なものである。

ここで、第１の絵画調画像Ｇ２に透過合成される背景ぼけ画像Ｇ４は、顔領域を除く背景領域のみがぼけた画像であるが、背景領域においても細部につぶれが生じたり、無用な刷毛目や等が現れたものではない。そのため、ステップＳ１０の処理で生成される第２の絵画調画像Ｇ６においては、第１の絵画調画像Ｇ２に比較して元画像Ｇ１に近い状態、つまり「写真らしさ」が確保されたものとなる。

同時に、背景ぼけ画像Ｇ４の顔領域にはぼけが生じていないことから、第２の絵画調画像Ｇ６の顔領域には、背景領域よりもさらに元画像Ｇ１に近い状態（「写真らしさ」）が確保されたものとなる。なお、第２の絵画調画像Ｇ６の他の特徴については後述する。

そして、制御部１２は、ステップＳ１０の処理で第２の絵画調画像データを生成した後には、ステップＳ５の処理に際して元画像から任意の人物の顔が検出できなかった場合と同様、前述した確認表示を行う（ステップＳ１１）。すなわち制御部１２は表示用バッファ１４の作業領域に記憶した第２の絵画調画像データをリサイズしてユーザーの端末１へ送り、端末１の画面上に第２の絵画調画像Ｇ６を表示させる。

しかる後、制御部１２は、ステップＳ１１で確認表示した内容で変換内容を決定するか、または画調を変更するかのいずれかをユーザーに選択させるとともに、決定が選択されなければ（ステップＳ１２：ＮＯ）、ステップＳ２の処理へ戻り、ユーザーに新たな画調を再選択させる。

そして、制御部１２は、ユーザーから決定指示があれば（ステップＳ１２：ＹＥＳ）、後処理を行う（ステップＳ１３）。ステップＳ１３の後処理は、主として表示用バッファ１４に記憶されている第１の絵画調画像データ、又は第２の絵画調画像データを元画像と同様のＪＰＥＧ形式等の画像データに変換する処理である。これにより、制御部１２は、画像変換処理を終了する。なお、ステップＳ１３の後処理を経た画像データは、最終的にはユーザーの端末１へ送られるか、または画像記憶部１７に記憶される。

以上説明したように本実施形態においては、元画像を絵画調画像に変換する際、元画像が図６（ａ）に示したような任意の人物の顔が存在するポートレート等の撮影画像であった場合には、図４に示したステップＳ６〜Ｓ１０の処理により、最終的な絵画調画像として第２の絵画調画像Ｇ６を生成する（図５参照）。

すなわち最終的な絵画調画像として、前述したように第１の絵画調画像Ｇ２に比較して、顔領域と背景領域とからなる全領域に元画像Ｇ１に近い状態（「写真らしさ」）が確保され、かつ顔領域には背景領域よりもさらに元画像Ｇ１に近い状態が確保された画像を生成するようにした。

したがって、本実施形態によれば、元画像がポートレート等である場合には、元画像を絵画調画像に変換した後においても、画像の細部、特に目、鼻、眉、唇といった人物の顔の細部のリアリティを維持することができ、撮影画像としての適度なリアリティと絵画としての趣との双方を備えた画像を生成することができる。

しかも、第１の絵画調画像Ｇ２に対し、顔領域を除く画像内の背景領域のみをぼかした背景ぼけ画像Ｇ４を透過合成することから、人物の顔部分に、違和感のない状態で他の背景部分よりも顕著なリアリティを確保することができる。

また、本実施形態においては、背景ぼけ画像Ｇ４を第１の絵画調画像Ｇ２に透過合成するとき、背景ぼけ画像Ｇ４には画素毎に異なる透過率を設定し、かつ輝度の低い画素の透過率に対して輝度の高い画素の透過率を相対的に高くする構成とした。

そのため、例えば背景ぼけ画像Ｇ４における人物の顔のうちで、頬などの輝度の高い部分ほど第１の絵画調画像Ｇ２に近い状態、つまり「絵画らしさ」が維持され、同時に目、鼻、眉、唇などの輝度の低い部分ほど元画像Ｇ１に近い状態、つまり「写真らしさ」が付加される。したがって、最終的な絵画調画像として、撮影画像におけるリアリティと絵画としての趣とがバランス良く表現された画像を生成することができる。

さらに、背景ぼけ画像Ｇ４における各画素の透過率を、最終的に生成する絵画調画像（第２の絵画調画像Ｇ６）に確保すべき目標とする画調に応じた変化特性に従って決定するようにした。したがって、背景ぼけ画像Ｇ４における各画素に、目標とする画調に応じた適切な透過率を設定することができ、これによっても、最終的な絵画調画像として、撮影画像におけるリアリティと絵画としての趣とがバランス良く表現された画像を生成することができる。

また、背景ぼけ画像Ｇ４を生成する際には、モノクロ画像Ｇ３の背景領域を、最終的に生成する絵画調画像（第２の絵画調画像Ｇ６）に確保すべき目標とする画調に対応した強度でぼかすようにした。すなわち、背景ぼけ画像Ｇ４における背景領域のぼけ度合を、絵画変換に伴い細部に生じる変化が大きな画調のときには、絵画変換に伴い細部に生じる変化が小さな画調のときに比べ相対的に強くした。

したがって、最終的に生成する絵画調画像において、目標とする画調に関係なく人物の顔以外の部分が必要以上に元画像に近づくことが抑制でき、これによっても、撮影画像におけるリアリティと絵画としての趣とがバランス良く表現された画像を生成することができる。

さらに、第２の絵画調画像Ｇ６は、背景ぼけ画像Ｇ４がモノクロ画像であることから、全体として第１の絵画調画像Ｇ２に比べて彩度を低下させることができる。これにより、撮影画像としての適度なリアリティが確保されることと相まって、単に特定の画調を備えるだけでなく、いわゆる「写真油絵」や「横浜写真」が有する独特の風合いをも備えた画像を生成することができる。特に、本実施形態においては、背景ぼけ画像Ｇ４の輝度の低い画素の透過率を輝度の高い画素の透過率よりも相対的に低くし、明るい部分に比べて暗い部の彩度を高めにすることによって、より「写真油絵」や「横浜写真」に近い画像を得ることができる。

「写真油絵」や「横浜写真」は、幕末から明治中頃、写実的な西洋画や写真技術があいついで日本に導入された頃に盛んに制作されたものである。すなわち「写真油絵」は、焼付け写真紙の表面をフィルム状にはがしたもの（ポジ）に、裏側から着色彩色したものである。また、「横浜写真」は、白黒写真に着色師が色付けした写真である。

なお、以上の説明においては、元画像を第１の絵画変換画像に変換するとき、元画像に対して、アフィン変換など歪み変形処理や、バラツキやゆらぎ、非忠実性を含む手書き風タッチなどの特徴（画調）を得るための変形処理を含む絵画変換処理を施す場合についての説明を省略した。元画像に対して変形処理を含む絵画変換処理を施す場合には、背景ぼけ画像を第１の絵画変換画像に透過合成する以前に、背景ぼけ画像にも元画像に対する変形処理と同様の変形処理を施す必要がある。

以下、本実施形態の変形例について説明する。本実施形態においては、第１の絵画調画像に透過合成する合成用のぼけ画像を、元画像をモノクロ化した画像にぼかし処理を行い生成した背景ぼけ画像とし、最終的な絵画調画像として「写真油絵」や「横浜写真」が有する独特の風合いを備えた画像を生成するものについて説明した。しかし、背景ぼけ画像は、元画像から生成したカラー画像としてもよい。その場合であっても、撮影画像としての適度なリアリティと絵画としての趣との双方を備えた画像を生成することができる。

また、本実施形態においては、背景ぼけ画像Ｇ４を第１の絵画調画像Ｇ２に透過合成するとき、背景ぼけ画像Ｇ４には画素毎に異なる透過率を設定した。しかし、本発明の実施に際しては、各画素の輝度に関係なく背景ぼけ画像に一定の透過率を設定するようにしてもよい。

また、本発明において、背景ぼけ画像に一定の透過率を設定して背景ぼけ画像を第１の絵画調画像に透過合成するときの具体的な合成方法は任意であり、例えば背景ぼけ画像をメッシュ状に半透明化して第１の絵画調画像に合成する方法を採用することができる。

ここで背景ぼけ画像をメッシュ状に半透明化するとは、例えば背景ぼけ画像を市松模様、チェック柄、ストライプ柄状の画像やα画像に変換する意味である。具体的には、例えば背景ぼけ画像を市松模様とする場合には、市松模様の黒部分を不透明（１または混合率100％）、白部分を透明（０または混合率０％）とし、全画素の１/２を透明で１/２を不透明とすれば、背景ぼけ画像の透過率を５０％とすることができる。また、例えば背景ぼけ画像をストライプ柄状の画像とする場合には、黒：白＝１：２のストライプ柄とすれば、背景ぼけ画像の混合率を１／３、つまり透過率を３３％とすることができる。

また、各画素の輝度に関係なく背景ぼけ画像を一定の透過率で第１の絵画調画像に透過合成する場合には、本実施形態とは逆に第１の絵画調画像側に所定の透過率を設定したうえで、第１の絵画調画像と背景ぼけ画像とを合成するようにしてもよい。

また、本実施形態においては、背景ぼけ画像における背景領域のぼかし強度を、最終的に生成する絵画調画像（絵画調画像）に確保すべき目標とする画調に対応して予め決められているぼかし強度とした。また、背景ぼけ画像の各画素の透過率を、目標とする画調に応じて予め決められている変化特性に従って決定するようにした。

しかし、背景ぼけ画像における背景領域のぼかし強度や、背景ぼけ画像の各画素の透過率は、例えば元画像と第１の絵画調画像との間における局所的な変化度合を確認し、確認した変化度合に基づき決定するようにしてもよい。

例えば背景領域のぼかし強度を上記の変化度合に基づいて決定する場合には、ぼかし強度を、上記の変化度合と画調毎に予め決めてある調整値とをパラメータとする所定の関数を用いて算出するようにしてもよい。

また、例えば背景ぼけ画像の各画素の透過率を上記の変化度合に基づいて決定する場合には、透過率の決定に際して使用する変化特性を、上記の変化度合に応じて選択的に使用するようにしてもよい。さらに、前述したように背景ぼけ画像に各画素の輝度に関係なく一定の透過率を設定する場合であれば、その透過率を、上記の変化度合と画調毎に予め決めてある調整値とをパラメータとする所定の関数を用いて算出するようにしてもよい。

なお、上記の局所的な変化度合は、例えば元画像と第１の絵画調画像とを複数ブロックにそれぞれ分割したときのブロック毎の代表色や、代表色の割合、ブロック毎に輪郭抽出を行い抽出される輪郭線のブロック内における密度といった１又は複数の特徴量に基づいて判断すればよい。

また、本実施形態においては、主として元画像において任意の人物の顔を検出し、顔が検出できたことを条件として、顔領域を除く背景領域をぼかした背景ぼけ画像を生成し、生成した背景ぼけ画像を第１の絵画調画像に透過合成するものについて説明した。しかし、本発明においては、元画像における検出対象は必ずしも人物の顔でなくともよく、その領域が検出可能な特定の被写体であれば、花や動物（犬や猫等）が検出対象であっても構わない。

また、最終的に生成する絵画調画像において元画像に近いリアリティを確保する領域は、必ずしも画像認識処理によって検出可能な顔領域等でなくともよく、ユーザーにより手動で指定された領域であっても構わない。その場合、制御部１２には、例えば以下のような処理を行わせればよい。

すなわち、例えば元画像を第１の絵画調画像に変換した後、ユーザーに、タッチパネルやマウス等の操作によって第１の絵画調画像において任意の領域、つまり元画像に近いリアリティの確保を希望する領域を指定させる。そして、制御部１２には、ユーザーにより指定された領域を特定領域として検出した後、当該特定領域を除く背景領域のみをぼかした背景ぼけ画像を生成させ、生成した背景ぼけ画像を第１の絵画調画像に透過合成させる処理を行わせればよい。

上記のように元画像に近いリアリティを確保する領域をユーザーにより手動で指定された領域とすれば、最終的に生成する絵画調画像において、ユーザーが必要に応じ、かつ好みに応じた部分に、違和感のない状態で他の背景部分よりも顕著なリアリティを確保することができる。

また、本実施形態においては、第１の絵画調画像に透過合成する合成用のぼけ画像を、顔領域を除く背景領域にぼかし処理を施した背景ぼけ画像とした。しかし、本発明の実施に際しては、合成用のぼけ画像を画像全体にぼかし処理を施した画像としてもよい。なお、処理を施す画像は、先に述べたように元画像から生成したモノクロ画像に限らず、元画像でもよい。

その場合であっても、最終的な絵画調画像として、人物の顔部分はもとより、他の部分についても細部のつぶれが目立たず、かつ無用な刷毛目や色調が現れる度合が減少した画像を生成することができる。したがって、少なくとも第１の絵画調画像に比べれば、絵画としての趣を確保しつつ、リアリティのある画像を得ることができる。

さらに、合成用のぼけ画像を画像全体にぼかし処理を施した画像とする場合においては、元画像がポートレート等の撮影画像であるか否かに関係なく、最終的な絵画調画像として、第１の絵画調画像に、画像全体にぼかし処理を施した合成用のぼけ画像を透過合成した画像を生成するようにしても構わない。その場合においても、少なくとも第１の絵画調画像に比べれば、絵画としての趣を確保しつつ、リアリティのある画像を得ることができる。

また、本実施形態においては、背景ぼけ画像の生成に際しにおいてぼかし処理を施さない顔領域を、頭髪部分を除く顔の輪郭によって囲まれる領域とする場合について説明した。しかし、顔領域は頭髪部分を含む領域としてもよいし、頭髪部分を含んだ顔部分を囲む矩形又は円形、楕円形等の特定領域としてもよい。

また、本実施形態においては、元画像データを第１の絵画調画像データに変換する絵画変換処理を行う絵画変換部１６を備えた構成について説明したが、言うまでもなく、本発明の実施に際しては、絵画変換部１６に代えて、制御部１２に絵画変換処理を行わせる構成を採用することもできる。

また、本実施形態においては、主として撮影画像を絵画調画像に変換する場合について説明したが、本発明は、撮影画像を絵画調以外の任意の人工的な特徴を備えた画像に変換する場合にも適用することができる。なお、本発明において人工的な特徴とは、デジタルカメラ等により撮影されデジタルデータとして記録された撮影画像には表現されていない、撮影画像に意図的な加工を施すことによって得られる特徴である。

また、ここでは画像サービスサイト１０を実現するサーバー１１に本発明を適用した場合について説明したが、本発明は、元画像を絵画調画像と初めとする人工的な所定の特徴を備えた種々の画像に変換することができる画像処理機能を備えたものであれば、任意の装置に適用することができる。任意の装置としては、例えばデジタルカメラや、デジタルカメラにより撮影された撮影画像を鑑賞用として表示することを主たる目的とするデジタルフォトフレーム、汎用的なパーソナルコンピュータ等が含まれる。

以上、本発明の変形例等について説明したが、これらは本発明の作用効果が得られる範囲内であれば適宜変更が可能であり、変更後の実施形態も特許請求の範囲に記載された発明、及びその発明と均等の発明の範囲に含まれる。以下に、本出願の特許請求の範囲に記載された発明を付記する。
［請求項１］
撮影画像を、人工的な特徴を備えた第１の変換画像に変換する変換手段と、前記撮影画像の所定領域にぼけを生じさせた合成用のぼけ画像を生成するぼけ画像生成手段と、前記ぼけ画像生成手段により生成された前記ぼけ画像を所定の透過率で前記変換手段による変換後の第１の変換画像に透過合成することにより第２の変換画像を生成する透過合成手段とを備えたことを特徴とする画像処理装置。
［請求項２］
前記ぼけ画像生成手段は、前記撮影画像の所定領域にぼかし処理を施すことにより前記ぼけ画像を生成するぼかし手段を含むことを特徴とする請求項１記載の画像処理装置。
［請求項３］
前記ぼけ画像生成手段は、前記撮影画像からモノクロ画像を生成するモノクロ画像生成手段と、前記モノクロ画像生成手段により生成されたモノクロ画像の前記所定領域にぼかし処理を施すことにより前記ぼけ画像を生成するぼかし手段とを含むことを特徴とする請求項１記載の画像処理装置。
［請求項４］
前記撮影画像から特定の被写体に相当する被写体領域を検出する検出手段を備え、前記ぼかし手段は、前記検出手段により検出された被写体領域を除く背景領域のみにぼかし処理を施すことを特徴とする請求項２又は３記載の画像処理装置。
［請求項５］
前記検出手段は、前記被写体領域として任意の人物の顔に相当する領域を検出することを特徴とする請求項４記載の画像処理装置。
［請求項６］
前記ぼけ画像生成手段は、前記検出手段により前記撮影画像から特定の被写体に相当する被写体領域が検出されたことを条件として前記ぼけ画像を生成し、前記透過合成手段は、前記検出手段により前記撮影画像から特定の被写体に相当する被写体領域が検出されたことを条件として前記第２の変換画像を生成することを特徴とする請求項４又は５記載の画像処理装置。
［請求項７］
前記ぼけ画像生成手段は、前記ぼかし手段が画像にぼかし処理を施す際のぼかし強度を、前記変換手段による前記撮影画像の変換内容に応じて決定することを特徴とする請求項２乃至６いずれか記載の画像処理装置。
［請求項８］
前記透過合成手段は、前記所定の透過率を前記ぼけ画像の各画素の輝度に応じ画素毎に決定し、前記ぼけ画像を第１の変換画像に透過合成することを特徴とする請求項１乃至７いずれか記載の画像処理装置。
［請求項９］
前記透過合成手段は、前記所定の透過率を前記ぼけ画像の各画素の輝度と前記変換手段による前記撮影画像の変換内容とに応じ画素毎に決定し、前記ぼけ画像を第１の変換画像に透過合成することを特徴とする請求項８記載の画像処理装置。
［請求項１０］
前記透過合成手段は、前記所定の透過率を前記変換手段による前記撮影画像の変換内容に応じて決定し、前記ぼけ画像を第１の変換画像に透過合成することを特徴とする請求項１乃至７いずれか記載の画像処理装置。
［請求項１１］
前記第１の変換画像は特定の画調を有する絵画調画像であり、前記変換手段は前記撮影画像を前記絵画調画像に変換することを特徴とする請求項１乃至１０いずれか記載の画像処理装置。
［請求項１２］
撮影画像を、人工的な特徴を備えた第１の変換画像に変換する工程と、前記撮影画像の所定領域にぼけを生じさせた合成用のぼけ画像を生成する工程と、前記前記ぼけ画像を所定の透過率で前記第１の変換画像に透過合成することにより第２の変換画像を生成する工程とを含むことを特徴とする画像処理方法。
［請求項１３］
コンピュータに、撮影画像を、人工的な特徴を備えた第１の変換画像に変換する手順と、前記撮影画像の所定領域にぼけを生じさせた合成用のぼけ画像を生成する手順と、前記前記ぼけ画像を所定の透過率で前記第１の変換画像に透過合成することにより第２の変換画像を生成する手順とを実行させることを特徴とするプログラム。

１１ サーバー
１２ 制御部
１４ 表示用バッファ
１６ 絵画変換部
１７ 画像記憶部
１８ プログラム記憶部
１００ ぼかし強度テーブル
Ｇ１ 元画像データ、元画像
Ｇ２ 第１の絵画調画像データ、第１の絵画調画像
Ｇ３ モノクロ画像データ
Ｇ４ 背景ぼけ画像データ、背景ぼけ画像
Ｇ５ α混合データ
Ｇ６ 第２の絵画調画像データ、第２の絵画調画像

Claims (15)

1. 撮影画像を、人工的な特徴を備えた第１の変換画像に変換する変換手段と、
   前記撮影画像の所定領域にぼけを生じさせた合成用のぼけ画像を生成するぼけ画像生成手段と、
   前記ぼけ画像生成手段により生成された前記ぼけ画像を所定の透過率で前記変換手段による変換後の第１の変換画像に透過合成することにより第２の変換画像を生成する透過合成手段と、
   前記撮影画像から特定の被写体に相当する被写体領域を検出する検出手段と、を備え、
   前記ぼけ画像生成手段は、前記検出手段により検出された被写体領域を除く背景領域のみにぼかし処理を施して前記ぼけ画像を生成する
   ことを特徴とする画像処理装置。
2. 撮影画像を、人工的な特徴を備えた第１の変換画像に変換する変換手段と、
   前記撮影画像の所定領域にぼけを生じさせた合成用のぼけ画像を生成するぼけ画像生成手段と、
   前記生成されたぼけ画像を所定の透過率で前記変換手段による変換後の第１の変換画像に透過合成することにより第２の変換画像を生成する透過合成手段と、を備え、
   前記ぼけ画像生成手段は、
   前記撮影画像からモノクロ画像を生成するモノクロ画像生成手段と、
   前記モノクロ画像生成手段により生成されたモノクロ画像の前記所定領域にぼかし処理を施すことにより前記ぼけ画像を生成するぼかし手段と
   を含むことを特徴とする画像処理装置。
3. 前記撮影画像から特定の被写体に相当する被写体領域を検出する検出手段を備え、
   前記ぼかし手段は、前記検出手段により検出された被写体領域を除く背景領域のみにぼかし処理を施す
   ことを特徴とする請求項２記載の画像処理装置。
4. 前記検出手段は、前記被写体領域として任意の人物の顔に相当する領域を検出することを特徴とする請求項１記載の画像処理装置。
5. 前記ぼけ画像生成手段は、前記検出手段により前記撮影画像から特定の被写体に相当する被写体領域が検出されたことを条件として前記ぼけ画像を生成し、
   前記透過合成手段は、前記検出手段により前記撮影画像から特定の被写体に相当する被写体領域が検出されたことを条件として前記第２の変換画像を生成する
   ことを特徴とする請求項３又は４記載の画像処理装置。
6. 撮影画像を、人工的な特徴を備えた第１の変換画像に変換する変換手段と、
   前記撮影画像の所定領域にぼけを生じさせた合成用のぼけ画像を生成するぼけ画像生成手段と、
   前記ぼけ画像生成手段により生成された前記ぼけ画像を所定の透過率で前記変換手段による変換後の第１の変換画像に透過合成することにより第２の変換画像を生成する透過合成手段と、を備え、
   前記ぼけ画像生成手段は、前記撮影画像の所定領域にぼかし処理を施すことにより前記ぼけ画像を生成するぼかし手段を含み、前記ぼかし手段が画像にぼかし処理を施す際のぼかし強度を、前記変換手段による前記撮影画像の変換内容に応じて決定することを特徴とする画像処理装置。
7. 前記透過合成手段は、前記所定の透過率を前記ぼけ画像の各画素の輝度に応じ画素毎に決定し、前記ぼけ画像を第１の変換画像に透過合成することを特徴とする請求項１乃至６いずれか記載の画像処理装置。
8. 撮影画像を、人工的な特徴を備えた第１の変換画像に変換する変換手段と、
   前記撮影画像の所定領域にぼけを生じさせた合成用のぼけ画像を生成するぼけ画像生成手段と、
   前記ぼけ画像生成手段により生成された前記ぼけ画像を、前記ぼけ画像の各画素の輝度と前記変換手段による前記撮影画像の変換内容とに応じ画素毎に決定した透過率で前記変換手段による変換後の第１の変換画像に透過合成することにより第２の変換画像を生成する透過合成手段と
   を備えたことを特徴とする画像処理装置。
9. 撮影画像を、人工的な特徴を備えた第１の変換画像に変換する変換手段と、
   前記撮影画像の所定領域にぼけを生じさせた合成用のぼけ画像を生成するぼけ画像生成手段と、
   前記ぼけ画像生成手段により生成された前記ぼけ画像を、前記変換手段による前記撮影画像の変換内容に応じて決定した透過率で前記変換手段による変換後の第１の変換画像に透過合成することにより第２の変換画像を生成する透過合成手段と
   を備えたことを特徴とする画像処理装置。
10. 前記変換手段は、撮影画像を人工的な特徴を備えた絵画調画像に変換し、
    前記透過合成手段は、前記撮影画像を前記変換手段により前記絵画調画像に変換したときに前記撮影画像の細部に生じる変化が小さな画調のぼかし強度に比べ、前記撮影画像の細部に生じる変化が大きな画調のぼかし強度が相対的に高くなるように、前記透過率を決定する
    ことを特徴とする請求項９記載の画像処理装置。
11. コンピュータに、
    撮影画像を、人工的な特徴を備えた第１の変換画像に変換する手順と、
    前記撮影画像から特定の被写体に相当する被写体領域を検出する手順と、
    前記撮影画像の前記被写体領域を除く背景領域のみにぼかし処理を施してぼけを生じさせた合成用のぼけ画像を生成する手順と、
    前記合成用のぼけ画像を所定の透過率で前記第１の変換画像に透過合成することにより第２の変換画像を生成する手順と
    を実行させることを特徴とするプログラム。
12. コンピュータに、
    撮影画像を、人工的な特徴を備えた第１の変換画像に変換する手順と、
    前記撮影画像からモノクロ画像を生成する手順と、
    前記モノクロ画像の所定領域にぼかし処理を施すことにより合成用のぼけ画像を生成する手順と、
    前記合成用のぼけ画像を所定の透過率で前記第１の変換画像に透過合成することにより第２の変換画像を生成する手順と
    を実行させることを特徴とするプログラム。
13. コンピュータに、
    撮影画像を、人工的な特徴を備えた第１の変換画像に変換する手順と、
    前記撮影画像の所定領域にぼけを生じさせた合成用のぼけ画像を生成する手順と、
    前記合成用のぼけ画像の生成に際し、前記所定領域のぼかし強度を前記第１の変換画像の前記撮影画像からの変換内容に応じて決定する手順と、
    前記合成用のぼけ画像を所定の透過率で前記第１の変換画像に透過合成することにより第２の変換画像を生成する手順と
    を実行させることを特徴とするプログラム。
14. コンピュータに、
    撮影画像を、人工的な特徴を備えた第１の変換画像に変換する手順と、
    前記撮影画像の所定領域にぼけを生じさせた合成用のぼけ画像を生成する手順と、
    前記合成用のぼけ画像を、各画素の輝度と前記第１の変換画像の前記撮影画像からの変換内容とに応じ画素毎に決定した透過率で前記第１の変換画像に透過合成することにより第２の変換画像を生成する手順と
    を実行させることを特徴とするプログラム。
15. コンピュータに、
    撮影画像を、人工的な特徴を備えた第１の変換画像に変換する手順と、
    前記撮影画像の所定領域にぼけを生じさせた合成用のぼけ画像を生成する手順と、
    前記合成用のぼけ画像を、前記第１の変換画像の前記撮影画像からの変換内容に応じて決定した透過率で前記第１の変換画像に透過合成することにより第２の変換画像を生成する手順と
    を実行させることを特徴とするプログラム。

Images