JP5434582B2 - 画像処理装置、及び、画像加工プログラム - Google Patents

Description

本発明は、画像処理装置、及び、画像加工プログラムに関する。

近年、デジタルフォトフレーム（Digital Photo Frame）と呼ばれる電子機器（画像処理装置）が広く普及している。このデジタルフォトフレームは、例えば、装着されたメモリカード等から画像データを読み出して、あたかも通常の写真立てように、画像（画像データが表す画像）を表示できるようになっている。
このようなデジタルフォトフレームには、一般にスライドショー機能が搭載されており、複数の画像を順次切り替えて表示できるようになっている。その際、表示する画像をより効果的に見せるために、装飾を画像に施したり、視覚的効果を切り替え前後の画像に施すなどの加工処理も行われている。
これにより、ユーザは、パーソナルコンピュータ等を用いることなく、このようなデジタルフォトフレームだけで、手軽に画像を鑑賞することができる。

また、被写体（特に人物）の画像を補正する技術として、例えば、特許文献１には、撮影しようとする人物の顔の特徴に基づいてユーザが要求する処理を簡単に行う技術が開示されている。具体的にこの特許文献１の技術は、撮影しようとする人物の年齢や性別等を推論し、この推論結果に基づいて、撮影された人物画像に対して、露出補正、ソフトフォーカス補正、美肌補正、若しくは、痩身にみせる補正を実行する。

特開２００７−２８０２９１号公報

しかしながら、特許文献１の技術は、撮影された人物画像をより美しく（好ましく）補正する技術であり、変化に乏しく、ユーザが面白みを感じるほどの画像にはならなかった。

上記点に鑑み、本発明は、変化に富んだ面白みのある画像を生成できる画像処理装置、及び、画像加工プログラムを提供することを目的とする。

請求項１記載の発明は、画像データが表す画像に写る人物を顔認識する顔認識手段と、ユーザが任意で登録可能なアバタのアバタ情報を記憶するアバタ情報記憶手段と、前記顔認識手段が認識した前記人物に応じて画像を加工する加工内容を決定する加工内容決定手段と、を備え、前記加工内容決定手段は、前記顔認識手段が認識した前記人物の画像を、前記アバタ情報記憶手段に記憶されている前記アバタ情報に基づいて加工する加工手段を含み、前記アバタ情報は、画調の種類を示す情報を含んでおり、前記加工内容決定手段は、前記人物の画像を、前記アバタ情報が含む画調の種類で加工することを特徴とする画像処理装置を提供するものである。

請求項２記載の発明は、コンピュータを、画像データが表す画像に写る人物を顔認識する顔認識手段と、ユーザが任意で登録可能なアバタのアバタ情報を記憶するアバタ情報記憶手段と、前記顔認識手段が認識した前記人物に応じて画像を加工する加工内容を決定する加工内容決定手段として機能させ、前記加工内容決定手段は、前記顔認識手段が認識した前記人物の画像を、前記アバタ情報記憶手段に記憶されている前記アバタ情報に基づいて加工し、前記アバタ情報は、画調の種類を示す情報を含んでおり、前記加工内容決定手段は、前記人物の画像を、前記アバタ情報が含む画調の種類で加工することを特徴とする画像加工プログラムを提供するものである。

本発明に係る画像処理装置、及び、画像加工プログラムによれば、変化に富んだ面白みのある画像を生成できる。

本発明の実施形態に係る画像処理装置のハードウェア構成を示す模式図である。 本発明の第１実施形態に係る画像処理装置の機能構成を示すブロック図である。 種別・加工対応テーブルの一例を示す図である。 （ａ）が色鉛筆風のアート加工を示す模式図であり、（ｂ）が西洋画風のアート加工を示す模式図である。 本発明の第１の実施形態に係るアート加工処理の流れを示すフローチャートである。 絵画調変換処理の流れを示すフローチャートである。 （ａ）が幼児２人が写っている画像の一例であり、（ｂ）が西洋人と幼児とが写っている画像の一例である。 本発明の第２実施形態に係る画像処理装置の機能構成を示すブロック図である。 （ａ）が顔ＤＢの一例であり、（ｂ）が画像内の顔の位置と大きさを示す一例である。 （ａ）が画像別加工指定テーブルの一例であり、（ｂ）が顔別加工指定テーブルの一例を示す図である。 顔特徴点テーブルの一例を示す図である。 アバタ情報テーブルの一例を示す図である。 決定ルールテーブルの一例を示す図である。 （ａ）が加工前の画像の一例であり、（ｂ）が加工後の画像の一例である。 本発明の第２の実施形態に係るアート加工スライドショー処理の流れを示すフローチャートである。 決定ルール１に対応した顔別加工内容決定処理の流れを示すフローチャートである。 決定ルール３に対応した顔別加工内容決定処理の流れを示すフローチャートである。 決定ルール４に対応した顔別加工内容決定処理の流れを示すフローチャートである。 決定ルール５に対応した顔別加工内容決定処理の流れを示すフローチャートである。 決定ルール７に対応した顔別加工内容決定処理の流れを示すフローチャートである。 絵画調変換処理の流れを示すフローチャートである。 （ａ），（ｂ）共に、加工対象領域の一例を示す図である。

以下、本発明の画像処理装置について説明する。なお、発明の理解を容易にするため、以下では、デジタルフォトフレームに本発明が適用される実施形態を説明するが、本発明の画像処理装置は、デジタルフォトフレームに限られず適用可能である。例えば、各種のコンピュータ、ＰＤＡ、携帯電話、デジタルカメラ、プリンタなどの電子機器においても同様に本発明を適用することができる。すなわち、以下に記載する実施形態は説明のためのものであり、本願発明の範囲を制限するものではない。従って、当業者であればこれらの各要素または全要素をこれと均等なものに置換した実施形態を採用することが可能であるが、これらの実施形態も本発明の範囲に含まれる。

（共通のハードウェア構成）
図１は、本発明の実施形態に係る画像処理装置１のハードウェア構成の一例を示す模式図である。なお、後述する第１実施形態及び、第２実施形態における画像処理装置１は、以下のハードウェア構成によって実現される。
図示するように、画像処理装置１は、ＣＰＵ（Central Processing Unit）１０と、ＲＯＭ（Read Only Memory）２０と、ＲＡＭ（Random Access Memory）３０と、外部記憶装置４０と、入力装置５０と、表示装置６０と、印刷装置７０と、通信Ｉ／Ｆ８０と、を備えている。

ＣＰＵ１０は、ＲＯＭ２０内に記憶されているプログラム２１をロードし、ＲＡＭ３０を作業用メモリとしつつ、各種の演算処理や制御処理を実行する。

ＲＯＭ２０には、各処理（後述するアート加工処理や、アート加工スライドショー処理等）の内容を規定するプログラム２１が予め書き込まれている。
このようなプログラム２１は、ＲＯＭ２０以外に記録されていてもよい。例えば、持ち運び可能な記憶媒体等に記録されていてもよい。
この記憶媒体は、一例として、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory）、ハードディスクドライブ、又は、フラッシュメモリ等からなる。
また、プログラム２１は、持ち運び可能な記憶媒体から各種の読取装置を介して画像処理装置１にインストールされてもよい。また、プログラム２１は、インターネット等のネットワークから通信Ｉ／Ｆ８０を介して画像処理装置１にダウンロード及びインストールされてもよい。更に、プログラム２１は、画像処理装置１と通信可能なサーバ等の記憶装置に格納されて、ＣＰＵ１０への指示を行ってもよい。
このようなプログラム２１を記憶した読み取り可能な記憶媒体は、コンピュータが読み取り可能なプログラム製品となる。

ＲＡＭ３０には、ＣＰＵ１０により各処理が実行される際に、ＲＯＭ２０や外部記憶装置４０から読み出された各種データが格納される。

外部記憶装置４０は、例えば、所定規格のメモリカードやＨＤＤ（Hard Disk Drive）等の記憶媒体であり、画像データ４１やＤＢ（Data Base）データ４２が保存されている。

画像データ４１は、例えば、デジタルカメラ等で撮影された人物（被写体）が写った画像のデータであり、ＪＰＥＧ（Joint Photographic Experts Group）等のファイル形式にて保存されている。
なお、外部記憶装置４０内において、複数の画像データ４１が記憶されており、各画像データ４１が、例えば、アルバム単位の画像フォルダに分けて保存されているものとする。つまり、各アルバム（各画像フォルダ）には、関連した複数の画像データ４１がそれぞれ格納されている。

ＤＢデータ４２は、画像データ４１等を管理するためのアルバムＤＢや、画像データ４１が表す画像に施すアート加工を指定するためのアート加工ＤＢ等からなる。なお、ＤＢデータ４２の詳細については、後述する。

入力装置５０は、例えば、スイッチやタッチパネル等であり、ユーザの操作入力を受け取る。

表示装置６０は、例えば、液晶表示ユニット等であり、外部記憶装置４０から画像データ４１が読み出され、後述するアート加工処理により、画像データ４１が表す画像が絵画調に変換された画像等を表示する。

印刷装置７０は、例えば、昇華型印刷ユニット等であり、外部記憶装置４０から画像データ４１が読み出され、必要に応じて絵画調に変換された画像等を印刷する。

通信Ｉ／Ｆ（インタフェース：interface）８０は、例えば、無線通信ユニット等であり、必要に応じて所定のネットワークに接続し、外部のサーバ等との通信を行う。

このようなハードウェア構成の画像処理装置１は、画像データ４１が表す画像を、アート風に加工するアート加工の機能を有している。
具体的に説明すると、画像処理装置１は、画像データ４１が表す画像に写る人物の種別（年齢、性別、人種）を特定し、その特定した種別を連想させる絵画調の画像へと人物画像を変換するための加工内容を決定する。そして、決定した加工内容に従って、画像データ４１が表す画像に写るその人物画像を絵画調の画像に変換する。

（第１実施形態）
以下、このようなアート加工を行うことを特徴とする画像処理装置１について、図面を参照して説明する。図２は、本発明の第１実施形態に係る画像処理装置１の機能構成を示すブロック図である。

図２に示すように、画像処理装置１は、画像データ記憶部１００、加工用データ記憶部２００と、画像データ読み出し部３００と、種別特定部４００と、加工内容決定部５００と、アート加工部６００と、画像出力部７００と、を備えている。

画像データ記憶部１００は、上述した外部記憶装置４０からなり、画像データ４１を記憶している。つまり、画像データ記憶部１００は、画像データ４１が表す画像に人物（人物画像）が写っている、上述した画像データ４１を複数記憶している。

加工用データ記憶部２００は、上述した外部記憶装置４０からなり、ＤＢデータ４２を記憶している。例えば、ＤＢデータ４２は、図３に示すような種別・加工対応テーブル２０１を記憶している。
この種別・加工対応テーブル２０１は、画像データ４１が表す画像に写る人物の種別に対応するアート加工（絵画調変換）の内容を指定するためのテーブルである。この種別・加工対応テーブル２０１における加工内容は、それぞれがその人物の種別を連想させるアート加工の内容となっている。
すなわち、図３の種別・加工対応テーブル２０１において、幼児と色鉛筆風との対応は、幼児がよく色鉛筆で絵を描くため、色鉛筆風の加工内容が、幼児を連想させるものとなっている。また、男性と油絵風との対応は、油絵が絵の具を塗り重ねる絵画技法なので、油絵風の加工内容が、力強い男性を連想させるものとなっている。一方、女性と水彩画風との対応は、水彩画が透明感のある絵なので、水彩画風の加工内容が、女性を連想させるものとなっている。
そして、日本人と日本画風との対応は、日本画風の加工内容が、当然日本人を連想させるものであり、一方、西洋人と西洋画風との対応は、西洋画風の加工内容が、当然西洋人を連想させるものとなっている。
なお、このような対応関係は、一例であり、人物の種別とアート加工との組み合わせを適宜変更・追加してもよい。

図２に戻って、画像データ読み出し部３００は、上述したＣＰＵ１０（より詳細には、外部記憶装置４０を制御するドライバプログラム）等からなり、画像データ記憶部１００に記憶された画像データ４１を適宜読み出す。例えば、画像データ読み出し部３００は、画像データ記憶部１００に記憶された画像データ４１を所定の順番、又は、ランダムに読み出す。

種別特定部４００は、上述したＣＰＵ１０（より詳細には、後述する種別特定処理を実行するＣＰＵ１０）等からなり、画像データ読み出し部３００が読み出した画像データ４１が表す画像に写る人物の種別を特定する。例えば、種別特定部４００は、上述した特許文献１（特開２００７−２８０２９１号公報）等に記載された手法を用いて、画像データ４１が表す画像に写る人物の種別（年齢、性別、人種）を特定する。
具体的に種別特定部４００は、画像データ４１が表す画像から、特徴点を検出して人物の顔領域を抽出する。つまり、眉、目、鼻、唇の各端点、顔の輪郭点、頭頂点や顎の下端点等の特徴点を検出することにより、人物の顔領域を抽出する。そして、種別特定部４００は、顔領域における各器官の特徴や、各器官の大きさやバランス等の構成から、その人物の年齢や性別を特定する。また、種別特定部４００は、抽出した顔領域を含む肌の色あいや輝度の分布等から、その人物の人種を特定する。

加工内容決定部５００は、上述したＣＰＵ１０（より詳細には、後述するアート加工処理を実行するＣＰＵ１０）等からなり、種別特定部４００が特定した人物の種別を連想させるアート加工の内容を決定する。つまり、種別特定部４００は、上述した図３の種別・加工対応テーブル２０１を参照して、種別特定部４００が特定した種別に対応するアート加工の加工内容を決定する。
例えば、加工内容決定部５００は、人物の種別が幼児であると特定された場合に、種別・加工対応テーブル２０１に従って、加工内容を色鉛筆風と決定する。この他にも、例えば、人物の種別が西洋人であると特定された場合に、加工内容決定部５００は、種別・加工対応テーブル２０１に従って、加工内容を西洋画風と決定する。

アート加工部６００は、上述したＣＰＵ１０（より詳細には、後述する絵画調変換処理を実行するＣＰＵ１０）等からなり、加工内容決定部５００が決定した加工内容に従って、画像データ４１が表す画像に写る人物画像を絵画調の画像に変換する。
具体的にアート加工部６００は、画像の輪郭成分の画素値を平均化して、滑らかな模様を有する画像にするための平均化処理、陰影を強調するための暗度強調処理、及び、輝度の階調の中間調を少なくし、画像の濃淡の差を強調する輝度補正処理等を行い、人物画像を絵画調の画像に変換する。なお、これらの処理は、画像処理におけるフィルタ演算（フィルタを用いた演算）により行われる。そして、フィルタのパラメータは、変換する絵画調の種類に応じて適宜設定されている。
このようなフィルタによる画像変換は、一例として、アドビ・システムズ社のＰＨＯＴＯＳＨＯＰ（登録商標）における各種フィルタ（色鉛筆、水彩画、・・・）と同様の処理を行っている。そのため、アート加工部６００は、例えば、変換する絵画調が色鉛筆風である場合に、色鉛筆風のパラメータが設定されたフィルタ演算を行うことにより、人物画像を色鉛筆風の画像に変換する。この他にも、例えば、変換する絵画調が西洋画風である場合に、アート加工部６００は、西洋画風のパラメータが設定されたフィルタ演算を行うことにより、人物画像を西洋画風の画像に変換する。

画像出力部７００は、上述した表示装置６０又は印刷装置７０からなり、アート加工部６００が人物画像を絵画調の画像に変換した画像を出力する。つまり、絵画調に変換等された画像を表示し、又は、印刷する。
例えば、画像出力部７００は、画像に写る人物の種別が幼児である場合に、図４（ａ）に示すような幼児である人物画像Ｐ１が色鉛筆風にアート加工（絵画調変換）された画像を出力する。この他にも、例えば、画像出力部７００は、画像に写る人物の種別が西洋人である場合に、図４（ｂ）に示すような西洋人である人物画像Ｐ２が西洋画風にアート加工された画像を出力する。
このため、図４（ａ）の画像を見たユーザは、人物画像Ｐ１が色鉛筆風にアート加工されているため、その加工内容から、その人物が幼児であることをより明確に連想し、また、図４（ｂ）の画像を見たユーザは、人物画像Ｐ２が西洋画風にアート加工されているため、その加工内容から、その人物が西洋人であることをより明確に連想することになる。すなわち、アート加工により、人物の種別（年齢、性別、人種）の特徴を際立たせて出力することができる。

以下、このような構成の第１実施形態に係る画像処理装置１の動作について、図面を参照して説明する。図５は、本発明の第１実施形態に係る画像処理装置１のアート加工処理の流れを示すフローチャートである。また、図６は、絵画調変換処理の詳細を示すフローチャートである。
なお、各処理は、上述したＲＯＭ２０内のプログラム２１として予め記憶されており、ＣＰＵ１０がプログラム２１を読み出して実行することで、各処理が行われるものとする。

（アート加工処理）
図５のアート加工処理は、第１実施形態に係る画像処理装置１のメイン処理であり、例えば、ユーザによる入力装置５０への操作を契機として開始される。
まず、画像データ読み出し部３００は、画像データ記憶部１００に記憶された画像データ４１を読み出す（ステップＳ１１）。

続いて、種別特定部４００は、種別特定処理を行う（ステップＳ１２）。つまり、画像データ読み出し部３００が読み出した画像データ４１が表す画像に写る人物の種別を特定する。
例えば、種別特定部４００は、まず、画像データ４１が表す画像から顔領域を抽出する。つまり、眉、目、鼻、唇の各端点、顔の輪郭点、頭頂点や顎の下端点等の特徴点を検出することにより、顔領域を抽出する。そして、種別特定部４００は、抽出した顔領域から年齢や性別を特定する。つまり、顔領域における各器官の特徴や、各器官の大きさやバランス等の構成から、その人物の年齢や性別を特定する。また、種別特定部４００は、抽出した顔領域から人種を特定する。つまり、顔領域を含む肌の色合いや輝度の分布等から、その人物の人種を特定する。

続いて、加工内容決定部５００は、特定された種別に対応するアート加工の内容を決定する（ステップＳ１３）。つまり、上述した図３の種別・加工対応テーブル２０１を参照して、種別特定部４００が特定した人物の種別に対応する加工内容を決定する。
例えば、加工内容決定部５００は、人物の種別が幼児であると特定された場合に、種別・加工対応テーブル２０１に従って、加工内容を色鉛筆風と決定し、また、人物の種別が西洋人であると特定された場合に、加工内容を西洋画風と決定する。

続いて、アート加工部６００は、絵画調変換処理を行う（ステップＳ１４）。つまり、決定された加工内容に従って、画像データ４１が表す画像に写る人物画像を絵画調の画像に変換する。この絵画調変換処理の詳細を、図６のフローチャートを参照して説明する。

（絵画調変換処理）
図６の絵画調変換処理において、まず、アート加工部６００は、加工対象領域を決定する（ステップＳ２１）。つまり、画像データ４１が表す画像に写る人物の範囲を、上述した種別特定部４００が抽出した顔領域を基準として求め、その範囲を加工対象領域として決定する。なお、その際、顔領域をそのまま加工対象領域として決定してもよく、また、顔領域を元に、所定範囲まで広げた領域を加工対象領域として決定してもよく、更に、顔領域の周囲をそれぞれ輪郭抽出し、顔領域からその人物全体まで広げた領域を加工対象領域として決定してもよい。

続いて、アート加工部６００は、決定した加工対象領域の画像をコピーし、ＲＡＭ３０に保存する（ステップＳ２２）。つまり、加工対象領域からコピーした人物画像をＲＡＭ３０内に保存する。

続いて、アート加工部６００は、ＲＡＭ３０に保存した人物画像を、絵画調の画像に変換する（ステップＳ２３）。すなわち、上述のステップＳ１３にて決定された加工内容に従って、コピーした人物画像を絵画調の画像に変換する。
例えば、加工内容が色鉛筆風と決定されている場合に、アート加工部６００は、ＲＡＭ３０に保存した人物画像（コピー）に対して、色鉛筆風のパラメータが設定されたフィルタ演算を行い、その人物画像を色鉛筆風に変換する。この他にも、例えば、加工内容が洋画風と決定されている場合に、アート加工部６００は、ＲＡＭ３０に保存した人物画像に対して、西洋画風のパラメータが設定されたフィルタ演算を行い、その人物画像を西洋画風に変換する。

続いて、アート加工部６００は、ＲＡＭ３０内において絵画調に変換した人物画像（コピー）を、元の加工対象領域に貼り付ける（ステップＳ２４）。つまり、絵画調に変換した人物画像を、画像データ４１が表す画像における加工対象領域（コピー元の人物画像）に上書きする。

続いて、アート加工部６００は、加工対象領域の境界にぼかし加工を施す（ステップＳ２５）。なお、ここでのぼかし加工とは、境界の各画素について、近傍の複数（一例として、上下左右の４つ若しくは斜め方向も加えた８つ）の画素を平均化して、境目を目立たなくさせる画像処理のことである。つまり、絵画調に変換して加工対象領域に上書きした人物画像が、その周囲の画像となじむように（違和感がなくなるように）画像処理する。
そして、アート加工部６００は、図６の絵画調変換処理を終える。

図５に戻って、画像出力部７００は、人物画像がその人物の種別に応じてアート加工された画像を出力する（ステップＳ１５）。
例えば、画像出力部７００は、上述した図４（ａ），（ｂ）に示すような人物画像Ｐ１，Ｐ２がアート加工された画像を出力する。つまり、色鉛筆風の人物画像Ｐ１や西洋画風の人物画像Ｐ２にアート加工された画像を出力する。
このため、図４（ａ）の画像を見たユーザは、人物画像Ｐ１の加工内容から、その人物が幼児であることをより明確に連想し、また、図４（ｂ）の画像を見たユーザは、人物画像Ｐ２の加工内容から、その人物が西洋人であることをより明確に連想することになる。
なお、図４（ａ），（ｂ）では、画像に写る人物が１人の場合を示しているが、画像に写る人物が複数の場合は、各人物画像について、上記の絵画調変換処理により、それぞれ絵画調の画像に変換されるものとする。その際、例えば、画像に写る各人物が何れも幼児である場合に、図７（ａ）に示すように、人物画像Ｐ１，Ｐ２がそれぞれ色鉛筆風に絵画調変換されて出力される。また、例えば、画像に写る各人物が西洋人（Ｐ３）と幼児（Ｐ４）とである場合に、図７（ｂ）に示すように、西洋人である人物画像Ｐ３が西洋人風に絵画調変換され、そして、幼児である人物画像Ｐ４が色鉛筆風に絵画調変換されて出力される。つまり、画像に写る各人物の種別に応じて、同一若しくは、異なる絵画調の画像へと各人物画像がそれぞれ変換されて出力される。

このように、アート加工処理等によって、画像データ４１が表す画像に写る人物画像がアート加工（絵画調変換）される。しかもその加工内容は、その人物の種別を連想させる絵画調の画像への変換である。
すなわち、第１実施形態に係る発明では、画像データ４１が表す画像に写る人物画像を、その人物の種別（年齢、性別、人種）を連想させる絵画調の画像へと変換する。例えば、画像に写る人物が幼児である場合には、その幼児を連想させる色鉛筆風の画像へと変換する。これにより、本願の第１実施形態に係る発明は、特許文献１の技術に比べ、画像に写る人物の種別（年齢、性別、人種）の特徴を際立たせることができるという優位点がある。
また、このように画像に写る人物画像をその人物の種別を連想させる絵画調の画像へと変換することにより、第１実施形態に係る発明は、面白みのある画像を生成することができる。

上記の第１実施形態では、加工内容の一例として、種別・加工対応テーブル２０１に示すような各絵画調について説明したが、絵画調の種類は、これらに限られず、鉛筆スケッチ画風、似顔絵風、コミック風など種々の絵画調の画像への変換が行えるようにしてもよい。また、人物画像だけでなく、背景画像等についても絵画調の画像への変換を行うようにしてもよい。
更に、加工内容として、絵画調の種類だけでなく、その絵画調におけるより詳細な内容を定めるようにしてもよい。例えば、同じ種類の絵画調の画像への変換においても、その絵画調におけるタッチ（筆触）の粗さ等を適宜変更できるようにしてもよい。具体的には、人物画像等を鉛筆スケッチ画風に変換する際に、粗く書くか、又は、細かく書くか等までを変更可能とすることで、変換後の画像の雰囲気をより細かく変えることができる。

（第２実施形態）
上記の第１実施形態では、種別・加工対応テーブル２０１に従って、人物画像等の加工内容を決定する場合について説明した。しかしながら、このような種別・加工対応テーブル２０１以外の条件や基準等に従って、人物画像の加工内容を決定してもよい。例えば、異なる加工内容を定めた各種の決定ルールに従って、人物画像等の加工内容を決定してもよい。
以下、このように、各種の決定ルールに従って、人物画像等の加工内容を決定することを特徴とする画像処理装置１について、図面を参照して説明する。図８は、本発明の第２実施形態に係る画像処理装置１の機能構成を示すブロック図である。

図８に示すように、画像処理装置１は、画像データ記憶部１１０、加工用データ記憶部２１０と、画像データ読み出し部３１０と、顔認識部４１０と、加工内容決定部５１０と、アート加工部６１０と、画像出力部７１０と、を備えている。

画像データ記憶部１１０は、上述した外部記憶装置４０からなり、画像データ４１が表す画像に複数の人物（人物画像）が写っている、上述した画像データ４１を複数記憶している。
例えば、画像データ記憶部１１０内において、複数の画像データ４１が記憶され、各画像データ４１が、例えば、アルバム単位の画像フォルダに分けて保存されているものとする。つまり、各アルバム（各画像フォルダ）には、関連した複数の画像データ４１がそれぞれ格納されている。

加工用データ記憶部２１０は、上述した外部記憶装置４０からなり、ＤＢデータ４２を記憶している。例えば、ＤＢデータ４２は、図９〜図１３に示すような各種テーブル（ＤＢ）を記憶している。

図９（ａ）に示す顔ＤＢ２１１は、各画像データ４１が表す画像に写る各人物の顔の情報を管理するためのデータベースである。つまり、画像ＩＤに、顔の識別子（顔ＩＤ）、画像内における顔の位置（ｘ、ｙ）、顔の大きさ（幅、高さ）、及び、その人物の属性を示す人物属性情報（性別、主要人物フラグ）が対応付けられている。なお、画像内における顔の位置や顔の大きさは、例えば、図９（ｂ）に示すように求められている。つまり、画像ｉｍにおける顔ｆａの位置は、顔ｆａに外接する矩形ｓｑの左上の位置を示している。また、顔ｆａの幅及び高さは、矩形ｓｑの横及び縦の長さを示している。
また、図９（ａ）における主要人物フラグは、その画像ＩＤの画像において、その顔ＩＤの人物が主要人物であるか（ＴＲＵＥ）、主要人物でないか（ＦＡＬＳＥ）を示している。この主要人物であるかどうかは、後述するように、各画像におけるその人物（顔）の大きさやその人物の位置が集計されて判別される。なお、詳細については、後述する。

図１０（ａ）に示す画像別加工指定テーブル２１２は、画像データ４１が表す画像全体に施すアート加工（絵画調変換）の内容を、各画像別に指定するテーブルである。つまり、画像ＩＤに、絵画調の種類、及び、その絵画調におけるタッチ（筆触）の程度が対応付けられている。なお、図中の絵画調の種類における、点描、パステル、及び、イラストは、以下の通りである。
点描とは、絵画において線ではなく点の集合や非常に短いタッチで表現することを示している。また、パステルとは、パステル (Pastel) を使用した絵画のように表現することを示している。そして、イラストは、形式よりも題材に主眼を置いて表現することを示している。
また、図１０（ｂ）に示す顔別加工指定テーブル２１３は、画像データ４１が表す画像に写る人物（人物画像）に施すアート加工の内容を、顔別に指定するテーブルである。つまり、画像ＩＤと顔ＩＤに、絵画調の種類、及び、その絵画調におけるタッチの程度が対応付けられている。

図１１に示す顔特徴点テーブル２１４は、画像データ４１が表す画像に写る人物の顔の特徴点等を管理するためのテーブルである。つまり、顔ＩＤに、眉、目、鼻、唇の各端点、顔の輪郭点、頭頂点や顎の下端点等の特徴点が対応付けられている。また、顔別の加工内容として、絵画調の種類、及び、その絵画調におけるタッチの程度もユーザが登録可能となっている。

図１２に示すアバタ情報テーブル２１５は、ユーザが任意で登録可能なアバタ（avatar：自己の分身となるキャラクタ）に関する情報を管理するためのテーブルである。つまり、アバタを規定するキャラクタコードや、そのアバタ画像の格納場所が設定されている。また、アバタ（キャラクタコード）に対応して、絵画調の種類、及び、その絵画調におけるタッチの程度もユーザが登録可能となっている。なお、このアバタ情報テーブル２１５は、後述する決定ルール（番号７の決定ルール）にて参照される。

図１３に示す決定ルールテーブル２１６は、顔毎のアート加工を決定するためのルールを各種定めたテーブルである。つまり、番号１〜番号７までの決定ルールが、それぞれ定められている。以下、各決定ルールについて説明する。

番号１の決定ルール（以下、決定ルール１と呼ぶ）は、顔別にアート加工（絵画調変換）の内容を予め登録しておく手法を定めている。つまり、どの顔にどのアート加工を使うかを、ユーザが予め登録しておく手法である。この決定ルール１を採用した場合には、ユーザが自分の好み（趣向）に沿って、その人物の印象や特徴に合致した絵画調の画像へと各人物画像を変換することが可能となる。

番号２の決定ルール（以下、決定ルール２と呼ぶ）は、顔別にランダムにアート加工の内容を割り当てる手法である。この決定ルール２を採用した場合には、各人物画像が無作為に各種の絵画調の画像へと変換されるため、変化の富んだ画像が楽しめる。

番号３の決定ルール（以下、決定ルール３と呼ぶ）は、同じ人物に同じアート加工の内容を固定して割り当てる手法である。この決定ルール３を採用した場合には、同じ人物の人物画像が同じ絵画調の画像へと変換されるため、画像が切り替わっても（次の画像が表示されても）同じ人物について違和感が少ない。また、同じ人物に割り当てる加工内容を例えば、アルバム単位で切り替えるようにしてもよい。その場合、別のアルバムでは（別のアルバムの画像が表示される際には）、前のアルバムと同じ人物であってもその人物画像が別の絵画調の画像へと変換されるため、新鮮さも保つことができる。

番号４の決定ルール（以下、決定ルール４と呼ぶ）は、同じ人物に異なるアート加工の内容を割り当てる手法である。この決定ルール４を採用した場合には、同じ人物の人物画像が別の絵画調の画像へと変換されるため、常に変化の富んだ画像が楽しめる。

番号５の決定ルール（以下、決定ルール５と呼ぶ）は、その人物が主要人物かどうかに応じて、アート加工の内容を割り当てる手法である。この主要人物かどうかは、後述するように、各画像におけるその人物（顔）の大きさやその人物の位置が集計されて判別される。決定ルール５を採用した場合には、たまたま写り込んだ人物（通行人等）を除き、ユーザが見たい主要人物のみを際立たせる絵画調の画像へとその人物画像を変換できる。

番号６の決定ルール（以下、決定ルール６と呼ぶ）は、性別に応じて、アート加工の内容を割り当てる手法である。決定ルール６を採用した場合には、性別による雰囲気や印象を保った絵画調の画像へとその人物画像を変換できる。

番号７の決定ルール（以下、決定ルール７と呼ぶ）は、ユーザが、アバタに関する情報（上述したアバタ情報テーブル２１５）を画像処理装置１に登録している場合に、そのアバタの情報を参照してアート加工の内容を割り当てる手法である。決定ルール７を採用した場合には、ユーザが自身に抱いている印象やアバタの趣向に沿った絵画調の画像へと各人物画像を変換することが可能となる。

このような決定ルールテーブル２１６における何れかの決定ルールに従って、後述するように異なる顔別アート加工決定処理が実行される。なお、決定ルールテーブル２１６における各決定ルールは、一例であり、これらに限定されるものではなく、顔毎に異なるアート加工を施すルールであれば、他の決定ルールであってもよい。

図８に戻って、画像データ読み出し部３１０は、上述したＣＰＵ１０（より詳細には、外部記憶装置４０を制御するドライバプログラム）等からなり、画像データ記憶部１１０に記憶された画像データ４１を適宜読み出す。例えば、画像データ読み出し部３１０は、所定のアルバム（画像フォルダ）に格納されている各画像データ４１を所定の時間間隔で順次読み出す。

顔認識部４１０は、上述したＣＰＵ１０（より詳細には、後述する顔認識・人物属性判別処理を実行するＣＰＵ１０）等からなり、画像データ記憶部１１０の各画像データ４１が表す画像に対して、顔認識・人物属性判別処理を行う。
例えば、顔認識部４１０は、各画像データ４１が表す画像について、画像中に含まれ得る複数の顔領域を抽出し、それぞれを顔認識手法により識別する。例えば、顔認識部４１０は、画像から、眉、目、鼻、唇の各端点、顔の輪郭点、頭頂点や顎の下端点等の特徴点を検出することにより、人物の顔領域を抽出する。そして、これら各端点や輪郭点等の特徴点を顔特徴点情報として管理し、同一人物には、同一の識別子（顔ＩＤ）を付しながら、全ての画像に写っている各人物をそれぞれ識別する。
また、顔認識部４１０は、各人物について、属性（性別、主要人物フラグ）を判別する。例えば、顔認識部４１０は、上述した特許文献１（特開２００７−２８０２９１号公報）等に記載された手法を用いて、顔領域における各器官の特徴や、各器官の大きさやバランス等の構成から、各人物の性別を特定する。また、顔認識部４１０は、後述する人物属性判別処理を行って、各画像におけるその人物（顔）の大きさやその人物の位置を集計して、主要人物であるかどうかを判別する。そして、顔認識部４１０は、上述した図９（ａ）の顔ＤＢ２１１における性別に、男性／女性の性別を設定し、また、主要人物フラグにＴＲＵＥ（主要人物である）／ＦＡＬＳＥ（主要人部でない）を設定する。
なお、このような顔ＤＢ２１１における性別、主要人物フラグは、ユーザが自由に設定できるようにしてもよい。

加工内容決定部５１０は、上述したＣＰＵ１０（より詳細には、後述する画像・顔別加工内容決定処理を実行するＣＰＵ１０）等からなり、画像データ記憶部１１０の各画像データ４１が表す画像に対して、画像・顔別加工内容決定処理を行う。
例えば、加工内容決定部５１０は、画像別（つまり、各画像データ４１が表す画像全体）に施すアート加工の加工内容を決定し、また、各画像に写っている各人物（各人物画像）別に施すアート加工の加工内容を決定する。

アート加工部６１０は、上述したＣＰＵ１０（より詳細には、後述する絵画調変換処理を実行するＣＰＵ１０）等からなり、加工内容決定部５１０が決定した加工内容に従って、画像データ４１が表す画像全体及び、当該画像に写る人物画像を絵画調の画像に変換する。
例えば、アート加工部６１０は、画像別の加工内容が格納された画像別加工指定テーブル２１２に従って、画像データ４１が表す画像全体を絵画調の画像に変換する。また、顔別の加工内容が格納された顔別加工指定テーブル２１３に従って、画像に写る各人物について各人物画像を絵画調の画像に変換する。
具体的にアート加工部６１０は、上述した第１実施形態のアート加工部６００と同様に、フィルタ演算（フィルタを用いた演算）により、画像データ４１が表す画像全体及び、画像に写る各人物画像を絵画調の画像に変換する。例えば、図１４（ａ）に示すような画像（加工前）にアート加工を施し、図１４（ｂ）に示すような画像（加工後）に変換する。 すなわち、アート加工部６１０は、図１４（ｂ）のように、画像全体にアート加工を施すと共に、画像に写る各人物画像について、異なる種類のアート加工を施す。一例として、人物画像Ｐ１には油絵画風、人物画像Ｐ２には水彩画風、そして、人物画像Ｐ３には色鉛筆画風というように、人物画像ごとに異なる種類のアート加工が施されている。
なお、後述する絵画調変換処理にて説明する様に、加工前の人物画像をＲＡＭ３０内に保存しており、画像全体をアート加工した画像に、ＲＡＭ３０内の人物画像についてアート加工したものを上書きするため、画像全体のアート加工に影響なく、個々の顔別のアート加工が適切に行われる。

図８に戻って、画像出力部７１０は、上述した表示装置６０又は印刷装置７０からなり、アート加工部６１０が画像全体及び各人物画像を絵画調の画像に変換した画像を出力する。例えば、画像出力部７１０は、上述した図１４（ｂ）に示すような、画像・顔別にアート加工された画像をスライドショー表示する。

以下、このような構成の第２実施形態に係る画像処理装置１の動作について、図面を参照して説明する。図１５は、本発明の第２実施形態に係る画像処理装置１のアート加工スライドショー処理の流れを示すフローチャートである。また、図１６〜図２０は、各決定ルールに対応した顔別加工内容決定処理の詳細をそれぞれ示すフローチャートであり、そして、図２１は、絵画調変換処理の詳細を示すフローチャートである。
なお、各処理は、上述したＲＯＭ２０内のプログラム２１として予め記憶されており、ＣＰＵ１０がプログラム２１を読み出して実行することで、各処理が行われるものとする。

（アート加工スライドショー処理）
図１５のアート加工スライドショー処理は、第２実施形態に係る画像処理装置１のメイン処理であり、例えば、ユーザによる入力装置５０への操作を契機として開始される。

まず、顔認識部４１０は、人物属性判別処理を行う（ステップＳ１０１）。つまり、顔認識部４１０は、アルバム内の全画像データ４１が表す画像に対して、顔認識し、その人物の属性（性別、主要人物フラグ）を判別する。
具体的に、顔認識部４１０は、各画像データ４１が表す画像について、その画像中に含まれ得る複数の顔領域を抽出し、それぞれを顔認識手法により識別する。そして、顔領域における各器官の特徴や、各器官の大きさやバランス等の構成から、各人物の性別を特定する。また、顔認識部４１０は、顔認識した各人物について、画像内における顔の位置（ｘ、ｙ）及び、顔の大きさ（幅、高さ）を取得し、その人物が主要人物であるか否かを判別する。
そして、顔認識部４１０は、これらの顔領域の抽出及び、顔認識にて得た情報を上述した図９（ａ）の顔ＤＢ２１１に格納する。つまり、顔ＤＢ２１１における画像ＩＤに対応付けて、顔の識別子（顔ＩＤ）、画像内における顔の位置（ｘ、ｙ）、顔の大きさ（幅、高さ）、性別、及び、主要人物フラグを格納する。

続いて、加工内容決定部５１０は、画像別加工内容決定処理を行う（ステップＳ１０２）。つまり、加工内容決定部５１０は、画像別に施す加工内容を決定する。この画像全体への加工内容の決定方法は、予めユーザから指定されたものを決定してもよく、また、ランダムに決定してもよい。
そして、加工内容決定部５１０は、決定した加工内容を、上述した図１０（ａ）の画像別加工指定テーブル２１２へ保存する。つまり、画像ＩＤに対応付けて、加工内容となる絵画調の種類及びタッチ（筆触）の程度を格納する。

続いて、加工内容決定部５１０は、顔別加工内容決定処理を行う（ステップＳ１０３）。つまり、各画像にそれぞれ写る人物画像について、顔別に施す加工内容を決定する。
なお、この顔別加工内容決定処理の詳細については、アート加工スライドショー処理の説明を終えた後に説明する。

続いて、アート加工部６１０は、画像データ読み出し部３１０が読み出した画像データ４１が表す画像について、絵画調変換処理を行う（ステップＳ１０４）。つまり、アート加工部６１０は、画像別の加工内容が格納された画像別加工指定テーブル２１２に従って、画像データ４１が表す画像全体を絵画調の画像に変換する。また、顔別の加工内容が格納された顔別加工指定テーブル２１３に従って、画像データ４１が表す画像に写る各人物画像をそれぞれ絵画調の画像に変換する。
なお、絵画調変換処理の詳細については、最後に説明する。

続いて、画像出力部７１０は、アート加工部６１０がアート加工した画像を出力する（ステップＳ１０５）。つまり、画像全体が絵画調に変換され、また、各人物画像がそれぞれ異なる絵画調に変換された画像を出力する。

画像処理装置１は、ユーザからの終了指示があったか否かを判別する（ステップＳ１０６）。つまり、上述した入力装置５０が操作され、スライドショー表示の終了が指示されたかどうかを判別する。ここで、終了指示がなかったと判別すると（ステップＳ１０６；Ｎｏ）、ステップＳ１０４に処理を戻して、上述したステップＳ１０４〜Ｓ１０６の処理を再度実行する。つまり、次の画像データ４１に切り替えて、スライドショーを継続する。
一方、終了指示があったと判別した場合（ステップＳ１０６；Ｙｅｓ）に、画像処理装置１は、アート加工スライドショー処理を終える。

（顔別加工内容決定処理）
それでは、メイン処理となるアート加工スライドショー処理の説明を一通り終えたため、上述したステップＳ１０３における顔別加工内容決定処理の詳細を、図１６〜図２０のフローチャートを適宜参照して説明する。これら図１６〜図２０における各顔別加工内容決定処理は、上述した図１３に示す決定ルールテーブル２１６の各決定ルールに対応している。

（決定ルール１に対応する顔別加工内容決定処理）
まず、決定ルール１には、上述したように、人物（顔）別にアート加工の内容を予め登録しておく手法が定められている。この決定ルール１に沿った場合には、図１６の顔別加工内容決定処理が各画像（各画像データ４１が表す画像）に写る各人物に対してそれぞれ実行される。この図１６の顔別加工内容決定処理において、まず、加工内容決定部５１０は、画像に写る人物（対象となる人物）について、顔認識部４１０と同様に、顔領域から特徴点（眉、目、鼻、唇の各端点、顔の輪郭点、頭頂点や顎の下端点等）を抽出する（ステップＳ２０１）。

続いて、加工内容決定部５１０は、上述した図１１の顔特徴点テーブル２１４に、抽出した特徴点と合致する顔ＩＤが存在するか（格納されているか）否かを判別する（ステップＳ２０２）。ここで、抽出した特徴点と合致する顔ＩＤが顔特徴点テーブル２１４に存在しないと判別すると（ステップＳ２０２；Ｎｏ）、加工内容決定部５１０は、顔別加工内容決定処理を終える。

一方、抽出した特徴点と合致する顔ＩＤが顔特徴点テーブル２１４に存在すると判別した場合（ステップＳ２０２；Ｙｅｓ）に、加工内容決定部５１０は、合致した顔ＩＤに対する加工内容が登録されているか否かを判別する（ステップＳ２０３）。ここでも、合致した顔ＩＤに対する加工内容が登録されていないと判別すると（ステップＳ２０３；Ｎｏ）、加工内容決定部５１０は、顔別加工内容決定処理を終える。

一方、合致した顔ＩＤに対する加工内容が顔特徴点テーブル２１４に登録されていると判別した場合（ステップＳ２０３；Ｙｅｓ）に、加工内容決定部５１０は、現在対象となっている顔（つまり、上述したｍ番目の顔）に対する加工指定を、当該合致した顔ＩＤに対して登録されている加工内容に決定する（ステップＳ２０４）。

そして、加工内容決定部５１０は、決定した加工内容を、図１０（ｂ）の顔別加工指定テーブル２１３に保存する（ステップＳ２０５）。つまり、対応する画像ＩＤの顔ＩＤに、登録されている加工内容となる絵画調の種類及び、タッチの程度を格納する。
その後、加工内容決定部５１０は、決定ルール１に対応する顔別加工内容決定処理を終える。つまり、上述した図１５のアート加工スライドショー処理のステップＳ１０４に処理を戻す。

（決定ルール２に対応する顔別加工内容決定処理）
また、決定ルール２には、上述したように、人物別にランダムにアート加工の内容を割り当てる手法が定められている。この決定ルール２に沿った場合には、各画像（各画像データ４１が表す画像）に写る各人物に対してそれぞれランダムに加工内容が決定される。
つまり、加工内容決定部５１０は、加工内容をランダムに１つ選択し、その加工内容を、顔別加工指定テーブル２１３に保存する。つまり、対応する画像ＩＤの顔ＩＤについて、決定した絵画調の種類及び、タッチの程度を格納する。
その後、上述した図１５のアート加工スライドショー処理のステップＳ１０４に処理を戻す。

（決定ルール３に対応する顔別加工内容決定処理）
また、決定ルール３には、上述したように、同じ人物に同じアート加工の内容を割り当てる手法が定められている。この決定ルール３に沿った場合には、図１７の顔別加工内容決定処理が各画像（各画像データ４１が表す画像）に写る各人物に対してそれぞれ実行される。この図１７の顔別加工内容決定処理において、まず、加工内容決定部５１０は、画像に写る人物（対象となる人物）に対する加工指定を、顔別加工指定テーブル２１３から検索する（ステップＳ３０１）。すなわち、顔別加工指定テーブル２１３から、同じ顔ＩＤの情報を全て検索する。

続いて、加工内容決定部５１０は、検索した各顔ＩＤの情報について、同一の加工内容が既に設定されているか否かを判別する（ステップＳ３０２）。つまり、各顔ＩＤについてのそれぞれの加工内容（絵画調の種類及び、タッチの程度）が、全て一致するかどうかを判別する。
ここで、検索した各顔ＩＤについて、同一の加工内容が既に設定されていると判別すると（ステップＳ３０２；Ｙｅｓ）、加工内容決定部５１０は、現在対象となっている顔ＩＤに対する加工指定を、当該同一の加工内容に決定する（ステップＳ３０３）。

一方、検索した各顔ＩＤについて、同一の加工内容が設定されていないと判別した場合（ステップＳ３０２；Ｎｏ）に、加工内容決定部５１０は、加工内容をランダムに１つ選択する（ステップ３０４）。続いて、検索した各顔ＩＤについての加工指定を、当該ランダム選択した加工内容に決定する（ステップＳ３０５）。つまり、現在対象となっている顔ＩＤを含めた全ての同じ顔ＩＤに対する加工指定を、同一の加工内容に決定する。

そして、加工内容決定部５１０は、決定した加工内容を、顔別加工指定テーブル２１３に保存する（ステップＳ３０６）。つまり、対応する画像ＩＤの顔ＩＤに、決定した絵画調の種類及び、タッチの程度を格納する。
その後、加工内容決定部５１０は、決定ルール３に対応する顔別加工内容決定処理を終え、図１５のアート加工スライドショー処理のステップＳ１０４に処理を戻す。

（決定ルール４に対応する顔別加工内容決定処理）
また、決定ルール４には、上述したように、同じ人物に異なるアート加工の内容を割り当てる手法が定められている。この決定ルール４に沿った場合には、図１８の顔別加工内容決定処理が各画像（各画像データ４１が表す画像）に写る各人物に対してそれぞれ実行される。この図１８の顔別加工内容決定処理において、まず、加工内容決定部５１０は、画像に写る人物（対象となる人物）に対する加工指定を、顔別加工指定テーブル２１３から検索する（ステップＳ４０１）。すなわち、顔別加工指定テーブル２１３から、同じ顔ＩＤの情報を全て検索する。

続いて、加工内容決定部５１０は、検索した各顔ＩＤの情報について、過去に決定した加工内容のうち最新のものからＬ番目（Ｌは、任意の閾値）までに含まれない加工内容を、ランダムに１つ選択する（ステップＳ４０２）。例えば、加工内容決定部５１０は、顔別加工指定テーブル２１３の図示せぬ更新日時をキーにして、検索した各顔ＩＤの情報を降順（更新日時の新しいものから古いものへの順番）にソートし、上位Ｌ番目までの加工内容とは異なる加工内容を、ランダムに選択する。続いて、現在対象となっている顔（つまり、上述したｍ番目の顔）に対する加工指定を、当該選択した加工内容に決定する（ステップＳ４０３）。

そして、加工内容決定部５１０は、決定した加工内容を、顔別加工指定テーブル２１３に保存する（ステップＳ４０４）。つまり、対応する画像ＩＤの顔ＩＤに、決定した絵画調の種類及び、タッチの程度を格納する。
その後、加工内容決定部５１０は、決定ルール４に対応する顔別加工内容決定処理を終え、図１５のアート加工スライドショー処理のステップＳ１０４に処理を戻す。

（決定ルール５に対応する顔別加工内容決定処理）
また、決定ルール５には、上述したように、その人物が主要人物かどうかに応じて、アート加工の内容を割り当てる手法が定められている。この決定ルール５に沿った場合には、図１９の顔別加工内容決定処理が各画像（各画像データ４１が表す画像）に写る各人物に対してそれぞれ実行される。この図１９の顔別加工内容決定処理において、まず、加工内容決定部５１０は、画像に写る人物（対象となる人物）の顔ＩＤを図９（ａ）の顔ＤＢ２１１から検索する（ステップＳ５０１）。

続いて、加工内容決定部５１０は、検索した顔ＩＤに対応付けられた主要人物フラグがＴＲＵＥである（主要人物である）か否かを判別する（ステップＳ５０２）。ここで、加工内容決定部５１０は、対応付けられた主要人物フラグがＦＡＬＳＥである（主要人物でない）と判別すると（ステップＳ５０２；Ｎｏ）、加工内容決定部５１０は、顔別加工内容決定処理を終える。

一方、検索した顔ＩＤに対応付けられた主要人物フラグがＴＵＲＵＥであると判別した場合（ステップＳ５０２；Ｙｅｓ）に、加工内容決定部５１０は、現在対象となっている顔に対する加工指定を、予め定められた主要人物用の加工内容に決定する（ステップＳ５０３）。例えば、加工内容決定部５１０は、主要人物用の加工内容として、絵画調の種類が色鉛筆風で、タッチ（筆触）の程度が標準と定められている場合、その絵画調の種類とタッチの程度を主要人物用の加工内容に決定する。

そして、加工内容決定部は、決定した加工内容を、顔別加工指定テーブル２１３に保存する（ステップＳ５０４）。つまり、対応する画像ＩＤの顔ＩＤについて、決定した絵画調の種類及び、タッチの程度を格納する。
その後、加工内容決定部５１０は、決定ルール５に対応する顔別加工内容決定処理を終える。つまり、上述した図１５のアート加工スライドショー処理のステップＳ１０４に処理を戻す。

（決定ルール６に対応する顔別加工内容決定処理）
また、決定ルール６には、上述したように、性別に応じて、アート加工の内容を割り当てる手法が定められている。この決定ルール６に沿った場合には、各画像（各画像データ４１が表す画像）に写る各人物に対して、顔ＤＢ２１１の性別に応じた加工内容が決定される。
つまり、上述した図１９の顔別加工内容決定処理と同様に、画像に写る人物（対象となる人物）の顔ＩＤを顔ＤＢ２１１から検索し、その性別に応じた加工内容を決定する。つまり、女性であれば、対象人物の加工指定を、予め定められた女性用の加工内容に決定すし、逆に、男性であれば、対象人物の加工指定を、予め定められた男性用の加工内容に決定する。そして、決定した加工内容を、顔別加工指定テーブル２１３に保存する。
その後、上述した図１５のアート加工スライドショー処理のステップＳ１０４に処理を戻す。

（決定ルール７に対応する顔別加工内容決定処理）
また、決定ルール７には、上述したように、アバタに関する情報を画像処理装置１に登録している場合に、そのアバタの情報を参照してアート加工の内容を割り当てる手法が定められている。この決定ルール７に沿った場合には、図２０の顔別加工内容決定処理が各画像（各画像データ４１が表す画像）に写る各人物に対してそれぞれ実行される。この図２０の顔別加工内容決定処理において、まず、加工内容決定部５１０は、上述した図１２のアバタ情報テーブル２１５を読み出す（ステップＳ６０１）。なお、このアバタ情報テーブル２１５が、加工用データ記憶部２１０に記憶された場合について説明しているが、アバタ情報テーブル２１５がＷｅｂサイト等に格納されている場合には、上述した通信Ｉ／Ｆ８０を介してネットワークに接続し、目的のＷｅｂサイトにアクセスして読み出すようにしてもよい。

続いて、加工内容決定部５１０は、読み出したアバタ情報テーブル２１５に加工内容が登録されているか否かを判別する（ステップＳ６０２）。つまり、読み出した図１２のアバタ情報テーブル２１５における絵画調の種類及び、タッチ（筆触）に情報が設定されているかどうかを判別する。

ここで、アバタ情報テーブル２１５に加工内容が登録されていると判別すると（ステップＳ６０２；Ｙｅｓ）、加工内容決定部５１０は、現在対象となっている顔（つまり、上述したｍ番目の顔）に対する加工指定を、当該登録されている加工内容に決定する（ステップＳ６０３）。

一方、アバタ情報テーブル２１５に加工内容が登録されていないと判別した場合（ステップＳ６０２；Ｎｏ）、加工内容決定部５１０は、アバタ情報テーブル２１５にて示される格納場所からアバタのキャラクタ画像を読み出して画像解析を行う（ステップＳ６０４）。続いて、加工内容決定部５１０は、画像解析により、何れかの絵画調に類似するものと特定できたか否かを判別する（ステップＳ６０５）。例えば、加工内容決定部５１０は、画像解析による色相や階調の分布が、何れかの絵画調の色相や階調の分布に近いものと特定できたかどうかを判別する。
ここで、類似するものが特定できない（何れかの絵画調にも類似しない）と判別すると（ステップＳ６０５；Ｎｏ）、加工内容決定部５１０は、顔別加工内容決定処理を終える。

一方、何れかの絵画調に類似すると特定できたと判別した場合（ステップＳ６０５；Ｙｅｓ）に、加工内容決定部５１０は、現在対象となっている顔（つまり、上述したｍ番目の顔）に対する加工指定を、特定できた絵画調の画像に変換する加工内容に決定する（ステップＳ６０６）。

そして、加工内容決定部５１０は、決定した加工内容を、顔別加工指定テーブル２１３に保存する（ステップＳ６０７）。つまり、対応する画像ＩＤの顔ＩＤに、決定した絵画調の種類及び、タッチの程度を格納する。
その後、加工内容決定部５１０は、決定ルール７に対応する顔別加工内容決定処理を終え、図１５のアート加工スライドショー処理のステップＳ１０４に処理を戻す。

これらのように、決定ルールに応じて、図１６〜図２０等の顔別加工内容決定処理が実行され、顔別加工指定テーブル２１３に決定した加工内容が保存される。

最後に、上述した図１５のアート加工スライドショー処理におけるステップＳ１０４の絵画調変換処理について、図２１のフローチャートを参照して説明する。図２１は、絵画調変換処理の詳細を示すフローチャートである。

図２１の絵画調変換処理において、まず、アート加工部６１０は、顔別加工指定テーブル２１３から、対象となる画像ＩＤに対応付けられた顔ＩＤと加工内容（絵画調の種類及び、タッチの程度）を取得する（ステップＳ７０１）。

続いて、アート加工部６１０は、変数ｍに初期値の１を設定する（ステップＳ７０２）。この変数ｍは、画像に写っている人物の数をカウントするための変数である。

続いて、アート加工部６１０は、ｍ番目の顔の加工対象領域を決定し（ステップＳ７０３）、その加工対象領域の画像をコピーしてＲＡＭ３０に保存する（ステップＳ７０４）。この加工対象領域（アート加工する領域画像）は、顔とその周りの予め定められた範囲を含む領域を切り出すことができれば、その決定手法は任意である。例えば、図２２（ａ）に示すように、人物Ｐの顔を含む矩形ｓｑに接する楕円ｅｌを加工対象領域として決定する。
なお、その際、図２２（ｂ）に示すように、人物Ｐ１の楕円ｅｌ１と、人物Ｐ２の楕円ｅｌ２とが重なる場合には、各矩形ｓｑ１，ｓｑ２の中心からの距離Ｄ１，Ｄ２が等しくなる線上に境界設け、その境界に沿って加工対象領域となる楕円ｅｌ１を補正する。すなわち、このような加工対象領域からコピーした人物画像がＲＡＭ３０内に保される。

続いて、アート加工部６１０は、変数ｍに１を加算し（ステップＳ７０５）、加算後の変数ｍの値が、画像内の顔個数よりも大きいか否かを判別する（ステップＳ７０６）。
ここで、変数ｍの値が画像内の顔個数以下であると判別すると（ステップＳ７０６；Ｎｏ）、ステップＳ７０３に処理を戻し、上述したステップＳ７０３〜Ｓ７０６の処理を再度実行する。

一方、変数ｍの値が画像内の顔個数よりも大きいと判別した場合（ステップＳ７０６；Ｙｅｓ）に、アート加工部６１０は、図１０（ａ）の画像別加工指定テーブル２１２から対象となる画像ＩＤに対応付けられた加工内容を取得する（ステップＳ７０７）。

続いて、アート加工部６１０は、画像全体を絵画調の画像に変換する（ステップＳ７０８）。つまり、画像別加工指定テーブル２１２から取得した加工内容に従って、画像全体を絵画調の画像に変換する。例えば、絵画調の種類が色鉛筆風と指定されている場合に、アート加工部６１０は、画像データ４１が表す画像全体に対して、色鉛筆風のパラメータが設定されたフィルタ演算を行い、その画像を色鉛筆風に変換する。

続いて、アート加工部６１０は、変数ｍに初期値の１を設定する（ステップＳ７０９）。この変数ｍも、画像に写っている人物の数をカウントするための変数である。

続いて、アート加工部６１０は、ＲＡＭ３０からｍ番目の顔に対応する加工対象領域の画像を取得する（ステップＳ７１０）。つまり、上述したステップＳ７０４にてＲＡＭ３０に保存したｍ番目の顔に対応する人物画像（コピー）を取得する。

続いて、アート加工部６１０は、取得した人物画像（コピー）を加工内容に従って、絵画調の画像に変換する（ステップＳ７１１）。つまり、図１０（ｂ）の顔別加工指定テーブル２１３から対象となる顔ＩＤに対応付けられた加工内容を取得し、その加工内容に従って、加工対象領域の画像を絵画調の画像に変換する。例えば、加工内容が水彩画風と決定されている場合に、アート加工部６１０は、ＲＡＭ３０から取得した人物画像（コピー）に対して、水彩画風のパラメータが設定されたフィルタ演算を行い、その画像を水彩画風に変換する。

続いて、アート加工部６１０は、絵画調に変換した人物画像を、元の加工対象領域に貼り付ける（ステップＳ７１２）。つまり、絵画調に変換した人物画像を、画像データ４１が表す画像における加工対象領域（コピー元の人物画像）に上書きする。
これにより、画像全体への絵画調変換に影響なく、個々の人物画像に対する絵画調変換が適切に行われる。

続いて、アート加工部６１０は、加工対象領域の境界にぼかし加工を施す（ステップＳ７１３）。ここでのぼかし加工も、上述した第１実施形態と同様に、境界の各画素について、近傍の複数（一例として、上下左右の４つ若しくは斜め方向も加えた８つ）の画素を平均化して、境目を目立たなくさせる画像処理のことである。つまり、絵画調に変換して加工対象領域に上書きした人物画像が、その周囲の画像となじむように（違和感がなくなるように）画像処理する。

続いて、アート加工部６１０は、変数ｍに１を加算し（ステップＳ７１４）、加算後の変数ｍの値が、画像内の顔個数よりも大きいか否かを判別する（ステップＳ７１５）。ここで、変数ｍの値が画像内の顔個数以下であると判別すると（ステップＳ７１５；Ｎｏ）、ステップＳ７１０に処理を戻し、上述したステップＳ７１０〜Ｓ７１５の処理を再度実行する。

一方、変数ｍの値が画像内の顔個数よりも大きいと判別した場合（ステップＳ７１５；Ｙｅｓ）に、アート加工部６１０は、絵画調変換処理を終える。

このような絵画調変換処理（アート加工スライドショー処理）によって、アート加工が顔単位（人物単位）に行われることにより、組み合わせパターン数が飛躍的に増えるため、変化に富んだ面白みのある画像を生成することができる。
特に、画像における自分や家族・友人の顔は、ユーザが最も注目する領域であり、そこに多彩な変化を加えることは他の部分に視覚効果等を加えるよりも効果が大きい。
また、顔認識から得られる属性（性別や主要人物フラグ）を使うことで、上述したような様々なアート加工の決定ルールが適用可能になっている。そのため、例えば、アルバム内の主要人物（旅行のアルバムを一例とすると、一緒に旅行に行ったグループ）のみを、絵画調変換して際立たせ、たまたま写り込んだ人物（通行人等）には何ら加工しない、といった熟達した加工も可能となる。
この結果、変化に富んだ面白みのある画像を生成することができる。

以上説明したように、本発明によれば、変化に富んだ面白みのある画像を生成できる画像処理装置、及び、画像加工プログラムを提供することができる。

１・・・画像処理装置、１０・・・ＣＰＵ、２０・・・ＲＯＭ、２１・・・プログラム、３０・・・ＲＡＭ、４０・・・外部記憶装置、４１・・・画像データ、４２・・・ＤＢデータ、５０・・・入力装置、６０・・・表示装置、７０・・・印刷装置、８０・・・通信Ｉ／Ｆ、１００，１１０・・・画像データ記憶部、２００，２１０・・・加工用データ記憶部、３００，３１０・・・画像データ読み出し部、４００・・・種別特定部、４１０・・・顔認識部、５００，５１０・・・加工内容決定部、６００，６１０・・・アート加工部、７００，７１０・・・画像出力部

Claims (2)

1. 画像データが表す画像に写る人物を顔認識する顔認識手段と、
   ユーザが任意で登録可能なアバタのアバタ情報を記憶するアバタ情報記憶手段と、
   前記顔認識手段が認識した前記人物に応じて画像を加工する加工内容を決定する加工内容決定手段と、
   を備え、
   前記加工内容決定手段は、前記顔認識手段が認識した前記人物の画像を、前記アバタ情報記憶手段に記憶されている前記アバタ情報に基づいて加工する加工手段を含み、
   前記アバタ情報は、画調の種類を示す情報を含んでおり、
   前記加工内容決定手段は、前記人物の画像を、前記アバタ情報が含む画調の種類で加工することを特徴とする画像処理装置。
2. コンピュータを、
   画像データが表す画像に写る人物を顔認識する顔認識手段と、
   ユーザが任意で登録可能なアバタのアバタ情報を記憶するアバタ情報記憶手段と、
   前記顔認識手段が認識した前記人物に応じて画像を加工する加工内容を決定する加工内容決定手段と
   して機能させ、
   前記加工内容決定手段は、前記顔認識手段が認識した前記人物の画像を、前記アバタ情報記憶手段に記憶されている前記アバタ情報に基づいて加工し、
   前記アバタ情報は、画調の種類を示す情報を含んでおり、
   前記加工内容決定手段は、前記人物の画像を、前記アバタ情報が含む画調の種類で加工することを特徴とする画像加工プログラム。

Images