JP5242756B2 - 画像処理装置、画像処理方法、およびカメラ - Google Patents

Description

本発明は、画像処理装置、画像処理方法、およびカメラに関し、詳しくは、顔画像を現実より生き生きとした画像となるように処理する画像処理装置、画像処理方法、およびカメラに関する。

最近では、インターネット上で仮想現実空間を形成し、これを提供するサービスが表れてきている。また、画像投稿サイトにも写真に限らず、アニメーションやコンピュータグラフィック（ＣＧ）等が投稿され、また閲覧されるようになってきている。このようなサイトの利用者にとっては、仮想現実空間や投稿サイトにおいて楽しむことが目的であり、正確に現実を表しているかどうかは重要ではない。また、最近では、アバターといった、仮想の自分を仮想空間に登場させることも生じてきている。

このような仮想空間等に自らを登場させる場合には、現実より生き生きとした自己の画像が望まれる。そこで、従来から、年齢等を考慮する技術が種々、開示されている。例えば、特許文献１には、性別や年齢によって顔画像を補正する撮像装置が開示されている。すなわち、この撮像装置では、性別や年齢によって最適な補正は異なることから、顔検出手段によって検出された情報に基づいて画像処理を施している。また、特許文献２には、顔の画像を取り込み、画像の物理量を測定し、これから加齢変化パターンより加齢変化推定画像を作成する加齢パターンの鑑別方法が開示されている。

特開２００６−１４８３２６号公報 特開２００１−３３１７９１号公報

特許文献１に開示された撮像装置では、顔の画像を肌の色等に基づいて分類し、それぞれの分類に応じて一律に画質を変更するようにしているだけなので、不自然な補正となる場合があり、また顔の個々の特徴部に応じて生き生きとした表情となるように画像処理を行なうものではない。また、特許文献２に開示された鑑別方法では、加齢変化推定画像を作成するだけで、顔の表情の変化に対応しておらず、また顔の画像を生き生きとした画像に処理するものではない。すなわち、これらの特許文献では、顔の個々の特徴部毎に生き生きとした顔となるような画像処理を施すことができない。

本発明は、このような事情を鑑みてなされたものであり、自然で、かつ現実より生き生きとした画像を得ることのできる画像処理装置、画像処理方法、およびカメラを提供することを目的とする。

上記目的を達成するため第１の発明に係わる画像処理装置は、被写体像の画像データから顔画像を検出する顔検出部と、加齢前テンプレートと加齢テンプレートがペアで記憶されたデータベースと、上記顔画像と一致度が高い加齢前テンプレートおよび該一致度が高い加齢前テンプレートとペアで記憶された加齢テンプレートと該顔画像との一致度を検出し、該加齢テンプレートとの一致度が該加齢前テンプレートとの一致度よりも高いと判断した場合には、該顔画像の年齢をとって見える部位に加齢サインをたてる加齢サイン判定部と、上記加齢サイン判定部によって上記加齢サインをたてた場合には、上記顔画像の該加齢サインのある部位を補正する補正部と、を具備する。

第２の発明に係わる画像処理装置は、上記第１の発明において、上記補正部は、目尻、唇の端、および頬の輪郭部の少なくとも一つを含む領域の明るさを均一化する。
第３の発明に係わる画像処理装置は、上記第１の発明において、上記補正部は、コントラストまたは線を太く補正する。

第４の発明に係わる画像処理方法は、被写体像の画像データから顔画像を検出するステップと、加齢前テンプレートと加齢テンプレートがペアで記憶されたデータベースを用いて、上記顔画像と一致度が高い加齢前テンプレートおよび該一致度が高い加齢前テンプレートとペアで記憶された加齢テンプレートと該顔画像との一致度を検出し、該加齢テンプレートとの一致度が該加齢前テンプレートとの一致度よりも高いと判断した場合には、該顔画像の年齢をとって見える部位に加齢サインをたてるステップと、上記加齢サインをたてた場合には、上記顔画像の該加齢サインのある部位を補正するステップと、を含む。

第５の発明に係わるカメラは、被写体像を形成するための撮影レンズと、上記被写体像を光電変換し画像データを取得するための撮像素子と、被写体像の画像データから顔画像を検出する顔検出部と、加齢前テンプレートと加齢テンプレートがペアで記憶されたデータベースと、上記顔画像と一致度が高い加齢前テンプレートおよび該一致度が高い加齢前テンプレートとペアで記憶された加齢テンプレートと該顔画像との一致度を検出し、該加齢テンプレートとの一致度が該加齢前テンプレートとの一致度よりも高いと判断した場合には、該顔画像の年齢をとって見える部位に加齢サインをたてて該顔画像の加齢部位を検出する加齢部位検出部と、上記加齢部位検出部によって検出された上記加齢部位について、上記顔画像を補正する補正部と、上記補正部によって補正された上記画像を表示する表示部と、上記表示部で表示された上記画像を記録する記録部と、を具備する。

本発明によれば、画像の顔の部分を抽出し、この顔の画像と、予めデータベース化してある加齢前テンプレートを比較し、一致する加齢前テンプレートとペアで記憶されている加齢テンプレートを比較し、加齢テンプレートの方が一致度が高い場合には、画像の加齢部位の補正を行なうようにしている。このため、個々の画像に応じて、若々しく生き生きとした画像に補正することが容易に行なえる。また、顔画像の加齢サインのある部位を検出しているので、個々の画像に適した補正を行うことができ、また補正が不自然となることはない。

本発明の第１実施形態に係わるカメラとその周辺のブロック図である。 本発明の第１実施形態に係わるカメラの加齢サイン判定の動作を示すフローチャートである。 本発明の第１実施形態において、加齢サイン判定の判定方法を説明する図である。 本発明の第１実施形態に係わるカメラの顔つき補正の動作を示すフローチャートである。 本発明の第１実施形態において、顔つき補正のやり方を説明する図である。 本発明の第１実施形態に係わるカメラの制御動作を示すフローチャートである。 本発明の第２実施形態に係わるカメラの顔つき補正の動作を示すフローチャートである。 本発明の第２実施形態において、顔つき補正のやり方を説明する図である。 本発明の第３実施形態におけるカメラとサーバーからなるシステムのブロック図である。 本発明の第３実施形態に係わるカメラとサーバーの制御動作を示すフローチャートである。

以下、図面に従って本発明を適用したカメラを用いて好ましい実施形態について説明する。本実施形態に係るカメラは、被写体像を撮像素子で光電変換し、取得した画像データを記録媒体に記録可能となっている。このカメラには顔と加齢時の顔のパターンを記憶したデータベースを有し、取得画像データの顔画像が加齢時であると判定された場合には、加齢の特徴が表れている部位に対して画像処理を施した上で、記録媒体に画像データを記録するようにしている。

図１は、本発明の一実施形態に係わるデジタルカメラとその周辺のブロック図である。ユーザーが使用するカメラ１００には、撮影レンズ２、ＡＦ（オートフォーカス）制御部２ａ、絞り２ｂ、絞り制御部２ｃ、撮像素子３、アナログフロントエンド（以下、ＡＦＥと略す）部４が設けられている。撮影レンズ２は、内部にフォーカスレンズを有し、入射した被写体２０の像を撮像素子３上に結像させる。

ＡＦ制御部２ａは、撮影レンズ２の合焦位置を、後述する画像処理部５内において画像処理を行い、いわゆる山登り法により検出し、フォーカスレンズを駆動して、合焦位置に移動させる。なお、山登り法は、撮影画像のコントラスト信号ピークから合焦位置（ピント位置）を検出する方式であるが、山登り法以外にも、例えば位相差法や三角測距法等公知の合焦方法に置き換えてもよい。ＡＦによって合焦位置に達すると、このときの撮影レンズ２を検出することにより、距離判定を行うことができる。この場合、撮影レンズ２がズームレンズのときには、ズーム位置等を加味して距離の判定を行う。

撮影レンズ２内または近傍に、シャッタや絞りの効果を奏する絞り２ｂが設けられる。絞り２ｂは、撮影時に所定の口径まで開き、露出が終了すると閉じて露光を終了させるものである。絞り制御部２ｃは、絞り２ｂを駆動して絞り径を設定する。この絞りを変えることによって、レンズの被写界深度が変化するので、背景のぼけ具合などを調整して、被写体を浮かび上がらせたり、背景をしっかりと描写したりするなど、表現の切り替えを行うことができる。撮像素子３は、多数の受光面（画素）からなるＣＣＤやＣＭＯＳセンサ等であり、撮影レンズ２を介して被写体２０からの像を受光しこれを画像信号に変換する。

アナログフロントエンド（ＡＦＥ）部４は、アナログデジタル変換（ＡＤ）手段を含み、撮像素子３からの信号をデジタル信号化する。そして、ＡＦＥ部４は、撮像素子３から出力される画像信号について各種処理を行う。また、ＡＦＥ部４には、撮像素子３のいくつかの画素をまとめて、一括して読み出す機能も設けられている。たとえば、４画素（２×２）や９画素（３×３）など、各画素の信号レベルが小さいときには、いくつかの画素信号を加算して、Ｓ／Ｎを向上させることができ、また、感度を上げることも出来る。

このような操作によって感度を上げることができ、シャッタスピードを速くする等、撮影上の工夫が可能となる。シャッタスピードが速いと、動いている被写体が止まっているように撮影することが可能となる。

また、ＡＦＥ部４は、撮像素子３の出力する信号を取捨選択する機能を有し、受光範囲の中から限られた範囲の画像データを抽出することが出来る。一般に撮像素子３の画素から間引いた画素信号を抽出する場合には、高速読出が可能となる。これにより構図確認用の画像信号を、画像処理部５によって高速処理し、表示制御部８ａを介して表示パネル８に表示することにより、フレーミングが可能となる。

ＡＦＥ部４の出力は、画像処理部５に接続されている。画像処理部５は、入力信号の色や階調やシャープネスを補正処理する。また、撮像素子３から得られた画像信号を所定のレベルに増幅して、正しい濃淡、正しい灰色レベルに設定する増感部を有している。これは、デジタル化された信号レベルが、所定レベルになるようにデジタル演算するものである。また、画像処理部５は、ライブ画像をリアルタイムに表示部に表示できるように、撮像素子３からの信号を表示パネル８に表示できるようなサイズに加工するリサイズ部を有する。この働きによって、撮影に先立って撮像素子に入射する像を確認でき、これを見ながら撮影時のタイミングやシャッタチャンスを決定することが出来る。

また、この画像処理部５の信号を利用して、撮像素子から入力されてくる画像の特徴などを判定する画像判定機能を有している。この画像判定機能としては、画像情報を加工して得られる輪郭情報から人の顔を判定する顔検出部５ａ、顔の画像のうち目や口などの部位を検出する顔部分判定部５ｄ、画像の信号レベルのコントラストを判定して、被写体の距離を判定する距離判定部５ｃなどが、このシステムには含まれている。

また、画像処理部５内には、修正部５ｂが設けられている。この修正部５ｄは、顔画像の特徴から、その顔つきが年を取ったように活力を感じないときに、顔つきを、いきいきとしたものに見えるように補正する。顔つきが、生き生きとしているかどうかは、図２以下において後述するが、顔修正にあたっては、顔＆加齢データベース９ｄに記憶されている加齢情報を用いる。このデータベースは、同じ顔に対して若い頃の顔と年を取ったときの顔のパターンを記憶している。図２で使うテンプレート情報もここに記録しておく。これらは、写真撮影時に、ユーザーがどのような写真を撮ろうとしているかを判定して、撮影制御を最適化するために用いられるものである。

また、カメラ１００には、圧縮部６、記録部９ａ、記録メディア９、送受信部９ｃ、顔＆加齢データベース９ｄ、送信設定部９ｅ、表示パネル８、表示制御部８ａ及びマルチ画像処理部８ｂが設けられている。圧縮部６は、撮影時に画像処理部５から出力された信号を圧縮する。圧縮部６内には、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）４やＨ．２６４などの圧縮用コア部で構成される動画用の圧縮部及びＪＰＥＧ（Ｊｏｉｎｔ
Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）コア部など静止画像用の圧縮部が設けられる。また、圧縮部６は記録メディア９に記録されている画像を表示パネル８に再生する際には、画像伸張も行なう。

記録部９ａは、圧縮された画像信号を記録メディア９に記録する。記録メディア９はカメラに着脱可能な保存用の記録媒体である。なお、画像信号の記録にあたっては、写真撮影した時の時間情報も併せて記録しても良い。撮影時間情報は、後述するＭＰＵ１内の時計部１ｔによって計測されており、ＭＰＵ１は画像と関連付を行なう。

メディア９や記録部９aに記録された撮影画像データは、送受信部９ｃによって、インターネットや電話回線などの通信回線３２経由で、画像を管理するサーバー３３等の他の機器に転送することができる。また、送受信部９ｃは送信設定部９ｅと接続されており、この送信設定部９ｅは画像を送信する場合等の送信先を指定する指定部である。

表示パネル８は、例えば液晶や有機ＥＬ等から構成され、撮影時には観察用に被写体画像をスルー画表示（ライブビュー表示とも言う）し、再生時には伸張処理された記録画像を再生表示する。また、この表示パネル８は、後述する加齢サインがあった部位に対して、修正部５ｂによって画像処理を施した画像を表示する。

表示制御部８aは、表示パネル８への表示を制御する。マルチ画像処理部８ｂは、表示パネル８上に、複数の画像を表示する場合の制御部である。このマルチ画像処理部８ｂによって、撮影した画像や撮影する画像の上に、送信先のアドレスの文字表示や種々の警告表示をすることが可能である。なお、表示パネル８には、撮影して送信済み画像を一覧表示して、そこからサーバー３３が運営するブログサービスなどにアップする画像や、アップして、ブログに表示する時のレイアウトを選択できるようにしてもよい。

カメラ１００には、補助光発光部１１、ＭＰＵ（Micro Processing Unit）１、レリーズスイッチ１ａ、モード切替スイッチ１ｂ、他のスイッチ１ｃが設けられる。補助光発光部１１は、白色ＬＥＤやＸｅ放電発光管を有し、電流量で光量が制御できるようになっている。状況に応じて被写体２０に光を照射して、明るさの不足や不均一な明るさを防止する。

ＭＰＵ１は、カメラ全体の制御を司る制御手段である。レリーズスイッチ１ａ、モード切替スイッチ１ｂ、他のスイッチ１ｃおよびプログラム等を記憶したＲＯＭ(不図示)が、ＭＰＵ１に接続される。ＭＰＵ１内には、日や時刻を検出するための時計部１ｔが設けられており、写真の撮影日時を検出し、撮影画像と関連付けを行う。なお、スイッチ１ｂ、１ｃは、スイッチを総称的に表示したものであって、実際には多数のスイッチ群から構成されている。

各スイッチ１ａ〜１ｃは、ユーザーの操作を検出して、その結果をマイクロコントローラからなる演算制御手段であるＭＰＵ１に通知する。ＭＰＵ１が、これらのスイッチの操作に従って動作を切り換える。また、ＭＰＵ１は撮影時には、ＡＦ制御部２ａや絞り制御部２ｃ等の制御を行う撮影制御機能や取得画像データの記録部９ａや記録メディア９への記録制御機能を果たす。さらに、加齢時に生き生きとした画像となるように画像処理部５等に画像処理を実行させる際の制御機能も果たす。

このカメラ１００においては、前述の送受信部９ｃを利用すれば、所定のネットサービスにアクセスすることができる。これらのサービスの中には、仮想空間をＣＧで構成して提供するものもあり、ユーザーは、この仮想空間内の仮想の土地に、建物のグラフィックを作成し、あたかも都市のような景観を呈しているものがある。このようなサービスは、あくまで仮想の世界であるが、最新の３Ｄ技術によって、その中を歩いていくような感覚が得られ、あたかも現実の世界のような体験が得られる。現実の世界で、生き生きとした顔とは、若々しい顔であることが多いが、こうした空間で好まれる顔つきもあり、このコミュニティに相応しい顔になるように顔＆加齢データベース９ｄに顔の画像を記録させるようにしてもよい。

次に、図２に示すフローチャートを用いて、顔が生き生きとしているか否か、すなわち加齢サインを判定する方法について説明する。このフローチャートは、画像処理部５が実行する。ここでの判定の仕方は以下の通りである。図３における人物の顔画像４１に対しては、陰影パターンのテンプレート（テンプレート１）４４より、陰影パターンのテンプレート（テンプレート１）４３の方が、一致度が高い。また、顔画像４２の場合には、テンプレート４４の方が、テンプレート４３より一致度が高くなる。このような特性を利用して、顔の生き生きした感じとそうでない感じを、年を取ったように見えるかどうかという観点から判定している。

つまり、顔画像４１の人物が年齢を取った時にどうなるかといったデータから、若い人の顔に近い陰影パターン（テンプレート１）４３と、その人が年齢を取った（加齢する）場合の陰影パターン（テンプレート２）４４をペアで持たせ、これらを用いて、被写体の顔の画像に年齢を取って見えるパターン（サイン）がないかを検出している。

加齢サイン判定のフローに入ると、まず若い人の顔のテンプレート１（テンプレート４３）と顔の画像を比較する（Ｓ５１）。続いて、比較結果が一致したか否かの判定を行なう（Ｓ５２）。判定の結果、一致しない場合には、テンプレート１を画像内で位置を変更し、両者を比較する（Ｓ５３）。次に、全ての位置変更を行なったかを判定し（Ｓ５４）、終了していない場合には、ステップＳ５２に戻り、比較結果が一致したかを判定する。すなわち、ステップＳ５２〜Ｓ５４を繰り返し実行することにより、テンプレート４３の位置を変えながら一致する場所がないかを判定する。

ステップＳ５４における判定の結果、位置変更について終了すると、次に、テンプレート１の大きさと向きを変更し、顔画像とこのテンプレート１を比較する（Ｓ５５）。これは、必ずしも、画面内の顔の大きさは一定ではないので、画面内の位置を変えながらくまなく判定する。また、前向きの顔だけではないので、横向き等、顔の向きを変えながら判定する。続いて、全ての大きさ・向きの変更を行なったかを判定し（Ｓ５６）、終了していない場合には、ステップＳ５２に戻り、比較結果が一致するか否かを判定する。すなわち、テンプレート１の大きさと向きを変えて、画面内で一致度の高い部分を探す。

ステップＳ５６における判定の結果、大きさ・向きの変更が全て終わると、次に、テンプレート１の変更を行なう（Ｓ５７）。図３においては、テンプレート１としては、１つの顔画像４１に対応するテンプレート４３しか示していないが、本実施形態においては、複数の顔画像に対応するテンプレート１が用意してある。続いて、全てのテンプレート１について変更を行なったかを判定し（Ｓ５８）、終了していない場合には、ステップＳ５２に戻り、比較結果が一致するか否かを判定する。すなわち、テンプレート１を代えながら、画面内で一致度の高い部分を探す。

ステップＳ５９の判定の結果、終了した場合には、画像の中には顔画像が存在しないとして、顔なし判定を行なう（Ｓ５９）。以上の一連のステップを実行するにあたって、前述した距離判定部５ｃにおける距離判定結果から、顔の大きさをあらかじめ推測して行うと、判定の効率を向上させることができる。画面内の顔の大きさは、距離が近いほど大きく、また撮影レンズが望遠側にズーミングされても大きくなるので、ズーミング情報も加味する。

ステップＳ５２において、顔画像と一致度の高いテンプレート１を検出すると、次に、顔部分の検出を行なう（Ｓ６１）。すなわち、顔部分のみの画像を抽出する。続いて、ステップＳ５２で検出されたテンプレート１に対応するテンプレート２を用意する（Ｓ６２）。前述したように顔＆加齢データベース９ｄには、若い人の顔に対応するテンプレート１と、この若い人が年とった時の顔に対応するテンプレート２（テンプレート１の加齢バージョン）がペアで記憶されている。

テンプレート２が用意できると、次に、ステップＳ６１で抽出した顔部分とテンプレート２の一致度を比較する（Ｓ６３）。そして、この一致度が、テンプレート１の場合の一致度よりも、さらに大であるかを判定する（Ｓ６４）。判定の結果、一致度が高くない場合、すなわち、顔画像は年とった人の画像ではなく、画像処理の必要性がないことから、そのまま元のフローに戻る。

ステップＳ６４における判定の結果、一致度が更に高かった場合には、加齢判定を行なう（Ｓ６５）。続いて、目、口、頬等、年齢をとって見える部位を検出し、この部位に加齢サインをたてる。このような部位の判断まで含め、加齢サイン判定と呼ぶ。なお、本実施形態においては、顔＆加齢データベース９ｄの容量を減らし、かつ高速処理するためにテンプレート１およびテンプレート２を記憶していたが、大容量メモリがあり、また高速処理できるならば、画像４１、４２を記憶し、類似度を検索するようにしても、勿論構わない。

次に、加齢サイン判定のされた部位についての補正について、図４及び図５を用いて説明する。図５（ａ）に加齢サインの例を示す。特に、目立つのは、目尻の皺、たるみ、唇の横の線、頬のたるみなどである。この加齢サインのある部位を、図５（ｂ）→図５（ｃ）に示すように、薄くしていくと、顔つきは生き生きとしてくる。図４のフローでは、頬の周囲付近の範囲４６の明るさを均一化する。均一化にあたっては、範囲４６内の一番明るい部分、または、面積的に大きい部分の明るさに合わせる。ただし、眼鏡を掛けている人に対して、この処理を行なうと、眼鏡の縁が不自然になるので、その場合には画像の修正処理は行なわない。眼鏡をかけている人でも、表情を気にする人は、眼鏡を外して写真撮影に臨むので、大きな不都合はない。

このような画像処理について図４に示すフローチャートを用いて説明する。まず、顔検出を行なう（Ｓ２１）。これは、撮像素子３の出力に基づいて、顔検出部５ａによって検出する。続いて、眼、口、頬などの顔部分検出を行なう（Ｓ２２）。これは、顔部分判定部５ｄによって検出する。ここで検出された顔部分を用いて、眼鏡の有無を判定する（Ｓ２３）。この判定は、眼の周りにコントラストの高い部分があれば眼鏡をしていると判定する。

ステップＳ２３での判定の結果、眼鏡をかけている場合には、このまま画像の補正を行なうと不自然な画像となるので、そのまま元のフローに戻る。一方、判定の結果、眼鏡を掛けていない場合には、図２に示した加齢サイン判定のサブルーチンを実行する（Ｓ２４）。続いて、加齢サインの有無について判定する（Ｓ２５）。加齢サインが有る場合には、ステップＳ６６（図２）において、設定されている。

ステップＳ２５における判定の結果、加齢サインが無い場合には、顔画像は若い人であり、特段、画像の修正が必要ないことから、元のフローに戻る。一方、加齢サインが有る場合には、目尻、唇の端、頬の輪郭部を含む領域の明るさの均一化を行う（Ｓ２６）。すなわち、目尻４７、唇の端４８、頬の輪郭部４９を含む領域を、回りから不自然にならないように連続的に、かつ、均一になるように明るさを調整する。この領域を明るくすることによって、図５（ｃ）に示すように、若々しい顔つきに補正することができる。

続いて、修正された画像を、表示パネル８に表示すると共に、このときの補正情報データを変更する（Ｓ２７）。ユーザーが表示パネル８を見て、修正状態がＯＫであるか否かの判定を行なう（Ｓ２８）。なお、ユーザーはＯＫの場合には、カメラ１００のＯＫ釦等の操作スイッチを操作する。一方、ユーザーとしては修正に不満の場合には、ステップＳ２６に戻り、もう少し明るさをＵＰする。

なお、ステップＳ２７において補正情報データの変更を行っているのは、画像の修正・補正を行ったときには、補正なしの画像と区別するための補正情報データを作成し、または変更するためである。この図４のフローによれば、影の具合や照明と顔の角度によっても、年を取ったような顔つきになることがあるが、本来の顔つきとなるように修正することができる。

次に、前述した顔つき補正機能を有するカメラ１００の動作を、図６に示すフローチャートを用いて説明する。まず、撮影を行う撮影モードで設定されているか否かの判定を行なう（Ｓ１）。判定の結果、撮影モードにユーザーが切り換えていれば、スルー画表示を行なう（Ｓ２）。スルー画表示は、撮像素子３の出力に基づいて、被写体像観察用に表示パネル８への動画表示である。

次に、顔つき補正を行うか否かの判定を行なう（Ｓ３）。ユーザーはスルー画表示をみて、顔つき補正を行う場合には、顔つき補正のための操作スイッチを操作するので、その操作状態を判定する。判定の結果、顔つき補正を行う場合には、ステップ１１に進み、図４において説明した顔つき補正のサブルーチンを実行し、画像の修正処理を行なう。

次に、撮影を行うか否かの判定を行なう（Ｓ４）。ステップＳ１１において、良好な修正結果が得られれば、それをそのまま撮影すればよい。判定の結果、撮影ではない場合には、ステップＳ１に戻り、前述の動作を繰り返す。一方、判定の結果、撮影の場合には、撮影動作に移る。顔つき補正を行っている場合には、その画像修正された表示画像を保持し、顔つき補正を行わない場合には、撮像素子３の出力を取り込み、画像データを生成する。

ステップＳ５の撮影が終わると、続いて、顔つき補正に関する補正情報の有無を判定する（Ｓ６）。判定の結果、補正情報が有る場合には、補正を行った旨の補正情報を確保する。次に、画像データ、補正情報等の画像データに添付する関連データを記録メディア９に記録し、リターンする。

ステップＳ１における判定の結果、撮影モードでない場合には、再生モードであることから、画像の再生表示を行なう（Ｓ１２）。画像の再生表示は、記録メディア９等に記録されている画像を再生し、表示パネル８に表示を行なう。続いて、通信を行なうか否かの判定を行なう（Ｓ１３）。ユーザーが再生表示を行なっている画像を外部のサーバー３３等に送信したい場合には、送信モードに設定するので、このステップでは、送信設定がなされているか否かを判定する。

ステップＳ１３における判定の結果、通信モードに設定されている場合には、続いて、その選択画像を送信する送信先（サーバー３３等を指定する（Ｓ１４）。そして、例えば、ホットスポット等で、インターネット等の通信回線３２に接続し、選択画像の送信制御を行う（Ｓ１５）。

ステップＳ１３における判定の結果、通信モードではない場合には、次に、選択されている再生画像について、顔つき補正を行うか否かの判定を行なう（Ｓ１６）。判定の結果、補正を行わない場合にはリターンし、一方、補正を行う場合には、図４に示した顔つき補正のサブルーチンを実行する（Ｓ１７）。

続いて、補正された画像について、記録メディア９等に記録するか否かの判定を行なう（Ｓ１８）。判定の結果、記録しない場合には、そのままリターンし、一方、記録する場合には、修正画像と補正情報を記録メディア９等に記録する（Ｓ１９）。ここで、顔つき補正を行なった旨を示す補正情報を記録しているのは、被写体がネット上で自分の画像が気に入らない場合に、それが補正画像であるかどうかを確認するためである。

以上説明したように、本発明の第１実施形態によれば、画像の顔の部分を抽出し、この顔の画像と、予めデータベース化してあるテンプレート１を比較し、一致するテンプレート１とペアで記憶されている加齢時のテンプレート２を比較し、テンプレート２の方が一致度が高い場合には、画像の修正・補正を行なうようにしている。このため、個々の画像に応じて、若々しく生き生きとした画像に補正することが容易に行なえる。また、顔の目や口等の特徴部位ごとに加齢サインがあるか否かの判定を行なっているので、個々の画像に適した補正を行うことができ、また補正が不自然となることはない。

また、本実施形態においては、画像の修正を行なった場合には、修正を行なった旨を補正情報として画像に添付して記録するようにしている。このため、後日、補正をおこなったかどうかを簡単に確認できる。また、ネット上で公開した場合に、第三者も容易に確認することができる。なお、プライバシーを保護するために、本人または特定の者だけが閲覧できるように、パスワード等による秘密管理を行なってもよい。

次に、本発明の第２実施形態について、図７及び図８を用いて説明する。第１実施形態における顔つき補正は、眼鏡をかけている場合には、画像修正を行なっていなかったが、この第２実施形態においては、眼鏡を掛けている人に対しても補正を行えるようにしている。第１実施形態とは、図４および図５を図７及び図８に置き換える他は同様であるので、相違点を中心に説明する。

第２実施形態においては、眼鏡をかけている人でも補正ができるように、特定部位を強調したり、弱めたりして顔つきを補正している。図８（ａ）、（ｂ）、（ｃ）に示すように、眼の横５１と口の横５２は加齢サインの生じやすいところなので、この部分のコントラストは明るいほうに寄せて弱めて、眼の上５３や頬のライン５４はあいまいにするために、線を太くする。影になっていれば、それを太くするような処理を行う。

図７に示す顔つき補正のフローチャートに入ると、まず、ステップＳ２１と同様に、顔検出を行なう（Ｓ３１）。続いて、ステップＳ２２（図２のＳ５１〜Ｓ６１に相当）と同様に、眼、口、頬等の顔部分検出を行なう（Ｓ３２）。そして、ステップＳ２４（図２のＳ６２以降に相当）と同様に、加齢サイン判定を行なう（Ｓ３３）。このあと、加齢サイン判定に基づいて、加齢サインの有無を判定する（Ｓ３４）。判定の結果、加齢サインが無い場合には、若々しく生き生きとした顔画像なので、修正・補正の必要がないことから、そのまま元のフローに戻る。

一方、判定の結果、加齢サインがある場合には、加齢サインのある部位（例えば、眼の横、口の横）に対して、陰影部のコントラストを（例えば）半分にし（Ｓ３５）、瞳の上や頬の輪郭部の陰影は太めにする（Ｓ３６）。ステップＳ３５およびＳ３６における画像修正・補正結果を表示パネル８に表示する（Ｓ３７）。続いて、ユーザーが表示パネル８を見て、画像の補正がＯＫであれば、ＯＫ釦等の操作を行なうので、これを判定する（Ｓ３８）。判定の結果、ＯＫではない場合には、ステップＳ３５に戻り、再度、ステップＳ３５、Ｓ３６において、補正を強調する。これを繰り返すことにより、ユーザーは好みの補正画像を選ぶことができる。

このように、本発明の第２実施形態においては、加齢サインのある部位に対して、コントラストや影を補正することによって、顔画像を若々しくまた生き生きとした画像にすることができる。本実施形態においては、眼鏡をかけた人でも自然な補正を行なうことができる。

次に、本発明の第３実施形態について、図９および図１０を用いて説明する。前述した第１実施形態および第２実施形態は、カメラ１００において顔つき補正を行うスタンドアロンタイプであった。第３実施形態は、カメラ１００ですべてを行うのではなく、データベースのような大きなメモリ容量を要する部位は、カメラ１００の外部のサーバー等が分担するシステムとなっている。ネット上で見る写真を前提とすれば、この顔つき補正は、ネット上で行ってもよい。この第３実施形態においては、カメラ１００内の顔＆加齢データベース９ｄを省略することができる。

この第３実施形態の構成は、図９に示すように、サーバー３３内に、顔つき補正のための機能部が設けてある。顔データベース３３ａは種々の顔の加齢パターンが記憶されている。この加齢パターンは、図１０には模式的に描かれており、顔パターンａ、ｂ、ｃ・・・に対して、若い時期の顔（列１参照）、中年期の顔（列２参照）、老年期の顔（列３参照）が、記憶されている。受信部３３ｃはカメラ１００からの送信画像３５を受信する。この受信部３３ｃは記録部３３ｄに接続されており、この記録部３３ｄは、受信した送信画像３５の記録を行う。

また、受信部３３ｃは比較部３３ｆとも接続されており、この比較部３３ｆは顔データベース３３ａに記憶されている顔パターンと送信画像３５との比較を行なう。比較部３３ｆは修正部３３ｅと接続しており、比較部３３ｆによる比較結果と顔データベース３３ａに記憶されている顔パターンを用いて、送信画像の修正・補正を行い、補正画像データ３５ｂを生成する。

すなわち、比較部３３ｆで類似画像を検出すると、その類似画像に、加齢前画像があれば、それを参照し、差異がある部分を修正部３３ｅによって補正する。この補正にあたって、送信画像３５が列３の老年期の画像である場合には、列２の中年期の画像レベルとなるように補正し、また送信画像が列２の場合には列１のレベルで補正する。但し、ユーザーの好みで更に若くなるように修正補正しても良い。修正・補正は図４および図８のいずれの補正でも良い。

修正部３３ｅは送信部３３ｂと接続されており、送信部３３ｂは、補正画像データ３５を所定のブログやＨＰなどで見られるように送信する。また、補正画像データ３３ｂをカメラ１００に対して送信しても良い。

次に、このようなシステムの撮影制御について、図１０のフローチャートを用いて説明する。ここでは、カメラ１００とネット上のサーバー３３が連携しているので、一つのフローチャートに示しているが、前半はカメラ１００、後半はネット上のサーバー３３が制御を司る。

撮影制御のフローに入ると、カメラ１００のレリーズ釦１ａが操作されたかを判定する（Ｓ８１）。判定の結果、レリーズ釦１ａが操作された場合には、撮影を行う（Ｓ８２）。これによって、撮像素子３の出力に基づく画像データの取得と記録がなされる。次に、取得した画像データを送受信部９ｃから、サーバー３３の受信部３３ｃに送信画像３５として送信する（Ｓ８３）。以上がカメラ１００内における動作である。

続いて、サーバー３３内における動作となる。まず、送信画像３５を受信したサーバー３３は、送信画像のうち、顔の画像部分を利用して、顔データベース３３ａによって類似画像の検索を開始する（Ｓ９１）。続いて、検索の結果、加齢前画像が有るかを判定する（Ｓ９２）。判定の結果、加齢前の類似画像が有る場合には、加齢前との差を判定し、顔画像の修正・補正を行う（Ｓ９３）。例えば、データベース検索の結果、類似画像５５（図９）が見つかった場合に、その加齢前画像５６があれば、送信画像３５と加齢前画像５６との差異を求め、差がある部位について差がなくなるように補正を行う。この補正された画像はネット等を通じて、カメラ１００に送信され、表示パネル８に表示される。

補正が終わると、続いて、ユーザーが補正を満足したかを判定し、すなわち、ＯＫの場合には、第１実施形態と同様にＯＫ釦等の操作がなされ、サーバー３３にその旨が通知されるので、この通知を判定する。判定の結果、ＯＫではない場合には、ステップＳ９１に戻り、さらに若々しく生き生きと見えるように画像を補正する。こうして、順次、若く見えるように補正しており、不自然になる前でこの補正を止めれば、自然な、生き生きとした顔画像が得られる。

本発明の第３実施形態によれば、顔データベース３３ａをサーバー３３内に設けている。このため、カメラ１００単体に設けるよりは、顔画像のサンプル数を多く記憶することができると共に、類似画像の検索もより高速かつ正確に行なうことができる。画像をインターネット上で公開する場合には、便利である。なお、本実施形態においては、顔データベース３３ａには、画像を記憶していたが、第１実施形態と同様、テンプレートを記憶するようにしても構わない。

本発明の各実施形態において、顔画像と類似するテンプレートや画像を検索し、これと組み合わせられている加齢後のテンプレートや画像と顔画像の一致度が高い場合には、若々しく生き生きとした画像となるように、顔画像の特徴部ごとに修正・補正している。このように、個々の顔画像に応じて、加齢した部位の画像を修正・補正することができる。

以上、説明したように本実施形態よれば、単にその時、撮像素子３で取得した画像を記録するだけでなく、被写体や撮影者のイメージに合った顔つきの被写体像に補正でき、また、自然で、かつ現実より生き生きとした画像を得ることのできる画像処理装置およびカメラを提供することができる。

なお、本実施形態におけるカメラは、コンパクトカメラや一眼レフカメラでもよく、また携帯電話やＰＤＡ等に内蔵されるカメラであってもよい。本発明は、人物を撮影できるカメラであれば、適用できる。また、カメラ等や、人物の画像を入力して画像処理を行なうサーバー等の画像処理装置においても適用することができる。

１・・・ＭＰＵ、１ａ・・・レリーズスイッチ、１ｂ・・・モード切替スイッチ、１ｃ・・・他のスイッチ、１ｄ・・・条件判定部、１ｔ・・・時計部、２・・・撮影レンズ、２ａ・・・ＡＦ(オートフォーカス)制御部、２ｂ・・・絞り、２ｃ・・・絞り制御部、３・・・撮像素子、４・・・アナログフロントエンド（ＡＦＥ）部、５・・・画像処理部、５ａ・・・顔検出部、５ｂ・・・修正部、５ｃ・・・距離判定部、５ｄ・・・顔部分判定部、６・・・圧縮部、８・・・表示パネル、８ａ・・・表示制御部、８ｂ・・・マルチ画像処理部、９・・・記録メディア、９ａ・・・記録部、９ｃ・・・送受信部、９ｄ・・・顔＆加齢データベース、９ｅ・・・送信設定部、１１・・・補助光発光部、２０・・・被写体、３１・・・他のユーザー、３２・・・通信回線、３３・・・サーバー、３３ａ・・・顔データベース、３３ｂ・・・送信部、３３ｃ・・・受信部、３３ｄ・・・記録部、３３ｆ・・・比較部、３５・・・送信画像、３５ａ・・・補正画像データ、４１・・・顔画像（若い人）、４２・・・顔画像（老いた人）、４３・・・テンプレート（若い人）、４４・・・テンプレート（老いた人）、４６・・・範囲、４７・・・目尻、４８・・・唇の端、４９・・・頬の輪郭部、５１・・・眼の横、５２・・・口の横、５３・・・眼の上、５４・・・頬のライン、５５・・・類似画像、５６・・・加齢前画像、１００・・・カメラ

Claims (5)

1. 被写体像の画像データから顔画像を検出する顔検出部と、
   加齢前テンプレートと加齢テンプレートがペアで記憶されたデータベースと、
   上記顔画像と一致度が高い加齢前テンプレートおよび該一致度が高い加齢前テンプレートとペアで記憶された加齢テンプレートと該顔画像との一致度を検出し、該加齢テンプレートとの一致度が該加齢前テンプレートとの一致度よりも高いと判断した場合には、該顔画像の年齢をとって見える部位に加齢サインをたてる加齢サイン判定部と、
   上記加齢サイン判定部によって上記加齢サインをたてた場合には、上記顔画像の上記加齢サインのある部位を補正する補正部と、
   を具備することを特徴とする画像処理装置。
2. 上記補正部は、目尻、唇の端、および頬の輪郭部の少なくとも一つを含む領域の明るさを均一化することを特徴とする請求項１に記載の画像処理装置。
3. 上記補正部は、コントラストまたは線を太く補正することを特徴とする請求項１に記載の画像処理装置。
4. 被写体像の画像データから顔画像を検出するステップと、
   加齢前テンプレートと加齢テンプレートがペアで記憶されたデータベースを用いて、上記顔画像と一致度が高い加齢前テンプレートおよび該一致度が高い加齢前テンプレートとペアで記憶された加齢テンプレートと該顔画像との一致度を検出し、該加齢テンプレートとの一致度が該加齢前テンプレートとの一致度よりも高いと判断した場合には、該顔画像の年齢をとって見える部位に加齢サインをたてるステップと、
   上記加齢サインをたてた場合には、上記顔画像の該加齢サインのある部位を補正するステップと、
   を含むことを特徴とする画像処理方法。
5. 被写体像を形成するための撮影レンズと、
   上記被写体像を光電変換し画像データを取得するための撮像素子と、
   上記画像データから顔画像を検出する顔検出部と、
   加齢前テンプレートと加齢テンプレートがペアで記憶されたデータベースと、
   上記顔画像と一致度が高い加齢前テンプレートおよび該一致度が高い加齢前テンプレートとペアで記憶された加齢テンプレートと該顔画像との一致度を検出し、該加齢テンプレートとの一致度が該加齢前テンプレートとの一致度よりも高いと判断した場合には、該顔画像の年齢をとって見える部位に加齢サインをたてて該顔画像の加齢部位を検出する加齢部位検出部と、
   上記加齢部位検出部によって検出された上記加齢部位について、上記顔画像を補正する補正部と、
   上記補正部によって補正された上記画像を表示する表示部と、
   上記表示部で表示された上記画像を記録する記録部と、
   を具備することを特徴とするカメラ。