JP4946741B2 - 画像処理装置、画像処理方法、及び画像処理システム - Google Patents

Description

本発明は、取得した画像データに対して画像処理を行なう画像処理装置、画像処理方法、及び画像処理システムに関して、特に、被写体ごとに画像処理の手法を切替える画像処理装置、画像処理方法、及び画像処理システムに関するものである。

従来、風景等の被写体を電子的に記憶する装置として、ディジタルカメラが知られている。ディジタルカメラは、レンズを通して結像された被写体の映像を電気的にメモリに記憶させることができる。また、記憶された画像データは、ディジタルカメラ及び出力器側で簡単に修整することができる（例えば、特許文献１参照）。
特開２００２−３４４９８９号公報

上記したディジタルカメラでは、被写体に対してユーザが簡単にピントを合わすことができるよう焦点深度を深く設定している。ここで、焦点深度とは、ある被写体にピントを合わせた時、その焦点面の前後で鮮鋭な像が得られる範囲のことを言う。このような、ディジタルカメラでは、焦点深度が深いため、被写体内に含まれる撮像対象物の位置関係に関係なく、撮像物の鮮鋭度が高くなる。そのため、出力された画像は肉眼を通して結像された画像と異なるものとなる。そのため、従来では、ユーザが画像データに対して画像処理を手動で施し、画像データを肉眼を通して結像された画像に近づけていた。

本発明は、上記課題にかんがみてなされたもので、取得された画像データを、肉眼を通して結像された像に近づくよう自動で画像処理することができる画像処理装置、画像処理方法、及び画像処理システムの提供を目的とする。

上記課題を解決するために、本発明では、顔検出手段が、撮像によって得られた画像データにおける顔を検出し、前記画像データに顔を検出した場合に、顔変形補正手段が、該画像データの顔に対応する領域に対して幅を狭くする顔補正処理を行なう。また、顔検出手段が顔を検出しない場合に、ぼかし処理手段が、該画像データの焦点が合った領域に対しては鮮鋭度を高め、焦点が合っていない領域に対してはぼかし処理を実行する。

レンズを通して結像された人物像は、肉眼を通して結像された人物像に対して水平方向が膨張して見える。そのため、画像データに対して人顔が含まれている場合は、画像データに対して顔補正処理を施し、幅方向を肉眼を通して結像された像に近づける。また、人の目は、注目対象に応じて対象物に対する見方が変化するため、人顔が含まれていない場合は、ピントが合った領域の鮮鋭度を高くし、ピントの合っていない領域にぼかし処理を施す。
このため、画像処理を施された画像データは、被写体を肉眼を通して見た像に近くなる。

次に、本発明の実施の形態を実施例に基づいて以下の順序で説明する。
Ａ．第１実施例：
Ａ−１．画像処理装置の構成：
Ａ−２．顔形状補正印刷処理：
Ａ−３．変形領域の設定：
Ａ−４．変形処理：
Ｂ．第２実施例：

Ａ．第１実施例：
Ａ−１．画像処理装置の構成：
図１は、本発明の第１実施例における画像処理装置を構成するディジタルスチルカメラ（以下「ＤＳＣ」とも呼ぶ）１００の構成を概略的に示す説明図である。また、図６は、本発明の第１実施例における画像処理装置を構成するプリンタ３００の構成を概略的に示す説明図である。本画像処理装置では、ＤＳＣ１００は、被写体を撮像して画像を生成するとともに、被写体までの距離を距離情報として記憶する。プリンタ３００は、生成された画像及び距離情報に応じて、画像処理の手法及び画像処理の強度を変化させて実行する。このときプリンタ３００にて実行される画像処理は、レンズを通して結像される画像を肉眼を通して結像される画像に近づけるよう処理するものである。
ここで、被写体とは写しとられる対象のことであり、本発明では、主に、鮮明に写しとられた領域（いわゆるピントのあった領域）に存在する物体の意味で使用する。

ＤＳＣ１００は、対象物を撮像して画像を生成する撮影装置（画像取得装置）として機能すると共に、生成された画像に対する画像処理を行う画像処理装置としても機能する。ＤＳＣ１００は、レンズ１０２と、レンズ１０２を駆動して焦点（ピント）の位置や焦点距離を調整するレンズ駆動部１０４と、レンズ駆動部１０４を制御するレンズ駆動制御部１０６と、レンズ１０２を介して受光面に入力された光を電気信号に変換する撮像素子１０８と、撮像素子１０８から出力された電気信号に対するＡ／Ｄ変換を行うＡ／Ｄ変換器１１０と、外部機器との情報のやり取りのためのインターフェイス部（Ｉ／Ｆ部）１１２と、液晶ディスプレイにより構成された表示部１１４と、ボタンやタッチパネルにより構成された操作部１１６と、ＤＳＣ１００の各部を制御するＣＰＵ１１８と、ＲＯＭやＲＡＭにて構成された内部メモリ２００と、を備えている。撮像素子１０８は、例えばＣＣＤを用いて構成される。ＤＳＣ１００の各構成要素は、バス１２２を介して互いに接続されている。

内部メモリ２００には、画像生成部２１０が格納されている。画像生成部２１０は、プログラムモジュールとして、顔領域検出部２２０と、被写体距離推定部２３０と、画像ファイル生成部２５０と、焦点範囲設定部２６０と、タイミング決定部２７０とを含んでいる。また、被写体距離推定部２３０は、情報取得部２４０を含んでいる。ＣＰＵ１１８は、内部メモリ２００から、このプログラムを読み出して実行することにより、画像生成部２１０の機能を実現する。これらの各部の機能については、後述の画像生成処理の説明において詳述する。

図２は、第１実施例のＤＳＣ１００による画像生成処理の流れを示すフローチャートである。第１実施例における画像生成処理では、所定の条件が満たされた場合に撮影が行われ、画像を表す画像データを含む画像ファイルが生成される。

ステップＳ１１０では、画像生成部２１０が、準備画像を取得する。ここで、準備画像は、撮像画像の候補となる画像であり、撮影前にユーザが撮像装置のファインダー等から確認することができる。ユーザが図示しないシャッターを押下することで該準備画像は撮影画像となる。画像生成部２１０は、レンズ１０２や撮像素子１０８、Ａ／Ｄ変換器１１０を制御して、準備画像を取得する。なお、表示部１１４が撮影時のファインダーとして利用されている場合には、準備画像が表示部１１４に表示される。

ステップＳ１２０では、顔領域検出部２２０が、準備画像における顔領域ＦＡを検出する。ここで、顔領域ＦＡとは、対象画像ＴＩ上の画像領域であって、少なくとも顔の一部の画像が含まれる領域を意味している。顔領域検出部２２０による顔領域ＦＡの検出は、例えばテンプレートを利用したパターンマッチングによる方法（特開２００４−３１８２０４参照）といった公知の顔検出方法を用いて実行される。なお、顔領域検出部２２０は、被写体としての顔の画像を検出するものであり、「顔検出手段」とも呼ぶことができる。

図３は、顔領域ＦＡの検出結果の一例を示す説明図である。図３の例では、対象画像ＴＩに人物の顔の画像が含まれている。そのため、ステップＳ１２０において、対象画像ＴＩから顔領域ＦＡが検出される。この顔領域ＦＡは、両目と鼻と口の画像を含む矩形の領域となっている。なお、顔領域検出部２２０は、顔領域ＦＡの検出結果として、対象画像ＴＩにおける顔領域ＦＡの位置を特定可能な情報（例えば顔領域ＦＡの４つの頂点の座標）を出力する。また、図３に示すように、本実施例では、対象画像ＴＩの幅をＷｗｉ（単位は画素数）と表し、顔領域ＦＡの幅をＷｆｉ（単位は画素数）と表すものとする。

ステップＳ１３０では、被写体距離推定部２３０が、準備画像における被写体距離Ｓｄを推定する。被写体距離Ｓｄの推定方法は、情報取得部２４０が準備画像の全体の幅、顔領域ＦＡの幅、人物Ｐの顔の幅、レンズの焦点距離、結像面の幅といった情報を取得し、被写体距離推定部２３０がこれらの情報と以下に示す式（３）とを用いて被写体距離Ｓｄを算出（推定）する。

被写体距離推定部２３０が、推定する被写体距離Ｓｄとは、対象画像ＴＩの撮像時における撮影装置（より詳細には撮影装置のレンズの主点）から特定種類の被写体までの距離を意味している。また、本実施例では、特定種類の被写体として人物の顔が設定されている。従って、本実施例における被写体距離Ｓｄは、撮影装置から人物の顔までの距離である。

図４は、被写体距離Ｓｄの推定方法を示す説明図である。図４には、対象画像ＴＩの撮像時における撮影装置の結像面ＩＳと被写体としての人物Ｐの顔との位置関係を示している。レンズの主点ＵＰと人物Ｐの顔との間の距離である被写体距離Ｓｄは、人物Ｐの顔の位置を含み結像面ＩＳに平行な面（以下「被写体面ＳＳ」とも呼ぶ）における撮像範囲の幅Ｗｗと画角θとにより定まる。また、画角θは、レンズの焦点距離ｆと結像面ＩＳの幅Ｗｘとの関係により特定される。すなわち、下記の式（１）が成り立つ。
Ｓｄ：Ｗｗ＝ｆ：Ｗｘ ・・・（１）

また、被写体面ＳＳにおける撮像範囲の幅Ｗｗは、人物Ｐの顔の画像が対象画像ＴＩ（図３）において占める大きさに基づき特定される。すなわち、被写体面ＳＳにおける幅Ｗｗと人物Ｐの顔の幅Ｗｆとの比は、対象画像ＴＩにおける画像全体の幅Ｗｗｉと顔領域ＦＡの幅Ｗｆｉとの比に等しいと考えられる。
Ｗｗ：Ｗｆ＝Ｗｗｉ：Ｗｆｉ ・・・（２）

上記式（１）および（２）から、下記の式（３）が導かれる。
Ｓｄ＝（Ｗｗｉ×Ｗｆ×ｆ）／（Ｗｆｉ×Ｗｘ） ・・・（３）

被写体距離推定部２３０の情報取得部２４０（図１）は、式（３）を用いた被写体距離Ｓｄの算出に必要な情報を取得する。具体的には、情報取得部２４０は、対象画像ＴＩを表す画像ファイルにメタデータとして付加されている対象画像ＴＩの全体の幅Ｗｗｉの値（画素数）を取得すると共に、顔領域ＦＡ（図３）の幅Ｗｆｉの値（画素数）を算出する。顔領域ＦＡの幅Ｗｆｉの算出は、例えば顔領域ＦＡの２つの頂点の座標を用いて２つの頂点間の距離を算出することにより行う。

情報取得部２４０は、また、人物Ｐの顔の幅Ｗｆの値として、予め設定され内部メモリ３２０（図１）に格納された典型的な人物の顔の幅（顔の現実の大きさ）の概略値（例えば２００ｍｍ）を取得する。人物Ｐの顔の幅Ｗｆの値は、本発明における第２の情報に相当する。

さらに、情報取得部２４０は、対象画像ＴＩの画像ファイルの付加データに含まれる撮像時のレンズ焦点距離ｆの値を取得する。ここで、取得されるレンズの焦点距離ｆの値は、３５ｍｍフィルム換算値であり、撮影装置の実際の焦点距離（実焦点距離）とは異なる場合がある。このような場合には、情報取得部２４０は、結像面ＩＳの幅Ｗｘとして、予め設定された３５ｍｍフィルムの幅の値（＝３６ｍｍ）を取得する。なお、画像ファイルの付加データに実焦点距離のデータと撮影装置の撮像素子の幅のデータとが含まれている場合には、情報取得部２４０が、レンズの焦点距離ｆとして実焦点距離の値を取得し、結像面ＩＳの幅Ｗｘとして撮像素子の幅の値を取得するとしてもよい。また、画像ファイルの付加データに画角そのものを示すデータが含まれている場合には、情報取得部２４０が画角を示すデータを取得するとしてもよい。

被写体距離推定部２３０は、情報取得部２４０により取得された上記各情報（対象画像ＴＩの全体の幅Ｗｗｉの値、顔領域ＦＡの幅Ｗｆｉの値、人物Ｐの顔の幅Ｗｆの値、レンズの焦点距離ｆの値、結像面ＩＳの幅Ｗｘの値）と、上記式（３）とを用いて、被写体距離Ｓｄを算出（推定）する。

ステップＳ１４０（図２）では、タイミング決定部２７０（図１）が、ステップＳ１３０において推定された被写体距離Ｓｄに基づき、画像生成タイミング（撮影タイミング）を決定する。図５は、第１実施例における画像生成処理の概要を示す説明図である。第１実施例における画像生成処理では、画像の生成（撮影）を行う条件として、被写体距離Ｓｄが所定の閾値Ｔ１以下であるという条件が定められている。すなわち、図５において被写体としての人物Ｐが位置Ｐ２に居るときは、上記撮影条件が満たされず、撮影は行われない。一方、人物が位置Ｐ１に移動すると、上記撮影条件が満たされ、撮影が行われることとなる。なお、このような撮影条件は、例えば防犯カメラの撮影条件として設定されうる。

ステップＳ１４０において、タイミング決定部２７０は、被写体距離Ｓｄと閾値Ｔ１とを比較し、被写体距離Ｓｄが閾値Ｔ１以下である場合には、画像生成を行うことを決定し、処理をステップＳ１５０にすすめる。一方、タイミング決定部２７０は、被写体距離Ｓｄが閾値Ｔ１より大きい場合には、画像生成を行わないことを決定し、処理をステップＳ１１０に戻す。図２のステップＳ１１０からＳ１４０までの処理は、ステップＳ１４０において画像生成を行うことが決定されるまで、所定時間経過毎に繰り返し実行される。

ステップＳ１５０（図２）では、焦点範囲設定部２６０（図１）が、ステップＳ１３０において推定された被写体距離Ｓｄに基づき、焦点範囲ＦＲを設定する。焦点範囲ＦＲは、撮影時における焦点（ピント）の位置すべき範囲である。焦点範囲設定部２６０は、図５に示すように、ＤＳＣ１００から被写体距離Ｓｄだけ離れた位置を中心として前後にそれぞれ所定の距離Ｌ１の広がりを有する範囲を焦点範囲ＦＲとして設定する。なお、焦点範囲ＦＲは、ＤＳＣ１００の機構上、焦点が位置することができる最大の範囲である最大焦点範囲ＦＲｍａｘよりも狭い範囲として設定される。

ステップＳ１６０（図２）では、画像生成部２１０（図１）が、レンズ１０２、レンズ駆動部１０４、レンズ駆動制御部１０６を制御して、自動焦点合わせ（オートフォーカス）を行う。具体的には、画像生成部２１０は、焦点範囲ＦＲ内で焦点を移動させつつ撮像により画像を取得し、取得された画像の内の鮮鋭度（コントラスト）が最も大きい画像に対応した位置に焦点を合わせる。一般のＤＳＣにおける自動焦点合わせでは、最大焦点範囲ＦＲｍａｘ内で焦点を移動させつつ取得された画像のコントラスト検出が行われる。一方、本実施例のＤＳＣ１００における自動焦点合わせでは、最大焦点範囲ＦＲｍａｘよりも狭い範囲である焦点範囲ＦＲ内のみで焦点を移動させつつ取得された画像のコントラスト検出が行われるため、焦点合わせに要する時間の短縮を図ることができる。

ステップＳ１７０（図２）では、画像生成部２１０（図１）が、撮影により画像データを生成すると共に、画像ファイル生成部２５０が、画像データとステップＳ１３０において推定された被写体距離Ｓｄを示すデータとを含む画像ファイルを生成する。画像ファイルは、例えばＥｘｉｆ規格に則ったファイルとして生成され、被写体距離Ｓｄを示すデータは、付加データとして画像ファイルに付加され、メモリカードＭＣに記憶される。この画像ファイルは、例えばディジタルスチルカメラ等の撮影装置によりＥｘｉｆ（Exchangeable Image File Format）規格に則って生成されたファイルであり、撮像により生成された画像データの他に、撮像時の絞り・シャッタースピード・レンズの焦点距離等の付加データを含んでいる。

以上説明したように、第１実施例のＤＳＣ１００による画像生成処理では、準備画像における被写体距離Ｓｄの推定が行われ、推定された被写体距離Ｓｄに基づき画像生成（撮影）タイミングが決定される。そのため、ＤＳＣ１００と被写体との距離に関する撮影条件を定めて画像の生成を行うことができる。

第１実施例のプリンタ３００は、メモリカードＭＣ等から取得した画像データに基づき画像を印刷する、いわゆるダイレクトプリントに対応したカラーインクジェットプリンタである。また、プリンタ３００は、メモリカードＭＣに記憶された画像データ中に、人の顔に相当する領域が含まれる場合は、この顔領域に対して顔形状補正を行う。また、顔領域が含まれない場合（風景画像）は、被写体距離に応じてぼかし処理を施す。

プリンタ３００は、プリンタ３００の各部を制御するＣＰＵ１１８と、例えばＲＯＭやＲＡＭによって構成された内部メモリ３２０と、ボタンやタッチパネルにより構成された操作部３４０と、液晶ディスプレイにより構成された表示部３５０と、プリンタエンジン３６０と、カードインターフェース（カードＩ／Ｆ）３７０と、を備えている。プリンタ３００の各構成要素は、バスを介して互いに接続されている。なお、プリンタ３００は、さらに、ディジタルスチルカメラ（又はパーソナルコンピュータ）とのデータ通信を行うためのインターフェイスを備えていてもよい。

プリンタエンジン３６０は、印刷データに基づき印刷を行う印刷機構である。カードインターフェース３７０は、カードスロット３７２に挿入されたメモリカードＭＣとの間でデータのやり取りを行うためのインターフェイスである。なお、本実施例では、メモリカードＭＣにＲＧＢデータとしての画像データを含む画像ファイルが格納されている。プリンタ３００は、カードインターフェース３７０を介してメモリカードＭＣに格納された画像ファイルの取得を行う。

内部メモリ３２０には、顔形状補正部４００と、顔領域検出部４２０と、被写体距離取得部５３０と、表示処理部５１０と、ぼかし処理部５４０と、印刷処理部５２０とが格納されている。顔形状補正部４００と顔領域検出部４２０は、所定のオペレーティングシステムの下で、それぞれ後述する顔形状補正処理、顔領域検出処理を実行するためのコンピュータプログラムである。表示処理部５１０は、表示部３５０を制御して、表示部３５０上に処理メニューやメッセージを表示させるディスプレイドライバである。ぼかし処理部５４０は、顔領域以外の背景領域に施すぼかし処理を被写体距離に応じて変化させるコンピュータプログラムである。印刷処理部５２０は、画像データから印刷データを生成し、プリンタエンジン３６０を制御して、印刷データに基づく画像の印刷を実行するためのコンピュータプログラムである。ＣＰＵ１１８は、内部メモリ３２０から、これらのプログラムを読み出して実行することにより、これら各部の機能を実現する。

顔形状補正部４００は、プログラムモジュールとして、変形態様設定部４１０と、顔領域調整部４３０と、変形領域設定部４４０と、変形領域分割部４５０と、分割領域変形部４６０と、変形量設定部４９０と、を含んでいる。なお、変形態様設定部４１０は、指定取得部４１２を含んでいる。これらの各部の機能については、後述の顔形状補正印刷処理の説明において詳述する。なお、後述するように、変形領域分割部４５０と、分割領域変形部４６０と、により画像の変形が行われる。そのため、変形領域分割部４５０と分割領域変形部４６０とは、併せて「顔変形補正手段」とも呼ぶことができる。なお、プリンタ３００における顔領域検出部４２０は、ディジタルスチルカメラ１００における顔領域検出部２２０と同一の機能を果たすものである。

内部メモリ３２０には、また、分割点配置パターンテーブル６１０と分割点移動テーブル６２０とが格納されている。分割点配置パターンテーブル６１０および分割点移動テーブル６２０の内容についても、後述の顔形状補正印刷処理の説明において詳述する。

Ａ−２．本発明における補正印刷処理：
プリンタ３００は、メモリカードＭＣに格納された画像ファイルに基づき、画像の印刷を行う。カードスロット３７２にメモリカードＭＣが挿入されると、表示処理部５１０により、メモリカードＭＣに格納された画像の一覧表示を含むユーザインターフェースが表示部３５０に表示される。図７は、画像の一覧表示を含むユーザインターフェースの一例を示す説明図である。図７に示すユーザインターフェースには、８つのサムネイル画像ＴＮ１〜ＴＮ８と、５つのボタンＢＮ１〜ＢＮ５が表示されている。なお、本実施例では、画像の一覧表示は、メモリカードＭＣに格納された画像ファイルに含まれるサムネイル画像を用いて実現される。

プリンタ３００は、図７に示すユーザインターフェースにおいて、ユーザにより、１つ（または複数）の画像が選択されると共に通常印刷ボタンＢＮ３が選択されると、選択された画像を通常通り印刷する通常印刷処理を実行する。他方、当該ユーザインターフェースにおいて、ユーザにより、１つ（または複数）の画像が選択されると共に補正印刷ボタンＢＮ４が選択されると、プリンタ３００は、選択された画像について、画像中の顔の形状を補正して補正後の画像を印刷する顔形状補正印刷処理を実行する。図７の例では、サムネイル画像ＴＮ１と顔形状補正印刷ボタンＢＮ４とが選択されているため、プリンタ３００は、サムネイル画像ＴＮ１に対応する画像について顔形状補正印刷処理を行う。

図８は、第１実施例のプリンタ３００による補正印刷処理の流れを示すフローチャートである。このフローチャートでは、まず、画像データ中に、顔領域ＦＡが存在するかを特定する（ステップＳ２００〜Ｓ２１０）。画像データ中に、顔領域ＦＡが含まれる場合は、顔形状補正部４００（図１）が、顔形状補正処理を実行する（ステップＳ３００〜３５０）。また、顔領域ＦＡが含まれない場合は、ぼかし処理部５４０が画像データにぼかし処理を施す（ステップＳ４００〜Ｓ４４０）。本実施例の顔形状補正処理は、画像中の顔の少なくとも一部の形状（例えば顔の輪郭形状や目の形状）を補正する処理である。なお、顔領域ＦＡ検出方法としては、ＤＳＣ１００における顔領域ＦＡ検出方法と同様であればよい。また、ＤＳＣ１００が顔を検出したことを付加データとして画像ファイル中に付加し、この付加データを用いて検出するものであってもよい。

ステップＳ２００では、顔形状補正部４００（図１）が、顔形状補正処理の対象となる対象画像ＴＩを設定する。顔形状補正部４００は、図７に示したユーザインターフェースにおいてユーザにより選択されたサムネイル画像ＴＮ１に対応する画像を対象画像ＴＩとして設定する。設定された対象画像ＴＩの画像ファイルは、メモリカードＭＣからカードＩ／Ｆ３７０を介してプリンタ３００に取得され、内部メモリ３２０の所定領域に格納される。なお、以下では、このようにメモリカードＭＣから取得され、プリンタ３００の内部メモリ３２０に格納された画像ファイルに含まれる画像データを「元画像データ」とも呼ぶ。また、元画像データにより表される画像を「元画像」とも呼ぶ。

ステップＳ２１０では、変形態様設定部４１０（図１）が、顔形状補正のための画像変形のタイプと画像変形の度合いとを設定する。変形態様設定部４１０は、画像変形のタイプおよび度合いを設定するためのユーザインターフェースを表示部３５０に表示するように表示処理部５１０に指示し、当該ユーザインターフェースを通じてユーザにより指定された画像変形のタイプおよび度合いを選択し、処理に使用する画像変形タイプおよび度合いとして設定する。

図９は、画像変形のタイプおよび度合いを設定するためのユーザインターフェースの一例を示す説明図である。図９に示すように、このユーザインターフェースには、画像変形タイプを設定するためのインターフェイスが含まれている。本実施例では、例えば、顔の形状をシャープにする変形タイプ「タイプＡ」や、目の形状を大きくする変形タイプ「タイプＢ」等が選択肢として予め設定されているものとする。ユーザは、このインターフェイスを介して画像変形のタイプを指定する。変形態様設定部４１０は、ユーザにより指定された画像変形タイプを、実際の処理に使用する画像変形タイプとして設定する。

また、図９に示すユーザインターフェースには、画像変形の度合い（程度）を設定するためのインターフェイスが含まれている。図９に示すように、本実施例では、画像変形の度合いとして、強（Ｓ）、中（Ｍ）、弱（Ｗ）の３段階と、自動と、の４つが選択肢として予め設定されているものとする。ユーザは、このインターフェイスを介して画像変形の度合いを指定する。強、中、弱の３つの内のいずれかが指定された場合には、変形態様設定部４１０は、指定された画像変形の度合いを、実際の処理に使用する画像変形の度合いとして設定する。「自動」が指定された場合には、後述するように、画像変形の度合い（変形量）が変形量設定部４９０（図１）によって自動的に設定される。ユーザインターフェースに設けられたチェックボックスは、ユーザが変形態様の詳細指定を希望する場合にチェックされる。

以降では、画像変形のタイプとして顔の形状をシャープにするための変形タイプ「タイプＡ」が設定され、画像変形の度合いとして「自動」が選択され（ステップＳ３００）、ユーザによる詳細指定の希望はなかったものとして説明を行う。

ステップＳ３２０（図８）において、プリンタ３００は、検出された顔領域ＦＡに基づいて変形領域ＴＡを設定する。変形領域ＴＡは、対象画像ＴＩ上の領域であって顔形状補正のための画像変形処理の対象となる領域である。変形領域ＴＡの設定方法については、後述の「Ａ−３．変形領域の設定」において詳述する。図３（ｂ）は、ステップＳ３２０における変形領域ＴＡの設定結果を示す説明図である。図３（ｂ）中の破線は、ステップＳ３２０において検出された顔領域ＦＡを示しており、図３（ｂ）中の太実線は、設定された変形領域ＴＡを示している。

ステップＳ３３０（図８）では、被写体距離取得部５３０（図６）が、メモリカードＭＣを参照して、付加情報から被写体距離Ｓｄを取得する。ステップＳ３４０では、変形量設定部４９０（図１）が、変形量（「変形の度合い」または「変形の程度」とも呼ぶ）を設定する。変形量設定部４９０による変形量の設定方法については、後述の「Ａ−４．変形処理」において詳述する。

ステップＳ３５０（図８）では、ステップＳ３２０で設定された変形領域ＴＡに対し、変形処理が行われる。変形処理の具体的内容については、後述の「Ａ−４．変形処理」において詳述する。

図１０は、変形処理が行われた結果を示す説明図である。図１０（ａ）は、図８のステップＳ３５０における変形処理が行われる前の対象画像ＴＩを示しており、図１０（ｂ）は、変形処理後の対象画像ＴＩを示している。図１０（ｂ）に示すように、変形処理後の対象画像ＴＩでは、変形領域ＴＡ内の人物の顔の画像が細くなっている。なお、ステップＳ６００における変形処理は対象画像ＴＩ中の変形領域ＴＡ内の画像にのみ施され、変形領域ＴＡの外の画像は変形されない。その結果、画像の全体を過剰に変形させずに、被写体を変形させることができる。

図１０の例では、顔の左右の頬のライン（顔の輪郭）の画像が変形量ＤＱだけ内側に移動している。この変形量ＤＱは、図８のステップＳ３４０において設定された量である。このような変形処理によって、変形処理後の顔の画像の幅Ｗｄは、変形前の顔の画像の幅Ｗｏと比べて、変形量ＤＱの２倍だけ狭くなる。本実施例では、顔画像の幅の方向をパターンマッチング方法により検出した矩形顔領域ＦＡの長手方向に垂直な方向とする。しかしながら、幅方向はこれに限らず様々な方向をとり得る。
このように幅が狭くなるように画像を変形する理由は、画像の観察によって得られる被写体の印象を、実物の観察によって得られる印象に近づけるためである。

図１１は、被写体の印象の違いを示す説明図である。図１１中には、被写体Ｓと、人（観察者）の右目ＲＥと左目ＬＥと、撮影装置としてのカメラＣＭとが示されている。なお、図１１では、観察者の上面から見た位置関係を示している。

図１１の例では、説明を簡単にするために、上面から見た被写体Ｓの形状が半径ｒの円であるものと仮定している。なお、このような丸い被写体Ｓとしては、人の頭に限らず、種々の被写体（例えば、円筒形の建物やボール）が挙げられる。この被写体Ｓは、２つの目ＲＥ、ＬＥの真正面に位置している。また、カメラＣＭは、２つの目ＲＥ、ＬＥの中点ＭＰに配置されている。すなわち、カメラＣＭは、観察者とほぼ同じ位置から、被写体Ｓを見る。なお、図中のｘ軸は、被写体Ｓの中心Ｃと、中点ＭＰとを通る座標軸である。ｙ軸は、中心Ｃを通り、ｘ軸に垂直な座標軸である。２つの目ＲＥ、ＬＥは、このｙ軸に沿って並んでいる。距離Ｌは、２つの目ＲＥ、ＬＥの間の距離を示している。また、距離ｄは、中心Ｃと目ＲＥ、ＬＥとの間のｘ軸に沿った距離を示している。

図１１中の第１幅Ｗ１は、被写体Ｓの幅を示している。この第１幅Ｗ１は、カメラＣＭから見える部分の幅を示している。カメラＣＭから見える部分は、被写体Ｓの表面の内の、カメラ被写体範囲ＳＲＣ内の部分である。このカメラ被写体範囲ＳＲＣは、カメラＣＭの視野の全範囲の内の被写体Ｓが占める範囲を示している。

図１１中の第２幅Ｗ２も、被写体Ｓの幅を示している。ただし、この第２幅Ｗ２は、両目ＲＥ、ＬＥから見える部分の幅を示している。両目ＲＥ、ＬＥから見える部分は、被写体Ｓの表面の内の、右被写体範囲ＳＲＲと左被写体範囲ＳＲＬとの重なる範囲の内の部分である。右被写体範囲ＳＲＲは、右目ＲＥの視野の全範囲の内の被写体Ｓが占める範囲を示し、左被写体範囲ＳＲＬは、左目ＬＥの視野の全範囲の内の被写体Ｓが占める範囲を示している。

図１１に示すように、右目ＲＥと左目ＬＥとの間では、被写体Ｓの見える部分が異なっている。すなわち、右目ＲＥから見える部分は右目ＲＥ側に偏っており、左目ＬＥから見える部分は左目ＬＥ側に偏っている。このような場合には、人（観察者）による被写体Ｓの認識は、両目ＲＥ、ＬＥに共通な可視部分から強い影響を受けると推定される。例えば、人は、両目ＲＥ、ＬＥに共通な可視部分の幅Ｗ２が被写体Ｓの幅であるという認識を持つと推定される。

また、図１１に示すように、第２幅Ｗ２は第１幅Ｗ１よりも狭い。すなわち、撮像によって生成された画像を観察すると、実際の被写体Ｓを観察したときと比べて幅が広い印象を受ける。そこで、図１０（ｂ）に示すように幅が狭くなるように画像を変形することによって、画像の観察によって得られる被写体の印象を、実物の観察によって得られる印象に近づけることができる。

図１２は、第１幅Ｗ１に対する第２幅Ｗ２の比率Ｒｉと、距離ｄとの関係を示すグラフである。横軸は距離ｄを示し、縦軸は比率Ｒｉを示している。また、図１２には、これらの幅Ｗ１、Ｗ２を示す関数も示されている。これらの幅Ｗ１、Ｗ２は、半径ｒと距離ｄと距離Ｌとの関数で表されている。なお、図１２のグラフでは、半径ｒと距離Ｌとは固定されている。
図１２に示すように、比率Ｒｉ（Ｗ２／Ｗ１）は、距離ｄが小さいほど小さい。また、この比率Ｒｉ（Ｗ２／Ｗ１）は、「１．０」よりも小さく、距離ｄが大きいほど「１．０」に近くなる。

図１３（ａ）は、変形量ＤＱと被写体距離Ｓｄとの関係を示すグラフである。図１３（ｂ）は、変形前の幅Ｗｏに対する変形後の幅Ｗｄの比率Ｒｗと、被写体距離Ｓｄとの関係を示すグラフである。これらのグラフでは、横軸がステップＳ５７０（図８）で推定された被写体距離Ｓｄを示している。

図１３（ａ）に示す変形量ＤＱは、図１３（ｂ）に示す比率Ｒｗが図１２に示す比率Ｒｉと同じとなるように、予め設定されている。この結果、被写体距離Ｓｄの値が小さいほど、変形量ＤＱは大きな値に設定される。ここで、距離Ｌと半径ｒとは所定値に予め固定されている。目の距離Ｌとしては、例えば、１００ｍｍを採用可能である。また、半径ｒ、すなわち、被写体Ｓの大きさとしては、被写体を代表する値（例えば、１００ｍｍ）を採用可能である。なお、本実施例では、変形量ＤＱは、変形領域ＴＡ内における幅の変化率（この場合は減少率）を示している。

上述した図８のステップＳ３４０では、変形量設定部４９０（図１）が、予め設定された図１３（ａ）に示す対応関係を用いて、ステップＳ３３０において取得された被写体距離Ｓｄから変形量ＤＱを決定する。図８のステップＳ３５０では、このように決定された変形量ＤＱを利用して画像が変形される（図１０（ｂ））。その結果、被写体距離Ｓｄに合わせて画像を適切に変形させることができる。具体的には、画像の観察によって得られる被写体の印象を、実物の観察によって得られる印象に近づけることができる。

ステップＳ２１０（図８）で、顔領域ＦＡが検出されない場合、ステップＳ４００では、ぼかし処理部５４０が、フォーカス領域とその他の領域とを識別する。フォーカス領域ＦＣとは、対象画像ＴＩａにおけるＤＳＣ１００がオートフォーカスによってピントを合わせた領域である（図２、ステップＳ１６０）。図１４には、対象画像ＴＩａにおける設定されたフォーカス領域ＦＣと、その他の領域（背景領域）ＢＣとを示している。

ステップＳ４１０では、被写体距離取得部５３０（図）が、被写体距離Ｓｄを取得する。被写体距離Ｓｄの取得方法は、メモリカードＭＣに記憶された付加情報から取得するものとする。

ステップＳ４２０では、ぼかし処理部５４０が、フォーカス領域ＦＣに対してその他の領域（背景領域）ＢＣに比べ鮮鋭度を高めるよう画像処理を施す。具体的には、フォーカス領域ＦＣに対してコントラストを大きくするよう処理を行なう。また、フォーカス領域ＦＣに対してシャープネス処理を施すものであってもよい。

ステップＳ４３０では、ぼかし度合い設定部５４２（図６）が、ぼかし度合い（「ぼかし強度」とも呼ぶ）を設定する。ぼかし度合いは、対象画像ＴＩａ中の背景領域に施すぼかし処理の度合い（強度）である。ぼかし度合い設定部５４２は、予め定められたぼかし度合いと被写体距離Ｓｄとの関係に基づき、ぼかし度合いを設定する。

図１５は、ぼかし度合いと被写体距離Ｓｄとの関係を示すグラフである。横軸は被写体距離Ｓｄを示し、縦軸はぼかし度合いを示している。図１５に示すように、ぼかし度合いと被写体距離Ｓｄとの関係は、被写体距離Ｓｄが大きいほどぼかし度合いが大きくなるように定められている。被写体距離Ｓｄが大きくなるほど、ぼかし度合いと被写体距離Ｓｄとの関係を図１５に示すように定めることによって自然で好ましいぼかし処理が実現される。ぼかし度合い設定部５４２は、ステップＳ４１０で取得された被写体距離Ｓｄと図１５に示した関係とに基づき、ぼかし度合いを設定する。

ステップＳ４３０（図８）では、ぼかし処理部５４０（図６）がぼかし処理を行う。ぼかし処理部５４０は、対象画像ＴＩａ中に設定されたフォーカス領域ＦＣの画像に対し、コントラストを強調するよう画像処理を施し、背景領域ＢＣに対しては、ステップＳ４２００で設定されたぼかし度合いでぼかし処理を行う。なお、ぼかし処理は、例えばガウスフィルタを用いた公知の方法により実行される。図１６は、ぼかし処理後の対象画像ＴＩａの一例を示す説明図である。図１６（ａ）には、被写体距離Ｓｄが比較的小さい場合におけるぼかし処理後の対象画像ＴＩａを示しており、図１６（ｂ）には、被写体距離Ｓｄが比較的大きい場合におけるぼかし処理後の対象画像ＴＩａを示している。図１６（ａ）および図１６（ｂ）に示すように、被写体距離Ｓｄが小さい方が、フォーカス領域以外の画像のぼけ具合が大きくなる。

その後、ぼかし処理後の画像の表示（図８のステップＳ２３０）および印刷（図８のステップＳ２４０）が実行される。補正後の対象画像ＴＩが表示された表示部３５０により、ユーザは、補正結果を確認することができる。ユーザが補正結果に満足せず「戻る」ボタンを選択した場合には、例えば表示部３５０に変形タイプおよび変形度合いを選択する画面が表示され、ユーザによる変形タイプや変形度合いの再度の設定が実行される。ユーザが補正結果に満足し、「印刷」ボタンを選択した場合には、以下の補正画像印刷処理が開始される。

ステップＳ２４０（図８）では、印刷処理部５２０（図６）が、プリンタエンジン３６０を制御して、顔形状補正処理後の対象画像ＴＩの印刷を行う。印刷処理部５２０は、補正処理後の対象画像ＴＩの画像データに、解像度変換やハーフトーン処理などの処理を施して印刷データを生成する。生成された印刷データは、印刷処理部５２０からプリンタエンジン３６０に供給され、プリンタエンジン３６０は対象画像ＴＩの印刷を実行する。これにより、補正後の対象画像ＴＩの印刷が完了する。

以上説明したように、本実施例のプリンタ３００では、推定された被写体距離Ｓｄに基づき、被写体距離Ｓｄが小さいほど変形の度合いが大きくなる（変形量が大きくなる）ように画像変形における変形の度合い（変形量）が設定され、設定された変形量ＤＱを利用して画像の変形処理が行われる。そのため、画像の観察によって得られる被写体の印象を実物の観察によって得られる印象に近づけるような、画像の変形処理を実現することができる。

Ａ−３．変形領域の設定：
上述した顔形状補正処理（図８）における変形領域ＴＡの設定処理（ステップＳ３２０）について詳述する。図１７は、顔領域ＦＡの検出結果の一例を示す説明図である。図１７に示すように、図８のステップＳ３２０において、対象画像ＴＩから顔領域ＦＡが検出されている。図１７に示した基準線ＲＬは、顔領域ＦＡの高さ方向（上下方向）を定義すると共に、顔領域ＦＡの幅方向（左右方向）の中心を示す線である。すなわち、基準線ＲＬは、矩形の顔領域ＦＡの重心を通り、顔領域ＦＡの高さ方向（上下方向）に沿った境界線に平行な直線である。

変形領域ＴＡは、顔領域ＦＡに基づき設定される。ここで、顔領域ＦＡの検出に用いられる公知の顔検出方法（テンプレートを利用したパターンマッチングによる方法等）は、顔全体や顔の部位（目や口等）について位置や傾き（角度）を詳細に検出するものではなく、対象画像ＴＩ中から顔の画像が概ね含まれると考えられる領域を顔領域ＦＡとして設定するものである。他方、顔の画像は、一般に、観察者の注目度が高いため、顔領域ＦＡに基づき設定された変形領域ＴＡと顔の画像との位置や角度の関係によっては、顔形状補正後の画像が不自然なものとなる可能性がある。そこで、本実施例では、より自然で好ましい顔形状補正が実現されるように、ステップＳ３２０で検出された顔領域ＦＡについて、以下に説明する位置調整および傾き調整を行うものとしている。

図１８は、変形領域設定処理の流れを示すフローチャートである。ステップＳ５１０では、顔領域調整部４３０（図１）が、ステップＳ３２０（図８）で検出された顔領域ＦＡの高さ方向の位置調整を行う。ここで、顔領域ＦＡの高さ方向の位置調整とは、顔領域ＦＡの基準線ＲＬ（図１７参照）に沿った位置を調整して、対象画像ＴＩにおける顔領域ＦＡを再設定することを意味している。

図１９は、顔領域ＦＡの高さ方向の位置調整処理の流れを示すフローチャートである。ステップＳ５１１では、顔領域調整部４３０（図１）が、特定領域ＳＡを設定する。ここで、特定領域ＳＡとは、対象画像ＴＩ上の領域であって、顔領域ＦＡの高さ方向の位置調整を実行する際に参照する所定の参照被写体の画像を含む領域である。参照被写体は、例えば「目」に設定することができ、その場合、特定領域ＳＡは「目」の画像を含む領域として設定される。

図２０は、特定領域ＳＡの一例を示す説明図である。本実施例では、顔領域調整部４３０（図１）が、特定領域ＳＡを顔領域ＦＡとの関係に基づいて設定する。具体的には、顔領域ＦＡの大きさを、基準線ＲＬに直行する方向および基準線ＲＬに平行な方向に、所定比率で縮小（または拡大）した大きさの領域であって、顔領域ＦＡの位置と所定の位置関係を有する領域が、特定領域ＳＡとして設定される。すなわち、本実施例では、顔領域検出部４２０により検出された顔領域ＦＡとの関係に基づき特定領域ＳＡを設定すれば、特定領域ＳＡが両方の目の画像を含む領域となるように、上記所定比率や所定の位置関係が予め設定されている。なお、特定領域ＳＡは、目の画像とまぎらわしい画像（例えば髪の毛の画像）がなるべく含まれないように、両目の画像を含む限りにおいて、なるべく小さい領域として設定されることが好ましい。

また、図２０に示すように、特定領域ＳＡは、基準線ＲＬに対して対称な矩形形状の領域として設定される。特定領域ＳＡは、基準線ＲＬにより、向かって左側の領域（以下「左分割特定領域ＳＡ（ｌ）」とも呼ぶ）と、向かって右側の領域（以下「右分割特定領域ＳＡ（ｒ）」とも呼ぶ）とに分割される。特定領域ＳＡは、左分割特定領域ＳＡ（ｌ）と右分割特定領域ＳＡ（ｒ）とのそれぞれに片目の画像が含まれるように設定される。

ステップＳ５１２（図１９）では、顔領域調整部４３０（図６）が、特定領域ＳＡにおける目の画像の位置を検出するための評価値を算出する。図２１は、評価値の算出方法の一例を示す説明図である。本実施例では、ＲＧＢ画像データとしての対象画像ＴＩの各画素のＲ値（Ｒ成分値）が評価値の算出に用いられる。これは、肌の部分の画像と目の部分の画像とではＲ値の差が大きいため、Ｒ値を評価値の算出に用いることにより、目の画像の検出精度を向上させることができると考えられるからである。また、本実施例では、対象画像ＴＩのデータがＲＧＢデータとして取得されているため、Ｒ値を評価値の算出に用いることにより、評価値の算出の効率化を図ることができるからでもある。なお、図２１に示すように、評価値の算出は、２つの分割特定領域（右分割特定領域ＳＡ（ｒ）および左分割特定領域ＳＡ（ｌ））のそれぞれについて個別に行われる。

顔領域調整部４３０は、図２１に示すように、分割特定領域（右分割特定領域ＳＡ（ｒ）および左分割特定領域ＳＡ（ｌ））内に、基準線ＲＬと直行するｎ本の直線（以下「対象画素特定線ＰＬ１〜ＰＬｎ」と呼ぶ）を設定する。対象画素特定線ＰＬ１〜ＰＬｎは、分割特定領域の高さ（基準線ＲＬに沿った大きさ）を（ｎ＋１）等分する直線である。すなわち、対象画素特定線ＰＬ同士の間隔は、すべて等間隔ｓである。

顔領域調整部４３０は、対象画素特定線ＰＬ１〜ＰＬｎのそれぞれについて、対象画像ＴＩを構成する画素の中から評価値の算出に用いる画素（以下「評価対象画素ＴＰ」と呼ぶ）を選択する。図２２は、評価対象画素ＴＰの選択方法の一例を示す説明図である。顔領域調整部４３０は、対象画像ＴＩを構成する画素の内、対象画素特定線ＰＬと重なる画素を評価対象画素ＴＰとして選択する。図２２（ａ）は、対象画素特定線ＰＬが対象画像ＴＩの画素の行方向（図２２のＸ方向）と平行である場合を示している。この場合には、各対象画素特定線ＰＬと重なる画素行上の画素（図２２（ａ）において○印を付した画素）が、各対象画素特定線ＰＬについての評価対象画素ＴＰとして選択される。

一方、顔領域ＦＡの検出方法や特定領域ＳＡの設定方法によっては、図２２（ｂ）に示すように、対象画素特定線ＰＬが対象画像ＴＩの画素の行方向（Ｘ方向）と平行とはならない場合も生ずる。このような場合にも、原則として、各対象画素特定線ＰＬと重なる画素が、各対象画素特定線ＰＬについての評価対象画素ＴＰとして選択される。ただし、例えば図２２（ｂ）における対象画素特定線ＰＬ１と画素ＰＸａおよびＰＸｂとの関係のように、ある対象画素特定線ＰＬが、対象画像ＴＩの画素マトリクスの同一列に位置する（すなわちＹ座標が同一の）２つの画素と重なる場合には、重なり部分の距離のより短い方の画素（例えば画素ＰＸｂ）は評価対象画素ＴＰから除外される。すなわち、各対象画素特定線ＰＬについて、画素マトリクスの１つの列からは１つの画素のみが評価対象画素ＴＰとして選択される。

なお、対象画素特定線ＰＬの傾きが、Ｘ方向に対して４５度を超える場合には、上記説明において画素マトリクスの列と行との関係が逆転し、画素マトリクスの１つの行から１つの画素のみが評価対象画素ＴＰとして選択されることとなる。また、対象画像ＴＩと特定領域ＳＡとの大きさの関係によっては、１つの画素が複数の対象画素特定線ＰＬについての評価対象画素ＴＰとして選択される場合もある。

顔領域調整部４３０は、対象画素特定線ＰＬのそれぞれについて、評価対象画素ＴＰのＲ値の平均値を評価値として算出する。ただし、本実施例では、各対象画素特定線ＰＬについて、選択された複数の評価対象画素ＴＰの内、Ｒ値の大きい一部の画素を評価値の算出対象から除外するものとしている。具体的には、例えば、ある対象画素特定線ＰＬについてｋ個の評価対象画素ＴＰが選択された場合、評価対象画素ＴＰが、Ｒ値の比較的大きい０．７５ｋ個の画素により構成される第１グループと、比較的Ｒ値の小さい０．２５ｋ個の画素により構成される第２グループとの２グループに分けられ、第２グループに属する画素のみが評価値としてのＲ値の平均値の算出対象となる。このように一部の評価対象画素ＴＰを評価値の算出対象から除外する理由については後述する。

以上のように、本実施例では、顔領域調整部４３０により各対象画素特定線ＰＬについての評価値が算出される。ここで、対象画素特定線ＰＬは基準線ＲＬに直行する直線であるため、評価値は、基準線ＲＬに沿った複数の位置（評価位置）について算出されると表現することができる。また、評価値は、各評価位置について、基準線ＲＬに直行する方向に沿った画素値の分布の特徴を表す値と表現することができる。

ステップＳ５１３（図１９）では、顔領域調整部４３０（図６）が、特定領域ＳＡにおける目の位置を検出し、検出結果に基づき高さ基準点Ｒｈを決定する。まず、顔領域調整部４３０は、図２１の右側に示すように、各分割特定領域について、基準線ＲＬに沿った評価値（Ｒ値の平均値）の分布を表す曲線を作成し、評価値が極小値をとる基準線ＲＬ方向に沿った位置を目の位置Ｅｈとして検出する。なお、左分割特定領域ＳＡ（ｌ）における目の位置ＥｈをＥｈ（ｌ）と表し、右分割特定領域ＳＡ（ｒ）における目の位置ＥｈをＥｈ（ｒ）と表わす。

黄色人種の場合、分割特定領域中の肌の画像を表す部分はＲ値が大きい一方、目（より詳細には目の中央の黒目部分）の画像を表す部分はＲ値が小さいと考えられる。そのため、上述のように、評価値（Ｒ値の平均値）が極小値をとる基準線ＲＬに沿った位置を目の位置Ｅｈと判断することが可能となる。但し、他の人種（白色人種や黒色人種）を対象とする場合には、他の評価値（例えば、輝度や明度やＢ値）が用いられる。

なお、図２１に示すように、分割特定領域には、目の画像以外にもＲ値の小さい他の画像（例えば、眉や髪の毛の画像）が含まれている場合もある。そのため、顔領域調整部４３０は、基準線ＲＬに沿った評価値の分布を表す曲線が複数の極小値をとる場合には、極小値をとる位置の内、最も下側の位置を目の位置Ｅｈと判断する。一般に、目の画像より上側には眉や髪の毛等のＲ値の小さい画像が位置することが多い一方、目の画像より下側にはＲ値の小さい画像が位置することが少ないと考えられることから、このような判断が可能となる。

また、上記曲線が、目の画像の位置よりも下側（主に肌の画像に対応した位置）であっても、評価値が大きいながらも極小値をとる可能性があるため、極小値の内、所定の閾値より大きいものは無視するものとしてもよい。あるいは、単純に、各対象画素特定線ＰＬについて算出された評価値の内の最小値に対応した対象画素特定線ＰＬの位置を目の位置Ｅｈとしてもよい。

なお、本実施例では、顔において周囲との色の差が比較的大きいと考えられる部位である目（目の中央の黒目部分）を顔領域ＦＡの位置調整の参照被写体として用いている。しかし、評価値としてのＲ値の平均値は、対象画素特定線ＰＬ上の複数の評価対象画素ＴＰを対象として算出されるため、例えば、黒目の周縁の白目部分の画像の影響により、黒目部分の検出の精度が低下する怖れがある。本実施例では、上述したように、参照被写体とは色の差が大きいと考えられる一部の評価対象画素ＴＰ（例えば上述した第１のグループに属する比較的Ｒ値の大きい画素）を評価値の算出対象から除外することにより、参照被写体の検出精度をより向上させている。

次に、顔領域調整部４３０は、検出された目の位置Ｅｈに基づき高さ基準点Ｒｈを決定する。図２３は、高さ基準点Ｒｈの決定方法の一例を示す説明図である。高さ基準点Ｒｈは、顔領域ＦＡの高さ方向の位置調整の際に、基準として用いられる点である。本実施例では、図２３に示すように、左右２つの目の位置Ｅｈ（ｌ）およびＥｈ（ｒ）の中間に位置する基準線ＲＬ上の点が高さ基準点Ｒｈとして設定される。すなわち、左の目の位置Ｅｈ（ｌ）を示す直線ＥｈＬ（ｌ）と基準線ＲＬとの交点と、右の目の位置Ｅｈ（ｒ）を示す直線ＥｈＬ（ｒ）と基準線ＲＬとの交点と、の中点が、高さ基準点Ｒｈとして設定される。

なお、本実施例では、顔領域調整部４３０が、検出された目の位置Ｅｈに基づき、顔画像の概略の傾き角（以下「概略傾き角ＲＩ」と呼ぶ）を算出するものとしている。顔画像の概略傾き角ＲＩは、対象画像ＴＩ中の顔の画像が、顔領域ＦＡの基準線ＲＬに対して概ねどれぐらい傾いているかを推定した角度である。図２４は、概略傾き角ＲＩの算出方法の一例を示す説明図である。図２４に示すように、顔領域調整部４３０は、まず、左分割特定領域ＳＡ（ｌ）の幅Ｗｓ（ｌ）を半分に分割する直線と直線ＥｈＬ（ｌ）との交点ＩＰ（ｌ）と、右分割特定領域ＳＡ（ｒ）の幅Ｗｓ（ｒ）を半分に分割する直線と直線ＥｈＬ（ｒ）との交点ＩＰ（ｒ）とを決定する。そして、交点ＩＰ（ｌ）と交点ＩＰ（ｒ）とを結ぶ直線に直交する直線ＩＬと、基準線ＲＬとのなす角が、概略傾き角ＲＩとして算出される。

ステップＳ５１４（図１９）では、顔領域調整部４３０（図６）が、顔領域ＦＡの高さ方向の位置調整を行う。図２５は、顔領域ＦＡの高さ方向の位置調整方法の一例を示す説明図である。顔領域ＦＡの高さ方向の位置調整は、高さ基準点Ｒｈが、位置調整後の顔領域ＦＡにおける所定の位置に位置することとなるように、顔領域ＦＡを再設定することにより行う。具体的には、図２５に示すように、高さ基準点Ｒｈが、顔領域ＦＡの高さＨｆを所定の比率ｒ１対ｒ２で分けるような位置に位置することとなるように、顔領域ＦＡが基準線ＲＬに沿って上下に位置調整される。図２５の例では、破線で示した調整前の顔領域ＦＡを上方向に移動することにより、実線で示した調整後の顔領域ＦＡが再設定されている。

顔領域ＦＡの位置調整の後、ステップＳ５２０（図１８）では、顔領域調整部４３０（図６）が、顔領域ＦＡの傾き調整（角度調整）を行う。ここで、顔領域ＦＡの傾き調整とは、対象画像ＴＩにおける顔領域ＦＡの傾きを顔の画像の傾きに適合するように調整して、顔領域ＦＡを再設定することを意味している。本実施例では、顔領域ＦＡの傾き調整を実行する際に参照する所定の参照被写体は、「両目」と設定されている。本実施例における顔領域ＦＡの傾き調整では、傾き調整の調整角度の選択肢を表す複数の評価方向が設定され、各評価方向に対応した評価特定領域ＥＳＡが両目の画像を含む領域として設定される。そして、各評価方向について評価特定領域ＥＳＡの画像の画素値に基づき評価値が算出され、評価値に基づき決定される傾き調整の調整角度を用いて顔領域ＦＡの傾きが調整される。

図２６は、第１実施例における顔領域ＦＡの傾き調整処理の流れを示すフローチャートである。また、図２７は、顔領域ＦＡの傾き調整のための評価値の算出方法の一例を示す説明図である。ステップＳ５２１（図２６）では、顔領域調整部４３０（図６）が、初期評価特定領域ＥＳＡ（０）を設定する。初期評価特定領域ＥＳＡ（０）は、顔領域ＦＡの位置調整後の基準線ＲＬ（図２５参照）と平行な方向（以下「初期評価方向」とも呼ぶ）に対応付けられた評価特定領域ＥＳＡである。本実施例では、位置調整後の顔領域ＦＡに対応した特定領域ＳＡ（図２５参照）が、そのまま初期評価特定領域ＥＳＡ（０）として設定される。なお、顔領域ＦＡの傾き調整における評価特定領域ＥＳＡは、顔領域ＦＡの位置調整時の特定領域ＳＡとは異なり、左右２つの領域に分割されることはない。図２７の最上段には、設定された初期評価特定領域ＥＳＡ（０）が示されている。

ステップＳ５２２（図２６）では、顔領域調整部４３０（図６）が、複数の評価方向と各評価方向に対応した評価特定領域ＥＳＡとを設定する。複数の評価方向は、傾き調整の調整角度の選択肢を表す方向として設定される。本実施例では、基準線ＲＬとのなす角が所定の範囲内である複数の評価方向線ＥＬが設定され、評価方向線ＥＬと平行な方向が評価方向として設定される。図２７に示すように、基準線ＲＬを初期評価特定領域ＥＳＡ（０）の中心点（重心）ＣＰを中心として反時計回りおよび時計回りに所定の角度α刻みで回転させることにより定まる直線が、複数の評価方向線ＥＬとして設定される。なお、基準線ＲＬとのなす角がφ度である評価方向線ＥＬをＥＬ（φ）と表す。

本実施例では、上述した各評価方向線ＥＬと基準線ＲＬとのなす角についての所定の範囲は±２０度と設定される。ここで本明細書では、基準線ＲＬを時計回りに回転させたときの回転角は正の値で表され、基準線ＲＬを反時計回りに回転させたときの回転角は負の値で表される。顔領域調整部４３０は、基準線ＲＬを反時計回りおよび時計回りにα度、２α度・・・と２０度を超えない範囲で回転角を増加させつつ回転させ、複数の評価方向線ＥＬを設定する。図２７には、基準線ＲＬを−α度，−２α度，α度回転させることによりそれぞれ定まる評価方向線ＥＬ（ＥＬ（−α），ＥＬ（−２α），ＥＬ（α））が示されている。なお、基準線ＲＬは、評価方向線ＥＬ（０）とも表現できる。

各評価方向を表す評価方向線ＥＬに対応した評価特定領域ＥＳＡは、初期評価特定領域ＥＳＡ（０）を、中心点ＣＰを中心として、評価方向線ＥＬの設定時の回転角と同じ角度で回転させた領域である。評価方向線ＥＬ（φ）に対応した評価特定領域ＥＳＡは、評価特定領域ＥＳＡ（φ）と表される。図２７には、評価方向線ＥＬ（−α），ＥＬ（−２α），ＥＬ（α）のそれぞれに対応した評価特定領域ＥＳＡ（ＥＳＡ（−α），ＥＳＡ（−２α），ＥＳＡ（α））が示されている。なお、初期評価特定領域ＥＳＡ（０）も評価特定領域ＥＳＡの１つとして扱われるものとする。

ステップＳ５２３（図２６）では、顔領域調整部４３０（図６）が、設定された複数の評価方向のそれぞれについて、評価特定領域ＥＳＡの画像の画素値に基づき評価値を算出する。本実施例では、顔領域ＦＡの傾き調整における評価値として、上述した顔領域ＦＡの位置調整における評価値と同様に、Ｒ値の平均値が用いられる。顔領域調整部４３０は、評価方向に沿った複数の評価位置についての評価値を算出する。

評価値の算出方法は、上述した顔領域ＦＡの位置調整における評価値の算出方法と同様である。すなわち、顔領域調整部４３０は、図２７に示すように、各評価特定領域ＥＳＡ内に、評価方向線ＥＬに直交する対象画素特定線ＰＬ１〜ＰＬｎを設定し、各対象画素特定線ＰＬ１〜ＰＬｎについて評価対象画素ＴＰを選択し、選択された評価対象画素ＴＰのＲ値の平均値を評価値として算出する。

評価特定領域ＥＳＡにおける対象画素特定線ＰＬの設定方法や評価対象画素ＴＰの選択方法は、領域を左右に分割するか否かの違いはあるものの、図２１および図２２に示した顔領域ＦＡの位置調整における方法と同様である。なお、顔領域ＦＡの位置調整時と同様に、選択された評価対象画素ＴＰの内の一部（例えばｋ個の評価対象画素ＴＰの内のＲ値の比較的大きい０．７５ｋ個の画素）を評価値の算出対象から除外するとしてもよい。図２７の右側には、各評価方向について、算出された評価値の評価方向線ＥＬに沿った分布を示している。

なお、対象画素特定線ＰＬは評価方向線ＥＬに直行する直線であるため、評価値は、評価方向線ＥＬに沿った複数の位置（評価位置）について算出されると表現することができる。また、評価値は、各評価位置について、評価方向線ＥＬに直行する方向に沿った画素値の分布の特徴を表す値と表現することができる。

ステップＳ５２４（図２６）では、顔領域調整部４３０（図６）が、顔領域ＦＡの傾き調整に用いる調整角度を決定する。顔領域調整部４３０は、各評価方向について、ステップＳ５２３において算出された評価値の評価方向線ＥＬに沿った分散を算出し、分散の値が最大となる評価方向を選択する。そして、選択された評価方向に対応した評価方向線ＥＬと基準線ＲＬとのなす角を、傾き調整に用いる調整角度として決定する。

図２８は、各評価方向についての評価値の分散の算出結果の一例を示す説明図である。図２８の例では、回転角が−α度である評価方向において、分散が最大値Ｖｍａｘをとる。従って、−α度、すなわち反時計回りにα度の回転角が、顔領域ＦＡの傾き調整に用いる調整角度として決定される。

評価値の分散の値が最大となるときの評価方向に対応した角度が傾き調整に用いる調整角度として決定される理由について説明する。図２７の上から２段目に示すように、回転角が−α度であるときの評価特定領域ＥＳＡ（−α）では、左右の目の中央部（黒目部分）の画像が、概ね対象画素特定線ＰＬに平行な方向（すなわち評価方向線ＥＬに直行する方向）に並ぶような配置となっている。また、このときには、左右の眉の画像も同様に、概ね評価方向線ＥＬに直行する方向に並ぶような配置となる。従って、このときの評価方向線ＥＬに対応した評価方向が、概ね顔の画像の傾きを表す方向であると考えられる。このときには、一般にＲ値が小さい目や眉の画像と一般にＲ値が大きい肌の部分の画像との位置関係が、対象画素特定線ＰＬの方向に沿って両者が重なる部分の小さい位置関係となる。そのため、目や眉の画像の位置における評価値は比較的小さくなり、肌の部分の画像の位置における評価値は比較的大きくなる。従って、評価方向線ＥＬに沿った評価値の分布は、図２７に示すように、比較的ばらつきの大きい（振幅の大きい）分布となり、分散の値は大きくなる。

一方、図２７中の最上段および３段目、４段目に示すように、回転角が０度，−２α度，α度であるときの評価特定領域ＥＳＡ（０），ＥＳＡ（−２α），ＥＳＡ（α）では、左右の目の中央部や左右の眉の画像が、評価方向線ＥＬに直行する方向に並ばず、ずれた配置となっている。従って、このときの評価方向線ＥＬに対応した評価方向は、顔の画像の傾きを表していはいない。このときには、目や眉の画像と肌の部分の画像との位置関係が、対象画素特定線ＰＬの方向に沿って両者が重なる部分の大きい位置関係となる。そのため、評価方向線ＥＬに沿った評価値の分布は、図２７に示すように、比較的ばらつきの小さい（振幅の小さい）分布となり、分散の値は小さくなる。

以上のように、評価方向が顔の画像の傾きの方向に近い場合には、評価方向線ＥＬに沿った評価値の分散の値が大きくなり、評価方向が顔の画像の傾きの方向から遠い場合には、評価方向線ＥＬに沿った評価値の分散の値が小さくなる。従って、評価値の分散の値が最大となるときの評価方向に対応した角度を傾き調整に用いる調整角度として決定すれば、顔領域ＦＡの傾きが顔の画像の傾きに適合するような顔領域ＦＡの傾き調整を実現することができる。

なお本実施例では、評価値の分散の算出結果が、角度の範囲の臨界値、すなわち−２０度または２０度において最大値をとるような結果となった場合には、顔の傾きが正確に評価されていない可能性が高いと考えられるため、顔領域ＦＡの傾き調整を行わないものとしている。

また本実施例では、決定された調整角度が、上述した顔領域ＦＡの位置調整の際に算出された概略傾き角ＲＩと比較される。調整角度と概略傾き角ＲＩとの差が所定の閾値より大きい場合には、顔領域ＦＡの位置調整および傾き調整における評価や決定の際に何らかの誤りが発生したと考えられるため、顔領域ＦＡの位置調整および傾き調整を行わないものとしている。

ステップＳ５２５（図２６）では、顔領域調整部４３０（図６）が、顔領域ＦＡの傾き調整を行う。図２９は、顔領域ＦＡの傾き調整方法の一例を示す説明図である。顔領域ＦＡの傾き調整は、顔領域ＦＡを、初期評価特定領域ＥＳＡ（０）の中心点ＣＰを中心に、ステップＳ５２４において決定された調整角度だけ回転させることにより行う。図２９の例では、破線で示した調整前の顔領域ＦＡを反時計回りにα度回転させることにより、実線で示した調整後の顔領域ＦＡが設定される。

顔領域ＦＡの傾き調整終了後のステップＳ５３０（図１８）では、変形領域設定部４４０（図６）が、変形領域ＴＡを設定する。変形領域ＴＡは、対象画像ＴＩ上の領域であって顔形状補正のための画像変形処理の対象となる領域である。図３０は、変形領域ＴＡの設定方法の一例を示す説明図である。図３０に示すように、本実施例では、変形領域ＴＡは、顔領域ＦＡを基準線ＲＬと平行な方向（高さ方向）および基準線ＲＬに直行する方向（幅方向）に伸張（または短縮）した領域として設定される。具体的には、顔領域ＦＡの高さ方向の大きさをＨｆ、幅方向の大きさをＷｆとすると、顔領域ＦＡを、上方向にｋ１・Ｈｆ、下方向にｋ２・Ｈｆだけ伸ばすと共に、左右にそれぞれｋ３・Ｗｆだけ伸ばした領域が、変形領域ＴＡとして設定される。なお、ｋ１，ｋ２，ｋ３は、所定の係数である。

このように変形領域ＴＡが設定されると、顔領域ＦＡの高さ方向の輪郭線に平行な直線である基準線ＲＬは、変形領域ＴＡの高さ方向の輪郭線にも平行な直線となる。また、基準線ＲＬは、変形領域ＴＡの幅を半分に分割する直線となる。

図３０に示すように、変形領域ＴＡは、高さ方向に関しては、概ね顎から額までの画像を含み、幅方向に関しては、左右の頬の画像を含むような領域として設定される。すなわち、本実施例では、変形領域ＴＡが概ねそのような範囲の画像を含む領域となるように、顔領域ＦＡの大きさとの関係に基づき、上述の係数ｋ１，ｋ２，ｋ３が予め設定されている。

Ａ−４．変形処理：
上述した顔形状補正処理（図８）における変形処理（ステップＳ３６０）について詳述する。図３１は、変形処理の流れを示すフローチャートである。ステップＳ６１０では、変形領域分割部４５０（図６）が、変形領域ＴＡを複数の小領域に分割する。図３２は、変形領域ＴＡの小領域への分割方法の一例を示す説明図である。変形領域分割部４５０は、変形領域ＴＡに複数の分割点Ｄを配置し、分割点Ｄを結ぶ直線を用いて変形領域ＴＡを複数の小領域に分割する。

分割点Ｄの配置の態様（分割点Ｄの個数および位置）は、分割点配置パターンテーブル６１０（図６）により、ステップＳ３１０（図８）において設定される変形タイプと対応付けて定義されている。変形領域分割部４５０は、分割点配置パターンテーブル６１０を参照し、ステップＳ３１０において設定された変形タイプと対応付けられた態様で分割点Ｄを配置する。本実施例では、上述したように、変形タイプとして顔をシャープにするための変形「タイプＡ」（図９参照）が設定されているため、この変形タイプに対応付けられた態様で分割点Ｄが配置される。

図３２に示すように、分割点Ｄは、水平分割線Ｌｈと垂直分割線Ｌｖとの交点と、水平分割線Ｌｈおよび垂直分割線Ｌｖと変形領域ＴＡの外枠との交点とに配置される。ここで、水平分割線Ｌｈおよび垂直分割線Ｌｖは、変形領域ＴＡ内に分割点Ｄを配置するための基準となる線である。図３２に示すように、顔をシャープにするための変形タイプに対応付けられた分割点Ｄの配置では、基準線ＲＬと直行する２本の水平分割線Ｌｈと、基準線ＲＬに平行な４本の垂直分割線Ｌｖとが設定される。２本の水平分割線Ｌｈを、変形領域ＴＡの下方から順に、Ｌｈ１，Ｌｈ２と呼ぶ。また、４本の垂直分割線Ｌｖを、変形領域ＴＡの左から順に、Ｌｖ１，Ｌｖ２，Ｌｖ３，Ｌｖ４と呼ぶ。

水平分割線Ｌｈ１は、変形領域ＴＡにおいて、顎の画像より下方に配置され、水平分割線Ｌｈ２は、目の画像のすぐ下付近に配置される。また、垂直分割線Ｌｖ１およびＬｖ４は、頬のラインの画像の外側に配置され、垂直分割線Ｌｖ２およびＬｖ３は、目尻の画像の外側に配置される。なお、水平分割線Ｌｈおよび垂直分割線Ｌｖの配置は、水平分割線Ｌｈおよび垂直分割線Ｌｖと画像との位置関係が結果的に上述の位置関係となるように予め設定された変形領域ＴＡの大きさとの対応関係に従い実行される。

上述した水平分割線Ｌｈと垂直分割線Ｌｖとの配置に従い、水平分割線Ｌｈと垂直分割線Ｌｖとの交点と、水平分割線Ｌｈおよび垂直分割線Ｌｖと変形領域ＴＡの外枠との交点とに、分割点Ｄが配置される。図３２に示すように、水平分割線Ｌｈｉ（ｉ＝１または２）上に位置する分割点Ｄを、左から順に、Ｄ０ｉ，Ｄ１ｉ，Ｄ２ｉ，Ｄ３ｉ，Ｄ４ｉ，Ｄ５ｉと呼ぶものとする。例えば、水平分割線Ｌｈ１上に位置する分割点Ｄは、Ｄ０１，Ｄ１１，Ｄ２１，Ｄ３１，Ｄ４１，Ｄ５１と呼ばれる。同様に、垂直分割線Ｌｖｊ（ｊ＝１，２，３，４のいずれか）上に位置する分割点Ｄを、下から順に、Ｄｊ０，Ｄｊ１，Ｄｊ２，Ｄｊ３と呼ぶものとする。例えば、垂直分割線Ｌｖ１上に位置する分割点Ｄは、Ｄ１０，Ｄ１１，Ｄ１２，Ｄ１３と呼ばれる。
なお、図３２に示すように、本実施例における分割点Ｄの配置は、基準線ＲＬに対して対称の配置となっている。

変形領域分割部４５０は、配置された分割点Ｄを結ぶ直線（すなわち水平分割線Ｌｈおよび垂直分割線Ｌｖ）により、変形領域ＴＡを複数の小領域に分割する。本実施例では、図３２に示すように、変形領域ＴＡが１５個の矩形の小領域に分割される。
なお本実施例では、分割点Ｄの配置は、水平分割線Ｌｈおよび垂直分割線Ｌｖの本数および位置により定まるため、分割点配置パターンテーブル６１０は水平分割線Ｌｈおよび垂直分割線Ｌｖの本数および位置を定義していると言い換えることも可能である。

ステップＳ６２０（図３１）では、分割領域変形部４６０（図６）が、対象画像ＴＩの変形領域ＴＡを対象とした画像の変形処理を行う。分割領域変形部４６０による変形処理は、ステップＳ６１０で変形領域ＴＡ内に配置された分割点Ｄの位置を移動して、小領域を変形することにより行われる。

変形処理のための各分割点Ｄの位置の移動態様（移動方向および移動距離）は、分割点移動テーブル６２０（図６）により、ステップＳ３１０（図８）において設定される変形タイプと変形の度合いとの組み合わせに対応付けて、予め定められている。分割領域変形部４６０は、分割点移動テーブル６２０を参照し、ステップＳ１２０において設定された変形タイプと変形の度合いとの組み合わせに対応付けられた移動方向および移動距離で、分割点Ｄの位置を移動する。

変形タイプとして顔をシャープにするための変形「タイプＡ」（図９参照）が設定され、変形度合いとして程度「中」の度合いが設定されている場合には、これらの変形タイプおよび変形度合いの組み合わせに対応付けられた移動方向および移動距離で、分割点Ｄの位置が移動されることとなる。

また、変形度合いとして「自動」が選択されている場合には、分割点Ｄの移動方向および移動距離が、変形量設定部４９０によって設定された変形量ＤＱに基づいて決定される。

図３３は、分割点移動テーブル６２０の内容の一例を示す説明図である。また図３４は、分割点移動テーブル６２０に従った分割点Ｄの位置の移動の一例を示す説明図である。図３６には、分割点移動テーブル６２０により定義された分割点Ｄの位置の移動態様の内、顔をシャープにするための変形タイプと変形度合い「自動」との組み合わせに対応付けられた移動態様を示している。図３３に示すように、分割点移動テーブル６２０には、各分割点Ｄについて、基準線ＲＬと直交する方向（Ｈ方向）および基準線ＲＬと平行な方向（Ｖ方向）に沿った移動量が示されている。なお、分割点移動テーブル６２０に示された移動量の単位は、対象画像ＴＩの画素ピッチＰＰである。また、テーブル中の移動量ＤＱｐは、変形量設定部４９０（図６）によって決定される。

図８のステップＳ３５０では、変形量設定部４９０は、設定した変形量ＤＱを画素ピッチに換算することによって、移動量ＤＱｐを算出する。また、Ｈ方向については、向かって右側への移動量が正の値として表され、向かって左側への移動量が負の値として表され、Ｖ方向については、上方への移動量が正の値として表され、下方への移動量が負の値として表される。例えば、分割点Ｄ１１は、Ｈ方向に沿って右側に画素ピッチＰＰのＤＱｐ倍の距離だけ移動され、Ｖ方向に沿って上方に画素ピッチＰＰの２＊ＤＱｐ倍の距離だけ移動される。また、例えば分割点Ｄ２２は、Ｈ方向およびＶ方向共に移動量がゼロであるため、移動されない。なお、変形度合いとして「強（Ｓ）」、「中（Ｍ）」、「弱（Ｗ）」のいずれかが選択された場合には、移動量ＤＱｐとして、変形量設定部４９０によって調整された値の代わりに、各変形度合いに対応付けて予め定められた値が利用される。

なお、本実施例では、変形領域ＴＡの内外の画像間の境界が不自然とならないように、変形領域ＴＡの外枠上に位置する分割点Ｄ（例えば図３２に示す分割点Ｄ１０等）の位置は移動されないものとしている。従って、図３３に示した分割点移動テーブル６２０には、変形領域ＴＡの外枠上に位置する分割点Ｄについての移動態様は定義されていない。

図３４では、移動前の分割点Ｄは白抜きの丸で、移動後の分割点Ｄや位置の移動の無い分割点Ｄは黒丸で示されている。また、移動後の分割点Ｄは分割点Ｄ’と呼ばれるものとする。例えば分割点Ｄ１１の位置は、図３４において右上方向に移動され、分割点Ｄ’１１となる。

なお、本実施例では、基準線ＲＬに対して対称な位置関係にある２つの分割点Ｄの組み合わせ（例えば分割点Ｄ１１とＤ４１との組み合わせ）のすべてが、分割点Ｄの移動後も、基準線ＲＬに対して対称な位置関係を維持するように、移動態様が定められている。

分割領域変形部４６０は、変形領域ＴＡを構成する各小領域について、分割点Ｄの位置移動前の状態における小領域の画像が、分割点Ｄの位置移動により新たに定義された小領域の画像となるように、画像の変形処理を行う。例えば、図３４において、分割点Ｄ１１，Ｄ２１，Ｄ２２，Ｄ１２を頂点とする小領域（ハッチングを付して示す小領域）の画像は、分割点Ｄ’１１，Ｄ’２１，Ｄ２２，Ｄ’１２を頂点とする小領域の画像に変形される。

図３５は、分割領域変形部４６０による画像の変形処理方法の概念を示す説明図である。図３５では、分割点Ｄを黒丸で示している。図３５では、説明を簡略化するために、４つの小領域について、左側に分割点Ｄの位置移動前の状態を、右側に分割点Ｄの位置移動後の状態を、それぞれ示している。図３５の例では、中央の分割点Ｄａが分割点Ｄａ’の位置に移動され、その他の分割点Ｄの位置は移動されない。これにより、例えば、分割点Ｄの移動前の分割点Ｄａ，Ｄｂ，Ｄｃ，Ｄｄを頂点とする矩形の小領域（以下「変形前注目小領域ＢＳＡ」とも呼ぶ）の画像は、分割点Ｄａ’，Ｄｂ，Ｄｃ，Ｄｄを頂点とする矩形の小領域（以下「変形後注目小領域ＡＳＡ」とも呼ぶ）の画像に変形される。

本実施例では、矩形の小領域を小領域の重心ＣＧを用いて４つの三角形領域に分割し、三角形領域単位で画像の変形処理を行っている。図３５の例では、変形前注目小領域ＢＳＡが、変形前注目小領域ＢＳＡの重心ＣＧを頂点の１つとする４つの三角形領域に分割される。同様に、変形後注目小領域ＡＳＡが、変形後注目小領域ＡＳＡの重心ＣＧ’を頂点の１つとする４つの三角形領域に分割される。そして、分割点Ｄａの移動前後のそれぞれの状態において対応する三角形領域毎に、画像の変形処理が行われる。例えば、変形前注目小領域ＢＳＡ中の分割点Ｄａ，Ｄｄおよび重心ＣＧを頂点とする三角形領域の画像が、変形後注目小領域ＡＳＡ中の分割点Ｄａ’，Ｄｄおよび重心ＣＧ’を頂点とする三角形領域の画像に変形される。

図３６は、三角形領域における画像の変形処理方法の概念を示す説明図である。図３６の例では、点ｓ，ｔ，ｕを頂点とする三角形領域ｓｔｕの画像が、点ｓ’，ｔ’，ｕ’を頂点とする三角形領域ｓ’ｔ’ｕ’の画像に変形される。画像の変形は、変形後の三角形領域ｓ’ｔ’ｕ’の画像中のある画素の位置が、変形前の三角形領域ｓｔｕの画像中のどの位置に相当するかを算出し、算出された位置における変形前の画像における画素値を変形後の画像の画素値とすることにより行う。

例えば、図３６において、変形後の三角形領域ｓ’ｔ’ｕ’の画像中の注目画素ｐ’の位置は、変形前の三角形領域ｓｔｕの画像中の位置ｐに相当するものとする。位置ｐの算出は、以下のように行う。まず、注目画素ｐ’の位置を、下記の式（４）のようにベクトルｓ’ｔ’とベクトルｓ’ｕ’との和で表現するための係数ｍ１およびｍ２を算出する。

次に、算出された係数ｍ１およびｍ２を用いて、下記の式（５）により、変形前の三角形領域ｓｔｕにおけるベクトルｓｔとベクトルｓｕとの和を算出することにより、位置ｐが求まる。

変形前の三角形領域ｓｔｕにおける位置ｐが、変形前の画像の画素中心位置に一致した場合には、当該画素の画素値が変形後の画像の画素値とされる。一方、変形前の三角形領域ｓｔｕにおける位置ｐが、変形前の画像の画素中心位置からはずれた位置となった場合には、位置ｐの周囲の画素の画素値を用いたバイキュービック等の補間演算により、位置ｐにおける画素値を算出し、算出された画素値が変形後の画像の画素値とされる。

変形後の三角形領域ｓ’ｔ’ｕ’の画像中の各画素について上述のように画素値を算出することにより、三角形領域ｓｔｕの画像から三角形領域ｓ’ｔ’ｕ’の画像への画像変形処理を行うことができる。分割領域変形部４６０は、図３４に示した変形領域ＴＡを構成する各小領域について、上述したように三角形領域を定義して変形処理を行い、変形領域ＴＡにおける画像変形処理を行う。

ここで、変形タイプとして顔をシャープにするための変形「タイプＡ」（図９参照）が設定され、変形度合いとして「自動」が設定された場合を例に取り、顔形状補正の態様についてより詳細に説明する。図３７は、この場合における顔形状補正の態様を示す説明図である。図３７には、変形領域ＴＡを構成する各小領域の変形態様のイメージを矢印により示している。

図３７の例に示す顔形状補正では、基準線ＲＬと平行な方向（Ｖ方向）に関し、水平分割線Ｌｈ１上に配置された分割点Ｄ（Ｄ１１，Ｄ２１，Ｄ３１，Ｄ４１）の位置は上方に移動される一方、水平分割線Ｌｈ２上に配置された分割点Ｄ（Ｄ１２，Ｄ２２，Ｄ３２，Ｄ４２）の位置は移動されない（図３３参照）。従って、水平分割線Ｌｈ１と水平分割線Ｌｈ２との間に位置する画像は、Ｖ方向に関して縮小される。上述したように、水平分割線Ｌｈ１は顎の画像より下方に配置され、水平分割線Ｌｈ２は目の画像のすぐ下付近に配置されるため、この顔形状補正では、顔の画像の内、顎から目の下にかけての部分の画像がＶ方向に縮小されることとなる。この結果、画像中の顎のラインは上方に移動する。

他方、基準線ＲＬと直交する方向（Ｈ方向）に関しては、垂直分割線Ｌｖ１上に配置された分割点Ｄ（Ｄ１１，Ｄ１２）の位置は右方向に移動され、垂直分割線Ｌｖ４上に配置された分割点Ｄ（Ｄ４１，Ｄ４２）の位置は左方向に移動される（図３３参照）。さらに、垂直分割線Ｌｖ２上に配置された２つの分割点Ｄの内、水平分割線Ｌｈ１上に配置された分割点Ｄ（Ｄ２１）の位置は右方向に移動され、垂直分割線Ｌｖ３上に配置された２つの分割点Ｄの内、水平分割線Ｌｈ１上に配置された分割点Ｄ（Ｄ３１）の位置は左方向に移動される（図３３参照）。従って、垂直分割線Ｌｖ１より左側に位置する画像は、Ｈ方向に関して右側に拡大され、垂直分割線Ｌｖ４より右側に位置する画像は、左側に拡大される。また、垂直分割線Ｌｖ１と垂直分割線Ｌｖ２との間に位置する画像は、Ｈ方向に関して縮小または右側に移動され、垂直分割線Ｌｖ３と垂直分割線Ｌｖ４との間に位置する画像は、Ｈ方向に関して縮小または左側に移動される。さらに、垂直分割線Ｌｖ２と垂直分割線Ｌｖ３との間に位置する画像は、水平分割線Ｌｈ１の位置を中心にＨ方向に関して縮小される。

上述したように、垂直分割線Ｌｖ１およびＬｖ４は、頬のラインの画像の外側に配置され、垂直分割線Ｌｖ２およびＬｖ３は、目尻の画像の外側に配置される。そのため、図３７の例における顔形状補正では、顔の画像の内、両目尻より外側の部分の画像が全体的にＨ方向に縮小される。特に顎付近において縮小率が高くなる。この結果、画像中の顔の形状は、全体的に幅方向に細くなる。

上述したＨ方向およびＶ方向の変形態様を総合すると、図３７の例に示した顔形状補正により、対象画像ＴＩ中の顔の形状がシャープになる。なお、顔の形状がシャープになるとは、いわゆる「小顔」になると表現することもできる。

なお、図３７に示す分割点Ｄ２２，Ｄ３２，Ｄ３３，Ｄ２３を頂点とする小領域（ハッチングを付した領域）は、上述した水平分割線Ｌｈ２や垂直分割線Ｌｖ２およびＬｖ３の配置方法によると、両目の画像を含む領域となる。図３３に示すように、分割点Ｄ２２およびＤ３２はＨ方向にもＶ方向にも移動されないため、この両目の画像を含む小領域は変形されない。このように図３７の例では、両目の画像を含む小領域については変形しないこととし、顔形状補正後の画像がより自然で好ましいものとなるようにしている。

また、対象画像ＴＩ上の一部の変形領域が変形される代わりに、対象画像ＴＩの全体のアスペクト比を変更するものであってもよい。この場合、被写体の幅方向に沿って対象画像ＴＩを圧縮する変形処理するものの他、被写体の高さ方向に沿って対象画像ＴＩを伸張する変形処理であってもよい。この場合も、被写体の高さに対する幅の比率が小さくなるので、画像の観察によって得られる被写体の印象を、実物の観察によって得られる印象に近づけることができる。

Ｂ．第二の実施形態
上記した第一の実施形態では、被写体距離Ｓｄとして撮影装置から被写体までの距離を使用し、被写体距離Ｓｄに応じて画像処理の度合いを変更した。さらに、対象画像ＴＩにおける各撮像対象の間の相対的な距離を使用し、対象画像ＴＩ内の領域ごとに画像処理の度合いを変化させるものであってもよい。ここで、撮像対象とは、対象画像ＴＩ内に存在する各物体を意味する。また、各撮像対象の相対的な距離とは、対象画像ＴＩに含まれる各撮像対象の間の距離を言う。

肉眼を通して結像される画像は、注目対象からの距離に応じて鮮鋭度が変化する。つまり、肉眼では注目対象に対しては鮮鋭度が高くなるようピントを調整するため、注目対象から距離が遠ざかるほど鮮鋭度が低下していく。そのため、ＤＳＣ１００において、フォーカスが合わせられた領域（フォーカス領域ＦＣ）を基準として、フォーカス領域ＦＣからの距離に応じて鮮鋭度が変化するよう、画像データに対して処理を行なう。なお、第二の実施形態におけるＤＳＣ１００とプリンタ３００の構成は第一の実施形態と同様である。

図３８は、対象画像ＴＩにおけるフォーカス領域ＦＣと、背景領域ＢＣとの位置関係を示す。また、図３９は、フォーカス領域ＦＣと、背景領域ＢＣとの距離関係を説明する図である。図に示すように、背景領域ＢＣ１，ＢＣ２に含まれる物体はフォーカス領域ＦＣに対して撮影位置側に存在する物体である。また、背景領域ＢＣ３，ＢＣ４に含まれる物体は、フォーカス領域ＦＣに対して後方に存在する物体である。また、図４０は、相対的距離Ｓｄ２とぼかし度合いとの関係を示す図である。なお、図４０におけるぼかし度合いは、相対的距離Ｓｄ２が大きくなるほど、ぼかし度合いが大きくなるものである。

図４１は、第２実施例のＤＳＣ１００による距離算出の流れを示すフローチャートである。なお、この処理は図２におけるステップＳ１３０で実行される。ステップＳ７００では、被写体距離推定部２３０は、ピントを合わせたい領域に対してオートフォーカスを行いフォーカス領域ＦＣを取得する。ステップＳ７１０にて、レンズ１０２はまだ１回も移動されていないため、被写体距離推定部２３０は、レンズ駆動制御部１０６を制御し、レンズ１０２を所定位置まで移動させて焦点を変化させる（ステップＳ７２０）。

そして、レンズ１０２を所定位置まで移動させた状態で距離推定用画像を取得する（ステップＳ７３０）。ステップＳ７１０〜Ｓ７３０の一連のステップにより、情報取得部２４０は、焦点の異なる複数枚の距離推定用画像を取得する。

図４２は、レンズ位置の変化における、フォーカス領域ＦＣと背景領域ＢＣとの空間周波数の変化を示す図である。なお、図４２では、横軸は、レンズ１０２の移動後の位置を示し、縦軸は、各領域における空間周波数の値を示す。被写体距離推定部２３０は、取得した複数枚の距離推定用画像における、各レンズ位置での各領域の空間周波数を検出する（ステップＳ７４０）。このとき、被写体距離推定部２３０は、図３８に示す、各領域ごとの空間周波数の値を検出していく。

また、被写体距離推定部２３０は、検出した空間周波数の値を領域ごとに比較して、相対的な位置関係を算出する（ステップＳ７５０）。図４２に示すように、レンズ１０２の位置の変化に応じて、各領域における空間周波数は変化する。ここで、空間周波数が高いレンズ位置は、領域に対してピントが合っているとみなすことができるため、空間周波数の値の変化に応じて、レンズ１０２が領域に対してピントが合っているかを判断することができる。具体的には、各領域における空間周波数の値と、レンズ１０２の位置関係とを対応付けるテーブルを記憶しておき、このテーブルを参照することで、各領域間の相対的な位置関係を算出すればよい。なお、ステップＳ７１０で、レンズ１０２を移動させる回数を多くしていけば、空間周波数のサンプル数が増加するため、より詳細に相対的な位置関係を検出することができる。

例えば領域ＢＣ１は、レンズ位置が手前から前方に移動するに従って空間周波数が高くなり、位置ｆ１近傍でピークとなる。その後、空間周波数はレンズ１０２が手前から前方に移動するに従い低くなっていく。このため、フォーカス領域ＦＣにおける空間周波数の値の変化（ｆ０でピーク）と比較した場合、領域ＢＣは、フォーカス領域ＦＣに対して前方に存在する物体であると判断することができる。なお、ｆ０は、フォーカス領域ＦＣを形成する画像にピントが合わせられた時の、レンズ１０２の位置である。上記した空間周波数の変化と、フォーカス領域、及び他の背景領域とにおける周波数の変化を比較することにより、各領域のフォーカス領域に対する相対的な位置関係を算出することが可能となる。

情報取得部２４０は、算出した各領域の相対的位置関係を各領域に対応させた付加情報として記憶する。このとき、記憶される付加情報としての相対的距離Ｓｄ２は、領域を構成する各画素ごとに対応させて記憶されるものである。また、画像データがＲＧＢの色データのチャンネルの他、その他のチャンネルを有する場合は、このチャンネルに直接記憶させてもよい。

こうして記憶された距離情報Ｓｄ２は、プリンタ３００側で読み取られ、ぼかし処理部５４０におけるぼかし度合いの算定として使用される。つまり、ぼかし処理部５４０は、図８におけるステップＳ２８０において、図４０に示されたぼかし度合いを基に、領域ごとにぼかし度合いを設定し処理を実行する。そのため、補正後の画像データでは、フォーカス領域ＦＣに対してはコントラストを上げる処理が実行され、他の領域に対しては、相対的距離Ｓｄ２に応じてぼかし処理の度合いを変えて実行される。このため、図３８に示すように、フォーカス領域ＦＣは鮮明な画像となり、背景領域ＢＣ２，ＢＣ３はぼかし処理の度合いが小さく、背景領域ＢＣ１，ＢＣ４はぼかし処理の度合いが大きくなる。
これにより、フォーカス領域ＦＣからの相対的な距離に応じてぼかしの度合いが変化するため、補正後の画像データは肉眼を通じて結像した画像に近くなる。

本発明の第１実施例における画像処理装置としてのディジタルスチルカメラ１００の構成を概略的に示す説明図である。 第１実施例のＤＳＣ１００による画像生成処理の流れを示すフローチャートである。 顔領域ＦＡの検出結果の一例を示す説明図である。 被写体距離Ｓｄの推定方法を示す説明図である。 第３実施例における画像生成処理の概要を示す説明図である。 本発明の第１実施例における画像処理装置としてのプリンタ３００の構成を概略的に示す説明図である。 画像の一覧表示を含むユーザインターフェースの一例を示す説明図である。 第１実施例のプリンタ３００による顔形状補正印刷処理の流れを示すフローチャートである。 画像変形のタイプおよび度合いを設定するためのユーザインターフェースの一例を示す説明図である。 変形処理が行われた結果を示す説明図である。 被写体の印象の違いを示す説明図である。 第１幅Ｗ１に対する第２幅Ｗ２の比率Ｒｉと距離ｄとの関係を示すグラフである。 変形量ＤＱと被写体距離Ｓｄとの関係、および、比率Ｒｗと被写体距離Ｓｄとの関係を示すグラフである。 背景ぼかし印刷処理の対象画像ＴＩａの一例を示す説明図である。 ぼかし度合いと被写体距離Ｓｄとの関係を示すグラフである。 ぼかし処理後の対象画像ＴＩａの一例を示す説明図である。 顔領域ＦＡの検出結果の一例を示す説明図である。 変形領域設定処理の流れを示すフローチャートである。 顔領域ＦＡの高さ方向の位置調整処理の流れを示すフローチャートである。 特定領域ＳＡの一例を示す説明図である。 評価値の算出方法の一例を示す説明図である。 評価対象画素ＴＰの選択方法の一例を示す説明図である。 高さ基準点Ｒｈの決定方法の一例を示す説明図である。 概略傾き角ＲＩの算出方法の一例を示す説明図である。 顔領域ＦＡの高さ方向の位置調整方法の一例を示す説明図である。 第１実施例における顔領域ＦＡの傾き調整処理の流れを示すフローチャートである。 顔領域ＦＡの傾き調整のための評価値の算出方法の一例を示す説明図である。 各評価方向についての評価値の分散の算出結果の一例を示す説明図である。 顔領域ＦＡの傾き調整方法の一例を示す説明図である。 変形領域ＴＡの設定方法の一例を示す説明図である。 変形処理の流れを示すフローチャートである。 変形領域ＴＡの小領域への分割方法の一例を示す説明図である。 分割点移動テーブル６２０の内容の一例を示す説明図である。 分割点移動テーブル６２０に従った分割点Ｄの位置の移動の一例を示す説明図である。 分割領域変形部４６０による画像の変形処理方法の概念を示す説明図である。 三角形領域における画像の変形処理方法の概念を示す説明図である。 この場合における顔形状補正の態様を示す説明図である。 対象画像ＴＩにおけるフォーカス領域ＦＣと、背景領域ＢＣとの位置関係を示す。 フォーカス領域ＦＣと、背景領域ＢＣとの距離関係を説明する図である。 相対的距離Ｓｄ２とぼかし度合いとの関係を示す図である。 レンズ位置の変化における、フォーカス領域ＦＣと背景領域ＢＣでの空間周波数の変化を示す図である。 レンズ位置の変化における、フォーカス領域ＦＣと背景領域ＢＣとの空間周波数の変化を示す図である。

符号の説明

１００…ディジタルスチルカメラ、１０２…レンズ、１０４…レンズ駆動部、１０６…レンズ駆動制御部、１０８…撮像素子、１１０…Ａ／Ｄ変換器、１１４…表示部、１１６…操作部、１１８…ＣＰＵ、１２２…バス、２００…内部メモリ、２１０…画像生成部、２２０…顔領域検出部、２３０…被写体距離推定部、２４０…情報取得部、２５０…画像ファイル生成部、２６０…焦点範囲設定部、２７０…タイミング決定部、３００…プリンタ、３２０…内部メモリ、３４０…操作部、３５０…表示部、３６０…プリンタエンジン、３７０…カードインターフェース（カードＩ／Ｆ）、３７２…カードスロット、４００…顔形状補正部、４１０…変形態様設定部、４１２…指定取得部、４２０…顔領域検出部、４３０…顔領域調整部、４４０…変形領域設定部、４５０…変形領域分割部、４６０…分割領域変形部、４９０…変形量設定部、５１０…表示処理部、５２０…印刷処理部、５３０…被写体距離取得部、５４０…ぼかし処理部、５４２…ぼかし度合設定部、６１０…分割点配置パターンテーブル、６２０…分割点移動テーブル

Claims (5)

1. 撮像によって生成された画像データにおける顔を検出する顔検出手段と、
   前記画像データに含まれる撮影対象物の位置関係を推定する位置関係推定手段と、
   前記顔検出手段が顔を検出した場合、前記撮影対象物の前記推定された位置関係が撮影位置から近くなるほど該検出した顔の幅を狭くする顔補正処理を行なう顔変形補正手段と、
   前記顔検出手段が顔を検出しない場合に、該画像データの焦点が合った領域に対しては鮮鋭度を高める処理を実行し、焦点が合っていない領域に対しては、前記推定された位置関係が撮影位置から遠くなるほどぼかし処理の度合いを強くするようぼかし処理を実行するぼかし処理手段とを有することを特徴とする画像処理装置。
2. 前記位置関係推定手段は、
   前記画像データにおける顔に対しては、前記画像データに含まれる撮影対象物の位置関係を、焦点から前記撮影対象物までの距離を示す被写体距離をもとに推定し、
   前記顔以外の領域に対しては、前記画像データにおける前記焦点が合った領域での空間周波数を基準とした同空間周波数の変化に応じて、前記位置関係を推定することを特徴とする請求項１に記載の画像処理装置。
3. 本画像処理装置は、前記画像データに対して複数種類の画像処理を施すことが可能であって、
   前記複数種類の画像処理の実行を受付け、受け付けた前記画像処理を実行することを特徴とする請求項１又は請求項２のいずれか一項に記載の画像処理装置。
4. 被写体を撮像して得られた画像データに所定の画像処理を施す画像処理方法において、 前記画像データにおける顔を検出し、
   前記画像データに含まれる撮影対象物の位置関係を推定し、
   顔を検出した場合、前記撮影対象物の前記推定された位置関係が撮影位置から近くなるほど該検出した顔の幅を狭くする顔補正処理を行い、
   顔を検出しない場合に、該画像データの焦点が合った領域に対しては鮮鋭度を高める処理をし、焦点が合っていない領域に対しては、前記推定された位置関係が撮影位置から遠くなるほどぼかし処理の度合いを強くするようぼかし処理をすることを特徴とする画像処理方法。
5. 被写体を撮像して画像データを得る画像データ取得装置と、前記取得された画像データに画像処理を施すとともに、該画像データを出力する出力装置とを備える画像処理システムにおいて、
   前記画像データ取得装置は、
   前記画像データに含まれる撮影対象物の位置関係を推定する位置関係推定手段と、
   前記画像データと、前記推定した位置関係を示すデータを含む画像ファイルを生成する画像ファイル生成手段と、を有し、
   前記出力装置は、
   前記画像データにおける顔を検出する顔検出手段と、
   前記顔検出手段が顔を検出した場合、前記撮影対象物の前記推定された位置関係が撮影位置から近くなるほど該検出した顔の幅を狭くする顔補正処理を行なう人顔補正手段と、
   前記顔検出手段が顔を検出しない場合、前記画像データの焦点が合った領域に対しては鮮鋭度を高める処理を実行し、焦点が合っていない領域に対しては、前記推定された位置関係が撮影位置から遠くなるほどぼかし処理の度合いを強くするようぼかし処理を実行するぼかし処理手段を有することを特徴とする画像処理システム。

Images