JP4816538B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は、対象画像上の少なくとも一部の領域を変形する画像処理技術に関する。

デジタル画像を対象に、画像を変形するための画像処理技術が知られている（例えば特許文献１）。特許文献１には、顔の画像上の一部の領域（頬の画像を表す領域）を補正領域として設定し、補正領域を所定のパターンに従い複数の小領域に分割し、小領域毎に設定された倍率で画像を拡大または縮小することにより、顔の形状を変形する画像処理が開示されている。

特開２００４−３１８２０４

上記従来の画像変形のための画像処理では、画像の変形が行われる補正領域は頬の画像を表す領域に設定されるので、通常これらの補正領域が重複することはない。そのため、変形対象の補正領域が重複した場合については考慮がなされていない。この問題は、顔の補正を行う画像処理のみならず、画像の一部分を補正する画像処理一般に共通する。

本発明は、上述した従来の課題を解決するためになされたものであり、変形対象の領域が重複した場合の変形処理結果をより好ましいものとする技術を提供することを目的とする。

上記課題の少なくとも一部を解決するために、本発明の画像処理装置は、対象画像上の少なくとも一部の領域を変形領域として設定する変形領域設定部と、前記変形領域内の画像の変形を行う変形処理部と、複数の変形領域が重複した場合に、前記対象画像から取得されるパラメータに基づいて前記複数の変形領域中の変形領域に優先順位を設定する優先順位設定部と、を備え、前記変形処理部は、前記優先順位設定部により設定される優先順位に基づいて、前記複数の変形領域の変形処理を行うことを特徴とする。

この構成によれば、複数の変形領域が重複している場合には、対象画像から取得されるパラメータに基づいて変形領域に優先順位が設定される。そのため、対象画像の特性に応じた優先順位を設定することができ、優先順位に基づいて複数の変形領域を変形した変形処理結果をより好ましいものとすることができる。

前記変形処理部は、前記複数の変形領域のうちの前記優先順位が最も高い優先変形領域の変形処理を行い、前記複数の変形領域のうちの前記優先順位が前記優先変形領域よりも低い変形領域の少なくとも一つの変形領域の変形処理を行わないものとしてもよい。

この構成によれば、複数の変形領域のうちの優先変形領域よりも優先順位が低い変形領域の少なくとも一つの変形処理が行われない。そのため、優先変形領域の変形結果に対する優先順位が低い変形領域の変形の影響を低減することができる。

前記画像処理装置は、さらに、前記変形処理部により前記変形領域内の画像が変形された変形済画像を格納する変形済画像格納部を備え、前記変形処理部は、前記変形済画像格納部に前記変形済画像が格納されている場合には、前記変形済画像の変形領域に対して画像の変形処理を行い、前記複数の変形領域の変形処理を前記優先順位の順に実行するものとしてもよい。

前記対象画像は、人物の顔を含む画像であり、前記変形領域設定部は、前記人物の顔の複数の器官の画像を含む領域を変形領域として設定するものとしてもよい。

変形領域として人物の顔に含まれる複数の器官を含む場合、変形領域の重複が生じやすい。また、一般に、人物の顔は、画像の中での注目度が高い領域である。そのため、人物の顔を変形処理する場合には、より自然な変形結果とするのが望ましいので、優先順位に基づいて変形処理を行う効果がより大きくなる。

［変形処理を行うための手段］
変形処理を行うために、前記画像処理装置は、画像の変形を行う画像処理装置であって、対象画像上の少なくとも一部の領域を変形領域として設定する変形領域設定部と、前記変形領域内に複数の分割点を配置し、前記分割点同士を結ぶ直線を用いて前記変形領域を複数の小領域に分割する変形領域分割部と、少なくとも１つの前記分割点の位置を移動して前記小領域を変形することにより前記変形領域内の画像の変形を行う変形処理部と、を備えるものとしてもよい。

この画像処理装置では、対象画像上に設定された変形領域内に複数の分割点が配置され、分割点同士を結ぶ直線を用いて変形領域が複数の小領域に分割される。また、分割点の位置が移動され、小領域が変形されることにより変形領域内の画像の変形処理が実行される。このように、この画像処理装置では、変形領域内に分割点を配置して、配置された分割点を移動するだけで画像変形を行うことができ、多様な変形態様に対応した画像変形の画像処理を、容易に、かつ効率的に実現することができる。

上記画像処理装置において、さらに、複数の所定の変形タイプの内の１つを選択して前記変形領域内の画像の変形に適用する変形タイプとして設定する変形態様設定部を備え、前記変形領域分割部は、前記設定された変形タイプに対応付けられた所定の配置パターンに従い前記複数の分割点を配置するとしてもよい。

このようにすれば、例えば顔をシャープする変形タイプや目を大きくする変形タイプ等、それぞれの変形タイプに適した分割点の配置、すなわち変形領域の分割が行われるため、各変形タイプに対応した画像変形のための画像処理のさらなる容易化を実現することができる。

また、上記画像処理装置において、前記変形態様設定部は、複数の所定の変形度合いの内の１つを選択して前記変形領域内の画像の変形に適用する変形度合いとして設定し、前記変形処理部は、前記設定された変形タイプと変形度合いとの組み合わせに対応付けられた所定の移動方向および移動量に従い前記分割点の位置を移動するとしてもよい。

このようにすれば、変形タイプと変形度合いとが設定されれば、それらの組み合わせに応じた画像変形が実行されるため、画像変形のための画像処理のさらなる容易化を実現することができる。

また、上記画像処理装置において、前記変形態様設定部は、少なくとも１つの前記分割点について、前記分割点の移動方向および移動量に関するユーザ指定を取得する指定取得部を含み、前記変形処理部は、前記取得されたユーザ指定に従い前記分割点の位置を移動するとしてもよい。

このようにすれば、よりユーザの希望に近い態様での画像変形のための画像処理を容易に実現することができる。

また、上記画像処理装置において、前記変形領域設定部は、前記変形領域に顔の少なくとも一部の画像が含まれるように前記変形領域を設定するとしてもよい。

このようにすれば、顔の画像を対象として、多様な変形態様に対応した画像変形のための画像処理を、容易に、かつ効率的に実現することができる。

また、上記画像処理装置において、前記変形領域分割部は、少なくとも１組の前記分割点が所定の基準線に対して互いに対称の位置に配置されるように、前記複数の分割点を配置し、前記変形処理部は、前記少なくとも１組の分割点を、前記所定の基準線に対して互いに対称である位置関係を維持したまま移動するとしてもよい。

このようにすれば、所定の基準線に対して左右対称な画像変形が行われることとなり、より自然で好ましい顔画像の画像変形のための画像処理を実現することができる。

また、上記画像処理装置において、前記変形処理部は、少なくとも１つの前記小領域について、変形を行わないとしてもよい。

このようにすれば、顔の印象を大きく変更することなく所望の画像変形を行うことが可能となり、より自然で好ましい顔画像の画像変形のための画像処理を実現することができる。

また、上記画像処理装置において、前記変形処理部は、目の画像を含む前記小領域について、変形を行わないとしてもよい。

このようにすれば、目の画像を含む小領域については変形を行わないものとすることにより、より自然で好ましい顔画像の画像変形のための画像処理を実現することができる。

また、上記画像処理装置において、さらに、前記対象画像上の顔の画像を表す顔領域を検出する顔領域検出部を備え、前記変形領域設定部は、検出された前記顔領域に基づき前記変形領域を設定するとしてもよい。

このようにすれば、対象画像から検出された顔領域に基づき設定された変形領域の画像変形について、多様な変形態様に対応した画像変形のための画像処理を、容易に、かつ効率的に実現することができる。

また、上記画像処理装置において、さらに、前記変形領域内の画像の変形が行われた前記対象画像を印刷する印刷部を備えるとしてもよい。

このようにすれば、多様な変形態様に対応した画像変形後の画像の印刷を、容易に、かつ効率的に実現することができる。

なお、本発明は、種々の態様で実現することが可能であり、例えば、画像処理方法および装置、画像変形方法および装置、画像補正方法および装置、これらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、そのコンピュータプログラムを含み搬送波内に具現化されたデータ信号、等の形態で実現することができる。

次に、本発明の実施の形態を実施例に基づいて以下の順序で説明する。
Ａ．第１実施例：
Ｂ．第２実施例：
Ｃ．変形領域の設定：
Ｄ．顔変形処理：
Ｅ．変形例：

Ａ．第１実施例：
図１は、本発明の一実施例としての画像処理装置が適用されるプリンタ１００の構成を概略的に示す説明図である。プリンタ１００は、メモリカードＭＣ等から取得した画像データに基づき画像を印刷する、いわゆるダイレクトプリントに対応したカラーインクジェットプリンタである。プリンタ１００は、プリンタ１００の各部を制御するＣＰＵ１１０と、例えばＲＯＭやＲＡＭによって構成された内部メモリ１２０と、ボタンやタッチパネルにより構成された操作部１４０と、液晶ディスプレイにより構成された表示部１５０と、プリンタエンジン１６０と、カードインタフェース（カードＩ／Ｆ）１７０と、を備えている。プリンタ１００は、さらに、他の機器（例えば、デジタルスチルカメラやパーソナルコンピュータ）とのデータ通信を行うためのインタフェースを備えているものとしてもよい。プリンタ１００の各構成要素は、バスを介して互いに接続されている。

プリンタエンジン１６０は、印刷データに基づき印刷を行う印刷機構である。カードインタフェース１７０は、カードスロット１７２に挿入されたメモリカードＭＣとの間でデータのやり取りを行うためのインタフェースである。なお、第１実施例では、メモリカードＭＣにＲＧＢデータとしての画像データが格納されており、プリンタ１００は、カードインタフェース１７０を介してメモリカードＭＣに格納された画像データの取得を行う。

内部メモリ１２０には、顔形状補正部２００と、表示処理部３１０と、印刷処理部３２０とが格納されている。顔形状補正部２００は、所定のオペレーティングシステムの下で、後述する顔形状補正処理を実行するためのコンピュータプログラムである。表示処理部３１０は、表示部１５０を制御して、表示部１５０上に処理メニューやメッセージを表示させるディスプレイドライバである。印刷処理部３２０は、画像データから印刷データを生成し、プリンタエンジン１６０を制御して、印刷データに基づく画像の印刷を実行するためのコンピュータプログラムである。ＣＰＵ１１０は、内部メモリ１２０から、これらのプログラムを読み出して実行することにより、これら各部の機能を実現する。

顔形状補正部２００は、プログラムモジュールとして、変形態様設定部２１０と、顔領域検出部２２０と、顔領域調整部２３０と、変形領域設定部２４０と、変形領域分割部２５０と、分割領域変形部２６０と、領域重複検出部２７０と、優先順位設定部２８０と、を含んでいる。変形態様設定部２１０は、指定取得部２１２を含んでいる。後述するように、変形領域分割部２５０と、分割領域変形部２６０と、により画像の変形が行われる。そのため、変形領域分割部２５０と分割領域変形部２６０とは、併せて「変形処理部」とも呼ぶことができる。これらの各部の機能については、後述する。

内部メモリ１２０には、また、分割点配置パターンテーブル４１０と分割点移動テーブル４２０とが格納されている。分割点配置パターンテーブル４１０および分割点移動テーブル４２０の内容については、後述の顔変形処理の説明において詳述する。

プリンタ１００は、メモリカードＭＣに格納された画像データに基づき、画像の印刷を行う。カードスロット１７２にメモリカードＭＣが挿入されると、表示処理部３１０により、メモリカードＭＣに格納された画像の一覧表示を含むユーザインタフェースが表示部１５０に表示される。図２は、画像の一覧表示を含むユーザインタフェースの一例を示す説明図である。なお、第１実施例では、画像の一覧表示は、メモリカードＭＣに格納された画像データ（画像ファイル）に含まれるサムネイル画像を用いて実現される。図２に示すユーザインタフェースには、８つのサムネイル画像ＴＮ１〜ＴＮ６と、５つのボタンＢＮ１〜ＢＮ５が表示されている。

プリンタ１００は、図２に示すユーザインタフェースにおいて、ユーザにより、１つ（または複数）の画像が選択されると共に通常印刷ボタンＢＮ３が選択されると、選択された画像を通常通り印刷する通常印刷処理を実行する。他方、当該ユーザインタフェースにおいて、ユーザにより、１つ（または複数）の画像が選択されると共に顔形状補正印刷ボタンＢＮ４が選択されると、プリンタ１００は、選択された画像について、画像中の顔の形状を補正して補正後の画像を印刷する顔形状補正印刷処理を実行する。図２の例では、サムネイル画像ＴＮ１と顔形状補正印刷ボタンＢＮ４とが選択されている。そのため、プリンタ１００は、サムネイル画像ＴＮ１に対応する画像について顔の形状を補正して補正後の画像を印刷する。

図３は、プリンタ１００において顔形状補正印刷を行う際に実行される顔形状補正印刷ルーチンを示すフローチャートである。ステップＳ１００では、顔形状補正部２００（図１）が、顔形状補正処理を実行する。顔形状補正処理は、画像中の顔の少なくとも一部の形状（例えば顔の輪郭形状や目の形状）を補正する処理である。なお、目や鼻などの顔の一部分は、一般に器官とも呼ばれる。

図４は、図３のステップＳ１００において実行される顔形状補正処理ルーチンを示すフローチャートである。ステップＳ１１０では、顔形状補正部２００（図１）が、顔形状補正処理の対象となる対象画像を設定する。顔形状補正部２００は、図２に示したユーザインタフェースにおいてユーザにより選択されたサムネイル画像ＴＮ１に対応する画像を対象画像として設定する。設定された対象画像の画像データは、メモリカードＭＣからカードインタフェース１７０を介してプリンタ１００に取得され、内部メモリ１２０の所定領域に格納される。なお、以下では、このようにメモリーカードＭＣから取得され、プリンタ１００の内部メモリ１２０に格納された画像データを「元画像データ」とも呼ぶ。また、元画像データにより表される画像を「元画像」とも呼ぶ。

ステップＳ１２０（図４）では、変形態様設定部２１０（図１）が、顔形状補正のための画像変形のタイプと画像変形の度合いとを設定する。変形態様設定部２１０は、画像変形のタイプおよび度合いを設定するためのユーザインタフェースを表示部１５０に表示するように表示処理部３１０に指示し、当該ユーザインタフェースを通じてユーザにより指定された画像変形のタイプおよび度合いを選択し、処理に使用する画像変形タイプおよび度合いとして設定する。

図５は、画像変形のタイプおよび度合いを設定するためのユーザインタフェースの一例を示す説明図である。図５に示すように、このユーザインタフェースには、画像変形タイプを設定するためのインタフェースが含まれている。第１実施例では、例えば、顔の形状をシャープにする変形タイプ「タイプＡ」や、目の形状を大きくする変形タイプ「タイプＢ」等が選択肢として予め設定されているものとする。ユーザは、このインタフェースを介して画像変形のタイプを指定する。変形態様設定部２１０は、ユーザにより指定された画像変形タイプを、実際の処理に使用する画像変形タイプとして設定する。

また、図５に示すユーザインタフェースには、画像変形の度合い（程度）を設定するためのインタフェースが含まれている。図５に示すように、第１実施例では、画像変形の度合いとして、強（Ｓ）、中（Ｍ）、弱（Ｗ）の３段階が選択肢として予め設定されているものとする。ユーザは、このインタフェースを介して画像変形の度合いを指定する。変形態様設定部２１０は、ユーザにより指定された画像変形の度合いを、実際の処理に使用する画像変形の度合いとして設定する。ユーザインタフェースに設けられたチェックボックスは、ユーザが変形態様の詳細指定を希望する場合にチェックされる。

以降では、画像変形のタイプとして顔の形状をシャープにするための変形タイプ「タイプＡ」が設定され、画像変形の度合いとして程度「中」の度合いが設定され、ユーザによる詳細指定の希望はなかったものとして説明を行う。

ステップＳ１３０（図４）では、顔領域検出部２２０（図１）が、対象画像における顔領域の検出を行う。ここで、顔領域とは、対象画像上の画像領域であって、少なくとも顔の一部の画像が含まれる領域を意味している。顔領域検出部２２０による顔領域の検出は、例えばテンプレートを利用したパターンマッチングによる方法（特開２００４−３１８２０４参照）といった公知の顔検出方法を用いて実行される。

図６は、顔領域の検出結果の一例を示す説明図である。図６の例では、対象画像ＴＩには２人の人物が含まれている。そのため、ステップＳ１３０における顔検出により、対象画像ＴＩからは、２人の人物に対応して２つの顔領域ＦＡ１，ＦＡ２が検出される。これらの顔領域は、図６に示すように、それぞれの目と鼻と口の画像を含む矩形の領域となっている。

ステップＳ１３０の顔領域の検出において、顔領域が検出されなかった場合には、その旨が表示部１５０を通じてユーザに通知される。この場合には、顔形状補正を伴わない通常印刷が行われるものとしてもよい。また、他の顔検出方法を用いた顔領域の再度の検出処理が行われるものとしてもよい。

なお、ステップＳ１３０では、テンプレートを利用したパターンマッチングにより、対象画像から顔が検出される。このようなテンプレートを利用したパターンマッチングによる方法等の公知の顔検出方法は、一般に、顔全体や顔の部位（目や口等）について位置や傾き（角度）を詳細に検出するものではなく、対象画像中から顔の画像が概ね含まれると考えられる領域を顔領域として設定するものである。

ステップＳ５００において、プリンタ１００は、検出された顔領域に基づいて顔形状補正のための画像変形処理を施す領域（変形領域）を設定する。具体的には、自然で好ましい顔形状補正が実現されるように、ステップＳ１３０で検出された顔領域について位置調整および傾き調整を行うことにより、変形領域が設定される。このように変形領域を設定することにより、一般的に観察者の注目度が高い顔の画像が、設定された変形領域と顔の画像との位置や角度の関係によって不自然に変形されることが抑制される。なお、変形領域を設定する方法については、後述の変形領域の設定の説明において詳述する。

図７は、ステップＳ５００における変形領域の設定結果を示す説明図である。図７の破線は、ステップＳ１３０において対象画像ＴＩから検出された２つの顔領域ＦＡ１，ＦＡ２を示している。図７の太線は、２つの顔領域ＦＡ１，ＦＡ２のそれぞれについて設定された変形領域を示している。図７に示すように、ステップＳ５００では、これらの２つの顔領域ＦＡ１，ＦＡ２のそれぞれに対応した２つの変形領域ＴＡ１，ＴＡ２が設定される。

図４のステップＳ１４０では、領域重複検出部２７０（図１）が、ステップＳ５００で設定された変形領域が重複しているか否かを判断する。変形領域が重複していると判断された場合には、ステップＳ１５０に制御が移される。一方、変形領域が重複していないと判断された場合には、ステップＳ１８０に制御が移される。図７の例では、２つの領域ＴＡ１，ＴＡ２は、重なり合っている。そのため、制御はステップＳ１５０に移される。

なお、変形領域が重複しているか否かは、平面図形の重なりの有無を判断する種々のアルゴリズムを用いて判断することができる。例えば、２つの変形領域の輪郭線同士が交差するか否かを調べることにより判断することができる。また、２つの変形領域のうち一方の変形領域内の点がもう一方の変形領域内に含まれるか否かを調べることにより判断することもできる。２つの変形領域がいずれも凸多角形であれば、２つの変形領域の頂点のいずれかが他方の変形領域内に入るか否かを調べることにより判断することができる。

ステップＳ１５０では、優先順位設定部２８０が、重複している変形領域の優先順位を設定する。第１実施例において、優先順位は、変形領域の幅（顔の大きさに相当する）が大きいほど優先順位が高くなるように設定される。なお、優先順位は、対象画像を解析することにより取得可能な変形領域の幅とは異なるパラメータ（例えば、目の間隔や被写体の前後関係）に基づいて設定することも可能である。目の間隔により優先順位を決定する場合には、目の間隔が大きいほど優先順位が高くなるように設定される。被写体の前後関係により優先順位を設定する場合には、手前側の被写体の優先順位をより高くするのが好ましい。また、撮影時に顔領域の検出が行われ、顔領域部分の被写体までの距離に関する情報が画像データに格納されている場合、被写体までの距離に基づいて優先順位を決めるものとしてもよい。この場合、被写体までの距離が短いほど優先順位が高くなるように設定されるのがより好ましい。このように優先順位を決定することにより、通常手前側に現れる主要な被写体の顔を優先することが可能となる。なお、このように画像データに格納されている情報も、対象画像に関連づけられている情報であるので、対象画像から取得されるパラメータということもできる。

ステップＳ１６０では、優先順位設定部２８０が、最も優先順位の高い変形領域に重なる変形領域を除外する。変形領域を除外した後、制御はステップＳ１４０に戻され、変形領域の重複が無くなるまで、ステップＳ１４０からＳ１６０が繰り返し実行される。このように、第１実施例では、より多くの変形領域を変形処理の対象として残すため、変形領域の重複が無くなるまで、最も優先順位の高い変形領域に重なる変形領域を除外している。但し、重複する変形領域のうち最優先の変形領域のみを残し、優先順位の低い変形領域のすべてを除外するものとしてもよい。

図８は、図４のステップＳ１４０〜Ｓ１６０において、変形領域の重複が解消された結果を示す説明図である。図８（ａ）に示すように、重複の解消前は、対象画像ＴＩには２つの変形領域ＴＡ１，ＴＡ２が設定されており、これらの変形領域ＴＡ１，ＴＡ２は互いに重複した状態となっている。ステップＳ１５０において、こららの変形領域ＴＡ１，ＴＡ２のうち、より変形領域の幅が広い変形領域ＴＡ２の優先順位がもう一方の変形領域ＴＡ１よりも高く設定される。そして、ステップＳ１６０において、最優先の変形領域ＴＡ２に重なる変形領域ＴＡ１が除外され、図８（ｂ）に示すように変形領域ＴＡ２のみが対象画像ＴＩの変形領域となる。

図４のステップＳ１８０において、顔形状補正部２００（図１）は、全ての変形領域について後述する変形処理が行われたか否かを判断する。全ての変形領域について処理が行われたと判断された場合、図３の顔形状補正印刷ルーチンに制御が戻される。一方、未処理の変形領域があると判断された場合には、制御はステップＳ１９０に移される。ステップＳ１９０では、顔形状補正部２００が、未処理の変形領域を取得する。

ステップＳ６００では、ステップＳ１９０において取得された未処理の変形領域に対し、変形処理が行われる。第１実施例のステップＳ６００では、変形領域内の変形処理後の画像を元画像に変形処理を施した画像とする変形処理が行われる。なお、変形処理の具体的内容については、後述の顔変形処理の説明で詳述する。変形処理の後、制御はステップＳ１８０に戻され、全ての変形領域について変形処理が施されるまで、これらのステップＳ１８０，Ｓ１９０，Ｓ６００が繰り返し実行される。

図９は、変形処理が行われた結果を示す説明図である。図９（ａ）は、図４のステップＳ１８０，Ｓ１９０，Ｓ６００により変形処理が行われる前の状態を示している。上述のように、対象画像ＴＩ中の２人の人物の顔のそれぞれに設定された２つの変形領域ＴＡ１，ＴＡ２は重なり合っている。そのため、優先順位の低い変形領域ＴＡ１が除外され、変形処理は変形領域ＴＡ２にのみ施される。図９（ｂ）に示す変形処理後の対象画像ＴＩでは、変形領域ＴＡ２内の人物の顔が細くなる。一方、除外された変形領域ＴＡ１内の人物の顔は、その周辺部において変形領域ＴＡ２に対する変形処理により変形されているが、変形処理前（図９（ａ））とほぼ同様となっている。

図１０は、比較例として、重複する２つの変形領域ＴＡ１，ＴＡ２のいずれにも変形処理を行った結果を示す説明図である。図１０（ａ）は、変形処理が施される前の対象画像ＴＩ（元画像）を示している。図１０（ｂ）および図１０（ｃ）は、変形領域ＴＡ１の変形処理と、変形領域ＴＡ２の変形処理と、を元画像に対してそれぞれ施した結果を示している。図１０（ｄ）は、変形領域ＴＡ２に対して変形処理を行った後、変形領域ＴＡ１に変形処理を行った結果を示している。上述のように、ステップＳ６００における変形処理では、変形領域内の変形処理後の画像は元画像に変形処理が施された画像となっている。そのため、２つの変形領域ＴＡ１，ＴＡ２の重複した部分では、変形領域ＴＡ１の処理結果に後から処理が行われた変形領域ＴＡ２の処理結果が上書きされる。そのため、２つの変形領域のいずれにも変形処理を行った場合、図１０（ｄ）において太線で示すように、不連続な境界線ＢＬが発生する。

一方、第１実施例によれば、変形領域の重複が解消されることにより、図９（ｂ）に示すように変形処理後の画像には不連続な境界は発生しない。このように、第１実施例では、変形処理後の画像に不連続な境界が発生して、変形処理後の画像が不自然な画像となることを抑制することができる。

図４の顔形状補正処理ルーチンから制御が戻されると、図３のステップＳ２００において、変形処理後の画像（補正画像）が表示される。具体的には、顔形状補正部２００（図１）が、顔形状補正後の対象画像を表示部１５０に表示するよう表示処理部３１０に指示する。図１１は、顔形状補正後の対象画像ＴＩが表示された表示部１５０の状態の一例を示す説明図である。顔形状補正後の対象画像ＴＩが表示された表示部１５０により、ユーザは、補正結果を確認することができる。ユーザが補正結果に満足せず「戻る」ボタンを選択した場合には、例えば表示部１５０に図５に示した変形タイプおよび変形度合いを選択する画面が表示され、ユーザによる変形タイプや変形度合いの再度の設定が実行される。ユーザが補正結果に満足し、「印刷」ボタンを選択した場合には、以下の補正画像印刷処理が開始される。

ステップＳ３００では、印刷処理部３２０（図１）が、プリンタエンジン１６０を制御して、顔形状補正処理後の対象画像の印刷を行う。印刷処理部３２０は、顔形状補正処理後の対象画像の画像データに、解像度変換やハーフトーン処理などの処理を施して印刷データを生成する。生成された印刷データは、印刷処理部３２０からプリンタエンジン１６０に供給され、プリンタエンジン１６０は対象画像の印刷を実行する。これにより、顔形状補正後の対象画像の印刷が完了する。

Ｂ．第２実施例：
図１２は、第２実施例におけるプリンタ１００ａの構成を概略的に示す説明図である。
第２実施例のプリンタ１００ａは、内部メモリ１２０ａに中間画像データ４３０が格納される点で、図１に示す第１実施例のプリンタ１００と異なっている。中間画像データ４３０は、変形処理を行う際に用いられる一時的な画像データである。以下では、中間画像データ４３０により表される画像を「中間画像」と呼ぶ。なお、中間画像は、変形処理が行われた画像であるため、「変形済画像」とも呼ぶことができる。

図１３は、第２実施例の顔形状補正処理ルーチンを示すフローチャートである。この顔形状補正処理ルーチンは、第１実施例の顔形状補正処理ルーチン（図４）と同様に、顔形状補正印刷ルーチン（図３）のステップＳ１００において実行される。第２実施例の顔形状補正処理ルーチンは、ステップＳ１６０がステップＳ１７０に置き換えられている点と、ステップＳ１７０ののち制御がステップＳ１８０に移されている点と、ステップＳ６００がステップＳ６００ａに置き換えられている点と、で、第１実施例の顔形状補正処理ルーチンと異なっている。他の点は、第１実施例の顔形状補正印刷ルーチンと同じである。

第２実施例の顔形状処理ルーチンのステップＳ６００ａでは、内部メモリ１２０ａ（図１２）に格納された中間画像データ４３０を元に変形領域内の変形処理が行われる点で、第１実施例のステップＳ６００で行われる変形処理と異なっている。具体的には、ステップＳ６００ａでは、変形領域内の変形処理後の画像を中間画像に変形処理を施した画像とする変形処理が行われる。他の点においては、第１実施例のステップＳ６００と第２実施例のステップＳ６００ａとは同様である。

ステップＳ１７０では、顔形状補正部２００（図１２）は、重複した変形領域の変形処理を行う。図１４は、ステップＳ１７０において実行される重複変形領域変形処理ルーチンを示すフローチャートである。なお、図１４のフローチャートにおいて、他のフローチャート（図４および図１３）において実行されるサブルーチンと同一のサブルーチンについては同一の符号を付している。図１５および図１６は、重複変形領域変形処理ルーチンの実行結果を示す説明図である。

ステップＳ１７１において、顔形状補正部２００は、優先順位が最も高い変形領域を取得する。図１５の例では、上述のように、対象画像ＴＩの２つの変形領域ＴＡ１，ＴＡ２のうち右側の変形領域ＴＡ２の優先順位が高く設定される。そのため、ステップＳ１７１では、右側の変形領域ＴＡ２が取得される。

図１４のステップＳ６００では、顔形状補正部２００が、ステップＳ１７１で取得された最優先の変形領域に対して変形処理を施す。図１５の例では、図１５（ａ）に示す元画像の変形領域ＴＡ２が変形され、図１５（ｂ）に示す画像が生成される。変形処理後の画像（図１５（ｂ））は、ステップＳ１７２において、中間画像として内部メモリ１２０ａ（図１２）に格納される。

ステップＳ１７３において、顔形状補正部２００は、優先順位が次に高い変形領域を取得する。図１６の例では、ステップＳ１７３において、対象画像ＴＩの２つの変形領域ＴＡ１，ＴＡ２のうち、優先順位が低い左側の変形領域ＴＡ１が取得される。

図１４のステップＳ６００ａでは、顔形状補正部２００が、ステップＳ１７３で取得された変形領域に対して変形処理が施す。図１６の例では、図１６（ａ）に示す中間画像の変形領域ＴＡ１が変形され、図１６（ｂ）に示す画像が生成される。変形処理後の画像（図１６（ｂ））は、ステップＳ１７４において、再び中間画像として、内部メモリ１２０ａに格納される。

ステップＳ１７５において、全ての重複変形領域の変形処理が行われたか否かを判断する。全ての重複変形領域に対して変形処理が行われたと判断された場合には、制御は図１３の顔形状補正処理ルーチンに戻される。一方、未処理の重複変形領域があると判断された場合には、制御はステップＳ１７３にもどされ、全ての重複変形領域の変形処理が完了するまで、ステップＳ１７３〜Ｓ１７５が繰り返し実行される。

このように、第２実施例では、優先順位の低い変形領域に対しては、優先順位の高い変形領域の変形処理が行われた中間画像を元に変形処理が行われる。そのため、元画像からの変形処理を順次行うことにより発生する不連続な境界線ＢＬ（図１０（ｃ））の発生を抑制するとともに、変形領域の全てに対して変形処理を行うことができる。後述するように、第２実施例において行われる変形処理では、変形領域内における相対的な位置により変形量が設定される。そのため、重複した変形領域を変形することによる変形処理結果に対する影響は、先に変形処理を施すことにより低減することができる。第２実施例では、優先順位の高い変形領域は優先順位の低い変形領域よりも先に変形処理が施されるので、優先順位の高い変形領域の意図しない変形を抑制することができる。

なお、第２実施例では、重複変形領域の変形処理Ｓ１７０（図１３）を行った後、重複していない変形領域の変形処理を行っている（ステップＳ１８０，Ｓ１９０，Ｓ６００ａ）が、重複していない変形領域の変形処理を重複変形領域の変形処理に先立って行うことも可能である。一般に、重複変形領域は、優先順位の順に変形処理が施されればよい。

Ｃ．変形領域の設定：
図１７は、顔領域ＦＡの検出結果の図６とは別の一例を示す説明図である。なお、以下の説明では、画像を選択するユーザインタフェースにおいて、１人の顔のみが含まれている画像ＴＮ２（図２）が選択されたものとしている。図１７に示すように、図４のステップＳ１３０において、対象画像ＴＩからは、１つの顔領域ＦＡが検出される。なお、対象画像ＴＩから複数の顔領域が検出された場合には、以下に説明する変形領域の設定処理は検出された個々の顔領域に対して行われる。図１７に示した基準線ＲＬは、顔領域ＦＡの高さ方向（上下方向）を定義すると共に、顔領域ＦＡの幅方向（左右方向）の中心を示す線である。すなわち、基準線ＲＬは、矩形の顔領域ＦＡの重心を通り、顔領域ＦＡの高さ方向（上下方向）に沿った境界線に平行な直線である。

図１８は、変形領域の設定処理の流れを示すフローチャートである。図１８のフローチャートに示す処理は、図４のステップＳ５００において実行される。ステップＳ５１０では、顔領域調整部２３０（図１）が、ステップＳ１３０（図４）で検出された顔領域ＦＡの高さ方向の位置調整を行う。ここで、顔領域ＦＡの高さ方向の位置調整とは、顔領域ＦＡの基準線ＲＬ（図１７参照）に沿った位置を調整して、対象画像ＴＩにおける顔領域ＦＡを再設定することを意味している。

図１９は、顔領域ＦＡの高さ方向の位置調整処理の流れを示すフローチャートである。ステップＳ５１１では、顔領域調整部２３０（図１）が、特定領域ＳＡを設定する。ここで、特定領域ＳＡとは、対象画像ＴＩ上の領域であって、顔領域ＦＡの高さ方向の位置調整を実行する際に参照する所定の参照被写体の画像を含む領域である。参照被写体は、例えば「目」に設定することができ、その場合、特定領域ＳＡは「目」の画像を含む領域として設定される。

図２０は、特定領域ＳＡの一例を示す説明図である。顔領域調整部２３０は、特定領域ＳＡを顔領域ＦＡとの関係に基づいて設定する。具体的には、顔領域ＦＡの大きさを、基準線ＲＬに直交する方向および基準線ＲＬに平行な方向に、所定比率で縮小（または拡大）した大きさの領域であって、顔領域ＦＡの位置と所定の位置関係を有する領域が、特定領域ＳＡとして設定される。すなわち、顔領域検出部２２０により検出された顔領域ＦＡとの関係に基づき特定領域ＳＡを設定すれば、特定領域ＳＡが両方の目の画像を含む領域となるように、上記所定比率や所定の位置関係が予め設定されている。なお、特定領域ＳＡは、目の画像とまぎらわしい画像（例えば髪の毛の画像）がなるべく含まれないように、両目の画像を含む限りにおいて、なるべく小さい領域として設定されることが好ましい。

また、図２０に示すように、特定領域ＳＡは、基準線ＲＬに対して対称な矩形形状の領域として設定される。特定領域ＳＡは、基準線ＲＬにより、向かって左側の領域（以下「左分割特定領域ＳＡ（ｌ）」とも呼ぶ）と、向かって右側の領域（以下「右分割特定領域ＳＡ（ｒ）」とも呼ぶ）とに分割される。特定領域ＳＡは、左分割特定領域ＳＡ（ｌ）と右分割特定領域ＳＡ（ｒ）とのそれぞれに片目の画像が含まれるように設定される。

ステップＳ５１２（図１９）では、顔領域調整部２３０（図１）が、特定領域ＳＡにおける目の画像の位置を検出するための評価値を算出する。図２１は、評価値の算出方法の一例を示す説明図である。評価値の算出には、ＲＧＢ画像データとしての対象画像ＴＩの各画素のＲ値（Ｒ成分値）を用いるのが好ましい。これは、肌の部分の画像と目の部分の画像とではＲ値の差が大きいため、Ｒ値を評価値の算出に用いることにより、目の画像の検出精度を向上させることができると考えられるからである。また、対象画像ＴＩのデータがＲＧＢデータとして取得されているため、Ｒ値を評価値の算出に用いることにより、評価値の算出の効率化を図ることができるからでもある。なお、図２１に示すように、評価値の算出は、２つの分割特定領域（右分割特定領域ＳＡ（ｒ）および左分割特定領域ＳＡ（ｌ））のそれぞれについて個別に行われる。

顔領域調整部２３０は、図２１に示すように、分割特定領域（右分割特定領域ＳＡ（ｒ）および左分割特定領域ＳＡ（ｌ））内に、基準線ＲＬと直交するｎ本の直線（以下「対象画素特定線ＰＬ１〜ＰＬｎ」と呼ぶ）を設定する。対象画素特定線ＰＬ１〜ＰＬｎは、分割特定領域の高さ（基準線ＲＬに沿った大きさ）を（ｎ＋１）等分する直線である。すなわち、対象画素特定線ＰＬ同士の間隔は、すべて等間隔ｓである。

顔領域調整部２３０は、対象画素特定線ＰＬ１〜ＰＬｎのそれぞれについて、対象画像ＴＩを構成する画素の中から評価値の算出に用いる画素（以下「評価対象画素ＴＰ」と呼ぶ）を選択する。図２２は、評価対象画素ＴＰの選択方法の一例を示す説明図である。顔領域調整部２３０は、対象画像ＴＩを構成する画素の内、対象画素特定線ＰＬと重なる画素を評価対象画素ＴＰとして選択する。図２２（ａ）は、対象画素特定線ＰＬが対象画像ＴＩの画素の行方向（図２２のＸ方向）と平行である場合を示している。この場合には、各対象画素特定線ＰＬと重なる画素行上の画素（図２２（ａ）において○印を付した画素）が、各対象画素特定線ＰＬについての評価対象画素ＴＰとして選択される。

一方、顔領域ＦＡの検出方法や特定領域ＳＡの設定方法によっては、図２２（ｂ）に示すように、対象画素特定線ＰＬが対象画像ＴＩの画素の行方向（Ｘ方向）と平行とはならない場合も生ずる。このような場合にも、原則として、各対象画素特定線ＰＬと重なる画素が、各対象画素特定線ＰＬについての評価対象画素ＴＰとして選択される。ただし、例えば図２２（ｂ）における対象画素特定線ＰＬ１と画素ＰＸａおよびＰＸｂとの関係のように、ある対象画素特定線ＰＬが、対象画像ＴＩの画素マトリクスの同一列に位置する（すなわちＹ座標が同一の）２つの画素と重なる場合には、重なり部分の距離のより短い方の画素（例えば画素ＰＸｂ）は評価対象画素ＴＰから除外される。すなわち、各対象画素特定線ＰＬについて、画素マトリクスの１つの列からは１つの画素のみが評価対象画素ＴＰとして選択される。

なお、対象画素特定線ＰＬの傾きが、Ｘ方向に対して４５度を超える場合には、上記説明において画素マトリクスの列と行との関係が逆転し、画素マトリクスの１つの行から１つの画素のみが評価対象画素ＴＰとして選択されることとなる。また、対象画像ＴＩと特定領域ＳＡとの大きさの関係によっては、１つの画素が複数の対象画素特定線ＰＬについての評価対象画素ＴＰとして選択される場合もある。

顔領域調整部２３０は、対象画素特定線ＰＬのそれぞれについて、評価対象画素ＴＰのＲ値の平均値を評価値として算出する。ただし、各対象画素特定線ＰＬについて、選択された複数の評価対象画素ＴＰの内、Ｒ値の大きい一部の画素を評価値の算出対象から除外するものとしている。具体的には、例えば、ある対象画素特定線ＰＬについてｋ個の評価対象画素ＴＰが選択された場合、評価対象画素ＴＰが、Ｒ値の比較的大きい０．７５ｋ個の画素により構成される第１グループと、比較的Ｒ値の小さい０．２５ｋ個の画素により構成される第２グループとの２グループに分けられ、第２グループに属する画素のみが評価値としてのＲ値の平均値の算出対象となる。このように一部の評価対象画素ＴＰを評価値の算出対象から除外する理由については後述する。

以上のように、顔領域調整部２３０は、各対象画素特定線ＰＬについての評価値を算出する。ここで、対象画素特定線ＰＬは基準線ＲＬに直交する直線であるため、評価値は、基準線ＲＬに沿った複数の位置（評価位置）について算出されると表現することができる。また、評価値は、各評価位置について、基準線ＲＬに直交する方向に沿った画素値の分布の特徴を表す値と表現することができる。

ステップＳ５１３（図１９）では、顔領域調整部２３０（図１）が、特定領域ＳＡにおける目の位置を検出し、検出結果に基づき高さ基準点Ｒｈを決定する。まず、顔領域調整部２３０は、図２１の右側に示すように、各分割特定領域について、基準線ＲＬに沿った評価値（Ｒ値の平均値）の分布を表す曲線を作成し、評価値が極小値をとる基準線ＲＬ方向に沿った位置を目の位置Ｅｈとして検出する。なお、左分割特定領域ＳＡ（ｌ）における目の位置ＥｈをＥｈ（ｌ）と表し、右分割特定領域ＳＡ（ｒ）における目の位置ＥｈをＥｈ（ｒ）と表わす。

黄色人種の場合、分割特定領域中の肌の画像を表す部分はＲ値が大きい一方、目（より詳細には目の中央の黒目部分）の画像を表す部分はＲ値が小さいと考えられる。そのため、上述のように、評価値（Ｒ値の平均値）が極小値をとる基準線ＲＬに沿った位置を目の位置Ｅｈと判断することが可能となる。但し、他の人種（白色人種や黒色人種）を対象とする場合には、他の評価値（例えば、輝度や明度やＢ値）が用いられる。

なお、図２１に示すように、分割特定領域には、目の画像以外にもＲ値の小さい他の画像（例えば、眉や髪の毛の画像）が含まれている場合もある。そのため、顔領域調整部２３０は、基準線ＲＬに沿った評価値の分布を表す曲線が複数の極小値をとる場合には、極小値をとる位置の内、最も下側の位置を目の位置Ｅｈと判断する。一般に、目の画像より上側には眉や髪の毛等のＲ値の小さい画像が位置することが多い一方、目の画像より下側にはＲ値の小さい画像が位置することが少ないと考えられることから、このような判断が可能となる。

また、上記曲線が、目の画像の位置よりも下側（主に肌の画像に対応した位置）であっても、評価値が大きいながらも極小値をとる可能性があるため、極小値の内、所定の閾値より大きいものは無視するものとしてもよい。あるいは、単純に、各対象画素特定線ＰＬについて算出された評価値の内の最小値に対応した対象画素特定線ＰＬの位置を目の位置Ｅｈとしてもよい。

なお、顔領域ＦＡの位置調整の最小被写体としては、顔において周囲との色の差が比較的大きいと考えられる部位である目（目の中央の黒目部分）を用いている。しかし、評価値としてのＲ値の平均値は、対象画素特定線ＰＬ上の複数の評価対象画素ＴＰを対象として算出されるため、例えば、黒目の周縁の白目部分の画像の影響により、黒目部分の検出の精度が低下する怖れがある。そこで、上述したように、参照被写体とは色の差が大きいと考えられる一部の評価対象画素ＴＰ（例えば上述した第１のグループに属する比較的Ｒ値の大きい画素）を評価値の算出対象から除外することにより、参照被写体の検出精度をより向上させている。

次に、顔領域調整部２３０は、検出された目の位置Ｅｈに基づき高さ基準点Ｒｈを決定する。図２３は、高さ基準点Ｒｈの決定方法の一例を示す説明図である。高さ基準点Ｒｈは、顔領域ＦＡの高さ方向の位置調整の際に、基準として用いられる点である。高さ基準点Ｒｈとしては、図２３に示すように、左右２つの目の位置Ｅｈ（ｌ）およびＥｈ（ｒ）の中間に位置する基準線ＲＬ上の点が設定される。すなわち、左の目の位置Ｅｈ（ｌ）を示す直線ＥｈＬ（ｌ）と基準線ＲＬとの交点と、右の目の位置Ｅｈ（ｒ）を示す直線ＥｈＬ（ｒ）と基準線ＲＬとの交点と、の中点が、高さ基準点Ｒｈとして設定される。

なお、顔領域調整部２３０は、検出された目の位置Ｅｈに基づき、顔画像の概略の傾き角（以下「概略傾き角ＲＩ」と呼ぶ）を算出する。顔画像の概略傾き角ＲＩは、対象画像ＴＩ中の顔の画像が、顔領域ＦＡの基準線ＲＬに対して概ねどれぐらい傾いているかを推定した角度である。図２４は、概略傾き角ＲＩの算出方法の一例を示す説明図である。図２４に示すように、顔領域調整部２３０は、まず、左分割特定領域ＳＡ（ｌ）の幅Ｗｓ（ｌ）を半分に分割する直線と直線ＥｈＬ（ｌ）との交点ＩＰ（ｌ）と、右分割特定領域ＳＡ（ｒ）の幅Ｗｓ（ｒ）を半分に分割する直線と直線ＥｈＬ（ｒ）との交点ＩＰ（ｒ）とを決定する。そして、交点ＩＰ（ｌ）と交点ＩＰ（ｒ）とを結ぶ直線に直交する直線ＩＬと、基準線ＲＬとのなす角が、概略傾き角ＲＩとして算出される。

ステップＳ５１４（図１９）では、顔領域調整部２３０（図１）が、顔領域ＦＡの高さ方向の位置調整を行う。図２５は、顔領域ＦＡの高さ方向の位置調整方法の一例を示す説明図である。顔領域ＦＡの高さ方向の位置調整は、高さ基準点Ｒｈが、位置調整後の顔領域ＦＡにおける所定の位置に位置することとなるように、顔領域ＦＡを再設定することにより行う。具体的には、図２５に示すように、高さ基準点Ｒｈが、顔領域ＦＡの高さＨｆを所定の比率ｒ１対ｒ２で分けるような位置に位置することとなるように、顔領域ＦＡが基準線ＲＬに沿って上下に位置調整される。図２５の例では、破線で示した調整前の顔領域ＦＡを上方向に移動することにより、実線で示した調整後の顔領域ＦＡが再設定されている。

顔領域ＦＡの位置調整の後、ステップＳ５２０（図１８）では、顔領域調整部２３０（図１）が、顔領域ＦＡの傾き調整（角度調整）を行う。ここで、顔領域ＦＡの傾き調整とは、対象画像ＴＩにおける顔領域ＦＡの傾きを顔の画像の傾きに適合するように調整して、顔領域ＦＡを再設定することを意味している。顔領域ＦＡの傾き調整を実行する際に参照する所定の参照被写体は、例えば「両目」に設定される。顔領域ＦＡの傾き調整では、傾き調整の調整角度の選択肢を表す複数の評価方向が設定され、各評価方向に対応した評価特定領域ＥＳＡが両目の画像を含む領域として設定される。そして、各評価方向について評価特定領域ＥＳＡの画像の画素値に基づき評価値が算出され、評価値に基づき決定される傾き調整の調整角度を用いて顔領域ＦＡの傾きが調整される。

図２６は、顔領域ＦＡの傾き調整処理の流れを示すフローチャートである。また、図２７は、顔領域ＦＡの傾き調整のための評価値の算出方法の一例を示す説明図である。ステップＳ５２１（図２６）では、顔領域調整部２３０（図１）が、初期評価特定領域ＥＳＡ（０）を設定する。初期評価特定領域ＥＳＡ（０）は、顔領域ＦＡの位置調整後の基準線ＲＬ（図２５参照）と平行な方向（以下「初期評価方向」とも呼ぶ）に対応付けられた評価特定領域ＥＳＡである。位置調整後の顔領域ＦＡに対応した特定領域ＳＡ（図２５参照）は、そのまま初期評価特定領域ＥＳＡ（０）として設定される。なお、顔領域ＦＡの傾き調整における評価特定領域ＥＳＡは、顔領域ＦＡの位置調整時の特定領域ＳＡとは異なり、左右２つの領域に分割されることはない。図２７の最上段には、設定された初期評価特定領域ＥＳＡ（０）が示されている。

ステップＳ５２２（図２６）では、顔領域調整部２３０（図１）が、複数の評価方向と各評価方向に対応した評価特定領域ＥＳＡとを設定する。複数の評価方向は、傾き調整の調整角度の選択肢を表す方向として設定される。具体的には、基準線ＲＬとのなす角が所定の範囲内である複数の評価方向線ＥＬが設定され、評価方向線ＥＬと平行な方向が評価方向として設定される。図２７に示すように、基準線ＲＬを初期評価特定領域ＥＳＡ（０）の中心点（重心）ＣＰを中心として反時計回りおよび時計回りに所定の角度α刻みで回転させることにより定まる直線が、複数の評価方向線ＥＬとして設定される。なお、基準線ＲＬとのなす角がφ度である評価方向線ＥＬをＥＬ（φ）と表す。

上述した各評価方向線ＥＬと基準線ＲＬとのなす角についての所定の範囲は、±２０度に設定される。ここで本明細書では、基準線ＲＬを時計回りに回転させたときの回転角は正の値で表され、基準線ＲＬを反時計回りに回転させたときの回転角は負の値で表される。顔領域調整部２３０は、基準線ＲＬを反時計回りおよび時計回りにα度、２α度・・・と２０度を超えない範囲で回転角を増加させつつ回転させ、複数の評価方向線ＥＬを設定する。図２７には、基準線ＲＬを−α度，−２α度，α度回転させることによりそれぞれ定まる評価方向線ＥＬ（ＥＬ（−α），ＥＬ（−２α），ＥＬ（α））が示されている。なお、基準線ＲＬは、評価方向線ＥＬ（０）とも表現できる。

各評価方向を表す評価方向線ＥＬに対応した評価特定領域ＥＳＡは、初期評価特定領域ＥＳＡ（０）を、中心点ＣＰを中心として、評価方向線ＥＬの設定時の回転角と同じ角度で回転させた領域である。評価方向線ＥＬ（φ）に対応した評価特定領域ＥＳＡは、評価特定領域ＥＳＡ（φ）と表される。図２７には、評価方向線ＥＬ（−α），ＥＬ（−２α），ＥＬ（α）のそれぞれに対応した評価特定領域ＥＳＡ（ＥＳＡ（−α），ＥＳＡ（−２α），ＥＳＡ（α））が示されている。なお、初期評価特定領域ＥＳＡ（０）も評価特定領域ＥＳＡの１つとして扱われるものとする。

ステップＳ５２３（図２６）では、顔領域調整部２３０（図１）が、設定された複数の評価方向のそれぞれについて、評価特定領域ＥＳＡの画像の画素値に基づき評価値を算出する。顔領域ＦＡの傾き調整における評価値としては、上述した顔領域ＦＡの位置調整における評価値と同様に、Ｒ値の平均値が用いられる。顔領域調整部２３０は、評価方向に沿った複数の評価位置についての評価値を算出する。

評価値の算出方法は、上述した顔領域ＦＡの位置調整における評価値の算出方法と同様である。すなわち、顔領域調整部２３０は、図２７に示すように、各評価特定領域ＥＳＡ内に、評価方向線ＥＬに直交する対象画素特定線ＰＬ１〜ＰＬｎを設定し、各対象画素特定線ＰＬ１〜ＰＬｎについて評価対象画素ＴＰを選択し、選択された評価対象画素ＴＰのＲ値の平均値を評価値として算出する。

評価特定領域ＥＳＡにおける対象画素特定線ＰＬの設定方法や評価対象画素ＴＰの選択方法は、領域を左右に分割するか否かの違いはあるものの、図２１および図２２に示した顔領域ＦＡの位置調整における方法と同様である。なお、顔領域ＦＡの位置調整時と同様に、選択された評価対象画素ＴＰの内の一部（例えばｋ個の評価対象画素ＴＰの内のＲ値の比較的大きい０．７５ｋ個の画素）を評価値の算出対象から除外するとしてもよい。図２７の右側には、各評価方向について、算出された評価値の評価方向線ＥＬに沿った分布を示している。

なお、対象画素特定線ＰＬは評価方向線ＥＬに直交する直線であるため、評価値は、評価方向線ＥＬに沿った複数の位置（評価位置）について算出されると表現することができる。また、評価値は、各評価位置について、評価方向線ＥＬに直交する方向に沿った画素値の分布の特徴を表す値と表現することができる。

ステップＳ５２４（図２６）では、顔領域調整部２３０（図１）が、顔領域ＦＡの傾き調整に用いる調整角度を決定する。顔領域調整部２３０は、各評価方向について、ステップＳ５２３において算出された評価値の評価方向線ＥＬに沿った分散を算出し、分散の値が最大となる評価方向を選択する。そして、選択された評価方向に対応した評価方向線ＥＬと基準線ＲＬとのなす角を、傾き調整に用いる調整角度として決定する。

図２８は、各評価方向についての評価値の分散の算出結果の一例を示す説明図である。図２８の例では、回転角が−α度である評価方向において、分散が最大値Ｖｍａｘをとる。従って、−α度、すなわち反時計回りにα度の回転角が、顔領域ＦＡの傾き調整に用いる調整角度として決定される。

評価値の分散の値が最大となるときの評価方向に対応した角度が傾き調整に用いる調整角度として決定される理由について説明する。図２７の上から２段目に示すように、回転角が−α度であるときの評価特定領域ＥＳＡ（−α）では、左右の目の中央部（黒目部分）の画像が、概ね対象画素特定線ＰＬに平行な方向（すなわち評価方向線ＥＬに直交する方向）に並ぶような配置となっている。また、このときには、左右の眉の画像も同様に、概ね評価方向線ＥＬに直交する方向に並ぶような配置となる。従って、このときの評価方向線ＥＬに対応した評価方向が、概ね顔の画像の傾きを表す方向であると考えられる。このときには、一般にＲ値が小さい目や眉の画像と一般にＲ値が大きい肌の部分の画像との位置関係が、対象画素特定線ＰＬの方向に沿って両者が重なる部分の小さい位置関係となる。そのため、目や眉の画像の位置における評価値は比較的小さくなり、肌の部分の画像の位置における評価値は比較的大きくなる。従って、評価方向線ＥＬに沿った評価値の分布は、図２７に示すように、比較的ばらつきの大きい（振幅の大きい）分布となり、分散の値は大きくなる。

一方、図２７中の最上段および３段目、４段目に示すように、回転角が０度，−２α度，α度であるときの評価特定領域ＥＳＡ（０），ＥＳＡ（−２α），ＥＳＡ（α）では、左右の目の中央部や左右の眉の画像が、評価方向線ＥＬに直交する方向に並ばず、ずれた配置となっている。従って、このときの評価方向線ＥＬに対応した評価方向は、顔の画像の傾きを表していはいない。このときには、目や眉の画像と肌の部分の画像との位置関係が、対象画素特定線ＰＬの方向に沿って両者が重なる部分の大きい位置関係となる。そのため、評価方向線ＥＬに沿った評価値の分布は、図２７に示すように、比較的ばらつきの小さい（振幅の小さい）分布となり、分散の値は小さくなる。

以上のように、評価方向が顔の画像の傾きの方向に近い場合には、評価方向線ＥＬに沿った評価値の分散の値が大きくなり、評価方向が顔の画像の傾きの方向から遠い場合には、評価方向線ＥＬに沿った評価値の分散の値が小さくなる。従って、評価値の分散の値が最大となるときの評価方向に対応した角度を傾き調整に用いる調整角度として決定すれば、顔領域ＦＡの傾きが顔の画像の傾きに適合するような顔領域ＦＡの傾き調整を実現することができる。

なお、評価値の分散の算出結果が、角度の範囲の臨界値、すなわち−２０度または２０度において最大値をとるような結果となった場合には、顔の傾きが正確に評価されていない可能性が高いと考えられるため、顔領域ＦＡの傾き調整は行われない。

また、決定された調整角度は、上述した顔領域ＦＡの位置調整の際に算出された概略傾き角ＲＩと比較される。調整角度と概略傾き角ＲＩとの差が所定の閾値より大きい場合には、顔領域ＦＡの位置調整および傾き調整における評価や決定の際に何らかの誤りが発生したと考えられるため、顔領域ＦＡの位置調整および傾き調整は行われない。

ステップＳ５２５（図２６）では、顔領域調整部２３０（図１）が、顔領域ＦＡの傾き調整を行う。図２９は、顔領域ＦＡの傾き調整方法の一例を示す説明図である。顔領域ＦＡの傾き調整は、顔領域ＦＡを、初期評価特定領域ＥＳＡ（０）の中心点ＣＰを中心に、ステップＳ５２４において決定された調整角度だけ回転させることにより行う。図２９の例では、破線で示した調整前の顔領域ＦＡを反時計回りにα度回転させることにより、実線で示した調整後の顔領域ＦＡが設定される。

顔領域ＦＡの傾き調整終了後のステップＳ５３０（図１８）では、変形領域設定部２４０（図１）が、変形領域ＴＡを設定する。変形領域ＴＡは、対象画像ＴＩ上の領域であって顔形状補正のための画像変形処理の対象となる領域である。図３０は、変形領域ＴＡの設定方法の一例を示す説明図である。図３０に示すように、変形領域ＴＡは、顔領域ＦＡを基準線ＲＬと平行な方向（高さ方向）および基準線ＲＬに直交する方向（幅方向）に伸張（または短縮）した領域として設定される。具体的には、顔領域ＦＡの高さ方向の大きさをＨｆ、幅方向の大きさをＷｆとすると、顔領域ＦＡを、上方向にｋ１・Ｈｆ、下方向にｋ２・Ｈｆだけ伸ばすと共に、左右にそれぞれｋ３・Ｗｆだけ伸ばした領域が、変形領域ＴＡとして設定される。なお、ｋ１，ｋ２，ｋ３は、所定の係数である。

このように変形領域ＴＡが設定されると、顔領域ＦＡの高さ方向の輪郭線に平行な直線である基準線ＲＬは、変形領域ＴＡの高さ方向の輪郭線にも平行な直線となる。また、基準線ＲＬは、変形領域ＴＡの幅を半分に分割する直線となる。

図３０に示すように、変形領域ＴＡは、高さ方向に関しては、概ね顎から額までの画像を含み、幅方向に関しては、左右の頬の画像を含むような領域として設定される。すなわち、上述の係数ｋ１，ｋ２，ｋ３は、変形領域ＴＡが概ねそのような範囲の画像を含む領域となるように、顔領域ＦＡの大きさとの関係に基づいて予め設定されている。

Ｄ．顔変形処理：
図３１は、変形処理の流れを示すフローチャートである。図３１のフローチャートに示す処理は、図４のステップＳ６００において実行される。ステップＳ６１０では、変形領域分割部２５０（図１）が、変形領域ＴＡを複数の小領域に分割する。図３２は、変形領域ＴＡの小領域への分割方法の一例を示す説明図である。変形領域分割部２５０は、変形領域ＴＡに複数の分割点Ｄを配置し、分割点Ｄを結ぶ直線を用いて変形領域ＴＡを複数の小領域に分割する。

分割点Ｄの配置の態様（分割点Ｄの個数および位置）は、分割点配置パターンテーブル４１０（図１）により、ステップＳ１２０（図４）において設定される変形タイプと対応付けて定義されている。変形領域分割部２５０は、分割点配置パターンテーブル４１０を参照し、ステップＳ１２０において設定された変形タイプと対応付けられた態様で分割点Ｄを配置する。上述したように、変形タイプとして顔をシャープにするための変形「タイプＡ」（図５参照）が設定されている場合には、この変形タイプに対応付けられた態様で分割点Ｄが配置される。

図３２に示すように、分割点Ｄは、水平分割線Ｌｈと垂直分割線Ｌｖとの交点と、水平分割線Ｌｈおよび垂直分割線Ｌｖと変形領域ＴＡの外枠との交点とに配置される。ここで、水平分割線Ｌｈおよび垂直分割線Ｌｖは、変形領域ＴＡ内に分割点Ｄを配置するための基準となる線である。図３２に示すように、顔をシャープにするための変形タイプに対応付けられた分割点Ｄの配置では、基準線ＲＬと直交する２本の水平分割線Ｌｈと、基準線ＲＬに平行な４本の垂直分割線Ｌｖとが設定される。２本の水平分割線Ｌｈを、変形領域ＴＡの下方から順に、Ｌｈ１，Ｌｈ２と呼ぶ。また、４本の垂直分割線Ｌｖを、変形領域ＴＡの左から順に、Ｌｖ１，Ｌｖ２，Ｌｖ３，Ｌｖ４と呼ぶ。

水平分割線Ｌｈ１は、変形領域ＴＡにおいて、顎の画像より下方に配置され、水平分割線Ｌｈ２は、目の画像のすぐ下付近に配置される。また、垂直分割線Ｌｖ１およびＬｖ４は、頬のラインの画像の外側に配置され、垂直分割線Ｌｖ２およびＬｖ３は、目尻の画像の外側に配置される。なお、水平分割線Ｌｈおよび垂直分割線Ｌｖの配置は、水平分割線Ｌｈおよび垂直分割線Ｌｖと画像との位置関係が結果的に上述の位置関係となるように予め設定された変形領域ＴＡの大きさとの対応関係に従い実行される。

上述した水平分割線Ｌｈと垂直分割線Ｌｖとの配置に従い、水平分割線Ｌｈと垂直分割線Ｌｖとの交点と、水平分割線Ｌｈおよび垂直分割線Ｌｖと変形領域ＴＡの外枠との交点とに、分割点Ｄが配置される。図３２に示すように、水平分割線Ｌｈｉ（ｉ＝１または２）上に位置する分割点Ｄを、左から順に、Ｄ０ｉ，Ｄ１ｉ，Ｄ２ｉ，Ｄ３ｉ，Ｄ４ｉ，Ｄ５ｉと呼ぶものとする。例えば、水平分割線Ｌｈ１上に位置する分割点Ｄは、Ｄ０１，Ｄ１１，Ｄ２１，Ｄ３１，Ｄ４１，Ｄ５１と呼ばれる。同様に、垂直分割線Ｌｖｊ（ｊ＝１，２，３，４のいずれか）上に位置する分割点Ｄを、下から順に、Ｄｊ０，Ｄｊ１，Ｄｊ２，Ｄｊ３と呼ぶものとする。例えば、垂直分割線Ｌｖ１上に位置する分割点Ｄは、Ｄ１０，Ｄ１１，Ｄ１２，Ｄ１３と呼ばれる。

なお、図３２に示すように、本実施例における分割点Ｄの配置は、基準線ＲＬに対して対称の配置となっている。

変形領域分割部２５０は、配置された分割点Ｄを結ぶ直線（すなわち水平分割線Ｌｈおよび垂直分割線Ｌｖ）により、変形領域ＴＡを複数の小領域に分割する。図３２の例では、変形領域ＴＡは１５個の矩形の小領域に分割される。

なお、分割点Ｄの配置は、水平分割線Ｌｈおよび垂直分割線Ｌｖの本数および位置により定まるため、分割点配置パターンテーブル４１０は水平分割線Ｌｈおよび垂直分割線Ｌｖの本数および位置を定義していると言い換えることも可能である。

ステップＳ６２０（図３１）では、分割領域変形部２６０（図１）が、ステップＳ６１０で変形領域ＴＡ内に配置された分割点Ｄの位置を移動して、小領域を変形する。

変形処理のための各分割点Ｄの位置の移動態様（移動方向および移動距離）は、分割点移動テーブル４２０（図１）により、ステップＳ１２０（図４）において設定される変形タイプと変形の度合いとの組み合わせに対応付けて、予め定められている。分割領域変形部２６０は、分割点移動テーブル４２０を参照し、ステップＳ１２０において設定された変形タイプと変形の度合いとの組み合わせに対応付けられた移動方向および移動距離で、分割点Ｄの位置を移動する。

上述したように、変形タイプとして顔をシャープにするための変形「タイプＡ」（図５参照）が設定され、変形度合いとして程度「中」の度合いが設定されている場合には、これらの変形タイプおよび変形度合いの組み合わせに対応付けられた移動方向および移動距離で、分割点Ｄの位置が移動されることとなる。

図３３は、分割点移動テーブル４２０の内容の一例を示す説明図である。また図３４は、分割点移動テーブル４２０に従った分割点Ｄの位置の移動の一例を示す説明図である。図３３には、分割点移動テーブル４２０により定義された分割点Ｄの位置の移動態様の内、顔をシャープにするための変形タイプと程度「中」の変形度合いとの組み合わせに対応付けられた移動態様を示している。図３３に示すように、分割点移動テーブル４２０には、各分割点Ｄについて、基準線ＲＬと直交する方向（Ｈ方向）および基準線ＲＬと平行な方向（Ｖ方向）に沿った移動量が示されている。なお、分割点移動テーブル４２０に示された移動量の単位は、対象画像ＴＩの画素ピッチＰＰである。また、Ｈ方向については、向かって右側への移動量が正の値として表され、向かって左側への移動量が負の値として表され、Ｖ方向については、上方への移動量が正の値として表され、下方への移動量が負の値として表される。例えば、分割点Ｄ１１は、Ｈ方向に沿って右側に画素ピッチＰＰの７倍の距離だけ移動され、Ｖ方向に沿って上方に画素ピッチＰＰの１４倍の距離だけ移動される。また、例えば分割点Ｄ２２は、Ｈ方向およびＶ方向共に移動量がゼロであるため、移動されない。

なお、変形領域ＴＡの内外の画像間の境界が不自然とならないように、変形領域ＴＡの外枠上に位置する分割点Ｄ（例えば図３４に示す分割点Ｄ１０等）の位置は移動されない。従って、図３３に示した分割点移動テーブル４２０には、変形領域ＴＡの外枠上に位置する分割点Ｄについての移動態様は定義されていない。

図３４では、移動前の分割点Ｄは白抜きの丸で、移動後の分割点Ｄや位置の移動の無い分割点Ｄは黒丸で示されている。また、移動後の分割点Ｄは分割点Ｄ'と呼ばれるものとする。例えば分割点Ｄ１１の位置は、図３４において右上方向に移動され、分割点Ｄ'１１となる。

なお、基準線ＲＬに対して対称な位置関係にある２つの分割点Ｄの組み合わせ（例えば分割点Ｄ１１とＤ４１との組み合わせ）のすべてが、分割点Ｄの移動後も、基準線ＲＬに対して対称な位置関係を維持するように、移動態様が定められている。

分割領域変形部２６０は、変形領域ＴＡを構成する各小領域について、分割点Ｄの位置移動前の状態における小領域の画像が、分割点Ｄの位置移動により新たに定義された小領域の画像となるように、画像の変形処理を行う。例えば、図３４において、分割点Ｄ１１，Ｄ２１，Ｄ２２，Ｄ１２を頂点とする小領域（ハッチングを付して示す小領域）の画像は、分割点Ｄ'１１，Ｄ'２１，Ｄ２２，Ｄ'１２を頂点とする小領域の画像に変形される。

図３５は、分割領域変形部２６０による画像の変形処理方法の概念を示す説明図である。図３５では、分割点Ｄを黒丸で示している。図３５では、説明を簡略化するために、４つの小領域について、左側に分割点Ｄの位置移動前の状態を、右側に分割点Ｄの位置移動後の状態を、それぞれ示している。図３５の例では、中央の分割点Ｄａが分割点Ｄａ'の位置に移動され、その他の分割点Ｄの位置は移動されない。これにより、例えば、分割点Ｄの移動前の分割点Ｄａ，Ｄｂ，Ｄｃ，Ｄｄを頂点とする矩形の小領域（以下「変形前注目小領域ＢＳＡ」とも呼ぶ）の画像は、分割点Ｄａ'，Ｄｂ，Ｄｃ，Ｄｄを頂点とする矩形の小領域（以下「変形後注目小領域ＡＳＡ」とも呼ぶ）の画像に変形される。

画像の変形処理は、矩形の小領域を小領域の重心ＣＧを用いて４つの三角形領域に分割し、三角形領域単位で行われる。図３５の例では、変形前注目小領域ＢＳＡが、変形前注目小領域ＢＳＡの重心ＣＧを頂点の１つとする４つの三角形領域に分割される。同様に、変形後注目小領域ＡＳＡが、変形後注目小領域ＡＳＡの重心ＣＧ'を頂点の１つとする４つの三角形領域に分割される。そして、分割点Ｄａの移動前後のそれぞれの状態において対応する三角形領域毎に、画像の変形処理が行われる。例えば、変形前注目小領域ＢＳＡ中の分割点Ｄａ，Ｄｄおよび重心ＣＧを頂点とする三角形領域の画像が、変形後注目小領域ＡＳＡ中の分割点Ｄａ'，Ｄｄおよび重心ＣＧ'を頂点とする三角形領域の画像に変形される。

図３６は、三角形領域における画像の変形処理方法の概念を示す説明図である。図３６の例では、点ｓ，ｔ，ｕを頂点とする三角形領域ｓｔｕの画像が、点ｓ'，ｔ'，ｕ'を頂点とする三角形領域ｓ'ｔ'ｕ'の画像に変形される。画像の変形は、変形後の三角形領域ｓ'ｔ'ｕ'の画像中のある画素の位置が、変形前の三角形領域ｓｔｕの画像中のどの位置に相当するかを算出し、算出された位置における変形前の画像における画素値を変形後の画像の画素値とすることにより行う。

例えば、図３６において、変形後の三角形領域ｓ'ｔ'ｕ'の画像中の注目画素ｐ'の位置は、変形前の三角形領域ｓｔｕの画像中の位置ｐに相当するものとする。位置ｐの算出は、以下のように行う。まず、注目画素ｐ'の位置を、下記の式（１）のようにベクトルｓ'ｔ'とベクトルｓ'ｕ'との和で表現するための係数ｍ１およびｍ２を算出する。

次に、算出された係数ｍ１およびｍ２を用いて、下記の式（２）により、変形前の三角形領域ｓｔｕにおけるベクトルｓｔとベクトルｓｕとの和を算出することにより、位置ｐが求まる。

変形前の三角形領域ｓｔｕにおける位置ｐが、変形前の画像の画素中心位置に一致した場合には、当該画素の画素値が変形後の画像の画素値とされる。一方、変形前の三角形領域ｓｔｕにおける位置ｐが、変形前の画像の画素中心位置からはずれた位置となった場合には、位置ｐの周囲の画素の画素値を用いたバイキュービック等の補間演算により、位置ｐにおける画素値を算出し、算出された画素値が変形後の画像の画素値とされる。

変形後の三角形領域ｓ'ｔ'ｕ'の画像中の各画素について上述のように画素値を算出することにより、三角形領域ｓｔｕの画像から三角形領域ｓ'ｔ'ｕ'の画像への画像変形処理を行うことができる。分割領域変形部２６０は、図３４に示した変形領域ＴＡを構成する各小領域について、上述したように三角形領域を定義して変形処理を行い、変形領域ＴＡにおける画像変形処理を行う。

ここで、変形タイプとして顔をシャープにするための変形「タイプＡ」（図５参照）が設定され、変形度合いとして程度「中」の度合いが設定された場合を例に取り、顔形状補正の態様についてより詳細に説明する。図３７は、この場合における顔形状補正の態様を示す説明図である。図３７には、変形領域ＴＡを構成する各小領域の変形態様のイメージを矢印により示している。

図３７の例に示す顔形状補正では、基準線ＲＬと平行な方向（Ｖ方向）に関し、水平分割線Ｌｈ１上に配置された分割点Ｄ（Ｄ１１，Ｄ２１，Ｄ３１，Ｄ４１）の位置は上方に移動される一方、水平分割線Ｌｈ２上に配置された分割点Ｄ（Ｄ１２，Ｄ２２，Ｄ３２，Ｄ４２）の位置は移動されない（図３３参照）。従って、水平分割線Ｌｈ１と水平分割線Ｌｈ２との間に位置する画像は、Ｖ方向に関して縮小される。上述したように、水平分割線Ｌｈ１は顎の画像より下方に配置され、水平分割線Ｌｈ２は目の画像のすぐ下付近に配置されるため、この顔形状補正では、顔の画像の内、顎から目の下にかけての部分の画像がＶ方向に縮小されることとなる。この結果、画像中の顎のラインは上方に移動する。

他方、基準線ＲＬと直交する方向（Ｈ方向）に関しては、垂直分割線Ｌｖ１上に配置された分割点Ｄ（Ｄ１１，Ｄ１２）の位置は右方向に移動され、垂直分割線Ｌｖ４上に配置された分割点Ｄ（Ｄ４１，Ｄ４２）の位置は左方向に移動される（図３３参照）。さらに、垂直分割線Ｌｖ２上に配置された２つの分割点Ｄの内、水平分割線Ｌｈ１上に配置された分割点Ｄ（Ｄ２１）の位置は右方向に移動され、垂直分割線Ｌｖ３上に配置された２つの分割点Ｄの内、水平分割線Ｌｈ１上に配置された分割点Ｄ（Ｄ３１）の位置は左方向に移動される（図３３参照）。従って、垂直分割線Ｌｖ１より左側に位置する画像は、Ｈ方向に関して右側に拡大され、垂直分割線Ｌｖ４より右側に位置する画像は、左側に拡大される。また、垂直分割線Ｌｖ１と垂直分割線Ｌｖ２との間に位置する画像は、Ｈ方向に関して縮小または右側に移動され、垂直分割線Ｌｖ３と垂直分割線Ｌｖ４との間に位置する画像は、Ｈ方向に関して縮小または左側に移動される。さらに、垂直分割線Ｌｖ２と垂直分割線Ｌｖ３との間に位置する画像は、水平分割線Ｌｈ１の位置を中心にＨ方向に関して縮小される。

上述したように、垂直分割線Ｌｖ１およびＬｖ４は、頬のラインの画像の外側に配置され、垂直分割線Ｌｖ２およびＬｖ３は、目尻の画像の外側に配置される。そのため、図３７の例における顔形状補正では、顔の画像の内、両目尻より外側の部分の画像が全体的にＨ方向に縮小される。特に顎付近において縮小率が高くなる。この結果、画像中の顔の形状は、全体的に幅方向に細くなる。

上述したＨ方向およびＶ方向の変形態様を総合すると、図３７の例に示した顔形状補正により、対象画像ＴＩ中の顔の形状がシャープになる。なお、顔の形状がシャープになるとは、いわゆる「小顔」になると表現することもできる。

なお、図３７に示す分割点Ｄ２２，Ｄ３２，Ｄ３３，Ｄ２３を頂点とする小領域（ハッチングを付した領域）は、上述した水平分割線Ｌｈ２や垂直分割線Ｌｖ２およびＬｖ３の配置方法によると、両目の画像を含む領域となる。図３３に示すように、分割点Ｄ２２およびＤ３２はＨ方向にもＶ方向にも移動されないため、この両目の画像を含む小領域は変形されない。このように図３７の例では、両目の画像を含む小領域については変形しないこととし、顔形状補正後の画像がより自然で好ましいものとなるようにしている。

Ｅ．変形例：
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。

Ｅ１．変形例１：
上記各実施例では、個々の変形領域の変形処理を繰り返すことにより複数の変形領域の変形処理を行っているが、複数の変形領域の変形処理を同時に実行することも可能である。

Ｅ２．変形例２：
上記各実施例では、本発明を、対象画像中の顔の形状を補正する変形処理に適用しているが、本発明は顔の変形処理の他、変形対象となる変形領域が重複しうる場合一般に適用することができる。

Ｅ３．変形例３：
上記各実施例では、変形領域を矩形の領域として設定しているが、変形領域の形状は、他の形状（例えば、楕円や菱形）であってもよい。

Ｅ４．変形例４：
上記各実施例では、画像処理装置としてのプリンタ１００による顔形状補正印刷処理（図３）を説明したが、顔形状補正印刷処理は例えば、顔形状補正と補正画像の表示（ステップＳ１００，Ｓ２００）がパーソナルコンピュータにより実行され、印刷処理（ステップＳ３００）のみがプリンタにより実行されるものとしてもよい。また、プリンタ１００はインクジェットプリンタに限らず、他の方式のプリンタ、例えばレーザプリンタや昇華型プリンタであるとしてもよい。

Ｅ５．変形例５：
上記各実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。

本発明の一実施例としての画像処理装置が適用されるプリンタ１００の構成を概略的に示す説明図。 画像の一覧表示を含むユーザインタフェースの一例を示す説明図である。 プリンタ１００において顔形状補正印刷を行う際に実行される顔形状補正印刷ルーチンを示すフローチャート。 顔形状補正処理ルーチンを示すフローチャート。 画像変形のタイプおよび度合いを設定するためのユーザインタフェースの一例を示す説明図。 顔領域の検出結果の一例を示す説明図。 変形領域の設定結果を示す説明図。 変形領域の重複が解消された結果を示す説明図。 変形処理が行われた結果を示す説明図。 比較例として、重複する２つの変形領域ＴＡ１，ＴＡ２のいずれにも変形処理を行った結果を示す説明図。 顔形状補正後の対象画像ＴＩが表示された表示部１５０の状態の一例を示す説明図。 第２実施例におけるプリンタ１００ａの構成を概略的に示す説明図。 第２実施例の顔形状補正処理ルーチンを示すフローチャート。 重複変形領域変形処理ルーチンを示すフローチャート。 重複変形領域変形処理ルーチンの実行結果を示す説明図。 重複変形領域変形処理ルーチンの実行結果を示す説明図。 顔領域ＦＡの検出結果の別の一例を示す説明図。 変形領域の設定処理の流れを示すフローチャート。 顔領域ＦＡの高さ方向の位置調整処理の流れを示すフローチャート。 特定領域ＳＡの一例を示す説明図。 評価値の算出方法の一例を示す説明図。 評価対象画素ＴＰの選択方法の一例を示す説明図。 高さ基準点Ｒｈの決定方法の一例を示す説明図。 概略傾き角ＲＩの算出方法の一例を示す説明図。 顔領域ＦＡの高さ方向の位置調整方法の一例を示す説明図。 顔領域ＦＡの傾き調整処理の流れを示すフローチャート。 顔領域ＦＡの傾き調整のための評価値の算出方法の一例を示す説明図。 各評価方向についての評価値の分散の算出結果の一例を示す説明図。 顔領域ＦＡの傾き調整方法の一例を示す説明図。 変形領域ＴＡの設定方法の一例を示す説明図。 変形処理の流れを示すフローチャート。 変形領域ＴＡの小領域への分割方法の一例を示す説明図。 分割点移動テーブル４２０の内容の一例を示す説明図。 分割点移動テーブル４２０に従った分割点Ｄの位置の移動の一例を示す説明図。 分割領域変形部２６０による画像の変形処理方法の概念を示す説明図。 三角形領域における画像の変形処理方法の概念を示す説明図。 顔形状補正の態様の一例を示す説明図。

符号の説明

１００…プリンタ
１１０…ＣＰＵ
１２０…内部メモリ
１４０…操作部
１５０…表示部
１６０…プリンタエンジン
１７０…カードインタフェース
１７２…カードスロット
２００…顔形状補正部
２１０…変形態様設定部
２１２…指定取得部
２２０…顔領域検出部
２３０…顔領域調整部
２４０…変形領域設定部
２５０…変形領域分割部
２６０…分割領域変形部
２７０…領域重複検出部
２８０…優先順位設定部
３１０…表示処理部
３２０…印刷処理部
４１０…分割点配置パターンテーブル
４２０…分割点移動テーブル
４３０…中間画像データ

Claims (5)

1. 画像処理装置であって、
   対象画像上の一部の領域を変形領域として設定する変形領域設定部と、
   前記変形領域内の画像の変形を行う変形処理部と、
   複数の変形領域が重複した場合に、前記対象画像から取得されるパラメータに基づいて前記複数の変形領域中の変形領域に優先順位を設定する優先順位設定部と、
   を備え、
   前記変形処理部は、前記優先順位設定部により設定される優先順位に基づいて、前記複数の変形領域の変形処理を行う、
   画像処理装置。
2. 請求項１記載の画像処理装置であって、
   前記変形処理部は、前記複数の変形領域のうちの前記優先順位が最も高い優先変形領域の変形処理を行い、前記複数の変形領域のうちの前記優先順位が前記優先変形領域よりも低い変形領域の少なくとも一つの変形領域の変形処理を行わない、
   画像処理装置。
3. 請求項１記載の画像処理装置であって、さらに、
   前記変形処理部により前記変形領域内の画像が変形された変形済画像を格納する変形済画像格納部を備え、
   前記変形処理部は、
   前記変形済画像格納部に前記変形済画像が格納されている場合には、前記変形済画像の変形領域に対して画像の変形処理を行い、
   前記複数の変形領域の変形処理を前記優先順位の順に実行する、
   画像処理装置。
4. 請求項１ないし３のいずれか記載の画像処理装置であって、
   前記対象画像は、人物の顔を含む画像であり、
   前記変形領域設定部は、前記人物の顔の複数の器官の画像を含む領域を変形領域として設定する、
   画像処理装置。
5. 画像処理方法であって、
   （ａ）対象画像上の少なくとも一部の領域を変形領域として設定する工程と、
   （ｂ）前記変形領域内の画像の変形を行う工程と、
   （ｃ）複数の変形領域が重複した場合に、前記対象画像から取得されるパラメータに基づいて前記複数の変形領域内の変形領域に優先順位を設定する優先順位設定部と、
   を備え、
   前記工程（ｂ）は、前記工程（ｃ）により設定される優先順位に基づいて、前記複数の変形領域の変形処理を行う工程を含む、
   画像処理方法。

Images