JP5163801B2 - 装置、方法、及びコンピュータープログラム - Google Patents

Description

本発明は、対象画像上の一部の領域を変形する画像処理技術に関する。

デジタル画像を対象に、画像を変形するための画像処理技術が知られている（例えば特許文献１）。特許文献１には、顔の画像上の一部の領域（頬の画像を表す領域）を補正領域として設定し、補正領域を所定のパターンに従い複数の小領域に分割し、小領域毎に設定された倍率で画像を拡大または縮小することにより、顔の形状を変形する画像処理が開示されている。

特開２００４−３１８２０４

上記従来の画像変形のための画像処理では、画像の変形が行われる補正領域は頬の画像を表す領域に設定されるので、通常これらの補正領域が重複することはない。そのため、変形対象の補正領域が重複した場合については考慮がなされていない。この問題は、顔の補正を行う画像処理のみならず、画像の一部分を補正する画像処理一般に共通する。

本発明は、上述した従来の課題を解決するためになされたものであり、変形対象の領域が重複した場合の変形処理結果をより好ましいものとする技術を提供することを目的とする。

上記課題の少なくとも一部を解決するために、本発明の画像処理装置は、対象画像を解析して前記対象画像上に複数の変形領域を設定する変形領域設定部と、前記変形領域内の画像の変形を行う変形処理部と、を備え、前記変形処理部は、前記複数の変形領域が重複した場合に、前記複数の変形領域の重複部分を含む前記複数の変形領域のそれぞれの一部の部分領域の変形量を低減すること、又は画像における顔を検出する検出手段と、前記検出した顔の輪郭を変形させることが可能な変形手段と、を備え、前記検出手段は前記画像における第１の顔と第２の顔とを検出し、前記第１の顔の輪郭を含む第１領域と前記第２の顔の輪郭を含む第２領域とが重複しない場合、前記変形手段は、前記第１の領域に含まれる第１の顔の輪郭の少なくとも一部を変形させ、前記第１の領域と前記第２の領域とが重複する場合、前記変形手段は、前記第１の領域に含まれる第１の顔の輪郭の少なくとも一部を変形させないこと、を特徴とする。

この構成によれば、重複部分を含む部分領域の変形量が低減されるので、複数の変形領域のそれぞれを変形する変形処理が重複部分に対して施されても、個々の変形処理の重複部分に対する影響が小さくなる。そのため、重複部分に変形処理を繰り返すことにより生じる画像の不自然な変形を抑制できるので、変形処理結果をより好ましいものとすることができる。

前記変形処理部は、前記変形領域を複数に分割した小領域を変形することにより前記変形領域内の画像の変形を行い、前記部分領域は、前記複数の小領域のうちで前記重複部分に重なる全体または一部の領域であるものとしてもよい。

この構成によれば、小領域毎に変形量を設定することにより、重複部分に重なる小領域の変形量を低減することができる。そのため、部分領域の変形量の低減がより容易となる。

前記部分領域は、前記重複部分に重なる小領域をさらに分割した一部の領域を含むものとしてもよい。

この構成によれば、重複部分に重なる小領域を分割することにより、部分領域をより小さくすることができる。そのため、変形領域のうちの変形量が低減される範囲をより小さくすることができる。

前記変形処理部は、前記部分領域の変形量をゼロに設定するものとしてもよい。

この構成によれば、部分領域の変形が行われないので、重複部分の画像は変形処理前の状態に維持される。そのため、変形処理を繰り返すことにより生じる画像の不自然な変形を抑制でき、変形処理結果をより好ましいものとすることができる。

前記対象画像は、人物の顔を含む画像であり、前記変形領域設定部は、前記人物の顔の複数の器官の画像を含む領域を前記変形領域として設定するものとしてもよい。

変形領域として人物の顔に含まれる複数の器官を含む場合、変形領域の重複が生じやすい。また、一般に、人物の顔は、画像の中での注目度が高い領域である。そのため、人物の顔を変形処理する場合には、より自然な変形結果とするのが望ましいので、優先順位に基づいて変形処理を行う効果がより大きくなる。

［変形処理を行うための手段］
変形処理を行うために、前記画像処理装置は、画像の変形を行う画像処理装置であって、対象画像上の少なくとも一部の領域を変形領域として設定する変形領域設定部と、前記変形領域内に複数の分割点を配置し、前記分割点同士を結ぶ直線を用いて前記変形領域を複数の小領域に分割する変形領域分割部と、少なくとも１つの前記分割点の位置を移動して前記小領域を変形することにより前記変形領域内の画像の変形を行う変形処理部と、を備えるものとしてもよい。

この画像処理装置では、対象画像上に設定された変形領域内に複数の分割点が配置され、分割点同士を結ぶ直線を用いて変形領域が複数の小領域に分割される。また、分割点の位置が移動され、小領域が変形されることにより変形領域内の画像の変形処理が実行される。このように、この画像処理装置では、変形領域内に分割点を配置して、配置された分割点を移動するだけで画像変形を行うことができ、多様な変形態様に対応した画像変形の画像処理を、容易に、かつ効率的に実現することができる。

上記画像処理装置において、さらに、複数の所定の変形タイプの内の１つを選択して前記変形領域内の画像の変形に適用する変形タイプとして設定する変形態様設定部を備え、前記変形領域分割部は、前記設定された変形タイプに対応付けられた所定の配置パターンに従い前記複数の分割点を配置するとしてもよい。

このようにすれば、例えば顔をシャープする変形タイプや目を大きくする変形タイプ等、それぞれの変形タイプに適した分割点の配置、すなわち変形領域の分割が行われるため、各変形タイプに対応した画像変形のための画像処理のさらなる容易化を実現することができる。

また、上記画像処理装置において、前記変形態様設定部は、複数の所定の変形度合いの内の１つを選択して前記変形領域内の画像の変形に適用する変形度合いとして設定し、前記変形処理部は、前記設定された変形タイプと変形度合いとの組み合わせに対応付けられた所定の移動方向および移動量に従い前記分割点の位置を移動するとしてもよい。

このようにすれば、変形タイプと変形度合いとが設定されれば、それらの組み合わせに応じた画像変形が実行されるため、画像変形のための画像処理のさらなる容易化を実現することができる。

また、上記画像処理装置において、前記変形態様設定部は、少なくとも１つの前記分割点について、前記分割点の移動方向および移動量に関するユーザ指定を取得する指定取得部を含み、前記変形処理部は、前記取得されたユーザ指定に従い前記分割点の位置を移動するとしてもよい。

このようにすれば、よりユーザの希望に近い態様での画像変形のための画像処理を容易に実現することができる。

また、上記画像処理装置において、前記変形領域設定部は、前記変形領域に顔の少なくとも一部の画像が含まれるように前記変形領域を設定するとしてもよい。

このようにすれば、顔の画像を対象として、多様な変形態様に対応した画像変形のための画像処理を、容易に、かつ効率的に実現することができる。

また、上記画像処理装置において、前記変形領域分割部は、少なくとも１組の前記分割点が所定の基準線に対して互いに対称の位置に配置されるように、前記複数の分割点を配置し、前記変形処理部は、前記少なくとも１組の分割点を、前記所定の基準線に対して互いに対称である位置関係を維持したまま移動するとしてもよい。

このようにすれば、所定の基準線に対して左右対称な画像変形が行われることとなり、より自然で好ましい顔画像の画像変形のための画像処理を実現することができる。

また、上記画像処理装置において、前記変形処理部は、少なくとも１つの前記小領域について、変形を行わないとしてもよい。

このようにすれば、顔の印象を大きく変更することなく所望の画像変形を行うことが可能となり、より自然で好ましい顔画像の画像変形のための画像処理を実現することができる。

また、上記画像処理装置において、前記変形処理部は、目の画像を含む前記小領域について、変形を行わないとしてもよい。

このようにすれば、目の画像を含む小領域については変形を行わないものとすることにより、より自然で好ましい顔画像の画像変形のための画像処理を実現することができる。

また、上記画像処理装置において、さらに、前記対象画像上の顔の画像を表す顔領域を検出する顔領域検出部を備え、前記変形領域設定部は、検出された前記顔領域に基づき前記変形領域を設定するとしてもよい。

このようにすれば、対象画像から検出された顔領域に基づき設定された変形領域の画像変形について、多様な変形態様に対応した画像変形のための画像処理を、容易に、かつ効率的に実現することができる。

また、上記画像処理装置において、さらに、前記変形領域内の画像の変形が行われた前記対象画像を印刷する印刷部を備えるとしてもよい。このようにすれば、多様な変形態様に対応した画像変形後の画像の印刷を、容易に、かつ効率的に実現することができる。

なお、本発明は、種々の態様で実現することが可能であり、例えば、画像処理方法および装置、画像変形方法および装置、画像補正方法および装置、これらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、そのコンピュータプログラムを含み搬送波内に具現化されたデータ信号、等の形態で実現することができる。

本発明の一実施例としての画像処理装置が適用されるプリンタの構成を概略的に示す説明図。 画像の一覧表示を含むユーザインタフェースの一例を示す説明図である。 プリンタにおいて顔形状補正印刷を行う際に実行される顔形状補正印刷ルーチンを示すフローチャート。 第１実施例における顔形状補正処理ルーチンを示すフローチャート。 画像変形のタイプおよび度合いを設定するためのユーザインタフェースの一例を示す説明図。 顔領域の検出結果の一例を示す説明図。 変形領域の設定結果を示す説明図。 ２つの変形領域のそれぞれが小領域に分割された様子を示す説明図。 ２つの変形領域のそれぞれに属する小領域が変形される様子を示す説明図。 第１実施例において変形処理が行われた結果を示す説明図。 非重複小領域と重複小領域の双方に変形処理を施す様子を示す説明図。 比較例において重複する２つの変形領域のいずれにも変形処理を行った結果を示す説明図。 顔形状補正後の対象画像が表示された表示部の状態の一例を示す説明図。 第２実施例におけるプリンタの構成を概略的に示す説明図。 第２実施例における顔形状補正処理ルーチンを示すフローチャート。 分割形態を変更した場合における変形領域の分割結果を示す説明図。 第２実施例において２つの変形領域の小領域が変形される様子を示す説明図。 第２実施例において変形処理が行われた結果を示す説明図。 顔領域ＦＡの検出結果の別の一例を示す説明図。 変形領域の設定処理の流れを示すフローチャート。 顔領域ＦＡの高さ方向の位置調整処理の流れを示すフローチャート。 特定領域ＳＡの一例を示す説明図。 評価値の算出方法の一例を示す説明図。 評価対象画素ＴＰの選択方法の一例を示す説明図。 高さ基準点Ｒｈの決定方法の一例を示す説明図。 概略傾き角ＲＩの算出方法の一例を示す説明図。 顔領域ＦＡの高さ方向の位置調整方法の一例を示す説明図。 顔領域ＦＡの傾き調整処理の流れを示すフローチャート。 顔領域ＦＡの傾き調整のための評価値の算出方法の一例を示す説明図。 各評価方向についての評価値の分散の算出結果の一例を示す説明図。 顔領域ＦＡの傾き調整方法の一例を示す説明図。 変形領域ＴＡの設定方法の一例を示す説明図。 変形領域ＴＡの小領域への分割方法の一例を示す説明図。 分割点移動テーブル４２０の内容の一例を示す説明図。 分割点移動テーブル４２０に従った分割点Ｄの位置の移動の一例を示す説明図。 分割領域変形部２６０による画像の変形処理方法の概念を示す説明図。 三角形領域における画像の変形処理方法の概念を示す説明図。 顔形状補正の態様の一例を示す説明図。

次に、本発明の実施の形態を実施例に基づいて以下の順序で説明する。
Ａ．第１実施例：
Ｂ．第２実施例：
Ｃ．変形領域の設定：
Ｄ．分割点配置の態様：
Ｅ．小領域の変形：
Ｆ．変形例：

Ａ．第１実施例：
図１は、本発明の一実施例としての画像処理装置が適用されるプリンタ１００の構成を概略的に示す説明図である。プリンタ１００は、メモリカードＭＣ等から取得した画像データに基づき画像を印刷する、いわゆるダイレクトプリントに対応したカラーインクジェットプリンタである。プリンタ１００は、プリンタ１００の各部を制御するＣＰＵ１１０と、例えばＲＯＭやＲＡＭによって構成された内部メモリ１２０と、ボタンやタッチパネルにより構成された操作部１４０と、液晶ディスプレイにより構成された表示部１５０と、プリンタエンジン１６０と、カードインタフェース（カードＩ／Ｆ）１７０と、を備えている。プリンタ１００は、さらに、他の機器（例えば、デジタルスチルカメラやパーソナルコンピュータ）とのデータ通信を行うためのインタフェースを備えているものとしてもよい。プリンタ１００の各構成要素は、バスを介して互いに接続されている。

プリンタエンジン１６０は、印刷データに基づき印刷を行う印刷機構である。カードインタフェース１７０は、カードスロット１７２に挿入されたメモリカードＭＣとの間でデータのやり取りを行うためのインタフェースである。なお、第１実施例では、メモリカードＭＣにＲＧＢデータとしての画像データが格納されており、プリンタ１００は、カードインタフェース１７０を介してメモリカードＭＣに格納された画像データの取得を行う。

内部メモリ１２０には、顔形状補正部２００と、表示処理部３１０と、印刷処理部３２０とが格納されている。顔形状補正部２００は、所定のオペレーティングシステムの下で、後述する顔形状補正処理を実行するためのコンピュータプログラムである。表示処理部３１０は、表示部１５０を制御して、表示部１５０上に処理メニューやメッセージを表示させるディスプレイドライバである。印刷処理部３２０は、画像データから印刷データを生成し、プリンタエンジン１６０を制御して、印刷データに基づく画像の印刷を実行するためのコンピュータプログラムである。ＣＰＵ１１０は、内部メモリ１２０から、これらのプログラムを読み出して実行することにより、これら各部の機能を実現する。

顔形状補正部２００は、プログラムモジュールとして、変形態様設定部２１０と、顔領域検出部２２０と、顔領域調整部２３０と、変形領域設定部２４０と、変形領域分割部２５０と、分割領域変形部２６０と、重複小領域検出部２７０と、を含んでいる。変形態様設定部２１０は、指定取得部２１２を含んでいる。後述するように、変形領域分割部２５０と、分割領域変形部２６０と、重複小領域検出部２７０と、により画像の変形が行われる。そのため、変形領域分割部２５０と分割領域変形部２６０と重複小領域検出部２７０とは、併せて「変形処理部」とも呼ぶことができる。これらの各部の機能については、後述する。

内部メモリ１２０には、また、分割点配置パターンテーブル４１０と分割点移動テーブル４２０とが格納されている。分割点配置パターンテーブル４１０および分割点移動テーブル４２０の内容については、後述の顔変形処理の説明において詳述する。

プリンタ１００は、メモリカードＭＣに格納された画像データに基づき、画像の印刷を行う。カードスロット１７２にメモリカードＭＣが挿入されると、表示処理部３１０により、メモリカードＭＣに格納された画像の一覧表示を含むユーザインタフェースが表示部１５０に表示される。図２は、画像の一覧表示を含むユーザインタフェースの一例を示す説明図である。なお、第１実施例では、画像の一覧表示は、メモリカードＭＣに格納された画像データ（画像ファイル）に含まれるサムネイル画像を用いて実現される。図２に示すユーザインタフェースには、８つのサムネイル画像ＴＮ１〜ＴＮ６と、５つのボタンＢＮ１〜ＢＮ５が表示されている。

プリンタ１００は、図２に示すユーザインタフェースにおいて、ユーザにより、１つ（または複数）の画像が選択されると共に通常印刷ボタンＢＮ３が選択されると、選択された画像を通常通り印刷する通常印刷処理を実行する。他方、当該ユーザインタフェースにおいて、ユーザにより、１つ（または複数）の画像が選択されると共に顔形状補正印刷ボタンＢＮ４が選択されると、プリンタ１００は、選択された画像について、画像中の顔の形状を補正して補正後の画像を印刷する顔形状補正印刷処理を実行する。図２の例では、サムネイル画像ＴＮ１と顔形状補正印刷ボタンＢＮ４とが選択されている。そのため、プリンタ１００は、サムネイル画像ＴＮ１に対応する画像について顔の形状を補正して補正後の画像を印刷する。

図３は、プリンタ１００において顔形状補正印刷を行う際に実行される顔形状補正印刷ルーチンを示すフローチャートである。ステップＳ１００では、顔形状補正部２００（図１）が、顔形状補正処理を実行する。顔形状補正処理は、画像中の顔の少なくとも一部の形状（例えば顔の輪郭形状や目の形状）を補正する処理である。なお、目や鼻などの顔の一部分は、一般に器官とも呼ばれる。

図４は、図３のステップＳ１００において実行される顔形状補正処理ルーチンを示すフローチャートである。ステップＳ１１０では、顔形状補正部２００（図１）が、顔形状補正処理の対象となる対象画像を設定する。顔形状補正部２００は、図２に示したユーザインタフェースにおいてユーザにより選択されたサムネイル画像ＴＮ１に対応する画像を対象画像として設定する。設定された対象画像の画像データは、メモリカードＭＣからカードインタフェース１７０を介してプリンタ１００に取得され、内部メモリ１２０の所定領域に格納される。なお、以下では、このようにメモリーカードＭＣから取得され、プリンタ１００の内部メモリ１２０に格納された画像データを「元画像データ」とも呼ぶ。また、元画像データにより表される画像を「元画像」とも呼ぶ。

なお、第１実施例では、対象画像は、図２に示したユーザインタフェースにおけるユーザの選択結果に応じて設定されているが、他の方法で対象画像を設定することも可能である。例えば、画像データに格納されているＥｘｉｆ情報等の情報や、画像データのシーン判別結果などに基づいて、メモリカードＭＣに格納された複数の画像の中から顔を含む画像（顔画像）を抽出し、抽出された顔画像を対象画像に設定することも可能である。また、抽出された顔画像の一覧表示を含むユーザインタフェースにおいて、ユーザに単数または複数の顔画像を選択させ、その選択結果に応じて対象画像を設定するものとしてもよい。なお、複数の画像が対象画像として設定された場合、複数の画像に対して同時に顔形状の補正を施してもよく、複数の画像に優先順位を付け、その優先順位に従って複数の画像に顔形状の補正を施しても良い。

ステップＳ１２０（図４）では、変形態様設定部２１０（図１）が、顔形状補正のための画像変形のタイプと画像変形の度合いとを設定する。変形態様設定部２１０は、画像変形のタイプおよび度合いを設定するためのユーザインタフェースを表示部１５０に表示するように表示処理部３１０に指示し、当該ユーザインタフェースを通じてユーザにより指定された画像変形のタイプおよび度合いを選択し、処理に使用する画像変形タイプおよび度合いとして設定する。

図５は、画像変形のタイプおよび度合いを設定するためのユーザインタフェースの一例を示す説明図である。図５に示すように、このユーザインタフェースには、画像変形タイプを設定するためのインタフェースが含まれている。第１実施例では、例えば、顔の形状をシャープにする変形タイプ「タイプＡ」や、目の形状を大きくする変形タイプ「タイプＢ」等が選択肢として予め設定されているものとする。ユーザは、このインタフェースを介して画像変形のタイプを指定する。変形態様設定部２１０は、ユーザにより指定された画像変形タイプを、実際の処理に使用する画像変形タイプとして設定する。

また、図５に示すユーザインタフェースには、画像変形の度合い（程度）を設定するためのインタフェースが含まれている。図５に示すように、第１実施例では、画像変形の度合いとして、強（Ｓ）、中（Ｍ）、弱（Ｗ）の３段階が選択肢として予め設定されているものとする。ユーザは、このインタフェースを介して画像変形の度合いを指定する。変形態様設定部２１０は、ユーザにより指定された画像変形の度合いを、実際の処理に使用する画像変形の度合いとして設定する。ユーザインタフェースに設けられたチェックボックスは、ユーザが変形態様の詳細指定を希望する場合にチェックされる。

以降では、画像変形のタイプとして顔の形状をシャープにするための変形タイプ「タイプＡ」が設定され、画像変形の度合いとして程度「中」の度合いが設定され、ユーザによる詳細指定の希望はなかったものとして説明を行う。

ステップＳ１３０（図４）では、顔領域検出部２２０（図１）が、対象画像における顔領域の検出を行う。ここで、顔領域とは、対象画像上の画像領域であって、少なくとも顔の一部の画像が含まれる領域を意味している。顔領域検出部２２０による顔領域の検出は、例えばテンプレートを利用したパターンマッチングによる方法（特開２００４−３１８２０４参照）といった公知の顔検出方法を用いて実行される。

図６は、顔領域の検出結果の一例を示す説明図である。図６の例では、対象画像ＴＩには２人の人物が含まれている。そのため、ステップＳ１３０における顔検出により、対象画像ＴＩからは、２人の人物に対応して２つの顔領域ＦＡ１，ＦＡ２が検出される。これらの顔領域は、図６に示すように、それぞれの目と鼻と口の画像を含む矩形の領域となっている。

ステップＳ１３０の顔領域の検出において、顔領域が検出されなかった場合には、その旨が表示部１５０を通じてユーザに通知される。この場合には、顔形状補正を伴わない通常印刷が行われるものとしてもよい。また、他の顔検出方法を用いた顔領域の再度の検出処理が行われるものとしてもよい。

なお、ステップＳ１３０では、テンプレートを利用したパターンマッチングにより、対象画像から顔が検出される。このようなテンプレートを利用したパターンマッチングによる方法等の公知の顔検出方法は、一般に、顔全体や顔の部位（目や口等）について位置や傾き（角度）を詳細に検出するものではなく、対象画像中から顔の画像が概ね含まれると考えられる領域を顔領域として設定するものである。

ステップＳ５００において、プリンタ１００は、検出された顔領域に基づいて顔形状補正のための画像変形処理を施す領域（変形領域）を設定する。具体的には、自然で好ましい顔形状補正が実現されるように、ステップＳ１３０で検出された顔領域について位置調整および傾き調整を行うことにより、変形領域が設定される。このように変形領域を設定することにより、一般的に観察者の注目度が高い顔の画像が、設定された変形領域と顔の画像との位置や角度の関係によって不自然に変形されることが抑制される。なお、変形領域を設定する方法については、後述の変形領域の設定の説明において詳述する。

図７は、ステップＳ５００における変形領域の設定結果を示す説明図である。図７の破線は、ステップＳ１３０において対象画像ＴＩから検出された２つの顔領域ＦＡ１，ＦＡ２を示している。図７の太線は、２つの顔領域ＦＡ１，ＦＡ２のそれぞれについて設定された変形領域を示している。図７に示すように、ステップＳ５００では、これらの２つの顔領域ＦＡ１，ＦＡ２のそれぞれに対応した２つの変形領域ＴＡ１，ＴＡ２が設定される。

なお、第１実施例では、顔検出（図４のステップＳ１３０）前のステップＳ１２０において、変形態様を設定しているが、ステップＳ１３０あるいはステップＳ５００の後、更にステップＳ１２０と同様の処理を行うことにより、変形態様を設定できるようにしても良い。このように、ステップＳ１３０の顔検出後に変形態様を設定可能とすることにより、ステップＳ１２０において設定された変形態様がユーザの好みに合わず、変形態様を再度設定する場合に、顔検出処理を省略することが可能となる。

図４のステップＳ１４０では、設定された２つの変形領域ＴＡ１，ＴＡ２のそれぞれに対して分割点（後述する）が配置され、個々の変形領域ＴＡ１，ＴＡ２がそれぞれ１５個の矩形の小領域に分割される。図８は、図４のステップＳ５００において設定された２つの変形領域ＴＡ１，ＴＡ２のそれぞれが、小領域に分割された様子を示す説明図である。なお、分割点を配置することによる変形領域ＴＡ１，ＴＡ２の小領域への分割については、後述の分割点配置の態様の説明において詳述する。

図８（ａ）は、図４のステップＳ５００において設定された２つの変形領域ＴＡ１，ＴＡ２の配置を示している。図８（ｂ）は、ステップＳ１４０において、２つの変形領域ＴＡ１，ＴＡ２のそれぞれが小領域に分割された様子を示している。図８（ａ）に示すように、ステップＳ５００において設定された２つの変形領域ＴＡ１，ＴＡ２は、互いに重複した状態となっている。そのため、変形領域ＴＡ１の小領域のうち、右上から左下方向のハッチングを付した小領域は、変形領域ＴＡ２に重なっている。一方、変形領域ＴＡ２の左上から右下方向のハッチングを付した小領域は、変形領域ＴＡ１に重なっている。以下では、このように、ある変形領域に属する小領域であって、他の変形領域に重なる小領域を「重複小領域」とも呼ぶ。図８（ｂ）から明らかなように、変形領域ＴＡ１，ＴＡ２のそれぞれの重複小領域は、変形領域ＴＡ１，ＴＡ２の重複部分を含んでいる。なお、重複小領域は、変形領域の一部の領域であるので、「部分領域」ともいうことができる。

ステップＳ１５０において、重複小領域検出部２７０（図１）は、ステップＳ１４０において分割された個々の変形領域に属する小領域のうち、図８（ｂ）のハッチングで示すように他の変形領域に重なっている小領域を検出する。個々の変形領域に属する小領域が、他の変形領域に重なっているか否かは、平面図形の重なりの有無を判断する種々のアルゴリズムを用いて判断することができる。例えば、小領域と他の変形領域の輪郭線同士が交差するか否かを調べることにより判断することができる。また、小領域内の点が他の変形領域に含まれるか否かを調べることにより判断することもできる。小領域と他の変形領域がいずれも凸多角形であれば、小領域の頂点が他の変形領域内に入るか否か、あるいは、他の変形領域の頂点が小領域内にはいるか否かを調べることにより判断することができる。

次いで、ステップＳ１６０において、分割領域変形部２６０（図１）は、変形領域ＴＡ１，ＴＡ２のそれぞれの小領域のうち、他方の変形領域に重なっていない小領域（非重複小領域）の変形処理を行う。非重複小領域の変形処理は、変形領域を小領域に分割する際に配置された分割点を移動させることにより行われる。なお、具体的な変形処理の内容は、後述の小領域の変形の説明において詳述する。

図８に示すように、複数の変形領域ＴＡ１，ＴＡ２がある場合には、個々の変形領域についての変形処理が元画像に対して施される。これらの複数の変形領域に対する変形処理は、個々の変形領域の変形処理を繰り返すことにより実行してもよく、複数の変形領域に対して同時に変形処理を実行するものとしてもよい。

図９は、ステップＳ１６０において、２つの変形領域ＴＡ１，ＴＡ２のそれぞれに属する小領域が変形される様子を示す説明図である。変形領域ＴＡ１内の黒丸ＤＡ１１，ＤＡ１２，ＤＡ２１および白丸ＤＡ２２，ＤＡ３１，ＤＡ３２，ＤＡ４１，ＤＡ４２は、変形領域ＴＡ１を小領域に分割する際に配置された分割点を示している。同様に、変形領域ＴＡ２内の黒丸ＤＢ４１，ＤＢ４２および白丸ＤＢ１１，ＤＢ１２，ＤＢ２１，ＤＢ２２，ＤＢ３１，ＤＢ３２は、変形領域ＴＡ２を小領域に分割する際に配置された分割点を示している。なお、図９においても、変形領域ＴＡ１，ＴＡ２内の重複小領域は、ハッチングを付して示している。

図９の例では、変形領域ＴＡ１の重複小領域の頂点となる分割点は、白丸で示す５つの分割点ＤＡ２２，ＤＡ３１，ＤＡ３２，ＤＡ４１，ＤＡ４２となっている。そのため、ステップＳ１６０における変形処理では、これらの分割点ＤＡ２２，ＤＡ３１，ＤＡ３２，ＤＡ４１，ＤＡ４２の移動は行われない。一方、重複小領域の頂点となっていない黒丸で示す分割点ＤＡ１１，ＤＡ１２，ＤＡ２１は、黒丸の位置から星印の位置に移動される。このように分割点ＤＡ１１，ＤＡ１２，ＤＡ２１を移動することにより、点線で示す小領域は、実線で示すように変形される。

同様に、変形領域ＴＡ２の重複小領域の頂点となる分割点は、白丸で示す６つの分割点ＤＢ１１，ＤＢ１２，ＤＢ２１，ＤＢ２２，ＤＢ３１，ＤＢ３２となっている。そのため、ステップＳ１６０における変形処理では、これらの分割点ＤＢ１１，ＤＢ１２，ＤＢ２１，ＤＢ２２，ＤＢ３１，ＤＢ３２の移動は行われない。一方、重複小領域の頂点となっていない黒丸で示す分割点ＤＢ４１，ＤＢ４２は、黒丸の位置から星印の位置に移動される。このように分割点ＤＢ４１，ＤＢ４２を移動することにより、点線で示す小領域は、実線で示すように変形される。

図１０は、第１実施例において変形処理が行われた結果を示す説明図である。図１０（ａ）は、図４のステップＳ１４０〜Ｓ１６０による変形処理前の対象画像ＴＩを示している。図１０（ｂ）は、変形処理後の対象画像ＴＩを示している。上述のように、対象画像ＴＩ中の２人の人物の顔のそれぞれに設定された２つの変形領域ＴＡ１，ＴＡ２は重なり合っている。そのため、２つの変形領域ＴＡ１，ＴＡ２のそれぞれの非重複小領域のみが変形され、重複小領域は変形されない。そのため、図１０（ｂ）に示すように、変形領域ＴＡ１内の非重複小領域に含まれる左側の人物の顔が細くなる。また、変形領域ＴＡ２内の非重複小領域に含まれる右側の人物の顔の一部が変形され、顔の輪郭がやや細くなっている。一方、２つの変形領域ＴＡ１，ＴＡ２が重なっている部分は、重複小領域に含まれる。そのため、変形領域ＴＡ１，ＴＡ２の重複部分は、変形処理前（図１０（ａ））と同じ状態となっている。

図１１は、比較例として、非重複小領域と重複小領域の双方に変形処理を施す様子を示す説明図である。非重複小領域と重複小領域のいずれにも変形処理を施す場合、変形領域ＴＡ１，ＴＡ２の分割点ＤＡ１１〜ＤＡ４２，ＤＢ１１〜ＤＢ４２は、全て移動の対象となる。そのため、これらの分割点ＤＡ１１〜ＤＡ４２，ＤＢ１１〜ＤＢ４２は、それぞれ星印で示す位置に移動される。なお、図１１の例では、図５で示すように、画像変形のタイプとして、顔の形状をシャープにするための変形タイプ「タイプＡ」が設定されている。そのため、目の大きさを変形しないように変形処理が行われるので、４つの分割点ＤＡ２２，ＤＡ３２，ＤＢ２２，ＤＢ３２は、移動されない。

図１２は、比較例において重複する２つの変形領域ＴＡ１，ＴＡ２のいずれにも変形処理を行った結果を示す説明図である。図１２（ａ）は、変形処理が施される前の対象画像ＴＩ（元画像）を示している。図１２（ｂ）は、重複小領域に変形処理を施した比較例における変形処理結果を示している。図１２（ｃ）は、重複小領域に変形処理を施さない第１実施例の変形処理結果を示している。上述のように、変形領域内の変形処理後の画像は、元画像に変形処理が施された画像となっている。そのため、２つの変形領域ＴＡ１，ＴＡ２の重複した部分では、最初の変形結果に後からの変形処理結果が上書きされる。そのため、重複小領域にも変形処理を施す比較例では、図１２（ｂ）において太線で示すように、不連続な境界線ＢＬが発生する。

一方、第１実施例によれば、重複小領域に変形処理を施さないことにより、図１２（ｃ）に示すように変形処理後の画像には不連続な境界は発生しない。このように、第１実施例では、変形処理後の画像に不連続な境界が発生して、変形処理後の画像が不自然な画像となることを抑制することができる。

図４のステップＳ１６０において、非重複小領域の変形処理が行われた後、制御は、図３の顔形状補正印刷ルーチンに戻される。

図４の顔形状補正処理ルーチンから制御が戻されると、図３のステップＳ２００において、変形処理後の画像（補正画像）が表示される。具体的には、顔形状補正部２００（図１）が、顔形状補正後の対象画像を表示部１５０に表示するよう表示処理部３１０に指示する。図１３は、顔形状補正後の対象画像ＴＩが表示された表示部１５０の状態の一例を示す説明図である。顔形状補正後の対象画像ＴＩが表示された表示部１５０により、ユーザは、補正結果を確認することができる。ユーザが補正結果に満足せず「戻る」ボタンを選択した場合には、例えば表示部１５０に図５に示した変形タイプおよび変形度合いを選択する画面が表示され、ユーザによる変形タイプや変形度合いの再度の設定が実行される。ユーザが補正結果に満足し、「印刷」ボタンを選択した場合には、以下の補正画像印刷処理が開始される。なお、第１実施例では、表示部１５０には補正画像が表示されているが、表示部１５０に元画像と補正画像とを同時に表示することも可能である。

ステップＳ３００では、印刷処理部３２０（図１）が、プリンタエンジン１６０を制御して、顔形状補正処理後の対象画像の印刷を行う。印刷処理部３２０は、顔形状補正処理後の対象画像の画像データに、解像度変換やハーフトーン処理などの処理を施して印刷データを生成する。生成された印刷データは、印刷処理部３２０からプリンタエンジン１６０に供給され、プリンタエンジン１６０は対象画像の印刷を実行する。これにより、顔形状補正後の対象画像の印刷が完了する。

Ｂ．第２実施例：
図１４は、第２実施例におけるプリンタ１００ａの構成を概略的に示す説明図である。第２実施例のプリンタ１００ａは、顔形状補正部２００ａが領域重複検出部２８０と、分割形態変更部２９０と、を含んでいる点で、図１に示す第１実施例のプリンタ１００と異なっている。他の点は、第１実施例のプリンタ１００と同様である。

図１５は、第２実施例における顔形状補正処理ルーチンを示すフローチャートである。この顔形状補正処理ルーチンは、第１実施例の顔形状補正処理ルーチン（図４）と同様に、顔形状補正印刷ルーチン（図３）のステップＳ１００において実行される。第２実施例の顔形状補正処理ルーチンは、２つのステップＳ１３２，Ｓ１３４がステップＳ１４０の前に付加されている点で、図４に示す第１実施例の顔形状補正処理ルーチンと異なっている。他の点は、第１実施例の顔形状補正印刷ルーチンと同じである。

ステップＳ１３２において、領域重複検出部２８０は、ステップＳ５００において設定された変形領域の重複の有無を検出する。変形領域の重複の有無は、重複小領域（ステップＳ１５０）の検出と同様に、平面図形の重なりの有無を判断する種々のアルゴリズムを用いて判断することができる。検出の結果、変形領域が重複していると判断された場合には、制御はステップＳ１３４に移される。一方、変形領域が重複していないと判断された場合には、制御はステップＳ１４０に移される。

ステップＳ１３４において、分割形態変更部２９０は、変形領域の分割形態を変更する。具体的には、ステップＳ１２０（図１５）において設定される変形タイプを変更することにより、ステップＳ１４０における変形領域の分割形態を変更する。なお、後述するように、変形領域の分割形態を規定する分割点の配置の態様は、変形タイプと対応づけられて、分割点配置パターンテーブル４１０（図１４）に格納されている。そのため、分割形態変更部２９０は、変形タイプと分割点配置態様との対応関係の変更と、分割点配置態様の変更と、のいずれかを行って分割形態の変更を行うものとしてもよい。

図１６は、分割形態を変更した場合における変形領域の分割結果を示す説明図である。図１６（ａ）は、分割形態を変更しない場合の変形領域の分割結果を示しており、図１６（ｂ）は分割形態を変更した場合の変形領域の分割結果を示している。分割形態を変更することにより、２つの変形領域ＴＡ１，ＴＡ２のそれぞれは、図１６（ａ）に示す分割形態を変更しない場合よりも多い１８個の小領域に分割される。このように、分割形態を変更して小領域を増やすことにより、変形領域ＴＡ１，ＴＡ２に占める重複小領域（ハッチング部）の面積をより少なくすることができる。

図１７は、第２実施例において２つの変形領域の小領域が変形される様子を示す説明図である。図１７は、２つの変形領域ＴＡ１，ＴＡ２のそれぞれに、分割形態を変更することにより分割点ＤＡ５１，ＤＡ５２，ＤＢ５１，ＤＢ５２が付加されている点と、ハッチングを付して示す重複小領域が小さくなっている点と、重複小領域の縮小に伴って、移動の対象となっていなかった分割点ＤＡ２２，ＤＢ３１，ＤＢ３２が、移動の対象となっている点で、図９と異なっている。他の点は、図９と同様である。図１７に示すように、変形領域の分割形態を変更して変形領域中の小領域をより細分化することにより、変形されない重複小領域の変形領域に占める面積を縮小することができる。

図１８は、第２実施例において変形処理が行われた結果を示す説明図である。図１８（ａ）は、図１５のステップＳ１４０〜Ｓ１６０による変形処理前の対象画像ＴＩを示している。図１８（ｂ）は、変形処理後の対象画像ＴＩを示している。第２実施例においても非重複小領域のみが変形され、重複小領域は変形されない。そのため、変形領域ＴＡ１，ＴＡ２の重複部分は、変形処理前（図１８（ａ））と同じ状態となり、重複小領域の変形を行うことにより生じる不連続な境界線ＢＬ（図１２（ｂ））の発生を抑制することができる。また、変形領域中の小領域をより細分化して変形領域中の重複小領域面積を縮小することにより、右側の人物の顔が細くなっている。

このように、第２実施例では、複数の変形領域が重複している場合には、小領域を細分化することにより変形領域中の重複小領域の面積が縮小される。そのため、変形領域内において変形される非重複領域の面積が広くなり、重複小領域を変形しないことの変形処理結果に対する影響をより小さくすることができる。このように、第２実施例は、変形処理結果に対する影響をより低減できる点で第１実施例よりも好ましい。一方、第１実施例は、処理がより容易となる点で第２実施例よりも好ましい。

なお、第２実施例では、分割態様を変更して小領域を細分化することにより、重複小領域は、分割態様を変更しなかった場合の重複小領域を分割したものとなっているが、一般に、重複小領域を分割することが可能であれば変形処理結果に対する影響をより小さくすることができる。例えば、重複小領域が検出された場合には、重複小領域を２以上の小領域に分割するものとしてもよい。また、変形領域の重複の有無に拘わらず、変形領域を十分細かい小領域に分割するものとしてもよい。ただし、変形処理の処理量を低減することができる点で、変形領域の重複が検出された場合には変形領域を細分化し、変形領域の重複が検出されない場合には変形領域を細分化しないのがより好ましい。

Ｃ．変形領域の設定：
図１９は、顔領域ＦＡの検出結果の図６とは別の一例を示す説明図である。なお、以下の説明では、画像を選択するユーザインタフェースにおいて、１人の顔のみが含まれている画像ＴＮ２（図２）が選択されたものとしている。図１９に示すように、図４のステップＳ１３０において、対象画像ＴＩからは、１つの顔領域ＦＡが検出される。なお、対象画像ＴＩから複数の顔領域が検出された場合には、以下に説明する変形領域の設定処理は検出された個々の顔領域に対して行われる。図１９に示した基準線ＲＬは、顔領域ＦＡの高さ方向（上下方向）を定義すると共に、顔領域ＦＡの幅方向（左右方向）の中心を示す線である。すなわち、基準線ＲＬは、矩形の顔領域ＦＡの重心を通り、顔領域ＦＡの高さ方向（上下方向）に沿った境界線に平行な直線である。

図２０は、変形領域の設定処理の流れを示すフローチャートである。図２０のフローチャートに示す処理は、図４のステップＳ５００において実行される。ステップＳ５１０では、顔領域調整部２３０（図１）が、ステップＳ１３０（図４）で検出された顔領域ＦＡの高さ方向の位置調整を行う。ここで、顔領域ＦＡの高さ方向の位置調整とは、顔領域ＦＡの基準線ＲＬ（図１９参照）に沿った位置を調整して、対象画像ＴＩにおける顔領域ＦＡを再設定することを意味している。

図２１は、顔領域ＦＡの高さ方向の位置調整処理の流れを示すフローチャートである。ステップＳ５１１では、顔領域調整部２３０（図１）が、特定領域ＳＡを設定する。ここで、特定領域ＳＡとは、対象画像ＴＩ上の領域であって、顔領域ＦＡの高さ方向の位置調整を実行する際に参照する所定の参照被写体の画像を含む領域である。参照被写体は、例えば「目」に設定することができ、その場合、特定領域ＳＡは「目」の画像を含む領域として設定される。

図２２は、特定領域ＳＡの一例を示す説明図である。顔領域調整部２３０は、特定領域ＳＡを顔領域ＦＡとの関係に基づいて設定する。具体的には、顔領域ＦＡの大きさを、基準線ＲＬに直交する方向および基準線ＲＬに平行な方向に、所定比率で縮小（または拡大）した大きさの領域であって、顔領域ＦＡの位置と所定の位置関係を有する領域が、特定領域ＳＡとして設定される。すなわち、顔領域検出部２２０により検出された顔領域ＦＡとの関係に基づき特定領域ＳＡを設定すれば、特定領域ＳＡが両方の目の画像を含む領域となるように、上記所定比率や所定の位置関係が予め設定されている。なお、特定領域ＳＡは、目の画像とまぎらわしい画像（例えば髪の毛の画像）がなるべく含まれないように、両目の画像を含む限りにおいて、なるべく小さい領域として設定されることが好ましい。

また、図２２に示すように、特定領域ＳＡは、基準線ＲＬに対して対称な矩形形状の領域として設定される。特定領域ＳＡは、基準線ＲＬにより、向かって左側の領域（以下「左分割特定領域ＳＡ（ｌ）」とも呼ぶ）と、向かって右側の領域（以下「右分割特定領域ＳＡ（ｒ）」とも呼ぶ）とに分割される。特定領域ＳＡは、左分割特定領域ＳＡ（ｌ）と右分割特定領域ＳＡ（ｒ）とのそれぞれに片目の画像が含まれるように設定される。

ステップＳ５１２（図２１）では、顔領域調整部２３０（図１）が、特定領域ＳＡにおける目の画像の位置を検出するための評価値を算出する。図２３は、評価値の算出方法の一例を示す説明図である。評価値の算出には、ＲＧＢ画像データとしての対象画像ＴＩの各画素のＲ値（Ｒ成分値）を用いるのが好ましい。これは、肌の部分の画像と目の部分の画像とではＲ値の差が大きいため、Ｒ値を評価値の算出に用いることにより、目の画像の検出精度を向上させることができると考えられるからである。また、対象画像ＴＩのデータがＲＧＢデータとして取得されているため、Ｒ値を評価値の算出に用いることにより、評価値の算出の効率化を図ることができるからでもある。なお、図２３に示すように、評価値の算出は、２つの分割特定領域（右分割特定領域ＳＡ（ｒ）および左分割特定領域ＳＡ（ｌ））のそれぞれについて個別に行われる。

顔領域調整部２３０は、図２３に示すように、分割特定領域（右分割特定領域ＳＡ（ｒ）および左分割特定領域ＳＡ（ｌ））内に、基準線ＲＬと直交するｎ本の直線（以下「対象画素特定線ＰＬ１〜ＰＬｎ」と呼ぶ）を設定する。対象画素特定線ＰＬ１〜ＰＬｎは、分割特定領域の高さ（基準線ＲＬに沿った大きさ）を（ｎ＋１）等分する直線である。すなわち、対象画素特定線ＰＬ同士の間隔は、すべて等間隔ｓである。

顔領域調整部２３０は、対象画素特定線ＰＬ１〜ＰＬｎのそれぞれについて、対象画像ＴＩを構成する画素の中から評価値の算出に用いる画素（以下「評価対象画素ＴＰ」と呼ぶ）を選択する。図２４は、評価対象画素ＴＰの選択方法の一例を示す説明図である。顔領域調整部２３０は、対象画像ＴＩを構成する画素の内、対象画素特定線ＰＬと重なる画素を評価対象画素ＴＰとして選択する。図２４（ａ）は、対象画素特定線ＰＬが対象画像ＴＩの画素の行方向（図２４のＸ方向）と平行である場合を示している。この場合には、各対象画素特定線ＰＬと重なる画素行上の画素（図２４（ａ）において○印を付した画素）が、各対象画素特定線ＰＬについての評価対象画素ＴＰとして選択される。

一方、顔領域ＦＡの検出方法や特定領域ＳＡの設定方法によっては、図２４（ｂ）に示すように、対象画素特定線ＰＬが対象画像ＴＩの画素の行方向（Ｘ方向）と平行とはならない場合も生ずる。このような場合にも、原則として、各対象画素特定線ＰＬと重なる画素が、各対象画素特定線ＰＬについての評価対象画素ＴＰとして選択される。ただし、例えば図２４（ｂ）における対象画素特定線ＰＬ１と画素ＰＸａおよびＰＸｂとの関係のように、ある対象画素特定線ＰＬが、対象画像ＴＩの画素マトリクスの同一列に位置する（すなわちＹ座標が同一の）２つの画素と重なる場合には、重なり部分の距離のより短い方の画素（例えば画素ＰＸｂ）は評価対象画素ＴＰから除外される。すなわち、各対象画素特定線ＰＬについて、画素マトリクスの１つの列からは１つの画素のみが評価対象画素ＴＰとして選択される。

なお、対象画素特定線ＰＬの傾きが、Ｘ方向に対して４５度を超える場合には、上記説明において画素マトリクスの列と行との関係が逆転し、画素マトリクスの１つの行から１つの画素のみが評価対象画素ＴＰとして選択されることとなる。また、対象画像ＴＩと特定領域ＳＡとの大きさの関係によっては、１つの画素が複数の対象画素特定線ＰＬについての評価対象画素ＴＰとして選択される場合もある。

顔領域調整部２３０は、対象画素特定線ＰＬのそれぞれについて、評価対象画素ＴＰのＲ値の平均値を評価値として算出する。ただし、各対象画素特定線ＰＬについて、選択された複数の評価対象画素ＴＰの内、Ｒ値の大きい一部の画素を評価値の算出対象から除外するものとしている。具体的には、例えば、ある対象画素特定線ＰＬについてｋ個の評価対象画素ＴＰが選択された場合、評価対象画素ＴＰが、Ｒ値の比較的大きい０．７５ｋ個の画素により構成される第１グループと、比較的Ｒ値の小さい０．２５ｋ個の画素により構成される第２グループとの２グループに分けられ、第２グループに属する画素のみが評価値としてのＲ値の平均値の算出対象となる。このように一部の評価対象画素ＴＰを評価値の算出対象から除外する理由については後述する。

以上のように、顔領域調整部２３０は、各対象画素特定線ＰＬについての評価値を算出する。ここで、対象画素特定線ＰＬは基準線ＲＬに直交する直線であるため、評価値は、基準線ＲＬに沿った複数の位置（評価位置）について算出されると表現することができる。また、評価値は、各評価位置について、基準線ＲＬに直交する方向に沿った画素値の分布の特徴を表す値と表現することができる。

ステップＳ５１３（図２１）では、顔領域調整部２３０（図１）が、特定領域ＳＡにおける目の位置を検出し、検出結果に基づき高さ基準点Ｒｈを決定する。まず、顔領域調整部２３０は、図２３の右側に示すように、各分割特定領域について、基準線ＲＬに沿った評価値（Ｒ値の平均値）の分布を表す曲線を作成し、評価値が極小値をとる基準線ＲＬ方向に沿った位置を目の位置Ｅｈとして検出する。なお、左分割特定領域ＳＡ（ｌ）における目の位置ＥｈをＥｈ（ｌ）と表し、右分割特定領域ＳＡ（ｒ）における目の位置ＥｈをＥｈ（ｒ）と表わす。

黄色人種の場合、分割特定領域中の肌の画像を表す部分はＲ値が大きい一方、目（より詳細には目の中央の黒目部分）の画像を表す部分はＲ値が小さいと考えられる。そのため、上述のように、評価値（Ｒ値の平均値）が極小値をとる基準線ＲＬに沿った位置を目の位置Ｅｈと判断することが可能となる。但し、他の人種（白色人種や黒色人種）を対象とする場合には、他の評価値（例えば、輝度や明度やＢ値）が用いられる。

なお、図２３に示すように、分割特定領域には、目の画像以外にもＲ値の小さい他の画像（例えば、眉や髪の毛の画像）が含まれている場合もある。そのため、顔領域調整部２３０は、基準線ＲＬに沿った評価値の分布を表す曲線が複数の極小値をとる場合には、極小値をとる位置の内、最も下側の位置を目の位置Ｅｈと判断する。一般に、目の画像より上側には眉や髪の毛等のＲ値の小さい画像が位置することが多い一方、目の画像より下側にはＲ値の小さい画像が位置することが少ないと考えられることから、このような判断が可能となる。

また、上記曲線が、目の画像の位置よりも下側（主に肌の画像に対応した位置）であっても、評価値が大きいながらも極小値をとる可能性があるため、極小値の内、所定の閾値より大きいものは無視するものとしてもよい。あるいは、単純に、各対象画素特定線ＰＬについて算出された評価値の内の最小値に対応した対象画素特定線ＰＬの位置を目の位置Ｅｈとしてもよい。

なお、顔領域ＦＡの位置調整の最小被写体としては、顔において周囲との色の差が比較的大きいと考えられる部位である目（目の中央の黒目部分）を用いている。しかし、評価値としてのＲ値の平均値は、対象画素特定線ＰＬ上の複数の評価対象画素ＴＰを対象として算出されるため、例えば、黒目の周縁の白目部分の画像の影響により、黒目部分の検出の精度が低下する怖れがある。そこで、上述したように、参照被写体とは色の差が大きいと考えられる一部の評価対象画素ＴＰ（例えば上述した第１のグループに属する比較的Ｒ値の大きい画素）を評価値の算出対象から除外することにより、参照被写体の検出精度をより向上させている。

次に、顔領域調整部２３０は、検出された目の位置Ｅｈに基づき高さ基準点Ｒｈを決定する。図２５は、高さ基準点Ｒｈの決定方法の一例を示す説明図である。高さ基準点Ｒｈは、顔領域ＦＡの高さ方向の位置調整の際に、基準として用いられる点である。高さ基準点Ｒｈとしては、図２５に示すように、左右２つの目の位置Ｅｈ（ｌ）およびＥｈ（ｒ）の中間に位置する基準線ＲＬ上の点が設定される。すなわち、左の目の位置Ｅｈ（ｌ）を示す直線ＥｈＬ（ｌ）と基準線ＲＬとの交点と、右の目の位置Ｅｈ（ｒ）を示す直線ＥｈＬ（ｒ）と基準線ＲＬとの交点と、の中点が、高さ基準点Ｒｈとして設定される。

なお、顔領域調整部２３０は、検出された目の位置Ｅｈに基づき、顔画像の概略の傾き角（以下「概略傾き角ＲＩ」と呼ぶ）を算出する。顔画像の概略傾き角ＲＩは、対象画像ＴＩ中の顔の画像が、顔領域ＦＡの基準線ＲＬに対して概ねどれぐらい傾いているかを推定した角度である。図２６は、概略傾き角ＲＩの算出方法の一例を示す説明図である。図２６に示すように、顔領域調整部２３０は、まず、左分割特定領域ＳＡ（ｌ）の幅Ｗｓ（ｌ）を半分に分割する直線と直線ＥｈＬ（ｌ）との交点ＩＰ（ｌ）と、右分割特定領域ＳＡ（ｒ）の幅Ｗｓ（ｒ）を半分に分割する直線と直線ＥｈＬ（ｒ）との交点ＩＰ（ｒ）とを決定する。そして、交点ＩＰ（ｌ）と交点ＩＰ（ｒ）とを結ぶ直線に直交する直線ＩＬと、基準線ＲＬとのなす角が、概略傾き角ＲＩとして算出される。

ステップＳ５１４（図２１）では、顔領域調整部２３０（図１）が、顔領域ＦＡの高さ方向の位置調整を行う。図２７は、顔領域ＦＡの高さ方向の位置調整方法の一例を示す説明図である。顔領域ＦＡの高さ方向の位置調整は、高さ基準点Ｒｈが、位置調整後の顔領域ＦＡにおける所定の位置に位置することとなるように、顔領域ＦＡを再設定することにより行う。具体的には、図２７に示すように、高さ基準点Ｒｈが、顔領域ＦＡの高さＨｆを所定の比率ｒ１対ｒ２で分けるような位置に位置することとなるように、顔領域ＦＡが基準線ＲＬに沿って上下に位置調整される。図２７の例では、破線で示した調整前の顔領域ＦＡを上方向に移動することにより、実線で示した調整後の顔領域ＦＡが再設定されている。

顔領域ＦＡの位置調整の後、ステップＳ５２０（図２０）では、顔領域調整部２３０（図１）が、顔領域ＦＡの傾き調整（角度調整）を行う。ここで、顔領域ＦＡの傾き調整とは、対象画像ＴＩにおける顔領域ＦＡの傾きを顔の画像の傾きに適合するように調整して、顔領域ＦＡを再設定することを意味している。顔領域ＦＡの傾き調整を実行する際に参照する所定の参照被写体は、例えば「両目」に設定される。顔領域ＦＡの傾き調整では、傾き調整の調整角度の選択肢を表す複数の評価方向が設定され、各評価方向に対応した評価特定領域ＥＳＡが両目の画像を含む領域として設定される。そして、各評価方向について評価特定領域ＥＳＡの画像の画素値に基づき評価値が算出され、評価値に基づき決定される傾き調整の調整角度を用いて顔領域ＦＡの傾きが調整される。

図２８は、顔領域ＦＡの傾き調整処理の流れを示すフローチャートである。また、図２９は、顔領域ＦＡの傾き調整のための評価値の算出方法の一例を示す説明図である。ステップＳ５２１（図２８）では、顔領域調整部２３０（図１）が、初期評価特定領域ＥＳＡ（０）を設定する。初期評価特定領域ＥＳＡ（０）は、顔領域ＦＡの位置調整後の基準線ＲＬ（図２７参照）と平行な方向（以下「初期評価方向」とも呼ぶ）に対応付けられた評価特定領域ＥＳＡである。位置調整後の顔領域ＦＡに対応した特定領域ＳＡ（図２７参照）は、そのまま初期評価特定領域ＥＳＡ（０）として設定される。なお、顔領域ＦＡの傾き調整における評価特定領域ＥＳＡは、顔領域ＦＡの位置調整時の特定領域ＳＡとは異なり、左右２つの領域に分割されることはない。図２９の最上段には、設定された初期評価特定領域ＥＳＡ（０）が示されている。

ステップＳ５２２（図２８）では、顔領域調整部２３０（図１）が、複数の評価方向と各評価方向に対応した評価特定領域ＥＳＡとを設定する。複数の評価方向は、傾き調整の調整角度の選択肢を表す方向として設定される。具体的には、基準線ＲＬとのなす角が所定の範囲内である複数の評価方向線ＥＬが設定され、評価方向線ＥＬと平行な方向が評価方向として設定される。図２９に示すように、基準線ＲＬを初期評価特定領域ＥＳＡ（０）の中心点（重心）ＣＰを中心として反時計回りおよび時計回りに所定の角度α刻みで回転させることにより定まる直線が、複数の評価方向線ＥＬとして設定される。なお、基準線ＲＬとのなす角がφ度である評価方向線ＥＬをＥＬ（φ）と表す。

上述した各評価方向線ＥＬと基準線ＲＬとのなす角についての所定の範囲は、±２０度に設定される。ここで本明細書では、基準線ＲＬを時計回りに回転させたときの回転角は正の値で表され、基準線ＲＬを反時計回りに回転させたときの回転角は負の値で表される。顔領域調整部２３０は、基準線ＲＬを反時計回りおよび時計回りにα度、２α度・・・と２０度を超えない範囲で回転角を増加させつつ回転させ、複数の評価方向線ＥＬを設定する。図２９には、基準線ＲＬを−α度，−２α度，α度回転させることによりそれぞれ定まる評価方向線ＥＬ（ＥＬ（−α），ＥＬ（−２α），ＥＬ（α））が示されている。なお、基準線ＲＬは、評価方向線ＥＬ（０）とも表現できる。

各評価方向を表す評価方向線ＥＬに対応した評価特定領域ＥＳＡは、初期評価特定領域ＥＳＡ（０）を、中心点ＣＰを中心として、評価方向線ＥＬの設定時の回転角と同じ角度で回転させた領域である。評価方向線ＥＬ（φ）に対応した評価特定領域ＥＳＡは、評価特定領域ＥＳＡ（φ）と表される。図２９には、評価方向線ＥＬ（−α），ＥＬ（−２α），ＥＬ（α）のそれぞれに対応した評価特定領域ＥＳＡ（ＥＳＡ（−α），ＥＳＡ（−２α），ＥＳＡ（α））が示されている。なお、初期評価特定領域ＥＳＡ（０）も評価特定領域ＥＳＡの１つとして扱われるものとする。

ステップＳ５２３（図２８）では、顔領域調整部２３０（図１）が、設定された複数の評価方向のそれぞれについて、評価特定領域ＥＳＡの画像の画素値に基づき評価値を算出する。顔領域ＦＡの傾き調整における評価値としては、上述した顔領域ＦＡの位置調整における評価値と同様に、Ｒ値の平均値が用いられる。顔領域調整部２３０は、評価方向に沿った複数の評価位置についての評価値を算出する。

評価値の算出方法は、上述した顔領域ＦＡの位置調整における評価値の算出方法と同様である。すなわち、顔領域調整部２３０は、図２９に示すように、各評価特定領域ＥＳＡ内に、評価方向線ＥＬに直交する対象画素特定線ＰＬ１〜ＰＬｎを設定し、各対象画素特定線ＰＬ１〜ＰＬｎについて評価対象画素ＴＰを選択し、選択された評価対象画素ＴＰのＲ値の平均値を評価値として算出する。

評価特定領域ＥＳＡにおける対象画素特定線ＰＬの設定方法や評価対象画素ＴＰの選択方法は、領域を左右に分割するか否かの違いはあるものの、図２３および図２４に示した顔領域ＦＡの位置調整における方法と同様である。なお、顔領域ＦＡの位置調整時と同様に、選択された評価対象画素ＴＰの内の一部（例えばｋ個の評価対象画素ＴＰの内のＲ値の比較的大きい０．７５ｋ個の画素）を評価値の算出対象から除外するとしてもよい。図２９の右側には、各評価方向について、算出された評価値の評価方向線ＥＬに沿った分布を示している。

なお、対象画素特定線ＰＬは評価方向線ＥＬに直交する直線であるため、評価値は、評価方向線ＥＬに沿った複数の位置（評価位置）について算出されると表現することができる。また、評価値は、各評価位置について、評価方向線ＥＬに直交する方向に沿った画素値の分布の特徴を表す値と表現することができる。

ステップＳ５２４（図２８）では、顔領域調整部２３０（図１）が、顔領域ＦＡの傾き調整に用いる調整角度を決定する。顔領域調整部２３０は、各評価方向について、ステップＳ５２３において算出された評価値の評価方向線ＥＬに沿った分散を算出し、分散の値が最大となる評価方向を選択する。そして、選択された評価方向に対応した評価方向線ＥＬと基準線ＲＬとのなす角を、傾き調整に用いる調整角度として決定する。

図３０は、各評価方向についての評価値の分散の算出結果の一例を示す説明図である。図３０の例では、回転角が−α度である評価方向において、分散が最大値Ｖｍａｘをとる。従って、−α度、すなわち反時計回りにα度の回転角が、顔領域ＦＡの傾き調整に用いる調整角度として決定される。

評価値の分散の値が最大となるときの評価方向に対応した角度が傾き調整に用いる調整角度として決定される理由について説明する。図２９の上から２段目に示すように、回転角が−α度であるときの評価特定領域ＥＳＡ（−α）では、左右の目の中央部（黒目部分）の画像が、概ね対象画素特定線ＰＬに平行な方向（すなわち評価方向線ＥＬに直交する方向）に並ぶような配置となっている。また、このときには、左右の眉の画像も同様に、概ね評価方向線ＥＬに直交する方向に並ぶような配置となる。従って、このときの評価方向線ＥＬに対応した評価方向が、概ね顔の画像の傾きを表す方向であると考えられる。このときには、一般にＲ値が小さい目や眉の画像と一般にＲ値が大きい肌の部分の画像との位置関係が、対象画素特定線ＰＬの方向に沿って両者が重なる部分の小さい位置関係となる。そのため、目や眉の画像の位置における評価値は比較的小さくなり、肌の部分の画像の位置における評価値は比較的大きくなる。従って、評価方向線ＥＬに沿った評価値の分布は、図２９に示すように、比較的ばらつきの大きい（振幅の大きい）分布となり、分散の値は大きくなる。

一方、図２９中の最上段および３段目、４段目に示すように、回転角が０度，−２α度，α度であるときの評価特定領域ＥＳＡ（０），ＥＳＡ（−２α），ＥＳＡ（α）では、左右の目の中央部や左右の眉の画像が、評価方向線ＥＬに直交する方向に並ばず、ずれた配置となっている。従って、このときの評価方向線ＥＬに対応した評価方向は、顔の画像の傾きを表していはいない。このときには、目や眉の画像と肌の部分の画像との位置関係が、対象画素特定線ＰＬの方向に沿って両者が重なる部分の大きい位置関係となる。そのため、評価方向線ＥＬに沿った評価値の分布は、図２９に示すように、比較的ばらつきの小さい（振幅の小さい）分布となり、分散の値は小さくなる。

以上のように、評価方向が顔の画像の傾きの方向に近い場合には、評価方向線ＥＬに沿った評価値の分散の値が大きくなり、評価方向が顔の画像の傾きの方向から遠い場合には、評価方向線ＥＬに沿った評価値の分散の値が小さくなる。従って、評価値の分散の値が最大となるときの評価方向に対応した角度を傾き調整に用いる調整角度として決定すれば、顔領域ＦＡの傾きが顔の画像の傾きに適合するような顔領域ＦＡの傾き調整を実現することができる。

なお、評価値の分散の算出結果が、角度の範囲の臨界値、すなわち−２０度または２０度において最大値をとるような結果となった場合には、顔の傾きが正確に評価されていない可能性が高いと考えられるため、顔領域ＦＡの傾き調整は行われない。

また、決定された調整角度は、上述した顔領域ＦＡの位置調整の際に算出された概略傾き角ＲＩと比較される。調整角度と概略傾き角ＲＩとの差が所定の閾値より大きい場合には、顔領域ＦＡの位置調整および傾き調整における評価や決定の際に何らかの誤りが発生したと考えられるため、顔領域ＦＡの位置調整および傾き調整は行われない。

ステップＳ５２５（図２８）では、顔領域調整部２３０（図１）が、顔領域ＦＡの傾き調整を行う。図３１は、顔領域ＦＡの傾き調整方法の一例を示す説明図である。顔領域ＦＡの傾き調整は、顔領域ＦＡを、初期評価特定領域ＥＳＡ（０）の中心点ＣＰを中心に、ステップＳ５２４において決定された調整角度だけ回転させることにより行う。図３１の例では、破線で示した調整前の顔領域ＦＡを反時計回りにα度回転させることにより、実線で示した調整後の顔領域ＦＡが設定される。

顔領域ＦＡの傾き調整終了後のステップＳ５３０（図２０）では、変形領域設定部２４０（図１）が、変形領域ＴＡを設定する。変形領域ＴＡは、対象画像ＴＩ上の領域であって顔形状補正のための画像変形処理の対象となる領域である。図３２は、変形領域ＴＡの設定方法の一例を示す説明図である。図３２に示すように、変形領域ＴＡは、顔領域ＦＡを基準線ＲＬと平行な方向（高さ方向）および基準線ＲＬに直交する方向（幅方向）に伸張（または短縮）した領域として設定される。具体的には、顔領域ＦＡの高さ方向の大きさをＨｆ、幅方向の大きさをＷｆとすると、顔領域ＦＡを、上方向にｋ１・Ｈｆ、下方向にｋ２・Ｈｆだけ伸ばすと共に、左右にそれぞれｋ３・Ｗｆだけ伸ばした領域が、変形領域ＴＡとして設定される。なお、ｋ１，ｋ２，ｋ３は、所定の係数である。

このように変形領域ＴＡが設定されると、顔領域ＦＡの高さ方向の輪郭線に平行な直線である基準線ＲＬは、変形領域ＴＡの高さ方向の輪郭線にも平行な直線となる。また、基準線ＲＬは、変形領域ＴＡの幅を半分に分割する直線となる。

図３２に示すように、変形領域ＴＡは、高さ方向に関しては、概ね顎から額までの画像を含み、幅方向に関しては、左右の頬の画像を含むような領域として設定される。すなわち、上述の係数ｋ１，ｋ２，ｋ３は、変形領域ＴＡが概ねそのような範囲の画像を含む領域となるように、顔領域ＦＡの大きさとの関係に基づいて予め設定されている。

Ｄ．分割点配置の態様：
図３３は、変形領域ＴＡの小領域への分割方法の一例を示す説明図である。変形領域分割部２５０は、変形領域ＴＡに複数の分割点Ｄを配置し、分割点Ｄを結ぶ直線を用いて変形領域ＴＡを複数の小領域に分割する。

分割点Ｄの配置の態様（分割点Ｄの個数および位置）は、分割点配置パターンテーブル４１０（図１）により、ステップＳ１２０（図４）において設定される変形タイプと対応付けて定義されている。変形領域分割部２５０は、分割点配置パターンテーブル４１０を参照し、ステップＳ１２０において設定された変形タイプと対応付けられた態様で分割点Ｄを配置する。上述したように、変形タイプとして顔をシャープにするための変形「タイプＡ」（図５参照）が設定されている場合には、この変形タイプに対応付けられた態様で分割点Ｄが配置される。

図３３に示すように、分割点Ｄは、水平分割線Ｌｈと垂直分割線Ｌｖとの交点と、水平分割線Ｌｈおよび垂直分割線Ｌｖと変形領域ＴＡの外枠との交点とに配置される。ここで、水平分割線Ｌｈおよび垂直分割線Ｌｖは、変形領域ＴＡ内に分割点Ｄを配置するための基準となる線である。図３３に示すように、顔をシャープにするための変形タイプに対応付けられた分割点Ｄの配置では、基準線ＲＬと直交する２本の水平分割線Ｌｈと、基準線ＲＬに平行な４本の垂直分割線Ｌｖとが設定される。２本の水平分割線Ｌｈを、変形領域ＴＡの下方から順に、Ｌｈ１，Ｌｈ２と呼ぶ。また、４本の垂直分割線Ｌｖを、変形領域ＴＡの左から順に、Ｌｖ１，Ｌｖ２，Ｌｖ３，Ｌｖ４と呼ぶ。

水平分割線Ｌｈ１は、変形領域ＴＡにおいて、顎の画像より下方に配置され、水平分割線Ｌｈ２は、目の画像のすぐ下付近に配置される。また、垂直分割線Ｌｖ１およびＬｖ４は、頬のラインの画像の外側に配置され、垂直分割線Ｌｖ２およびＬｖ３は、目尻の画像の外側に配置される。なお、水平分割線Ｌｈおよび垂直分割線Ｌｖの配置は、水平分割線Ｌｈおよび垂直分割線Ｌｖと画像との位置関係が結果的に上述の位置関係となるように予め設定された変形領域ＴＡの大きさとの対応関係に従い実行される。

上述した水平分割線Ｌｈと垂直分割線Ｌｖとの配置に従い、水平分割線Ｌｈと垂直分割線Ｌｖとの交点と、水平分割線Ｌｈおよび垂直分割線Ｌｖと変形領域ＴＡの外枠との交点とに、分割点Ｄが配置される。図３３に示すように、水平分割線Ｌｈｉ（ｉ＝１または２）上に位置する分割点Ｄを、左から順に、Ｄ０ｉ，Ｄ１ｉ，Ｄ２ｉ，Ｄ３ｉ，Ｄ４ｉ，Ｄ５ｉと呼ぶものとする。例えば、水平分割線Ｌｈ１上に位置する分割点Ｄは、Ｄ０１，Ｄ１１，Ｄ２１，Ｄ３１，Ｄ４１，Ｄ５１と呼ばれる。同様に、垂直分割線Ｌｖｊ（ｊ＝１，２，３，４のいずれか）上に位置する分割点Ｄを、下から順に、Ｄｊ０，Ｄｊ１，Ｄｊ２，Ｄｊ３と呼ぶものとする。例えば、垂直分割線Ｌｖ１上に位置する分割点Ｄは、Ｄ１０，Ｄ１１，Ｄ１２，Ｄ１３と呼ばれる。

なお、図３３に示すように、本実施例における分割点Ｄの配置は、基準線ＲＬに対して対称の配置となっている。

変形領域分割部２５０は、配置された分割点Ｄを結ぶ直線（すなわち水平分割線Ｌｈおよび垂直分割線Ｌｖ）により、変形領域ＴＡを複数の小領域に分割する。図３３の例では、変形領域ＴＡは１５個の矩形の小領域に分割される。

なお、分割点Ｄの配置は、水平分割線Ｌｈおよび垂直分割線Ｌｖの本数および位置により定まるため、分割点配置パターンテーブル４１０は水平分割線Ｌｈおよび垂直分割線Ｌｖの本数および位置を定義していると言い換えることも可能である。

Ｅ．小領域の変形：
変形領域ＴＡ内に分割点Ｄを配置して変形領域ＴＡを分割した個々の小領域は、分割領域変形部２６０（図１）が、変形領域ＴＡ内に配置された分割点Ｄの位置を移動することにより変形される。

変形処理のための各分割点Ｄの位置の移動態様（移動方向および移動距離）は、分割点移動テーブル４２０（図１）により、ステップＳ１２０（図４）において設定される変形タイプと変形の度合いとの組み合わせに対応付けて、予め定められている。分割領域変形部２６０は、分割点移動テーブル４２０を参照し、ステップＳ１２０において設定された変形タイプと変形の度合いとの組み合わせに対応付けられた移動方向および移動距離で、分割点Ｄの位置を移動する。

上述したように、変形タイプとして顔をシャープにするための変形「タイプＡ」（図５参照）が設定され、変形度合いとして程度「中」の度合いが設定されている場合には、これらの変形タイプおよび変形度合いの組み合わせに対応付けられた移動方向および移動距離で、分割点Ｄの位置が移動されることとなる。

図３４は、分割点移動テーブル４２０の内容の一例を示す説明図である。また図３５は、分割点移動テーブル４２０に従った分割点Ｄの位置の移動の一例を示す説明図である。図３４には、分割点移動テーブル４２０により定義された分割点Ｄの位置の移動態様の内、顔をシャープにするための変形タイプと程度「中」の変形度合いとの組み合わせに対応付けられた移動態様を示している。図３４に示すように、分割点移動テーブル４２０には、各分割点Ｄについて、基準線ＲＬと直交する方向（Ｈ方向）および基準線ＲＬと平行な方向（Ｖ方向）に沿った移動量が示されている。なお、分割点移動テーブル４２０に示された移動量の単位は、対象画像ＴＩの画素ピッチＰＰである。また、Ｈ方向については、向かって右側への移動量が正の値として表され、向かって左側への移動量が負の値として表され、Ｖ方向については、上方への移動量が正の値として表され、下方への移動量が負の値として表される。例えば、分割点Ｄ１１は、Ｈ方向に沿って右側に画素ピッチＰＰの７倍の距離だけ移動され、Ｖ方向に沿って上方に画素ピッチＰＰの１４倍の距離だけ移動される。また、例えば分割点Ｄ２２は、Ｈ方向およびＶ方向共に移動量がゼロであるため、移動されない。

なお、変形領域ＴＡの内外の画像間の境界が不自然とならないように、変形領域ＴＡの外枠上に位置する分割点Ｄ（例えば図３５に示す分割点Ｄ１０等）の位置は移動されない。従って、図３４に示した分割点移動テーブル４２０には、変形領域ＴＡの外枠上に位置する分割点Ｄについての移動態様は定義されていない。

図３５では、移動前の分割点Ｄは白抜きの丸で、移動後の分割点Ｄや位置の移動の無い分割点Ｄは黒丸で示されている。また、移動後の分割点Ｄは分割点Ｄ'と呼ばれるものとする。例えば分割点Ｄ１１の位置は、図３５において右上方向に移動され、分割点Ｄ'１１となる。

なお、基準線ＲＬに対して対称な位置関係にある２つの分割点Ｄの組み合わせ（例えば分割点Ｄ１１とＤ４１との組み合わせ）のすべてが、分割点Ｄの移動後も、基準線ＲＬに対して対称な位置関係を維持するように、移動態様が定められている。

分割領域変形部２６０は、変形領域ＴＡを構成する各小領域について、分割点Ｄの位置移動前の状態における小領域の画像が、分割点Ｄの位置移動により新たに定義された小領域の画像となるように、画像の変形処理を行う。例えば、図３５において、分割点Ｄ１１，Ｄ２１，Ｄ２２，Ｄ１２を頂点とする小領域（ハッチングを付して示す小領域）の画像は、分割点Ｄ'１１，Ｄ'２１，Ｄ２２，Ｄ'１２を頂点とする小領域の画像に変形される。

なお、上述のように小領域を変形対象から除外する場合には、その小領域の頂点に相当する分割点の移動距離がゼロに設定される。これにより、変形対象から除外された小領域は変形されない状態となる。例えば、図３５においてハッチングを付した、分割点Ｄ１１，Ｄ２１，Ｄ２２，Ｄ１２を頂点とする小領域を変形対象から除外する場合、図３４の分割点移動テーブル４２０のうち、分割点Ｄ１１，Ｄ２１，Ｄ２２，Ｄ１２のＨ方向及びＶ方向の移動量がゼロに設定される。

図３６は、分割領域変形部２６０による画像の変形処理方法の概念を示す説明図である。図３６では、分割点Ｄを黒丸で示している。図３６では、説明を簡略化するために、４つの小領域について、左側に分割点Ｄの位置移動前の状態を、右側に分割点Ｄの位置移動後の状態を、それぞれ示している。図３６の例では、中央の分割点Ｄａが分割点Ｄａ'の位置に移動され、その他の分割点Ｄの位置は移動されない。これにより、例えば、分割点Ｄの移動前の分割点Ｄａ，Ｄｂ，Ｄｃ，Ｄｄを頂点とする矩形の小領域（以下「変形前注目小領域ＢＳＡ」とも呼ぶ）の画像は、分割点Ｄａ'，Ｄｂ，Ｄｃ，Ｄｄを頂点とする矩形の小領域（以下「変形後注目小領域ＡＳＡ」とも呼ぶ）の画像に変形される。

画像の変形処理は、矩形の小領域を小領域の重心ＣＧを用いて４つの三角形領域に分割し、三角形領域単位で行われる。図３６の例では、変形前注目小領域ＢＳＡが、変形前注目小領域ＢＳＡの重心ＣＧを頂点の１つとする４つの三角形領域に分割される。同様に、変形後注目小領域ＡＳＡが、変形後注目小領域ＡＳＡの重心ＣＧ'を頂点の１つとする４つの三角形領域に分割される。そして、分割点Ｄａの移動前後のそれぞれの状態において対応する三角形領域毎に、画像の変形処理が行われる。例えば、変形前注目小領域ＢＳＡ中の分割点Ｄａ，Ｄｄおよび重心ＣＧを頂点とする三角形領域の画像が、変形後注目小領域ＡＳＡ中の分割点Ｄａ'，Ｄｄおよび重心ＣＧ'を頂点とする三角形領域の画像に変形される。

図３７は、三角形領域における画像の変形処理方法の概念を示す説明図である。図３７の例では、点ｓ，ｔ，ｕを頂点とする三角形領域ｓｔｕの画像が、点ｓ'，ｔ'，ｕ'を頂点とする三角形領域ｓ'ｔ'ｕ'の画像に変形される。画像の変形は、変形後の三角形領域ｓ'ｔ'ｕ'の画像中のある画素の位置が、変形前の三角形領域ｓｔｕの画像中のどの位置に相当するかを算出し、算出された位置における変形前の画像（すなわち、元画像）における画素値を変形後の画像の画素値とすることにより行う。

例えば、図３７において、変形後の三角形領域ｓ'ｔ'ｕ'の画像中の注目画素ｐ'の位置は、変形前の三角形領域ｓｔｕの画像中の位置ｐに相当するものとする。位置ｐの算出は、以下のように行う。まず、注目画素ｐ'の位置を、下記の式（１）のようにベクトルｓ'ｔ'とベクトルｓ'ｕ'との和で表現するための係数ｍ１およびｍ２を算出する。

次に、算出された係数ｍ１およびｍ２を用いて、下記の式（２）により、変形前の三角形領域ｓｔｕにおけるベクトルｓｔとベクトルｓｕとの和を算出することにより、位置ｐが求まる。

変形前の三角形領域ｓｔｕにおける位置ｐが、変形前の画像の画素中心位置に一致した場合には、当該画素の画素値が変形後の画像の画素値とされる。一方、変形前の三角形領域ｓｔｕにおける位置ｐが、変形前の画像の画素中心位置からはずれた位置となった場合には、位置ｐの周囲の画素の画素値を用いたバイキュービック等の補間演算により、位置ｐにおける画素値を算出し、算出された画素値が変形後の画像の画素値とされる。

変形後の三角形領域ｓ'ｔ'ｕ'の画像中の各画素について上述のように画素値を算出することにより、三角形領域ｓｔｕの画像から三角形領域ｓ'ｔ'ｕ'の画像への画像変形処理を行うことができる。分割領域変形部２６０は、図３５に示した変形領域ＴＡを構成する各小領域について、上述したように三角形領域を定義して変形処理を行い、変形領域ＴＡにおける画像変形処理を行う。

ここで、変形タイプとして顔をシャープにするための変形「タイプＡ」（図５参照）が設定され、変形度合いとして程度「中」の度合いが設定された場合を例に取り、顔形状補正の態様についてより詳細に説明する。図３８は、この場合における顔形状補正の態様を示す説明図である。図３８には、変形領域ＴＡを構成する各小領域の変形態様のイメージを矢印により示している。

図３８の例に示す顔形状補正では、基準線ＲＬと平行な方向（Ｖ方向）に関し、水平分割線Ｌｈ１上に配置された分割点Ｄ（Ｄ１１，Ｄ２１，Ｄ３１，Ｄ４１）の位置は上方に移動される一方、水平分割線Ｌｈ２上に配置された分割点Ｄ（Ｄ１２，Ｄ２２，Ｄ３２，Ｄ４２）の位置は移動されない（図３４参照）。従って、水平分割線Ｌｈ１と水平分割線Ｌｈ２との間に位置する画像は、Ｖ方向に関して縮小される。上述したように、水平分割線Ｌｈ１は顎の画像より下方に配置され、水平分割線Ｌｈ２は目の画像のすぐ下付近に配置されるため、この顔形状補正では、顔の画像の内、顎から目の下にかけての部分の画像がＶ方向に縮小されることとなる。この結果、画像中の顎のラインは上方に移動する。

他方、基準線ＲＬと直交する方向（Ｈ方向）に関しては、垂直分割線Ｌｖ１上に配置された分割点Ｄ（Ｄ１１，Ｄ１２）の位置は右方向に移動され、垂直分割線Ｌｖ４上に配置された分割点Ｄ（Ｄ４１，Ｄ４２）の位置は左方向に移動される（図３４参照）。さらに、垂直分割線Ｌｖ２上に配置された２つの分割点Ｄの内、水平分割線Ｌｈ１上に配置された分割点Ｄ（Ｄ２１）の位置は右方向に移動され、垂直分割線Ｌｖ３上に配置された２つの分割点Ｄの内、水平分割線Ｌｈ１上に配置された分割点Ｄ（Ｄ３１）の位置は左方向に移動される（図３４参照）。従って、垂直分割線Ｌｖ１より左側に位置する画像は、Ｈ方向に関して右側に拡大され、垂直分割線Ｌｖ４より右側に位置する画像は、左側に拡大される。また、垂直分割線Ｌｖ１と垂直分割線Ｌｖ２との間に位置する画像は、Ｈ方向に関して縮小または右側に移動され、垂直分割線Ｌｖ３と垂直分割線Ｌｖ４との間に位置する画像は、Ｈ方向に関して縮小または左側に移動される。さらに、垂直分割線Ｌｖ２と垂直分割線Ｌｖ３との間に位置する画像は、水平分割線Ｌｈ１の位置を中心にＨ方向に関して縮小される。

上述したように、垂直分割線Ｌｖ１およびＬｖ４は、頬のラインの画像の外側に配置され、垂直分割線Ｌｖ２およびＬｖ３は、目尻の画像の外側に配置される。そのため、図３８の例における顔形状補正では、顔の画像の内、両目尻より外側の部分の画像が全体的にＨ方向に縮小される。特に顎付近において縮小率が高くなる。この結果、画像中の顔の形状は、全体的に幅方向に細くなる。

上述したＨ方向およびＶ方向の変形態様を総合すると、図３８の例に示した顔形状補正により、対象画像ＴＩ中の顔の形状がシャープになる。なお、顔の形状がシャープになるとは、いわゆる「小顔」になると表現することもできる。

なお、図３８に示す分割点Ｄ２２，Ｄ３２，Ｄ３３，Ｄ２３を頂点とする小領域（ハッチングを付した領域）は、上述した水平分割線Ｌｈ２や垂直分割線Ｌｖ２およびＬｖ３の配置方法によると、両目の画像を含む領域となる。図３４に示すように、分割点Ｄ２２およびＤ３２はＨ方向にもＶ方向にも移動されないため、この両目の画像を含む小領域は変形されない。このように図３８の例では、両目の画像を含む小領域については変形しないこととし、顔形状補正後の画像がより自然で好ましいものとなるようにしている。

Ｆ．変形例：
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。

Ｆ１．変形例１：
上記各実施例では、変形処理後の画像が不自然な画像となることを抑制するため、複数の変形領域が重複した重複領域に重なる重複小領域の変形を行わないものとしているが、一般には、重複小領域の変形量を低減することができればよい。このようにしても、重複領域の外周における画像のずれが低減できるので、変形処理後の画像が不自然な画像となることを抑制することが可能となる。

Ｆ２．変形例２：
上記各実施例では、変形領域を分割した小領域毎に変形するか否かを決定しているが、重複領域を含む変形領域の一部の変形量を低減するものとしても良い。例えば、変形領域の分割に使用される分割点のうち、重複領域に入る分割点の移動を抑制するものとしてもよい。この場合においても重複領域の変形量が低減されるので、重複領域の外周における画像のずれが低減でき、変形処理後の画像が不自然な画像となることを抑制することが可能となる。

Ｆ３．変形例３：
上記各実施例では、本発明を、対象画像中の顔の形状を補正する変形処理に適用しているが、本発明は顔の変形処理の他、変形対象となる変形領域が重複しうる場合一般に適用することができる。

Ｆ４．変形例４：
上記各実施例では、変形領域を矩形の領域として設定しているが、変形領域の形状は、他の形状（例えば、楕円や菱形）であってもよい。

Ｆ５．変形例５：
上記各実施例では、画像処理装置としてのプリンタ１００による顔形状補正印刷処理（図３）を説明したが、顔形状補正印刷処理は例えば、顔形状補正と補正画像の表示（ステップＳ１００，Ｓ２００）がパーソナルコンピュータにより実行され、印刷処理（ステップＳ３００）のみがプリンタにより実行されるものとしてもよい。また、プリンタ１００はインクジェットプリンタに限らず、他の方式のプリンタ、例えばレーザプリンタや昇華型プリンタであるとしてもよい。

Ｆ６．変形例６：
上記各実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。

１００…プリンタ
１１０…ＣＰＵ
１２０…内部メモリ
１４０…操作部
１５０…表示部
１６０…プリンタエンジン
１７０…カードインタフェース
１７２…カードスロット
２００…顔形状補正部
２１０…変形態様設定部
２１２…指定取得部
２２０…顔領域検出部
２３０…顔領域調整部
２４０…変形領域設定部
２５０…変形領域分割部
２６０…分割領域変形部
２７０…重複小領域検出部
２８０…領域重複検出部
２９０…分割形態変更部
３１０…表示処理部
３２０…印刷処理部
４１０…分割点配置パターンテーブル
４２０…分割点移動テーブル

Claims (3)

1. 画像における顔を検出する検出手段と、
   前記検出した顔の輪郭を変形させることが可能な変形手段と、
   を備え、
   前記検出手段は前記画像における第１の顔と第２の顔とを検出し、
   前記第１の顔の輪郭を含む第１領域と前記第２の顔の輪郭を含む第２領域とが重複しない場合、前記変形手段は、前記第１の領域に含まれる第１の顔の輪郭の少なくとも一部を変形させ、
   前記第１の領域と前記第２の領域とが重複する場合、前記変形手段は、前記第１の領域に含まれる第１の顔の輪郭の少なくとも一部を変形させない、装置。
2. 画像における顔を検出する検出工程と、
   前記検出した顔の輪郭を変形させることが可能な変形工程と、
   からなり、
   前記検出工程では前記画像における第１の顔と第２の顔とを検出し、
   前記第１の顔の輪郭を含む第１領域と前記第２の顔の輪郭を含む第２領域とが重複しない場合、前記変形工程では、前記第１の領域に含まれる第１の顔の輪郭の少なくとも一部を変形させ、
   前記第１の領域と前記第２の領域とが重複する場合、前記変形工程では、前記第１の領域に含まれる第１の顔の輪郭の少なくとも一部を変形させない、方法。
3. 画像における顔を検出する検出工程と、
   前記検出した顔の輪郭を変形させることが可能な変形工程と、
   をコンピューターに実行させるプログラムであって、
   前記検出工程では前記画像における第１の顔と第２の顔とを検出し、
   前記第１の顔の輪郭を含む第１領域と前記第２の顔の輪郭を含む第２領域とが重複しない場合、前記変形工程では、前記第１の領域に含まれる第１の顔の輪郭の少なくとも一部を変形させ、
   前記第１の領域と前記第２の領域とが重複する場合、前記変形工程では、前記第１の領域に含まれる第１の顔の輪郭の少なくとも一部を変形させない、コンピュータープログラム。

Images