JP4816540B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は、対象画像上の少なくとも一部の領域を変形する画像処理技術に関する。

デジタル画像を対象に、画像を変形するための画像処理技術が知られている（例えば特許文献１）。特許文献１には、顔の画像上の一部の領域（頬の画像を表す領域）を補正領域として設定し、補正領域を所定のパターンに従い複数の小領域に分割し、小領域毎に設定された倍率で画像を拡大または縮小することにより、顔の形状を変形する画像処理が開示されている。

特開２００４−３１８２０４

ところで、画像の生成（例えば、撮影）の条件と、画像の出力（例えば、表示や印刷）の条件とは、種々に変化し得る。生成条件としては、例えば、撮影時における被写体と撮影装置との間の距離や、撮影時における被写体の明るさ等がある。また、出力条件としては、例えば、印刷時における用紙サイズや、表示用のモニタのサイズ等がある。出力された画像を観察して得られる被写体の印象は、このような条件に応じて種々に変化する。その結果、一律に画像を変形しても、望ましい画像が得られない可能性があった。なお、このような問題は、顔を変形させる場合に限らず、画像の少なくとも一部を変形させる画像処理に共通する問題であった。

本発明は、上記の課題を解決するためになされたものであり、出力条件に合わせて画像を適切に変形させることのできる技術を提供することを目的とする。

上述の課題の少なくとも一部を解決するために、本発明の画像処理装置は、画像出力部によって画像を出力するための画像処理を実行する画像処理装置であって、変形の度合いを調整する変形量調整部と、対象画像上の少なくとも一部の領域を前記調整された度合いで変形させる変形処理部と、を備え、前記変形量調整部は、前記対象画像の出力サイズを表す出力サイズ情報を利用することによって、前記出力サイズ情報が示す出力サイズが小さいほど強くなるように前記変形の度合いを調整する。

この画像処理装置によれば、対象画像の出力サイズが小さいほど強くなるように変形の度合いが調整されるので、出力条件に合わせて画像を適切に変形させることができる。

さらに、前記変形処理部は、前記対象画像上の被写体の少なくとも一部分の前記対象画像上における少なくとも一方向の大きさが小さくなるように、前記変形を実行することとしてもよい。

この構成によれば、被写体が小さくなるように変形されるので、自然な変形を実現することができる。

さらに、前記出力は印刷媒体上への印刷であり、前記出力サイズ情報は、前記印刷媒体のサイズを表す情報であることとしてもよい。

この構成によれば、印刷媒体のサイズに合わせて画像を適切に変形させることができる。

さらに、上記画像処理装置は、前記対象画像上の所定の種類の被写体を前記被写体として検出する検出部と、前記対象画像上の、前記検出部によって検出された被写体を含む一部の領域を変形領域として設定する変形領域設定部と、を備え、前記変形処理部は、前記変形領域内の画像の変形を実行することとしてもよい。

この構成によれば、画像の全体を過剰に変形させずに、被写体を変形させることができる。

さらに、前記変形量調整部は、撮影時における前記対象画像上の被写体と撮影装置との間の距離と相関のある距離パラメータを利用することによって、前記距離パラメータが示す距離が近いほど強くなるように前記変形の度合いを調整することとしてもよい。

この構成によれば、距離が近いほど変形度合いが強くなるので、個々の画像に合わせて画像を適切に変形させることができる。

上述の各画像処理装置において、前記被写体は人物の顔であることとしてもよい。

この構成によれば、人物の顔を含む対象画像を、出力サイズに合わせて適切に変形させることができる。

上述の各画像処理装置において、前記出力サイズの大小関係は、（Ａ）出力された状態における前記対象画像の領域の長辺の実際の長さと、（Ｂ）出力された状態における前記対象画像の領域の短辺の実際の長さと、（Ｃ）出力された状態における前記対象画像の領域の実際の面積と、のうちのいずれか１つの大小関係によって表されていることとしてもよい。

この構成によれば、出力サイズの大小関係によって、出力された対象画像の大きさの違いが適切に表現される。

上記各画像処理装置が、さらに、前記変形後の対象画像を前記出力サイズで出力するための出力データを生成して前記画像出力部に供給する出力処理部を備えることとしてもよい。

この構成によれば、出力処理部によって、画像出力部から変形後の対象画像を前記出力サイズで出力することができる。

なお、本発明は、種々の態様で実現することが可能であり、例えば、画像処理方法および装置、画像変形方法および装置、画像補正方法および装置、これらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、そのコンピュータプログラムを含み搬送波内に具現化されたデータ信号、等の形態で実現することができる。

次に、本発明の実施の形態を実施例に基づいて以下の順序で説明する。
Ａ．第１実施例：
Ｂ．第２実施例：
Ｃ．第３実施例：
Ｄ．変形領域の設定：
Ｅ．顔変形処理：
Ｆ．他の変形処理：
Ｇ．出力の他の実施形態：
Ｈ．変形例：

Ａ．第１実施例：
図１は、本発明の一実施例としての画像処理装置が適用されるプリンタ１００の構成を概略的に示す説明図である。プリンタ１００は、メモリカードＭＣ等から取得した画像データに基づき画像を印刷する、いわゆるダイレクトプリントに対応したカラーインクジェットプリンタである。プリンタ１００は、プリンタ１００の各部を制御するＣＰＵ１１０と、例えばＲＯＭやＲＡＭによって構成された内部メモリ１２０と、ボタンやタッチパネルにより構成された操作部１４０と、液晶ディスプレイにより構成された表示部１５０と、プリンタエンジン１６０と、カードインタフェース（カードＩ／Ｆ）１７０と、を備えている。プリンタ１００は、さらに、他の機器（例えば、デジタルスチルカメラやパーソナルコンピュータ）とのデータ通信を行うためのインタフェースを備えているものとしてもよい。プリンタ１００の各構成要素は、バスを介して互いに接続されている。

プリンタエンジン１６０は、印刷データに基づき印刷を行う印刷機構である。カードインタフェース１７０は、カードスロット１７２に挿入されたメモリカードＭＣとの間でデータのやり取りを行うためのインタフェースである。なお、第１実施例では、メモリカードＭＣにＲＧＢデータとしての画像データが格納されており、プリンタ１００は、カードインタフェース１７０を介してメモリカードＭＣに格納された画像データの取得を行う。

内部メモリ１２０には、顔形状補正部２００と、表示処理部３１０と、印刷処理部３２０とが格納されている。顔形状補正部２００は、所定のオペレーティングシステムの下で、後述する顔形状補正処理を実行するためのコンピュータプログラムである。表示処理部３１０は、表示部１５０を制御して、表示部１５０上に処理メニューやメッセージを表示させるディスプレイドライバである。印刷処理部３２０は、画像データから印刷データを生成し、プリンタエンジン１６０を制御して、印刷データに基づく画像の印刷を実行するためのコンピュータプログラムである。ＣＰＵ１１０は、内部メモリ１２０から、これらのプログラムを読み出して実行することにより、これら各部の機能を実現する。

顔形状補正部２００は、プログラムモジュールとして、変形態様設定部２１０と、顔領域検出部２２０と、顔領域調整部２３０と、変形領域設定部２４０と、変形領域分割部２５０と、分割領域変形部２６０と、変形量調整部２９０と、を含んでいる。変形態様設定部２１０は、指定取得部２１２を含んでいる。後述するように、変形領域分割部２５０と、分割領域変形部２６０と、により画像の変形が行われる。そのため、変形領域分割部２５０と分割領域変形部２６０とは、併せて「変形処理部」とも呼ぶことができる。これらの各部の機能については、後述する。

内部メモリ１２０には、また、分割点配置パターンテーブル４１０と分割点移動テーブル４２０とが格納されている。分割点配置パターンテーブル４１０および分割点移動テーブル４２０の内容については、後述の顔変形処理の説明において詳述する。

プリンタ１００は、メモリカードＭＣに格納された画像データに基づき、画像の印刷を行う。カードスロット１７２にメモリカードＭＣが挿入されると、表示処理部３１０により、メモリカードＭＣに格納された画像の一覧表示を含むユーザインタフェースが表示部１５０に表示される。図２は、画像の一覧表示を含むユーザインタフェースの一例を示す説明図である。なお、第１実施例では、画像の一覧表示は、メモリカードＭＣに格納された画像データ（画像ファイル）に含まれるサムネイル画像を用いて実現される。図２に示すユーザインタフェースには、８つのサムネイル画像ＴＮ１〜ＴＮ８と、５つのボタンＢＮ１〜ＢＮ５が表示されている。

プリンタ１００は、図２に示すユーザインタフェースにおいて、ユーザにより、１つ（または複数）の画像が選択されると共に通常印刷ボタンＢＮ３が選択されると、選択された画像を通常通り印刷する通常印刷処理を実行する。他方、当該ユーザインタフェースにおいて、ユーザにより、１つ（または複数）の画像が選択されると共に顔形状補正印刷ボタンＢＮ４が選択されると、プリンタ１００は、選択された画像について、画像中の顔の形状を補正して補正後の画像を印刷する顔形状補正印刷処理を実行する。図２の例では、サムネイル画像ＴＮ１と顔形状補正印刷ボタンＢＮ４とが選択されている。そのため、プリンタ１００は、サムネイル画像ＴＮ１に対応する画像について顔の形状を補正して補正後の画像を印刷する。

図３は、プリンタ１００において顔形状補正印刷を行う際に実行される顔形状補正印刷ルーチンを示すフローチャートである。ステップＳ１００では、顔形状補正部２００（図１）が、顔形状補正処理を実行する。顔形状補正処理は、画像中の顔の少なくとも一部の形状（例えば顔の輪郭形状や目の形状）を補正する処理である。なお、目や鼻などの顔の一部分は、一般に器官とも呼ばれる。

図４は、図３のステップＳ１００において実行される顔形状補正処理ルーチンを示すフローチャートである。ステップＳ１１０では、顔形状補正部２００（図１）が、顔形状補正処理の対象となる対象画像を設定する。顔形状補正部２００は、図２に示したユーザインタフェースにおいてユーザにより選択されたサムネイル画像ＴＮ１に対応する画像を対象画像として設定する。設定された対象画像の画像データは、メモリカードＭＣからカードインタフェース１７０を介してプリンタ１００に取得され、内部メモリ１２０の所定領域に格納される。なお、以下では、このようにメモリーカードＭＣから取得され、プリンタ１００の内部メモリ１２０に格納された画像データを「元画像データ」とも呼ぶ。また、元画像データにより表される画像を「元画像」とも呼ぶ。

ステップＳ１２０（図４）では、変形態様設定部２１０（図１）が、顔形状補正のための画像変形のタイプと画像変形の度合いとを設定する。変形態様設定部２１０は、画像変形のタイプおよび度合いを設定するためのユーザインタフェースを表示部１５０に表示するように表示処理部３１０に指示し、当該ユーザインタフェースを通じてユーザにより指定された画像変形のタイプおよび度合いを選択し、処理に使用する画像変形タイプおよび度合いとして設定する。

図５は、画像変形のタイプおよび度合いを設定するためのユーザインタフェースの一例を示す説明図である。図５に示すように、このユーザインタフェースには、画像変形タイプを設定するためのインタフェースが含まれている。第１実施例では、例えば、顔の形状をシャープにする変形タイプ「タイプＡ」や、目の形状を大きくする変形タイプ「タイプＢ」等が選択肢として予め設定されているものとする。ユーザは、このインタフェースを介して画像変形のタイプを指定する。変形態様設定部２１０は、ユーザにより指定された画像変形タイプを、実際の処理に使用する画像変形タイプとして設定する。

また、図５に示すユーザインタフェースには、画像変形の度合い（程度）を設定するためのインタフェースが含まれている。図５に示すように、第１実施例では、画像変形の度合いとして、強（Ｓ）、中（Ｍ）、弱（Ｗ）の３段階と、自動と、の４つが選択肢として予め設定されているものとする。ユーザは、このインタフェースを介して画像変形の度合いを指定する。強、中、弱の３つの内のいずれかが指定された場合には、変形態様設定部２１０は、ユーザにより指定された画像変形の度合いを、実際の処理に使用する画像変形の度合いとして設定する。「自動」が指定された場合には、画像変形の度合いが変形量調整部２９０（図１）によって自動的に調整される。ユーザインタフェースに設けられたチェックボックスは、ユーザが変形態様の詳細指定を希望する場合にチェックされる。

さらに、図５に示すユーザインタフェースには、用紙サイズを設定するためのインタフェースが含まれている。図５に示すように、第１実施例では、用紙サイズとして、Ｌ判、２Ｌ判、Ｂ５判、Ａ４判、Ａ３判の５つの選択肢が利用可能である。これらの選択肢は用紙サイズに付けられた名称を示している。図５の例では、各名称は、矩形状の印刷媒体の長辺の長さと短辺の長さとの組み合わせを示している。例えば、「Ａ４判」は、「２１０ｍｍ＊２９７ｍｍ」を示している。ユーザは、実際に印刷に利用する印刷媒体のサイズを、これらの選択肢の中から選択する。図５の例では、「２Ｌ判」が選択されている。選択された情報は、印刷処理部３２０と変形量調整部２９０とによって利用される（詳細は後述）。

以降では、画像変形のタイプとして顔の形状をシャープにするための変形タイプ「タイプＡ」が設定され、画像変形の度合いとして「自動」が設定され、ユーザによる詳細指定の希望はなかったものとして説明を行う。

ステップＳ１３０（図４）では、顔領域検出部２２０（図１）が、対象画像における顔領域の検出を行う。ここで、顔領域とは、対象画像上の画像領域であって、少なくとも顔の一部の画像が含まれる領域を意味している。顔領域検出部２２０による顔領域の検出は、例えばテンプレートを利用したパターンマッチングによる方法（特開２００４−３１８２０４参照）といった公知の顔検出方法を用いて実行される。

図６は、顔領域の検出結果の一例を示す説明図である。図６の例では、対象画像ＴＩに人物が含まれている。そのため、ステップＳ１３０における顔検出により、対象画像ＴＩからは、人物に対応して顔領域ＦＡが検出される。この顔領域は、図６に示すように、それぞれの目と鼻と口の画像を含む矩形の領域となっている。

ステップＳ１３０の顔領域の検出において、顔領域が検出されなかった場合には、その旨が表示部１５０を通じてユーザに通知される。この場合には、顔形状補正を伴わない通常印刷が行われるものとしてもよい。また、他の顔検出方法を用いた顔領域の再度の検出処理が行われるものとしてもよい。

なお、ステップＳ１３０では、テンプレートを利用したパターンマッチングにより、対象画像から顔が検出される。このようなテンプレートを利用したパターンマッチングによる方法等の公知の顔検出方法は、一般に、顔全体や顔の部位（目や口等）について位置や傾き（角度）を詳細に検出するものではなく、対象画像中から顔の画像が概ね含まれると考えられる領域を顔領域として設定するものである。

ステップＳ５００において、プリンタ１００は、検出された顔領域に基づいて顔形状補正のための画像変形処理を施す領域（変形領域）を設定する。具体的には、自然で好ましい顔形状補正が実現されるように、ステップＳ１３０で検出された顔領域について位置調整および傾き調整を行うことにより、変形領域が設定される。このように変形領域を設定することにより、一般的に観察者の注目度が高い顔の画像が、設定された変形領域と顔の画像との位置や角度の関係によって不自然に変形されることが抑制される。なお、変形領域を設定する方法については、後述の変形領域の設定の説明において詳述する。

図７は、ステップＳ５００における変形領域の設定結果を示す説明図である。図７の破線は、ステップＳ１３０において対象画像ＴＩから検出された顔領域ＦＡを示している。図７の太線は、顔領域ＦＡについて設定された変形領域を示している。図７に示すように、ステップＳ５００では、この顔領域ＦＡに対応した変形領域ＴＡが設定される。

図４のステップＳ５９０では、変形量調整部２９０（図１）が、変形の度合い（変形量とも呼ぶ）を調整する。この調整の詳細については後述する。

ステップＳ６００では、ステップＳ５００で設定された変形領域に対し、変形処理が行われる。第１実施例のステップＳ６００では、変形領域内の変形処理後の画像を元画像に変形処理を施した画像とする変形処理が行われる。なお、変形処理の具体的内容については、後述の顔変形処理の説明で詳述する。変形処理の後、図３の顔形状補正印刷ルーチンに制御が戻される。

図８は、変形処理が行われた結果を示す説明図である。図８（ａ）は、図４のステップＳ６００により変形処理が行われる前の状態を示している。変形処理は変形領域ＴＡにのみ施される。図８（ｂ）に示す変形処理後の対象画像ＴＩでは、変形領域ＴＡ内の人物の顔が細くなる。なお、後述するように、変形領域ＴＡの外の領域は変形されない。その結果、画像の全体を過剰に変形させずに、被写体を変形させることができる。

図８の例では、顔の左右の頬のライン（顔の輪郭）が変形量ＤＱだけ内側に移動している。この変形量ＤＱは、図４のステップＳ５９０で調整されている。このような変形によって、変形後の顔の幅Ｗｄは、変形前の顔の幅Ｗｏと比べて、変形量ＤＱの２倍だけ狭くなる。このように、ユーザによって指定された変形タイプ（図５：タイプＡ）に適した変形が実行される。

図９は、変形量ＤＱと用紙サイズＰＳとの関係を示すグラフである。横軸は用紙サイズＰＳを示し、縦軸は変形量ＤＱを示している。用紙サイズＰＳは、図５に示すユーザインタフェースでユーザによって選択された用紙サイズである。なお、本実施例では、印刷媒体の短辺の長さの昇順は、Ｌ判、２Ｌ判、Ｂ５判、Ａ４判、Ａ３判の順番である。また、長辺の長さの昇順も、Ｌ判、２Ｌ判、Ｂ５判、Ａ４判、Ａ３判の順番である。すなわち、用紙サイズＰＳの昇順は、Ｌ判、２Ｌ判、Ｂ５判、Ａ４判、Ａ３判の順番である。また、本実施例では、印刷された画像の大きさが最大となるように、印刷媒体上に変形後の対象画像の全体が拡大して（あるいは、縮小して）印刷される。そして、印刷される対象画像の領域の実際のサイズ（例えば、長辺の長さや、短辺の長さや、面積）の昇順は、Ｌ判、２Ｌ判、Ｂ５判、Ａ４判、Ａ３判の順番である。すなわち、本実施例では、用紙サイズＰＳは、対象画像の出力サイズを表しているということができる。

変形量ＤＱは、用紙サイズＰＳが小さいほど大きく（強く）なるように、予め設定されている。この理由は、以下の通りである。用紙サイズが小さい場合、すなわち、印刷された画像が小さい場合には、変形部分も小さいので、変形部分が観察者に認識されにくい。一方、用紙サイズが大きい場合、すなわち、印刷された画像が大きい場合には、変形部分も大きいので、変形部分が観察者に認識されやすい。これらの結果、用紙サイズが小さい場合には強く変形することが好ましく、用紙サイズが大きい場合には弱く変形することが好ましい。なお、本実施例では、変形量ＤＱは、変形領域ＴＡ内における幅の変化率（この場合は減少率）を示している。

図１０は、変形処理の概要を示す概略図である。図１０には、２枚の変形済画像ＴＩｄ２１、ＴＩｄ２２が示されている。第１変形済み画像ＴＩｄ２１は、対象画像ＴＩを「２Ｌ判」で印刷する場合の変形後の画像を示している。第２変形済み画像ＴＩｄ２２は、同じ対象画像ＴＩを「Ａ３判」で印刷する場合の変形後の画像を示している。

図４のステップＳ５９０では、変形量調整部２９０（図１）は、ユーザによって選択された用紙サイズから図９に示す対応関係に従って、変形量ＤＱを決定する。図４のステップＳ６００では、このように決定された変形量ＤＱを利用して画像が変形される。図１０の例では、「２Ｌ判」の紙Ｐ２Ｌに印刷する場合には、変形量ＤＱが、２Ｌ判に対応付けられた第１変形量ＤＱ２１に設定される（図９）。そして、対象画像ＴＩが第１変形量ＤＱ２１に従って変形されることによって、第１変形済み画像ＴＩｄ２１が生成される。一方、「Ａ３判」の紙ＰＡ３に印刷する場合には、変形量ＤＱが、Ａ３判に対応付けられた第２変形量ＤＱ２２に設定される（図９）。そして、対象画像ＴＩが第２変形量ＤＱ２２に従って変形されることによって、第２変形済み画像ＴＩｄ２２が生成される。

ここで、２Ｌ判は、Ａ３判よりも小さい。その結果、第１変形量ＤＱ２１は、第２変形量ＤＱ２２よりも大きくなる（図９参照）。すなわち、用紙サイズが小さい場合には顔が強く変形され（第１変形済み画像ＴＩｄ２１）、用紙サイズが大きい場合には顔が弱く変形される（第２変形済み画像ＴＩｄ２２）。なお、いずれの場合も、変形処理によって顔の幅が狭くなる。これらの結果、第１変形済み画像ＴＩｄ２１における変形後の顔の幅Ｗｄ２１は、第２変形済み画像ＴＩｄ２２における変形後の顔の幅Ｗｄ２２よりも狭くなる。すなわち、変形前の幅Ｗｏに対する変形後の幅の比率は、用紙サイズが小さいほど小さくなる（すなわち、第１幅比率Ｗｄ２１／Ｗｏは、第２幅比率Ｗｄ２２／Ｗｏよりも小さい）。このように、用紙サイズが小さいほど、顔の幅が変形前の幅と比べて小さくなるように、変形が実行される。

以上のように、本実施例では、出力条件に合わせて画像を適切に変形させることができる。具体的には、用紙サイズが小さいほど幅が小さくなるように、変形が実行される。換言すれば、用紙サイズが小さいほど、変形前の幅に対する変形後の幅の比率が小さくなる。この結果、用紙サイズが小さい場合には、変形の度合いを強くすることによって、変形が観察者に認識されないことを抑制できる。また、用紙サイズが大きい場合には、変形の度合いを弱くすることによって、変形が過剰であると観察者に認識されることを抑制できる。

図４の顔形状補正処理ルーチンから制御が戻されると、図３のステップＳ２００において、変形処理後の画像（補正画像）が表示される。具体的には、顔形状補正部２００（図１）が、顔形状補正後の対象画像を表示部１５０に表示するよう表示処理部３１０に指示する。図１１は、顔形状補正後の対象画像ＴＩが表示された表示部１５０の状態の一例を示す説明図である。顔形状補正後の対象画像ＴＩが表示された表示部１５０により、ユーザは、補正結果を確認することができる。ユーザが補正結果に満足せず「戻る」ボタンを選択した場合には、例えば表示部１５０に図５に示した変形タイプおよび変形度合いを選択する画面が表示され、ユーザによる変形タイプや変形度合いの再度の設定が実行される。ユーザが補正結果に満足し、「印刷」ボタンを選択した場合には、以下の補正画像印刷処理が開始される。

ステップＳ３００では、印刷処理部３２０（図１）が、プリンタエンジン１６０を制御して、顔形状補正処理後の対象画像の印刷を行う。印刷処理部３２０は、顔形状補正処理後の対象画像の画像データに、解像度変換やハーフトーン処理などの処理を施して印刷データを生成する。生成された印刷データは、印刷処理部３２０からプリンタエンジン１６０に供給され、プリンタエンジン１６０は対象画像の印刷を実行する。これにより、顔形状補正後の対象画像の印刷が完了する。

なお、印刷処理部３２０は、ユーザによって選択された用紙サイズ情報を利用することによって、印刷データを生成する（図５）。印刷処理部３２０は、その用紙サイズの印刷媒体上に対象画像の全体が印刷されるように、印刷データを生成する。この際、印刷処理部３２０は、印刷された対象画像の大きさが最大となるように、対象画像を、変形せずに、拡大（あるいは、縮小）する。このような拡大（縮小）は、解像度変換によって行われる。

なお、図１０に示すように、本実施例では、同じ用紙サイズ（２Ｌ）で変形無しで印刷された画像上の顔の実際の幅Ｗｏ２１ｐに対する、変形有りで印刷された画像上の顔の実際の幅Ｗｄ２１ｐの比率は、第１幅比率Ｗｄ２１／Ｗｏと同じである。同様に、同じ用紙サイズ（Ａ３）で変形無しで印刷された画像上の顔の実際の幅Ｗｏ２２ｐに対する、変形有りで印刷された画像上の顔の実際の幅Ｗｄ２２ｐの比率は、第２幅比率Ｗｄ２２／Ｗｏと同じである。このように、本実施例では、同じ用紙サイズに関する、変形有りで印刷された画像と変形無しで印刷された画像とを比較することによって、変形の度合いの強さを評価することができる。なお、本実施例では、図２のユーザインタフェースにおいて通常印刷ボタンＢＮ３が選択された場合には、顔形状補正部２００（図１）による変形処理がキャンセルされ、そして、印刷処理部３２０は、変形されていない対象画像を印刷するための印刷データを生成してプリンタエンジン１６０に供給する。変形無しの印刷結果における顔の実際の幅Ｗｏ２１ｐ、Ｗｏ２２ｐは、このような印刷結果における幅を示している。なお、変形せずに印刷する場合も、図５と同様のユーザインタフェースを介してユーザによって用紙サイズが選択される。そして、印刷処理部３２０は、変形後対象画像を印刷する場合と同様に、選択された用紙サイズに従って、印刷データを生成する。具体的には、印刷処理部３２０は、印刷された対象画像の大きさが最大となるように、対象画像を、変形せずに、拡大（あるいは、縮小）する。

Ｂ．第２実施例：
図１２は、第２実施例におけるプリンタ１００ａの構成を概略的に示す説明図である。図１に示すプリンタ１００との差違は、顔形状補正部２００ａに、サイズ算出部２９２が追加されている点だけである。このサイズ算出部２９２は、顔領域検出部２２０によって検出された被写体の対象画像上におけるサイズを、対象画像を解析することによって算出する。他の構成は、図１に示すプリンタ１００と同じである。

図１３は、サイズ算出部２９２（図１２）によって算出されるサイズを示す概略図である。本実施例では、顔形状補正処理は、図４の手順に従って実行される。ただし、上述の各実施例とは異なり、ステップＳ５９０では、まず、サイズ算出部２９２が、対象画像ＴＩ上の被写体のサイズを算出する。そして、変形量調整部２９０は、算出されたサイズを利用して、変形量ＤＱを調整する。図４の他のステップの処理は、上述の各実施例と同じである。

本実施例では、被写体として顔が採用されている。そして、サイズ算出部２９２は、２つの目の間の距離からサイズを算出する。サイズ算出部２９２は、まず、顔領域ＦＡから２つの目を検出する。目の検出方法としては、例えば、テンプレートを利用したパターンマッチングによる方法といった公知の種々の方法を採用可能である。次にサイズ算出部２９２は、検出された２つの目の間の距離Ｅｙｄを算出する。算出された距離Ｅｙｄは、画素数によって表されている。次にサイズ算出部２９２は、対象画像ＴＩのサイズに対する被写体の相対的なサイズＥｙｒを算出する。本実施例では、相対サイズＥｙｒは、距離Ｅｙｄを、対象画像ＴＩの幅方向の画素数ＩＷと高さ方向の画素数ＩＶとの内の大きい方で割った値である（図１３の例では、幅方向の画素数ＩＷ）。この相対サイズＥｙｒは、対象画像ＴＩの画素密度に依存しない対象画像ＴＩ上の被写体のサイズを示している。

図１４は、第２実施例における変形量ＤＱを示すグラフである。図９に示す第１実施例との差違は、変形量ＤＱが、さらに、相対サイズＥｙｒが大きいほど大きな値に設定される点だけである。すなわち、用紙サイズＰＳが同じ場合には、相対サイズＥｙｒが大きいほど強く顔が変形される。この理由は、画像の観察によって得られる被写体の印象を、実物の観察によって得られる印象に近づけるためである。なお、相対サイズＥｙｒが同じ場合には、上述した各実施例と同様に、変形量ＤＱは、用紙サイズＰＳが小さいほど大きく（強く）なるように、設定される。

図１５は、被写体の印象の違いを示す説明図である。図中には、被写体Ｓと、人（観察者）の右目ＲＥと左目ＬＥと、カメラＣＭとが示されている。この図は、観察者の上面から見た位置関係を示している。

図１５の例では、説明を簡単にするために、上面から見た被写体Ｓの形状が半径ｒの円であることと仮定している。なお、このような丸い被写体Ｓとしては、人の頭に限らず、種々の被写体（例えば、円筒形の建物）が挙げられる。この被写体Ｓは、２つの目ＲＥ、ＬＥの真正面に位置している。また、カメラＣＭは、２つの目ＲＥ、ＬＥの中点ＭＰに配置されている。すなわち、カメラＣＭは、観察者とほぼ同じ位置から、被写体Ｓを見る。なお、図中のｘ軸は、被写体Ｓの中心Ｃと、中点ＭＰとを通る座標軸である。ｙ軸は、中心Ｃを通り、ｘ軸と垂直な座標軸である。２つの目ＲＥ、ＬＥは、このｙ軸に沿って並んでいる。距離Ｌは、２つの目ＲＥ、ＬＥの間の距離を示している。また、距離ｄは、中心Ｃと目ＲＥ、ＬＥとの間のｘ軸に沿った距離を示している。

図中の第１幅Ｗ１は、被写体Ｓの幅を示している。この第１幅Ｗ１は、カメラＣＭから見える部分の幅を示している。カメラＣＭから見える部分は、被写体Ｓの表面の内の、カメラ被写体範囲ＳＲＣ内の部分である。このカメラ被写体範囲ＳＲＣは、カメラＣＭの視野の全範囲の内の被写体Ｓが占める範囲を示している。

図中の第２幅Ｗ２も、被写体Ｓの幅を示している。ただし、この第２幅Ｗ２は、両目ＲＥ、ＬＥから見える部分の幅を示している。両目ＲＥ、ＬＥから見える部分は、被写体Ｓの表面の内の、右被写体範囲ＳＲＲと左被写体範囲ＳＲＬとの重なる範囲の内の部分である。右被写体範囲ＳＲＲは、右目ＲＥの視野の全範囲の内の被写体Ｓが占める範囲を示し、左被写体範囲ＳＲＬは、左目ＬＥの視野の全範囲の内の被写体Ｓが占める範囲を示している。

図示するように、右目ＲＥと左目ＬＥとの間では、被写体Ｓの見える部分が異なっている。すなわち、右目ＲＥから見える部分は右目ＲＥ側に偏っており、左目ＬＥから見える部分は左目ＬＥ側に偏っている。このような場合には、人（観察者）による被写体Ｓの認識は、両目ＲＥ、ＬＥに共通な可視部分から強い影響を受けると推定される。例えば、人は、両目ＲＥ、ＬＥに共通な可視部分の幅Ｗ２が被写体Ｓの幅であるという認識を持つと推定される。

また、図示するように、第２幅Ｗ２は第１幅Ｗ１よりも狭い。すなわち、撮影によって生成された画像を観察すると、実際の被写体Ｓを観察したときと比べて幅が広い印象を受ける。そこで、図８（Ｂ）に示すように幅が狭くなるように画像を変形させることによって、画像の観察によって得られる被写体の印象を、実物の観察によって得られる印象に近づけることができる。

図１６は、第１幅Ｗ１に対する第２幅Ｗ２の比率Ｒｉと、距離ｄとの関係を示すグラフである。横軸は距離ｄを示し、縦軸は比率Ｒｉを示している。また、図１６には、これらの幅Ｗ１、Ｗ２を示す関数も示されている。これらの幅Ｗ１、Ｗ２は、半径ｒと距離ｄと距離Ｌとの関数で表されている。なお、図１６のグラフでは、半径ｒと距離Ｌとは固定されている。

図示するように、この比率Ｒｉ（Ｗ２／Ｗ１）は、距離ｄが小さいほど小さい。また、この比率Ｒｉ（Ｗ２／Ｗ１）は、「１．０」よりも小さく、距離ｄが大きいほど「１．０」に近くなる。

ところで、図１３に示す相対サイズＥｙｒは、撮影時の撮影装置と被写体との距離が近いほど、大きくなる。すなわち、相対サイズＥｙｒは、距離を示す指標として利用可能である。そこで、変形量調整部２９０は、この相対サイズＥｙｒから変形量ＤＱを決定する。なお、２つの目の間の距離（すなわち、相対サイズＥｙｒ）の人による違いは、被写体と撮影装置との距離の変化による相対サイズＥｙｒの変化と比べて、十分に小さい。従って、相対サイズＥｙｒは、人に依存しない距離の共通指標として利用可能である。

変形量調整部２９０は、図１４に示すように、相対サイズＥｙｒが大きいほど変形量ＤＱを大きな値に設定する。すなわち、変形量ＤＱは、撮影時の撮影装置と被写体との距離が近いほど、大きくなるように設定される。その結果、被写体の画像上の大きさが大きい場合に、画像上の被写体が、実際の被写体を観察したときと比べて大きく見えることを抑制できる。さらに、被写体の画像上の大きさが小さい場合に、画像を過剰に変形することを抑制できる。

なお、図１４の例では、撮影装置と被写体との距離を示す指標として相対サイズＥｙｒを利用しているが、一般には、撮影時における対象画像の被写体と撮影装置との間の距離と相関のある種々の距離パラメータを利用可能である。変形量調整部２９０は、用紙サイズＰＳが同じ場合には、距離パラメータが示す距離が近いほど大きく（強く）なるように変形量ＤＱを調整することが好ましい。また、距離が同じ場合には、用紙サイズＰＳが小さいほど大きく（強く）なるように変形量ＤＱを設定することが好ましい。このような距離パラメータとしては、相対サイズＥｙｒ以外にも、例えば、被写体距離（Subject Distance）や被写体距離レンジ（Subject Distance Range）を採用可能である。被写体距離は、対象画像が撮影された時の撮影装置と被写体との距離を示す情報である。被写体距離レンジＳｄｒは、対象画像が撮影された時の撮影装置と被写体との距離を、複数の段階（例えば、「マクロ」、「近景」、「遠景」の３段階）で示す情報である。このような情報としては、履歴情報として画像ファイルに格納された情報を利用可能である。

なお、画像データと履歴情報とを格納するデータファイルの形式としては、例えば、Ｅｘｉｆ（Exchangeable Image File Format）が利用される。本実施例では、このようなＥｘｉｆデータファイルが、メモリカードＭＣ（図１）からプリンタ１００に供給される。なお、履歴情報は、通常は、撮影によって対象画像を生成した撮影装置（例えば、デジタルスチルカメラ）によって設定される。

Ｃ．第３実施例：
図１７は、第３実施例における変形量ＤＱを示すグラフである。このグラフは、図５のユーザインタフェースにおいて、変形の度合いとして、強（Ｓ）、中（Ｍ）、弱（Ｗ）の３段階のいずれかが選択された場合に利用される変形量ＤＱを示している。図中の第１変形量ＤＱＳは、強（Ｓ）が選択された場合に利用される変形量を示し、第２変形量ＤＱＭは、中（Ｍ）が選択された場合に利用される変形量を示し、第３変形量ＤＱＷは、弱（Ｗ）が選択された場合に利用される変形量を示している。上述の各実施例では、強（Ｓ）、中（Ｍ）、弱（Ｗ）の３段階のいずれかが選択された場合には、変形量ＤＱとして、選択された度合いに対応付けられた所定の固定値が利用されている。ところが、第３実施例では、「自動」が選択された場合に加えて、強（Ｓ）、中（Ｍ）、弱（Ｗ）の３段階のいずれかが選択された場合にも、図４のステップＳ５９０において、変形量調整部２９０は、図１７のグラフに従って変形量ＤＱを調整する。

３つの変形量ＤＱＳ、ＤＱＭ、ＤＱＷは、いずれも、用紙サイズＰＳが小さいほど大きくなるように予め設定されている。さらに、用紙サイズＰＳの全範囲において、第１変形量ＤＱＳは第２変形量ＤＱＭよりも大きく、第２変形量ＤＱＭは第３変形量ＤＱＷよりも大きい。すなわち、用紙サイズＰＳが同じ場合には、ユーザによって選択された度合いが強いほど、変形量ＤＱは大きな値に設定される。その結果、変形量ＤＱを、ユーザの選択に適した値に設定することができる。また、ユーザによって選択された度合いが同じ場合には、用紙サイズＰＳが小さいほど、変形量ＤＱが大きな値に設定される。その結果、用紙サイズＰＳに適した変形を実現することができる。

Ｄ．変形領域の設定：
図１８は、顔領域ＦＡの検出結果の一例を示す説明図である。なお、以下の説明では、画像を選択するユーザインタフェースにおいて、１人の顔のみが含まれている画像ＴＮ１（図２）が選択されたものとしている。図１８に示すように、図４のステップＳ１３０において、対象画像ＴＩからは、１つの顔領域ＦＡが検出される。なお、対象画像ＴＩから複数の顔領域が検出された場合には、以下に説明する変形領域の設定処理は検出された個々の顔領域に対して行われる。図１８に示した基準線ＲＬは、顔領域ＦＡの高さ方向（上下方向）を定義すると共に、顔領域ＦＡの幅方向（左右方向）の中心を示す線である。すなわち、基準線ＲＬは、矩形の顔領域ＦＡの重心を通り、顔領域ＦＡの高さ方向（上下方向）に沿った境界線に平行な直線である。

図１９は、変形領域の設定処理の流れを示すフローチャートである。図１９のフローチャートに示す処理は、図４のステップＳ５００において実行される。ステップＳ５１０では、顔領域調整部２３０（図１）が、ステップＳ１３０（図４）で検出された顔領域ＦＡの高さ方向の位置調整を行う。ここで、顔領域ＦＡの高さ方向の位置調整とは、顔領域ＦＡの基準線ＲＬ（図１８参照）に沿った位置を調整して、対象画像ＴＩにおける顔領域ＦＡを再設定することを意味している。

図２０は、顔領域ＦＡの高さ方向の位置調整処理の流れを示すフローチャートである。ステップＳ５１１では、顔領域調整部２３０（図１）が、特定領域ＳＡを設定する。ここで、特定領域ＳＡとは、対象画像ＴＩ上の領域であって、顔領域ＦＡの高さ方向の位置調整を実行する際に参照する所定の参照被写体の画像を含む領域である。参照被写体は、例えば「目」に設定することができ、その場合、特定領域ＳＡは「目」の画像を含む領域として設定される。

図２１は、特定領域ＳＡの一例を示す説明図である。顔領域調整部２３０は、特定領域ＳＡを顔領域ＦＡとの関係に基づいて設定する。具体的には、顔領域ＦＡの大きさを、基準線ＲＬに直交する方向および基準線ＲＬに平行な方向に、所定比率で縮小（または拡大）した大きさの領域であって、顔領域ＦＡの位置と所定の位置関係を有する領域が、特定領域ＳＡとして設定される。すなわち、顔領域検出部２２０により検出された顔領域ＦＡとの関係に基づき特定領域ＳＡを設定すれば、特定領域ＳＡが両方の目の画像を含む領域となるように、上記所定比率や所定の位置関係が予め設定されている。なお、特定領域ＳＡは、目の画像とまぎらわしい画像（例えば髪の毛の画像）がなるべく含まれないように、両目の画像を含む限りにおいて、なるべく小さい領域として設定されることが好ましい。

また、図２１に示すように、特定領域ＳＡは、基準線ＲＬに対して対称な矩形形状の領域として設定される。特定領域ＳＡは、基準線ＲＬにより、向かって左側の領域（以下「左分割特定領域ＳＡ（ｌ）」とも呼ぶ）と、向かって右側の領域（以下「右分割特定領域ＳＡ（ｒ）」とも呼ぶ）とに分割される。特定領域ＳＡは、左分割特定領域ＳＡ（ｌ）と右分割特定領域ＳＡ（ｒ）とのそれぞれに片目の画像が含まれるように設定される。

ステップＳ５１２（図２０）では、顔領域調整部２３０（図１）が、特定領域ＳＡにおける目の画像の位置を検出するための評価値を算出する。図２２は、評価値の算出方法の一例を示す説明図である。評価値の算出には、ＲＧＢ画像データとしての対象画像ＴＩの各画素のＲ値（Ｒ成分値）を用いるのが好ましい。これは、肌の部分の画像と目の部分の画像とではＲ値の差が大きいため、Ｒ値を評価値の算出に用いることにより、目の画像の検出精度を向上させることができると考えられるからである。また、対象画像ＴＩのデータがＲＧＢデータとして取得されているため、Ｒ値を評価値の算出に用いることにより、評価値の算出の効率化を図ることができるからでもある。なお、図２２に示すように、評価値の算出は、２つの分割特定領域（右分割特定領域ＳＡ（ｒ）および左分割特定領域ＳＡ（ｌ））のそれぞれについて個別に行われる。

顔領域調整部２３０は、図２２に示すように、分割特定領域（右分割特定領域ＳＡ（ｒ）および左分割特定領域ＳＡ（ｌ））内に、基準線ＲＬと直交するｎ本の直線（以下「対象画素特定線ＰＬ１〜ＰＬｎ」と呼ぶ）を設定する。対象画素特定線ＰＬ１〜ＰＬｎは、分割特定領域の高さ（基準線ＲＬに沿った大きさ）を（ｎ＋１）等分する直線である。すなわち、対象画素特定線ＰＬ同士の間隔は、すべて等間隔ｓである。

顔領域調整部２３０は、対象画素特定線ＰＬ１〜ＰＬｎのそれぞれについて、対象画像ＴＩを構成する画素の中から評価値の算出に用いる画素（以下「評価対象画素ＴＰ」と呼ぶ）を選択する。図２３は、評価対象画素ＴＰの選択方法の一例を示す説明図である。顔領域調整部２３０は、対象画像ＴＩを構成する画素の内、対象画素特定線ＰＬと重なる画素を評価対象画素ＴＰとして選択する。図２３（ａ）は、対象画素特定線ＰＬが対象画像ＴＩの画素の行方向（図２３のＸ方向）と平行である場合を示している。この場合には、各対象画素特定線ＰＬと重なる画素行上の画素（図２３（ａ）において○印を付した画素）が、各対象画素特定線ＰＬについての評価対象画素ＴＰとして選択される。

一方、顔領域ＦＡの検出方法や特定領域ＳＡの設定方法によっては、図２３（ｂ）に示すように、対象画素特定線ＰＬが対象画像ＴＩの画素の行方向（Ｘ方向）と平行とはならない場合も生ずる。このような場合にも、原則として、各対象画素特定線ＰＬと重なる画素が、各対象画素特定線ＰＬについての評価対象画素ＴＰとして選択される。ただし、例えば図２３（ｂ）における対象画素特定線ＰＬ１と画素ＰＸａおよびＰＸｂとの関係のように、ある対象画素特定線ＰＬが、対象画像ＴＩの画素マトリクスの同一列に位置する（すなわちＹ座標が同一の）２つの画素と重なる場合には、重なり部分の距離のより短い方の画素（例えば画素ＰＸｂ）は評価対象画素ＴＰから除外される。すなわち、各対象画素特定線ＰＬについて、画素マトリクスの１つの列からは１つの画素のみが評価対象画素ＴＰとして選択される。

なお、対象画素特定線ＰＬの傾きが、Ｘ方向に対して４５度を超える場合には、上記説明において画素マトリクスの列と行との関係が逆転し、画素マトリクスの１つの行から１つの画素のみが評価対象画素ＴＰとして選択されることとなる。また、対象画像ＴＩと特定領域ＳＡとの大きさの関係によっては、１つの画素が複数の対象画素特定線ＰＬについての評価対象画素ＴＰとして選択される場合もある。

顔領域調整部２３０は、対象画素特定線ＰＬのそれぞれについて、評価対象画素ＴＰのＲ値の平均値を評価値として算出する。ただし、各対象画素特定線ＰＬについて、選択された複数の評価対象画素ＴＰの内、Ｒ値の大きい一部の画素を評価値の算出対象から除外するものとしている。具体的には、例えば、ある対象画素特定線ＰＬについてｋ個の評価対象画素ＴＰが選択された場合、評価対象画素ＴＰが、Ｒ値の比較的大きい０．７５ｋ個の画素により構成される第１グループと、比較的Ｒ値の小さい０．２５ｋ個の画素により構成される第２グループとの２グループに分けられ、第２グループに属する画素のみが評価値としてのＲ値の平均値の算出対象となる。このように一部の評価対象画素ＴＰを評価値の算出対象から除外する理由については後述する。

以上のように、顔領域調整部２３０は、各対象画素特定線ＰＬについての評価値を算出する。ここで、対象画素特定線ＰＬは基準線ＲＬに直交する直線であるため、評価値は、基準線ＲＬに沿った複数の位置（評価位置）について算出されると表現することができる。また、評価値は、各評価位置について、基準線ＲＬに直交する方向に沿った画素値の分布の特徴を表す値と表現することができる。

ステップＳ５１３（図２０）では、顔領域調整部２３０（図１）が、特定領域ＳＡにおける目の位置を検出し、検出結果に基づき高さ基準点Ｒｈを決定する。まず、顔領域調整部２３０は、図２２の右側に示すように、各分割特定領域について、基準線ＲＬに沿った評価値（Ｒ値の平均値）の分布を表す曲線を作成し、評価値が極小値をとる基準線ＲＬ方向に沿った位置を目の位置Ｅｈとして検出する。なお、左分割特定領域ＳＡ（ｌ）における目の位置ＥｈをＥｈ（ｌ）と表し、右分割特定領域ＳＡ（ｒ）における目の位置ＥｈをＥｈ（ｒ）と表わす。

黄色人種の場合、分割特定領域中の肌の画像を表す部分はＲ値が大きい一方、目（より詳細には目の中央の黒目部分）の画像を表す部分はＲ値が小さいと考えられる。そのため、上述のように、評価値（Ｒ値の平均値）が極小値をとる基準線ＲＬに沿った位置を目の位置Ｅｈと判断することが可能となる。但し、他の人種（白色人種や黒色人種）を対象とする場合には、他の評価値（例えば、輝度や明度やＢ値）が用いられる。

なお、図２２に示すように、分割特定領域には、目の画像以外にもＲ値の小さい他の画像（例えば、眉や髪の毛の画像）が含まれている場合もある。そのため、顔領域調整部２３０は、基準線ＲＬに沿った評価値の分布を表す曲線が複数の極小値をとる場合には、極小値をとる位置の内、最も下側の位置を目の位置Ｅｈと判断する。一般に、目の画像より上側には眉や髪の毛等のＲ値の小さい画像が位置することが多い一方、目の画像より下側にはＲ値の小さい画像が位置することが少ないと考えられることから、このような判断が可能となる。

また、上記曲線が、目の画像の位置よりも下側（主に肌の画像に対応した位置）であっても、評価値が大きいながらも極小値をとる可能性があるため、極小値の内、所定の閾値より大きいものは無視するものとしてもよい。あるいは、単純に、各対象画素特定線ＰＬについて算出された評価値の内の最小値に対応した対象画素特定線ＰＬの位置を目の位置Ｅｈとしてもよい。

なお、顔領域ＦＡの位置調整の最小被写体としては、顔において周囲との色の差が比較的大きいと考えられる部位である目（目の中央の黒目部分）を用いている。しかし、評価値としてのＲ値の平均値は、対象画素特定線ＰＬ上の複数の評価対象画素ＴＰを対象として算出されるため、例えば、黒目の周縁の白目部分の画像の影響により、黒目部分の検出の精度が低下する怖れがある。そこで、上述したように、参照被写体とは色の差が大きいと考えられる一部の評価対象画素ＴＰ（例えば上述した第１のグループに属する比較的Ｒ値の大きい画素）を評価値の算出対象から除外することにより、参照被写体の検出精度をより向上させている。

次に、顔領域調整部２３０は、検出された目の位置Ｅｈに基づき高さ基準点Ｒｈを決定する。図２４は、高さ基準点Ｒｈの決定方法の一例を示す説明図である。高さ基準点Ｒｈは、顔領域ＦＡの高さ方向の位置調整の際に、基準として用いられる点である。高さ基準点Ｒｈとしては、図２４に示すように、左右２つの目の位置Ｅｈ（ｌ）およびＥｈ（ｒ）の中間に位置する基準線ＲＬ上の点が設定される。すなわち、左の目の位置Ｅｈ（ｌ）を示す直線ＥｈＬ（ｌ）と基準線ＲＬとの交点と、右の目の位置Ｅｈ（ｒ）を示す直線ＥｈＬ（ｒ）と基準線ＲＬとの交点と、の中点が、高さ基準点Ｒｈとして設定される。

なお、顔領域調整部２３０は、検出された目の位置Ｅｈに基づき、顔画像の概略の傾き角（以下「概略傾き角ＲＩ」と呼ぶ）を算出する。顔画像の概略傾き角ＲＩは、対象画像ＴＩ中の顔の画像が、顔領域ＦＡの基準線ＲＬに対して概ねどれぐらい傾いているかを推定した角度である。図２９は、概略傾き角ＲＩの算出方法の一例を示す説明図である。図２５に示すように、顔領域調整部２３０は、まず、左分割特定領域ＳＡ（ｌ）の幅Ｗｓ（ｌ）を半分に分割する直線と直線ＥｈＬ（ｌ）との交点ＩＰ（ｌ）と、右分割特定領域ＳＡ（ｒ）の幅Ｗｓ（ｒ）を半分に分割する直線と直線ＥｈＬ（ｒ）との交点ＩＰ（ｒ）とを決定する。そして、交点ＩＰ（ｌ）と交点ＩＰ（ｒ）とを結ぶ直線に直交する直線ＩＬと、基準線ＲＬとのなす角が、概略傾き角ＲＩとして算出される。

ステップＳ５１４（図２０）では、顔領域調整部２３０（図１）が、顔領域ＦＡの高さ方向の位置調整を行う。図２６は、顔領域ＦＡの高さ方向の位置調整方法の一例を示す説明図である。顔領域ＦＡの高さ方向の位置調整は、高さ基準点Ｒｈが、位置調整後の顔領域ＦＡにおける所定の位置に位置することとなるように、顔領域ＦＡを再設定することにより行う。具体的には、図２６に示すように、高さ基準点Ｒｈが、顔領域ＦＡの高さＨｆを所定の比率ｒ１対ｒ２で分けるような位置に位置することとなるように、顔領域ＦＡが基準線ＲＬに沿って上下に位置調整される。図２６の例では、破線で示した調整前の顔領域ＦＡを上方向に移動することにより、実線で示した調整後の顔領域ＦＡが再設定されている。

顔領域ＦＡの位置調整の後、ステップＳ５２０（図１９）では、顔領域調整部２３０（図１）が、顔領域ＦＡの傾き調整（角度調整）を行う。ここで、顔領域ＦＡの傾き調整とは、対象画像ＴＩにおける顔領域ＦＡの傾きを顔の画像の傾きに適合するように調整して、顔領域ＦＡを再設定することを意味している。顔領域ＦＡの傾き調整を実行する際に参照する所定の参照被写体は、例えば「両目」に設定される。顔領域ＦＡの傾き調整では、傾き調整の調整角度の選択肢を表す複数の評価方向が設定され、各評価方向に対応した評価特定領域ＥＳＡが両目の画像を含む領域として設定される。そして、各評価方向について評価特定領域ＥＳＡの画像の画素値に基づき評価値が算出され、評価値に基づき決定される傾き調整の調整角度を用いて顔領域ＦＡの傾きが調整される。

図２７は、顔領域ＦＡの傾き調整処理の流れを示すフローチャートである。また、図２８は、顔領域ＦＡの傾き調整のための評価値の算出方法の一例を示す説明図である。ステップＳ５２１（図２７）では、顔領域調整部２３０（図１）が、初期評価特定領域ＥＳＡ（０）を設定する。初期評価特定領域ＥＳＡ（０）は、顔領域ＦＡの位置調整後の基準線ＲＬ（図２６参照）と平行な方向（以下「初期評価方向」とも呼ぶ）に対応付けられた評価特定領域ＥＳＡである。位置調整後の顔領域ＦＡに対応した特定領域ＳＡ（図３０参照）は、そのまま初期評価特定領域ＥＳＡ（０）として設定される。なお、顔領域ＦＡの傾き調整における評価特定領域ＥＳＡは、顔領域ＦＡの位置調整時の特定領域ＳＡとは異なり、左右２つの領域に分割されることはない。図２８の最上段には、設定された初期評価特定領域ＥＳＡ（０）が示されている。

ステップＳ５２２（図２７）では、顔領域調整部２３０（図１）が、複数の評価方向と各評価方向に対応した評価特定領域ＥＳＡとを設定する。複数の評価方向は、傾き調整の調整角度の選択肢を表す方向として設定される。具体的には、基準線ＲＬとのなす角が所定の範囲内である複数の評価方向線ＥＬが設定され、評価方向線ＥＬと平行な方向が評価方向として設定される。図２８に示すように、基準線ＲＬを初期評価特定領域ＥＳＡ（０）の中心点（重心）ＣＰを中心として反時計回りおよび時計回りに所定の角度α刻みで回転させることにより定まる直線が、複数の評価方向線ＥＬとして設定される。なお、基準線ＲＬとのなす角がφ度である評価方向線ＥＬをＥＬ（φ）と表す。

上述した各評価方向線ＥＬと基準線ＲＬとのなす角についての所定の範囲は、±２０度に設定される。ここで本明細書では、基準線ＲＬを時計回りに回転させたときの回転角は正の値で表され、基準線ＲＬを反時計回りに回転させたときの回転角は負の値で表される。顔領域調整部２３０は、基準線ＲＬを反時計回りおよび時計回りにα度、２α度・・・と２０度を超えない範囲で回転角を増加させつつ回転させ、複数の評価方向線ＥＬを設定する。図２８には、基準線ＲＬを−α度，−２α度，α度回転させることによりそれぞれ定まる評価方向線ＥＬ（ＥＬ（−α），ＥＬ（−２α），ＥＬ（α））が示されている。なお、基準線ＲＬは、評価方向線ＥＬ（０）とも表現できる。

各評価方向を表す評価方向線ＥＬに対応した評価特定領域ＥＳＡは、初期評価特定領域ＥＳＡ（０）を、中心点ＣＰを中心として、評価方向線ＥＬの設定時の回転角と同じ角度で回転させた領域である。評価方向線ＥＬ（φ）に対応した評価特定領域ＥＳＡは、評価特定領域ＥＳＡ（φ）と表される。図２８には、評価方向線ＥＬ（−α），ＥＬ（−２α），ＥＬ（α）のそれぞれに対応した評価特定領域ＥＳＡ（ＥＳＡ（−α），ＥＳＡ（−２α），ＥＳＡ（α））が示されている。なお、初期評価特定領域ＥＳＡ（０）も評価特定領域ＥＳＡの１つとして扱われるものとする。

ステップＳ５２３（図２７）では、顔領域調整部２３０（図１）が、設定された複数の評価方向のそれぞれについて、評価特定領域ＥＳＡの画像の画素値に基づき評価値を算出する。顔領域ＦＡの傾き調整における評価値としては、上述した顔領域ＦＡの位置調整における評価値と同様に、Ｒ値の平均値が用いられる。顔領域調整部２３０は、評価方向に沿った複数の評価位置についての評価値を算出する。

評価値の算出方法は、上述した顔領域ＦＡの位置調整における評価値の算出方法と同様である。すなわち、顔領域調整部２３０は、図２８に示すように、各評価特定領域ＥＳＡ内に、評価方向線ＥＬに直交する対象画素特定線ＰＬ１〜ＰＬｎを設定し、各対象画素特定線ＰＬ１〜ＰＬｎについて評価対象画素ＴＰを選択し、選択された評価対象画素ＴＰのＲ値の平均値を評価値として算出する。

評価特定領域ＥＳＡにおける対象画素特定線ＰＬの設定方法や評価対象画素ＴＰの選択方法は、領域を左右に分割するか否かの違いはあるものの、図２２および図２３に示した顔領域ＦＡの位置調整における方法と同様である。なお、顔領域ＦＡの位置調整時と同様に、選択された評価対象画素ＴＰの内の一部（例えばｋ個の評価対象画素ＴＰの内のＲ値の比較的大きい０．７５ｋ個の画素）を評価値の算出対象から除外するとしてもよい。図２８の右側には、各評価方向について、算出された評価値の評価方向線ＥＬに沿った分布を示している。

なお、対象画素特定線ＰＬは評価方向線ＥＬに直交する直線であるため、評価値は、評価方向線ＥＬに沿った複数の位置（評価位置）について算出されると表現することができる。また、評価値は、各評価位置について、評価方向線ＥＬに直交する方向に沿った画素値の分布の特徴を表す値と表現することができる。

ステップＳ５２４（図２７）では、顔領域調整部２３０（図１）が、顔領域ＦＡの傾き調整に用いる調整角度を決定する。顔領域調整部２３０は、各評価方向について、ステップＳ５２３において算出された評価値の評価方向線ＥＬに沿った分散を算出し、分散の値が最大となる評価方向を選択する。そして、選択された評価方向に対応した評価方向線ＥＬと基準線ＲＬとのなす角を、傾き調整に用いる調整角度として決定する。

図２９は、各評価方向についての評価値の分散の算出結果の一例を示す説明図である。図２９の例では、回転角が−α度である評価方向において、分散が最大値Ｖｍａｘをとる。従って、−α度、すなわち反時計回りにα度の回転角が、顔領域ＦＡの傾き調整に用いる調整角度として決定される。

評価値の分散の値が最大となるときの評価方向に対応した角度が傾き調整に用いる調整角度として決定される理由について説明する。図２８の上から２段目に示すように、回転角が−α度であるときの評価特定領域ＥＳＡ（−α）では、左右の目の中央部（黒目部分）の画像が、概ね対象画素特定線ＰＬに平行な方向（すなわち評価方向線ＥＬに直交する方向）に並ぶような配置となっている。また、このときには、左右の眉の画像も同様に、概ね評価方向線ＥＬに直交する方向に並ぶような配置となる。従って、このときの評価方向線ＥＬに対応した評価方向が、概ね顔の画像の傾きを表す方向であると考えられる。このときには、一般にＲ値が小さい目や眉の画像と一般にＲ値が大きい肌の部分の画像との位置関係が、対象画素特定線ＰＬの方向に沿って両者が重なる部分の小さい位置関係となる。そのため、目や眉の画像の位置における評価値は比較的小さくなり、肌の部分の画像の位置における評価値は比較的大きくなる。従って、評価方向線ＥＬに沿った評価値の分布は、図２８に示すように、比較的ばらつきの大きい（振幅の大きい）分布となり、分散の値は大きくなる。

一方、図２８中の最上段および３段目、４段目に示すように、回転角が０度，−２α度，α度であるときの評価特定領域ＥＳＡ（０），ＥＳＡ（−２α），ＥＳＡ（α）では、左右の目の中央部や左右の眉の画像が、評価方向線ＥＬに直交する方向に並ばず、ずれた配置となっている。従って、このときの評価方向線ＥＬに対応した評価方向は、顔の画像の傾きを表していはいない。このときには、目や眉の画像と肌の部分の画像との位置関係が、対象画素特定線ＰＬの方向に沿って両者が重なる部分の大きい位置関係となる。そのため、評価方向線ＥＬに沿った評価値の分布は、図２８に示すように、比較的ばらつきの小さい（振幅の小さい）分布となり、分散の値は小さくなる。

以上のように、評価方向が顔の画像の傾きの方向に近い場合には、評価方向線ＥＬに沿った評価値の分散の値が大きくなり、評価方向が顔の画像の傾きの方向から遠い場合には、評価方向線ＥＬに沿った評価値の分散の値が小さくなる。従って、評価値の分散の値が最大となるときの評価方向に対応した角度を傾き調整に用いる調整角度として決定すれば、顔領域ＦＡの傾きが顔の画像の傾きに適合するような顔領域ＦＡの傾き調整を実現することができる。

なお、評価値の分散の算出結果が、角度の範囲の臨界値、すなわち−２０度または２０度において最大値をとるような結果となった場合には、顔の傾きが正確に評価されていない可能性が高いと考えられるため、顔領域ＦＡの傾き調整は行われない。

また、決定された調整角度は、上述した顔領域ＦＡの位置調整の際に算出された概略傾き角ＲＩと比較される。調整角度と概略傾き角ＲＩとの差が所定の閾値より大きい場合には、顔領域ＦＡの位置調整および傾き調整における評価や決定の際に何らかの誤りが発生したと考えられるため、顔領域ＦＡの位置調整および傾き調整は行われない。

ステップＳ５２５（図２７）では、顔領域調整部２３０（図１）が、顔領域ＦＡの傾き調整を行う。図３０は、顔領域ＦＡの傾き調整方法の一例を示す説明図である。顔領域ＦＡの傾き調整は、顔領域ＦＡを、初期評価特定領域ＥＳＡ（０）の中心点ＣＰを中心に、ステップＳ５２４において決定された調整角度だけ回転させることにより行う。図３０の例では、破線で示した調整前の顔領域ＦＡを反時計回りにα度回転させることにより、実線で示した調整後の顔領域ＦＡが設定される。

顔領域ＦＡの傾き調整終了後のステップＳ５３０（図１９）では、変形領域設定部２４０（図１）が、変形領域ＴＡを設定する。変形領域ＴＡは、対象画像ＴＩ上の領域であって顔形状補正のための画像変形処理の対象となる領域である。図３１は、変形領域ＴＡの設定方法の一例を示す説明図である。図３１に示すように、変形領域ＴＡは、顔領域ＦＡを基準線ＲＬと平行な方向（高さ方向）および基準線ＲＬに直交する方向（幅方向）に伸張（または短縮）した領域として設定される。具体的には、顔領域ＦＡの高さ方向の大きさをＨｆ、幅方向の大きさをＷｆとすると、顔領域ＦＡを、上方向にｋ１・Ｈｆ、下方向にｋ２・Ｈｆだけ伸ばすと共に、左右にそれぞれｋ３・Ｗｆだけ伸ばした領域が、変形領域ＴＡとして設定される。なお、ｋ１，ｋ２，ｋ３は、所定の係数である。

このように変形領域ＴＡが設定されると、顔領域ＦＡの高さ方向の輪郭線に平行な直線である基準線ＲＬは、変形領域ＴＡの高さ方向の輪郭線にも平行な直線となる。また、基準線ＲＬは、変形領域ＴＡの幅を半分に分割する直線となる。

図３１に示すように、変形領域ＴＡは、高さ方向に関しては、概ね顎から額までの画像を含み、幅方向に関しては、左右の頬の画像を含むような領域として設定される。すなわち、上述の係数ｋ１，ｋ２，ｋ３は、変形領域ＴＡが概ねそのような範囲の画像を含む領域となるように、顔領域ＦＡの大きさとの関係に基づいて予め設定されている。

Ｅ．顔変形処理：
図３２は、変形処理の流れを示すフローチャートである。図３２のフローチャートに示す処理は、図４のステップＳ６００において実行される。ステップＳ６１０では、変形領域分割部２５０（図１）が、変形領域ＴＡを複数の小領域に分割する。図３３は、変形領域ＴＡの小領域への分割方法の一例を示す説明図である。変形領域分割部２５０は、変形領域ＴＡに複数の分割点Ｄを配置し、分割点Ｄを結ぶ直線を用いて変形領域ＴＡを複数の小領域に分割する。

分割点Ｄの配置の態様（分割点Ｄの個数および位置）は、分割点配置パターンテーブル４１０（図１）により、ステップＳ１２０（図４）において設定される変形タイプと対応付けて定義されている。変形領域分割部２５０は、分割点配置パターンテーブル４１０を参照し、ステップＳ１２０において設定された変形タイプと対応付けられた態様で分割点Ｄを配置する。上述したように、変形タイプとして顔をシャープにするための変形「タイプＡ」（図５参照）が設定されている場合には、この変形タイプに対応付けられた態様で分割点Ｄが配置される。

図３３に示すように、分割点Ｄは、水平分割線Ｌｈと垂直分割線Ｌｖとの交点と、水平分割線Ｌｈおよび垂直分割線Ｌｖと変形領域ＴＡの外枠との交点とに配置される。ここで、水平分割線Ｌｈおよび垂直分割線Ｌｖは、変形領域ＴＡ内に分割点Ｄを配置するための基準となる線である。図３３に示すように、顔をシャープにするための変形タイプに対応付けられた分割点Ｄの配置では、基準線ＲＬと直交する２本の水平分割線Ｌｈと、基準線ＲＬに平行な４本の垂直分割線Ｌｖとが設定される。２本の水平分割線Ｌｈを、変形領域ＴＡの下方から順に、Ｌｈ１，Ｌｈ２と呼ぶ。また、４本の垂直分割線Ｌｖを、変形領域ＴＡの左から順に、Ｌｖ１，Ｌｖ２，Ｌｖ３，Ｌｖ４と呼ぶ。

水平分割線Ｌｈ１は、変形領域ＴＡにおいて、顎の画像より下方に配置され、水平分割線Ｌｈ２は、目の画像のすぐ下付近に配置される。また、垂直分割線Ｌｖ１およびＬｖ４は、頬のラインの画像の外側に配置され、垂直分割線Ｌｖ２およびＬｖ３は、目尻の画像の外側に配置される。なお、水平分割線Ｌｈおよび垂直分割線Ｌｖの配置は、水平分割線Ｌｈおよび垂直分割線Ｌｖと画像との位置関係が結果的に上述の位置関係となるように予め設定された変形領域ＴＡの大きさとの対応関係に従い実行される。

上述した水平分割線Ｌｈと垂直分割線Ｌｖとの配置に従い、水平分割線Ｌｈと垂直分割線Ｌｖとの交点と、水平分割線Ｌｈおよび垂直分割線Ｌｖと変形領域ＴＡの外枠との交点とに、分割点Ｄが配置される。図３３に示すように、水平分割線Ｌｈｉ（ｉ＝１または２）上に位置する分割点Ｄを、左から順に、Ｄ０ｉ，Ｄ１ｉ，Ｄ２ｉ，Ｄ３ｉ，Ｄ４ｉ，Ｄ５ｉと呼ぶものとする。例えば、水平分割線Ｌｈ１上に位置する分割点Ｄは、Ｄ０１，Ｄ１１，Ｄ２１，Ｄ３１，Ｄ４１，Ｄ５１と呼ばれる。同様に、垂直分割線Ｌｖｊ（ｊ＝１，２，３，４のいずれか）上に位置する分割点Ｄを、下から順に、Ｄｊ０，Ｄｊ１，Ｄｊ２，Ｄｊ３と呼ぶものとする。例えば、垂直分割線Ｌｖ１上に位置する分割点Ｄは、Ｄ１０，Ｄ１１，Ｄ１２，Ｄ１３と呼ばれる。

なお、図３３に示すように、本実施例における分割点Ｄの配置は、基準線ＲＬに対して対称の配置となっている。

変形領域分割部２５０は、配置された分割点Ｄを結ぶ直線（すなわち水平分割線Ｌｈおよび垂直分割線Ｌｖ）により、変形領域ＴＡを複数の小領域に分割する。図３３の例では、変形領域ＴＡは１５個の矩形の小領域に分割される。

なお、分割点Ｄの配置は、水平分割線Ｌｈおよび垂直分割線Ｌｖの本数および位置により定まるため、分割点配置パターンテーブル４１０は水平分割線Ｌｈおよび垂直分割線Ｌｖの本数および位置を定義していると言い換えることも可能である。

ステップＳ６２０（図３２）では、分割領域変形部２６０（図１）が、ステップＳ６１０で変形領域ＴＡ内に配置された分割点Ｄの位置を移動して、小領域を変形する。

変形処理のための各分割点Ｄの位置の移動態様（移動方向および移動距離）は、分割点移動テーブル４２０（図１）により、ステップＳ１２０（図４）において設定される変形タイプと変形の度合いとの組み合わせに対応付けて、予め定められている。分割領域変形部２６０は、分割点移動テーブル４２０を参照し、ステップＳ１２０において設定された変形タイプと変形の度合いとの組み合わせに対応付けられた移動方向および移動距離で、分割点Ｄの位置を移動する。

上述したように、変形タイプとして顔をシャープにするための変形「タイプＡ」（図５参照）が設定され、変形度合いとして程度「中」の度合いが設定されている場合には、これらの変形タイプおよび変形度合いの組み合わせに対応付けられた移動方向および移動距離で、分割点Ｄの位置が移動されることとなる。

また、変形度合いとして「自動」が選択されている場合には、移動方向および移動距離が、変形量調整部２９０によって調整された変形量ＤＱに基づいて決定される。

図３４は、分割点移動テーブル４２０の内容の一例を示す説明図である。また図３５は、分割点移動テーブル４２０に従った分割点Ｄの位置の移動の一例を示す説明図である。図３４には、分割点移動テーブル４２０により定義された分割点Ｄの位置の移動態様の内、顔をシャープにするための変形タイプと変形度合い「自動」との組み合わせに対応付けられた移動態様を示している。図３４に示すように、分割点移動テーブル４２０には、各分割点Ｄについて、基準線ＲＬと直交する方向（Ｈ方向）および基準線ＲＬと平行な方向（Ｖ方向）に沿った移動量が示されている。なお、分割点移動テーブル４２０に示された移動量の単位は、対象画像ＴＩの画素ピッチＰＰである。また、テーブル中の移動量ＤＱｐは、変形量調整部２９０（図１、図１２）によって決定される。図４のステップＳ５９０では、変形量調整部２９０は、調整した変形量ＤＱを画素ピッチに換算することによって、移動量ＤＱｐを算出する。また、Ｈ方向については、向かって右側への移動量が正の値として表され、向かって左側への移動量が負の値として表され、Ｖ方向については、上方への移動量が正の値として表され、下方への移動量が負の値として表される。例えば、分割点Ｄ１１は、Ｈ方向に沿って右側に画素ピッチＰＰのＤＱｐ倍の距離だけ移動され、Ｖ方向に沿って上方に画素ピッチＰＰの２＊ＤＱｐ倍の距離だけ移動される。また、例えば分割点Ｄ２２は、Ｈ方向およびＶ方向共に移動量がゼロであるため、移動されない。なお、変形度合いとして「強（Ｓ）」、「中（Ｍ）」、「弱（Ｗ）」のいずれかが選択された場合には、移動量ＤＱｐとして、変形量調整部２９０によって調整された値の代わりに、各変形度合いに対応付けて予め決定された値が利用される。

なお、変形領域ＴＡの内外の画像間の境界が不自然とならないように、変形領域ＴＡの外枠上に位置する分割点Ｄ（例えば図３５に示す分割点Ｄ１０等）の位置は移動されない。従って、図３４に示した分割点移動テーブル４２０には、変形領域ＴＡの外枠上に位置する分割点Ｄについての移動態様は定義されていない。

図３５では、移動前の分割点Ｄは白抜きの丸で、移動後の分割点Ｄや位置の移動の無い分割点Ｄは黒丸で示されている。また、移動後の分割点Ｄは分割点Ｄ'と呼ばれるものとする。例えば分割点Ｄ１１の位置は、図３５において右上方向に移動され、分割点Ｄ'１１となる。

なお、基準線ＲＬに対して対称な位置関係にある２つの分割点Ｄの組み合わせ（例えば分割点Ｄ１１とＤ４１との組み合わせ）のすべてが、分割点Ｄの移動後も、基準線ＲＬに対して対称な位置関係を維持するように、移動態様が定められている。

分割領域変形部２６０は、変形領域ＴＡを構成する各小領域について、分割点Ｄの位置移動前の状態における小領域の画像が、分割点Ｄの位置移動により新たに定義された小領域の画像となるように、画像の変形処理を行う。例えば、図３５において、分割点Ｄ１１，Ｄ２１，Ｄ２２，Ｄ１２を頂点とする小領域（ハッチングを付して示す小領域）の画像は、分割点Ｄ'１１，Ｄ'２１，Ｄ２２，Ｄ'１２を頂点とする小領域の画像に変形される。

図３６は、分割領域変形部２６０による画像の変形処理方法の概念を示す説明図である。図３６では、分割点Ｄを黒丸で示している。図３６では、説明を簡略化するために、４つの小領域について、左側に分割点Ｄの位置移動前の状態を、右側に分割点Ｄの位置移動後の状態を、それぞれ示している。図３６の例では、中央の分割点Ｄａが分割点Ｄａ'の位置に移動され、その他の分割点Ｄの位置は移動されない。これにより、例えば、分割点Ｄの移動前の分割点Ｄａ，Ｄｂ，Ｄｃ，Ｄｄを頂点とする矩形の小領域（以下「変形前注目小領域ＢＳＡ」とも呼ぶ）の画像は、分割点Ｄａ'，Ｄｂ，Ｄｃ，Ｄｄを頂点とする矩形の小領域（以下「変形後注目小領域ＡＳＡ」とも呼ぶ）の画像に変形される。

画像の変形処理は、矩形の小領域を小領域の重心ＣＧを用いて４つの三角形領域に分割し、三角形領域単位で行われる。図３６の例では、変形前注目小領域ＢＳＡが、変形前注目小領域ＢＳＡの重心ＣＧを頂点の１つとする４つの三角形領域に分割される。同様に、変形後注目小領域ＡＳＡが、変形後注目小領域ＡＳＡの重心ＣＧ'を頂点の１つとする４つの三角形領域に分割される。そして、分割点Ｄａの移動前後のそれぞれの状態において対応する三角形領域毎に、画像の変形処理が行われる。例えば、変形前注目小領域ＢＳＡ中の分割点Ｄａ，Ｄｄおよび重心ＣＧを頂点とする三角形領域の画像が、変形後注目小領域ＡＳＡ中の分割点Ｄａ'，Ｄｄおよび重心ＣＧ'を頂点とする三角形領域の画像に変形される。

図３７は、三角形領域における画像の変形処理方法の概念を示す説明図である。図３７の例では、点ｓ，ｔ，ｕを頂点とする三角形領域ｓｔｕの画像が、点ｓ'，ｔ'，ｕ'を頂点とする三角形領域ｓ'ｔ'ｕ'の画像に変形される。画像の変形は、変形後の三角形領域ｓ'ｔ'ｕ'の画像中のある画素の位置が、変形前の三角形領域ｓｔｕの画像中のどの位置に相当するかを算出し、算出された位置における変形前の画像における画素値を変形後の画像の画素値とすることにより行う。

例えば、図３７において、変形後の三角形領域ｓ'ｔ'ｕ'の画像中の注目画素ｐ'の位置は、変形前の三角形領域ｓｔｕの画像中の位置ｐに相当するものとする。位置ｐの算出は、以下のように行う。まず、注目画素ｐ'の位置を、下記の式（１）のようにベクトルｓ'ｔ'とベクトルｓ'ｕ'との和で表現するための係数ｍ１およびｍ２を算出する。

次に、算出された係数ｍ１およびｍ２を用いて、下記の式（２）により、変形前の三角形領域ｓｔｕにおけるベクトルｓｔとベクトルｓｕとの和を算出することにより、位置ｐが求まる。

変形前の三角形領域ｓｔｕにおける位置ｐが、変形前の画像の画素中心位置に一致した場合には、当該画素の画素値が変形後の画像の画素値とされる。一方、変形前の三角形領域ｓｔｕにおける位置ｐが、変形前の画像の画素中心位置からはずれた位置となった場合には、位置ｐの周囲の画素の画素値を用いたバイキュービック等の補間演算により、位置ｐにおける画素値を算出し、算出された画素値が変形後の画像の画素値とされる。

変形後の三角形領域ｓ'ｔ'ｕ'の画像中の各画素について上述のように画素値を算出することにより、三角形領域ｓｔｕの画像から三角形領域ｓ'ｔ'ｕ'の画像への画像変形処理を行うことができる。分割領域変形部２６０は、図３５に示した変形領域ＴＡを構成する各小領域について、上述したように三角形領域を定義して変形処理を行い、変形領域ＴＡにおける画像変形処理を行う。

ここで、変形タイプとして顔をシャープにするための変形「タイプＡ」（図５参照）が設定され、変形度合いとして「自動」が設定された場合を例に取り、顔形状補正の態様についてより詳細に説明する。図３８は、この場合における顔形状補正の態様を示す説明図である。図３８には、変形領域ＴＡを構成する各小領域の変形態様のイメージを矢印により示している。

図３８の例に示す顔形状補正では、基準線ＲＬと平行な方向（Ｖ方向）に関し、水平分割線Ｌｈ１上に配置された分割点Ｄ（Ｄ１１，Ｄ２１，Ｄ３１，Ｄ４１）の位置は上方に移動される一方、水平分割線Ｌｈ２上に配置された分割点Ｄ（Ｄ１２，Ｄ２２，Ｄ３２，Ｄ４２）の位置は移動されない（図３４参照）。従って、水平分割線Ｌｈ１と水平分割線Ｌｈ２との間に位置する画像は、Ｖ方向に関して縮小される。上述したように、水平分割線Ｌｈ１は顎の画像より下方に配置され、水平分割線Ｌｈ２は目の画像のすぐ下付近に配置されるため、この顔形状補正では、顔の画像の内、顎から目の下にかけての部分の画像がＶ方向に縮小されることとなる。この結果、画像中の顎のラインは上方に移動する。

他方、基準線ＲＬと直交する方向（Ｈ方向）に関しては、垂直分割線Ｌｖ１上に配置された分割点Ｄ（Ｄ１１，Ｄ１２）の位置は右方向に移動され、垂直分割線Ｌｖ４上に配置された分割点Ｄ（Ｄ４１，Ｄ４２）の位置は左方向に移動される（図３４参照）。さらに、垂直分割線Ｌｖ２上に配置された２つの分割点Ｄの内、水平分割線Ｌｈ１上に配置された分割点Ｄ（Ｄ２１）の位置は右方向に移動され、垂直分割線Ｌｖ３上に配置された２つの分割点Ｄの内、水平分割線Ｌｈ１上に配置された分割点Ｄ（Ｄ３１）の位置は左方向に移動される（図３４参照）。従って、垂直分割線Ｌｖ１より左側に位置する画像は、Ｈ方向に関して右側に拡大され、垂直分割線Ｌｖ４より右側に位置する画像は、左側に拡大される。また、垂直分割線Ｌｖ１と垂直分割線Ｌｖ２との間に位置する画像は、Ｈ方向に関して縮小または右側に移動され、垂直分割線Ｌｖ３と垂直分割線Ｌｖ４との間に位置する画像は、Ｈ方向に関して縮小または左側に移動される。さらに、垂直分割線Ｌｖ２と垂直分割線Ｌｖ３との間に位置する画像は、水平分割線Ｌｈ１の位置を中心にＨ方向に関して縮小される。

上述したように、垂直分割線Ｌｖ１およびＬｖ４は、頬のラインの画像の外側に配置され、垂直分割線Ｌｖ２およびＬｖ３は、目尻の画像の外側に配置される。そのため、図３８の例における顔形状補正では、顔の画像の内、両目尻より外側の部分の画像が全体的にＨ方向に縮小される。特に顎付近において縮小率が高くなる。この結果、画像中の顔の形状は、全体的に幅方向に細くなる。

上述したＨ方向およびＶ方向の変形態様を総合すると、図３８の例に示した顔形状補正により、対象画像ＴＩ中の顔の形状がシャープになる。なお、顔の形状がシャープになるとは、いわゆる「小顔」になると表現することもできる。

なお、図３８に示す分割点Ｄ２２，Ｄ３２，Ｄ３３，Ｄ２３を頂点とする小領域（ハッチングを付した領域）は、上述した水平分割線Ｌｈ２や垂直分割線Ｌｖ２およびＬｖ３の配置方法によると、両目の画像を含む領域となる。図３４に示すように、分割点Ｄ２２およびＤ３２はＨ方向にもＶ方向にも移動されないため、この両目の画像を含む小領域は変形されない。このように図３８の例では、両目の画像を含む小領域については変形しないこととし、顔形状補正後の画像がより自然で好ましいものとなるようにしている。

Ｆ．他の変形処理：
図３９は、変形処理の他の実施例を示す概略図である。図８に示す変形処理とは異なり、図３９の例では、対象画像ＴＩ上の一部の変形領域が変形される代わりに、対象画像ＴＩの全体のアスペクト比が変更される。

図３９（Ａ）は、変形前の対象画像ＴＩを示し、図３９（Ｂ）は変形後の画像ＴＩｄを示している。また、図中には、互いに直交する２つの方向Ｄｒ１、Ｄｒ２が示されている。第１方向Ｄｒ１は、矩形画像ＴＩ、ＴＩｄの短辺と平行な方向を示し、第２方向Ｄｒ２は、矩形画像ＴＩ、ＴＩｄの長辺と平行な方向を示している。図３９の例では、顔の幅方向は、第２方向Ｄｒ２とほぼ一致している。

図３９の例では、第１方向Ｄｒ１に沿った変形は実行されずに、第２方向Ｄｒ２に沿った変形（圧縮）が実行される。この変形によって、画像の全体が、第２方向Ｄｒ２に沿って圧縮される。すなわち、対象画像ＴＩ上の被写体の幅も狭くなる。その結果、画像の観察によって得られる被写体の印象を、実物の観察によって得られる印象に近づけることができる。

この変形では、変形済画像ＴＩｄの第２方向Ｄｒ２の大きさ（幅ＩＷｄ）が、変形前の大きさ（幅ＩＷ）と比べて、変形量ＤＱの２倍だけ小さくなる。すなわち、変形済画像ＴＩｄの第２方向Ｄｒ２方向の画素数が、変形前の画素数と比べて、少なくなる。ここで、変形済画像ＴＩｄの画素値（各画素の階調値）の決定方法としては、種々の方法を採用可能である。例えば、対象画像ＴＩの画素値を補間することによって、変形済画像ＴＩｄの画素値を決定してもよい。

変形量ＤＱとしては、上述の各実施例で説明した任意の変形量を採用可能である。例えば、図９に示す対応関係を利用して決定された変形量ＤＱを採用してもよい。また、図１４、図１７に示す対応関係を利用して決定された変形量ＤＱを採用してもよい。また、複数の被写体が検出される場合には、相対サイズＥｙｒが最大である被写体に基づいて決定された変形量ＤＱを採用してもよい。

なお、２つの方向Ｄｒ１、Ｄｒ２から圧縮すべき方向を、被写体の方向の検出結果に基づいて選択することが好ましい。例えば、顔領域検出部２２０（図１）は、図１８、図３９（Ａ）に示すように、顔領域ＦＡの高さ方向（上下方向）を示す基準線ＲＬを検出可能である。そこで、２つの方向Ｄｒ１、Ｄｒ２の内の、この基準線ＲＬとのなす角度が大きい方の方向を選択することが好ましい（図３９の例では、第２方向Ｄｒ２）。こうすば、被写体の幅（水平方向の大きさ）を小さくすることができる。

なお、対象画像ＴＩの全体のアスペクト比を変更する変形処理を採用する場合には、顔形状補正部として、図１に示すような顔形状補正部２００を採用可能である。ただし、変形処理部から、変形領域分割部２５０と分割領域変形部２６０とを省略することができる。その代わりに、変形処理部は、対象画像ＴＩのアスペクト比を変更する機能を有していればよい。また、顔領域調整部２３０と変形領域設定部２４０とを省略可能である。また、相対サイズＥｙｒを利用する場合には、サイズ算出部２９２（図１２）を追加すればよい。

ここで、被写体の幅方向に沿って対象画像ＴＩを圧縮する変形処理の代わりに、被写体の高さ方向に沿って対象画像ＴＩを伸張する変形処理を採用してもよい。この場合も、被写体の高さに対する幅の比率が小さくなるので、画像の観察によって得られる被写体の印象を、実物の観察によって得られる印象に近づけることができる。

Ｇ．出力の他の実施形態：
上述の各実施例において、画像出力の実施形態としては、印刷とは異なる他の実施形態を採用可能である。例えば、表示を採用してもよい。図４０は、対象画像を表示するための画像処理装置１０２を示す概略図である。図１に示すプリンタ１００との差違は、２点ある。第１の差違は、印刷処理部３２０とプリンタエンジン１６０とが省略されている点である。第２の差違は、表示部１５０が着脱可能である点である。この画像処理装置１０２には、ユーザによって選択された種々の表示装置が、表示部１５０として接続され得る。特に、表示部１５０としては、画像表示領域の実際のサイズが異なる種々の表示装置を利用することができる。

この画像処理装置１０２は、表示部１５０に表示するために、対象画像に対する変形処理を実行可能である。画像処理の手順としては、図３、図４に示す手順と同様の手順を採用可能である。ただし、図３のステップＳ２００は省略される。そして、図３のステップＳ３００では、印刷の代わりに、表示処理部３１０によって変形後の対象画像が表示部１５０に表示される。具体的には、表示処理部３１０が、変形後の対象画像を表示するための表示データを生成して、表示部１５０に供給する。表示部１５０は、供給された表示データに従って画像を表示する。このように、本実施例では、出力処理部として表示処理部３１０が利用される。なお、本実施例では、上述の各実施例の印刷処理部３２０と同様に、表示処理部３１０は、変形された対象画像を出力する動作モードと、変形されていない対象画像を出力する動作モードとを、有している。

図４１は、画像変形のタイプおよび度合いを設定するためのユーザインタフェースの一例を示す説明図である。図５に示す例との差違は、用紙サイズを設定するためのインタフェースの代わりに、ディスプレイサイズを設定するためのインタフェースが含まれている点だけである。図４１の例では、ディスプレイサイズとして、３インチ、８インチ、１５インチ、２１インチ、３２インチの５つの選択肢が利用可能である。これらの選択肢は、表示部１５０（図１）の矩形状の画像表示領域の対角線の長さを示している。ユーザは、実際に利用する表示部１５０のサイズを、これらの選択肢の中から選択する。図４１の例では、「８インチ」が選択されている。選択された情報は、変形量調整部２９０によって利用される。

図４２は、変形量ＤＱとディスプレイサイズＤＳとの関係を示すグラフである。横軸はディスプレイサイズＤＳを示し、縦軸は変形量ＤＱを示している。ディスプレイサイズＤＳは、図４１に示すユーザインタフェースでユーザによって選択されたディスプレイサイズである。なお、本実施例では、表示された画像の実際の大きさが最大となるように、表示部１５０の表示領域上に変形後の対象画像の全体が拡大して（あるいは、縮小して）表示される。すなわち、表示される対象画像の実際のサイズは、ディスプレイサイズＤＳが大きいほど、大きい。従って、ディスプレイサイズＤＳは、対象画像の出力サイズを表している、ということができる。

変形量ＤＱは、ディスプレイサイズＤＳが小さいほど大きく（強く）なるように、予め設定されている。その結果、図９に示す第１実施例と同様に、表示サイズに適した変形を実現することができる。具体的には、表示サイズが小さい場合には、変形の度合いを強くすることによって、変形が観察者に認識されないことを抑制できる。また、表示サイズが大きい場合には、変形の度合いを弱くすることによって、変形が過剰であると観察者に認識されることを抑制できる。

図４のステップＳ５９０では、変形量調整部２９０（図４０）は、ユーザによって選択されたディスプレイサイズから図４２に示す対応関係に従って、変形量ＤＱを決定する。図４のステップＳ６００では、このように決定された変形量ＤＱを利用して画像が変形される。図３のステップＳ３００では、表示処理部３１０によって、変形後の対象画像が表示部１５０に表示される。本実施例では、表示処理部３１０は、表示部１５０の画像表示領域上に対象画像の全体が表示されるように、表示データを生成する。この際、表示処理部３１０は、表示された対象画像の大きさが最大となるように、対象画像を、変形せずに、拡大（あるいは、縮小）する。このような拡大（縮小）は、解像度変換処理によって行われる。表示処理部３１０は、この解像度変換処理を、表示部１５０の画素数（縦方向の画素数と、横方向の画素数）に合わせて、実行する。表示部１５０の画素数は、予め設定されている。この画素数の設定値は、画像処理装置１０２に表示部１５０が接続される毎に、接続された表示部１５０に合わせて更新されることが好ましい。

なお、変形量ＤＱとしては、上述の各実施例で説明した種々の変形量を採用可能である。例えば、図１４に示す第２実施例と同様に、距離パラメータが示す距離が近いほど大きく（強く）なるように変形量ＤＱを調整してもよい。また、図１７に示す第３実施例と同様に、ユーザによって変形の度合いが指定された場合に、さらに、ディスプレイサイズＤＳが小さいほど大きく（強く）なるように変形量ＤＱを調整してもよい。いずれの場合も、用紙サイズＰＳの代わりにディスプレイサイズＤＳを利用することによって変形量ＤＱを調整すればよい。

ところで、表示処理部３１０は、表示中の画像のサイズをユーザの指示に従って変更する機能を有していてもよい。このような場合には、変形量調整部２９０は、変形後の対象画像を最初に表示した時点での表示サイズが小さいほど大きく（強く）なるように、変形量ＤＱを調整することが好ましい。

Ｈ．変形例：
なお、上記各実施例における構成要素の中の、独立クレームでクレームされた要素以外の要素は、付加的な要素であり、適宜省略可能である。また、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。

変形例１：
上記各実施例では、変形領域を矩形の領域として設定しているが、変形領域の形状は、他の形状（例えば、楕円や菱形）であってもよい。

変形例２：
上記各実施例では、画像処理装置としてのプリンタ１００による顔形状補正印刷処理（図３）を説明したが、顔形状補正印刷処理は例えば、顔形状補正と補正画像の表示（ステップＳ１００，Ｓ２００）がパーソナルコンピュータにより実行され、印刷処理（ステップＳ３００）のみがプリンタにより実行されるものとしてもよい。また、プリンタ１００はインクジェットプリンタに限らず、他の方式のプリンタ、例えばレーザプリンタや昇華型プリンタであるとしてもよい。

また、変形済画像データは、印刷に限らず、任意の用途に利用可能である。例えば、表示装置（例えば、プロジェクタ）による表示を採用してもよい。

変形例３：
上述の各実施例において、対象画像の出力サイズの比較には、出力された対象画像の実際のサイズと相関を有する種々のパラメータを利用することができる。例えば、出力された状態における変形後の対象画像の領域の、長辺の実際の長さと、短辺の実際の長さと、実際の面積と、の内の任意のパラメータを利用可能である。これらのパラメータを利用すれば、出力された対象画像の大きさの違いを適切に表現することができる。

また、出力サイズ情報としては、対象画像の出力サイズを表す任意の情報を採用可能である。例えば、図５に示す実施例のように用紙サイズを採用してもよく、また、図４１に示す実施例のようにディスプレイサイズを採用してもよい。ここで、印刷媒体の形状としては矩形状に限らず任意の形状（例えば、円形状）を採用可能である。すなわち、用紙サイズとしては、矩形状の印刷媒体の長辺の長さと短辺の長さとの組み合わせを示す情報に限らず、印刷媒体のサイズを表す種々の情報を採用可能である。いずれの場合も、用紙サイズに従って対象画像の出力サイズも決まる。そこで、用紙サイズによって決まる出力サイズが小さいほど強くなるように変形の度合いを調整することが好ましい。

また、上述の各実施例では、出力サイズ情報がユーザによって選択されているが、この代わりに、自動的に出力サイズ情報が設定されてもよい。例えば、プリンタエンジン１６０（図１、図１２）の中には、用紙サイズを自動的に検出するものがある。このようなプリンタエンジン１６０を利用する場合には、変形量調整部２９０は、プリンタエンジン１６０によって検出された用紙サイズを、出力サイズ情報として利用してもよい。

また、印刷媒体上の部分領域である割付領域がユーザによって設定される場合がある。ここで、割付領域は、対象画像が割り付けられる領域を意味している。このような割付領域が設定された場合には、印刷処理部３２０は、用紙サイズを表す情報と割付領域を表す情報とを利用することによって、その割付領域内に変形後の対象画像の全体を印刷する。ここで、印刷処理部３２０は、印刷された対象画像の大きさが最大となるように、対象画像を、変形せずに、拡大（あるいは、縮小）する。このような割付領域が設定される場合には、変形量調整部２９０は、用紙サイズと割付領域とから、対象画像の実際の出力サイズを取得することが好ましい。例えば、用紙サイズが大きい場合であっても、割付領域が小さい場合には、実際の出力サイズが小さくなる。ここで、変形量調整部２９０は、実際の出力サイズが小さいほど強くなるように変形の度合いを調整することが好ましい。この場合には、用紙サイズを表す情報と割付領域を表す情報との全体を、出力サイズ情報として利用すればよい。なお、このような割付領域を設定する割付領域設定部としては、任意の処理部を採用可能である。例えば、印刷処理部３２０が割付領域設定部として機能してもよく、また、顔形状補正部２００が割付領域設定部として機能してもよい。また、これらの処理部とは別に、割付領域設定部を画像処理装置に設けてもよい。なお、割付領域設定部は、ユーザの指示に従って割付領域を設定してもよく、この代わりに、所定の条件に従って自動的に割付領域を設定してもよい。以上の説明は、印刷処理部３２０によって変形後の対象画像が印刷される場合に限らず、表示処理部３１０（図４０）によって変形後の対象画像が表示される場合も、同様である。

変形例４：
上述の各実施例において、出力サイズに適合するように解像度変換を行った後の画像を、変形処理の対象として利用してもよい。この場合には、出力処理部（例えば、図１の印刷処理部３２０や、図４０の表示処理部３１０）とは別に、変形処理の前に解像度変換を実行する解像度変換部を画像処理装置に設けることが好ましい。いずれの場合も、出力処理部は、与えられた出力サイズで変形後の対象画像を出力するための出力データを生成して画像出力部に供給することが好ましい。

変形例５：
上述の各実施例において、被写体としては、人（顔）に限らず任意の被写体を採用可能である。例えば、建築物や車両を採用してもよい。いずれの場合も、出力サイズが小さいほど強く（大きく）なるように変形の度合いを調整すれば、出力サイズに合わせて画像を適切に変形させることができる。また、対象画像から被写体を検出する方法としては、任意の方法を採用可能である。また、サイズ算出部２９２（図１２）は、被写体の全体と一部分との少なくとも一方であって実際の大きさが個体に依存せずにほぼ同じ部分のサイズを解析することによって、対象画像上のサイズを算出すればよい。

変形例６：
図１２、１３、１４に示す実施例において、１枚の対象画像から複数の被写体が検出された場合には、変形量調整部２９０（図１２）は、各被写体毎に（すなわち、各変形領域ＴＡ毎に）変形量ＤＱを決定すればよい。そして、変形処理部は、各変形領域ＴＡ毎に変形処理を実行すればよい。こうすれば、各被写体を適切に変形させることができる。

変形例７：
上述の各実施例において、出力サイズの変化に対する変形量ＤＱの変化のパターンとしては、種々のパターンを採用可能である。例えば、変形量ＤＱが出力サイズに反比例してもよい。また、出力サイズの変化に対して、変形量ＤＱが、複数の段階にわけて、ステップ状に変化してもよい。また、出力サイズの一部の範囲において変形量ＤＱが一定値に設定されてもよい。いずれの場合も、出力サイズが小さいほど大きく（強く）なるように変形量ＤＱが設定されることが好ましい。

変形例８：
上述の各実施例において、距離パラメータが示す距離の変化と連動して変形量ＤＱが変化するような出力サイズの範囲（以下「サイズ距離連動範囲」と呼ぶ）としては、図１４に示すような出力サイズの全範囲に限らず、出力サイズの全範囲の内の少なくとも一部の任意の範囲を採用可能である。例えば。出力サイズが所定の閾値よりも大きな範囲を採用してもよい。こうすれば、被写体が大きく見えやすい範囲（出力サイズが特に大きな範囲）において、距離に合わせた適切な変形を実現可能である。また、出力サイズが所定の閾値よりも小さい範囲を採用してもよい。また、出力サイズの中間の一部の範囲を採用してもよい。いずれの場合も、サイズ距離連動範囲は、種々の条件下で撮影された対象画像の変形結果の官能評価に基づいて決定することが可能である。

また、距離の変化に対する変形量ＤＱの変化のパターンとしては、種々のパターンを採用可能である。例えば、変形量ＤＱが距離に比例してもよい。また、距離の変化に対して、変形量ＤＱが、複数の段階にわけて、ステップ状に変化してもよい。また、距離の一部の範囲において変形量ＤＱが一定値に設定されてもよい。いずれの場合も、距離が近いほど大きく（強く）なるように変形量ＤＱが設定されることが好ましい。

変形例９：
上述の各実施例において、変形処理としては種々の処理を採用可能である。例えば、変形領域内の画像を、被写体の高さ方向には変形させずに、被写体の水平方向にのみ変形させてもよい。

いずれの場合も、変形処理としては、被写体の少なくとも一部分の対象画像ＴＩ上における少なくとも一方向（以下「短縮方向」と呼ぶ）の大きさが小さくなるような変形処理を採用することが好ましい。こうすれば、観察者から見た横方向に短縮方向が向くような角度で画像と実物とを観察した場合に、画像の観察によって得られる被写体の印象を、実物の観察によって得られる印象に近づけることができる。ここで、被写体の輪郭によって示される大きさを、短縮方向に小さくすることが好ましい。すなわち、輪郭で囲まれる領域の短縮方向の長さが小さくなることが好ましい。このように、変形処理によって、被写体の少なくとも輪郭が変形されることが好ましい。こうすれば、画像の観察によって得られる被写体の印象を、適切に、実物の観察によって得られる印象に近づけることができる。

なお、短縮方向は、対象画像ＴＩ上の任意の方向に設定可能である。例えば、所定の方向（例えば、対象画像ＴＩの長辺と平行な方向）を短縮方向として採用してもよい。ただし、短縮方向と被写体の幅方向とがなす角度が３０度以下であることが好ましく、この角度が１５度以下であることが特に好ましく、短縮方向が被写体の幅方向に向けられることが最も好ましい。こうすれば、多くの場合において、自然で好ましい変形を実行することができる。

ここで、被写体の幅方向に近くなるように短縮方向を決定する方法としては、種々の方法を採用可能である。例えば、変形処理部は、被写体の幅方向と関連のある情報を利用することによって、短縮方向を決定してもよい。被写体の幅方向と関連のある情報としては、種々の情報を採用可能である。例えば、被写体の方向の検出結果を採用可能である。上述の実施例では、顔領域検出部２２０（図１、図１７）は、対象画像ＴＩを解析することによって被写体（この場合は顔）の方向を検出する。また、撮影装置の中には、撮影時の地面に対する鉛直方向（重力方向）を示す鉛直情報を、履歴情報として画像ファイルに格納するものがある。このような鉛直情報を利用可能な場合には、鉛直情報に基づいて対象画像ＴＩ上の重力方向を特定することができ、その重力方向と垂直な方向を被写体の幅方向として採用することができる。

また、変形処理部は、ユーザの指示に従って短縮方向を決定してもよい。例えば、変形処理部は、被写体の幅方向を示す指示を受け入れ、受け入れた指示に従って短縮方向を決定してもよい。

また、被写体の幅方向が、対象画像ＴＩ上の所定の方向と一致することが予め決まっている場合がある。例えば、一般的なユーザによって撮影された対象画像ＴＩでは、被写体の幅方向は、対象画像ＴＩの長辺と平行であることが多い。このような場合には、変形処理部は、対象画像ＴＩ上の所定の方向（この場合は、長辺と平行な方向）を、被写体の幅方向として採用してもよい。すなわち、対象画像ＴＩ上の所定の方向を短縮方向として採用してもよい。

以上の説明は、被写体が人物の顔とは異なる場合についても、同様に適用可能である。また、被写体の変形される部分は、任意に設定可能である。

また、出力サイズの変化と連動して変形の度合いを調整する場合には、変形処理としては、被写体の少なくとも一部分を小さくする処理に限らず、任意の処理を採用することが可能である。例えば、被写体の少なくとも一部分を大きくする処理を採用してもよい。具体的には、変形領域内の被写体の一部分を大きくする処理を採用してもよい。いずれの場合も、対象画像の出力サイズが小さい場合には、変形の度合いを強くすることによって、変形が観察者に認識されないことを抑制できる。また、対象画像の出力サイズが大きい場合には、変形の度合いを弱くすることによって、変形が過剰であると観察者に認識されることを抑制できる。

変形例１０：
上述の各実施例において、対象画像ＴＩ上における被写体のサイズとしては、図１３に示す相対サイズＥｙｒに限らず、種々のパラメータを採用可能である。例えば、被写体を表す画像領域の面積をサイズとして採用してもよい。被写体として顔を採用する場合には、所定の肌色範囲の色を示す画素の総数を、被写体のサイズとして利用することができる。サイズ算出に利用される画素は、１つの顔領域ＦＡ内から選択されることが好ましい。ここで、対象画像ＴＩの画素密度に依存しないサイズを算出するためには、被写体を表す画素の総数を対象画像ＴＩの全画素数で割った値を、サイズとして利用することが好ましい。

変形例１１：
上述の各実施例において、変形後の対象画像を表す画像データの取扱方法としては、直ちに出力に利用する方法に限らず、種々の方法を採用可能である。例えば、画像データが、ネットワークを介して画像出力部に送信されてもよい。また、画像データが、不揮発性メモリ（例えば、ハードディスクドライブやフラッシュメモリ）に格納されてもよい。この場合には、ユーザは、変形後の画像を表す画像データを任意のタイミングで出力のために利用することができる。

変形例１２：
上記各実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。例えば、図１の変形領域分割部２５０と分割領域変形部２６０との全体の機能を、論理回路を有するハードウェア回路によって実現してもよい。

また、本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア（コンピュータプログラム）は、コンピュータ読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスクやＣＤ−ＲＯＭのような携帯型の記録媒体に限らず、各種のＲＡＭやＲＯＭ等のコンピュータ内の内部記憶装置や、ハードディスク等のコンピュータに固定されている外部記憶装置も含んでいる。

変形例１３：
［変形処理を行うための手段］
変形処理を行うために、画像処理装置は、画像の変形を行う画像処理装置であって、対象画像上の少なくとも一部の領域を変形領域として設定する変形領域設定部と、前記変形領域内に複数の分割点を配置し、前記分割点同士を結ぶ直線を用いて前記変形領域を複数の小領域に分割する変形領域分割部と、少なくとも１つの前記分割点の位置を移動して前記小領域を変形することにより前記変形領域内の画像の変形を行う変形処理部と、を備えるものとしてもよい。

この画像処理装置では、対象画像上に設定された変形領域内に複数の分割点が配置され、分割点同士を結ぶ直線を用いて変形領域が複数の小領域に分割される。また、分割点の位置が移動され、小領域が変形されることにより変形領域内の画像の変形処理が実行される。このように、この画像処理装置では、変形領域内に分割点を配置して、配置された分割点を移動するだけで画像変形を行うことができ、多様な変形態様に対応した画像変形の画像処理を、容易に、かつ効率的に実現することができる。

上記画像処理装置において、さらに、複数の所定の変形タイプの内の１つを選択して前記変形領域内の画像の変形に適用する変形タイプとして設定する変形態様設定部を備え、前記変形領域分割部は、前記設定された変形タイプに対応付けられた所定の配置パターンに従い前記複数の分割点を配置するとしてもよい。

このようにすれば、例えば顔をシャープする変形タイプや目を大きくする変形タイプ等、それぞれの変形タイプに適した分割点の配置、すなわち変形領域の分割が行われるため、各変形タイプに対応した画像変形のための画像処理のさらなる容易化を実現することができる。

また、上記画像処理装置において、前記変形態様設定部は、複数の所定の変形度合いの内の１つを選択して前記変形領域内の画像の変形に適用する変形度合いとして設定し、前記変形処理部は、前記設定された変形タイプと変形度合いとの組み合わせに対応付けられた所定の移動方向および移動量に従い前記分割点の位置を移動するとしてもよい。

このようにすれば、変形タイプと変形度合いとが設定されれば、それらの組み合わせに応じた画像変形が実行されるため、画像変形のための画像処理のさらなる容易化を実現することができる。

また、上記画像処理装置において、前記変形態様設定部は、少なくとも１つの前記分割点について、前記分割点の移動方向および移動量に関するユーザ指定を取得する指定取得部を含み、前記変形処理部は、前記取得されたユーザ指定に従い前記分割点の位置を移動するとしてもよい。

このようにすれば、よりユーザの希望に近い態様での画像変形のための画像処理を容易に実現することができる。

また、上記画像処理装置において、前記変形領域設定部は、前記変形領域に顔の少なくとも一部の画像が含まれるように前記変形領域を設定するとしてもよい。

このようにすれば、顔の画像を対象として、多様な変形態様に対応した画像変形のための画像処理を、容易に、かつ効率的に実現することができる。

また、上記画像処理装置において、前記変形領域分割部は、少なくとも１組の前記分割点が所定の基準線に対して互いに対称の位置に配置されるように、前記複数の分割点を配置し、前記変形処理部は、前記少なくとも１組の分割点を、前記所定の基準線に対して互いに対称である位置関係を維持したまま移動するとしてもよい。

このようにすれば、所定の基準線に対して左右対称な画像変形が行われることとなり、より自然で好ましい顔画像の画像変形のための画像処理を実現することができる。

また、上記画像処理装置において、前記変形処理部は、少なくとも１つの前記小領域について、変形を行わないとしてもよい。

このようにすれば、顔の印象を大きく変更することなく所望の画像変形を行うことが可能となり、より自然で好ましい顔画像の画像変形のための画像処理を実現することができる。

また、上記画像処理装置において、前記変形処理部は、目の画像を含む前記小領域について、変形を行わないとしてもよい。

このようにすれば、目の画像を含む小領域については変形を行わないものとすることにより、より自然で好ましい顔画像の画像変形のための画像処理を実現することができる。

また、上記画像処理装置において、さらに、前記対象画像上の顔の画像を表す顔領域を検出する顔領域検出部を備え、前記変形領域設定部は、検出された前記顔領域に基づき前記変形領域を設定するとしてもよい。

このようにすれば、対象画像から検出された顔領域に基づき設定された変形領域の画像変形について、多様な変形態様に対応した画像変形のための画像処理を、容易に、かつ効率的に実現することができる。

また、上記画像処理装置において、さらに、前記変形領域内の画像の変形が行われた前記対象画像を印刷する印刷部を備えるとしてもよい。

このようにすれば、多様な変形態様に対応した画像変形後の画像の印刷を、容易に、かつ効率的に実現することができる。

本発明の一実施例としての画像処理装置が適用されるプリンタ１００の構成を概略的に示す説明図。 画像の一覧表示を含むユーザインタフェースの一例を示す説明図である。 プリンタ１００において顔形状補正印刷を行う際に実行される顔形状補正印刷ルーチンを示すフローチャート。 顔形状補正処理ルーチンを示すフローチャート。 画像変形のタイプおよび度合いを設定するためのユーザインタフェースの一例を示す説明図。 顔領域の検出結果の一例を示す説明図。 変形領域の設定結果を示す説明図。 変形処理が行われた結果を示す説明図。 変形量ＤＱと用紙サイズＰＳとの関係を示すグラフである。 変形処理の概要を示す概略図である。 顔形状補正後の対象画像ＴＩが表示された表示部１５０の状態の一例を示す説明図。 第２実施例におけるプリンタ１００ａの構成を概略的に示す説明図である。 サイズ算出部２９２（図１２）によって算出されるサイズを示す概略図である。 第２実施例における変形量ＤＱを示すグラフである。 被写体の印象の違いを示す説明図である。 第１幅Ｗ１に対する第２幅Ｗ２の比率Ｒｉと、距離ｄとの関係を示すグラフである。 第３実施例における変形量ＤＱを示すグラフである。 顔領域ＦＡの検出結果の別の一例を示す説明図。 変形領域の設定処理の流れを示すフローチャート。 顔領域ＦＡの高さ方向の位置調整処理の流れを示すフローチャート。 特定領域ＳＡの一例を示す説明図。 評価値の算出方法の一例を示す説明図。 評価対象画素ＴＰの選択方法の一例を示す説明図。 高さ基準点Ｒｈの決定方法の一例を示す説明図。 概略傾き角ＲＩの算出方法の一例を示す説明図。 顔領域ＦＡの高さ方向の位置調整方法の一例を示す説明図。 顔領域ＦＡの傾き調整処理の流れを示すフローチャート。 顔領域ＦＡの傾き調整のための評価値の算出方法の一例を示す説明図。 各評価方向についての評価値の分散の算出結果の一例を示す説明図。 顔領域ＦＡの傾き調整方法の一例を示す説明図。 変形領域ＴＡの設定方法の一例を示す説明図。 変形処理の流れを示すフローチャート。 変形領域ＴＡの小領域への分割方法の一例を示す説明図。 分割点移動テーブル４２０の内容の一例を示す説明図。 分割点移動テーブル４２０に従った分割点Ｄの位置の移動の一例を示す説明図。 分割領域変形部２６０による画像の変形処理方法の概念を示す説明図。 三角形領域における画像の変形処理方法の概念を示す説明図。 顔形状補正の態様の一例を示す説明図。 変形処理の他の実施例を示す概略図である。 対象画像を表示するための画像処理装置１０２を示す概略図である。 画像変形のタイプおよび度合いを設定するためのユーザインタフェースの一例を示す説明図である。 変形量ＤＱとディスプレイサイズＤＳとの関係を示すグラフである。

符号の説明

１００…プリンタ
１０２…画像処理装置
１１０…ＣＰＵ
１２０…内部メモリ
１４０…操作部
１５０…表示部
１６０…プリンタエンジン
１７０…カードインタフェース
１７２…カードスロット
２００…顔形状補正部
２１０…変形態様設定部
２１２…指定取得部
２２０…顔領域検出部
２３０…顔領域調整部
２４０…変形領域設定部
２５０…変形領域分割部
２６０…分割領域変形部
２９０…変形量調整部
２９２…サイズ算出部
３１０…表示処理部
３２０…印刷処理部
４１０…分割点配置パターンテーブル
４２０…分割点移動テーブル

Claims (9)

1. 画像出力部によって画像を出力するための画像処理を実行する画像処理装置であって、
   変形の度合いを調整する変形量調整部と、
   対象画像上の少なくとも一部の領域を前記調整された度合いで変形させる変形処理部と、
   を備え、
   前記変形量調整部は、前記対象画像の出力サイズを表す出力サイズ情報を利用することによって、前記出力サイズ情報が示す出力サイズが小さいほど強くなるように前記変形の度合いを調整する、
   画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記変形処理部は、前記対象画像上の被写体の少なくとも一部分の前記対象画像上における少なくとも一方向の大きさが小さくなるように、前記変形を実行する、
   画像処理装置。
3. 請求項１または請求項２に記載の画像処理装置であって、
   前記出力は印刷媒体上への印刷であり、
   前記出力サイズ情報は、前記印刷媒体のサイズを表す情報である、
   画像処理装置。
4. 請求項２に記載の画像処理装置であって、さらに、
   前記対象画像上の所定の種類の被写体を前記被写体として検出する検出部と、
   前記対象画像上の、前記検出部によって検出された被写体を含む一部の領域を変形領域として設定する変形領域設定部と、
   を備え、
   前記変形処理部は、前記変形領域内の画像の変形を実行する、
   画像処理装置。
5. 請求項１に記載の画像処理装置であって、
   前記変形量調整部は、撮影時における前記対象画像上の被写体と撮影装置との間の距離と相関のある距離パラメータを利用することによって、前記距離パラメータが示す距離が近いほど強くなるように前記変形の度合いを調整する、
   画像処理装置。
6. 請求項２、４、５のいずれかに記載の画像処理装置であって、
   前記被写体は人物の顔である、
   画像処理装置。
7. 請求項１ないし請求項６のいずれかに記載の画像処理装置であって、
   前記出力サイズの大小関係は、
   （Ａ）出力された状態における前記対象画像の領域の長辺の実際の長さと、
   （Ｂ）出力された状態における前記対象画像の領域の短辺の実際の長さと、
   （Ｃ）出力された状態における前記対象画像の領域の実際の面積と、
   のうちのいずれか１つの大小関係によって表されている、画像処理装置。
8. 請求項１ないし請求項７のいずれかに記載の画像処理装置であって、さらに、
   前記変形後の対象画像を前記出力サイズで出力するための出力データを生成して前記画像出力部に供給する出力処理部を備える、
   画像処理装置。
9. 画像出力部によって画像を出力するための画像処理を実行する画像処理方法であって、
   変形の度合いを調整する工程と、
   対象画像上の少なくとも一部の領域を前記調整された度合いで変形させる工程と、
   を備え、
   前記変形の度合いを調整する工程は、前記対象画像の出力サイズを表す出力サイズ情報を利用することによって、前記出力サイズ情報が示す出力サイズが小さいほど強くなるように前記変形の度合いを調整する工程を含む、
   方法。

Images