JP6846440B2 - 画像処理装置、画像印刷装置、撮像装置、および画像処理プログラム - Google Patents

Description

本開示の一態様は、顔を被写体として含む画像を補正する画像処理装置に関する。

画像に対して、特定の領域を拡大したり縮小したりする補正を施すことで、被写体の印象を変化させる技術が広く用いられている。例えば、人を被写体として含む画像に対して、顔に対応する領域を縮小する補正を施すことで、被写体の印象を実際よりも小顔にすることができる。また、同様の画像に対して、全身に対応する領域を左右方向に縮小する補正を施せば、被写体の印象を実際よりも痩身にすることができ、脚に対応する領域を上下方向に拡大する補正を施せば、被写体の印象を実際よりもスマートにすることができる。

顔の印象を変化させた画像を得るための画像処理装置を開示した文献としては、例えば、特許文献１が挙げられる。特許文献１に記載の画像処理装置においては、顔を被写体として含む画像に対して、顔の長さＬ１及び顔の幅Ｌ２に基づいて特定した顔のタイプ（「丸顔」「面長」「四角」など）に応じた補正が施される。

日本国公開特許公報「特開２００４−２６４８９３号公報」

しかしながら、特許文献１に記載の画像処理装置には、以下の問題があった。

すなわち、特許文献１に記載の画像処理装置においては、顔を被写体として含む画像から頭頂部、顎、口、右頬、左頬の各顔器官を検出したうえで、顔の長さＬ１として、頭頂部から顎までの距離を算出すると共に、顔の幅Ｌ２として、口の高さにおける右頬から左頬までの距離を算出している。しかしながら、顔の長さＬ１および顔の幅Ｌ２を算出するために、その位置を参照する必要のあるこれらの顔器官を、顔を被写体として含む画像から常に検出できるとは限らない。

特に、顎や頬など顔の輪郭を構成する顔器官は、検出に失敗したり、誤検出したりする可能性が高い。例えば、被写体となる人が頬に手をついている場合、頬と手とが共に肌色であるため、頬と手との境界を正確に検出することが困難になる。このため、頬の検出に失敗したり、頬以外の部位を頬として誤検出したりすることがある。また、顎と首との境界は、顔の向き、カメラの向き、又は照明条件次第で、しばしば不鮮明となる。このため、顎の検出に失敗したり、顎以外の部位を顎として誤検出したりすることがある。

頬又は顎の検出に失敗すると、顔の長さＬ１又は顔の幅Ｌ２を算出することができないので顔のタイプを特定することができず、その結果、補正が不可能になる。また、頬又は顎を誤検出すると、正しい顔の長さＬ１又は顔の幅Ｌ２を算出することができないので正しい顔のタイプを特定することができず、その結果、補正が不適切になる。

以上のように、特許文献１に記載の画像処理装置は、検出に失敗したり、誤検出したりし易い、顔の輪郭を構成する顔器官（具体的には顎及び頬）の検出を必須としている。このため、特許文献１に記載の画像処理装置には、補正が不可能になったり、補正が不適切になったりし易いという問題があった。

本開示の一態様は、上記の問題に鑑みてなされたものであり、その目的は、補正が不可能になったり、補正が不適切になったりする可能性が従来よりも低い画像処理装置を実現することにある。

本開示の一態様に係る画像処理装置は、顔を含む画像を補正する画像処理装置であって、前記画像に対し、前記顔の中心に応じた位置と、前記顔の大きさに応じたサイズとを有する所定の形状の第１補正領域を縮小すると共に、第１補正領域の周囲の第２補正領域を拡大する補正処理、または、前記第１補正領域を拡大すると共に、前記第２補正領域を縮小する補正処理を施す補正部を備えている。

本開示の一態様によれば、補正が不可能になったり、補正が不適切になったりする可能性が従来よりも低い画像処理装置を実現することができる。

本開示の一実施形態に係る画像印刷装置の構成を示すブロック図である。 図１に示す画像印刷装置の画像処理装置が備える被写体検出部の構成を示すブロック図である。 図１に示す画像処理装置が実施する画像処理の流れを示すフローチャートである。 人の顔を被写体として含む入力画像の一例を示す図である。 図４に示す入力画像に被写体として含まれる右目、左目、および口に基づいて設定した第１補正領域および第２補正領域の一例を示す図である。 画像補正処理に関して、補正前の点の補正中心からの距離ｒと補正後の点の補正中心からの距離ｒ’との関係を示すグラフである。 画像補正処理に関して、補正による各点の変位を矢印として表した図である。 （ａ）は、入力画像に被写体として含まれる顔を示す図である。（ｂ）は、入力画像に被写体として含まれる別の顔を示す図である。（ｃ）は、（ａ）に示す顔に含まれる右目、左目、および口に基づいて設定した第１補正領域の外周を、（ａ）に示す顔の輪郭と共に描いた図である。（ｄ）は、（ｂ）に示す顔に含まれる右目、左目、および口に基づいて設定した第１補正領域の外周を、（ｂ）に示す顔の輪郭と共に描いた図である。（ｃ）および（ｄ）における矢印は、補正による各点の変位を表す。 （ａ）は、入力画像に被写体として含まれる顔を示す図である。（ｂ）は、（ａ）に示す顔に含まれる右目、左目、および口に基づいて設定した第１補正領域の外周を、（ａ）に示す顔の輪郭と共に描いた図である。（ｂ）における矢印は、補正による各点の変位を表す。 （ａ）は、入力画像に被写体として含まれる補正前の顔を示す図であり、（ｂ）は、出力画像に被写体として含まれる補正後の顔を示す図である。（ｂ）において、上段の顔は、第１補正領域を等方的に縮小する補正により得られる顔であり、下段の顔は、第１補正領域を非等方的に縮小する補正により得られる顔である。 人の顔を被写体として含む入力画像の一例を示す図である。 補正強度設定処理に関して、拡縮率α（θ）を算出するために利用される係数γ（θ）の方向依存性を示すグラフである。 入力画像に被写体として含まれる顔を示す図である。 入力画像に被写体として含まれる顔を示す図である。 入力画像に被写体として含まれる顔と補正後の画像とを複数例示する図である。 入力画像に被写体として含まれる顔と補正後の画像とを示す図である。 本開示の一実施形態に係る画像撮像装置の構成を示すブロック図である。 第１補正領域および第２補正領域の他の例を示す図である。

（第１の実施形態）
本開示の第１の実施形態に係る画像処理装置１００について、図１〜図９を参照して説明する。本実施形態に係る画像処理装置１００は、顔を被写体として含む画像に対して、顔に対応する領域を等方的に縮小又は拡大する補正を施すための装置である。

＜画像処理装置の構成＞
まず、図１に基づいて、画像印刷装置１の構成の一例について説明する。図１は、本実施形態の画像印刷装置１の構成を示す機能ブロック図である。図１に示すように、画像印刷装置１は、撮像部１０、操作部２０、表示部３０、画像処理装置１００（制御部）、印刷部５０および記憶部６０を備えている。

撮像部１０は、被写体を撮像するものであり、撮像した画像を入力画像として画像処理装置１００に送信する。

操作部２０は、ユーザの入力を受け付けるものであり、例えばタッチパネル、マウスによって実現される。例えば、操作部２０がタッチパネルの場合、当該タッチパネルを備えた表示部３０に入力画像が表示される。

表示部３０は、各種画像を表示するものである。表示部３０は、例えば、撮像部１０が撮像した画像、または後述の画像補正部１０４が生成する出力画像を表示する。

画像処理装置１００は、撮像部１０が撮像した画像（入力画像）に対して画像処理を行い、処理後（補正後）の出力画像を生成する画像処理装置として機能する。本実施形態では、画像処理装置１００は、画像印刷装置１を統括的に制御する制御部としても機能する。画像処理装置１００の具体的な構成については後述する。

印刷部５０は、画像処理装置１００の処理によって生成された出力画像（画像）を印刷する。印刷部５０は、当該出力画像に対してさらに、操作部２０を介してユーザによって描画された画像を印刷してもよい。

記憶部６０は、例えば、画像処理装置１００が実行する各種の制御プログラム等を記憶するものであり、例えばハードディスク、フラッシュメモリ等の不揮発性の記憶装置によって構成される。記憶部６０には、例えば、入力画像および出力画像が記憶される。また、記憶部６０には、画像処理（補正処理）、被写体の検出処理等、画像処理装置１００の処理に必要なパラメータ等が記憶されていてもよい。

なお、画像印刷装置１を制御する制御部が、画像処理装置１００である必要は必ずしもない。例えば、画像印刷装置１と通信可能に接続できる外部装置が、画像処理装置１００として機能するものであってもよい。

＜画像処理装置の構成＞
次に、画像処理装置１００の構成について、図１および図２を参照して説明する。図２は、画像処理装置１００が備える被写体検出部１０１の構成を示すブロック図である。

画像処理装置１００は、図１に示すように、被写体検出部１０１、補正領域設定部（設定部）１０２、補正強度設定部（設定部）１０３、および画像補正部（補正部）１０４を備えている。画像処理装置１００には、人の顔を被写体として含む画像が入力される。画像処理装置１００に入力される、人の顔を被写体として含む画像のことを、以下、「入力画像」と記載する。

被写体検出部１０１は、入力画像に被写体として含まれる人の顔および顔器官を検出するための構成である。被写体検出部１０１は、例えば図２に示すように、顔検出部１０１ａと顔器官検出部１０１ｂとにより構成することができる。顔検出部１０１ａは、入力画像において、顔に対応する領域（以下、単に「顔」と記載することもある）を検出するための構成である。なお、顔に対応する領域の検出には、公知のアルゴリズム（例えば、入力画像から検出した肌色の情報を利用するなど）を用いることができるので、ここでは詳細に立ち入らない。顔器官検出部１０１ｂは、顔検出部１０１ａが検出した顔に対応する領域において、予め定められた顔器官に対応する領域（以下、単に「顔器官」と記載することもある）を検出するための構成である。本実施形態において、顔器官検出部１０１ｂは、右目、左目、および口を検出する。これらの顔器官は、顎や頬などの輪郭を構成する顔器官と比べて、検出に失敗したり、誤検出したりする可能性が低い。なお、各顔器官に対応する領域の検出には、公知のアルゴリズム（例えば、パターンマッチングを利用するなど）を用いることができるので、ここでは詳細に立ち入らない。

補正領域設定部１０２は、被写体検出部１０１が検出した顔および顔器官の位置に基づいて、第１補正領域および第２補正領域を設定するための構成である。本実施形態において、補正領域設定部１０２は、被写体検出部１０１が検出した右目、左目、および口の位置に基づいて、第１補正領域および第２補正領域を設定する。ここで、第１補正領域は、入力画像において、顔の中心に応じた位置と、顔の大きさに応じたサイズとを有する所定の形状の領域である。本実施形態では、第１補正領域は、顔の中心に応じた補正中心ｃからの距離が顔の大きさに応じた第１補正距離ｄ１以下になる画素の集合として定義される円形領域である。換言すれば、第１補正領域は、補正中心ｃを中心位置とする半径（サイズ）が第１補正距離ｄ１の円形の領域である。また、第２補正領域は、入力画像において、第１補正領域を取り囲む領域であり、例えば、補正中心ｃからの距離が第１補正距離ｄ１よりも大きく、かつ、予め定められた第２補正距離ｄ２（ｄ２＞ｄ１）以下になる画素の集合として定義される円環領域である。例えば、顔を小さく見せるための補正を行う場合には、第１補正領域が縮小の対象となり、第２補正領域が拡大の対象となる。逆に、顔を大きく見せるための補正を行う場合には、第１補正領域が拡大の対象となり、第２補正領域が縮小の対象となる。なお、補正領域設定部１０２が実行する補正領域設定処理の具体例については、参照する図面を替えて後述する。

補正強度設定部１０３は、補正領域設定部１０２が設定した第１補正領域および第２補正領域の拡縮率α，βを設定するための構成である。例えば、顔を小さく見せるための補正を行う場合、補正強度設定部１０３は、第１補正領域の拡縮率αを１よりも小さい正の定数に設定すると共に、第２補正領域の拡縮率βを１よりも大きい正の定数に設定する。逆に、顔を大きく見せるための補正を行う場合、補正強度設定部１０３は、第１補正領域の拡縮率αを１よりも大きい正の定数αに設定すると共に、第２補正領域の拡縮率βを１よりも小さい正の定数に設定する。なお、補正強度設定部１０３は、（１）第１補正領域および第２補正領域の拡縮率α，βを、予め設定された値に設定するように構成されていてもよいし、（２）第１補正領域および第２補正領域の拡縮率α，βを、ユーザが指定した値に設定するように構成されていてもよいし、（３）第１補正領域および第２補正領域の拡縮率α，βを、被写体検出部１０１が検出した顔および顔器官に基づいて設定するように構成されていてもよい。

画像補正部１０４は、補正領域設定部１０２が設定した第１補正領域および第２補正領域に対して、補正強度設定部１０３が設定した拡縮率α，βに応じた補正処理を施すための構成である。画像補正部１０４が入力画像に対して施す補正処理としては、（１）補正領域設定部１０２が設定した第１補正領域を補正強度設定部１０３が設定した拡縮率α（α＜１）で縮小すると共に、補正領域設定部１０２が設定した第２補正領域を補正強度設定部１０３が設定した拡縮率β（β＞１）で拡大する補正処理、又は、（２）補正領域設定部１０２が設定した第１補正領域を補正強度設定部１０３が設定した拡縮率α（α＞１）で拡大すると共に、補正領域設定部１０２が設定した第２補正領域を補正強度設定部１０３が設定した拡縮率β（β＜１）で縮小する補正処理が挙げられる。なお、画像補正部１０４が実行する画像補正処理の具体例については、参照する図面を代えて後述する。

記憶部１０５は、例えば、入力画像および出力画像（入力画像に対して、上記の補正処理を施すことにより得られる画像）を記憶する。記憶部１０５は、被写体検出部１０１、補正領域設定部１０２、補正強度設定部１０３、および画像補正部１０４が上記の処理を実行する際に参照する各種パラメータを記憶してもよい。

なお、本実施形態においては、予め定められた顔器官の位置に基づいて第１補正領域および第２補正領域を設定する形態を採用しているが、本開示の一態様はこれに限定されない。すなわち、予め定められた顔器官からユーザにより選択された顔器官の位置に基づいて第１補正領域および第２補正領域を設定する形態を採用してもよい。例えば、画像処理装置１００がタッチパネルを備えている場合、このタッチパネルを用いてユーザに顔器官を選択させることができる。この場合、画像処理装置１００は、入力画像をタッチパネルに表示し、ユーザは、タッチパネルに表示された顔器官の何れかに触れる。画像処理装置１００は、ユーザが触れた顔器官を、ユーザにより選択された顔器官と見做す。また、画像処理装置１００にディスプレイとマウスとが接続されている場合、このマウスを用いてユーザに顔器官を選択させることができる。この場合、画像処理装置１００は、入力画像をディスプレイに表示し、ユーザは、ディスプレイに表示された顔器官の何れかをマウスカーソルにより指し示す。画像処理装置１００は、マウスカーソルにより指し示された顔器官を、ユーザにより選択された顔器官と見做す。

＜画像処理の流れ＞
次に、画像処理装置１００が実施する画像処理の流れについて、図３を参照して説明する。図３は、画像処理装置１００が実施する画像処理の流れを示すフローチャートである。

画像処理装置１００が実施する画像処理は、図３に示すように、被写体検出処理Ｓ３０１、補正領域設定処理Ｓ３０２、補正強度設定処理Ｓ３０３、画像補正処理Ｓ３０４を含んでいる。

入力画像が画像処理装置１００に与えられると、被写体検出処理Ｓ３０１が実行される。被写体検出処理Ｓ３０１は、入力画像に像として含まれる人の顔および顔器官を検出する処理であり、本実施形態においては、被写体検出部１０１によって実行される。

被写体検出処理Ｓ３０１が完了すると、補正領域設定処理Ｓ３０２が実行される。被写体検出処理Ｓ３０１は、被写体検出処理Ｓ３０１にて検出した顔および顔器官に基づいて、第１補正領域および第２補正領域を設定する処理であり、本実施形態においては、補正領域設定部１０２によって実行される。

補正領域設定処理Ｓ３０２が完了すると、補正強度設定処理Ｓ３０３が実行される。補正強度設定処理Ｓ３０３は、補正領域設定処理Ｓ３０２にて設定された第１補正領域および第２補正領域の拡縮率α，βを設定する処理であり、本実施形態においては、補正強度設定部１０３によって実行される。

補正強度設定処理Ｓ３０３が完了すると、画像補正処理Ｓ３０４が実行される。画像補正処理Ｓ３０４は、補正領域設定処理Ｓ３０２にて設定された第１補正領域および第２補正領域を、補正強度設定処理Ｓ３０３にて設定された拡縮率α，βで縮小又は拡大する処理であり、本実施形態においては、画像補正部１０４によって実行される。

なお、本実施形態においては、被写体検出処理Ｓ３０１、補正領域設定処理Ｓ３０２、および補正強度設定処理Ｓ３０３をこの順に実行する構成を採用しているが、本開示はこれに限定されない。補正強度設定処理Ｓ３０３において、補正領域設定処理Ｓ３０２にて設定された第１補正領域および第２補正領域に依らずに拡縮率を決定する場合には、補正強度設定処理Ｓ３０３を補正領域設定処理Ｓ３０２に先行して実行してもよい。また、補正強度設定処理Ｓ３０３において、被写体検出処理Ｓ３０１にて検出された顔および顔器官に依らずに拡縮率を決定する場合には、補正強度設定処理Ｓ３０３を被写体検出処理Ｓ３０１に先行して実施してもよい。例えば、補正強度設定処理Ｓ３０３において、拡縮率を予め定められた値に設定する場合には、補正強度設定処理Ｓ３０３を、被写体検出処理Ｓ３０１に先行して実施することができる。

＜補正領域設定処理の具体例＞
次に、補正領域設定部１０２が実施する補正領域設定処理Ｓ３０２の具体例について、図４および図５を参照して説明する。

上述したように、顔の輪郭を構成する顔器官（頬や顎など）は、検出に失敗したり、誤検出したりする可能性が高い。そこで、本実施形態に係る補正領域設定処理Ｓ３０２は、顔の輪郭を構成する顔器官以外の顔器官、具体的には、左目、右目、および口の３つの顔器官の位置を参照して実行される。

図４は、人の顔４０１を被写体として含む入力画像４００を例示する図である。図４に例示した入力画像４００には、左目４０２、右目４０３、および口４０４が被写体として含まれている。以下、被写体検出部１０１により検出された左目４０２、右目４０３、および口４０４の位置を、それぞれ下記のように表す。

左目４０２の位置：（ ＬＥＦＴ＿ｘ、 ＬＥＦＴ＿ｙ）、
右目４０３の位置：（ＲＩＧＨＴ＿ｘ、ＲＩＧＨＴ＿ｙ）、
口４０４の位置 ：（ＭＯＵＴＨ＿ｘ、ＭＯＵＴＨ＿ｙ）。

顔４００の中心は、左目４０２、右目４０３、口４０４の重心に近似的に一致する。そこで、補正領域設定部１０２は、顔の中心を表す補正中心ｃ＝（ｃｘ、ｃｙ）を、左目４０２、右目４０３、口４０４の位置から下記の式（１）および（２）に従って算出する。

ｃｘ＝（ＬＥＦＴ＿ｘ＋ＲＩＧＨＴ＿ｘ＋ＭＯＵＴＨ＿ｘ）／３・・・（１）
ｃｙ＝（ＬＥＦＴ＿ｙ＋ＲＩＧＨＴ＿ｙ＋ＭＯＵＴＨ＿ｙ）／３・・・（２）
また、顔の大きさは、両目の間隔（右目４０３と左目４０４との距離）ｄｉｓｔ＿ｅｙｅに近似的に比例する。そこで、補正領域設定部１０２は、顔の大きさに応じた補正距離ｄ１を、左目４０２および右目４０３の位置から下記の式（３）および（４）に従って算出する。

ｄｉｓｔ＿ｅｙｅ＝｛（ＬＥＦＴ＿ｘ−ＲＩＧＨＴ＿ｘ）^２
＋（ＬＥＦＴ＿ｙ−ＲＩＧＨＴ＿ｙ）^２｝^１／２・・・（３）
ｄ１＝ｄｉｓｔ_ｅｙｅ×ｐａｒａｍ＿Ａ ・・・（４）
式（４）において、ｐａｒａｍ＿Ａは、予め設定された比例係数である。

補正領域設定部１０２は、上記のように算出した補正中心ｃおよび第１補正距離ｄ１を用いて、図５に示すように、第１補正領域５０１および第２補正領域５０２を設定する。ここで、第１補正領域５０１は、補正中心ｃからの距離が第１補正距離ｄ１以下になる画素の集合として定義される円形領域である。一方、第２補正領域５０２は、補正中心ｃからの距離が第１補正距離ｄ１よりも大きく、かつ、第２補正距離ｄ２（ｄ２＞ｄ１）以下になる画素の集合として定義される円環領域である。顔を小さく見せるための補正を行う場合、第１補正領域５０１は、縮小の対象となり、第２補正領域５０２は、拡大の対象となる。逆に、顔を大きく見せるための補正を行う場合、第１補正領域５０１は、拡大の対象となり、第２補正領域５０２は、縮小の対象となる。

第２補正距離ｄ２は、例えば、下記の式（５）に従って算出すればよい。

ｄ２＝ｄ１×ｐａｒａｍ＿Ｂ・・・（５）
式（５）において、ｐａｒａｍ＿Ｂは、予め定められた比例係数である（ただし、ｐａｒａｍ＿Ｂ＞１）。例えば、ｐａｒａｍ＿Ｂ＝２．０とすると、第２補正距離ｄ２は、第１補正距離ｄ１の２倍となり、第２補正領域５０２の幅（外径と内径との差）は、第１補正領域５０１の半径と等しくなる。

なお、実際の人の顔は円ではないため、第１補正領域５０１の外周は、顔５００の輪郭と一致しない。しかしながら、式（４）に現れる係数ｐａｒａｍ＿Ａを適切に設定すれば、第１補正領域５０１の外周により、顔５００の輪郭を精度良く近似することができる。実際、両目の間隔と顔の大きさとの間には有意な相関がある。したがって、複数の人について両目の間隔に対する顔の大きさの比を実測し、係数ｐａｒａｍ＿Ａを実測した比の平均値に設定すれば、第１補正領域５０１の外周により、顔５００の輪郭を精度良く近似することができる。なお、被写体となり得る人が特定の属性（年齢や性別など）を有する人に限定されている場合には、上記のように係数ｐａｒａｍ＿Ａを設定する際にサンプルとする人もその属性を有する人に限定することが好ましい。これにより、第１補正領域５０１の外周と顔５００の輪郭との差を、係数ｐａｒａｍ＿Ａを設定する際にサンプルとする人を限定しない場合よりも小さくすることができる。

＜画像補正処理の具体例＞
次に、画像補正部１０４が実施する画像補正処理Ｓ３０４の具体例について、図６および図７を参照して説明する。

画像補正処理Ｓ３０４において入力画像に施す補正は、（１）第１補正領域を等方的に縮小すると共に、（２）第２補正領域を等方的に拡大する補正である。より具体的に言うと、補正中心ｃからの距離がｒであり、補正中心ｃ＝（ｃ１，ｃ２）から見た方向がθである点Ｐ＝（ｒｃｏｓθ，ｒｓｉｎθ）＋（ｃ１，ｃ２）を、（１）ｒ≦ｄ１であるときには、補正中心ｃからの距離がｒ’＝αｒであり、補正中心ｃから見た方向がθである点Ｐ’＝（ｒ’ｃｏｓθ，ｒ’ｓｉｎθ）＋（ｃ１，ｃ２）に写し、（２）ｄ１＜ｒ≦ｄ２であるときには、補正中心ｃからの距離がｒ’＝βｒ−（β‐α）ｄ１であり、補正中心ｃから見た方向がθである点Ｐ’＝（ｒ’ｃｏｓθ，ｒ’ｓｉｎθ）＋（ｃ１，ｃ２）に写す補正である。ここで、αは、第１補正領域に対する拡縮率として補正強度設定部１０３にて設定された正の定数であり、α＜１を満たす。一方、βは、第２補正領域に対する拡縮率として補正強度設定部１０３にて設定された正の定数であり、β＝（ｄ２−αｄ１）／（ｄ２−ｄ１）により定義され、β＞１を満たす。

例えば、α＝０．９であり、β＝１．１（ｄ２＝２ｄ１）である場合、補正前の点Ｐの補正中心ｃからの距離ｒと、補正後の点Ｐの補正中心ｃからの距離ｒ’との関係は、図６に示すグラフのようになる。また、この場合、補正による変位を矢印として表せば、図７に示すようになる。図７において、矢印の始点は補正前の点Ｐを示し、矢印の終点は補正後の点Ｐ’を示し、矢印の長さは補正量を示し、矢印の方向は補正方向を示す。図６および図７から明らかなように、（１）第１補正領域７０１（ｒ≦ｄ１）は等方的に縮小され、（２）第２補正領域７０２（ｄ１＜ｒ≦ｄ２）は等方的に拡大され、（３）その他の領域７０３（ｄ２＜ｒ）は不動である。第２補正領域７０２は、外周を保ったまま内向きに拡大され、補正後の第２補正領域７０２の内周は、補正後の第１補正領域７０１の外周と一致する。

図６および図７において注目すべき第１の点は、第１補正領域７０１に関して、各点Ｐに対する補正量を、その点Ｐの補正中心ｃからの距離ｒに応じて定めている点である。具体的には、各点Ｐに対する補正量を、その点Ｐの補正中心ｃからの距離ｒに相関させている。更に一態様において、各点Ｐに対する補正量を、その点Ｐの補正中心ｃからの距離ｒに比例させている。このため、第１補正領域７０１における補正量は、補正中心ｃに近づくほど小さくなり、第１補正領域７０１の外周に近づくほど大きくなる。上述したように、補正中心ｃは、顔の中心を近似する点であり、第１補正領域７０１の外周は、顔の輪郭を近似する円である。したがって、補正量は、顔の中心に近づくほど小さくなり、顔の輪郭に近づくほど大きくなる。このため、顔の中心付近にある顔器官（目、鼻、口など）への影響を抑えながら、顔の大きさを十分に小さくすることができる。図６および図７において注目すべき第２の点は、第２補正領域７０２が外周を保ったまま内向きに拡大される点である。したがって、顔の形状の個人差等に起因して、顔が第１補正領域７０１に収まらず、第２補正領域７０２にはみ出している場合でも、顔の輪郭を顔の中心に向かって移動させ、顔の大きさを小さくすることができる。

なお、補正領域設定部１０２は、第１補正領域７０１に関して、各点Ｐに対する補正量を、その点Ｐの補正中心ｃからの距離ｒに応じて定めるものであればよく、上記のように、各点Ｐに対する補正量を、その点Ｐの補正中心ｃからの距離ｒに比例させるものでなくともよい。例えば、図６に示すグラフが曲線となるように、各点Ｐに対する補正量と、その点Ｐの補正中心ｃからの距離ｒとの対応関係を定めてもよい。

図８の（ａ）は、入力画像に被写体として含まれる顔８００ａを示す図である。顔８００ａの輪郭８０５ａは、円形である。図８の（ｂ）は、入力画像に被写体として含まれる別の顔８００ｂを示す図である。顔８００ｂの輪郭８０５ｂは、縦に長い楕円形である。すなわち、顔８００ａは、丸顔であるのに対して、顔８００ｂは、面長である。ただし、顔８００ｂに含まれる右目、左目、および口の位置は、それぞれ、顔８００ａに含まれる右目、左目、および口の位置と一致している。このため、顔８００ｂに含まれる右目、左目、および口に基づいて設定した第１補正領域および第２補正領域は、それぞれ、顔８００ａに含まれる右目、左目、および口に基づいて設定した第１補正領域および第２補正領域と一致する。

図８の（ｃ）は、顔８００ａに含まれる右目、左目、および口に基づいて設定した第１補正領域８０１ａと顔８００ａの輪郭８０５ａとを、補正による変位を示す矢印と共に示す図である。顔８００ａの輪郭８０５ａが円形である場合、補正中心ｃから顔８００ａの輪郭８０５ａまでの距離は、方向に依らず一定となる。したがって、顔８００ａの輪郭８０５ａに対する補正量は、方向に依らず一定となる。その結果、補正後の顔８００ａの輪郭８０５ａは、補正前の顔８００ａの輪郭８０５ａと同様、円形になる。すなわち、補正後の顔８００ａは、補正前の顔８００ａと同様、丸顔になる。

図８の（ｄ）は、顔８００ｂに含まれる右目、左目、および口に基づいて設定した第１補正領域８０１ｂと顔８００ｂの輪郭８０５ｂとを、補正による変位を示す矢印と共に示す図である。顔８００ｂの輪郭８０５ｂが縦に長い楕円形である場合、補正中心ｃから顔８００ｂの輪郭８０５ｂまでの距離は、上下方向で相対的に大きくなり、左右方向で相対的に小さくなる。したがって、顔８００ｂの輪郭８０５ｂに対する補正量は、上下方向で相対的に大きくなり、左右方向で相対的に小さくなる。すなわち、補正中心からの距離に基づいて補正することで、面長の顔は横方向の補正量が小さく設定されることになり、細い顔に対する横方向の補正量が弱くなるため好適である。補正後の顔８００ｂの輪郭８０５ｂは、補正前の顔８００ｂの輪郭８０５ｂよりも円形に近づく。すなわち、補正後の顔８００ｂは、補正前の顔８００ｂよりも丸顔に近づく。

また、補正量を補正中心ｃからの距離ｒに応じて定めることで、以下の効果も得ることができる。図９の（ａ）は、入力画像に被写体として含まれる顔９００を示す図である。顔９００は、紙面に向かって右を向いており、顔９００の右目、左目、および口に基づいて設定された補正中心ｃに対して顔の位置が左に偏った状態となっている。

図９の（ｂ）は、顔９００に含まれる右目、左目、および口に基づいて設定した第１補正領域９０１と顔９００の輪郭線９０５とを、補正による変位を示す矢印と共に示す図である。顔９００が紙面に向かって右を向いている場合、補正中心ｃから顔９００の輪郭９０５までの距離は、補正中心ｃよりも左側で相対的に大きくなり、補正中心ｃよりも右側で相対的に小さくなる。したがって、顔９００の輪郭９０５に対する補正量は、補正中心ｃよりも左側で相対的に大きくなり、補正中心ｃよりも右側で相対的に小さくなる。したがって、正面を向いて撮影された場合に比べ画像上で縮小されて撮影されている顔の右側の補正量は小さくなり、逆に、正面を向いて撮影された場合に比べ画像上で拡大されて撮影されている顔の左側の補正量が大きくなるため、顔の左右がバランスよく補正され好適な補正画像が得られる。

＜付記事項＞
以上のように、本実施形態では、顔の中心を表す補正中心ｃと顔の大きさを表す補正距離ｄ１とに基づいて、縮小対象（又は拡大対象）とする第１補正領域および拡大対象（又は縮小対象）とする第２補正領域を設定している。顔の中心および顔の大きさは、頬や顎など、顔の輪郭を構成する顔器官の位置を参照することなく特定することが可能である。実際、本実施形態では、顔の中心を表す補正中心ｃを、右目、左目、および口の位置を参照することにより特定すると共に、顔の大きさ表す補正距離ｄ１を、右目および左目の位置を参照することにより特定している。左目、右目、および口は、顔の輪郭を構成する顔器官と比べて、検出に失敗したり、誤検出したりする可能性が低い。したがって、実施形態に係る画像処理装置１００は、顔の輪郭を構成する顔器官の検出が必須となる従来の画像処理装置と比べて、補正が不可能になったり、補正が不適切になったりする可能性が低い。

なお、本実施形態においては、顔の中心および顔の大きさを特定するために参照する顔器官として、右目、左目、および口を用いているが、本開示の一態様はこれに限定されない。すなわち、顔の中心および顔の大きさを特定するために参照する顔器官として、顔の輪郭を構成する顔器官以外の顔器官を用いれば、本実施形態に係る画像処理装置１００と同様の効果が得られる。顔の輪郭を構成する顔器官以外の顔器官としては、右目、左目、および口の他に、右眉、左眉、および鼻が挙げられる。

また、本実施形態の他の一態様は、印刷機能を有さない画像撮像装置であってもよい。図１７は、本実施形態の他の一態様に係る撮像装置２の構成を示す機能ブロック図である。撮像装置２は、画像印刷装置１と同様、撮像部１０、操作部２０、表示部３０、制御部１００（画像処理装置）、および記憶部６０を備えているが、印刷部５０を備えていない。

また、上述したように、本実施形態において、第１補正領域の形状は円形に限定されない。すなわち、第１補正領域は、顔の中心に応じた位置と、顔の大きさに応じたサイズとを有する所定の形状の領域であればよく、所定の形状としては、円形の他、楕円形、多角形等であってもよい。また、第２補正領域の形状も円形に限定されず、楕円形、多角形等であってもよい。図１８の（ａ）は、所定の形状を楕円形とした場合の第１補正領域５０１ａおよび第２補正領域５０２ａの例を示す図であり、図１８の（ｂ）は、所定の形状を多角形とした場合の第１補正領域５０１ａおよび第２補正領域５０２ｂの例を示す図である。

図１８の（ａ）に示すように、所定の形状を楕円形とした場合、第１補正領域５０１ａは、例えば、補正中心ｃを中心位置とし、第１補正距離ｄ１を長径（サイズ）とした楕円形の領域であり得る。楕円率は特に限定されず、予め定められた値を用いればよい。また、図１８の（ｂ）に示すように、所定の形状を多角形とした場合、第１補正領域５０１ｂは、例えば、補正中心ｃを中心（重心）位置とし、第１補正距離ｄ１を縦方向の幅（サイズ）とした六角形の領域である。多角形の種類は特に限定されず、六角形の替わりに、他の多角形（三角形、四角形、五角形、八角形等）を用いてもよい。

以上のように、第１補正領域および第２補正領域の形状を円形以外の形状とした場合、画像補正処理Ｓ３０４において入力画像に施す補正は、以下のようになる。すなわち、補正中心ｃから見た方向がθであるときの補正中心ｃから第１補正領域の外周までの距離をｄ１（θ）、補正中心ｃから第２補正領域の外周までの距離をｄ２（θ）とすると、補正中心ｃからの距離がｒであり、補正中心ｃ＝（ｃ１，ｃ２）から見た方向がθである点Ｐ＝（ｒｃｏｓθ，ｒｓｉｎθ）＋（ｃ１，ｃ２）を、（１）ｒ≦ｄ１（θ）であるときには、補正中心ｃからの距離がｒ’＝αｒであり、補正中心ｃから見た方向がθである点Ｐ’＝（ｒ’ｃｏｓθ，ｒ’ｓｉｎθ）＋（ｃ１，ｃ２）に写し、（２）ｄ１（θ）＜ｒ≦ｄ２（θ）であるときには、補正中心ｃからの距離がｒ’＝βｒ−（β‐α）ｄ１（θ）であり、補正中心ｃから見た方向がθである点Ｐ’＝（ｒ’ｃｏｓθ，ｒ’ｓｉｎθ）＋（ｃ１，ｃ２）に写す補正である。ここで、αは、第１補正領域に対する拡縮率として補正強度設定部１０３にて設定された正の定数であり、α＜１を満たす。一方、βは、第２補正領域に対する拡縮率として補正強度設定部１０３にて設定された正の定数であり、β＝（ｄ２（θ）−αｄ１（θ））／（ｄ２（θ）−ｄ１（θ））により定義され、β＞１を満たす。

このように、第１補正領域および第２補正領域の形状は円形以外の形状としてもよく、その場合には、画像補正処理を行う際に使用する第１補正距離として、第１補正領域の形状に対応して角度θ毎に規定されたｄ１（θ）を使用し、第２補正距離として、第２補正領域の形状に対応して角度θ毎に規定されたｄ２（θ）を使用すれよい。これは、以下の実施形態についても同様である。

（第２の実施形態）
本開示の第２の実施形態に係る画像処理装置１００について、図１０〜図１２を参照して説明する。第１の実施形態に係る画像処理装置１００が、方向に依存しない拡縮率αで第１補正領域を等方的に縮小する構成を採用していたのに対して、本実施形態に係る画像処理装置１００は、方向に依存する拡縮率α（θ）で第１補正領域を非等方的に縮小する構成を採用している。ここで、θは、補正中心ｃから見た方向を表し、入力画像の右方向においてθ＝０、入力画像の上方向においてθ＝π／２、入力画像の左方向においてθ＝π、入力画像の下方向においてθ＝３π／２となる（単位はラジアン）。

図１０の（ａ）は、入力画像に被写体として含まれる補正前の顔１０００を示す図であり、図１０の（ｂ）は、出力画像に被写体として含まれる補正後の顔１００１、１００２を示す図である。図１０の（ｂ）において、補正後の顔１００１は、第１の実施形態に係る画像処理装置１００により得られる出力画像に被写体として含まれる顔、すなわち、補正前の顔１０００を等方的に縮小した場合に得られる顔であり、補正後の顔１００２は、本実施形態に係る画像処理装置により得られる出力画像に被写体として含まれる顔、すなわち、補正前の顔１０００を非等方的に縮小した場合に得られる顔である。本実施形態に係る画像処理装置１００による補正では、顔１０００の上方向の補正量が相対的に小さく、顔１０００の右下方向および左下方向の補正量が相対的に大きく、顔１０００の右方向、左方向、および下方向の補正量が中程度となるように、各方向の拡縮率α（θ）を設定している。このため、補正後の顔１００２は、頬から顎にかけてのラインが補正前の顔１０００よりもシャープになっている。なお、入力画像に被写体として含まれる顔１０００が傾いている場合、入力画像の上下左右方向と顔１０００の上下左右方向とが一致しない。そこで、本実施形態においては、入力画像における顔１０００の傾きを考慮したうえで、各方向の拡縮率α（θ）を設定している。

本実施形態に係る画像処理装置１００は、例えば、第１の実施形態に係る画像処理装置１００に対して、以下の変更を加えることによって実現することができる。

変更点１：補正強度設定部（推定部）１０３に対して、顔器官（具体的には右目および左目）の位置から顔の傾きθ＿ｆを算出する機能を追加する。

変更点２：補正強度設定部１０３において、方向に依存しない拡縮率α，βを設定する機能を、方向に依存する拡縮率α（θ），β（θ）を設定する機能に置き換える。

変更点３：画像補正部１０４において、方向に依存しない拡縮率αで第１補正領域を等方的に縮小すると共に、方向に依存しない拡縮率βで第２補正領域を等方的に拡大する機能を、方向に依存した拡縮率α（θ）で第１補正領域を非等方的に縮小すると共に、方向に依存した拡縮率β（θ）で第２補正領域を非等方的に拡大する機能に置き換える。

まず、右目および左目の位置から顔の傾きθ＿ｆを算出する方法について、図１１を参照して説明する。

図１１は、人の顔１１０１を被写体として含む入力画像１１００を示す図である。顔の傾きθ＿ｆは、入力画像１１００のｘ軸（横軸）と左右の目を結ぶ直線１１０２との成す角として定義される。左目１１０３の位置を（ＬＥＦＴ＿ｘ、 ＬＥＦＴ＿ｙ）、右目１１０４の位置を（ＲＩＧＨＴ＿ｘ、ＲＩＧＨＴ＿ｙ）とすると、顔の傾きθ＿ｆは、下記の式（６）に従って算出することができる。

θ＿ｆ＝ａｒｃｔａｎ（（ＲＩＧＨＴ＿ｙ−ＬＥＦＴ＿ｙ）／
（ＲＩＧＨＴ＿ｘ−ＬＥＦＴ＿ｘ））・・・（６）
次に、補正中心ｃから見た方向に応じた拡縮率α（θ），β（θ）を設定する方法について、図１２を参照して説明する。

顔の傾きθ＿ｆを用いると、補正中心ｃから見た方向θ（画像の右方向をθ＝０、画像の上方向をθ＝π／２、画像の左方向をθ＝π、画像の下方向をθ＝３π／２とする）と、顔の方向とを対応付けることができる。すなわち、θ＝θ＿ｆが顔の右方向、θ＝θ＿ｆ＋π／２の方向が顔の上方向、θ＝θ＿ｆ＋πの方向が顔の左方向、θ＝θ＿ｆ＋３π／２の方向が顔の下方向となる（単位はラジアン）。

第１補正領域に対する拡縮率α（θ）は、例えば、α（θ）＝１−（１−α）γ（θ）に従って設定することができる。ここで、αは、第１の実施形態において導入された方向に依存しない定数であり、γ（θ）は、本実施形態において導入された方向に依存する係数である。図１２は、係数γ（θ）の一例を示すグラフである。図１２において、横軸は、補正中心ｃから見た方向θを表し、縦軸は、係数γ（θ）を表す。例えば、α＝０．９である場合、（１）θ＝θ＿ｆ（顔の右方向）では、γ（θ）＝０．５なのでα（θ）＝０．９５となり、（２）θ＝θ＿ｆ＋π／２（顔の上方向）では、γ（θ）＝０なのでα（θ）＝１になり、（３）θ＝θ＿ｆ＋π（顔の左方向）では、γ（θ）＝０．５なのでα（θ）＝０．９５となり、（４）θ＝θ＿ｆ＋３π／２では、γ（θ）＝０．５なのでα（θ）＝０．９５となる。また、θ＝θ＿ｆ＋５π／４（顔の左下）およびθ＝θ＿ｆ＋７π／４（顔の右下）では、γ（θ）＝１なのでα（θ）＝０．９となる。すなわち、係数γ（θ）を図１２に示すように設定した場合、顔の上方向の補正量が最も小さくなり、顔の横方向および下方向の補正量が中程度となり、顔の斜め下方向の補正量が最も大きくなる。第２補正領域に対する拡縮率β（θ）は、第１の実施形態と同様、β（θ）＝（ｄ２−α（θ）ｄ１）／（ｄ２−ｄ１）に従って設定すればよい。

画像補正部１０４による補正処理は、第１の実施形態と同様、補正中心ｃからの距離がｒであり、補正中心ｃ＝（ｃ１，ｃ２）から見た方向がθである点Ｐ＝（ｒｃｏｓθ，ｒｓｉｎθ）＋（ｃ１，ｃ２）を、（１）ｒ≦ｄ１であるときには、補正中心ｃからの距離がｒ’＝α（θ）ｒであり、補正中心ｃから見た方向がθである点Ｐ’＝（ｒ’ｃｏｓθ，ｒ’ｓｉｎθ）＋（ｃ１，ｃ２）に写し、（２）ｄ１＜ｒ≦ｄ２であるときには、補正中心ｃからの距離がｒ’＝β（θ）ｒ−（β（θ）‐α（θ））ｄ１であり、補正中心ｃから見た方向がθである点Ｐ’＝（ｒ’ｃｏｓθ，ｒ’ｓｉｎθ）＋（ｃ１，ｃ２）に写すことによって実現される。各方向に対する拡縮率α（θ），β（θ）が上記のように設定されていれば、図１０に示すように、補正後の顔１００２は、頬から顎にかけてのラインが補正前の顔１０００よりもシャープになる。

以上のように本実施形態では、顔を被写体として含む入力画像に対して、方向に依存する拡縮率α（θ）で第１補正領域を非等方的に縮小する補正を施している。このため、拡縮率α（θ）を適宜設定することにより、顔の頬から顎にかけてのラインをシャープにするなど、顔を所望の形に近づける補正を行うことができる。また、本実施形態では、入力画像に含まれる顔の傾きθ＿ｆを特定すると共に、特定した顔の傾きθ＿ｆに応じて拡縮率α（θ）を設定している。このため、入力画像に被写体として含まれる顔が傾いている場合でも、顔を所望の形に近づける補正を行うことができる。

（第３の実施形態）
本開示の第３の実施形態に係る画像処理装置１００について、図１３〜図１４を参照して説明する。第１の実施形態に係る画像処理装置１００が、予め定められた顔器官（具体的には、右目、左目、および口）の位置に基づいて第１補正領域および第２補正領域を設定する構成を採用していたのに対して、本実施形態に係る画像処理装置１００は、予め定められた顔器官（具体的には、右目、左目、および口）のうち、検出に成功した顔器官の位置に基づいて第１補正領域および第２補正領域を設定する構成を採用している。

第１の実施形態に係る画像処理装置１００が検出対象とする右目、左目、および口は、従来の画像処理装置が検出対象とする頬や顎などと比べて、検出に失敗する可能性が低い。とはいえ、例えば、図１３に示すようにマスク１３０１を掛けた顔１３００を被写体として含む入力画像が与えられた場合、マスク１３０１に覆い隠された口の位置を入力画像から検出することはできない。第１の実施形態に係る画像処理装置１００では、口の検出に失敗した場合に、入力画像の補正を行うことができない。なぜなら、第１補正領域および第２補正領域の設定に口の位置を要するからである。これに対して、本実施形態に係る画像処理装置１００では、口の検出に失敗した場合にも、入力画像の補正を行うことができる。なぜなら、口の検出に失敗した場合には、右目および左目の位置に基づいて第１補正領域および第２補正領域が設定されるからである。

本実施形態に係る画像処理装置１００は、例えば、第１の実施形態に係る画像処理装置１００に対して、以下の変更を加えることによって実現することができる。

変更点１：補正領域設定部１０２に対して、右目および左目の位置に基づいて第１補正領域および第２補正領域を設定する機能を追加する。これにより、補正領域設定部１０２は、右目、左目、および口の位置に基づいて第１補正領域および第２補正領域を設定する機能と、右目および左目の位置に基づいて第１補正領域および第２補正領域を設定する機能との両方を持つことになる。

変更点２：補正領域設定部１０２に対して、口の検出に成功したか否かに応じて、第１補正領域および第２補正領域を設定するために利用する機能を切り替える構成を追加する。これにより、補正領域設定部１０２は、口の検出に成功した場合には、右目、左目、および口の位置に基づいて第１補正領域および第２補正領域を設定し、口の検出に失敗した場合には、右目および左目の位置に基づいて第１補正領域および第２補正領域を設定することになる。

右目、左目、および口の位置に基づいて第１補正領域および第２補正領域を設定する機能は、第１の実施形態において説明した方法により実現することができる。一方、右目および左目の位置に基づいて第１補正領域および第２補正領域を設定する機能は、以下に説明する方法により実現することができる。

図１４は、入力画像に被写体として含まれる顔１４００を例示する図である。この入力画像には、左目１４０２および右目１４０３が被写体として含まれている。以下、被写体検出部１０１により検出された左目１４０２および右目１４０３の位置を、それぞれ下記のように表す。

左目１４０２の位置：（ ＬＥＦＴ＿ｘ、 ＬＥＦＴ＿ｙ）、
右目１４０３の位置：（ＲＩＧＨＴ＿ｘ、ＲＩＧＨＴ＿ｙ）。

顔１４００の中心は、左目１４０２と右目１４０３との中点１４０１から、左目１４０２と右目１４０３とを結ぶ直線に垂直な方向（口の方向）に、両面の間隔ｄｉｓｔ＿ｅｙｅのｐａｒａｍ＿ｃ倍の長さ分移動した点により近似することができる。そこで、補正領域設定部１０２は、顔の中心を表す補正中心ｃ＝（ｃｘ、ｃｙ）を、下記の式（７）および（８）に従って算出する。

ｃｘ＝（ＬＥＦＴ＿ｘ＋ＲＩＧＨＴ＿ｘ）／２−
（ＲＩＧＨＴ＿ｙ−ＬＥＦＴ＿ｙ）×ｐａｒａｍ＿ｃ・・・（７）
ｃｙ＝（ＬＥＦＴ＿ｙ＋ＲＩＧＨＴ＿ｙ）／２−
（ＬＥＦＴ＿ｘ−ＲＩＧＨＴ＿ｘ）×ｐａｒａｍ＿ｃ・・・（８）
両目の間隔と両目の中点から顔の中心までの距離との間には有意な相関がある。したがって、複数の人について両目の間隔に対する両面の中点から顔の中心までの距離の比を実測し、係数ｐａｒａｍ＿ｃを実測した比の平均値に設定すれば、顔の中心を精度良く近似する補正中心ｃを算出することが可能になる。

補正領域設定部１０２は、上記のように算出した補正中心ｃ、および、第１の実施形態と同様に式（３）および（４）に従って算出した第１補正距離ｄ１を用いて、第１補正領域および第２補正領域を設定する。

なお、ここでは、口の位置が検出できなかった場合に右目および左目の位置に基づいて第１補正領域および第２補正領域を設定する形態について説明したが、本実施形態はこれに限定されない。すなわち、右目の位置が検出できなかった場合に左目および口の位置に基づいて第１補正領域および第２補正領域を設定する形態、或いは、左目の位置が検出できなかった場合に右目および口の位置に基づいて第１補正領域および第２補正領域を設定する形態についても、本実施形態の範疇に含まれる。また、これらの機能を併せ持った形態、すなわち、右目、左目、及び口うち、何れか１つの顔器官の検出に失敗した場合に検出に成功した残り２つの顔器官の位置に基づいて第１補正領域および第２補正領域を設定する形態についても、本実施形態の範疇に含まれる。

また、ここでは、右目、左目、および口を検出対象とする形態について説明したが、本実施形態はこれに限定されない。すなわち、これ以外の顔器官を検出対象とする形態、例えば、右目、左目、および鼻を検出候補とする形態、或いは、右耳、左耳、および口を検出対象とする形態についても、本実施形態の範疇に含まれる。左右の目の代替となり得る顔器官としては、左右の耳の他にも、左右の頬や左右の眉（眉毛）などが挙げられる。また、口の代替となり得る顔器官としては、鼻の他にも、顎や頭頂部などが挙げられる。本実施形態においては、或る顔器官の検出に失敗しても他の顔器官に基づいて第１補正領域および第２補正領域を設定することができる。したがって、検出に失敗する可能性の高い顔の輪郭を構成する顔器官（耳、頬、顎、頭頂部など）も検出対象とすることができる。また、右目または左目の目頭または目尻の位置を検出候補に加えたり、口の右口角または左口角の位置を検出候補に加えたりしてもよい。すなわち、各顔器官の各部位の位置も検出対象に加えることができる。

以上のように、本実施形態では、予め定められた顔器官（例えば、右目、左目、および口）のうち、検出に成功した顔器官（例えば、右目および左目）の位置に基づいて第１補正領域および第２補正領域を設定している。したがって、予め定められた顔器官の一部（例えば、口）の検出に失敗しても、第１補正領域および第２補正領域を設定することが可能である。

（第４の実施形態）
本開示の第４の実施形態に係る画像処理装置１００について、図１５〜図１６を参照して説明する。本実施形態に係る画像処理装置１００は、第２の実施形態に係る画像処理装置１００のように、方向に依存する拡縮率α（θ）で第１補正領域を非等方的に縮小する構成と、第３の実施形態に係る画像処理装置１００のように、予め定められた顔器官（具体的には、右目、左目、および口）のうち、検出に成功した顔器官の位置に基づいて第１補正領域および第２補正領域を設定する構成とをそれぞれ採用している。

このとき、検出に成功した顔器官の位置に基づいて第１補正領域および第２補正領域を設定する構成では、検出に成功した顔器官の組み合わせによっては、補正強度設定部１０３が顔の傾きを推定することができない場合がある。そのような場合に、画像補正部１０４が常に第１補正領域を非等方的に縮小する構成であると、例えば、図１５の（ｅ）に示すように、不自然な補正がなされてしまう。これに対して、本実施形態に係る画像処理装置１００では、顔の傾きを推定することができない場合には、例えば、図１６の（ａ）に示すように、第１補正領域を等方的に縮小して、不自然な補正がなされることを避け、顔の傾きを推定することができる場合には、例えば、図１６の（ｂ）に示すように、第１補正領域を非等方的に縮小して、顎のラインをシャープにするなどの効果を得ることができる。

本実施形態に係る画像処理装置１００は、例えば、第２の実施形態に係る画像処理装置１００に対して、以下の変更を加えることによって実現することができる。

変更点１：補正強度設定部１０３に対して、第３の実施形態に係る画像処理装置１００のように、検出に成功した顔器官の位置に基づいて、第１補正領域および第２補正領域を設定する機能を追加する。これにより、一部の顔器官の検出に失敗した場合であっても、検出に成功した顔器官の位置に基づいて、第１補正領域および第２補正領域を設定することができる。

変更点２：補正強度設定部１０３に対して、検出に成功した顔器官の位置から顔の傾きθ＿ｆを算出することができるか否かを判定し、顔の傾きθ＿ｆを算出できない場合には、方向に依存しない拡縮率α，βを設定し、顔の傾きθ＿ｆを算出できる場合には、方向に依存する拡縮率α（θ），β（θ）を設定する機能を追加する。これにより、顔の傾きを推定可能か否かに応じて、第１補正領域を非等方的に縮小するか否かを切り替えることができる。

図１５の（ａ）は、入力画像１５００を示しており、人物の顔１５０１が写っている。点線の矩形の枠で示す領域は、顔領域１５０２であり、顔領域のみ検出できており、顔器官は検出できていない状態を示す。また、図１５の（ｂ）は入力画像１５０３を示しており、人物の顔１５０４が写っている。点線の矩形の枠で示す領域は、顔領域１５０５であり、顔領域のみ検出できており、顔器官は検出できていない状態を示す。図１５の（ａ）および（ｂ）に示すように、顔１５０１と顔１５０４とは画像の垂直および水平方向に対する顔の傾きが異なるが、顔領域が、画像の水平および垂直方向に平行な矩形領域として検出される場合、矩形の顔領域から顔の傾きを算出することができない。一方、検出した顔領域の位置から大きくずれていなければ、矩形の顔領域の中心を、補正処理を行う際の補正中心として設定することができる。また、顔領域が、おおよそ顔の輪郭に外接するような大きさで検出されていれば、矩形の大きさに基づいて補正領域と設定することができる。矩形の横幅をｒｅｃｔ＿ｘ、縦幅をｒｅｃｔ＿ｙとすると、ｄ１を例えば、
ｄ１＝（ｒｅｃｔ＿ｘ＋ｒｅｃｔ＿ｙ）／４・・・（９）
として設定することができる。図１５の（ａ）および（ｂ）に示すように、画像から検出した顔領域や顔器官の情報から、顔の中心位置や顔の大きさを推定することができ、顔の傾きを推定することができない場合は、補正中心と補正領域の範囲を設定し、補正中心からの角度に依らず一定の補正量で顔を補正する。図１５の（ｃ）および（ｄ）はそれぞれ、図１５の（ａ）および（ｂ）に示す顔１５０１と顔１５０４を、等方的な補正量で補正した画像１５０６と画像１５０７を示している。等方的な補正量で顔を補正することで、顔全体が小さく補正されている。

ここで、図１５の（ｅ）は、図１５の（ｂ）に示す画像１５０４において、顔の傾きを矩形の角度（ｘ方向）として、図１２に示すような非等方的な補正を行った画像１５０８を示している。顔１５０４の傾きと矩形の角度が異なっているため、非等方的な補正を行うと、所望の方向とは異なる方向が強く補正され、顔の形状が不自然に補正されている。本実施形態によれば、このような不自然な補正を避けることができる。

なお、顔器官が検出できない場合であっても、図１６の（ａ）に示すように、顔１６０１の顔領域を顔１６０１の向きに応じた顔領域１６０２として検出できる場合は、顔領域のみしか検出できない場合においても、補正中心、補正領域の大きさ、顔の角度に基づいた補正を行うことができる。図１６の（ｂ）は、図１６の（ａ）に示す画像１６０１において、顔の傾きを、矩形の角度として、図１２に示すような非等方的な補正を行った画像１６０３を示しており、頬から顎のラインがシャープになり、小顔な印象の画像に補正することができている。

なお、以上では、顔器官が検出できず、矩形で示す顔領域のみが検出できた場合について述べたが、顔領域と顔器官が１つのみ検出できた場合も、検出された顔器官によっては、顔の角度の推定が困難であるため、等方的な補正量で顔を補正する方が好適である。例えば、検出された顔器官が鼻のみである場合は、鼻の位置は顔領域の中心付近に位置しているため、顔の傾きの推定が困難である。いっぽう、検出された顔器官が顎であれば、顎の位置は顔領域の下方向に位置しているため、顔領域を示す矩形が示す位置と顎の位置とに基づいて、顔の傾きを推定することができる可能性がある。顔の傾きが推定できる場合は、非等方的な補正が可能である。

以上説明したように、本実施形態では、顔の傾きを推定するために必要な顔領域及び顔器官の情報は取得できないが、補正中心と補正領域を設定するために必要な顔領域及び顔器官の情報は取得できる場合に、等方的な補正量で顔を補正することで、誤った角度に基づく補正により意図しない形状に顔が補正されることを回避することができる。

〔プロセッサによる実施例〕
画像処理装置１００の制御ブロック（特に、被写体検出部１０１、補正領域設定部１０２、補正強度設定部１０３および画像補正部１０４）は、画像処理装置１００が備えるプロセッサによって実現することができる。より詳細には、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）によるソフトウェア処理によって実現してもよいし、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）によるハードウェア処理によって実現してもよい。

前者の場合、画像処理装置１００は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本開示の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本開示の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

〔まとめ〕
本開示の態様１に係る画像処理装置（１００）は、顔を含む画像を補正する画像処理装置であって、前記画像に対し、前記顔の中心に応じた位置と、前記顔の大きさに応じたサイズとを有する所定の形状の第１補正領域を縮小すると共に、第１補正領域の周囲の第２補正領域を拡大する補正処理、または、前記第１補正領域を拡大すると共に、前記第２補正領域を縮小する補正処理を施す補正部（画像補正部１０４）を備えている。

上記の構成によれば、顔の中心と顔の大きさとに基づいて、縮小対象（又は拡大対象）とする第１補正領域および拡大対象（又は縮小対象）とする第２補正領域を設定することができる。顔の中心および顔の大きさは、頬や顎など、顔の輪郭を構成する顔器官の位置を参照することなく特定することが可能である。これにより、上記構成によれば、顔の輪郭を構成する顔器官の検出が必須となる従来の画像処理装置と比べて、補正が不可能になったり、補正が不適切になったりする可能性が低い。

本開示の態様２に係る画像処理装置は、上記態様１において、前記所定の形状は、円形であり、前記顔の中心に応じた位置は当該円形の中心であり、前記顔の大きさに応じたサイズは当該円形の半径であってもよい。

上記の構成によれば、第１補正領域の設定および第１補正領域の縮小または拡大を簡易な処理で行うことができる。

本開示の態様３に係る画像処理装置は、上記態様１または２において、予め定められた顔器官の前記画像における位置に基づいて、前記第１補正領域の位置およびサイズを設定する設定部（補正領域設定部１０２、補正強度設定部１０３）を更に備えており、前記補正部は、前記設定部が設定した前記第１補正領域の位置およびサイズに基づいて、前記第１補正領域及び前記第２補正領域を決定するものであってもよい。

上記の構成によれば、検出した顔器官の位置に基づいて、前記第１補正領域の位置およびサイズを好適に決定することができる。

本開示の態様４に係る画像処理装置は、上記態様３において、特定の顔器官の前記画像における位置に基づいて、前記顔の傾きを推定する推定部（補正強度設定部１０３）を更に備えており、前記設定部は、前記補正処理における前記第１補正領域の拡縮率を、前記推定部が推定した前記顔の傾きに応じて非等方的に設定するものであってもよい。

上記の構成によれば、補正後の画像における顔の顎をシャープにするなど、好適な効果を得ることができる。

本開示の態様５に係る画像処理装置は、上記態様３または４において、前記予め定められた顔器官は、前記顔の目、鼻、口、眉毛、および耳からなる群より選択されるものであってもよい。

上記の構成によれば、検出した顔器官の位置に基づいて、第１補正領域の位置およびサイズを好適に決定することができる。

本開示の態様６に係る画像処理装置は、上記態様１または２において、予め定められた複数の顔器官のうち、検出に成功した顔器官の前記画像における位置に基づいて、前記第１補正領域の位置およびサイズを設定する設定部（補正領域設定部１０２、補正強度設定部１０３）を更に備えており、前記補正部は、前記設定部が設定した前記第１補正領域の位置およびサイズに基づいて、前記第１補正領域及び前記第２補正領域を決定するものであってもよい。

上記の構成によれば、一部の顔器官の検出に失敗した場合であっても、検出に成功した顔器官の位置に基づいて、第１補正領域の位置およびサイズを好適に決定することができる。

本開示の態様７に係る画像処理装置は、上記態様６において、特定の顔器官の前記画像における位置に基づいて、前記顔の傾きを推定する推定部（補正強度設定部１０３）を更に備えており、前記設定部は、前記特定の顔器官の検出に成功した場合、前記補正処理における前記第１補正領域の拡縮率を、前記推定部が推定した前記顔の傾きに応じて非等方的に設定し、前記特定の顔器官の検出に失敗した場合、前記補正処理における前記第１補正領域の拡縮率を等方的に設定するものであってもよい。

上記の構成によれば、顔の傾きを推定できるときは、第１補正領域の拡縮率を非等方的に設定することにより、好適な効果を得ることができ、顔の傾きを推定できないときは、第１補正領域の拡縮率を等方的に設定することにより、不自然な補正がなされることを避けることができる。

本開示の態様８に係る画像処理装置は、上記態様６または７において、前記顔器官は、前記顔の目、鼻、口、眉毛、耳、顎、頭頂部、頬、および輪郭からなる群より選択されるものであってもよい。

上記の構成によれば、検出した顔器官の位置に基づいて、第１補正領域の位置およびサイズを好適に決定することができる。

本開示の態様９に係る撮像装置は、前記顔を撮像して前記画像を取得する撮像部と、前記撮像部が撮像した前記顔を含む前記画像に対して画像処理を行う、上記態様１から８の何れか１つの画像処理装置と、を備えていてもよい。

上記の構成によれば、ユーザは、人物の顔を撮像し、撮像した画像に対し画像処理を容易に施すことができる。

本開示の態様１０に係る撮像装置は、上記態様９において、前記画像を表示する表示部をさらに備えていてもよい。

上記の構成によれば、ユーザは、撮像した画像に対し画像処理が施された画像を容易に確認することができる。

本開示の態様１１に係る画像印刷装置は、上記態様１から８の何れか１つの画像処理装置と、前記画像処理装置が画像処理した画像を印刷する印刷部と、を備えていてもよい。

上記の構成によれば、ユーザは、画像処理が施された画像を容易に印刷することができる。

本開示の態様１２に係る画像印刷装置は、前記顔を撮像して前記画像を取得する撮像部と、上記態様１から８の何れか１つの画像処理装置と、前記画像処理装置が画像処理した画像を印刷する印刷部と、を備えていてもよい。

上記の構成によれば、ユーザは、撮像した画像に対し画像処理が施された画像を容易に印刷することができる。

さらに、本開示の各態様に係る画像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記画像処理装置が備える各部（ソフトウェア要素）として動作させることにより上記画像処理装置をコンピュータにて実現させる画像処理装置の画像処理プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本開示の範疇に入る。

すなわち、本開示の態様１３に係る画像処理プログラムは、顔を含む画像を補正する画像処理装置であって、プロセッサを備える画像処理装置の前記プロセッサに、前記画像に対し、前記顔の中心に応じた位置と、前記顔の大きさに応じたサイズとを有する所定の形状の第１補正領域を縮小すると共に、第１補正領域の周囲の第２補正領域を拡大する補正処理、または、前記第１補正領域を拡大すると共に、前記第２補正領域を縮小する補正処理を施す補正処理を実行させるための画像処理プログラムである。

上記の構成によれば、上記態様１に係る画像処理装置と同様の効果を奏する。

〔付記事項〕
本開示は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本開示の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

〔関連出願の相互参照〕
本出願は、2016年12月27日に出願された日本国特許出願：特願2016-253888に対して優先権の利益を主張するものであり、それを参照することにより、その内容の全てが本書に含まれる。

１ 画像印刷装置
２ 撮像装置
１０ 撮像部
３０ 表示部
５０ 印刷部
１００ 画像処理装置
１０１ 被写体検出部
１０１ａ 顔検出部
１０１ｂ 顔器官検出部
１０２ 補正領域設定部（設定部）
１０３ 補正強度設定部（設定部、推定部）
１０４ 画像補正部（補正部）

Claims (11)

1. 顔を含む画像を補正する画像処理装置であって、
   前記画像に対し、前記顔の中心に応じた位置と、前記顔の大きさに応じたサイズとを有する所定の形状の第１補正領域を縮小すると共に、第１補正領域の周囲の第２補正領域を拡大する補正処理、または、前記第１補正領域を拡大すると共に、前記第２補正領域を縮小する補正処理を施す補正部と、
   前記第１補正領域および前記第２補正領域を設定する設定部と、
   特定の顔器官の前記画像における位置に基づいて、前記顔の傾きを推定する推定部と、
   を備えており、
   前記所定の形状は、円形であり、前記顔の中心に応じた位置は当該円形の中心であり、前記顔の大きさに応じたサイズは当該円形の半径であり、
   前記第２補正領域の外周の形状は、円形であり、前記顔の中心に応じた位置を当該円形の中心とし、
   前記設定部は、検出に成功した前記特定の顔器官の位置に基づいて前記第１補正領域および前記第２補正領域を設定し、
   前記設定部は、前記特定の顔器官の検出に成功した場合、前記補正処理における前記第１補正領域の拡縮率を、前記推定部が推定した前記顔の傾きに応じて非等方的に設定し、
   前記設定部は、前記特定の顔器官の検出に失敗した場合、前記補正処理における前記第１補正領域の拡縮率を等方的に設定する、
   ことを特徴とする画像処理装置。
2. 前記設定部は、予め定められた顔器官の前記画像における位置に基づいて、前記第１補正領域の位置およびサイズを設定し、
   前記補正部は、前記設定部が設定した前記第１補正領域の位置およびサイズに基づいて、前記第１補正領域及び前記第２補正領域に対して補正処理を施す、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記補正部は、前記第１補正領域の上半分の拡縮率と、当該第１補正領域の下半分の拡縮率とが異なるように、前記第１補正領域に対して補正処理を施す、
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記予め定められた顔器官は、前記顔の目、鼻、口、眉毛、および耳からなる群より選択される、
   ことを特徴とする請求項２または３に記載の画像処理装置。
5. 前記設定部は、予め定められた複数の顔器官のうち、少なくとも１つの顔器官の検出に成功した場合、検出に成功した顔器官の前記画像における位置に基づいて、前記第１補正領域の位置およびサイズを設定し、
   前記補正部は、前記設定部が設定した前記第１補正領域の位置およびサイズに基づいて、前記第１補正領域及び前記第２補正領域に対して補正処理を施す
   ことを特徴とする請求項１に記載の画像処理装置。
6. 前記顔器官は、前記顔の目、鼻、口、眉毛、耳、顎、頭頂部、頬、および輪郭からなる群より選択される、
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記顔を撮像して前記画像を取得する撮像部と、
   前記撮像部が撮像した前記顔を含む前記画像に対して画像処理を行う、請求項１から６の何れか１項に記載の画像処理装置と、を備える
   ことを特徴とする撮像装置。
8. 前記画像を表示する表示部をさらに備えていることを特徴とする請求項７に記載の撮像装置。
9. 請求項１から６の何れか１項に記載の画像処理装置と、
   前記画像処理装置が画像処理した画像を印刷する印刷部と、を備えることを特徴とする画像印刷装置。
10. 前記顔を撮像して前記画像を取得する撮像部と、
    前記撮像部が撮像した前記顔を含む前記画像に対して画像処理を行う、請求項１から６の何れか１項に記載の画像処理装置と、
    前記画像処理装置が画像処理した画像を印刷する印刷部と、を備えることを特徴とする画像印刷装置。
11. 顔を含む画像を補正する画像処理プログラムであって、プロセッサを備える画像処理装置の前記プロセッサに、
    前記画像に対し、前記顔の中心に応じた位置と、前記顔の大きさに応じたサイズとを有する所定の形状の第１補正領域を縮小すると共に、第１補正領域の周囲の第２補正領域を拡大する補正処理、または、前記第１補正領域を拡大すると共に、前記第２補正領域を縮小する補正処理を施す補正処理を実行させ、
    前記所定の形状は、円形であり、前記顔の中心に応じた位置は当該円形の中心であり、前記顔の大きさに応じたサイズは当該円形の半径であり、
    前記第２補正領域の外周の形状は、円形であり、前記顔の中心に応じた位置を当該円形の中心とし、
    前記プロセッサに、
    特定の顔器官の前記画像における位置に基づいて、前記顔の傾きを推定させ、
    検出に成功した前記特定の顔器官の位置に基づいて前記第１補正領域および前記第２補正領域を設定させ、
    前記特定の顔器官の検出に成功した場合、前記補正処理における前記第１補正領域の拡縮率を、推定した前記顔の傾きに応じて非等方的に設定させ、
    前記特定の顔器官の検出に失敗した場合、前記補正処理における前記第１補正領域の拡縮率を等方的に設定させるための画像処理プログラム。

Images