JP6889774B2 - 画像処理装置、撮像装置、画像印刷装置、画像処理装置の制御方法、および画像処理プログラム - Google Patents

Description

本発明の一態様は、画像を変形する補正を行う画像処理装置に関する。

画像処理により、画像中の一部を拡大したり縮小したりすることで、被写体の印象を変化させる技術が知られている。例えば、画像中の人物の顔を小さく補正することで、小顔な印象の画像に補正する技術や、人物全体を細く補正することで痩せた印象の画像に補正する技術、脚を長く補正することでスタイルの良い印象の画像に補正する技術が挙げられる。このうち、画像中の顔を小さく補正する技術として、特許文献１には、人物の顔領域を含む領域を変形領域に設定し、変形領域を縮小することで顔を小さく補正する技術が記載されている。特許文献１に記載の技術では、設定した変形領域が画像の外に設定された場合に、画像の外に設定された補正を行わないことで、画質の低下を抑制している。

日本国公開特許公報「特開２００９−１０４６７２号公報」

しかしながら、特許文献１に記載の技術では、画像中における人物の顔の位置によって補正が行われる場合と行われない場合とがある。そのため、例えば、ユーザが、小顔に補正する機能を搭載したカメラを用いて撮影を行った場合に、ユーザが意図する効果が得られない場合がある。また、例えば、１枚の画像中に複数の人物の顔が写された場合に、画像中央に位置する人物の顔に対しては補正が行われ、画像端に位置する人物の顔に対して補正が行われずに、一部の人物の顔のみが小顔な印象となり、補正が行われない人物の顔は相対的に大きな印象となる場合がある。

本発明の一態様は、上記の点に鑑みてなされたものであり、より適切に画像を補正することができる画像処理装置、撮像装置、画像印刷装置、画像処理装置の制御方法、および画像処理プログラムを提供することを主たる目的とする。

本発明の一態様に係る画像処理装置は、画像における第１領域を縮小し、前記第１領域の外側の第２領域を拡大することにより、前記画像を補正する補正処理部を備え、
前記補正処理部は、前記第１領域の縮小方向が、前記画像の第１の辺側から前記第１領域の内側に向かう場合、前記第１領域から前記第１の辺までの距離に応じて、前記画像における前記第１の辺側を切り取るか否かを決定する。

また、本発明の他の一態様に係る画像処理装置は、画像における第１領域を縮小し、前記第１領域の外側の第２領域を拡大することにより、前記画像を補正する補正処理部を備え、前記補正処理部は、前記第１領域の縮小方向が、前記画像の第１の辺側から前記第１領域の内側に向かう場合、前記第１領域から前記第１の辺までの距離に応じて、前記第１領域の縮小方向を、前記画像の第１の辺側から前記第１領域の内側に向かわないように変更するか否かを決定する。

本発明の一態様によれば、より適切に画像を補正することができる。

本発明の実施形態１に係る画像印刷装置の一構成例を示す機能ブロック図である。 本発明の実施形態１に係る画像処理の流れの一例を示すフローチャートである。 本発明の実施形態１に係る画像処理の一例（処理例１）を説明するための図である。 画像処理の一例（参考例１）を説明するための図である。 本発明の実施形態１に係る画像処理の一例（処理例２）を説明するための図である。 本発明の実施形態１に係る画像処理の一例（処理例３）を説明するための図である。 本発明の実施形態１に係る画像処理の一例（処理例４）を説明するための図である。 本発明の実施形態１に係る画像処理の一例（処理例５）を説明するための図である。 本発明の実施形態１に係る撮像装置の一変形例を示す機能ブロック図である。 本発明の実施形態２に係る画像処理の一例（処理例６）を説明するための図である。 本発明の実施形態２に係る画像処理の一例（処理例７）を説明するための図である。 本発明の実施形態２に係る画像処理の一例（処理例８）を説明するための図である。 本発明の実施形態３に係る画像処理の一例（処理例９）を説明するための図である。 本発明の実施形態４に係る画像処理の一例（処理例１０）を説明するための図である。 本発明の実施形態５に係る制御部の一構成例を示す機能ブロック図である。 本発明の実施形態５に係る画像処理の流れの一例を示すフローチャートである。 本発明の実施形態５に係る画像処理の一例（処理例１１）を説明するための図である。 本発明の実施形態５に係る画像処理の一例（処理例１２）を説明するための図である。

〔実施形態１〕
以下、本発明の一実施形態（実施形態１）について、図１〜図９に基づいて詳細に説明する。

≪画像印刷装置の構成≫
まず、図１に基づいて、本発明の一実施形態に係る画像印刷装置１の構成の一例について説明する。図１は、本実施形態の画像印刷装置１の構成を示す機能ブロック図である。図１に示すように、画像印刷装置１は、撮像部１０、操作部２０、表示部３０、制御部（画像処理装置）４０、印刷部５０および記憶部６０を備えている。なお、撮像部１０および制御部４０は撮像装置として機能する。

撮像部１０は、被写体を撮像するものであり、撮像した画像（被写体を含む対象領域を含む画像）を入力画像として制御部４０に送信する。対象領域とは、制御部４０が縮小および拡大処理を行う対象となる領域である。

操作部２０は、ユーザの入力を受け付けるものであり、例えばタッチパネル、マウスによって実現される。例えば、操作部２０がタッチパネルの場合、当該タッチパネルを備えた表示部３０に入力画像が表示される。

表示部３０は、各種画像を表示するものである。表示部３０は、例えば、撮像部１０が撮像した画像、または後述の画像補正部４５が生成する出力画像を表示する。

制御部４０は、画像印刷装置１を統括的に制御するものである。制御部４０は、撮像部１０が撮像した画像（入力画像）に対して画像処理を行い、処理後（補正後）の出力画像を生成する画像処理装置として機能する。制御部４０の具体的な構成については後述する。

印刷部５０は、制御部４０の処理によって生成された出力画像（画像）を印刷する。印刷部５０は、当該出力画像に対してさらに、操作部２０を介してユーザによって描画された画像を印刷してもよい。

記憶部６０は、例えば、制御部４０が実行する各種の制御プログラム等を記憶するものであり、例えばハードディスク、フラッシュメモリ等の不揮発性の記憶装置によって構成される。記憶部６０には、例えば、入力画像および出力画像が記憶される。また、記憶部６０には、画像処理（補正処理）、被写体の検出処理等、制御部４０の処理に必要なパラメータ等が記憶されていてもよい。

なお、画像印刷装置１が、画像処理装置として機能する制御部４０を備えている必要は必ずしもない。例えば、画像印刷装置１と通信可能に接続できる外部装置が、制御部４０の画像処理機能を有していてもよい。

また、画像印刷装置１は、撮像部１０、および画像処理装置として機能する制御部４０を備える撮像装置を備えていなくてもよい。この場合、撮像装置は、画像印刷装置１と通信可能に接続できる外部装置として機能してもよいし、当該機能を有していなくてもよい。さらに、画像印刷装置１は撮像部１０を備えていなくてもよく、この場合、例えば、撮像部１０が画像印刷装置１と通信可能に接続できる外部装置として機能する。

≪制御部の構成≫
次に、図１に基づいて、制御部４０の具体的な構成について説明する。制御部４０は、上記画像処理装置の機能を実行するために、被写体検出部（対象領域検出部）４１、補正領域設定部（補正処理部）４２、補正強度設定部（補正処理部）４３、切り取り設定部（補正処理部）４４および画像補正部４５を備えている。補正領域設定部４２、補正強度設定部４３、切り取り設定部４４および画像補正部４５を合わせて補正処理部とも称する。

被写体検出部４１は、制御部４０に入力された入力画像中から、補正対象となる被写体（対象領域）を検出する。被写体検出部４１が検出する被写体としては、（１）人物、（２）人物の顔、（３）目、口もしくは鼻等の顔の各器官、または（４）顔の輪郭等が挙げられる。被写体検出部４１は、例えば顔の検出であれば、入力画像から検出した肌色領域の情報を利用する等、既存の技術を用いて被写体を検出することができる。

なお、被写体検出部４１による被写体の検出は手動であってもよい。換言すれば、ユーザが入力画像から被写体を検出してもよい。この場合、例えば、被写体検出部４１（被写体選択部）は、表示部３０に入力画像を表示させ、操作部２０を介したユーザの入力によって指定された、補正対象とする被写体を検出（選択）する。被写体検出部４１は、入力画像に複数の被写体が存在する場合には、ユーザの入力に基づいて、補正対象とする被写体を選択する。

例えば、操作部２０がタッチパネルの場合にはタッチパネルに触れることで、表示部３０が表示する入力画像内の被写体が選択される。また、操作部２０がマウスの場合には、マウス操作に基づいて被写体が選択される。

また、本明細書では、撮像部１０にて撮像された画像（すなわち、被写体を含む画像）に対して補正処理を行うものとして説明する。具体的には、画像に含まれる被写体に対して縮小および拡大処理を行うものとして説明する。しかしこれに限られず、補正対象とする画像は、撮像部１０が撮像した画像でなくてもよい。この場合、被写体検出部４１は、画像に含まれる、補正対象となる対象物（換言すれば、当該対象物を含む対象領域）を検出する。つまり、被写体検出部４１は、画像に含まれる被写体、または被写体以外の対象物を含む対象領域（換言すれば、画像に含まれる対象領域）を検出する対象領域検出部として機能する。

補正領域設定部４２は、被写体検出部４１が検出した被写体を示す情報（例：被写体の位置および大きさを示す情報）に基づいて、補正対象とする補正領域を入力画像に設定する。補正領域設定部４２は、入力画像に含まれる被写体を含む領域を縮小領域（第１領域）として、当該入力画像に設定する。また、補正領域設定部４２は、設定した縮小領域の外側の領域、具体的には縮小領域に隣接する領域を拡大領域（第２領域）として、入力画像に設定する。換言すれば、補正領域設定部４２は、補正領域として、縮小領域および拡大領域を設定する。詳細については後述する。

補正強度設定部４３は、画像を補正する際の拡大率や縮小率を設定する。補正強度設定部４３は、入力画像において設定された縮小領域を縮小するための倍率α（＜１）と、入力画像において設定された拡大領域を拡大するための倍率β（＞１）として、予め設定された値を用いてもよいし、入力画像またはユーザの操作に応じて設定された値を用いてもよい。

切り取り設定部４４は、補正領域設定部４２が設定した縮小領域の位置及び大きさに基づいて、最終的に出力する画像から切り取る切り取り領域を設定する。詳細については後述する。

画像補正部４５は、縮小領域を縮小し、拡大領域を拡大し、切り取り領域を切り取ることにより、入力画像を補正して出力画像として、印刷部５０および／または表示部３０に出力する。

なお、画像補正部４５は、入力画像において設定された縮小領域を縮小するための第１倍率（＜１）と、入力画像において設定された拡大領域を拡大するための第２倍率（＞１）として、予め設定された値を用いてもよいし、入力画像またはユーザの操作に応じて設定された値を用いてもよい。

≪制御部による処理の流れ≫
次に、図２を用いて、本実施形態の画像印刷装置１の制御部４０における画像処理の流れを説明する。図２は、制御部４０における画像処理の流れの一例を示すフローチャートである。

被写体検出部４１は、撮像部１０によって撮像された画像を入力画像として取得すると、当該入力画像から、補正対象となる被写体を検出する（Ｓ２０１：対象領域検出工程）。補正領域設定部４２は、被写体検出部４１が検出した被写体が示す情報に基づいて、縮小領域および拡大領域を設定する（Ｓ２０２：補正処理工程）。また、補正強度設定部４３は、補正領域設定部４２が設定した縮小領域および拡大領域を示す情報に基づいて、補正強度（縮小領域における縮小の倍率α、および、拡大領域における拡大の倍率β）を設定する（Ｓ２０３：補正処理工程）。また、切り取り設定部４４は、補正領域設定部４２が設定した縮小領域および拡大領域を示す情報、ならびに、補正強度設定部４３が設定した補正強度を示す情報に基づいて、切り取り領域を設定する（Ｓ２０４：補正処理工程）。そして、画像補正部４５は、縮小領域を縮小し、拡大領域を拡大し、切り取り領域を切り取ることにより、出力画像を生成する（Ｓ２０５：補正処理工程）。そして、制御部４０は、生成した出力画像を、印刷部５０または表示部３０に出力する。

≪補正処理の詳細≫
続いて、制御部４０による補正処理の詳細について処理例を挙げて説明する。

＜処理例１＞
図３の（ａ）は、処理例１において用いる入力画像３００を示しており、入力画像３００中に人物の顔（対象領域）３０１が写っている。ここでは、人物の顔３０１を補正対象の被写体とし、人物の顔３０１を横方向に縮小することで細くする場合を例に挙げて説明する。

図３の（ｂ）は、処理例１において、補正領域設定部４２が入力画像３００に設定する補正領域（縮小領域および拡大領域）を示している。図３の（ｂ）に示すように、補正領域設定部４２は、顔３０１を含む領域を縮小領域３０２として設定する。なお、処理例１では、縮小領域３０２の幅は、人物の顔３０１の横幅と同じ幅であるが、本実施形態はこれに限定されない。また、処理例１において、補正領域設定部４２は、縦方向に入力画像３００を横断するように縮小領域３０２を設定しているが、本実施形態において、縮小領域の形状はこれに限定されない（変形例１参照）。

また、補正領域設定部４２は、縮小領域３０２の外側の領域を拡大領域３０３として設定する。処理例１では、縮小領域３０２の両隣に、縮小領域３０２を挟むように拡大領域３０３が設けられる。処理例１では、個々の拡大領域３０３の幅は、縮小領域３０２の幅の１／２であるが、本実施形態はこれに限定されない。

そして、処理例１では、画像補正部４５は、縮小領域３０２を横方向に縮小すると共に、拡大領域３０３を横方向に拡大する。より具体的に言うと、図３の（ｂ）の矢印で示す方向の座標をｘ座標とし、縮小領域３０２の中心線３０４から縮小領域３０２と拡大領域３０３との境界までの距離をｄ１、縮小領域３０２の中心線３０４から拡大領域３０３の縮小領域３０２とは反対側の末端までの幅をｄ２とすると、縮小領域３０２の中心線ｘ＝ｃからの距離がｌである点Ｐ＝（ｌ＋ｃ，ｙ）を、（１）ｌ≦ｄ１であるときには、点Ｐ’＝（αｌ＋ｃ，ｙ）に写し、（２）ｄ１＜ｌ≦ｄ２であるときには、点Ｐ’＝（αｄ１＋β（ｌ−ｄ１）＋ｃ，ｙ）に写す補正である。ここで、αは、縮小領域に対する倍率（拡縮率）として補正強度設定部４３にて設定された正の定数であり、α＜１を満たす。一方、βは、拡大領域に対する倍率（拡縮率）として補正強度設定部４３にて設定された正の定数であり、β＝（ｄ２−αｄ１）／（ｄ２−ｄ１）により定義され、β＞１を満たす。

例えば、入力画像３００におけるｘ座標と出力画像におけるｘ座標との対応関係は、図３の（ｃ）に示すようなグラフになる。倍率αは１未満に設定されるので、縮小領域３０２における入力画像３００のｘ座標に対する出力画像のｘ座標の傾きも１未満となる。そのため、図３の（ｃ）に示すように、入力画像３００のｘ座標に対して出力画像のｘ座標は小さくなる。また、拡大領域３０３に近づくにつれて、入力画像３００のｘ座標に対して出力画像のｘ座標はより小さくなる。これは、縮小領域３０２においては縮小領域３０２の中心線３０４に向かって縮小し、かつ中心線３０４から離れるほど縮小の度合い（画素の移動量）が大きくなることを意味する。

一方、倍率βは１より大きく設定されるので、入力画像３００のｘ座標に対する出力画像のｘ座標の傾きも１より大きくなる。これは、拡大領域３０３においては縮小領域３０２の中心線３０４に向かって拡大し、かつ中心線３０４から離れるほど拡大の度合い（画素の移動量）が小さくなることを意味する。

そして、拡大領域３０３の縮小領域３０２とは反対側の末端において、入力画像のｘ座標と出力画像のｘ座標とが一致する。このように、入力画像３００における拡大領域３０３の外側の領域は、拡大も縮小もなされない。そのため、画像補正部４５が、画質の劣化が生じないように出力画像を生成することができているといえる。

なお、画像補正部４５は、縮小領域３０２に関して、各点Ｐに対する補正量を、その点Ｐの中心線３０４からの距離ｒに応じて定めるものであればよく、上記のように、各点Ｐに対する補正量を、その点Ｐの補正中心ｃからの距離ｒに比例させるものでなくともよい。

＜参考例１＞
次に、補正対象の被写体が画像端に位置する場合、補正対象の大きさが画像に対して大きい場合等に、十分な補正領域を入力画像内に設定することができないケースについて述べる。図４の（ａ）は、処理例２において用いられる入力画像４００を示しており、入力画像４００中に人物の顔４０１が写っている。参考例１では、処理例１とは異なり、人物の顔４０１が入力画像４００の右側に寄った位置に写っている。

図４の（ｂ）は、参考例１において、補正領域設定部４２が入力画像４００に設定する補正領域（縮小領域および拡大領域）を示している。補正領域設定部４２は、顔４０１を含む領域を縮小領域４０２として設定する。参考例１では、縮小領域４０２の幅は、人物の顔４０１の横幅と同じ幅である。

また、補正領域設定部４２は、縮小領域４０２の両隣に、縮小領域４０２を挟むように拡大領域４０３を設定する。参考例１では、縮小領域４０２の左側の拡大領域４０３の幅は、処理例１と同様に、縮小領域３０２の幅の１／２であるが、入力画像４００の右端が縮小領域４０２の右端に近いため、縮小領域４０２の右側の拡大領域４０３の幅は、処理例１よりも小さくなっている。

参考例１において、処理例１と同様の条件で設定された縮小率および拡大率を用いて補正処理を行うと、入力画像４００のｘ座標と出力画像のｘ座標との関係は、図４の（ｃ）に示すようなグラフとなる。図４の（ｃ）に示すように、右側の拡大領域４０３の最も外側（＝画像端）で、入力画像４００のｘ座標と出力画像のｘ座標とが一致せず、出力画像の画像端のｘ座標に対応する入力画像４００のｘ座標が存在しない状態となっている。出力画像の画像端における点Ｐ’＝（αｄ１＋β（ｌ−ｄ１）＋ｃ，ｙ）に対応する点Ｐ＝（ｌ＋ｃ，ｙ）は入力画像４００の画像外となる。したがって、出力画像の画像端は、入力画像４００の画像外を参照することになり、参照先の画素値が不定となる。そのため、出力画像の画質が低下してしまう。また、前述した従来技術では、参考例１のように十分な補正領域を設定することができない場合には、補正自体を行わないため、目的の補正効果を得ることができない。

＜処理例２＞
これに対し、本実施形態に係る制御部４０は、十分な補正領域を設定することができない場合であっても、適切に出力画像の端部側を切り取ることで、補正領域を予め設定した補正強度で補正しつつ、画像端の画質劣化のない好適な出力画像を生成することができる。

図５の（ａ）は、処理例２において用いる入力画像５００、および、補正領域設定部４２が入力画像５００に設定する補正領域（縮小領域５０２および拡大領域５０３）を示している。入力画像５００では、人物の顔（対象領域）５０１が右端に位置しているため、補正領域設定部４２は、入力画像５００の右側の辺に接するように縮小領域５０２を設定する。補正領域設定部４２はまた、縮小領域５０２の左側のみに拡大領域５０３を設定し、縮小領域５０２の右側には、拡大領域５０３を設定することができない。

図５の（ｂ）は、入力画像５００に対し、顔５０５の幅を小さくするように補正した出力画像５０４を示している。補正後の人物の顔５０５の幅（＝縮小領域５０２の補正後の幅）は、補正前の人物の顔５０１の幅（＝縮小領域５０２の補正前の幅）に対し、細く補正されている。このとき、切り取り設定部４４は、出力画像５０４の右端に網掛で示す領域５０８を切り取り領域として設定する。領域５０８は、参照先が入力画像５００の画像外となる領域であり、画素値が不定な領域である。すなわち、領域５０８内のＰ’＝（αｄ１＋β（ｌ−ｄ１）＋ｃ，ｙ）に対応する点Ｐ＝（ｌ＋ｃ，ｙ）は入力画像５００の画像外となる。その結果、図５の（ｃ）に示すように、画像補正部４５は、出力画像５０４から画素値が不定となる領域５０８が切り取られた出力画像５０９を生成することができる。これにより、画素値が不定な領域が含まれない好適な出力画像を得ることができる。

このように、制御部４０は、十分な拡大領域を設定することができる場合には、処理例１のように、拡大領域の拡大によって、縮小領域の縮小の影響を補償して、画質の劣化が生じないように出力画像を生成することができる。すなわち、画像における拡大領域の外側の領域を、縮小も拡大もされない領域とすることができる。そして、制御部４０は、十分な拡大領域を設定することができない場合には、処理例２のように、切り取り領域を設定し、当該切り取り領域を切り取ることによって、画素値が不定な領域が含まれない好適な出力画像を得ることができる。

このような効果を得るために、切り取り設定部４４は、縮小領域の縮小方向が、当該１つの辺側から縮小領域の内側に向かう場合、縮小領域から第１の辺までの距離に応じて、画像における第１の辺側を切り取るか否かを決定し、第１の辺側を切り取る場合には、第１の辺側に切り取り領域を設定する。すなわち、切り取り設定部４４は、縮小領域（第１領域）と入力画像の１つの辺（第１の辺）との間隔が狭い場合（例えば、縮小領域と入力画像の１つの辺とが接している場合）には、画像における第１の辺側を切り取るように切り取り領域を設定し、そうでない場合には、切り取り領域を設定しない。当該切り取り領域は、例えば、補正後の画像の当該１つの辺側の端部であり得る。

なお、「画像の或る辺側を切り取る」とは、画像に含まれる或る辺から一定の幅の領域を、当該画像から除去することを意味する。また、「縮小領域（第１領域）の縮小方向」とは、縮小領域を縮小するときに、縮小領域内の画素が移動する方向を意味する。また、「縮小領域の縮小方向が、当該１つの辺側から縮小領域の内側に向かう」とは、縮小領域の前記１つの辺側の画素が、縮小領域の内側に移動することを意味する。このとき、縮小方向をベクトルで表し、或る方向のベクトルと、当該或る方向に直交する方向のベクトルとに分解すると、得られる当該或る方向のベクトルが正の向きとなる。

縮小領域の縮小方向が、或る辺側から縮小領域の内側に向かう場合、縮小領域は或る辺から離れるように縮小するため、当該縮小の影響を補償するためには、縮小領域の当該或る辺側に十分な拡大領域を設定することが好ましい。しかし、縮小領域と当該或る辺との間隔が狭い場合（例えば、縮小領域と入力画像の当該或る辺とが接している場合）には、十分な拡大領域を設定することができない。このような場合に、参考例１で説明したように、画素値が不定な領域が縮小領域の当該或る辺側に生じることになる。そこで、切り取り設定部４４が、画像の当該或る辺側を切り取るように切り取り領域を設定することにより、画素値が不定な領域が含まれない好適な出力画像を得ることができる。

一方、縮小領域と当該或る辺との間隔が広い場合には、十分な拡大領域を設定することができるため、切り取り設定部４４は切り取り領域を設定せずに、画質の劣化が生じないように出力画像を生成することができる。

換言すれば、切り取り設定部４４は、縮小領域（第１領域）の縮小方向が、或る辺側から縮小領域の内側に向かう場合、縮小領域から当該或る辺までの距離に応じて、補正後の画像における当該或る辺側を切り取るか否かを決定するようになっており、これにより、より適切に画像を補正することができる。

一実施形態において、切り取り設定部４４は、縮小領域の縮小方向が、或る辺側から縮小領域の内側に向かう場合、縮小領域（第１領域）の中心から縮小領域における当該或る辺に最も近い部位までの距離をｄ１とし、縮小領域から或る辺までの距離（縮小領域における当該或る辺に最も近い部位から、当該或る辺までの距離）をｄｘとし、縮小領域の拡縮率をαとし、拡大領域の拡縮率をβとすると、以下の式（１）が満たされる場合には、画像の当該或る辺側に切り取り領域を設定し、式（１）が満たされない場合には、切り取り領域を設定しないようになっている。

（１−α）ｄ１＞（β−１）ｄｘ・・・（１）
さらに詳細には、一実施形態において、切り取り設定部４４は、式（１）が満たされる場合、補正後の画像の前記或る辺側に（１−α）ｄ１−（β−１）ｄｘの幅の切り取り領域を設定する。これにより、制御部４０は、補正後の画像から適切な領域を切り取ることができる。なお、切り取り設定部４４が設定する切り取り領域の幅は、（１−α）ｄ１−（β−１）ｄｘより狭くてもよく、その場合であっても、画素値が不定な領域が低減した好適な出力画像を得ることができる。また、切り取り設定部４４が設定する切り取り領域の幅は、（１−α）ｄ１−（β−１）ｄｘより広くてもよく、その場合であっても、画素値が不定な領域が含まれない好適な出力画像を得ることができる。但し、切り取り設定部４４は、切り取り領域を、縮小後の縮小領域の外側になるように設けることが好ましい。

なお、上述した処理例では、縮小領域は、入力画像を縦方向に横切る矩形領域として設定され、横方向に縮小する構成について説明したが、本実施形態はこれに限定されない。補正の方法としては、特に限定されず、例えば、（Ａ）特定の直線に向かって縮小および拡大をする構成（上述した処理例１〜２の構成）、（Ｂ）特定の点に向かって縮小および拡大をする構成（後述する処理例３〜５の構成）等、様々な方法を用いることができる。（Ａ）特定の直線に向かって縮小および拡大をする構成においても、当該直線は、縮小領域の中心線であってもよいし、その他の直線であってもよく、その方向も、画像の縦方向であってもよいし、横方向であってもよいし、斜め方向であってもよい。また、縮小領域および拡大領域の形状も矩形に限定されず、一部が曲線で構成されていてもよい。また、（Ｂ）特定の点に向かって縮小および拡大をする構成においても、当該点は、縮小領域の中心であってもよいし、その他の点であってもよく、拡大および縮小の態様も、等方的であってもよいし、非等方的であってもよい。また、縮小領域および拡大領域の形状も円形に限定されず、楕円形、多角形であってもよい。以下、（Ｂ）特定の点に向かって縮小および拡大をする構成の例として、円形の縮小領域の中心に向かって縮小および拡大をする構成について処理例を挙げて説明する。

＜処理例３＞
図６の（ａ）は、補正対象である対象領域５５０に対して、補正領域設定部４２が設定する縮小領域５５１および拡大領域５５２の例を示す図である。図６の（ａ）に示すように、縮小領域５５１は、補正中心ｃを中心とする半径ｄ１の円領域であり、拡大領域５５２は、補正中心ｃを中心とする半径ｄ２の円領域のうち、縮小領域５５１の外側の領域である。なお、上述したように、縮小領域５５１および拡大領域５５２の形状は円形に限定されない。

画像補正部４５が、入力画像に施す補正は、（１）縮小領域５５１を補正中心ｃに向かって縮小すると共に、（２）拡大領域５５２を補正中心ｃに向かって拡大する補正である。より具体的に言うと、補正中心ｃからの距離がｒであり、補正中心ｃ＝（ｃ１，ｃ２）から見た方向がθである点Ｐ＝（ｒｃｏｓθ，ｒｓｉｎθ）＋（ｃ１，ｃ２）を、（１）ｒ≦ｄ１であるときには、補正中心ｃからの距離がｒ’＝αｒであり、補正中心ｃから見た方向がθである点Ｐ’＝（ｒ’ｃｏｓθ，ｒ’ｓｉｎθ）＋（ｃ１，ｃ２）に写し、（２）ｄ１＜ｒ≦ｄ２であるときには、補正中心ｃからの距離がｒ’＝βｒ−（β‐α）ｄ１であり、補正中心ｃから見た方向がθである点Ｐ’＝（ｒ’ｃｏｓθ，ｒ’ｓｉｎθ）＋（ｃ１，ｃ２）に写す補正である。ここで、αは、縮小領域５５１に対する拡縮率として補正強度設定部４３にて設定された正の定数であり、α＜１を満たす。一方、βは、拡大領域５５２に対する拡縮率として補正強度設定部４３にて設定された正の定数であり、β＝（ｄ２−αｄ１）／（ｄ２−ｄ１）により定義され、β＞１を満たす。

例えば、α＝０．９であり、β＝１．１（ｄ２＝２ｄ１）である場合、補正前の点Ｐの補正中心ｃからの距離ｒと、補正後の点Ｐの補正中心ｃからの距離ｒ’との関係は、図６の（ｂ）に示すグラフのようになる。拡大領域５５２は、外周を保ったまま内向きに拡大され、補正後の拡大領域５５２の内周は、補正後の縮小領域５５１の外周と一致する。また、拡大領域５５２の外側の領域は、補正前後で変化しない。

なお、画像補正部４５は、縮小領域５５１に関して、各点Ｐに対する補正量を、その点Ｐの補正中心ｃからの距離ｒに応じて定めるものであればよく、上記のように、各点Ｐに対する補正量を、その点Ｐの補正中心ｃからの距離ｒに比例させるものでなくともよい。

また、上述したように、画像補正部４５は、縮小領域５５１に関して、各点Ｐに対する補正量を、さらに角度θに応じて変化させることにより、非等方的に縮小するものであってもよい。

＜処理例４＞
図７の（ａ）は、処理例４において用いる入力画像６００を示しており、人物の顔（対象領域）６０１が右端に位置している。処理例４では、制御部４０は、人物の顔６０１を顔の中心に向かって縮小する補正を行う。補正領域設定部４２は、顔の中心を中心とした円を縮小領域６０２として設定する。補正領域設定部４２は、縮小領域６０２の外周が人物の顔６０１の輪郭付近になるように縮小領域６０２を設定する。また、補正領域設定部４２は、拡大領域６０４を、縮小領域６０２の外側に設定する。但し、人物の顔６０１が右端に位置しているため、補正領域設定部４２は、顔６０２の右側には拡大領域６０４を設定できない。

図７の（ｂ）は、入力画像６００に対し、人物の顔６０１を顔の中心に向かって顔を小さくするように補正した画像６０５を示している。補正後の人物の顔６０６は、補正前の人物の顔６０１に対し、小さく補正されている。また、画像６０５の右端に網掛で示す領域６０７は、参照先が入力画像６００の画像外となる領域を示しており、画素値が不定な領域である。すなわち、領域６０７内のＰ’＝（ｒ’ｃｏｓθ，ｒ’ｓｉｎθ）＋（ｃ１，ｃ２）に対応する点Ｐ＝（ｒｃｏｓθ，ｒｓｉｎθ）＋（ｃ１，ｃ２）は入力画像６００の画像外となる。なお、処理例２において画素値が不定である領域５０８は長方形であるに対し、処理例４における領域６０７は、一部が曲線で囲まれる領域となっている点で異なり、これは補正方法が異なることに起因している。

そこで、切り取り設定部４４は、領域６０７ではなく、領域６０７を含む長方形の領域６０３を切り取り領域として設定する。これにより、図７の（ｃ）に示すように、画素値が不定な領域が含まれず、かつ、切り出し後の画像が長方形である好適な補正画像を得ることができる。

＜処理例５＞
次に、補正の対象領域が入力画像の隅に位置する場合について述べる。図８の（ａ）は、処理例５において用いる入力画像７００を示しており、人物の顔（対象領域）７０１が右上端に位置している。処理例５においては、処理例４と同様、制御部４０は、人物の顔７０１を顔の中心に向かって縮小する補正を行う。補正領域設定部４２は、顔の中心を中心とした円を縮小領域７０２として設定する。補正領域設定部４２は、縮小領域７０２の外周が人物の顔７０１の輪郭付近になるように縮小領域７０２を設定する。また、補正領域設定部４２は、拡大領域７０４を、縮小領域７０２の外側に設定する。但し、人物の顔７０１が右上端に位置しているため、補正領域設定部４２は、顔７０２の右側および顔７０２の上側には拡大領域７０４を設定できない。

図８の（ｂ）は、入力画像７００に対し、人物の顔７０１を顔の中心に向かって顔を小さくするように補正した画像７０５を示している。補正後の人物の顔７０６は、補正前の人物の顔７０１に対し、小さく補正されている。また、画像７０５の右端および上端にそれぞれ網掛で示す２個所の領域７０７は、参照先が入力画像７００の画像外となる領域を示しており、画素値が不定な領域である。すなわち、領域７０７内のＰ’＝（ｒ’ｃｏｓθ，ｒ’ｓｉｎθ）＋（ｃ１，ｃ２）に対応する点Ｐ＝（ｒｃｏｓθ，ｒｓｉｎθ）＋（ｃ１，ｃ２）は入力画像７００の画像外となる。

そこで、切り取り設定部４４は、画素値が不定となる２箇所の領域７０７を含む２つの長方形の領域７０３（図８の（ｂ）および（ｄ））を切り取り領域として設定する。これにより、図８の（ｃ）に示すように、画素値が不定な領域が含まれず、かつ、切り出し後の画像が長方形である好適な補正画像を得ることができる。

以上のように、本実施形態では、補正領域が画像端に位置し、出力画像の一部の参照先が入力画像の画像外となる場合に、画像外を参照することで画素値が不定となる領域を除外するように出力画像を切り出すことで、画素値が不定な領域が含まれない好適な補正画像を得ることができる。

特に、補正領域の位置に依らず予め設定された補正強度で補正を行うことができるため、補正による効果を補正領域の位置に依らず一定とすることができる。これにより、画像内の異なる位置、例えば、画像中央と画像右端に２人の人物の顔が存在し、それぞれの顔を縮小する補正を行う場合に、２人の人物に対して同様の効果が得られ好適である。

＜付記事項＞
なお、本実施形態の他の一態様は、印刷機能を有さない画像撮像装置であってもよい。図９は、本実施形態の他の一態様に係る撮像装置２の構成を示す機能ブロック図である。撮像装置２は、画像印刷装置１と同様、撮像部１０、操作部２０、表示部３０、制御部（画像処理装置）４０、および記憶部６０を備えているが、印刷部５０を備えていない。また、制御部４０のみを備える画像処理装置として構成してもよい。

〔実施形態２〕
本発明の他の実施形態（実施形態２）について、図１０〜図１２に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。

実施形態２では、制御部４０は、画素値が不定な領域を切り取った後の画像を更に切り取ることで、補正前後で画像のアスペクト比の変化のない好適な出力画像を生成する。以下、本実施形態における補正処理の詳細について処理例を挙げて説明する。

＜処理例６＞
図１０の（ａ）は、人物の顔（対象領域）８０１を含む入力画像に対して、顔８０１を縮小する補正が行われた後の画像８００を示しており、網掛で示す領域８０２は、画素値が不定な領域を示している。切り取り設定部４４は、領域８０２を含む長方形の領域８０５を切り取り領域として設定する。

図１０の（ｂ）は、領域８０５が切り取られた画像８０３を示している。画像８０３は、画像８００の右側が切り取られているため、画像８００と画像のアスペクト比が異なる。例えば、画像８００の画素数が横１６００画素、縦１２００画素であるとすると、画像８００のアスペクト比は４：３となる。一方、画像８０３は画像８００の右側が切り取られているため、アスペクト比が画像８００とは異なっている。画像８００から切り取った長方形領域の画素数が、横１００画素、縦１２００画素だとすると、画像８０３の画素数は横１５００画素、縦１２００画素となり、アスペクト比は５：４となり、画像８００のアスペクト比とは異なっている。

そこで、本実施形態では、切り取り設定部４４は、画素値が不定となる領域８０２を含む長方形の領域８０５に加えて、出力画像のアスペクト比が入力画像のアスペクト比と同じになるよう、図１０の（ｄ）に示すように、画像８００の上辺側に、切り取り領域８０６を設定する。これにより、画像補正部４５によって切り取り領域が切り取られた画像８０４は、図１０の（ｃ）に示すように、画像８０３の上側が横１５００画素、縦７５画素分切り取られており、切り取り後の画素数が横１５００画素、縦１１２５画素となり、アスペクト比が４：３となる。したがって、補正前の画像のアスペクト比と同じアスペクト比となる。

アスペクト比が変化しないことにより、以下の効果がある。液晶ディスプレイなどの表示装置に画像を表示する場合、表示画面のアスペクト比が一致していれば、画像全体を表示することができるという効果がある。一方、表示画面のアスペクト比と表示する画像のアスペクト比が不一致の場合は、表示画面の一部に画像が表示されない領域（余白領域）が存在することになる。また、画像の補正（切り出し）により、各画像のアスペクト比がそれぞれ異なる場合には、複数の画像を表示画面に順に表示すると、画像が切り替わる度に余白領域が変化する問題があるが、表示する複数の画像のアスペクト比が一致していれば、表示する画像を切り替えた際に余白領域が変化せず好適である。また、表示画面に表示する場合の他に、印刷装置で画像を紙に印刷したり、写真として印刷したりする場合にも、印刷用紙のアスペクト比と画像のアスペクト比が一致していれば、余白領域なく印刷することができ好適である。

なお、制御部４０は、必ずしも図１０の（ａ）〜（ｃ）の順に補正を進める必要はなく、順番を入れ替えてもよいし、同時並行して行ってもよい。

以上のように、切り取り設定部４４は、入力画像の或る辺側に切り取り領域を設定した場合、補正後の出力画像のアスペクト比が、補正前の入力画像のアスペクト比と同じになるように、入力画像における当該或る辺（第１の辺）と対向しない辺（第２の辺）側を切り取ることで、画像のアスペクト比を維持した出力画像を得ることができる。

一実施形態において、切り取り設定部４４は、補正前の入力画像の横の画素数をｎｘ、補正前の入力画像の縦の画素数をｎｙ、切り取り領域の幅をｗとすると、（ｉ）対象領域が入力画像の右辺または左辺に近く、右辺側または左辺側に切り取り領域を設定した場合には、さらに、上辺側または下辺側にｗ（ｎｙ／ｎｘ）の幅の切り取り領域を設定すればよく、（ｉｉ）対象領域が入力画像の上辺または下辺に近く、上辺側または下辺側に切り取り領域を設定した場合には、さらに、右辺側または左辺側にｗ（ｎｘ／ｎｙ）の幅の切り取り領域を設定すればよい。

＜処理例７＞
次に、アスペクト比を調整するために、画像の切り取る位置を設定する方法について述べる。図１１の（ａ）は、人物の顔（対象領域）９０１および他の人物の顔９０３を含む入力画像に対して、顔９０１を縮小する補正が行われた後の画像９００を示しており、網掛で示す領域９０２は、画素値が不定な領域を示している。切り取り設定部４４は、領域９０２を含む長方形の領域９０５を切り取り領域として設定する。

ここで、本実施形態では、切り取り設定部４４は、画素値が不定となる領域９０２を含む長方形の領域９０５に加えて、出力画像のアスペクト比が入力画像のアスペクト比と同じになるよう、画像９００において領域９０２が設定された右辺側とは対向しない上辺側または下辺側に、切り取り領域をさらに設定する。

このとき、処理例７では、切り取り設定部４４は、画像９００の上辺側には人物の顔９０３が写っているため、図１１の（ｃ）に示すように、画像９００の下辺側の領域９０６を切り取り領域として設定する。これにより、画像補正部４５によって切り取り領域が切り取られた画像９０４は、図１１の（ｂ）に示すように、人物の顔９０１と人物の顔９０３とがともに写っており、補正前の入力画像のアスペクト比と同じアスペクト比となるため好適である。

なお、切り取り設定部４４が、画像のアスペクト比を補正前後で変化させないための切り取り領域の候補領域から、切り取り領域を選択する基準は、人物の顔が含まれているか否かという基準に限定されない。例えば、切り取り設定部４４は、アスペクト比を補正前後で変化させないための切り取り領域の候補領域に人物の顔が含まれていない場合に、人物以外の注目被写体が含まれるか否かを判定し、注目被写体が含まれない候補領域を切り取り領域として設定してもよい。また、切り取り設定部４４は、いずれの候補領域にも人物の顔も注目被写体も含まれない場合に、各候補領域の特徴量を算出し、特徴量の少ない候補領域を除外するように切り出してもよい。切り取り設定部４４は、例えば、エッジ検出や彩度等の色情報等を利用して特徴量を算出することができる。

すなわち、切り取り設定部４４は、画像のアスペクト比を補正前後で変化させないために、上辺または下辺（あるいは右辺または左辺）側に、特定の幅（第１の幅）の切り取り領域を設定する場合、上辺または下辺（あるいは右辺または左辺）のうち当該辺から特定の幅内に注目画素が含まれない辺側に切り取り領域を設定する。これにより、切り取り設定部４４は、出力画像において、重要な部位が失われることを避けることができる。

ここで、注目画素とは、人物、注目被写体を検出するための特徴点、または、特徴量を検出するための画素を意味する。

＜処理例８＞
次に、アスペクト比を調整するために、画像の切り取る位置を設定する方法として、人物の顔の位置に基づく方法を用いてもよい。図１２の（ａ）は、人物の顔（対象領域）１００１を含む入力画像に対して、顔１００１を縮小する補正が行われた後の画像１０００を示しており、網掛で示す領域１００２は、画素値が不定な領域を示している。切り取り設定部４４は、領域１００２を含む長方形の領域１００５を切り取り領域として設定する。

ここで、本実施形態では、切り取り設定部４４は、画素値が不定となる領域１００２を含む長方形の領域１００５に加えて、出力画像のアスペクト比が入力画像のアスペクト比と同じになるよう、画像１０００において領域１００２が設定された右辺側とは対向しない上辺側または下辺側に、切り取り領域をさらに設定する。

このとき、処理例８では、切り取り設定部４４は、図１２の（ｄ）に示すように、人物１００１を含む縮小領域から遠い方の辺である画像１０００の上辺側の領域１００６を切り取り領域として設定する。これにより、画像補正部４５によって切り取り領域が切り取られた画像１００３は、図１２の（ｂ）に示すように、人物の顔１００１が画像１００３の中央に近い位置に写っており、注目の対象となるべき対象領域をより画像の中央に近づけることができるとともに、補正前の入力画像のアスペクト比と同じアスペクト比となるため好適である。

なお、切り取り設定部４４が、図１２の（ｅ）に示すように、人物１００１を含む縮小領域から近い方の辺である画像１０００の下辺側の領域１００７を切り取り領域として設定すると、画像補正部４５によって切り取り領域が切り取られた画像１００４は、図１２の（ｃ）に示すように、人物の顔１００１が画像１００３の中央から離れた位置に写ってしまう。

〔実施形態３〕
本発明の他の実施形態（実施形態３）について、図１３に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。

実施形態３では、制御部４０は、アスペクト比を調整した画像に対し、画素数変換を行うことで、更に好適な出力画像を生成する。以下、本実施形態における補正処理の詳細について処理例を挙げて説明する。

＜処理例９＞
図１３の（ａ）は、処理例９において用いる画像１１００を示しており、人物の顔（対象領域）１１０１が写っている。

図１３の（ｂ）は、処理例６〜８と同様に、人物の顔１１０１を小さくする画像補正を行い、画素値が不定となる領域１１０４である切り取り領域、および、アスペクト比を調整するため切り取り領域１１０５を切り取った画像１１０２を示している。図１３の（ｂ）に示す画像１１０２と、図１３の（ｄ）に示す画像１１００とでは、アスペクト比は同じであるが、切り取り領域を切り取った分画像の画素数が異なる。その場合、撮像装置で画像を撮影する場合に、予め設定した画像の画素数より画素数の少ない画像を出力されることになる。

そこで、本実施形態では、画像補正部４５は、画素値が不定となる領域１１０４である切り取り領域、および、アスペクト比を調整するため切り取り領域１１０５を切り取ることによって、画像の縦の画素数および横の画素数が、入力画像の縦の画素数および横の画素数と異なる場合に、入力画像と出力画像とで、縦の画素数および横の画素数が一致するよう、切り取り領域を切り取った画像１１０２を拡大する。

画像の拡大処理は、ニアレストネイバー法や、バイリニア法、バイキュービック法などの既知の補間方法により実行可能である。図１３の（ｃ）は、画像補正部４５により画像１１０２から拡大された画像１１０３を示している。図１３の（ｃ）に示す画像１１０３と、図１３の（ｅ）に示す画像１１００とは、画像の大きさ（画素数）が一致し、人物の顔１１０１が小さく補正されている。これにより、画像補正部４５は、入力画像と画素数が同じで、かつ、補正対象被写体が好適に補正された画像を生成することができる。

なお、制御部４０は、切り取りによるアスペクト比の調整と画素数変換とを、必ずしも図１３の（ａ）〜（ｃ）の順に補正を進める必要はなく、順番を入れ替えてもよいし、同時並行して行ってもよい。

〔実施形態４〕
本発明の他の実施形態（実施形態４）について、図１４に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。

制御部４０は、画素値が不定な領域を切り取った後の画像において、一部の領域を拡大することにより、補正前後で画像のアスペクト比の変化のない好適な出力画像を生成する。以下、本実施形態における補正処理の詳細について処理例を挙げて説明する。

＜処理例１０＞
図１４の（ａ）は、処理例１０において用いられる、人物の顔（対象領域）１５０１を含む画像１５００を示す図である。補正領域設定部４２は、画像１５００に対し、縮小領域１５１１および拡大領域１５１２を設定する。

図１４の（ｂ）は、顔１５０１を縮小する補正が行われ、さらに、画素値が不定な領域１５０５が切り取られた画像１５０２を示している。画像１５０２は、画像１５００の右側が切り取られているため、画像１５００と画像のアスペクト比が異なる。

そこで、本実施形態では、補正領域設定部４２は、出力画像のアスペクト比が入力画像のアスペクト比と同じになるよう、図１４の（ｂ）に示すように、縮小領域１５１１に対して、画像が切り取られた辺（右辺、第１の辺）と対向する辺（左辺、第３の辺）側に、第２の拡大領域（第３領域）１５０６を設定する。これにより、画像補正部４５によって、第２の拡大領域１５０６の幅が、幅１５０７から幅１５１０に拡大された画像１５０８は、図１４の（ｃ）に示すように、領域１５０５が切り取られたことによって減少した横方向の画素数を補い、補正前の画像のアスペクト比と同じアスペクト比となる。

これにより、実施形態２とは異なり、不要な切り取りを行うことなく、アスペクト比を調整することができる。なお、第２の拡大領域１５０６は広い方が好ましい。第２の拡大領域１５０６が広ければ、第２の拡大領域１５０６の拡縮率βが１に近い値となり、出力画像の品質が落ちることを抑制することができる。

また、補正領域設定部４２は、縮小領域に対して、画像が切り取られた辺と対向する辺側に位置する領域のうち、注目画素が含まれない領域を第２の拡大領域１５０６とすることが好ましい。これにより、第２の拡大領域１５０６に、人物の顔等が含まれ、当該顔等が変形することを避けることができる。

〔実施形態５〕
本発明の他の実施形態（実施形態５）について、図１５〜１８に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。

本実施形態に係る画像処理装置は、縮小領域が入力画像の或る辺（第１の辺）に近づき、縮小領域の第１の辺側に十分な幅の拡大領域を設定することができない場合、縮小領域の縮小方向を変更することにより、画素値が不定な領域が発生することを避ける。これは、実施形態１〜４に係る画像処理装置が第１の辺側に切り取り領域を設定するのとは異なる。

図１５は、本実施形態に係る制御部の一構成例を示す機能ブロック図である。本実施形態に係る画像印刷装置は、制御部４０に替えて、制御部（画像処理装置）１４０を備えている他は、実施形態１に係る画像印刷装置１と同様の構成を備える。図１５に示すように、制御部１４０は、被写体検出部１４１、補正領域設定部１４２、補正方向設定部１４３および画像補正部１４４を備えている。補正領域設定部１４２、補正方向設定部１４３および画像補正部１４４を合わせて補正処理部とも称する。

被写体検出部１４１は、被写体検出部４１と同様の機能を有する。補正領域設定部１４２は、補正領域設定部４２と同様の機能を有する。補正方向設定部１４３は、補正強度設定部４３と同様の機能を有し、さらに、後述するように、縮小領域の縮小方向および拡大領域を変更する機能、切り取り領域を設定する機能を有する。画像補正部１４４は、画像補正部４５と同等の機能を有する。

次に、図１６を用いて、本実施形態の制御部１４０における画像処理の流れを説明する。図１６は、制御部１４０における画像処理の流れの一例を示すフローチャートである。

被写体検出部１４１は、撮像部１０によって撮像された画像を入力画像として取得すると、当該入力画像から、補正対象となる被写体を検出する（Ｓ２０１：対象領域検出工程）。補正領域設定部１４２は、被写体検出部４１が検出した被写体が示す情報に基づいて、縮小領域および拡大領域を設定する（Ｓ２０２：補正処理工程）。また、補正方向設定部１４３は、補正領域設定部４２が設定した縮小領域および拡大領域を示す情報に基づいて、補正強度（縮小領域における縮小の倍率α、および、拡大領域における拡大の倍率β）を設定すると共に、必要に応じて、縮小領域の縮小方向の変更、拡大領域の変更、および、切り取り領域の設定のうちの幾つかを行う（Ｓ１６０３：補正処理工程）。そして、画像補正部１４４は、縮小領域を縮小し、拡大領域を拡大し、必要に応じて切り取り領域を切り取ることにより、出力画像を生成する（Ｓ２０５：補正処理工程）。そして、制御部４０は、生成した出力画像を、印刷部５０または表示部３０に出力する。

続いて、制御部１４０による補正処理の詳細について処理例を挙げて説明する。

＜処理例１１＞
図１７の（ａ）は、処理例１１において用いる入力画像１７００、および、補正領域設定部１４２が入力画像１７００に設定する補正領域（縮小領域１７０２および拡大領域１７０３）を示している。入力画像１７００では、人物の顔（対象領域）１７０１が右端に位置しているため、補正領域設定部１４２は、入力画像１７００の右辺に接するように縮小領域１７０２を設定する。そのため、補正領域設定部１４２は、縮小領域１７０２の左側のみに拡大領域１７０３を設定することができ、縮小領域１７０２の右側には、十分な幅の拡大領域を設定することができない。

このとき、補正方向設定部１４３は、縮小領域１７０２の縮小方向を、入力画像１７００の右辺から縮小領域１７０２の内側に向かわないように変更する。例えば、補正方向設定部１４３は、縮小領域１７０２の縮小方向を、縮小領域１７０２が近接する辺（入力画像１７００の右辺）側に向かうように変更する。また、補正方向設定部１４３は、縮小領域１７０２に対して、縮小領域１７０２が近接する辺（入力画像１７００の右辺）側には、拡大領域が設定されないように、拡大領域を再設定する。

図１７の（ｂ）は、入力画像１７００に対し、補正方向設定部１４３が変更した縮小方向で、顔１７０５の幅を小さくするように補正した出力画像１７０４を示している。補正後の人物の顔１７０５の幅（＝補正後の縮小領域１７０６の幅）は、補正前の人物の顔１７０１の幅（＝補正前の縮小領域１７０２の幅）に対し、細く補正されている。

ここで、縮小領域１７０２の縮小方向が右方向になるため、縮小領域１７０２の右端ｘ＝ｅからの距離がｌである点Ｐ＝（ｅ−ｌ，ｙ）を、点Ｐ’＝（ｅ−αｌ，ｙ）に写す補正がなされ、補正後の縮小領域１７０６の右端もｘ＝ｅとなる。そのため、縮小領域１７０２の右側には、拡大領域を設定する必要がなくなる。そのため、参考例１のように、縮小領域と、入力画像のある一辺（第１の辺）とが近づき、縮小領域の第１の辺側に十分な拡大領域を設定することができない場合であっても、縮小領域の第１の辺側に画素値が不定な領域が発生することを避けることができる。

なお、補正前の縮小領域１７０２の左端をｘ＝ｅ−ｗとすると、補正後の縮小領域１７０６の左端はｘ＝ｅ−αｗとなり、ｘ＝ｅ−ｗよりも右側にずれるため、画像補正部１４４は、拡大領域１７０７およびその左側の領域を右側にずらす。その結果、補正後の出力画像１７０４の左端の網掛けで示す領域１７０４が、画素値が不定な領域となる。

そこで、補正方向設定部１４３は、領域１７０４を切り取り領域として設定する。その結果、図１７の（ｃ）に示すように、画像補正部１４４は、出力画像１７０４から画素値が不定となる領域１７０８が切り取られた出力画像１７０９を生成することができる。これにより、画素値が不定な領域が含まれない好適な出力画像を得ることができる。

なお、補正方向設定部１４３は、領域１７０４を切り取り領域として設定する代わりに、領域１７０４と拡大領域１７０７とに挟まれた領域を、領域１７０４を補充するように拡大することによっても、画素値が不定な領域が含まれない好適な出力画像を得ることができる。

このように、本実施例における補正方向設定部１４３は、縮小領域の縮小方向が、入力画像の１つの辺（第１の辺）側から縮小領域の内側に向かう場合、縮小領域から当該第１の辺までの距離に応じて、縮小領域の縮小方向を変更するか否かを決定し、縮小領域の縮小方向を変更するときには、縮小領域の縮小方向を、第１の辺側から縮小領域の内側に向かわないように変更する。これにより、画素値が不定な領域が含まれない好適な出力画像を得ることができる。

＜処理例１２＞
図１８の（ａ）は、処理例１２において用いる入力画像１８００、および、補正領域設定部１４２が入力画像１８００に設定する補正領域（縮小領域１８０２および拡大領域１８０３）を示している。入力画像１８００では、人物の顔（対象領域）１８０１が右端に位置しているため、補正領域設定部１４２は、入力画像１８００の右辺に接するように縮小領域１８０２を設定する。そのため、補正領域設定部１４２は、縮小領域１８０２の左側のみに拡大領域１８０３を設定することができ、縮小領域１８０２の右側には、十分な幅の拡大領域を設定することができない。

このとき、補正方向設定部１４３は、処理例１１と同様、縮小領域１８０２の縮小方向を、入力画像１８００の右辺から縮小領域１８０２の内側に向かわないように変更し、縮小領域１８０２に対して、縮小領域１８０２が近接する辺（入力画像１８００の右辺）側には、拡大領域が設定されないように、拡大領域を再設定する。さらに、補正方向設定部１４３は、拡大領域１８０３の拡大率を大きくする。

図１８の（ｂ）は、入力画像１８００に対し、補正方向設定部１４３が変更した縮小方向で、顔１８０５の幅を小さくするように補正した出力画像１８０４を示している。補正後の人物の顔１８０５の幅（＝補正後の縮小領域１８０６の幅）は、補正前の人物の顔１８０１の幅（＝補正前の縮小領域１８０２の幅）に対し、細く補正されている。また、縮小領域１８０２の細くなった幅が、拡大領域１８０３が太くなることによって補充されており、補正後の拡大領域１８０７から左側の領域は拡大も縮小もされていない。これにより、画素値が不定な領域が含まれない好適な出力画像を得ることができる。

〔ソフトウェアによる実現例〕
制御部（画像処理装置）４０および１４０の制御ブロック（特に被写体検出部４１、補正領域設定部４２、補正強度設定部４３、切り取り設定部４４、画像補正部４５、被写体検出部１４１、補正領域設定部１４２、補正方向設定部１４３および画像補正部１４４）は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）を用いてソフトウェアによって実現してもよい。

後者の場合、制御部（画像処理装置）４０および１４０は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

〔まとめ〕
本発明の態様１に係る画像処理装置（制御部４０）は、画像における第１領域（縮小領域）を縮小し、前記第１領域の外側の第２領域（拡大領域）を拡大することにより、前記画像を補正する補正処理部（補正領域設定部４２、補正強度設定部４３、切り取り設定部４４、画像補正部４５）を備え、前記補正処理部は、前記第１領域の縮小方向が、前記画像の第１の辺側から前記第１領域の内側に向かう場合、前記第１領域から前記第１の辺までの距離に応じて、前記画像における前記第１の辺側を切り取るか否かを決定する。

上記の構成において、第１領域（縮小領域）の縮小方向が、画像の第１の辺側から第１領域の内側に向かい、かつ、第１領域から第１の辺までの距離が近く、第１領域の第１の辺側に十分な幅の第２領域（拡大領域）を設けることができない場合、出力画像の第１の辺側に画素値が不定な領域が生じ得る。そのため、第１領域から第１の辺までの距離によっては、画像における第１の辺側を切り取るようにすることで、画素値が不定な領域が含まれない好適な出力画像を得ることができる。

本発明の態様２に係る画像処理装置は、上記態様１において、前記補正処理部は、前記第１領域と前記第１の辺とが接している場合、前記画像における前記第１の辺側を切り取るようになっていてもよい。

上記の構成によれば、第１領域（縮小領域）が入力画像の第１の辺に接しており、第１領域（縮小領域）の当該第１の辺側に一切第２領域（拡大領域）を設定することができない場合であっても、画素値が不定な領域が含まれない好適な出力画像を得ることができる。

本発明の態様３に係る画像処理装置は、上記態様１または２において、前記補正処理部は、前記第１領域から前記第１の辺までの距離が、前記第１領域を挟んで前記第１の辺とは反対側の前記第２領域の幅よりも狭い場合、前記画像における前記第１の辺側を切り取るようになっていてもよい。

上記の構成によれば、第１領域（縮小領域）が入力画像の第１の辺に近く、第１領域（縮小領域）の当該第１の辺側に十分な幅の第２領域（拡大領域）を設定することができない場合であっても、画素値が不定な領域が含まれない好適な出力画像を得ることができる。

本発明の態様４に係る画像処理装置は、上記態様１〜３において、前記補正処理部は、補正後の前記画像のアスペクト比が、補正前の前記画像のアスペクト比と同じになるように、前記画像における前記第１の辺と対向しない第２の辺側を切り取るようになっていてもよい。

上記の構成によれば、画像のアスペクト比を維持した出力画像を得ることができる。

本発明の態様５に係る画像処理装置は、上記態様４において、前記補正処理部は、前記第２の辺側を第１の幅切り取り、前記画像における前記第１の辺と対向しない各辺のうち、当該辺から前記第１の幅内に注目画素が含まれない辺を前記第２の辺とするようになっていてもよい。

上記の構成によれば、出力画像において、重要な部位が失われることを避けることができる。

本発明の態様６に係る画像処理装置は、上記態様４において、前記補正処理部は、前記画像における前記第１の辺と対向しない各辺のうち、前記第１領域から遠い方の辺を前記第２の辺とするようになっていてもよい。

上記の構成によれば、出力画像において、注目の対象となるべき対象をより画像の中央に近づけることができる。

本発明の態様７に係る画像処理装置は、上記態様４〜６の何れか一態様において、前記補正処理部は、補正後の前記画像の縦方向の画素数および横方向の画素数が、補正前の前記画像の縦方向の画素数および横方向の画素数と同じになるように、前記第１の辺および前記第２の辺を切り取った前記画像全体を拡大するようになっていてもよい。

上記の構成によれば、画像の縦方向の画素数および横方向の画素数を維持した出力画像を得ることができる。

本発明の態様８に係る画像処理装置は、上記態様１〜３において、前記補正処理部は、補正後の前記画像のアスペクト比が、補正前の前記画像のアスペクト比と同じになるように、前記第１領域に対して前記第１の辺と対向する第３の辺側に位置する第３領域を拡大するようになっていてもよい。

上記の構成によれば、画像のアスペクト比を維持した出力画像を得ることができる。

本発明の態様９に係る画像処理装置は、上記態様８において、前記補正処理部は、前記第１領域に対して前記第３の辺側に位置する領域のうち注目画素が含まれない領域を前記第３領域とするようになっていてもよい。

上記の構成によれば、重要な部位を変形させずに、アスペクト比を維持した高品質な出力画像を得ることができる。

本発明の態様１０に係る画像処理装置（制御部１４０）は、画像における第１領域（縮小領域）を縮小し、前記第１領域の外側の第２領域（拡大領域）を拡大することにより、前記画像を補正する補正処理部（補正領域設定部１４２、補正方向設定部１４３、画像補正部１４４）を備え、前記補正処理部は、前記第１領域の縮小方向が、前記画像の第１の辺側から前記第１領域の内側に向かう場合、前記第１領域から前記第１の辺までの距離に応じて、前記第１領域の縮小方向を、前記画像の第１の辺側から前記第１領域の内側に向かわないように変更するか否かを決定する。

上記の構成において、第１領域（縮小領域）の縮小方向が、画像の第１の辺側から第１領域の内側に向かい、かつ、第１領域から第１の辺までの距離が近く、第１領域の第１の辺側に十分な幅の第２領域（拡大領域）を設けることができない場合、出力画像の第１の辺側に画素値が不定な領域が生じ得る。そのため、第１領域から第１の辺までの距離によっては、第１領域の縮小方向を、画像の第１の辺側から第１領域の内側に向かわないように変更することで、画素値が不定な領域が含まれない好適な出力画像を得ることができる。

本発明の態様１１に係る撮像装置２は、撮像部１０と、前記撮像部１０が撮像した前記画像を補正する、上記態様１〜１０の何れか一態様に係る画像処理装置と、を備えている。

上記の構成によれば、ユーザは、人物の顔を撮像し、撮像した画像に対し画像処理を好適に施すことができる。

本発明の態様１２に係る画像印刷装置１は、上記態様１〜１０の何れか一態様に係る画像処理装置と、前記画像処理装置が補正した前記画像を印刷する印刷部５０と、を備えている。

上記の構成によれば、ユーザは、画像処理が施された画像を容易に印刷することができる。

本発明の態様１３に係る画像印刷装置１は、撮像部１０と、前記撮像部１０が撮像した前記画像に対して画像処理を行う、上記態様１〜１０の何れか一態様に係る画像処理装置と、前記画像処理装置が補正した前記画像を印刷する印刷部５０と、を備えている。

上記の構成によれば、ユーザは、撮像した画像に対し画像処理が施された画像を容易に印刷することができる。

本発明の態様１４に係る画像処理装置の制御方法は、画像における第１領域を縮小し、前記第１領域の外側の第２領域を拡大することにより、前記画像を補正する画像補正工程を含み、前記画像補正工程では、前記第１領域の縮小方向が、当該第１の辺側から前記第１領域の内側に向かう場合、前記第１領域から前記第１の辺までの距離に応じて、前記画像における当該第１の辺側を切り取るか否かを決定する。

また、本発明の態様１５に係る画像処理装置の制御方法は、画像における第１領域を縮小し、前記第１領域の外側の第２領域を拡大することにより、前記画像を補正する画像補正工程を含み、前記画像補正工程では、前記第１領域の縮小方向が、当該第１の辺側から前記第１領域の内側に向かう場合、前記第１領域から前記第１の辺までの距離に応じて、前記第１領域の縮小方向を、前記画像の第１の辺側から前記第１領域の内側に向かわないように変更するか否かを決定する。

上記の構成によれば、本発明の一態様に係る画像処理装置と同等の効果を奏する。

さらに、本発明の各態様に係る画像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを前記画像処理装置が備える各部（ソフトウェア要素）として動作させることにより前記画像処理装置をコンピュータにて実現させる画像処理装置の画像処理プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

〔付記事項〕
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

（関連出願の相互参照）
本出願は、２０１７年４月２０日に出願された日本国特許出願：特願２０１７−０８４００３に対して優先権の利益を主張するものであり、それを参照することにより、その内容の全てが本書に含まれる。

１ 画像印刷装置
２ 撮像装置
１０ 撮像部
４０、１４０ 制御部（画像処理装置）
４１、１４１ 被写体検出部（対象領域検出部）
４２、１４２ 補正領域設定部（補正処理部）
４３ 補正強度設定部（補正処理部）
４４ 切り取り設定部（補正処理部）
４５、１４４ 画像補正部（補正処理部）
１４３ 補正方向設定部（補正処理部）
５０ 印刷部

Claims (16)

1. 人物の顔を含む画像における第１領域を縮小し、前記第１領域の外側の第２領域を拡大することにより、前記画像を補正する補正処理部を備え、
   前記補正処理部は、前記第１領域の縮小方向が、前記画像の第１の辺側から前記第１領域の内側に向かう場合、前記第１領域から前記第１の辺までの距離に応じて、前記画像における前記第１の辺側を切り取るか否かを決定することを特徴とする画像処理装置。
2. 前記補正処理部は、前記第１領域と前記第１の辺とが接している場合、前記画像における前記第１の辺側を切り取ることを特徴とする請求項１に記載の画像処理装置。
3. 前記補正処理部は、前記第１領域から前記第１の辺までの距離が、前記第１領域を挟んで前記第１の辺とは反対側の前記第２領域の幅よりも狭い場合、前記画像における前記第１の辺側を切り取ることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記補正処理部は、補正後の前記画像のアスペクト比が、補正前の前記画像のアスペクト比と同じになるように、前記画像における前記第１の辺と対向しない第２の辺側を切り取ることを特徴とする請求項１〜３の何れか一項に記載の画像処理装置。
5. 前記補正処理部は、前記第２の辺側を第１の幅切り取り、前記画像における前記第１の辺と対向しない各辺のうち、当該辺から前記第１の幅内に注目画素が含まれない辺を前記第２の辺とすることを特徴とする請求項４に記載の画像処理装置。
6. 前記補正処理部は、前記画像における前記第１の辺と対向しない各辺のうち、前記第１領域から遠い方の辺を前記第２の辺とすることを特徴とする請求項４に記載の画像処理装置。
7. 前記補正処理部は、補正後の前記画像の縦方向の画素数および横方向の画素数が、補正前の前記画像の縦方向の画素数および横方向の画素数と同じになるように、前記第１の辺および前記第２の辺側を切り取った前記画像全体を拡大することを特徴とする請求項４〜６の何れか一項に記載の画像処理装置。
8. 前記補正処理部は、補正後の前記画像のアスペクト比が、補正前の前記画像のアスペクト比と同じになるように、前記第１領域に対して前記第１の辺と対向する第３の辺側に位置する第３領域を拡大することを特徴とする請求項１〜３の何れか一項に記載の画像処理装置。
9. 前記補正処理部は、前記第１領域に対して前記第３の辺側に位置する領域のうち注目画素が含まれない領域を前記第３領域とすることを特徴とする請求項８に記載の画像処理装置。
10. 前記補正処理部は、前記第１領域の縮小方向が、前記画像の第１の辺側から前記第１領域の内側に向かう場合、前記第１領域から前記第１の辺までの距離に応じて、前記第１領域の縮小方向を、前記画像の第１の辺側から前記第１領域の内側に向かわないように変更するか否かを決定することを特徴とする請求項１に記載の画像処理装置。
11. 撮像部と、
    前記撮像部が撮像した前記画像を補正する、請求項１〜１０の何れか１項に記載の画像処理装置と、を備えていることを特徴とする撮像装置。
12. 請求項１〜１０の何れか１項に記載の画像処理装置と、
    前記画像処理装置が補正した前記画像を印刷する印刷部と、を備えていることを特徴とする画像印刷装置。
13. 撮像部と、
    前記撮像部が撮像した前記画像に対して画像処理を行う、請求項１〜１０の何れか１項に記載の画像処理装置と、
    前記画像処理装置が補正した前記画像を印刷する印刷部と、を備えていることを特徴とする画像印刷装置。
14. 人物の顔を含む画像における第１領域を縮小し、前記第１領域の外側の第２領域を拡大することにより、前記画像を補正する画像補正工程を含み、
    前記画像補正工程では、前記第１領域の縮小方向が、当該第１の辺側から前記第１領域の内側に向かう場合、前記第１領域から前記第１の辺までの距離に応じて、前記画像における当該第１の辺側を切り取るか否かを決定することを特徴とする画像処理装置の制御方法。
15. 前記画像補正工程では、前記第１領域の縮小方向が、当該第１の辺側から前記第１領域の内側に向かう場合、前記第１領域から前記第１の辺までの距離に応じて、前記第１領域の縮小方向を、前記画像の第１の辺側から前記第１領域の内側に向かわないように変更するか否かを決定することを特徴とする請求項１４に記載の画像処理装置の制御方法。
16. 請求項１〜１０の何れか一項に記載の画像処理装置としてコンピュータを機能させるための画像処理プログラムであって、上記補正処理部としてコンピュータを機能させるための画像処理プログラム。

Images