JP6032252B2 - 画像補正装置、画像補正方法及びプログラム - Google Patents

Description

本発明は、画像補正装置、画像補正方法及びプログラムに関する。

従来より、デジタルカメラ等で撮像される画像において、撮影レンズの歪曲収差による画像の歪みを軽減させるために、歪曲補正を行う技術がある。このような技術においては、例えば、撮像範囲中の被写体像の位置により歪曲補正の度合いを弱める技術が知られている（特許文献１を参照）。

特開２０１１−１２８９１３号公報

しかしながら、上述した特許文献では、撮影範囲中の被写体像の状況によっては歪曲の補正を弱める処理ではユーザの好みの画像が得られない虞がある。

本発明は、このような状況に鑑みてなされたものであり、撮影範囲中の被写体像の状況に応じて、ユーザの好みにより沿った画像の補正をすることを目的とする。

上記目的を達成するため、本発明の一態様の画像補正装置は、
画像を取得する取得手段と、
前記取得手段により取得された画像に歪曲補正を行う補正手段と、
前記取得手段により取得された画像中の人物の顔の傾きを判定する第１の判定手段と、
前記第１の判定手段により判定された顔の傾きに応じた強さで前記補正手段による画像の歪曲補正をさせるよう制御する制御手段と、
を備えたことを特徴とする。

本発明によれば、撮影範囲中の被写体像の状況に応じて、ユーザの好みにより沿った画像の補正をすることができる。

本発明の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。 本実施形態における画像補正の概念を説明するための模式図である。 図１の撮像装置の機能的構成のうち、歪曲補正処理を実行するための機能的構成を示す機能ブロック図である。 図２の機能的構成を有する図１の撮像装置が実行する歪曲補正処理の流れを説明するフローチャートである。 歪曲補正処理のうち、補正判定処理の流れを説明するフローチャートである。 歪曲補正処理のうち、顔歪み解析処理の流れを説明するフローチャートである。 歪曲補正処理のうち、像高差取得処理の流れを説明するフローチャートである。

以下、本発明の実施形態について、図面を用いて説明する。

図１は、本発明の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。
撮像装置１は、例えばデジタルカメラとして構成される。

撮像装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、入力部１７と、出力部１８と、記憶部１９と、通信部２０と、ドライブ２１と、を備えている。

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部１９からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。

ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６、入力部１７、出力部１８、記憶部１９、通信部２０及びドライブ２１が接続されている。

撮像部１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。

光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。

イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１６の出力信号として出力される。
このような撮像部１６の出力信号を、以下、「撮像画像のデータ」と呼ぶ。撮像画像のデータは、ＣＰＵ１１等に適宜供給される。

入力部１７は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部１８は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部１９は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部２０は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

ドライブ２１には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２１によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部１９にインストールされる。また、リムーバブルメディア３１は、記憶部１９に記憶されている画像のデータ等の各種データも、記憶部１９と同様に記憶することができる。

このように構成される撮像装置１においては、撮像画像中の人物の顔の傾きに応じた補正を行うことで、撮影レンズの歪曲収差を補正（以下、「収差補正」という。）すると共に、細顔の効果を付加する補正を行うことができる機能を有する。即ち、撮像装置１においては、撮影範囲中の被写体像の状況に応じて、ユーザの好みにより沿った画像の補正をすることができる機能を有する。

図２は、本実施形態における画像補正の概念を説明するための模式図である。
本実施形態においては、撮像画像中の人物の顔の傾きを考慮した画像補正を行うが、図２に示すように、顔の傾きは、撮像画像ＩＭＧ中の被写体像である人物の顔における両目の画像中心からの距離（以下、「像高」という。）の差（以下、「像高差」という。）によって特定する。即ち、顔Ｆ１は撮像画像中において、略傾いていない状態であるが、右目の位置の像高Ｒ１と左目の位置の像高Ｌ１との像高差が大きい、これに対して、顔Ｆ２は撮像画像中において、画像の中心に向かって放射状に傾いている状態であるが、右目の像高Ｒ２と左目の像高Ｒ２との像高差が小さい。
画像においては、レンズの歪曲収差の関係上、両目の位置が画像中心である歪曲補正中心からの像高差が大きいほど、顔の左右の歪みが大きくなる傾向がある。
また、画像中心である歪曲補正中心から顔の位置が離れるほど、歪みが大きくなるという傾向がある。
即ち、両目の位置が画像中心である歪曲補正中心からの像高差が小さく、かつ、歪曲補正中心から顔の位置が離れるほど、顔の左右に対して均等に大きく歪んでいることになる。逆に言えば、歪曲補正による細顔の効果が高いために、強めの補正を施すことで、顔の左右に対して均等に、歪む方向とは逆の方向に補正を施すことができ、細顔の効果を付与することができる。

図３は、このような撮像装置１の機能的構成のうち、歪曲補正処理を実行するための機能的構成を示す機能ブロック図である。

「歪曲補正処理」とは、ズーム位置に基づいて設定される歪曲補正の補正値に対応する補正強度に顔の歪みレベルから判定される歪曲状態に応じた補正強度を加味して、歪曲補正を行う一連の処理をいう。また、「歪曲補正処理」は、「補正判定処理」と、「顔歪み解析処理」と、を含む。

「補正判定処理」とは、被写体の顔の歪んだ程度（以下、「顔歪みレベル」という。）に応じた補正強度の設定を行うか否かを、顔の有無、連写モードの設定有無、その他の特殊事情の有無から判定する一連の処理である。

「顔歪み解析処理」とは、取得した像高差に基づいて、顔歪みレベルを算出し、複数の顔のうち、最大の顔の歪みレベルを解析して決定する一連の処理である。「顔歪み解析処理」は、「像高差取得処理」を含む。
「像高差取得処理」とは、検出した複数の目の位置情報に基づいて、像高差を確定する一連の処理である。目の位置情報とは、目の画像における座標値の情報と、目であるという可能性を示す信頼度の情報（以下、「信頼性情報」という。）を含む情報である。

歪曲補正処理は、図３に示すように、ＣＰＵ１１において、画像取得部５１と、ズーム位置取得部５２と、補正判定処理部５３と、補正値設定部５４と、顔歪み解析処理部５５と、像高差取得処理部５６と、補正前処理部５７と、画像補正部５８と、が機能する。

また、記憶部１９の一領域には、画像記憶部７１と、補正情報記憶部７２と、が設定される。

画像記憶部７１には、撮像部１６や外部から取得した画像のデータと、歪曲補正を行った画像（以下、「補正画像」という。）が記憶される。
補正情報記憶部７２には、補正に係る処理に用いる情報（以下、「補正情報」という。）が記憶される。補正情報には、例えば、ズーム位置の各段に対応した歪曲補正の補正強度を示す補正値、ズーム位置（ズーム位置に基づいて設定される補正値）に対応した補正の種類、補正の種類に応じた顔歪みレベルにおける補正強度の情報を含む。

画像取得部５１は、歪曲補正処理の実行にあたり、画像記憶部７１から補正の対象となる画像（以下、「対象画像」ともいう。）を取得する。

ズーム位置取得部５２は、撮像画像を用いる場合には、撮像時のズームの指示値を取得し、外部から取得した画像を用いる場合には、例えば、画像のヘッダ等に記憶されたズーム値を取得する。取得されたズーム値に基づいて、補正情報記憶部７２に記憶される補正値が設定される。また、取得されたズーム値は、補正により細顔効果が出やすい状態（レンズ特性）であるか否かの判定基準としても用いられる。

補正判定処理部５３は、補正判定処理を実行する。
具体的には、補正判定処理部５３は、像高差取得処理において目の位置情報が必要であるため画像において顔を検出したか否かを判定する。そして、補正判定処理部５３は、顔を検出した場合には、適応的補正を行うという判定結果となる。
また、補正判定処理部５３は、連写された複数の画像の各々に本発明の歪曲補正処理を補正強度を変化させて適用することにより、各画像の背景の歪み方が異なるものとさせてしまい、各画像の一連の見た目の自然さが崩れてしまう。このような状況を回避するために、補正判定処理部５３は、複数の画像が連写モードで撮影された画像か否かを判定し、連写モードで撮影された画像である場合、適応的補正を行わないと判定結果とする一方、連写モードで撮影された画像でないと判定された場合には、適応的補正を行うという判定結果となる。
また、補正判定処理部５３は、例えば、特定の撮影シーンのための撮影モードが設定されている等のその他の特殊な事情があるか否かを判定する。補正判定処理部５３は、その他の特殊な事情がない場合には、適応的補正を行うという判定結果となる。
なお、補正判定処理部５３は、補正判定処理にあたり、画像解析を行って、顔の検出と、当該顔が検出された場合に位置情報を取得する。

補正値設定部５４は、補正情報記憶部７２を参照して、ズーム位置取得部５２によって取得されたズーム位置に対応した歪曲補正の補正値を読み出して設定する。
また、補正値設定部５４は、補正判定処理部５３によって判定された結果に応じた補正値を設定する。また、補正値設定部５４は、適応的補正を行うと補正判定処理部５３によって判定された場合で、適応的補正を行う（詳細には、樽型補正を弱める）ときには、樽型補正の結果として、４隅以外の画角が狭くなることを防ぐため、４隅の照度等のケラレが入らない限界まで予め画角を拡げるように設定する。通常の歪曲補正においては、歪曲補正によってケラレ部分を含むことを防止するために、余白部分を多めにとった画角としているが、適応的補正を行う（詳細には、樽型補正を弱める）ときには、余白部分を通常の歪曲補正の場合に比べて少なく余白部分をとることになる。
なお、「樽型補正」とは、樽型の歪曲収差の補正に用いられる手法であり、画像の側辺が膨らんだ状態の画像を、当該膨らみを修正するように行う補正である。

顔歪み解析処理部５５は、顔歪み解析処理を実行する。
具体的には、顔歪み解析処理部５５は、取得された両目の位置の像高差に基づいて、顔歪みレベルを算出し、顔歪みレベルの最大値を解析結果とする。
顔歪みレベルの最大値を解析結果としたのは、複数の顔がある場合に、一番歪みが大きく出ている顔を適切に処理することを優先するためである。

ここで、顔歪みレベルの算出方法について説明する。
「顔歪みレベル」は、以下の式（１）により算出される。
顔歪みレベル＝両目の像高差×係数１×画像の中心座標から遠い方の目の像高×係数２・・・（１）
なお、「係数１」，「係数２」は、顔歪みレベルをレンズ特性に応じたものとなるように調整する調整値であり、画像中心からの目の遠近や目の傾き等に応じたレンズ特性に基づいて設定される調整値である。

また、「両目の像高差」は、以下の式（２）で求めた左右の目の像高に基づいて、式（３）により算出される。
目の像高＝（目の位置−中心座標）／（画像対角長／２）・・・（２）
両目の像高差＝｜右目像高−左目像高｜・・・（３）

像高差取得処理部５６は、像高差取得処理を実行する。
具体的には、像高差取得処理部５６は、検出した顔の情報（顔の位置情報及び信頼性情報）を取得する。本実施形態においては、検出された１つの顔において、３パターンの目の位置の候補が検出される。検出された目の位置の候補にはそれぞれ信頼の程度を値として表した信頼性情報が付与されている。

また、像高差取得処理部５６は、最も信頼性の高い第１候補と、次に信頼性の高い第２候補との信頼性の差を確認（第１の信頼性の確認）する。また、像高差取得処理部５６は、目の位置の信頼性の確認（第２の信頼性の確認）を行う。

また、像高差取得処理部５６は、取得した目の位置情報に基づいて、左右の目の位置それぞれについて、式（２）により像高を取得し、式（３）により目の像高差の値を算出する。
また、像高差取得処理部５６は、算出された像高差の値のうち、最小の値のものを像高差とする。

補正前処理部５７は、ズーム位置取得部５２により取得されたズーム位置に基づいて、適用すべき歪曲補正の種類を判定する。
詳細には、補正前処理部５７は、補正情報記憶部７２を参照して、ズーム位置取得部５２により取得されたズーム位置（本実施形態においては、ズーム位置に対応して設定された補正強度）に対応する適用すべき歪曲補正の種類を判定する。

具体的には、補正前処理部５７は、ズーム位置が広角側である場合、小顔効果が出やすいレンズ特性となり、樽型補正を適用すべき歪曲補正の種類となるように判定する。
これに対して、補正前処理部５７は、ズーム位置がズーム側である場合、小顔効果が出にくいレンズ特性となり、樽型以外の糸巻き補正等を適用すべき歪曲補正の種類を判定する。
なお、「糸巻き型補正」とは、糸巻き型の歪曲収差の補正に用いられる手法であり画像の側辺が凹んだ状態の画像を、当該凹みを修正するように行う補正である。

そして、補正前処理部５７は、補正の種類を樽型補正と判定した場合には、顔歪みレベルに応じて、歪曲補正強度抑制処理を実行する。
歪曲補正強度抑制処理では、顔歪みレベルが歪みを抑制すべきレベル（顔歪みレベルが最大レベルの「２５５」寄り）である場合には、歪曲補正を弱める処理がなされる。これに対して、顔歪みレベルが小顔効果を積極的に行うべきレベル（顔歪みレベルが最小レベルの「０」寄り）である場合には、歪曲補正を弱める処理をしないか、もしくは強める処理が行われる。なお、顔歪みレベルが歪み抑制方向である場合の顔歪みレベルが最小レベルの「０」に行う歪曲補正の補正強度は、適応的補正を行わないと判定された補正値と等しいものか近似したものとなる。
これに対して、補正前処理部５７は、補正の種類を樽型以外の糸巻き補正等と判定した場合には、顔歪みレベルに応じて、細顔効果を追加する歪曲補正強度追加処理を実行する。
歪曲補正強度追加処理では、顔歪みレベルが歪み抑制すべきレベルである場合には、抑制処理をせずに補正強度の変更を行わない。これに対して、顔歪みレベルが小顔処理を積極的にかけるレベルである場合には、歪曲補正により糸巻き状に画像補正をし、顔を周辺に引き伸ばすように補正強度を強める。即ち、設定された補正値に対応する補正強度に糸巻き型補正分の補正強度を追加することで、顔が周辺に向かって伸ばされるために細顔の効果が出る。

画像補正部５８は、補正値設定部５４により設定された補正値、又は補正値設定部５４により設定された補正値が補正前処理部５７により変更された補正値に対応する補正強度で歪曲補正を行う。

具体的には、画像補正部５８は、補正可否判定において、適切に適応的補正が機能しないと判定された場合には、補正値設定部５４により設定された補正値に対応する補正強度で歪曲補正を行う。

また、画像補正部５８は、適応的補正可否判定において、適切に適応的補正が機能すると判定された場合には、補正値設定部５４により設定された補正値を変更して歪曲補正を行う。

詳細には、画像補正部５８は、ズーム位置による補正値により、歪曲補正の効果が出やすいときに細顔効果が適切に機能する場合には、顔歪みレベルに応じて、歪曲補正を弱めないか、強めるように変更した補正値に対応する補正強度で、歪曲補正を行う。
また、画像補正部５８は、ズーム位置による補正値により、補正が出やすいときに細顔効果が不適切となる場合には、顔歪みレベルに応じて、補正強度を弱めるために、樽型補正分の補正強度を低減させた補正強度で、歪曲補正を行う。
また、画像補正部５８は、ズーム位置による補正値により、歪曲補正の効果が出にくいときに細顔効果が適切となる場合には、顔歪みレベルに応じて、糸巻き型補正分の補正強度を追加した補正値に対応する補正強度で、歪曲補正を行う。
また、画像補正部５８は、ズーム位置による補正値により、歪曲補正の効果が出やすいときに細顔効果が不適切となる場合には、補正強度を変更しないままの補正値に対応する補正強度で歪曲補正を行う。

図４は、図２の機能的構成を有する図１の撮像装置１が実行する歪曲補正処理の流れを説明するフローチャートである。
歪曲補正処理は、ユーザによる入力部１７への歪曲補正処理開始の操作により開始される。また、歪曲補正処理の実行にあたり、画像取得部５１は、対象画像を取得する。

ステップＳ１１において、ズーム位置取得部５２は、補正強度のベース値を設定するために、対象画像の撮影時のズーム位置を取得する。取得したズーム位置に基づいて、補正情報記憶部７２を参照し、対応する補正値が導き出される。

ステップＳ１２において、補正判定処理部５３は、補正判定処理を実行する。補正判定処理の実行の結果、適応的補正を行うか否かの可否の判定結果が決定される。補正判定処理の流れについては後述する。

ステップＳ１３において、補正判定処理部５３は、適応的な補正をすべきか否かを判定する。
適応的な補正をすべきでない場合には、ステップＳ１３においてＮＯと判定されて、処理はステップＳ１４に進む。

ステップＳ１４において、補正値設定部５４は、補正情報記憶部７２から歪曲補正の補正値を読み出して第２の歪曲補正値として取得する。また、補正値設定部５４は、「ｎｏｒｍａｌ」として、通常の歪曲補正時の余白となるように画角を狭めるように設定する。その後、処理は、ステップＳ２０に進む。ステップＳ２０の処理については後述する。

これに対して、適応的な補正とすべきであると判定される場合には、ステップＳ１３においてＹＥＳと判定されて、処理はステップＳ１５に進む。

ステップＳ１５において、補正値設定部５４は、補正情報記憶部７２から歪曲補正の補正値を読み出して第１の歪曲補正値として取得する。また、補正値設定部５４は、収差補正の設定値の他に、後の樽型の歪曲補正を弱める場合に、画像の４隅のケラレを入れない様に、補正後の４隅の位置を固定するため、４隅以外の画角が狭くなるため、画角を拡げるように設定する。
また、補正値設定部５４は、適応的補正を行うと補正判定処理部５３によって判定された場合で、適応的補正を行う（詳細には、樽型補正を弱める）ときには、樽型補正の結果として、４隅以外の画角が狭くなることを防ぐため、４隅の照度等のケラレが入らない限界まで予め画角を拡げる画角となるように設定する。

ステップＳ１６においては、顔歪み解析処理部５５は、顔歪み解析処理を実行する。顔歪み解析処理の実行の結果、顔歪みレベルの最大値が解析結果として取得される。顔歪み解析処理の流れについては、後述する。

ステップＳ１７において、補正前処理部５７は、歪曲状態を判定する。即ち、補正前処理部５７は、ズーム位置取得部５２により取得されたズーム位置に基づいて、適用すべき歪曲補正の種類を判定する。詳細には、補正前処理部５７は、補正情報記憶部７２を参照して、ズーム位置取得部５２により取得されたズーム位置（本実施形態においては、ズーム位置に対応して設定された補正値）に対応する適用すべき歪曲の状態を判定する。
具体的には、補正前処理部５７は、ズーム位置が広角側である場合、小顔効果が出やすいレンズ特性となるため、樽型補正を適用すべき歪曲の状態と判定する。
これに対して、補正前処理部５７は、ズーム位置がズーム側である場合、小顔効果が出にくいレンズ特性となるため、樽型以外の糸巻き補正等を適用すべき歪曲の状態と判定する。
なお、「糸巻き型補正」とは、糸巻き型の歪曲収差の補正に用いられる手法であり画像の側辺が凹んだ状態の画像を、当該凹みを修正するように行う補正である。
歪曲状態が樽型である場合には、ステップＳ１７においてＹＥＳと判定されて、処理はステップＳ１８に進む。

ステップＳ１８において、補正前処理部５７は、歪曲状態が樽型と判定されたため、歪曲補正強度を抑制する補正値となるように歪曲補正強度抑制処理を行う。
詳細には、歪曲補正強度抑制処理では、顔歪みレベルが歪み抑制すべきレベル（顔歪みレベルが最大レベルの「２５５」寄り）である場合には、歪曲補正の補正強度を弱める。これに対して、顔歪みレベルが小顔処理を積極的に行うべきレベル（顔歪みレベルが最小レベルの「０」寄り）である場合には、歪曲補正の補正強度を弱めないか、もしくは強める。なお、顔歪みレベルが最小レベルの「０」に行う歪曲補正の補正強度は、適応的補正を行わないと判定された補正値と等しいものか近似したものとなる。

これに対して、歪曲状態が樽型でなく樽型以外の糸巻き等である場合には、ステップＳ１７においてＮＯと判定されて、処理はステップＳ１９に進む。

ステップＳ１９において、補正前処理部５７は、歪曲状態が樽型以外の糸巻き型等と判定されたため、細顔効果を目的として、糸巻き型補正を追加する補正を行うように歪曲補正強度追加処理を行う。
詳細には、歪曲補正強度追加処理では、顔歪みレベルが歪みを抑制すべきレベル（顔歪みレベルが最大レベルの「２５５」寄り）である場合には、何もせずに補正値の変更を行わない。これに対して、顔歪みレベルが小顔効果を積極的に行うべきレベル（顔歪みレベルが最小レベルの「０」寄り）である場合には、歪曲補正により糸巻き状に画像補正をし、顔を周辺に引き伸ばす補正を行う。即ち、設定された補正強度である補正値に糸巻き型補正分に対応する補正値を追加することで、顔が周辺に向かってより強く伸ばされるよう補正されるために細顔の効果が出る。

ステップＳ２０において、画像補正部５８は、対象画像に対して、適応的補正の可否と、ズーム位置による小顔効果の出やすさと、細顔効果が適切となる顔歪みレベルの程度と、に基づいた歪曲補正を行う。
詳細には、画像補正部５８は、歪曲状態が樽型と判定された場合に、顔歪みレベルが歪みを抑制すべきレベル（顔歪みレベルが最大レベルの「２５５」寄り）であるときには、歪曲補正を弱めた補正強度で歪曲補正を行う。これに対して、顔歪みレベルが小顔効果を積極的に行うべきレベル（顔歪みレベルが最小レベルの「０」寄り）であるときには、歪曲補正を弱めないか、もしくは強めた補正強度で歪曲補正を行う。
また、画像補正部５８は、歪曲状態が樽型以外の糸巻き型等と判定された場合には、顔歪みレベルが歪みを抑制すべきレベル（顔歪みレベルが最大レベルの「２５５」寄り）であるときには、何もせずに補正強度の抑制を行わない歪曲補正強度追加処理で歪曲補正を行う。これに対して、顔歪みレベルが小顔効果を積極的に行うべきレベル（顔歪みレベルが最小レベルの「０」寄り）であるときには、歪曲補正により糸巻き状に画像補正をし、顔を周辺に引き伸ばす補正強度で歪曲補正を行う。
その後、歪曲補正処理は終了する。

図５は、歪曲補正処理のうち、補正判定処理の流れを説明するフローチャートである。

ステップＳ４１において、補正判定処理部５３は、顔の歪みの解析に目の位置を用いるため、顔が検出されたか否かを判定する。
顔が検出されたと判定されなかった場合には、ステップＳ４１においてＮＯと判定されて、処理はステップＳ４４に進む。ステップＳ４４以降の処理は後述する。
顔が検出されたと判定された場合には、ステップＳ４１においてＹＥＳと判定されて、処理はステップＳ４２に進む。

ステップＳ４２において、補正判定処理部５３は、連続画像として不自然になるのを避けるために、撮影モードが連写モードであるか否かを判定する。
撮影モードが連写モードの場合には、ステップＳ４２においてＮＯと判定されて、処理はステップＳ４４に進む。
撮影モードが連写モードでない場合には、ステップＳ４２においてＹＥＳと判定されて、処理はステップＳ４３に進む。

ステップＳ４３において、補正判定処理部５３は、その他の特殊事情があるか否かを判定する。
その他の特殊事情がない場合には、ステップＳ４３においてＮｏと判定されて、処理はステップＳ４４に進む。

ステップＳ４４において、補正判定処理部５３は、顔が検出されず、撮影モードが連写モードであり、あるいは、その他特殊事情がある場合であるため、適応的補正を行わない「不可」とする。

これに対して、その他の特殊事情がある場合には、ステップＳ４３においてＹＥＳと判定されて、処理はステップＳ４５に進む。

ステップＳ４５において、補正判定処理部５３は、顔が検出され、撮影モードが連写モードでなく、あるいは、その他特殊事情がない場合であるため、適応的補正を行う「可」とする。
その後、処理は歪曲補正処理に戻る。

図６は、歪曲補正処理のうち、顔歪み解析処理の流れを説明するフローチャートである。

ステップＳ６１において、顔歪み解析処理部５５は、像高差取得処理を実行する。像高差取得処理の実行の結果、検出された１つの顔に対しての両目の像高差を取得する。像高差取得処理の流れについては後述する。

ステップＳ６２において、顔歪み解析処理部５５は、顔の歪みレベルを算出する。
顔の歪みレベルは、式（１）により算出する。

ステップＳ６３において、顔歪み解析処理部５５は、検出された顔全てにおいて顔歪みレベルを算出したか否かを判定する。
検出された顔全てにおいて顔歪みレベルを算出していない場合には、ステップＳ６３においてＮＯと判定されて、処理はステップＳ６１に戻る。
検出された顔全てにおいて顔歪みレベルを算出した場合には、ステップＳ６３においてＹＥＳと判定されて、処理はステップＳ６４に進む。

ステップＳ６４において、顔歪み解析処理部５５は、算出された顔歪みレベルのうち、最大値を、顔歪みレベルの解析結果として取得する。その後、処理は歪曲補正処理に戻る。

図７は、歪曲補正処理のうち、像高差取得処理の流れを説明するフローチャートである。

ステップＳ８１において、像高差取得処理部５６は、検出した顔の情報（位置情報及び信頼性情報）を取得する。本実施形態においては、検出された顔において、３パターンの目の位置が検出される。検出された目の位置にはそれぞれ目として検出された信頼の程度を値として表した信頼性情報が付与されている。

ステップＳ８２において、像高差取得処理部５６は、最も信頼性の高い第１候補と、次に信頼性の高い第２候補との信頼性の差が所定の閾値以上か否かを判定する（第１の信頼性の確認）。
信頼性の差が閾値以上であった場合には、ステップＳ８２においてＹＥＳと判定されて、処理はステップＳ８９に進む。ステップＳ８９の処理は後述する。
信頼性の差が閾値未満であった場合には、ステップＳ８２においてＮＯと判定されて、処理はステップＳ８３に進む。

ステップＳ８３において、像高差取得処理部５６は、左右の目それぞれについて、像高を取得する。像高差取得処理部５６は、像高を式（２）により算出して取得する。

ステップＳ８４において、像高差取得処理部５６は、右目の像高と左目の像高の差分の絶対値を、式（３）を用いて算出する。

ステップＳ８５において、像高差取得処理部５６は、最小像高差を候補として残す。

ステップＳ８６において、像高差取得処理部５６は、目の位置の信頼性が所定の閾値以上か否かの判定を行う（第２の信頼性の確認）。
信頼性が閾値以上であると判定された場合には、ステップＳ８６においてＹＥＳと判定されて、処理はステップＳ８８に進む。
信頼性が閾値未満であると判定された場合には、ステップＳ８６においてＮＯと判定されて、処理はステップＳ８７に進む。

ステップＳ８７において、像高差取得処理部５６は、検出された顔全てにおいて処理を行ったか否かを判定する。本実施例においては、３パターンの目の位置について処理を行ったか否かを判定することになる。
検出された顔全てにおいて処理を行ったと判定されていない場合には、ステップＳ８７においてＮＯと判定されて、処理はステップＳ８１に戻る。
検出された顔全てにおいて処理を行ったと判定された場合には、ステップＳ８７においてＹＥＳと判定されて、処理はステップＳ８８に進む。

ステップＳ８８において、像高差取得処理部５６は、第１候補の信頼性が閾値以上であり、目の位置の信頼性が閾値以上であり、検出された顔全てにおいて処理を行ったものであるため、最小像高差を像高差として確定する。その後、歪曲補正処理に戻る。

以上のように構成される撮像装置１は、画像取得部５１と、画像補正部５８と、補正前処理部５７と、を備える。
画像取得部５１は、画像を取得する。
画像補正部５８は、画像取得部５１により取得された画像に歪曲補正を行う。
補正前処理部５７は、画像取得部５１により取得された画像中の人物の顔の傾きを判定する。
また、補正前処理部５７は、判定された顔の傾きに応じた強さで画像補正部５８による画像の歪曲補正をさせるよう制御する。
これにより、撮像装置１においては、判定された顔の傾きに応じた強さで画像補正部５８による画像の歪曲補正をさせるために、撮影範囲中の被写体像の状況に応じて、ユーザの好みにより沿った画像の補正をすることができる。

補正前処理部５７は、判定された顔の傾きに基づいて、画像補正部５８による歪曲補正の強さを複数の強さの候補から選択する。
また、補正前処理部５７は、選択された強さで画像補正部５８による画像の歪曲補正をさせるよう制御する。
これにより、撮像装置１においては、複数の候補の中から選択された強さで画像補正部５８による画像の歪曲補正をさせるために、撮影範囲中の被写体像の状況に応じて、ユーザの好みにより沿った画像の補正をすることができる。

また、撮像装置１は、画像取得部５１により取得された画像中の人物の２つの目の位置を検出する補正判定処理部５３を更に備える。
補正前処理部５７は、補正判定処理部５３により検出された２つの目の位置に基づいて、顔の傾きを判定する。
これにより、撮像装置１においては、２つの目の位置に基づいて、顔の傾きを判定するために、精度の高い顔の傾きの判定を行うことができる。

また、撮像装置１は、補正判定処理部５３により検出された２つの目の各々の位置から画像の中心位置までの距離差を算出する像高差取得処理部５６を備える。
補正前処理部５７は、像高差取得処理部５６により算出された距離差に基づいて、顔の傾きを判定する。
これにより、撮像装置１においては、２つの目の各々の位置から画像の中心位置までの距離差に基づいて、顔の傾きを判定するために、より精度の高い顔の傾きの判定を行うことができる。

補正前処理部５７は、算出された距離差が所定の閾値未満か否かを判定する。
また、補正前処理部５７は、判定結果に基づいて、顔の傾きを判定する。
これにより、撮像装置１においては、距離差が所定の閾値未満か否かの判定結果に基づいて、顔の傾きを判定するために、より精度の高い顔の傾きの判定を行うことができる。

補正前処理部５７は、判定結果が肯定の場合、画像補正部５８により所定の強さの歪曲補正を行わせる一方、判定結果が否定の場合、画像補正部５８により所定の強さよりも弱い歪曲補正を行わせる。
これにより、撮像装置１においては、顔の傾きに適した画像の補正を行うことができる。

補正前処理部５７は、画像中の複数の人物の顔の傾きを判定し、判定された複数の顔の傾きのうち、最も歪みの大きな顔に応じた強さで画像補正部５８による画像の歪曲補正をさせるよう制御する。
これにより、撮像装置１においては、複数の顔のうち、最も小さい顔の傾きを優先して、歪曲補正を行うために、歪曲補正により他の顔が不自然になることがない。

また、撮像装置１は、画像の撮影時の状態を取得するズーム位置取得部５２を備える。
補正前処理部５７は、ズーム位置取得部５２により取得された画像の撮影時のズーム位置に基づいて、画像補正部５８による画像の歪曲補正の程度を変更する。
これにより、撮像装置１においては、例えば、歪曲補正に適した状況の場合に、歪曲補正を強くする等の撮影状況を加味することができ、撮影範囲中の被写体像の状況に応じて、ユーザの好みにより沿った画像の補正をすることができる。

また、撮像装置１は、画像取得部５１と、画像補正部５８と、補正判定処理部５３と、像高差取得処理部５６と、補正前処理部５７と、を備える。
画像取得部５１は、画像を取得する。
画像補正部５８は、画像取得部５１により取得された画像に歪曲補正を行う。
補正判定処理部５３は、画像取得部５１により取得された画像中の人物の２つの目の位置を検出する。
像高差取得処理部５６は、補正判定処理部５３により検出された２つの目の各々の位置から画像の所定の位置までの距離差を算出する。
補正前処理部５７は、像高差取得処理部５６により算出された距離差が所定の閾値未満か否かを判定する。
また、補正前処理部５７は、判定結果が肯定の場合、画像補正部５８により所定の強さの歪曲補正を行わせる一方、判定結果が否定の場合、画像補正部５８による歪曲補正を行わせないように制御する。
これにより、撮像装置１においては、２つの目の位置に基づいて、２つの目の各々の位置から画像の中心位置までの距離差に基づいて、顔の傾きを判定して、歪曲補正を行うために、顔の傾きに適した画像の補正を行うことができ、撮影範囲中の被写体像の状況に応じて、ユーザの好みにより沿った画像の補正をすることができる。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

上述の実施形態では、顔の傾きを特定する手法として、上述した像高差に基づく手法の他に、テンプレートマッチングや、算出した両目の中心線に基づいて顔の傾きを特定するように構成してもよい。

上述の実施形態では、顔歪みレベルが歪み抑制方向である場合の顔歪みレベルが最小レベルの「０」に行う歪曲補正の補正強度は、適応的補正を行わないと判定された補正値と等しいものか近似したものとなるため、ｎｏｒｍａｌのときの画角と同じか近似したものとなるように余白部分を調整するように構成してもよい。

また、上述の実施形態では、例えば、画像の上部・中部・下部や画像の端等の画像における顔の位置に基づいて、歪曲補正の程度を変更するように構成してもよい。

また、上述の実施形態では、本発明が適用される撮像装置１は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、歪曲補正処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図３の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図３の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ），Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部１９に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
画像を取得する取得手段と、
前記取得手段により取得された画像に歪曲補正を行う補正手段と、
前記取得手段により取得された画像中の人物の顔の傾きを判定する第１の判定手段と、
前記第１の判定手段により判定された顔の傾きに応じた強さで前記補正手段による画像の歪曲補正をさせるよう制御する制御手段と、
を備えたことを特徴とする画像補正装置。
［付記２］
前記第１の判定手段により判定された顔の傾きに基づいて、前記補正手段による歪曲補正の強さを複数の強さの候補から選択する選択手段を更に備え、
前記制御手段は、前記選択手段により選択された強さで前記補正手段による画像の歪曲補正をさせるよう制御する、
ことを特徴とする付記１に記載の画像補正装置。
［付記３］
前記取得手段により取得された画像中の人物の２つの目の位置を検出する検出手段を更に備え、
前記第１の判定手段は、前記検出手段により検出された２つの目の位置に基づいて、前記顔の傾きを判定する、
ことを特徴とする付記１又は２に記載の画像補正装置。
［付記４］
前記検出手段により検出された２つの目の各々の位置から前記画像の中心位置までの距離差を算出する算出手段を備え、
前記第１の判定手段は、前記算出手段により算出された距離差に基づいて、前記顔の傾きを判定する、
ことを特徴とする付記３に記載の画像補正装置。
［付記５］
前記第１の判定手段は、
前記算出手段により算出された距離差が所定の閾値未満か否かを判定する第２の判定手段を含み、
前記第２の判定手段による判定結果に基づいて、前記顔の傾きを判定する、
ことを特徴とする付記４に記載の画像補正装置。
［付記６］
前記制御手段は、前記第２の判定手段による判定結果が肯定の場合、前記補正手段により所定の強さの歪曲補正を行わせる一方、前記第２の判定手段による判定結果が否定の場合、前記補正手段により前記所定の強さよりも弱い歪曲補正を行わせる、
ことを特徴とする付記５に記載の画像補正装置。
［付記７］
前記第１の判定手段は、画像中の複数の人物の顔の傾きを判定し、
前記制御手段は、前記第１の判定手段により判定された複数の顔の傾きのうち、最も歪みの大きな顔に応じた強さで前記補正手段による画像の歪曲補正をさせるよう制御する、
ことを特徴とする付記１乃至６の何れか１つに記載の画像補正装置。
［付記８］
前記画像の撮影時の状態を取得する撮影状態取得手段を備え、
前記制御手段は、撮影状態取得手段により取得された前記画像の撮影時の状態に基づいて、前記補正手段による画像の歪曲補正の程度を変更する、
ことを特徴とする付記１乃至７の何れか１つに記載の画像補正装置。
［付記９］
画像を取得する取得手段と、
前記取得手段により取得された画像に歪曲補正を行う補正手段と、
前記取得手段により取得された画像中の人物の２つの目の位置を検出する検出手段と、
前記検出手段により検出された２つの目の各々の位置から前記画像の所定の位置までの距離差を算出する算出手段と、
前記算出手段により算出された距離差が所定の閾値未満か否かを判定する判定手段と、
前記判定手段による判定結果が肯定の場合、前記補正手段により所定の強さの歪曲補正を行わせる一方、前記判定手段による判定結果が否定の場合、前記補正手段による歪曲補正を行わせないように制御する制御手段と、
を備えることを特徴とする画像補正装置。
［付記１０］
画像を取得する取得ステップと、
前記取得ステップにより取得された画像に歪曲補正を行う補正ステップと、
前記取得ステップにより取得された画像中の人物の顔の傾きを判定する判定ステップと、
前記判定ステップにより判定された顔の傾きに応じた強さで前記補正ステップによる画像の歪曲補正をさせるよう制御する制御ステップと、
を含むことを特徴とする画像補正方法。
［付記１１］
コンピュータを、
画像を取得する取得手段、
前記取得手段により取得された画像に歪曲補正を行う補正手段、
前記取得手段により取得された画像中の人物の顔の傾きを判定する判定手段、
前記判定手段により判定された顔の傾きに応じた強さで前記補正手段による画像の歪曲補正をさせるよう制御する制御手段、
として機能させることを特徴とするプログラム。

１・・・撮像装置，１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・バス，１５・・・入出力インターフェース，１６・・・撮像部，１７・・・入力部，１８・・・出力部，１９・・・記憶部，２０・・・通信部，２１・・・ドライブ，３１・・・リムーバブルメディア，５１・・・画像取得部，５２・・・ズーム位置取得部，５３・・・補正判定処理部，５４・・・補正値設定部，５５・・・顔歪み解析処理部，５６・・・像高差取得処理部，５７・・・補正前処理部，５８・・・画像補正部，７１・・・画像記憶部，７２・・・補正情報記憶部

Claims (11)

1. 画像を取得する取得手段と、
   前記取得手段により取得された画像に歪曲補正を行う補正手段と、
   前記取得手段により取得された画像中の人物の顔の傾きを判定する第１の判定手段と、
   前記第１の判定手段により判定された顔の傾きに応じた強さで前記画像の歪曲補正をするように前記補正手段を制御する制御手段と、
   を備えたことを特徴とする画像補正装置。
2. 前記第１の判定手段により判定された顔の傾きに基づいて、前記補正手段による歪曲補正の強さを選択する選択手段を更に備え、
   前記制御手段は、前記選択手段により選択された強さで前記画像の歪曲補正するように前記補正手段を制御する、
   ことを特徴とする請求項１に記載の画像補正装置。
3. 前記取得手段により取得された画像中の人物の２つの目の位置を検出する検出手段を更に備え、
   前記第１の判定手段は、前記検出手段により検出された２つの目の位置に基づいて、前記顔の傾きを判定する、
   ことを特徴とする請求項１又は２に記載の画像補正装置。
4. 前記検出手段により検出された２つの目の各々の位置から前記画像の中心位置までの距離差を算出する算出手段を備え、
   前記第１の判定手段は、前記算出手段により算出された距離差に基づいて、前記顔の傾きを判定する、
   ことを特徴とする請求項３に記載の画像補正装置。
5. 前記第１の判定手段は、
   前記算出手段により算出された距離差が所定の閾値未満か否かを判定する第２の判定手段を含み、
   前記第２の判定手段による判定結果に基づいて、前記顔の傾きを判定する、
   ことを特徴とする請求項４に記載の画像補正装置。
6. 前記制御手段は、前記第２の判定手段が、前記距離差が前記所定の閾値未満であると判定した場合、前記補正手段により所定の強さの歪曲補正を行わせる一方、前記第２の判定手段が、前記距離差が前記所定の閾値未満でないと判定した場合、前記補正手段により前記所定の強さよりも弱い歪曲補正を行わせる、
   ことを特徴とする請求項５に記載の画像補正装置。
7. 前記第１の判定手段は、画像中の複数の人物の顔の傾きを判定し、
   前記制御手段は、前記第１の判定手段により判定された複数の顔の傾きのうち、最も歪みの大きな顔に応じた強さで前記補正手段による画像の歪曲補正をさせるよう制御する、
   ことを特徴とする請求項１乃至６の何れか１項に記載の画像補正装置。
8. 前記画像の撮影時の状態を取得する撮影状態取得手段を備え、
   前記制御手段は、撮影状態取得手段により取得された前記画像の撮影時の状態に基づいて、前記補正手段による画像の歪曲補正の程度を変更する、
   ことを特徴とする請求項１乃至７の何れか１項に記載の画像補正装置。
9. 画像を取得する取得手段と、
   前記取得手段により取得された画像に歪曲補正を行う補正手段と、 前記取得手段により取得された画像中の人物の２つの目の位置を検出する検出手段と、
   前記検出手段により検出された２つの目の各々の位置から前記画像の所定の位置までの距離差を算出する算出手段と、
   前記算出手段により算出された距離差が所定の閾値未満か否かを判定する判定手段と、
   前記判定手段が、前記距離差が前記所定の閾値未満であると判定した場合、前記補正手段により所定の強さの歪曲補正
   を行わせる一方、前記判定手段が、前記距離差が前記所定の閾値未満でないと判定した場合、前記補正手段による歪曲補正を行わせないように制御する制御手段と、
   を備えることを特徴とする画像補正装置。
10. 画像を取得する取得ステップと、
    前記取得ステップにより取得された画像に歪曲補正を行う補正ステップと、
    前記取得ステップにより取得された画像中の人物の顔の傾きを判定する判定ステップと、
    前記判定ステップにより判定された顔の傾きに応じた強さで前記画像の歪曲補正をさせるよう前記補正ステップを制御する制御ステップと、
    を含むことを特徴とする画像補正方法。
11. コンピュータを、
    画像を取得する取得手段、
    前記取得手段により取得された画像に歪曲補正を行う補正手段、
    前記取得手段により取得された画像中の人物の顔の傾きを判定する判定手段、
    前記判定手段により判定された顔の傾きに応じた強さで前記画像の歪曲補正をさせるよう前記補正手段を制御する制御手段、
    として機能させることを特徴とするプログラム。

Images