JP5042896B2 - 画像処理装置および画像処理プログラム - Google Patents

Description

本発明は、画像信号に対して所定の処理を行う画像処理装置および画像処理プログラムに関する。

従来より、撮像機能を備えたデジタルカメラ等の画像処理装置においては、被写体が人間である場合にその人間の顔を検出し、この検出した顔の位置にピントを合わせる技術が知られている。また、近年では、被写体である人間が笑顔等の撮影に好適な表情を見せているタイミングを自動的に認識することによって撮影を行う技術も知られている。

このような状況の下、複数の人物を対象とした撮影を行う際、個々の人物の顔の向きや黒目の位置を判定することによってカメラ目線の画像を抽出する技術が開示されている（例えば、特許文献１を参照）。また、映像から検出した人物の目線方向を推定し、この目線方向の特徴を抽出することによってその人物の行動意図を判定する技術も開示されている（例えば、特許文献２を参照）。

特開２００７−９６４４０号公報 特開２００７−６４２７号公報

複数の人物を被写体とする撮影を行う場合には、全員がカメラ目線となっている状態を撮影するのが一般的であるが、これ以外にも撮影に適した場面は存在する。例えば、複数の人物の目線が画像処理装置以外の同じ対象物を注視している場面などは、画像に統一感が生まれることに加え、同じ対象物を注視するという行為を介して垣間見ることができる人物同士の交流の瞬間を捉えることができるため、撮影の対象とするのにふさわしい。

しかしながら、上述した従来技術では、複数の人物が一斉に画像処理装置以外の対象物を注視しているような場面を抽出することができなかった。具体的には、上記特許文献１に記載の技術では、複数の人物のカメラ目線を判定するだけであり、複数の人物の目線がカメラ以外の対象物に集中しているか否かを判定することはできなかった。また、上記特許文献２に記載の技術では、個々の人物の顔の向きや目線の向きを推定するだけであり、映像中の複数の人物同士の目線の関係を考慮した処理を行うことはできなかった。

このため、従来の画像処理装置において被写体である複数の人物が一斉に画像処理装置以外の対象物を注視している場面を抽出するには、撮影者自身が目視によって判定を行わざるを得ず、被写体の人数が多かったり被写体が遠くにいたりする場合にはそのような場面を抽出することが困難であった。

本発明は、上記に鑑みてなされたものであって、複数の人物を被写体として含む画像中で大多数の人物が同じ対象物を注視している場面を的確に抽出することができる画像処理装置および画像処理プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、画像信号中の画像パターンに基づいて前記画像信号中に含まれる複数の人物の顔を検出する顔検出部と、前記顔検出部が顔を検出した前記複数の人物の目線を推定する目線推定部と、前記目線推定部が目線を推定した前記複数の人物までの距離をそれぞれ算出する距離算出部と、前記目線推定部の推定結果および前記距離算出部の算出結果を用いることによって前記複数の人物の目線が交差しているか否かを判定するクロス判定部と、を備えたことを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記画像信号に対応する画像データを表示する表示部を備え、前記表示部は、前記クロス判定部が判定した結果を前記画像データに重畳して表示することを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記表示部は、前記複数の人物の中で互いの目線が交差している人物を特定する情報を前記画像データに重畳して表示することを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記クロス判定部の判定結果に応じて前記画像データのトリミングを行うトリミング部を備えたことを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記目線推定部は、前記顔検出部が検出した顔の向いている方向を算出する顔方向算出部と、前記顔方向算出部が算出した前記顔の向いている方向を用いて当該顔に含まれる瞳が向いている方向を算出する目線方向算出部と、を有することを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記クロス判定部は、前記距離算出部で算出した距離が最も大きい人物を基準として、この基準人物の目線と他の人物の目線とが交差しているか否かを判定することを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記クロス判定部は、前記基準人物の目線と前記他の人物の目線とが当該画像処理装置に対して前記基準人物よりも遠くの位置で交差している場合を判定の対象から除外することを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、所定の視野領域内の被写体を撮像して画像信号を生成する撮像部と、前記撮像部が撮像している被写体の撮影を指示する撮影指示信号が入力される入力部と、前記入力部から入力された前記撮影指示信号に応じて前記撮像部が撮像している被写体を撮影する制御を行う制御部と、を備えたことを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記制御部は、前記顔検出部が検出した顔に露出および／またはピントを合わせる制御を行うことを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記制御部は、前記クロス判定部が判定した結果に応じて前記撮像部が撮像している被写体を自動的に撮影する制御を行うことを特徴とする。

本発明に係る画像処理プログラムは、画像信号に対して所定の処理を行う画像処理装置に、前記画像信号中の画像パターンに基づいて前記画像信号中に含まれる複数の人物の顔を検出する顔検出ステップ、前記顔検出ステップで顔を検出した前記複数の人物の目線を推定して顔情報を記憶する顔情報記憶部へ格納する目線推定ステップ、前記目線推定ステップで目線を推定した前記複数の人物までの距離をそれぞれ算出して前記顔情報記憶部へ格納する距離算出ステップ、前記目線推定ステップの推定結果および前記距離算出ステップの算出結果を前記顔情報記憶部から読み出し、この読み出した推定結果および算出結果を用いることによって前記複数の人物の目線が交差しているか否かを判定するクロス判定ステップ、を実行させることを特徴とする。

本発明によれば、画像信号中の複数の人物の目線を推定し、目線を推定した複数の人物までの距離をそれぞれ算出し、これらの目線推定結果および距離算出結果を用いることによって複数の人物の目線が交差しているか否かを判定するため、複数の人物を被写体として含む画像中で大多数の人物が同じ対象物を注視している場面を的確に抽出することが可能となる。

以下、添付図面を参照して本発明を実施するための最良の形態（以後、「実施の形態」と称する）を説明する。

図１は、本発明の一実施の形態に係る画像処理装置である撮像装置１の構成を模式的に示す図である。撮像装置１は、所定の視野領域内の被写体を撮像して画像信号を生成する撮像部２、撮像部２の視野領域の状態を検出するセンサ部３、撮像部２が出力した画像信号に対して画像処理を施す画像処理部４、画像処理部４が出力する画像データを含む情報を表示する表示部５、表示部５の表示を制御する表示制御部６、画像データの圧縮および伸張を行う圧縮伸張部７、撮像装置１に外部から装着されるメモリカード等の記録媒体１００に対して画像データ等の情報を記録する一方、記録媒体１００が記録する情報を読み出す記録媒体インターフェース８、撮像装置１の操作指示信号が入力される入力部９、警告を含む各種情報の音声出力を行う音声出力部１０、撮像領域へ向けて補助光を投射する補助光投射部１１、撮像装置１の動作を制御する制御部１２、撮像装置１の動作に関する各種情報を記憶する記憶部１３を備える。

撮像部２は、所定の視野領域にある被写体からの光を集光する撮影レンズ２１、撮影レンズ２１が集光した光の入射量を調整する絞り２２、絞り２２を通過した入射光を受光して電気信号に変換するＣＣＤ等の撮像素子２３、撮像素子２３から出力されるアナログ信号に対して感度補正やホワイトバランスを含む各種処理を施すアナログ信号処理部２４、アナログ信号処理部２４が出力した信号からデジタルの画像データを生成するＡ／Ｄ変換部２５を有する。このうち、撮影レンズ２１は、一または複数のレンズによって構成される光学系であり、レンズ駆動部１４によって駆動される。また、絞り２２は絞り駆動部１５によって駆動される。

画像処理部４は、画像信号の画像パターンに基づいて画像信号中に含まれる人物の顔を検出する顔検出部４１、顔検出部４１が複数の人物の顔を検出した場合に各人物の目線を推定する目線推定部４２、目線推定部４２が目線を推定した複数の人物までの距離の算出をそれぞれ行う距離算出部４３、目線推定部４２の推定結果および距離算出部４３の算出結果を用いることによって複数の人物の目線のうち少なくとも一部の目線が交差しているか否かを判定するクロス判定部４４、クロス判定部４４が判定した結果に基づいて画像データのトリミングを行うトリミング部４５を有する。このうち目線推定部４２は、顔検出部４１が検出した顔の向いている方向（顔方向）を算出する顔方向算出部４２１と、顔方向算出部４２１が算出した顔の向いている方向を用いて当該顔に含まれる瞳が向いている方向を算出する目線方向算出部４２２とを有する。

入力部９は、撮像装置１の電源ボタン、撮像指示を与えるシャッターボタン、撮像装置１が有する各種動作モータの切替を行うモード切替ボタン、画像データの再生や編集の指示を含む制御ボタンなどを有する。

制御部１２は、撮影日時の判定等を行う時計１２１を有しており、センサ部３の検知結果や入力部９で入力された操作指示信号に応じて撮像装置１の動作を制御する。制御部１２は、ＭＰＵを用いて実現され、制御対象の各構成要素とバスラインを介して接続されている。

記憶部１３は、撮像装置１の内部に固定的に設けられるフラッシュメモリやＲＡＭ等の半導体メモリを有しており、撮像装置１が実行する各種プログラムを記憶するプログラム記憶部１３１と、画像処理部４で得られる被写体の顔方向や目線方向などの顔情報を記憶する顔情報記憶部１３２とを有する。

図２は、撮像装置１で設定可能な動作モードの一部を示す図である。図２では、撮像装置１に特有の動作モードを中心に記載し、従来の撮像装置で設定可能な動作モードと同じ動作モードについては記載を省略している。撮像装置１が撮影モードに設定されている場合、画像中に含まれる複数の人間の目線の交差状況を判定する目線判定を行ってから撮影を行う目線判定撮影モードや、通常撮影を行ってから目線判定と目線判定結果に基づく画像のトリミングを行う撮影用目線判定トリミングモードをさらに設定することができる。このうち、撮像装置１が目線判定撮影モードに設定されている場合、トリミングモード、連写モードおよび自動撮影モードのうち一または複数のモードをさらに設定することができる。一方、撮像装置１が再生モードに設定されている場合、記録媒体１００が記録する画像データを再生する際に目線判定を行った後、この判定結果に基づいて画像のトリミングを行う再生用目線判定トリミングモードをさらに設定することができる。

図３は、以上の構成を有する撮像装置１が目線判定処理を含む動作を行う場合の処理の流れを示すフローチャートである。

まず、撮像装置１が撮影モードに設定されている場合（ステップＳ１，撮影モード）を説明する。撮像装置１が撮影モードに設定されている場合、表示部５は撮像部２から出力された画像信号に対応する画像データを表示制御部６の制御のもとでリアルタイムに表示する。以下、表示部５でリアルタイムに表示される画像データのことを「スルー画像」という。撮像装置１が目線判定撮影モードに設定されていれば（ステップＳ２，Ｙｅｓ）、撮像装置１はスルー画像に対して目線判定処理を行う（ステップＳ３）。

図４は、撮像装置１が行う目線判定処理の概要を示すフローチャートである。まず、顔検出部４１が、表示部５で表示しているスルー画像中に存在する人物の顔を検出する（ステップＳ３１）。この顔検出を行う際には、既存の手法を適用することができる（例えば、P. Viola and M. Jones, "Rapid Object Detection using a Boosted Cascade of Simple Features," Proc. of CVPR (2001).を参照）。制御部１２は、顔検出部４１が検出した顔の位置にピントを合わせる制御を行う。

顔検出部４１がスルー画像中で複数の顔を検出した場合（ステップＳ３２，Ｙｅｓ）、撮像装置１はステップＳ３３に進む。一方、顔検出部４１がスルー画像中で複数の顔を検出しなかった場合（ステップＳ３２，Ｎｏ）、撮像装置１はステップＳ４に進む。

ステップＳ３３において、目線推定部４２は、顔検出部４１が検出した複数の顔の目線方向を顔ごとに推定する目線推定ループ処理を行う（ステップＳ３３）。このループ処理では、まず顔方向算出部４２１が顔の向いている方向（顔方向）を算出する（ステップＳ３３１）。顔方向算出部４２１は、顔検出部４１が検出した顔部分の画像（顔画像）を取得し、この取得した顔画像に対して差分背景や肌色領域抽出等の処理を施すことによって顔領域を抽出した後、この抽出した顔領域を用いて顔方向を算出する。図５は、顔方向算出部４２１が抽出する顔領域の例を示す図である。同図に示す顔領域３１は、人間の頭部に外接する矩形領域である。顔領域３１を抽出した顔方向算出部４２１は、顔領域３１の中心位置（顔領域中心位置３２）を算出するとともに、眉、目じり、鼻などの顔器官の位置を検出することによって顔器官中心位置３３を算出する。この後、顔方向算出部４２１は、顔領域中心位置３２および顔器官中心位置３３を用いることにより、水平面上における顔方向と垂直面上における顔方向をそれぞれ算出する。

図６は、水平面上における顔方向を算出する際に用いる顔楕円モデルの概要を示す図である。同図に示す顔２００は楕円体であり、図６では楕円体の中心を通過する水平断面を示している。顔２００は、撮影レンズ２１の光軸方向（図６の上下方向）に対して角度φ_faceだけ水平右向きを向いている。投影面３００は顔領域３１に対応している。また、点Ｏ'_faceは図６の水平面上における顔領域中心位置３２に対応し、点Ｃ'_faceは図６の水平面上における顔器官中心位置３３に対応している。

図６において、顔２００の水平面上の顔方向を示す顔角度φ_faceは、投影面における顔領域３１の水平方向の幅ｗ_face、投影面３００における顔領域中心位置３２（点Ｏ_face）と顔器官中心位置３３（点Ｃ）との距離ｃ_face、および顔の幅（＝２ａ）と顔の奥行き方向の長さ（＝２ｂ）の比ｋ（顔楕円比）を用いることによって次式（１）で与えられる。

図７は、垂直面上における顔方向を算出する際に用いる顔楕円モデルの概要を示す図である。図７では、楕円体である顔２００の中心を通過する垂直断面を示している。顔２００は、撮影レンズ２１の光軸方向（図７の左右方向）に対して角度ψ_faceだけ上方を向いている。図７において、顔２００の垂直面上の顔方向を示す顔角度ψ_faceは、投影面３００における顔領域３１の垂直方向の高さｈ_face、投影面３００における顔領域中心位置３２（点Ｏ_face）と顔器官中心位置３３（点Ｃ）との距離ｃ'_face、および顔の高さ（＝２ｄ）と顔の奥行き方向の長さ（＝２ｅ）の比ｋ'を用いることによって次式（２）で与えられる。

この後、目線方向算出部４２２は、ステップＳ３３１で算出した水平面上での顔角度φ_faceおよび垂直面上での顔角度ψ_faceを用いて目線方向を算出する（ステップＳ３３２）。目線方向算出部４２２は、パターンマッチング等の既知の手法によって顔領域３１から瞳を検出し、この検出した瞳から目の領域を検出する。

図８は、目線方向算出部４２２が水平面上での目線方向を算出する際に適用する眼球モデルの概要を示す図である。同図に示す球状の眼球４００は大部分が皮膚で覆われており、顔画像中に実際に表れる領域は点Ｅ₁'から瞳４０１を通過して点Ｅ₂'に達する円弧である。点Ｏ'_eyeは眼球４００の中心であり、点Ｏ_eyeは点Ｏ'_eyeを投影面５００に投影した点である。また、点Ｉは瞳４０１の中心Ｉ'を投影面５００に投影した点である。図８において、投影面５００における眼球中心位置Ｏ_eyeと瞳中心位置Ｉとの距離をｃ_eyeとし、眼球４００の水平方向の隠れ部分の角度をαとすると、撮影レンズ２１の光軸方向（図８の上下方向）に対する瞳４０１の中心Ｉ'の方向すなわち水平面上における目線方向φ_eyeは次式（３）で与えられる。

目線方向算出部４２２は、垂直面上における目線方向を算出する際にも、水平面上の目線方向の算出に適用したのと同様の眼球モデルを適用する。したがって、撮影レンズ２１の光軸方向に対する垂直方向の目線方向ψ_eyeは、次式（４）で与えられる。

ここで、ｃ'_eyeは投影面５００における眼球中心位置Ｏ_eyeと瞳中心位置Ｉとの垂直方向の距離であり、角度α'は眼球４００の垂直方向の隠れ部分の角度である。

目線方向算出部４２２は、両目の目線方向を算出することができた場合、算出した両目の目線方向を重み付けして和をとることによって目線方向を決定する。ここで和をとる際の重みは顔方向に応じて決定される。例えば、顔が右方（撮像装置１から見て左方）を向いている場合、右目は画像中にほとんど入らないため、左目の重みを右目の重みよりも十分大きくする。また、顔が正面付近を向いている時は、両目の目線方向の平均をとる。このようにして目線方向算出部４２２が算出した目線方向は、目線推定結果として記憶部１３の顔情報記憶部１３２に格納される。

なお、目線方向算出処理を行う際のパラメータは上述したものに限られるわけではなく、例えば眼球の隠れ部分の角度を顔の中心側と外側で異なる値としてもよい。この点を含む顔方向算出処理と目線方向算出処理の詳細な内容は、例えば上記特許文献２に開示されている。

目線推定部４２がステップＳ３３の目線推定ループ処理を全ての顔に対して行った結果、複数の目線方向を算出した場合（ステップＳ３４，Ｙｅｓ）、撮像装置１はステップＳ３５へ進む。これに対して、目線推定部４２がステップＳ３３の目線推定ループ処理を全ての顔に対して行った結果、複数の目線方向を算出しなかった場合（ステップＳ３４，Ｎｏ）、撮像装置１は目線判定処理を終了して後述するステップＳ４へ進む。

図９は、ステップＳ３５以降の目線判定処理を説明する際に参照する撮像装置１付近の状況を模式的に示す図である。具体的には、図９は、撮像装置１の撮像領域（水平方向の画角θ_X）内に存在する二人の人物Ａ１、Ａ２が同じターゲットＴを注目している状況を撮像装置１の上方から見た模式図である。図９では、撮像装置１の撮影レンズ２１からの距離が遠い方の人物Ａ１の位置を座標原点Ｏとして撮影レンズ２１の光軸Ｐと平行な軸をＬ軸とする一方、撮影レンズ２１の光軸Ｐと直交する軸をＸ軸としている。また、図９では、人物Ａ１、Ａ２の水平方向の目線方向の角度（式（３）のφ_eyeに相当）をそれぞれφ１、φ２としている。この意味で、角度φ１、φ２は、上記ステップＳ３３２ですでに算出されており、顔情報記憶部１３２に格納されたものである。

ステップＳ３５において、距離算出部４３は、撮影レンズ２１を起点として、目線方向を算出した複数の人物までの距離をそれぞれ算出する（ステップＳ３５）。図１０は、距離Ｌ１、Ｌ２の算出を概念的に示す図である。距離算出部４３は、例えば人物Ａ１にピントを合わせることによって人物Ａ１までの距離Ｌ１を算出した後、この距離Ｌ１に基づいて人物Ａ２までの距離Ｌ２を算出する。なお、図１０では、撮影レンズ２１の焦点距離をＦ、顔画像における人物Ａ１の顔２０１の高さおよび人物Ａ２の顔２０２の高さをそれぞれＨ１およびＨ２とし、顔２０１、２０２の大きさをともにＤと近似している。これらの定義を用いると、撮影レンズ２１から人物Ａ１、Ａ２までの距離Ｌ１、Ｌ２は、それぞれＬ１＝ＤＦ／Ｈ１，Ｌ２＝ＤＦ／Ｈ２と表される。したがって、距離算出部４３は、距離Ｌ１を用いることによって距離Ｌ２＝（Ｈ２／Ｈ１）Ｌ１を算出することができる。距離算出部４３が算出した距離Ｌ１、Ｌ２は、記憶部１３の顔情報記憶部１３２に格納される。

この後、クロス判定部４４は、複数の人物の目線が交差しているか否かを判定する（ステップＳ３６）。まず、クロス判定部４４は、ステップＳ３５で距離算出部４３が算出した距離Ｌ１、Ｌ２を顔情報記憶部１３２から読み出し、人物Ａ１と人物Ａ２のＬ座標の差分ΔＬおよびＸ座標の差分ΔＸを、次式（５）および（６）にしたがってそれぞれ算出する。
ΔＬ＝Ｌ１−Ｌ２ …（５）
ΔＸ＝Ｌ１ｔａｎ（ρ１）＋Ｌ２ｔａｎ（ρ２） …（６）
ここで、式（６）のρ１（＜θ_X）は、撮影レンズ２１から見た人物Ａ１の方向と撮影レンズ２１の光軸Ｐとのなす角度である。また、式（６）のρ２（＜θ_X）は、撮影レンズ２１から見た人物Ａ２の方向と撮影レンズ２１の光軸Ｐとのなす角度である。

図１１は、図９と同じ状況を撮像装置１の側方から見た模式図である。図１１では、図９と同様に撮像装置１からの距離が大きい方の人物Ａ１の位置を座標原点Ｏとして撮影レンズ２１の光軸Ｐと直交する軸をＹ軸としている。また、図１１では、撮像装置１のＹ軸方向の画角をθ_Yとしている。さらに、図１１では、人物Ａ１、Ａ２の水平方向の目線方向の角度（式（４）のψ_eyeに相当）をそれぞれψ１、ψ２としている。この意味で、角度ψ１、ψ２はφ１等と同様に上記ステップＳ３３２ですでに算出されており、顔情報記憶部１３２に格納されている。クロス判定部４４は、人物Ａ１、Ａ２のＹ座標の差分ΔＹを次式（７）にしたがって算出する。
ΔＹ＝Ｌ１ｔａｎ（η１）＋Ｌ２ｔａｎ（η２） …（７）
ここで、式（７）のη１（＜θ_Y）は、撮影レンズ２１から見た人物Ａ１の方向と撮影レンズ２１の光軸Ｐとのなす角度である。また、式（７）のη２（＜θ_Y）は、撮影レンズ２１から見た人物Ａ２の方向と撮影レンズ２１の光軸Ｐとのなす角度である。

続いて、クロス判定部４４は、式（５）、（６）の算出結果に加えて顔情報記憶部１３２から読み出した人物Ａ１，Ａ２の水平方向の目線方向の角度φ１、φ２を用いることにより、水平方向における人物Ａ１、Ａ２の目線の交点座標（Ｌｓ，Ｘｓ）を次式（８）、（９）にしたがってそれぞれ算出する。

また、クロス判定部４４は、式（５）、（７）の算出結果に加えて顔情報記憶部１３２から読み出した人物Ａ１、Ａ２の垂直方向の目線方向の角度ψ１、ψ２を用いることにより、垂直方向における人物Ａ１，Ａ２の目線の交点座標（Ｌｓ，Ｙｓ）を次式（１０）、（１１）にしたがってそれぞれ算出する。

次に、クロス判定部４４は、式（８）のＬｓと式（１０）のＬｓが一致するか否かを判定する。ここでいう「一致」とは、二つのＬｓが推定値であることに鑑み、二つのＬｓの差が所定の範囲内の値であることを意味する。式（８）のＬｓと式（１０）のＬｓが一致した場合、クロス判定部４４は人物Ａ１の目線と人物Ａ２の目線が集中した状態にあると判定する。

なお、式（８）、（１０）でＬｓが∞になった場合、クロス判定部４４は目線方向が平行であって無限遠で交わっていると判定する。また、式（８）、（１０）でＬｓ＜０の場合には、顔の後ろ側で二人の目線が交差しているため、クロス判定部４４はこの場合を判定の対象から除外する。

ここで、画像データに３人以上の人物が含まれている場合を説明する。この場合、クロス判定部４４は、撮影レンズ２１から一番遠くに位置している人物を基準人物とし、この基準人物と他の人物との座標値の差分を用いてクロス判定を行う。例えばｎ人（ｎは３以上の自然数）の人物がスルー画像中に含まれている場合、クロス判定部４４は基準人物の目線方向と他の人物の目線方向との交点座標を最大（ｎ−１）通り算出する。続いて、クロス判定部４４は、算出した複数の交点座標の各々に対して、水平方向のＬｓ（式（８））と垂直方向のＬｓ（式（１０））が一致するか否かを判定する。この判定の結果、水平方向のＬｓと垂直方向のＬｓが一致する交点座標（以下、「正規交点座標」という）が複数ある場合、クロス判定部４４は、複数の正規交点座標同士が一致するか否かを判定する。この判定を行う際、クロス判定部４４は所定の規則にしたがって基準とすべき正規交点座標（基準交点座標）を一つ抽出し、この基準交点座標とそれ以外の正規交点座標との差分を成分ごとにそれぞれ算出する。クロス判定部４４は、成分ごとの差分が各々所定の範囲内の値にある基準交点座標と正規交点座標を一致していると判定する。基準交点座標と一致する正規交点座標が所定の割合以上存在する場合、クロス判定部４４は、スルー画像中の人物の目線が集中した状態にあると判定する。

以上説明したステップＳ３の目線判定処理に続く処理は、撮像装置１が自動撮影モードに設定されているか否かによって異なる。まず、撮像装置１が自動撮影モードに設定されていない場合（ステップＳ４，Ｎｏ）を説明する。この場合、ステップＳ３でスルー画像中の複数の人物の目線が集中していると判定されたとき（ステップＳ５，Ｙｅｓ）、表示部５は、クロス判定部４４の判定結果として、目線が集中しており撮影に好適なタイミングであることを報知するＯＫ表示を表示する（ステップＳ６）。一方、スルー画像中の複数の人物の目線が集中していると判定されなかった場合（ステップＳ５，Ｎｏ）、撮像装置１は表示部５でＯＫ表示を出力することなく、後述するステップＳ７へ直接進む。

図１２は、表示部５におけるＯＫ表示の表示出力例を模式的に示す図である。同図に示す表示画像５１は、図９および図１１に示す状況下での表示例を示している。表示画像５１では、「タイミングＯＫ」という文字列がスルー画像の左上部に重畳して表示されている。撮影者は、表示部５にＯＫ表示が表示出力された場合、人物Ａ１、Ａ２の目線が集中しており、撮影に好適なタイミングであることを認識することができる。なお、図１２において、人物Ａ１、Ａ２の目線（破線で表示）および二つの目線の交点ＣＰは補助的に記載したものに過ぎない。

図１３は、ＯＫ表示の別な表示出力例（第２例）を示す図である。同図に示す表示画像５２では、目線が集中している人物を示す正方形状の目線集中人物特定シンボル５２ａがスルー画像中の人物Ａ１１、Ａ１２の顔領域に重畳して表示されるとともに、目線が他の人物と異なる方向を向いている三角形状の目線非集中人物特定シンボル５２ｂがスルー画像中の人物Ａ１３の顔領域に重畳して表示されている。目線集中人物特定シンボル５２ａおよび目線非集中人物特定シンボル５２ｂは、スルー画像中で目線が集中している人物が所定の割合以上存在している場合に表示される。なお、表示部５では、目線集中人物特定シンボル５２ａと目線非集中人物特定シンボル５２ｂを互いに異なる色で表示してもよい。また、目線集中人物特定シンボル５２ａおよび目線非集中人物特定シンボル５２ｂがスルー画像に重畳して表示されるための条件（目線が集中している人物の被写体全体に対する割合）は、利用者が入力部９を介して任意に設定入力をすることができるようにしてもよい。

図１４は、ＯＫ表示のさらに別な表示出力例（第３例）を示す図である。同図に示す表示画像５３は、５人の人物Ａ２１〜Ａ２５の目線判定を行った結果を表示している。表示画像５３では、目線が集中している人物が５人中４人いることを示すメッセージがスルー画像に対して重畳して表示されるとともに、目線が他の４人と異なっている人物Ａ２５の顔領域に目線非集中人物特定シンボル５３ａがスルー画像に対して重畳して表示されている。このようなメッセージおよびシンボルが表示されるのは、スルー画像中で目線が集中している人物が所定の割合以上存在している場合である。

この後、撮影者によって入力部９から撮影指示信号が入力された場合（ステップＳ７，Ｙｅｓ）、撮像装置１は制御部１２の制御のもとで画像の撮影を行い（ステップＳ８）、撮影した画像データを圧縮伸張部７で所定のサイズに圧縮し、この圧縮した画像データを記録媒体インターフェース８によって記録媒体１００へ記録する（ステップＳ９）。ここで、撮像装置１は、撮影した画像データを記憶部１３へ書き込んで記録することもできる。なお、ステップＳ７で所定時間経過しても撮影指示信号が入力されない場合（ステップＳ７，Ｎｏ）、撮像装置１はステップＳ３に戻る。

次に、撮像装置１が自動撮影モードに設定されている場合を説明する（ステップＳ４，Ｙｅｓ）。この場合、画像処理部４による目線判定処理（ステップＳ３）の結果、スルー画像中の複数の人物の目線が集中していると判定されたとき（ステップＳ１０，Ｙｅｓ）、撮像装置１は自動的に撮影処理（ステップＳ８）を行い、撮影した画像データを圧縮伸張部７で所定のサイズに圧縮し、この圧縮した画像データを記録媒体インターフェース８によって記録媒体１００へ記録する（ステップＳ９）。一方、画像処理部４による目線判定処理の結果、スルー画像中の複数の人物の目線が集中していると判定されなかったとき（ステップＳ１０，Ｎｏ），撮像装置１はステップＳ３に戻る。

ステップＳ９に続く処理は、撮像装置１で連写モードが設定されているか否かによって異なる。撮像装置１が連写モードに設定されていない場合（ステップＳ１１，Ｎｏ）、画像処理部４は、記録媒体インターフェース８から画像データを読み出して上述したステップＳ３と同じ目線判定処理（ステップＳ１２）を行う。ここで目線判定処理を再び行うのは、ステップＳ３における目線判定処理の後、実際に撮影を行うまでのタイムラグがあり、ステップＳ３の判定結果と異なる判定結果が生じる可能性があるからである。

一方、撮像装置１が連写モードに設定されている場合（ステップＳ１１，Ｙｅｓ）、所定の撮影枚数分の撮影が終了していなければ（ステップＳ１３，Ｎｏ）、ステップＳ８に戻って撮影を繰り返し行う。撮像装置１が連写モードに設定されており（ステップＳ１１，Ｙｅｓ）、かつ所定の撮影枚数分の撮影が終了していれば（ステップＳ１３，Ｙｅｓ）、画像処理部４は記録媒体インターフェース８から画像データを読み出し、上記ステップＳ３と同様の目線判定処理を行う（ステップＳ１２）。

画像処理部４が目線判定処理（ステップＳ１２）を行った結果、撮影した画像データ中に含まれる人物の目線が集中していると判定した場合（ステップＳ１４，Ｙｅｓ）、撮像装置１はその画像データを目線集中画像として記録媒体インターフェース８を介して記録媒体１００へ記録する（ステップＳ１５）。ここでいう「目線集中画像」とは、目線が集中していることを示す情報が付与された画像データのことであり、例えばもとの画像データに対して目線集中画像であることを示すフラグを立てたものである。なお、画像処理部４が目線判定処理を行った結果、撮影した画像データ中の人物の目線が集中していると判定しなかった場合（ステップＳ１４，Ｎｏ）、撮像装置１はステップＳ３に戻る。

この後、撮像装置１がトリミングモードに設定されている場合（ステップＳ１６，Ｙｅｓ）、トリミング部４５は目線集中画像のトリミングを行う（ステップＳ１７）。続いて、表示部５は、トリミング部４５によってトリミングされた結果を表示する（ステップＳ１８）。図１５は、表示部５におけるトリミング結果の表示例を示す図である。同図に示すトリミング結果表示画像５４は、目線が集中している人物Ａ１１、Ａ１２のみを抽出した領域をトリミング領域５４ａとして破線を用いて表示している。なお、ステップＳ１８において表示部５がトリミング結果表示画像５４を表示する代わりに、トリミング領域５４ａのみを表示するようにしてもよい。また、トリミング結果表示画像５４の適当な位置に、トリミング画像を記録するか否かを問合わせるメッセージを出力し、撮影者に入力部９からの選択入力を促すようにしてもよい。

入力部９からトリミング画像を記録する操作指示信号が入力された場合（ステップＳ１９，Ｙｅｓ）、撮像装置１ではトリミング後の画像データを圧縮伸張部７で所定のサイズに圧縮し、この圧縮したトリミング画像データを記録媒体インターフェース８によって記録媒体１００へ記録する（ステップＳ２０）。一方、トリミング画像を記録する操作指示信号が入力されなかった場合（ステップＳ１９，Ｎｏ）、撮像装置１は一連の処理を終了する。

撮像装置１がトリミングモードに設定されていない場合（ステップＳ１６，Ｎｏ）、撮像装置１は一連の処理を終了する。

次に、撮像装置１が撮影モードに設定されており（ステップＳ１，撮影モード）、かつ目線判定撮影モードに設定されていない場合（ステップＳ２，Ｎｏ）を説明する。この場合、撮像装置１は通常撮影処理を行う（ステップＳ２１）。

通常撮影処理に続く処理は、撮像装置１が撮影用目線判定トリミングモードに設定されているか否かによって異なる。撮像装置１が撮影用目線判定トリミングモードに設定されている場合（ステップＳ２２，Ｙｅｓ）、画像処理部４は撮影した画像データに対してステップＳ１２と同じ目線判定処理を行う（ステップＳ２３）。これに対して、撮像装置１が撮影用目線判定トリミングモードに設定されていない場合（ステップＳ２２，Ｎｏ）、撮像装置１は通常撮影処理のみを行う。

以下、撮像装置１が撮影用目線判定トリミングモードに設定されている場合を説明する。この場合、画像処理部４が目線判定処理（ステップＳ２３）を行った結果、画像データ中に含まれる人物の目線が集中していると判定したとき（ステップＳ２４，Ｙｅｓ）、撮像装置１はその画像データを目線集中画像として記録媒体インターフェース８を介して記録媒体１００へ記録する（ステップＳ２５）。続いて、トリミング部４５が目線集中画像のトリミングを行う（ステップＳ１７）。このステップＳ１７に続くステップＳ１８〜Ｓ２０の処理は、上述した通りである。

一方、画像処理部４が目線判定処理を行った結果、画像データ中に含まれる人物の目線が集中していると判定しなかったとき（ステップＳ２４，Ｎｏ）、撮像装置１は一連の処理を終了する。

次に、撮像装置１で再生モードが設定されている場合（ステップＳ１，再生モード）を説明する。まず、表示部５は、記録媒体１００が記憶する画像データから撮影者によって選択された画像データを再生表示する（ステップＳ２６）。

撮像装置１が再生用目線判定トリミングモードに設定されている場合（ステップＳ２７，Ｙｅｓ）、画像処理部４は再生表示している画像データに対して目線判定処理を行う（ステップＳ２３）。このステップＳ２３に続くステップＳ２４以降の処理は、撮像装置１で撮影モードおよび撮影用目線判定トリミングモードが設定されている場合と同じである。

一方、撮像装置１で再生用目線判定トリミングモードが設定されていない場合（ステップＳ２７，Ｎｏ）、撮像装置１は処理を終了する。

以上説明した本発明の一実施の形態によれば、画像信号中の複数の人物の目線を推定し、目線を推定した複数の人物までの距離をそれぞれ算出し、これらの目線推定結果および距離算出結果を用いることによって複数の人物の目線が交差しているか否かを判定するため、複数の人物を被写体として含む画像中で大多数の人物が同じ対象物を注視している場面を的確に抽出することが可能となる。

ここまで、本発明を実施するための最良の形態を説明してきたが、本発明は上述した一実施の形態によってのみ限定されるべきものではない。例えば、撮影者が撮像装置１を移動させることによって複数の人物の目線の交点が表示部５で表示するスルー画像中に入ってきた場合には、その交点を表示部５で表示するようにしてもよい。図１６は、撮影者が図９に示す状態（図１２の表示画像５１を参照）から撮像装置１をＬ軸正の方向へ移動した結果、ターゲットＴが撮像装置１の視野領域に入ってきた場合の表示部５における表示例を示す図である。図１６に示す表示画像５５は、人物Ａ１の目線と人物Ａ２の目線の交点ＣＰが星印によって表示されている。このため、撮影者は複数の人物の目線が交差している位置とその交差位置に存在している対象物を容易に認識することができる。

このように、本発明は、ここでは記載していない様々な実施の形態等を含みうるものであり、特許請求の範囲により特定される技術的思想を逸脱しない範囲内において種々の設計変更等を施すことが可能である。

本発明の一実施の形態に係る画像処理装置（撮像装置）の構成を示す図である。 本発明の一実施の形態に係る画像処理装置（撮像装置）における処理モードの例を示す図である。 本発明の一実施の形態に係る画像処理装置（撮像装置）の目線判定処理を含む処理の流れを示すフローチャートである。 目線判定処理の概要を示すフローチャートである。 顔領域の構成を示す図である。 顔楕円モデル（水平方向）の概要を示す図である。 顔楕円モデル（垂直方向）の概要を示す図である。 眼球モデルの概要を示す図である。 被写体である複数の人物とこれら複数の人物が注目しているターゲットとの関係を画像処理装置の上方から見た模式図である。 被写体までの距離算出の概要を示す図である。 被写体である複数の人物とこれら複数の人物が注目しているターゲットとの関係を画像処理装置の側方から見た模式図である。 ＯＫ表示の表示例（第１例）を示す図である。 ＯＫ表示の表示例（第２例）を示す図である。 ＯＫ表示の表示例（第３例）を示す図である。 トリミング結果の表示例を示す図である。 本発明の他の実施の形態に係る画像処理装置（撮像装置）の目線判定処理後の表示部における表示例を示す図である。

符号の説明

１ 撮像装置
２ 撮像部
３ センサ部
４ 画像処理部
５ 表示部
６ 表示制御部
７ 圧縮伸張部
８ 記録媒体インターフェース
９ 入力部
１０ 音声出力部
１１ 補助光投射部
１２ 制御部
１３ 記憶部
１４ レンズ駆動部
１５ 絞り駆動部
２１ 撮影レンズ
２２ 絞り
２３ 撮像素子
２４ アナログ信号処理部
２５ Ａ／Ｄ変換部
３１ 顔領域
３２ 顔領域中心位置
３３ 顔器官中心位置
４１ 顔検出部
４２ 目線推定部
４３ 距離算出部
４４ クロス判定部
４５ トリミング部
５１、５２、５３、５５ 表示画像
５２ａ 目線集中人物特定シンボル
５２ｂ、５３ａ 目線非集中人物特定シンボル
５４ トリミング結果表示画像
５４ａ トリミング領域
１００ 記録媒体
１２１ 時計
１３１ プログラム記憶部
１３２ 顔情報記憶部
２００、２０１、２０２ 顔
３００、５００ 投影面
４００ 眼球
４０１ 瞳
４２１ 顔方向算出部
４２２ 目線方向算出部
Ａ１、Ａ２、Ａ１１〜Ａ１３、Ａ２１〜Ａ２５ 人物
ＣＰ 交点
Ｔ ターゲット

Claims (8)

1. 画像信号中の画像パターンに基づいて前記画像信号中に含まれる複数の人物の顔を検出する顔検出部と、
   前記顔検出部が検出した顔の向いている方向を算出する顔方向算出部と、
   前記顔方向算出部が算出した前記顔の向いている方向を用いて当該顔に含まれる瞳が向いている方向を目線方向として算出する目線方向算出部と、
   前記目線方向算出部が目線方向を算出した前記複数の人物までの距離をそれぞれ算出する距離算出部と、
   前記目線方向算出部および前記距離算出部の算出結果を用いることによって前記複数の人物の目線が交差しているか否かを判定するクロス判定部と、
   を備え、
   前記クロス判定部は、
   前記距離算出部で算出した距離が最も大きい人物を基準として、前記基準人物の目線と他の人物の目線との水平方向および垂直方向における交点座標をそれぞれ算出し、算出した２つの交点座標のうち共通の座標成分の差が所定の範囲内の値である場合に、前記基準人物の目線と前記他の人物の目線とが交差していると判定することを特徴とする画像処理装置。
2. 前記クロス判定部は、
   前記基準人物の目線と前記他の人物の目線とが当該画像処理装置に対して前記基準人物よりも遠くの位置で交差している場合を判定の対象から除外することを特徴とする請求項１記載の画像処理装置。
3. 前記画像信号に対応する画像データを表示する表示部を備え、
   前記表示部は、
   前記クロス判定部が判定した結果を前記画像データに重畳して表示することを特徴とする請求項１または２記載の画像処理装置。
4. 前記表示部は、
   前記複数の人物の中で互いの目線が交差している人物を特定する情報を前記画像データに重畳して表示することを特徴とする請求項３記載の画像処理装置。
5. 前記クロス判定部の判定結果に応じて前記画像データのトリミングを行うトリミング部を備えたことを特徴とする請求項１〜４のいずれか一項記載の画像処理装置。
6. 所定の視野領域内の被写体を撮像して画像信号を生成する撮像部と、
   前記撮像部が撮像している被写体の撮影を指示する撮影指示信号が入力される入力部と、
   前記入力部から入力された前記撮影指示信号に応じて前記撮像部が撮像している被写体を撮影する制御を行う制御部と、
   を備えたことを特徴とする請求項１〜５のいずれか一項記載の画像処理装置。
7. 前記制御部は、
   前記クロス判定部が判定した結果に応じて前記撮像部が撮像している被写体を自動的に撮影する制御を行うことを特徴とする請求項６記載の画像処理装置。
8. 画像信号に対して所定の処理を行う画像処理装置に、
   前記画像信号中の画像パターンに基づいて前記画像信号中に含まれる複数の人物の顔を検出する顔検出ステップ、
   前記顔検出ステップで検出した顔の向いている方向を算出する顔方向算出ステップ、 前記顔方向算出ステップで算出した前記顔の向いている方向を用いて当該顔に含まれる瞳が向いている方向を目線方向として算出して顔情報を記憶する顔情報記憶部へ格納する目線方向算出ステップ、
   前記目線方向算出ステップで目線方向を算出した前記複数の人物までの距離をそれぞれ算出して前記顔情報記憶部へ格納する距離算出ステップ、
   前記目線方向算出ステップおよび前記距離算出ステップの算出結果を前記顔情報記憶部から読み出し、この読み出した算出結果を用いることによって前記複数の人物の目線が交差しているか否かを判定するクロス判定ステップ、
   を実行させ、
   前記クロス判定ステップは、
   前記距離算出ステップで算出した距離が最も大きい人物を基準として、前記基準人物の目線と他の人物の目線との水平方向および垂直方向における交点座標をそれぞれ算出し、算出した２つの交点座標のうち共通の座標成分の差が所定の範囲内の値である場合に、前記基準人物の目線と前記他の人物の目線とが交差していると判定することを特徴とする画像処理プログラム。

Images