JP5246275B2 - 撮像装置およびプログラム - Google Patents

Description

本発明は画像処理装置、撮像装置およびプログラムに関する。

時系列的に取得した複数の画像に含まれる変化のない被写体を排除することにより、主要な被写体に適合した撮影条件で撮影するデジタルカメラがある（特許文献１参照）。
［先行技術文献］
［特許文献］
［特許文献１］特開２００９−０８９１７４号公報

しかしながら、特許文献１に記載のデジタルカメラでは、撮像間隔が短くなると、画像相互の間で被写体の変化が少なくなり、主要な被写体の選別が難しくなる。また、特許文献１に記載のデジタルカメラでは、動いている被写体を主要な被写体と想定していると考えられるが、実際には、動いている被写体が複数ある場合もあり、その全てが撮影者の撮影しようとした主要被写体であるとは限らない。このため、主要な被写体に適合した撮影条件で撮影する、あるいは、複数フレームの撮影画像の中から主要被写体の写りの良い画像を抽出するなどの機能を実現する目的で、画像中の主要被写体の推定精度の向上が求められている。

上記課題を解決すべく、本発明の第一態様として、時系列で撮像された複数の画像を取得する画像取得部と、複数の画像に含まれる互いに異なる複数の被写体を抽出する被写体抽出部と、複数の被写体のそれぞれが、複数の画像のそれぞれにおいていずれの位置にあるかを判断し、複数の画像における複数の被写体それぞれの位置情報に基づいて、複数の被写体のいずれが、複数の被写体における主要被写体であるかを推定する主要被写体推定部とを備える画像処理装置が提供される。

また、本発明の第二態様として、上記画像処理装置と、ユーザから操作されるレリーズボタンと、レリーズボタンの一度の操作に対して、複数の画像を撮像する撮像部とを備える撮像装置が提供される。

更に、本発明の第三態様として、時系列で撮像された複数の画像を取得する画像取得手順と、複数の画像に含まれる互いに異なる複数の被写体を抽出する被写体抽出手順と、複数の被写体のそれぞれが、複数の画像のそれぞれにおいていずれの位置にあるかを判断し、複数の画像における複数の被写体それぞれの位置情報に基づいて、複数の被写体のいずれが複数の画像における主要被写体であるかを推定する主要被写体推定手順とを計算機に実行させるプログラムが提供される。

上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。これら特徴群のサブコンビネーションもまた発明となり得る。

デジタルカメラ１００の斜視図である。 デジタルカメラ１００の斜視図である。 デジタルカメラ１００の内部回路２００を示すブロック図である。 主要被写体推定部２７０の動作手順を示す流れ図である。 撮影画像群４１０を例示する模式図である。 候補被写体選別部２６０の動作を模式的に示す図である。 候補被写体選別部２６０の動作を模式的に示す図である。 候補被写体選別部２６０の動作を模式的に示す図である。 候補被写体選別部２６０の動作を模式的に示す図である。 主要被写体推定部２７０の動作手順を示す流れ図である。 主要被写体推定部２７０の動作を模式的に示す図である。 主要被写体推定部２７０の動作を模式的に示す図である。 主要被写体推定部２７０の動作を模式的に示す図である。 主要被写体推定部２７０の動作を模式的に示す図である。 画像選択部２８０の動作手順を示す流れ図である。 画像選択部２８０の動作を模式的に示す図である。 画像選択部２８０の動作を模式的に示す図である。 画像選択部２８０の動作を模式的に示す図である。 画像選択部２８０の動作を模式的に示す図である。 画像選択部２８０の動作を模式的に示す図である。 画像選択部２８０の動作を模式的に示す図である。 画像処理プログラムを実行するパーソナルコンピュータの模式図である。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、撮像装置の一種であるデジタルカメラ１００を斜め前方から見た斜視図である。デジタルカメラ１００は、前後に薄い略立方体の筐体１１０と、筐体１１０の前面に配置されたレンズ鏡筒１２０および発光窓１３０と、筐体１１０の上面に配置された電源スイッチ１４２、レリーズボタン１４４、ズームレバー１４６等の含む操作部１４０を備える。

レンズ鏡筒１２０は、筐体１１０の内部に配置された撮像素子に被写体像を結像する撮影レンズ１２２を保持する。筐体１１０の内部に配置された図示していない発光部により発生した光は、発光窓１３０を介して被写体を照明する。

電源スイッチ１４２は、押される毎にデジタルカメラ１００の電源を断続する。ズームレバー１４６は、レンズ鏡筒１２０に保持された撮影レンズの倍率を変化させる。

レリーズボタン１４４が、ユーザによって半押しされた場合に、自動合焦部、測光センサ等が駆動されると共に、撮像素子によるスルー画像撮影動作が実行される。これにより、デジタルカメラ１００はスルー画像撮影に続く、被写体像の本撮影に備える。レリーズボタン１４４の全押し操作がなされると、シャッタが開いて被写体像の本撮影動作が実行される。撮影範囲の明るさが暗いなどの場合には、本撮影のタイミングに合わせて発光窓１３０から光が被写体に向かって投射される。

図２は、デジタルカメラ１００を斜め後方から見た斜視図である。図１と共通の要素には同じ参照番号を付して重複する説明を省く。

筐体１１０の背面には、十字キー１４１および背面ボタン１４３等を含む操作部１４０の一部と、背面表示部１５０とが配される。十字キー１４１および背面ボタン１４３は、デジタルカメラ１００に各種設定を入力する場合、デジタルカメラ１００の動作モードを切り替える場合等に、ユーザにより操作される。

背面表示部１５０は、液晶表示パネル等により形成され、筐体１１０背面の多くの領域を占める。デジタルカメラ１００が、例えばスルー画像撮影モードの場合、レンズ鏡筒１２０に入射する被写体像が撮像素子により連続的に光電変換され、撮影画像として背面表示部１５０に表示される。ユーザは、背面表示部１５０に表示されたスルー画像を観察することにより、有効な撮影範囲を知ることができる。

また、背面表示部１５０には、電池の残量、撮影画像データを記憶可能な記憶媒体の残り容量等、デジタルカメラ１００の状態が併せて表示される。更に、デジタルカメラ１００が再生モードで動作する場合は、記憶媒体から撮影画像データが読み出され、再生画像が背面表示部１５０に表示される。

図３は、デジタルカメラ１００の内部回路２００を模式的に示すブロック図である。図１および図２と共通の要素には同じ参照番号を付して重複する説明を省く。内部回路２００は、制御部２０１、画像取得部２０２および撮影画像処理部２０３を含む。

制御部２０１は、ＣＰＵ２１０、表示駆動部２２０、プログラムメモリ２３０およびメインメモリ２４０で構成される。ＣＰＵ２１０は、プログラムメモリ２３０からメインメモリ２４０に読み込んだファームウエアに従って、デジタルカメラ１００の動作を包括的に制御する。表示駆動部２２０は、ＣＰＵ２１０からの指示に従って表示画像を生成し、生成した画像を背面表示部１５０に表示する。

画像取得部２０２は、撮像素子駆動部３１０、撮像素子３１２、アナログ／デジタル変換部３２０、画像処理部３３０、自動合焦部３４０および測光センサ３５０を含む。

撮像素子駆動部３１０は、撮像素子３１２を駆動して、撮影レンズ１２２により撮像素子３１２の表面に結像された被写体像を光電変換して画像信号にする。撮像素子３１２としては、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等を用いることができる。

撮像素子３１２の出力する画像信号は、アナログ／デジタル変換部３２０により離散化され、画像処理部３３０により撮影画像データに変換される。画像処理部３３０は、撮影画像データを生成する過程で、画像のホワイトバランス、シャープネス、ガンマ、階調補正、撮影データを後述する二次記憶媒体３３２に記憶する際の圧縮率等を調整する。

画像処理部３３０において生成された画像データは、二次記憶媒体３３２に格納して保存される。二次記憶媒体３３２としては、フラッシュメモリカード等の不揮発性記憶素子を備えた媒体が使用される。なお、二次記憶媒体３３２の少なくとも一部は、デジタルカメラ１００から着脱して交換できる。

背面表示部１５０に表示する目的で生成したスルー画像撮影時において、自動合焦部３４０は、ユーザによるレリーズボタン１４４の半押し操作により、撮影画像の所定領域のコントラストが最も高くなった場合に撮影レンズ１２２が合焦したと判断する。測光センサ３５０は、被写体の明るさを計測して、デジタルカメラ１００の撮影条件を決定する。変倍駆動部３６０は、ＣＰＵ２１０の指示に従って撮影レンズ１２２の一部を移動させる。これにより、撮影レンズ１２２の倍率が変化して、撮影画像の画角が変化する。

入力部３７０は、操作部１４０からの入力を受け付け、デジタルカメラ１００に設定された設定値等を保持する。ＣＰＵ２１０は、入力部３７０を参照して、動作条件を決定する。

上記のような内部回路２００を有するデジタルカメラ１００は、さらにユーザがレリーズボタン１４４を押し下げる１回の撮影操作（全押し操作）に対して、画像取得部２０２が複数フレームの画像データを取得する撮影モードを有する。同撮影モードの設定がなされると、ＣＰＵ２１０は、撮像素子駆動部３１０により、撮像素子３１２が連続撮影を行うよう制御する。

これにより、時系列撮影画像（映像）データが取得される。このようにして取得された時系列の撮影画像データは、画像処理部３３０内のＦＩＦＯ（Ｆｉｒｓｔ Ｉｎ Ｆｉｒｓｔ Ｏｕｔ）メモリに順次入力される。ＦＩＦＯメモリは、所定の容量を有しており、順次入力される入力データが所定の容量に達すると、入力された順に撮影画像データが出力される。上記撮影モードでは、ユーザによるレリーズボタン１４４の全押し操作から所定時間が経過するまで、時系列の撮影画像データが、順次ＦＩＦＯメモリに入力され、この間に、ＦＩＦＯメモリから出力されたデータは削除される。

レリーズボタン１４４の全押し操作がなされてから所定時間が経過すると、ＦＩＦＯメモリへの撮影画像データの書き込みが禁止される。これにより、ＦＩＦＯメモリ内には、レリーズボタン１４４の全押し操作の前後に取得された複数フレームの時系列撮影画像データが保持される。即ち、一度の撮像操作に対して画像取得部２０２が時系列で撮像された複数フレームの画像を取得することにより、それら複数の画像から、撮影条件（絞り開度、シャッタ速度、撮像素子感度等）、撮影タイミング、主要被写体の写り具合等が適していたものを選択できる。これにより、撮影の成功率を向上させることができる。

近年、撮像素子の連写性能、メモリの集積度が向上する等により、ユーザの一度のレリーズボタン操作に対して、数十枚にも及ぶ撮影画像データを取得することができるようになった。このため、大量の撮影画像データから少数の画像を選択することはユーザの新たな負担になる。

これに対して、デジタルカメラ１００は、撮影画像処理部２０３を備える。撮影画像処理部２０３は、被写体抽出部２５０、主要被写体推定部２７０および画像選択部２８０を有し、撮影された画像の中から、主要被写体の写り具合のよい画像を選択する。以下、撮影画像処理部２０３の動作について説明する。

図４は、撮影画像処理部２０３における被写体抽出部２５０および候補被写体選別部２６０の動作手順を示す流れ図である。また、図５から図９は、撮影画像処理部２０３の被写体抽出部２５０および候補被写体選別部２６０において実行される処理を模式的に示す図であり、下記の説明において随時参照する。

図５に示すように、撮影画像処理部２０３は、１回のレリーズ操作（全押し操作）により画像取得部２０２が取得した複数の撮影画像４１−１〜４１−ｎを含む撮影画像群４１０を、二次記憶媒体３３２から読み出す（ステップＳ１０１）。複数の撮影画像４１−１〜４１−ｎは、時系列的に撮影されてはいるが、連続撮影中の手振れ、被写体の状態変化などにより、その内容は互いに異なる。なお、ステップＳ１０１で取得される複数の撮影画像データは、二次記憶媒体３３２から読み出されたデータに限らず、撮像素子３１２で撮影された、二次記憶媒体３３２に記憶される前の撮影画像データであってもよい。

次に、撮影画像処理部２０３は、図５において撮影画像４１−１について示すように、被写体抽出部２５０により、撮影画像４１−１〜４１−ｎのそれぞれに含まれる複数の被写体１１〜３１を全て抽出する（ステップＳ１０２）。

続いて、撮影画像処理部２０３は、被写体１１〜３１のそれぞれについて顔認識（同一のカテゴリ「顔」に分類される被写体の認識）を実行する（ステップＳ１０３）。これにより、図５に枠で囲んで示すように、顔が認識された被写体１５、１６、２１〜３１を被写体として処理の対象とし、他の被写体１１〜１４は撮影画像処理部２０３による処理の対象から除く（ステップＳ１０４）。

なお、以下の説明では処理対象の被写体として人物（顔）を想定した例について説明するが、処理対象はこれに限られるわけではない。例えば、犬、車等、他の被写体であってもよい。

次に、撮影画像処理部２０３は、候補被写体選別部２６０において、個々の被写体１５〜３１について、主要被写体の候補となり得るか否かを選別する（ステップＳ１０５）。図６には、候補被写体選別部２６０による被写体選別方法のひとつが例示される。

即ち、候補被写体選別部２６０は、既に顔を認識している個々の被写体１５〜３１のひとつひとつについて視線を抽出し、抽出された視線がデジタルカメラ１００の方に向かっているか否かに基づいて被写体を評価する（ステップＳ１０５）。

図６では、視線がデジタルカメラ１００の方に向かっている被写体（顔）を実線矩形で示している。この評価により、候補被写体選別部２６０は、視線がデジタルカメラ１００に向かっている被写体を、主要被写体になり得る候補被写体として選別する（ステップＳ１０６）。

以下、候補被写体選別部２６０は、撮影画像４１−１上に未評価の被写体がなくなるまで、上記のステップＳ１０５、Ｓ１０６の処理を、ステップＳ１０１で取得された全画像について繰り返す（ステップＳ１０７：ＮＯ）。未評価の被写体がなくなった場合（ステップＳ１０７：ＹＥＳ）は、候補被写体選別部２６０における処理は終了する。

こうして、抽出された視線がデジタルカメラ１００の方に向かっている被写体２１〜２３、２６〜３１は、主要被写体の候補として選別される。他の被写体１５、１６、２４、２５は、候補被写体選別部２６０における以降の処理の対象から除かれる。

図７には、候補被写体選別部２６０による、他の評価方法が例示される。即ち、候補被写体選別部２６０は、認識した顔から笑顔の特徴を抽出して評価する（ステップＳ１０５）。笑顔の特徴に関する評価（笑顔の度合、すなわち笑顔度）に基づいて、候補被写体選別部２６０は、評価値（笑顔度）が所定値以上の被写体２２、２６、２７、２９、３０、３１は候補被写体として選別される（ステップＳ１０６）。図７では、これら被写体（顔）を実線矩形で示す。他の被写体２１、２３、２８は、候補被写体選別部２６０の以降の処理の対象から除かれる。

また、候補被写体選別部２６０は、デジタルカメラ１００に予め登録された個体（特定個人）を認識して、デジタルカメラ１００のユーザとの親近性により候補被写体として評価してもよい（ステップＳ１０５）。ユーザと特定個人との親近性は、各特定個人毎に、その認識のための画像特徴量と共に、デジタルカメラ１００に予め登録・記憶されている。例えば、本実施形態では、画像内に存在する被写体のうち、所定値以上の親近度を有する特定個人が、候補被写体として抽出される。

これにより、図８に例示する被写体２６、２７、３０、３１が、候補被写体選別部２６０により選別される（ステップＳ１０６）。よって、他の被写体１５、１６、２１〜２５、２８、２９は、候補被写体選別部２６０の以降の処理の対象から除かれる。

図９には、候補被写体選別部２６０による他の評価方法が例示される。候補被写体選別部２６０は、複数の撮影画像４１−１〜４１−ｎについて、被写体１５〜３１の各個体毎の出現頻度（各撮影画像フレームにわたる各固体の出現フレーム数）を抽出して被写体を評価する（ステップＳ１０５）。なお、図９では、簡単のため、被写体２６、２７、３０、３１について、各撮影画像フレームにおける当該被写体の出現フレームを例示している。

これにより、出現頻度が高い（例えば、出現フレーム数が１０以上の）被写体２６、２７は、候補被写体選別部２６０により候補被写体として選別される（ステップＳ１０６）。よって、他の被写体３０、３１は、候補被写体選別部２６０の以降の処理の対象から除かれる。

このように、候補被写体選別部２６０は、被写体の顔を個別に評価した上で主要被写体の候補となり得る被写体を評価する。また、候補被写体選別部２６０は、評価の高い被写体を、候補被写体として選別する。これにより、次に説明する主要被写体推定部２７０における処理の負荷を軽減することができる。

なお、候補被写体選別部２６０における候補被写体としての評価項目および評価方法が上記の例に限られないことはもちろんである。また、上記説明では、候補被写体選別部２６０の選別動作を実行する複数の例を個別に示したが、これらの一部あるいは全部を組み合わせて実行する構成としてもよい。その際の評価の順序も、上記の順に限らない。

図１０は、撮影画像処理部２０３における主要被写体推定部２７０の動作手順を示す流れ図である。また、図１１から図１４は、主要被写体推定部２７０において実行される処理を模式的に示す図であり、下記の説明において随時参照する。

ここでは、一例として、候補被写体選別部２６０が被写体候補として被写体２６、２７を選別した場合について説明する。撮影画像処理部２０３は、図１１に示すように、候補被写体選別部２６０が候補被写体であるとして選別した被写体２６、２７のひとつひとつについて、主要被写体として個別の評価を主要被写体推定部２７０に実行させる。（ステップＳ２０１）。評価の方法としては、例えば、個々の撮影画像４１−１〜４１−ｎにおける候補被写体２６、２７の位置に基づく方法を例示できる。

図１２は、主要被写体推定部２７０が、画面４２１における被写体の位置の履歴に基づいて候補被写体２６、２７を評価する方法を模式的に示す図である。図１２では、撮影画像４１−１〜４１−５における候補被写体２６、２７の位置を、ひとつの画像上に重畳して示す。

被写体を撮影するにあたり、撮影者は、撮影したい被写体がなるべく画面中央に近い位置となるように撮影範囲を設定することが多い。特に、撮影したい被写体が被写界内を移動する動被写体である場合には、撮影したい被写体がなるべく画像中央に近い位置となるように、カメラを移動させて撮影することが多い。

このため、図１２に示すように、主要被写体推定部２７０は、デジタルカメラ１００の複数の撮影画像４１−１〜４１−ｎについて、候補被写体２６、２７のそれぞれを個別に追尾して、候補被写体２６、２７の位置が、撮影画像４１−１〜４１−ｎの各フレームの中心Ｃからどれぐらい離れた位置に写っているかを調べる。上記追尾動作を実行することにより、例えば、顔の向きが後ろ向きの場合など、正常に顔認識を実行できない撮影画像フレームがあったとしても、フレーム間で同一被写体の対応付けをすることができる。

また、後述するように、取得された複数の撮影画像４１−１〜４１−ｎのうち、レリーズボタン１４４が押し下げられたタイミングに時間的に近いタイミングで取得された撮影画像フレームに写り込んでいる被写体は、撮影者（ユーザ）が撮影することを意図した被写体である蓋然性が高い。よって、例えば、以下のような手順により、主要被写体の推定精度を向上させることができる。

即ち、レリーズボタン１４４が全押し操作されたタイミングによって決定される１フレームの画像（例えば、後述する図１４で、レリーズボタン１４４が全押しされた直後に取得された撮影画像４１−３）を初期フレームとする。次いで、初期フレームよりも時間的に前に取得された複数の画像（図１４の例では撮影画像４１−２、４１−１）、および、時間的に初期フレームよりも後に取得された複数の画像（（図１４の例では撮影画像４１−４、４１−５、４１−６、・・・）の各々にわたって、初期フレーム画像中で検出された複数の被写体を個別に認識する。続いて、検出された複数の被写体にそれぞれについて、複数の画像におけるそれぞれの位置を判断する。

主要被写体推定部２７０は、未評価の被写体がなくなるまで、上記のステップＳ２０３、Ｓ２０４を繰り返す（ステップＳ２０２：ＮＯ）。未評価の被写体がなくなった場合（ステップＳ２０２：ＹＥＳ）は、主要被写体推定部２７０におけるステップＳ２０３の処理へ移行する。

より具体的には、主要被写体推定部２７０は、複数の撮影画像４１−１〜４１−５において、候補被写体２６が写っている位置を、複数の撮影画像４１−１〜４１−ｎの中心Ｃから候補被写体２６のまでの距離ｄ_１、ｄ_２、ｄ_３、ｄ_４、ｄ_５に対応する値の平均値あるいは積算値により評価する。次に、主要被写体推定部２７０は、他の候補被写体２７についても、複数の撮影画像４１−１〜４１−５の中心Ｃから候補被写体２７のまでの距離Ｄ_１、Ｄ_２、Ｄ_３、Ｄ_４、Ｄ_５に対応する値の平均値あるいは積算値により評価する。

続くステップＳ２０３では、各候補被写体毎に得られた評価値（上記の例では画面中心Ｃからの距離に対応する値の平均値あるいは積算値）を比較する。このような評価により、図示の例では、候補被写体２７の方が、候補被写体２６よりも、撮影画像の中心Ｃの近くに写っていることが多いと判る。そこで、主要被写体推定部２７０は、候補被写体２７が主要被写体であると推定する。こうして、撮影画像処理部２０３は、被写体２６、２７のなかから被写体２７を主要被写体と推定する（ステップＳ２０３）。

図１３は、主要被写体推定部２７０が、画面４２２における位置の履歴に基づいて候補被写体２６、２７を評価する他の方法を模式的に示す図である。図示のように、まず、デジタルカメラ１００の画面４２２の中央付近に予め定められた所定領域Ａを設定する。次いで、複数の撮影画像４１−１〜４１−５ｎにおいて、候補被写体２６、２７が、所定領域Ａに入り込んだ回数を計数する。なお、所定領域Ａの位置は、画面中央に限定されず、特に構図を考慮した場合など、画面注付近以外の領域に設定されるものであってもよい。

これにより、候補被写体２７の方が、候補被写体２６よりも、所定領域Ａ内に写っている回数が多いと判る。そこで、主要被写体推定部２７０は、候補被写体２７が主要被写体であると推定する。

このように、撮影画像処理部２０３は、複数の画フレームにわたる各被写体の位置に基づいて、主要被写体２７を推定できる。ただし、主要被写体２７を位置の履歴に基づいて推定する場合の評価方法が上記の方法に限らないことはもちろんである。例えば、図１２に示した方法において、中心Ｃとの距離Ｄ_１、Ｄ_２、Ｄ_３、Ｄ_４、Ｄ_５を評価する場合に、単純平均ではなく、統計的な処理を加えて評価値を算出してもよい。また、中心Ｃとの距離の被写体２７が、時間の経過と共に画面４２２の中心に近づいていることを評価してもよい。

図１４は、主要被写体推定部２７０が、候補被写体２６、２７を評価する付加的な方法を模式的に示す図である。既に説明したように、デジタルカメラ１００の画像取得部２０２は、一度の撮像操作に対して時系列で撮像された複数の画像を取得することができる。こうして取得された複数の撮影画像４１−１〜４１−ｎのうち、レリーズボタン１４４が押し下げられたタイミングに時間的に近い撮影画像に写り込んでいる候補被写体２６、２７は、上述のように、撮影者が撮影することを意図した被写体である蓋然性が高い。

よって、上記のように候補被写体２６、２７を評価する場合に、取得されたタイミングが、レリーズボタン１４４が押し下げられたタイミングに時間的に近い撮影画像に写り込んでいる候補被写体２６、２７に重みをつけて評価してもよい。また、レリーズタイミングにより近い画像において画面４２１の中心Ｃにより近かった候補被写体２７、あるいは、レリーズタイミングにより近い画像において画面４２１の所定領域Ａに入っていた候補被写体２７に、より重み付けをして評価をしてもよい。これにより、主要被写体の推定精度をより向上させることができる。

図１５は、画像選択部２８０の動作手順を示す流れ図である。画像選択部２８０は、まず、撮影画像群４１０から、複数の選択候補画像を抽出する（ステップＳ３０１）。選択候補画像は、撮影画像４１−１〜４１−ｎから、例えば、既に推定された主要被写体が写っていることを条件として抽出し、撮影画像４１−１〜４１−ｎの各々について選択候補画像となるか否かを調べる。

画像選択部２８０は、選択候補画像となり得る撮影画像が無くなるまで、ステップＳ３０１を繰り返す（ステップＳ３０２：ＮＯ）。選択候補画像となり得る撮影画像が無くなった場合（ステップＳ３０２：ＹＥＳ）、画像選択部２８０は、選択候補画像の各々について、主要被写体２７の撮影状態を評価する（ステップＳ３０３）。

画像選択部２８０は、選択の対象となる撮影画像が残っている間（ステップＳ３０４：ＮＯ）、撮影画像の各々について主要被写体の撮影状態の評価を繰り返えし（ステップＳ３０３）、全ての候補画像について評価を終わった場合（ステップＳ３０４：ＹＥＳ）、ステップＳ３０５で、評価結果に基づいて主要被写体の写り具合が最適な画像を選択画像として選択し、処理を終了する。これをもって、撮影画像処理部２０３における画像選択処理を終了する。

続いて、ステップＳ３０３、Ｓ３０５の処理について説明する。図１６は、画像選択部２８０が、主要被写体２７の撮影状態により選択候補画像を評価する方法を模式的に示す図である。撮影画像群４１０の最初の撮影画像４１−１と比較すると、撮影画像４１−２に写り込んでいる被写体１１〜１６、２１〜３１は共通している。しかしながら、撮影画像４１−２においては、何らかの理由で被写界深度が変化し、主要被写体２７のコントラストに対して、他の被写体１１〜１６、２１〜２５、２８〜３１のコントラストが低い。

このように、撮影画像４１−２における主要被写体２７のコントラストが他の被写体１１〜１６、２１〜２５、２８〜３１よりも高い場合に、画像選択部２８０は、当該画像において主要被写体２７が相対的に強調されていると判断し、当該撮影画像４１−２を選択する。

なお、撮影画像４１−２におけるひとつの被写体２６は、主要被写体２７の近くに位置していたので、主要被写体２７と同等に高いコントラストで撮影されている。しかしながら、他の全ての被写体１１〜１６、２１〜２５、２８〜３１を勘案して総合的に評価すると、被写体１１〜１６、２１〜２５、２８〜３１のコントラストは、主要被写体２７よりも低いと評価できる。

また、各選択候補画像の主要被写体２７の領域の画像データについて、高周波成分を算出し、この高周波成分の領域内の累積値が最大となる画像を選択画像としてもよい。高周波成分の算出は、周知のハイパスフィルタ、ＤＣＴ演算により抽出できる。これにより、候補画像の中から、主要被写体２７にピントがあった画像を選択できる。

図１７は、画像選択部２８０が、主要被写体２７の撮影状態により撮影画像を評価する他の方法を模式的に示す図である。撮影画像４１−３に写り込んでいる被写体１１〜１４、２１〜３１は、撮影画像群４１０の最初の撮影画像４１−１と共通している。しかしながら、撮影画像４１−３においては、主要被写体２７と他の被写体１１〜１４、２１〜２６、２８〜３１との位置が変化している。

これにより、他の被写体１１〜１５、１６、２１〜２６、２８〜３１が撮影画像４１−３において占める面積は、撮影画像４１−１に比較すると小さい。このように、撮影画像４１−３において他の被写体１１〜１６、２１〜２６、２８〜３１が占める面積が小さい場合に、画像選択部２８０は、当該撮影画像４１−３において主要被写体２７が相対的に強調されていると評価し、当該撮影画像４１−３を選択する。

図１８は、画像選択部２８０が、不要被写体１５、１６、２１〜２６、２８〜３１の撮影状態により選択候補画像を評価するまた他の方法を模式的に示す図である。撮影画像４１−４に写り込んでいる被写体１５、１６、２１〜３１は、撮影画像群４１０の最初の撮影画像４１−１と共通している。しかしながら、撮影画像４１−４においては、不要被写体１５、１６、２１〜２６、２８〜３１の位置が分散している。

これにより、撮影画像４１−４における不要被写体１５、１６、２１〜２６、２８〜３１の位置は、撮影画像４１−１に比較すると、撮影画像４１−４の周辺部により接近している。このように、撮影画像４１−４における不要被写体１５、１６、２１〜２６、２８〜３１の位置が周辺部に接近している場合に、画像選択部２８０は、当該撮影画像４１−４において主要被写体２７が相対的に強調されていると評価し、当該撮影画像４１−４を選択する。

図１９は、画像選択部２８０が、主要２７の撮影状態により選択候補画像を評価する方法を模式的に示す図である。撮影画像４１−５に写り込んでいる被写体１１〜１６、２１〜３１は、撮影画像群４１０の最初の撮影画像４１−１と共通している。しかしながら、撮影画像４１−５においては、主要被写体２７に対して照明が強く当たっており、他の被写体１１〜１６、２１〜２５、２８〜３１は相対的に暗く写っている。

このように、撮影画像４１−５における主要被写体２７が他の被写体１１〜１６、２１〜２５、２８〜３１に比べて明るく写っている場合に、画像選択部２８０は、当該画像において主要被写体２７が相対的に明るく撮影されていると評価し、当該撮影画像４１−５を選択する。

なお、撮影画像４１−５におけるひとつの被写体２６は、主要被写体２７と同等に明るく撮影されている。しかしながら、全ての被写体１１〜１６、２１〜２５、２８〜３１を併せて評価すると、主要被写体２７のコントラストは、他の被写体１１〜１４、２１〜２５、２８〜３１よりも総合的に高い。

図２０は、画像選択部２８０が、主要被写体２７の撮影状態により選択候補画像を評価する他の方法を模式的に示す図である。撮影画像４１−６に写り込んでいる被写体１１〜１４、２１〜３１は、撮影画像群４１０の最初の撮影画像４１−１と共通している。しかしながら、撮影画像４１−６においては、主要被写体２７自体の大きさが大きく変化していると共に、主要被写体２７と不要被写体１１〜１４、２１〜２６、２８〜３１の大きさの相対関係が変化している。

これにより、主要被写体２７が撮影画像４１−６において占める面積は、撮影画像４１−１に比較すると大きい。このように、撮影画像４１−６において主要被写体２７が占める面積がより大きい場合に、画像選択部２８０は、当該撮影画像４１−６において主要被写体２７が相対的に強調されていると評価し、当該撮影画像４１−６を選択画像として選択する。

このような被写体２７の大きさが、他の被写体１５、１６、２１〜２６、２８〜３１の大きさに比較して相対的に大きい選択候補画像について、主要被写体２７が強調されていると評価する方法に替えて、主要被写体２７の大きさが最も大きい選択候補画像を、主要被写体２７が強調されていると評価する方法を用いてもよい。

図２１は、画像選択部２８０が、主要被写体２７の撮影状態により選択候補画像を評価するまた他の方法を模式的に示す図である。撮影画像４１−７に写り込んでいる被写体１１〜１４、２１〜３１は、撮影画像群４１０の最初の撮影画像４１−１と略共通している。しかしながら、撮影画像４１−７においては、主要被写体２７の位置が、被写界中央に位置している。このように、撮影画像４１−７における主要被写体２７の位置が撮影画像４１−７の所定位置（例えば、中央）に近い場合に、画像選択部２８０は、当該撮影画像４１−７において主要被写体２７が相対的に強調されていると評価し、当該撮影画像４１−７を選択する。

なお、上記の例では、主要被写体２７の位置が中央に近いほど、主要被写体が強調されていると評価したが、評価方法はこれに限定されるわけではない。例えば、主要被写体２７が、画面の中央に存在する所謂「日の丸構図」を避ける目的で、主要被写体２７の位置が、画面の領域を縦横各々３つに等しく分割した線に近いほど、主要被写体２７が強調されていると評価してもよい。

このように、画像選択部２８０は、撮影画像４１−１〜４１−ｎの各々における主要被写体２７の撮影状態を評価して、ユーザにとってより重要な主要被写体２７の撮影状態が、他の被写体１１〜１６、２１〜２６、２８〜３１に対してより良好な撮影状態にあり、結果として主要被写体２７が強調されている画像を選択する。

なお、主要被写体の評価による選択の順序は、上記の順に限られない。また、選択のための上記の評価方法が全て実行されるとは限らない。更に、上記の評価方法を例に過ぎず、他の評価項目あるいは評価方法を併用してもよい。

以上のようにして画像選択部２８０が選択した撮影画像４１−２〜４１−７は、例えば、デジタルカメラ１００が再生モードに設定された場合に、優先的にユーザに提示される。これにより、ユーザは、多数の撮影画像から撮影画像を選択する場合の選択作業時間を短縮できる。また、デジタルカメラ１００は、特に評価が低かった撮影画像については、自動的に破棄するか、あるいは、ユーザから表示することを指示されるまでは非表示とするようにしてもよい。

このように、画像選択部２８０は、撮影画像の各々において主要被写体がより強調されていることを評価して画像を選択する。よって、ユーザは、多くの撮影画像から選択画像を抽出する手間を省くことができる。また、ユーザによる選択を全て省くのではなく、画像選択部２８０による選択範囲を広くして、ユーザの選択の手間を軽減するに留めてもよい。

図２２は、撮影条件設定プログラムを実行するパーソナルコンピュータ５００を模式的に示す図である。パーソナルコンピュータ５００は、ディスプレイ５２０、本体部５３０およびキーボード５４０を有する。

本体部５３０は、デジタルカメラ１００との通信により、デジタルカメラ１００から撮影画像の画像データを取得できる。取得した画像データは、パーソナルコンピュータ５００の記憶媒体に格納できる。また、パーソナルコンピュータ５００は、実行すべきプログラムをロードする場合に用いる光学ドライブ５３２も備える。

上記のようなパーソナルコンピュータ５００は、撮影画像処理プログラムを読み込ませることにより、図４、図１０および図１５に示した手順を実行する撮影画像処理装置として動作する。また、パーソナルコンピュータ５００は、ケーブル５１０を介して、デジタルカメラ１００から撮影画像データを取得して処理の対象とすることができる。

即ち、撮影画像処理プログラムは、時系列で撮像された複数の画像を取得する画像取得手順と、複数の画像に含まれる互いに異なる複数の被写体を抽出する被写体抽出手順と、複数の被写体のそれぞれが、複数の画像のそれぞれにおいていずれの位置にあるかを判断し、複数の画像における複数の被写体それぞれの位置情報に基づいて、複数の被写体のいずれが複数の画像における主要被写体であるかを推定する主要被写体推定手順とを備える。そして、撮影画像処理プログラムは、これら一連の手順をパーソナルコンピュータ５００に実行させる。

これにより、ユーザは、より大きなディスプレイ５２０およびキーボード５４０で、操作しやすい。パーソナルコンピュータ５００を用いることにより、より大量の画像を高速に処理できる。また、被写体抽出手順、主要被写体推定手順および画像選択手順の各々における評価項目を増やすと共に、評価単位を細かくしてもよい。これにより、ユーザの意図をより詳細に反映しつつ画像選択を補助できる。

なお、デジタルカメラ１００およびパーソナルコンピュータ５００の間の撮影画像データの転送は、図示のようにケーブル５１０を経由してもよいし、無線通信であってもよい。また、撮影画像データが格納された二次記憶媒体を受け渡すことにより、撮影画像データを取得してもよい。また、撮影画像処理プログラムの実行は、パーソナルコンピュータ５００に限られるものではなく、店頭あるいはオンラインのプリントサービス設備等で実行してもよい。

上記実施形態においては、ステップＳ１０５、Ｓ１０６で、被写体の視線検出による評価、被写体の笑顔度による評価、出現頻度（各撮影画像フレームにわたる各固体の出現フレーム数）による評価により、主要被写体の候補被写体を抽出した上で、画像の中心Ｃから候補被写体までの距離に相当する値、あるいは、画面内の所定領域に各候補被写体が写り込んでいるフレーム数をもとに主要被写体を推定する例について説明した。しかしながら、更に、下記のように変形することもできる。

即ち、ＣＰＵ２１０は、まず、時系列で取得された複数フレーム画像に対して、顔認識を実行した上で、認識された複数の顔の各々について追尾動作を実行する。これにより、時系列で取得された複数の撮影画像フレーム間で、認識された顔の対応付けが実行される。この際の追尾動作の初期フレームとしては、例えば、レリーズボタン１４４が全押し操作された直後に取得された画像が選択され、この初期フレームにおける各顔の座標を起点として、これよりも時間的に前に取得されたフレーム、および、時間的に後に取得されたフレームに対して、各々追尾動作が実行される。このよう追尾動作は、例えば、顔認識で抽出された顔領域をテンプレートとしたテンプレートマッチングを利用して実行できる。

このようにして、上述のように、各顔について、各フレームにおける画像の中心Ｃから候補被写体までの距離に対応する値の平均値若しくは累積値、あるいは、画面内の所定領域に各候補被写体が写り込んでいるフレーム数を算出し、それに基づいて上述の場合と同様の手法により主要被写体を推定できる。

この場合、上記実施形態において説明した通り、レリーズボタン１４４が操作されたタイミングに近い画像に重みを付けて評価してもよい。このようにして、一連の撮影画像において、撮影者が撮影しようとした主要被写体が推定されると共に、その主要被写体の各画像フレームにおける位置、領域が特定される。

次に、推定された主要被写体の各撮影画像フレームにおける写り具合がその画像特性をもとに評価される。画像特性による主要被写体の写り具合の評価は、ステップＳ１０５、Ｓ１０６で説明した被写体の視線検出による評価、被写体の笑顔度による評価、図１６を参照して説明した主要被写体のコントラスト評価、主要被写体領域の画像データの高周波成分を用いた評価、図１７、図２０を参照して説明した主要被写体の大きさ、図１８、図２１を参照して説明した主要被写体、他の被写体の位置、図１９を参照して説明した主要被写体の明るさなどにより実行できる。

また、その他に、主要被写体の向き、主要被写体の隠れ（オクルージョン）主要被写体が目をつぶっているか否か、主要被写体の一部または全部が撮影画像フレームからフレームアウトとしているか否か等よって、主要被写体の写り具合を評価できる。さらに、これらの方法の一部または全部を組み合わせて、主要被写体の写り具合を評価してもよい。

上記の主要被写体の一部フレームアウトの判断は、例えば、主要被写体領域の大きさと位置を、時系列画像間で順次比較して、主要被写体領域の位置が撮影画像フレームの画面端に接し、且つ、その大きさの時系列画像の時間的に隣接するフレームと比較して小さくなっていることを検出することで判断できる。

また、主要被写体全部のフレームアウトは、主要被写体が推定できない、即ち、主要被写体が存在しない撮影画像フレームが存在するが故に、撮影画像フレーム間で各被写体を対応付ける上述の追尾動作が、当該撮影画像フレームで実行できなかったことを検出することにより判断できる。

このような評価を自動的に実行し、主要被写体の写り具合の適切なものを、撮影者に優先的に提示するようにしてもよい。また、主要被写体の写りが好ましくないフレーム画像については、削除画像候補としてユーザに提示してもよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加え得ることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

また、特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示していない限り、あるいは、前の処理の出力を後の処理で用いない限り、任意の順序で実現し得ることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等を用いて説明したとしても、この順で実施することが必須であることを意味するとは限らない。

１１〜３１ 被写体、１００ デジタルカメラ、１１０ 筐体、１２０ 鏡筒、１２２ 撮影レンズ、１３０ 発光窓、１４０ 操作部、１４１ 十字キー、１４２ 電源スイッチ、１４３ 背面ボタン、１４４ レリーズボタン、１４６ ズームレバー、１５０ 背面表示部、２００ 内部回路、２０１ 制御部、２０２ 画像取得部、２０３ 撮影画像処理部、２１０ ＣＰＵ、２２０ 表示駆動部、２３０ プログラムメモリ、２４０ メインメモリ、２５０ 被写体抽出部、２６０ 候補被写体選別部、２７０ 主要被写体推定部、２８０ 画像選択部、３１０ 撮像素子駆動部、３１２ 撮像素子、３２０ アナログ／デジタル変換部、３３０ 画像処理部、３３２ 二次記憶媒体、３４０ 自動合焦部、３５０ 測光センサ、３６０ 変倍駆動部、３７０ 入力部、４１０ 撮影画像群、４１−１〜４１−ｎ 撮影画像、４２１、４２２ 画面、５００ パーソナルコンピュータ、５１０ ケーブル、５２０ ディスプレイ、５３０ 本体部、５３２ 光学ドライブ、５４０ キーボード

Claims (10)

1. 時系列で撮像された複数の画像を取得する画像取得部と、
   前記複数の画像に含まれる互いに異なる複数の被写体を抽出する被写体抽出部と、
   前記複数の被写体のそれぞれが、前記複数の画像のそれぞれにおいていずれの位置にあるかを判断し、前記複数の画像における前記複数の被写体それぞれの位置情報に基づいて、前記複数の被写体のいずれが、前記複数の被写体における主要被写体であるかを推定する主要被写体推定部と、
   ユーザから操作されるレリーズボタンと、
   前記レリーズボタンの一度の操作に対して、前記複数の画像を撮像する撮像部と
   を備え、
   前記被写体抽出部は、前記レリーズボタンの操作タイミングによって決定される、前記複数の画像のうちの一つの画像において、前記複数の被写体を抽出し、
   前記主要被写体推定部は、該当画像を初期フレームとして、当該初期フレームより時間的に前に取得された前記複数の画像、および、当該初期フレームにより時間的に後に取得された前記複数の画像の各々にわたって前記複数の被写体を個別に追尾することにより、前記複数の画像における複数の被写体それぞれの位置を判断する撮像装置。
2. 前記主要被写体推定部は、前記複数の画像における前記複数の被写体それぞれの位置の履歴情報に基づいて、前記複数の被写体のいずれが主要被写体であるかを推定する、請求項１に記載の撮像装置。
3. 前記被写体抽出部は、前記複数の被写体として複数の顔を検出し、
   前記主要被写体推定部は、前記複数の画像にわたって前記複数の顔の各々を個別に追尾することにより前記複数の画像における複数の被写体それぞれの位置を判断する請求項１または請求項２に記載の撮像装置。
4. 前記主要被写体推定部は、前記複数の被写体のそれぞれについて、前記複数の画像で共通する該当画像内の基準位置からの距離に対応する値に基づいて前記主要被写体を推定する請求項１から請求項３までのいずれか一項に記載の撮像装置。
5. 前記主要被写体推定部は、前記複数の被写体のそれぞれについて、前記複数の画像で共通する該当画像内の基準領域に存在するフレーム数に基づいて前記主要被写体を推定する請求項１から請求項３までのいずれか一項に記載の撮像装置。
6. 前記主要被写体推定部は、前記複数の画像において、前記時系列上で撮像を指示したタイミングにより近い画像に出現する被写体に重みをつけて評価する請求項１から請求項５までのいずれか一項に記載の撮像装置。
7. 前記複数の画像について、前記主要被写体推定部が推定した前記主要被写体の領域の画像特性を評価した結果に応じて、前記複数の画像の中から、主要被写体の写りが最適な画像を選択する画像選択部をさらに備える請求項１から請求項６までのいずれか一項に記載の撮像装置。
8. 前記画像選択部は、前記複数の画像のうち、前記主要被写体推定部が推定した前記主要被写体の領域のコントラストまたは高周波成分がより大きい画像、前記主要被写体の領域の占める面積がより大きい画像、前記主要被写体の領域の位置がより中央に近い画像、および、前記主要被写体の少なくとも一部がフレームアウトした画像を除いた画像の少なくともいずれかを選択する請求項７に記載の撮像装置。
9. 前記主要被写体は人物であり、前記画像選択部は、前記複数の画像で、前記主要被写体推定部が推定した主要被写体の視線方向、目の開閉状態、笑顔の度合いの少なくともいずれかに基づいて、前記主要被写体の写りが最適な画像を選択する請求項７に記載の撮像装置。
10. レリーズボタンへのユーザによる一度の操作に対して、時系列で撮像された複数の画像を取得する画像取得手順と、
    前記複数の画像のうちの一つの画像に含まれる複数の被写体を抽出する被写体抽出手順と、
    該当画像を初期フレームとして、当該初期フレームより時間的に前に取得された前記複数の画像、および、当該初期フレームにより時間的に後に取得された前記複数の画像の各々にわたって前記複数の被写体を個別に追尾することにより、前記複数の画像における前記複数の被写体それぞれの位置を判断する位置判断手順と、
    前記複数の被写体のそれぞれが、前記複数の画像のそれぞれにおいていずれの位置にあるかを判断し、前記複数の画像における前記複数の被写体それぞれの位置情報に基づいて、前記複数の被写体のいずれが前記複数の画像における主要被写体であるかを推定する主要被写体推定手順と
    を計算機に実行させるプログラム。

Images