JP5862071B2 - 画像処理装置、撮像装置およびプログラム - Google Patents

Description

本発明は画像処理装置、撮像装置およびプログラムに関する。

複数画像の個々の品質を自動的に評価して選別し、選別した画像をユーザ選択に委ねる画像表示装置が提案されている（特許文献１参照）。
［特許文献１］特開２００６−３１１３４０号公報

しかしながら、画像全体の品質により評価した場合、ユーザが着目する被写体がどのように写っているかは評価されておらず、自動的な評価がユーザの選択と一致するとは限らなかった。

請求項１に記載の画像処理装置は、複数の画像を取得する画像取得部と、前記複数の画像における主要被写体を推定する主要被写体推定部と、前記複数の画像のそれぞれについて、視覚的な顕著度を算出する顕著度算出部と、前記複数の画像の間で前記主要被写体の顕著度を比較し、前記主要被写体の前記顕著度に基づいて前記複数の画像のうちのいずれかの画像を選択する画像選択部とを有し、前記顕著度算出部は、前記複数の画像の各々における輝度値、色および方向性エッジの各々の分布を合成して前記顕著度の分布を算出し、前記顕著度算出部は、前記輝度値、色および方向性エッジの各々について個別に正規化した分布を合成して前記顕著度の分布を算出し、前記画像選択部は、前記輝度値、色および方向性エッジの各々の分布のいずれかに更に基づいて、前記複数の画像のうちのいずれかの画像を選択する。
請求項２に記載の画像処理装置は、複数の画像を取得する画像取得部と、前記複数の画像における主要被写体を推定する主要被写体推定部と、前記複数の画像のそれぞれについて、視覚的な顕著度を算出する顕著度算出部と、前記複数の画像の間で前記主要被写体の顕著度を比較し、前記主要被写体の前記顕著度に基づいて前記複数の画像のうちのいずれかの画像を選択する画像選択部とを有し、前記画像選択部は、さらに、前記複数の画像の各々の顕著度の最大値と、前記主要被写体の顕著度との比率を、前記複数の画像の各々について算出し、当該比率に基づいて、前記複数の画像の何れかの画像を選択する。
請求項３に記載の画像処理装置は、複数の画像を取得する画像取得部と、前記複数の画像のそれぞれの顕著な度合いを示す第１値を算出し、前記複数の画像のそれぞれの主要被写体の顕著な度合いを示す第２値を算出する算出部と、前記複数の画像のそれぞれについて前記第１値と前記第２値とを比較することにより前記複数の画像の何れかを選択する選択部とを有する。
請求項８に記載の画像処理プログラムは、複数の画像を取得する取得手順と、前記複数の画像のそれぞれの顕著な度合いを示す第１値を算出し、前記複数の画像のそれぞれの主要被写体の顕著な度合いを示す第２値を算出する算出手順と、前記複数の画像のそれぞれについて前記第１値と前記第２値とを比較することにより前記複数の画像の何れかを選択する選択手順とを計算機に実行させるための画像処理プログラムである。
請求項９に記載の画像処理プログラムは、複数の画像を取得する取得手順と、前記複数の画像のそれぞれの目立ち度合いを示す第１値を算出し、前記複数の画像のそれぞれの主要被写体の目立ち度合いを示す第２値を算出する算出手順と、前記複数の画像のそれぞれについて前記第１値と前記第２値とを比較することにより前記複数の画像の何れかを選択する選択手順とを計算機に実行させるための画像処理プログラムである。

上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。これら特徴群のサブコンビネーションもまた発明となり得る。

デジタルカメラ１００の斜視図である。 デジタルカメラ１００の斜視図である。 デジタルカメラ１００の内部回路２００を示すブロック図である。 撮影画像処理部２０３の動作手順を示す流れ図である。 撮影画像群４１０を例示する模式図である。 被写体抽出部２５０の動作を模式的に示す図である。 主要被写体推定部２６０の動作を模式的に示す図である。 主要被写体推定部２６０の動作を模式的に示す図である。 主要被写体推定部２６０の動作を模式的に示す図である。 画像選択部２７０の動作手順を示す流れ図である。 顕著度マップ生成部２２２のブロック図である。 顕著度マップ生成の手順を示す流れ図である。 顕著度マップの生成過程を模式的に示す図である。 輝度情報抽出部６１０のブロック図である。 輝度情報抽出の手順を示す流れ図である。 色情報抽出部６２０のブロック図である。 色情報抽出の手順を示す流れ図である。 エッジ情報抽出部６３０のブロック図である。 エッジ情報抽出の手順を示す流れ図である。 主要被写体の顕著度を示す模式図である。 画像選択部２７０の動作を模式的に示す図である。 画像選択部２７０の動作を模式的に示す図である。 画像選択部２７０の動作を模式的に示す図である。 画像選択部２７０の動作を模式的に示す図である。 画像選択部２７０の動作を模式的に示す図である。 画像処理プログラムを実行するパーソナルコンピュータの模式図である。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、撮像装置の一種であり、撮影画像処理装置を備えたデジタルカメラ１００を斜め前方から見た斜視図である。デジタルカメラ１００は、筐体１１０と、筐体１１０の前面に配置されたレンズ鏡筒１２０および発光窓１３０と、筐体１１０の上面に配置された電源スイッチ１４２、レリーズボタン１４４、ズームレバー１４６を備える。

レンズ鏡筒１２０は、筐体１１０の内部に配置された撮像素子に被写体の像光を結像する撮影レンズ１２２を保持する。筐体１１０の内部に配置された図示していない発光部により発生した光は、発光窓１３０を介して被写体を照明する。電源スイッチ１４２、レリーズボタン１４４、ズームレバー１４６は、デジタルカメラ１００の操作部１４０の一部をなす。

電源スイッチ１４２は、押される毎にデジタルカメラ１００の電源を断続する。ズームレバー１４６は、レンズ鏡筒１２０に保持された撮影レンズの倍率を変化させる。レリーズボタン１４４がユーザによって半押しされた場合に、自動合焦部、測光センサ等が駆動されると共に、撮像素子によるスルー画像撮影動作が実行される。これにより、デジタルカメラ１００はスルー画像撮影に続く、被写体像の本撮影に備える。

レリーズボタン１４４の全押し操作がなされると、シャッタが開いて被写体像の本撮影動作が実行される。撮影範囲の明るさが暗いなどの場合には、本撮影のタイミングに合わせて発光窓１３０から光が被写体に向かって投射される。

図２は、デジタルカメラ１００を斜め後方から見た斜視図である。図１と共通の要素には同じ参照番号を付して重複する説明を省く。

筐体１１０の背面には、十字キー１４１および背面ボタン１４３を含む操作部１４０の一部と、背面表示部１５０とが配される。十字キー１４１および背面ボタン１４３は、デジタルカメラ１００に各種設定を入力する場合、デジタルカメラ１００の動作モードを切り替える場合、レンズ鏡筒の変倍等をリアルタイムで変更する場合等に、ユーザにより操作される。

背面表示部１５０は、液晶表示パネル等により形成され、筐体１１０背面の多くの領域を占める。デジタルカメラ１００が撮影モードの場合、レンズ鏡筒１２０に入射する被写体像が撮像素子により連続的に光電変換され、スルー画として背面表示部１５０に表示される。ユーザは、背面表示部１５０に表示されたスルー画を観察することにより、有効な撮影範囲を知ることができる。

また、背面表示部１５０には、電池の残量、記憶媒体の残り容量等、デジタルカメラ１００の状態が併せて表示される。更に、デジタルカメラ１００が再生モードで動作する場合は、後述する二次記憶媒体３３２から画像データが読み出され、再生画像が背面表示部１５０に表示される。

図３は、デジタルカメラ１００の内部回路２００を模式的に示すブロック図である。図１および図２と共通の要素には同じ参照番号を付して重複する説明を省く。内部回路２００は、制御部２０１、撮像部２０２および撮影画像処理部２０３を含む。

制御部２０１は、ＣＰＵ２１０、表示駆動部２２０、プログラムメモリ２３０およびメインメモリ２４０で構成される。ＣＰＵ２１０は、プログラムメモリ２３０からメインメモリ２４０に読み込んだファームウエアに従って、デジタルカメラ１００の動作を包括的に制御する。ＣＰＵ２１０には、入力画像の顕著度マップを生成する顕著度マップ生成部２２２も形成される。顕著度マップ生成部２２２に対する入力画像は、デジタルカメラ１００の撮影画像の他、外部から供給された画像ファイルであってもよい。表示駆動部２２０は、ＣＰＵ２１０からの指示に従って表示画像を生成し、生成した画像を背面表示部１５０に表示する。

撮像部２０２は、撮像素子駆動部３１０、撮像素子３１２、アナログ／デジタル変換部３２０、画像処理部３３０、自動合焦部３４０および測光センサ３５０を含む。撮像素子駆動部３１０は、撮像素子３１２を駆動して、撮影レンズ１２２により撮像素子３１２の撮像面に結像された被写体像を光電変換して画像信号にする。撮像素子３１２としては、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等を用いることができる。

撮像素子３１２が出力する画像信号は、アナログ／デジタル変換部３２０により離散化され、画像処理部３３０により撮影画像データに変換される。画像処理部３３０は、撮影画像データを生成する過程で、画像のホワイトバランス、シャープネス、ガンマ、階調補正等を調整すると共に、撮影画像データを後述する二次記憶媒体３３２に記憶する際の圧縮率等を設定する。

画像処理部３３０において生成された画像データは、二次記憶媒体３３２に格納して保存される。二次記憶媒体３３２としては、フラッシュメモリカード等の不揮発性記憶素子を備えた媒体が使用される。二次記憶媒体３３２の少なくとも一部は、デジタルカメラ１００から着脱して交換できる。

自動合焦部３４０は、例えば、撮像素子３１２の撮像面に配設された位相差方式の焦点検出素子を用いて、周知の位相差方式による自動合焦動作を行う。測光センサ３５０は、被写体の明るさを計測して、デジタルカメラ１００の撮影条件を決定する。変倍駆動部３６０は、ＣＰＵ２１０の指示に従って撮影レンズ１２２の一部を移動させる。これにより、撮影レンズ１２２の倍率が変化して、撮影画像の画角が変化する。

入力受付部３７０は、操作部１４０からの入力を受け付け、ＣＰＵ２１０に入力する。ＣＰＵ２１０は、入力された信号に応じて各部への指令を発生する。また、ＣＰＵ２１０は、指令を発生する場合に、入力受付部３７０に保持された設定値を参照して動作条件を決定する。

上記のような内部回路２００を有するデジタルカメラ１００は、さらにユーザがレリーズボタン１４４を押し下げる１回の撮影操作（全押し操作）に対して、撮像部２０２が複数の画像データを取得する撮影モードを有する。同撮影モードの設定がなされると、ＣＰＵ２１０は、撮像素子駆動部３１０により、撮像素子３１２が連続撮影を行うよう制御する。これにより、時系列撮影画像（映像）データが取得される。

このようにして取得された時系列の撮影画像データは、画像処理部３３０内のＦＩＦＯ（Ｆｉｒｓｔ Ｉｎ Ｆｉｒｓｔ Ｏｕｔ）メモリに順次入力される。ＦＩＦＯメモリは、所定の記憶容量を有しており、順次入力される入力データが当該所定の容量に達すると、入力された順に撮影画像データが出力される。

上記撮影モードでは、ユーザによるレリーズボタン１４４の全押し操作から所定時間が経過するまで、時系列の撮影画像データが、順次ＦＩＦＯメモリに入力され、この間に、ＦＩＦＯメモリから出力されたデータは削除される。レリーズボタン１４４の全押し操作がなされてから所定時間が経過すると、ＦＩＦＯメモリへの撮影画像データの書き込みが禁止される。これにより、ＦＩＦＯメモリ内には、レリーズボタン１４４の全押し操作の前後に取得された複数フレームの時系列撮影画像データが保持される。

即ち、一度の撮影操作（全押し操作）に対して撮像部２０２が時系列で撮像した複数の画像を取得することにより、それら複数の画像から、撮影条件（絞り開度、シャッタ速度、撮像素子感度等）、撮影タイミング等が適していた撮影画像を、当該撮影モードで取得された複数フレームの撮影画像の中から選択できる。これにより、撮影の成功率を向上させることができる。

近年、デジタルカメラ１００の性能が向上し、ユーザの一度のレリーズボタン操作に対して数十フレームにも及ぶ画像データを取得することもできるようになってきている。そのような場合には特に、大量の撮影画像データから保存すべき画像データを選択することがユーザの負担になる場合がある。本実施形態によれば、このようなユーザの負担を後述のように軽減することができる。

図３に示される、デジタルカメラ１００は、撮影画像処理部２０３を備える。撮影画像処理部２０３は、被写体抽出部２５０、主要被写体推定部２６０および画像選択部２７０を有し、複数の撮影画像から、画像としての価値がより高いと推定される撮影画像を選択する。

ここで、画像としての価値とは、画像データとしての品質の高さの他、撮影内容に対する評価も含む。画像データとしての品質の高さとは、画像の解像が高い、ダイナミックレンジが広い、白とび／黒つぶれ等が生じていない等、デジタルデータとして信号品質に依存する価値の高さを意味する。一方、撮影内容に対する評価とは、ユーザにとって関心が高い被写体が映像に含まれているか、当該被写体にピントがあっているか、当該被写体の露光状態が適切であるか等、ユーザの主観的価値に依存する評価を意味する。

図４及び図１０は、デジタルカメラ１００の撮影画像処理部２０３における処理手順を示す流れ図である。図４では、被写体抽出部２５０および主要被写体推定部２６０における処理までが示される。撮影画像処理部２０３は、ＦＩＦＯメモリ、あるいは二次記憶媒体３３２から、複数フレームの撮影画像データを読み出すことにより、複数の撮影画像ファイルを取得する（ステップＳ１０１）。

図５は、撮影画像処理部２０３に取得された複数の撮影画像を概念的に示す図である。図示のように、取得された複数の撮影画像４１−１〜４１−ｎは、撮影画像群４１０として撮影画像処理部２０３において処理される。

ここで、撮影画像４１−１〜４１−ｎは、例えば、ブラケット撮影、連写等により時間的あるいは時系列的に連続して撮影された画像であってもよい。また、同じ場所、同じ日、同じ季節等、撮影条件の一部が共通する画像であってもよい。

ただし、複数の撮影画像４１−１〜４１−ｎは、互いに異なる内容を有するものとする。ここでいう異なる内容とは、撮影画像４１−１〜４１−ｎに含まれる被写体が相違することの他、同じ被写体が同じ構図で撮影されている場合であっても、合焦位置、露光条件等が相違するものも含む。

再び図４を参照すると、撮影画像処理部２０３は、取得した複数の撮影画像４１−１〜４１−ｎのうちの１フレームの撮影画像から、被写体抽出部２５０において、撮影画像に含まれる被写体を抽出させる（ステップＳ１０２）。撮影画像からの被写体抽出は、ソーベルフィルタ等による輪郭抽出の他、周知の顔認識技術、主成分分析を使った固有顔、線形判別分析、弾性バンチグラフマッチング、隠れマルコフモデル等、さまざまな方法を用いることができる。

図６は、被写体抽出部２５０における処理を概念的に示す図である。図示のように、被写体抽出部２５０は、取得した複数の撮影画像４１−１〜４１−ｎの各々から、被写体１１〜３３を抽出する。抽出される被写体は、顔を含む人物を始め、樹木等の静物、自動車、動物等、人物以外の被写体を含んでもよい。

再び図４を参照すると、被写体抽出部２５０は、ある１フレームの撮影画像、例えば撮影画像４１−１に含まれる被写体１１〜３３を全て抽出すると、取得した撮影画像群４１０に、まだ被写体抽出をしていない撮影画像があるか否かを調べる（ステップＳ１０３）。まだ被写体抽出をしていない撮影画像が残っている場合（ステップＳ１０３：ＮＯ）、被写体抽出部２５０は、当該撮影画像からの被写体抽出を順次実行する（ステップＳ１０２）。

ステップＳ１０３において、取得した撮影画像群４１０に含まれる撮影画像４１−１〜４１−ｎの全てに対して被写体抽出したことが判った場合（ステップＳ１０３：ＹＥＳ）、被写体抽出部２５０は処理を完了して、主要被写体推定部２６０に処理を渡す。

被写体抽出部２５０により抽出された被写体１１〜３３はメインメモリ２４０に記録され、後述する主要被写体推定部２６０による処理の単位となる。なお、一面の草原、空等のように主要被写体として抽出する対象がない画像では被写体を抽出できない。よって、取得した複数の画像に、このような主要被写体を検出できない画像が含まれていた場合、撮影画像処理部２０３は、そのような撮影画像を処理の対象から除く。

主要被写体推定部２６０は、撮影画像群４１０に含まれる撮影画像４１−１〜４１−ｎの各々において被写体抽出部２５０により抽出された複数の被写体１１〜３３を対象として、それらの中から撮影画像４１−１〜４１−ｎにおける１つの主要被写体を推定する（ステップＳ１０４）。即ち、主要被写体推定部２６０は、撮影画像４１−１〜４１−ｎに含まれる複数の被写体１１〜３３から、ユーザにとって最も重要と推定される被写体を主要被写体と推定する。

このようにして、一連の撮影画像における主要被写体が推定される。主要被写体推定部２６０は、ある１フレームの撮影画像、例えば撮影画像４１−１に含まれる被写体１１〜３３からどの被写体が主要被写体かを推定すると、各撮影画像において、推定された主要被写体の領域を特定する（ステップＳ１０５）。

なお、主要被写体を推定する処理（Ｓ１０４）には、推定の対象となる被写体を含む領域を特定する処理が含まれる場合がある。このような場合は、主要被写体を推定した後に、推定された主要被写体の領域を改めて特定する処理（ステップＳ１０５）を省くことができる。

しかしながら、例えば顔のように、被写体の一部分を用いて主要被写体の抽出を実行した場合は、その顔を含む被写体全体の領域、例えば全身を改めて主要被写体として特定してもよい。逆に、ステップＳ１０４において、対象となる被写体全体を用いて主要被写体を抽出する場合は、主要被写体の領域を特定（ステップＳ１０５）する処理を省くことができる。

こうして、主要被写体推定部２６０は、取得した撮影画像群４１０に含まれる全ての撮影画像４１−１〜４１−ｎに対して主要被写体領域を特定する。全ての撮影画像４１−１〜４１−ｎに対して主要被写体領域の特定（ステップＳ１０５）が終了すると撮影画像処理部２０３は、主要被写体推定部２６０における処理は終了する。

図７及び図８は、図４のステップＳ１０４における、複数の被写体１１〜３３から主要被写体を推定する方法を模式的に示す図である。主要被写体推定部２６０は、例えば、図７に示すように、被写界４２１における各被写体の位置の履歴に基づいて主要被写体を推定する。なお、図７は、撮影画像の内容を示す図ではなく、主要被写体を推定する方法の概念を示す模式図である。

主要被写体推定部２６０は、デジタルカメラ１００の複数の撮影画像４１−１〜４１−ｎについて被写体１１〜３３を個別に追尾して、各被写体の位置が、撮影画像４１−１〜４１−ｎの所定位置（例えば中心Ｃ）からどれぐらい離れた位置に写っているかを調べる。なお、図７では、説明を簡単にする為に、被写体２６，２７のみに注目して、被写体２６，２７の位置が、撮影画像４１−１〜４１−ｎの所定位置（例えば中心Ｃ）からどれぐらい離れた位置に写っているかを、５フレームの撮影画像について重畳して示している。

主要被写体推定部２６０は、複数の撮影画像４１−１〜４１−５において、被写体２６が写っている位置を、複数の撮影画像４１−１〜４１−５の中心Ｃから被写体２６のまでの距離ｄ_１、ｄ_２、ｄ_３、ｄ_４、ｄ_５の平均値を算出する。また、主要被写体推定部２６０は、他の被写体２７についても、複数の撮影画像４１−１〜４１−５の中心Ｃから補被写体２７のまでの距離Ｄ_１、Ｄ_２、Ｄ_３、Ｄ_４、Ｄ_５の平均値も算出する。

主要被写体推定部２６０は、上記のようにして算出した平均値を比較することにより、被写体２７の方が、被写体２６よりも、撮影画像の中心Ｃの近くに写っていることが多いと判定する。これにより、主要被写体推定部２６０は、被写体２７を主要被写体と推定する。なお、上記の例では、撮影画像中の所定位置を画像の中心Ｃとする例について説明したが、例えば、この所定位置を、構図上好ましいとされている、画面上を縦横３分割した３分割線、あるいは当該３分割線上の所定点とする構成としてもよい。

また、図８に示すように、主要被写体推定部２６０は、被写界４２２における位置を他の方法で評価してもよい。図８も、撮影画像の内容を示す図ではなく、主要被写体を推定する方法の概念を示す模式図である。

主要被写体推定部２６０は、図８に示すように、デジタルカメラ１００の被写界４２２の中央付近に、中心領域Ａを設定する。次いで、複数の撮影画像４１−１〜４１−５において、被写体２６、２７が、中心領域Ａに入り込んだ回数を計数する。これにより、被写体２７の方が、被写体２６よりも、中心領域Ａ内に写っている回数が多い場合に、被写体２７を主要被写体と推定する。

このように、撮影画像処理部２０３は、複数の画像間における被写体の位置に基づいて、主要被写体を推定してもよい。ただし、被写体の位置を評価する方法が上記の例に限られないことはもちろんである。例えば、図７に示した方法において、中心Ｃとの距離Ｄ_１、Ｄ_２、Ｄ_３、Ｄ_４、Ｄ_５を評価する場合に、単純平均ではなく、統計的な処理を加えて評価値を算出してもよい。また、中心Ｃとの距離の被写体２７が、時間の経過と共に被写界４２２の中心に近づいていることを評価してもよい。

また、図９に示すように、主要被写体推定部２６０は、ユーザが撮影操作（レリーズボタン１４４の全押し操作）をしたタイミングに近いタイミングで撮影された撮影画像における被写体の評価に重みをつけて評価してもよい。即ち、デジタルカメラ１００の撮像部２０２は、一度の撮影操作に対して時系列で撮像された複数の画像を撮影できる。こうして取得された複数の撮影画像４１−１〜４１−ｎのうち、レリーズボタン１４４が押し下げられたタイミングに時間的に近い撮影画像に写り込んでいる被写体２６、２７は、撮影者が撮影することを意図した被写体である蓋然性が高い。

よって、上記のように被写体２６、２７を評価する場合に、取得されたタイミングが、レリーズボタン１４４が押し下げられたタイミングに時間的に近い撮影画像に写り込んでいる被写体２６、２７に重みをつけて評価してもよい。また、レリーズタイミングにより近い画像において被写界４２１の中心Ｃにより近かった被写体２７、あるいは、レリーズタイミングにより近い画像において被写界４２１の中心領域Ａに入っていた被写体２７に重み付けをしてもよい。これにより、主要被写体の推定精度をより向上させることができる。特に、動く被写体をカメラを移動させながら撮影行うなどの場合、撮影者は、写したい被写体が、撮影画面の所定位置（例えば撮影画面中央）になるように、カメラを移動させながら撮影を行うことが多い。上記構成によれば、主要被写体を適切に推定することができる。

このように、主要被写体推定部２６０は、人物である被写体の顔を識別して主要被写体を推定してもよい。ただし、主要被写体推定部２６０における主要被写体の推定方法が上記の例に限られないことはもちろんである。例えば、被写体が人物の場合、笑顔の度合いである笑顔度の最も高い被写体を主要被写体と推定する、あるいは検出された顔のサイズが最も大きい被写体を主要被写体と推定するなどの手法を用いるものであっても構わない。

さらには、予め優先順位を付けて登録されている固有の被写体について、複数フレームの撮影画像データの各々で認識処理を行って、主要被写体を推定する構成としてもよい。また、上記の方法のいくつかを組み合わせ、あるいは繰り返すことにより、主要被写体推定の精度向上を図ってもよい。

また、上記の例は、複数の撮影画像について同じ主要被写体を推定した。しかしながら、撮影画像相互で異なる主要被写体を推定してもよい。これにより、特定の被写体の撮影状態に関する評価ではなく、撮影内容を評価できる。

図１０は、撮影画像処理部２０３において、図４に示した処理手順に続く処理手順を示す流れ図である。撮影画像処理部２０３においては、顕著度算出部２８０を含む画像選択部２７０が処理を実行する。画像選択部２７０は、主要被写体推定部２６０において主要な被写体２７を検出された撮影画像４１−１〜４１−ｎのそれぞれに対して、顕著度算出部２８０において、少なくとも主要被写体２７の領域についての画像の顕著度分布を示す顕著度マップを算出する（ステップＳ１０６）。

図１１は、ＣＰＵ２１０に形成された顕著度マップ生成部２２２の内部構造を模式的に示すブロック図である。顕著度マップ生成部２２２は、輝度情報抽出部６１０、色情報抽出部６２０、エッジ情報抽出部６３０および線形結合部６４０を有する。

輝度情報抽出部６１０、色情報抽出部６２０およびエッジ情報抽出部６３０は、顕著度マップ生成部２２２に対して入力された入力画像を並列的に受け入れる。入力画像を受け入れた輝度情報抽出部６１０、色情報抽出部６２０およびエッジ情報抽出部６３０の各々は、特定の特徴に関する特徴量を画像の領域毎に抽出し、抽出した特徴量の分布を示す情報マップを生成する。

即ち、輝度情報抽出部６１０は、入力画像の領域毎、例えば画素毎の輝度を抽出して、入力画像における輝度分布を示す輝度情報マップを生成する。色情報抽出部６２０は、入力画像における色分布を示す色情報マップを生成する。エッジ情報抽出部６３０は、入力画像における方向性エッジの分布を示す方向性エッジ情報を示す方向性エッジ情報マップを生成する。

線形結合部６４０は、輝度情報抽出部６１０が生成した輝度情報マップ、色情報抽出部６２０が生成した色情報マップおよびエッジ情報抽出部６３０が生成したエッジ情報マップを線形結合して顕著度マップを生成する。生成された顕著度マップは、入力画像における視覚刺激の強さの分布を示す。

図１２は、顕著度マップ生成部２２２における処理の一例を概観する流れ図である。また、図１３は、顕著度マップの生成過程を模式的に示す図であり、図１２と併せて参照する。

処理の対象となる入力画像として、例えば撮影画像４１−１が供給された場合、顕著度マップ生成部２２２は、まず、入力画像から抽出した輝度情報に基づいて輝度情報マップ４６−１を生成する処理を輝度情報抽出部６１０に実行させる（ステップＳ２０１）。輝度情報抽出部６１０は、生成した輝度情報マップ４６−１を線形結合部６４０に転送する。

また、顕著度マップ生成部２２２は、入力画像から抽出した色情報に基づいて色情報マップ４７−１、４７−２を生成する処理を色情報抽出部６２０に実行させる（ステップＳ２０２）。抽出する色情報としては、例えば、Ｒ（赤）−Ｇ（緑）の差分、Ｂ（青）−Ｙ（黄）の差分が例示できる。色情報抽出部６２０は、生成した色情報マップを線形結合部６４０に転送する。

更に、顕著度マップ生成部２２２は、入力画像から抽出した方向性エッジ情報に基づいて方向性エッジ情報マップ４８−１〜４８−４を生成する処理を方向性エッジ情報抽出部６３０に実行させる（ステップＳ２０３）。抽出する方向性エッジ情報としては、０度、４５度、９０度、１３５度のそれぞれの方向性エッジを例示できる。方向性エッジ情報抽出部６３０は、生成した方向性エッジ情報マップ４８−１〜４８−４を線形結合部６４０に転送する。

なお、以降の説明において単に「情報マップ」と記載した場合は、輝度情報マップ４６−１、色情報マップ４７−１、４７−２および方向性エッジ情報マップ４８−１〜４８−４のいずれかを特定することなく、線形結合部６４０に入力される情報全体を指すものとする。また、図１２における、各情報マップを生成するステップＳ２０１からステップＳ２０３までの処理は、順序を入れ換えても差し支えない。また、処理装置の容量に余裕がある場合は並列処理してもよい。

次に、顕著度マップ生成部２２２は、上記ステップＳ２０１からステップＳ２０３までに生成した輝度情報マップ４６−１、色情報マップ４７−１、４７−２および方向性エッジ情報マップ４８−１〜４８−４を線形結合して顕著度マップ４９−１を生成する処理を線形結合部６４０に実行させる（ステップＳ２０４）。

ここで、線形結合部６４０は、情報マップ毎に予め定めた情報重みＷｂを用いて情報マップを線形結合してもよい。即ち、目的とする顕著度マップ上の画素の画素値は、各情報マップにおいて対応する画素の画素値に、情報マップ毎に予め定められた重みＷｂが乗算される。よって、情報重みＷｂが乗算された画素値の総和が、顕著度マップにおける画素の画素値となる。

更に、顕著度マップ４９−１における各画素の画素値は、０から１までの間に分布するように正規化される。こうして、輝度情報マップ、色情報マップおよびエッジ情報マップの各領域の特徴量が、同じ位置にある領域ごとに重み付き加算された顕著度マップが生成される。

なお、上記の例では、輝度、色および方向性エッジの各々について情報マップを生成し、これらの情報マップを線形結合して顕著度マップ４９−１を生成した。しかしながら、顕著度マップの生成に用いる情報マップの種類および数は上記のものに限られるわけではない。

例えば、静止画カメラの連写あるいはブラケット撮影等のように時系列的に取得された画像が入力された場合は、画像中の運動の方向性等に関する情報マップを生成して用いることも好ましい。更に、顔検出、個体検出等の他の画像処理により抽出された情報マップを用いてもよい。

図１４は、顕著度マップ生成部２２２における輝度情報抽出部６１０のブロック図である。ここでも、図１３を併せて参照する。輝度情報抽出部６１０は、輝度画像生成部６１２、ガウシアンピラミッド生成部６１４、差分画像生成部６１６および輝度情報マップ生成部６１８を有する。

輝度画像生成部６１２は、入力画像の各画素について、当該画素の輝度を画素値とする輝度画像４２−１を生成する。ガウシアンピラミッド生成部６１４は、輝度画像生成部６１２から取得した輝度画像から、解像度が順次低下する複数の画像を生成して、輝度を特徴量とするガウシアンピラミッド４３−１を生成する。

差分画像生成部６１６は、ガウシアンピラミッド生成部６１４から取得したガウシアンピラミッドに含まれる解像度の異なる画像から複数の輝度差分画像４５−１を算出して輝度差分画像４５−１を生成する。輝度情報マップ生成部６１８は、差分画像生成部６１６から取得した複数の輝度差分画像４５−１から単一の輝度情報マップ４６−１を生成する。

輝度情報マップは、入力画像における輝度差が大きいことによる視覚刺激の強さの分布を示す。輝度情報抽出部６１０が生成した輝度情報マップ４６−１は、既に説明した通り、線形結合部６４０に提供される。

図１５は、輝度情報抽出部６１０において実行される処理を示す流れ図である。図１３を併せて参照する。

輝度情報抽出部６１０は、入力画像として撮影画像４１−１を入力され、輝度画像生成部６１２により、入力画像の輝度画像４２−１を生成する。輝度画像４２−１は、入力画像の各画素の輝度値を画素値とする。

輝度画像生成部６１２は、例えば、入力画像を色差−輝度信号に変換してその輝度成分を抽出することにより輝度画像を生成する（ステップＳ３０１）。また、輝度画像生成部６１２は、画素毎のＲ（赤）、Ｇ（緑）およびＢ（青）の各成分の値の平均値を輝度画像の画素毎の画素値としてもよい。

次に、輝度情報抽出部６１０は、ガウシアンピラミッド生成部６１４により、輝度画像４２−１に基づくガウシアンピラミッド４３−１を生成させる（ステップＳ３０２）。ガウシアンピラミッド４３−１は互いに解像度が異なる複数の画像を含む。

即ち、ガウシアンピラミッド生成部６１４において、輝度画像生成部６１２から供給された当初の輝度画像４２−１は、最も解像度が高いレベルＬ１の画像とされる。次いで、ガウシアンピラミッド生成部６１４は、レベルＬ１の輝度画像４２−１の各画素について、隣接する４つの画素の画素値の平均値をひとつの画素の画素値とする処理により、解像度がより低いレベルＬ２の画像を生成する。

以下、ガウシアンピラミッド生成部６１４は、同様の処理を繰り返すことにより、例えばレベルＬ８まで解像度が漸減する複数の画像を生成する。これにより、８種類の解像度で階層化されたガウシアンピラミッド４３−１が生成される。

続いて、輝度情報抽出部６１０は、差分画像生成部６１６に、ガウシアンピラミッド４３−１に基づいて輝度差分画像４５−１を生成させる（ステップＳ３０３）。輝度差分画像４５−１は、ガウシアンピラミッド４３−１に含まれる複数の画像相互の差分として、複数生成される。

差分画像生成部６１６が、５つの輝度差分画像４５−１を生成する場合を例にあげる。差分画像生成部６１６は、ガウシアンピラミッド４３−１を形成するレベルＬ１からレベルＬ８までの８つの輝度画像のうち、例えば、［レベルＬ６−レベルＬ３］、［レベルＬ７−レベルＬ３］、［レベルＬ７−レベルＬ４］、［レベルＬ８−レベルＬ４］および［レベルＬ８−レベルＬ５］の組み合わせで対応画素の画素値の差分を算出する。

ただし、差分画像生成部６１６が取得したガウシアンピラミッド４３−１において、複数の画像は互いに解像度が異なるので大きさ（画素数）も異なる。そこで、差分画像生成部６１６は、処理の対象となる画像のうち、解像度の低い（小さい）画像をアップコンバートして、解像度の高い（大きい）輝度画像に大きさを合わせる。

次いで、差分画像生成部６１６は、大きさ（画素数）の揃った画像４４−１に対して、対応する画素毎に差分を算出して、輝度を特徴量とする輝度差分画像４５−１を生成する。差分の算出は、予め定められた数の輝度差分画像４５−１が生成されるまで複数の輝度画像に対して繰り返される。こうして、輝度の差分を画素値とする５つの輝度差分画像４５−１が得られる。

更に、差分画像生成部６１６は、輝度差分画像４５−１の各々に対して、各画素の画素値が例えば０から２５５までの間の値となるように、輝度差分画像４５−１の各々における画素値を正規化する。このようにして、差分画像生成部６１６は、５つの輝度差分画像４５−１を生成する。

次に、輝度情報抽出部６１０は、輝度情報マップ生成部６１８に、輝度差分画像４５−１から輝度情報マップ４６−１を生成させる（ステップＳ３０４）。即ち、輝度情報マップ生成部６１８は、複数の輝度差分画像４５−１を加算して単一の輝度情報マップ４６−１を生成する。

ここで、予め定めた輝度差分画像４５−１ごとの重みである差分重みＷａにより輝度差分画像４５−１の各々に重みを付けて加算してもよい。これにより、輝度差分画像４５−１の各々の同じ位置にある画素の画素値のそれぞれに差分重みＷａが乗算された上で算出された総和が、輝度情報マップ４６−１における当該画素の画素値となる。

輝度情報マップ４６−１の各画素における画素値は、その画素と、その画素の周囲の平均的な輝度との差分の分布を示す。画像において周囲との輝度の差分が大きい領域は視覚を強く刺激するので、当該画素を含む領域の画像は注目されやすい。よって、主要被写体を含む領域の輝度の差分が大きい場合は、主要被写体に注目が集まりやすいと推測できる。

図１６は、顕著度マップ生成部２２２における色情報抽出部６２０のブロック図である。色情報抽出部６２０は、Ｒ（赤）−Ｇ（緑）差分画像６２１、Ｂ（青）−Ｙ（黄）差分画像６２２、ガウシアンピラミッド生成部６２３、差分画像生成部６２４および色情報マップ生成部６２５を有する。

Ｒ−Ｇ差分画像生成部６２１は、撮影画像４１−１を入力画像として、入力画像の各画素について、当該画素の赤成分と緑成分との差分を画素値とする色差画像を生成する。Ｂ−Ｙ差分画像生成部６２２は、入力画像の各画素について、当該画素の青成分と黄成分との差分を画素値とする色差画像を生成する。ガウシアンピラミッド生成部６２３は、Ｒ−Ｇ差分画像生成部６２１またはＢ−Ｙ差分画像生成部６２２から取得した色差画像から、それぞれ、互いに解像度が異なる複数の画像を生成して、色差を特徴量とするガウシアンピラミッドをそれぞれ生成する。

差分画像生成部６２４は、ガウシアンピラミッド生成部６２３から取得したガウシアンピラミッドに含まれる解像度の異なる画像の差分を算出して、色差分画像を生成する。色情報マップ生成部６２５は、差分画像生成部６２４の各々から取得した複数の色差分画像に基づいて、それぞれ単一の色情報マップ４７−１、４７−２を生成する。よって、色情報抽出部６２０は、単一の入力画像から、Ｒ−Ｇ差分画像生成部６２１由来の色情報マップ４７−１と、Ｂ−Ｙ差分画像生成部６２２由来の色情報マップ４７−２との２つを生成する。

色情報マップ４７−１、４７−２は、入力画像において色相の変化が大きいことによる視覚刺激の強さの分布を示す。色情報抽出部６２０が生成した色情報マップは、既に説明した通り、線形結合部６４０に提供される。

図１７は、色情報抽出部６２０において実行される処理を示す流れ図である。色情報抽出部６２０は、まず、Ｒ−Ｇ差分画像生成部６２１に、入力画像の色情報画像として、Ｒ−Ｇ差分画像を生成させる（ステップＳ４０１）。

即ち、Ｒ−Ｇ差分画像生成部６２１は、入力画像の画素毎に、Ｒ（赤）成分とＧ（緑）成分との差分を算出し、算出された差分を当該画素の画素値とするＲ−Ｇ差分画像を生成する。生成されたＲ−Ｇ差分画像は、ガウシアンピラミッド生成部６２３に転送される。

同様に、色情報抽出部６２０は、Ｂ−Ｙ差分画像生成部６２２に、入力画像のＢ−Ｙ差分画像を生成させる（ステップＳ４０１）。即ち、Ｂ−Ｙ差分画像生成部６２２は、入力画像の画素毎に、Ｂ（青）成分とＹ（黄）成分との差分を算出し、算出された差分を当該画素の画素値とするＢ−Ｙ差分画像を生成する。生成されたＢ−Ｙ差分画像は、ガウシアンピラミッド生成部６２３に転送される。

次に、色情報抽出部６２０は、ガウシアンピラミッド生成部６２３に、上記のＲ−Ｇ差分画像およびＢ−Ｙ差分画像に基づくガウシアンピラミッドをそれぞれ生成させる（ステップＳ４０２）。ガウシアンピラミッドは、互いに解像度が異なる複数の画像を含む。なお、以降の説明において単に「色差分画像」と記載した場合、Ｒ−Ｇ差分画像およびＢ−Ｙ差分画像を包括的に意味する。

ガウシアンピラミッド生成部６２３において、Ｒ−Ｇ差分画像生成部６２１またはＢ−Ｙ差分画像生成部６２２から供給された当初の色差分画像は、最も解像度が高いレベルＬ１の画像とされる。次いで、ガウシアンピラミッド生成部６２３は、レベルＬ１の色差分画像の各画素について、隣接する４つの画素の画素値の平均値をひとつの画素の画素値とする処理により、解像度がより低いレベルＬ２の色差分画像を生成する。

以下、同様の処理を繰り返すことにより、例えばレベルＬ８まで解像度が漸減する複数の色差分画像を生成する。これにより、８種類の解像度で階層化された色差分画像のガウシアンピラミッドが生成される。

続いて、色情報抽出部６２０は、差分画像生成部６２４に、取得したガウシアンピラミッドに基づく色差分画像を生成させる（ステップＳ４０３）。色差分画像は、複数の色差分画像により形成される。複数の色差分画像は、ガウシアンピラミッドに含まれる複数の色差分画像相互の差分として生成される。

差分画像生成部６２４が、５つの色差分画像を生成して、色相を特徴量とする差分画像を形成する場合を例にあげて説明する。差分画像生成部６２４は、ガウシアンピラミッドを形成するレベルＬ１からレベルＬ８までの８つの色差分画像のうち、例えば、［レベルＬ６−レベルＬ３］、［レベルＬ７−レベルＬ３］、［レベルＬ７−レベルＬ４］、［レベルＬ８−レベルＬ４］および［レベルＬ８−レベルＬ５］の組み合わせで対応画素の画素値の差分を算出する。

ただし、差分画像生成部６２４が取得したガウシアンピラミッドにおいて、複数の色差分画像は互いに解像度が異なるので大きさも異なる。そこで、差分画像生成部６２４は、処理の対象となる色差分画像のうち、解像度の低い（小さい）画像をアップコンバートして、解像度の高い（大きい）色差分画像に大きさ（画素数）を合わせる。

次いで、差分画像生成部６２４は、大きさ（画素数）の揃った２つの色差分画像に対して、対応する画素毎に差分を算出して、色相を特徴量とする色差分画像を生成する。差分の算出は、予め定められた数の色差分画像が生成されるまで複数の色差分画像に対して繰り返される。こうして、色差の差分を画素値とする５つの色差分画像が得られる。

更に、差分画像生成部６２４は、色差分画像の各々に対して、各画素の画素値が例えば０から２５５までの間の値となるように、色差分画像の各々における画素値を正規化する。このようにして、差分画像生成部６２４は、５つの色差分画像を生成する。また、色差分画像は、Ｒ−Ｇ差分画像由来の色差分画像と、Ｂ−Ｙ差分画像由来の色差分画像がそれぞれ個別に複数生成される。

次に、色情報抽出部６２０は、色情報マップ生成部６２５に、色差分画像から色情報マップ４７−１、４７−２を生成させる（ステップＳ４０４）。即ち、色情報マップ生成部６２５は、色差分画像を形成する複数の色差分画像を加算して、Ｒ−Ｇ差分画像由来の色情報マップ４７−１と、Ｂ−Ｙ差分画像由来の色情報マップ４７−２とをそれぞれひとつずつする。

ここで、予め定めた色差分画像ごとの重みである差分重みＷａにより色差分画像の各々に重みを付けて加算してもよい。これにより、各色差分画像の同じ位置にある画素の画素値のそれぞれに差分重みＷａが乗算された上で算出された総和が、色情報マップにおける当該画素の画素値となる。

色情報マップ４７−１、４７−２において、各画素の画素値は、画素とその周囲の平均的な色相の差分の分布を示す。画像において、周囲との色相の変化が大きい領域は視覚を強く刺激するので、当該画素を含む領域の画像は注目されやすい。よって、主要被写体を含む領域の色の差分が大きい場合は、主要被写体に注目が集まりやすいと推測できる。

なお、上記の例では、入力画像から抽出される色情報画像として、Ｒ成分およびＧ成分の差分、並びに、Ｂ成分およびＹ成分の差分に基づく色差分画像を用いた。しかしながら、例えば、Ｒ成分と輝度成分との差分である色差成分Ｃｒと、Ｂ成分と輝度成分との差分である色差成分Ｃｂとに基づいて色差分画像を生成してもよい。

図１８は、顕著度マップ生成部２２２における方向性エッジ情報抽出部６３０のブロック図である。方向性エッジ情報抽出部６３０は、方向性エッジ画像生成部６３１、６３２、６３３、６３４、ガウシアンピラミッド生成部６３５、差分画像生成部６３６および方向性エッジ情報マップ生成部６３７を有する。

方向性エッジ画像生成部６３１、６３２、６３３、６３４は、入力画像の各画素について、当該画素における方向性エッジの強度を画素値とする方向性エッジ画像を生成する。入力画像におけるエッジ成分は、ガボアフィルタ、ソーベルフィルタ、ロバーツフィルタ等のエッジ抽出オペレータにより抽出できる。

方向性エッジ画像生成部６３１、６３２、６３３、６３４の各々は、入力画像から抽出されたエッジ成分のうち、予め指定された角度の成分に応じて評価したエッジ強度を方向性エッジ画像における画素の画素値として、入力画像に基づく方向性エッジ画像を生成する。図示の例では、方向性エッジ画像生成部６３１、６３２、６３３、６３４は、それぞれ、０°、４５°、９０°または１３５°の角度を方向性の評価基準として予め指定されている。よって、ひとつひとつの方向性エッジ画像生成部６３１、６３２、６３３、６３４が生成した方向性エッジ画像は、入力画像から抽出されたエッジが含む０°、４５°、９０°または１３５°の傾き成分の分布を示す。

ガウシアンピラミッド生成部６３５は、方向性エッジ画像生成部６３１、６３２、６３３、６３４から取得した方向性エッジ画像から、互いに解像度が異なる複数の方向性エッジ画像を生成する。これにより、４種類の指定角度に応じた方向性エッジを特徴量とするガウシアンピラミッドが生成される。

差分画像生成部６３６は、ガウシアンピラミッド生成部６３５から取得したガウシアンピラミッドに含まれる解像度の異なる方向性エッジ画像から、それぞれ複数の方向性エッジ差分画像を算出して方向性エッジ差分画像を生成する。方向性エッジ情報マップ生成部６３７は、差分画像生成部６３６から取得した方向性エッジ差分画像から、それぞれ単一の方向性エッジ情報マップ４８−１〜４８−４を生成する。よって、方向性エッジ情報抽出部６３０は、単一の入力画像から、０°、４５°、９０°および１３５°の４方向に対応した方向性エッジ画像に由来する４つの方向性エッジ情報マップ４８−１〜４８−４を生成する。

方向性エッジ情報マップは、入力画像において方向性エッジの変化が大きいことによる視覚刺激の強さの分布を示す。方向性エッジ情報抽出部６３０が生成した方向性エッジ情報マップは、既に説明した通り、線形結合部６４０に提供される。

図１９は、方向性エッジ情報抽出部６３０において実行される処理を示す流れ図である。方向性エッジ情報抽出部６３０は、まず、方向性エッジ画像生成部６３１、６３２、６３３、６３４のそれぞれに、入力画像の方向性エッジ情報画像を生成させる（ステップＳ５０１）。

即ち、方向性エッジ画像生成部６３１、６３２、６３３、６３４の各々は、入力画像の画素毎にエッジ検出と方向性の評価を実行し、方向性エッジ画像を生成する。これにより、例えば、０°、４５°、９０°、１３５°の４種類の方向性に対応した方向性エッジ画像が生成される。生成された方向性エッジ画像は、それぞれガウシアンピラミッド生成部６３５に転送される。

次に、方向性エッジ情報抽出部６３０は、ガウシアンピラミッド生成部６３５に、上記方向性エッジ画像に基づくガウシアンピラミッドをそれぞれ生成させる（ステップＳ５０２）。ガウシアンピラミッドは、互いに解像度が異なる複数の画像を含む。なお、以降の説明において単に「エッジ差分画像」と記載した場合、方向性エッジの角度を問わず、０°、４５°、９０°および１３５°の方向性エッジ画像を包括的に意味する。

ガウシアンピラミッド生成部６３５において、方向性エッジ画像生成部６３１、６３２、６３３、６３４から供給された当初の方向性エッジ画像は、最も解像度が高いレベルＬ１の画像とされる。次いで、ガウシアンピラミッド生成部６３５は、レベルＬ１のエッジ差分画像の各画素について、隣接する４つの画素の画素値の平均値をひとつの画素の画素値とする処理により、解像度がより低いレベルＬ２のエッジ差分画像を生成する。

以下、同様の処理を繰り返すことにより、例えばレベルＬ８まで解像度が漸減する複数のエッジ差分画像を生成する。これにより、８種類の解像度で階層化されたエッジ差分画像のガウシアンピラミッドが生成される。

続いて、方向性エッジ情報抽出部６３０は、差分画像生成部６３６に、取得したガウシアンピラミッドに基づく方向性エッジ差分画像を生成させる（ステップＳ５０３）。方向性エッジ差分画像は、複数のエッジ差分画像により形成される。複数のエッジ差分画像は、ガウシアンピラミッドに含まれる複数のエッジ差分画像相互の差分として生成される。

差分画像生成部６３６が、５つのエッジ差分画像を生成して、方向性エッジを特徴量とする方向性エッジ差分画像を形成する場合を例にあげて説明する。差分画像生成部６３６は、ガウシアンピラミッドを形成するレベルＬ１からレベルＬ８までの８つのエッジ差分画像のうち、例えば、［レベルＬ６−レベルＬ３］、［レベルＬ７−レベルＬ３］、［レベルＬ７−レベルＬ４］、［レベルＬ８−レベルＬ４］および［レベルＬ８−レベルＬ５］の組み合わせで対応画素の画素値の差分を算出する。

ただし、差分画像生成部６３６が取得したガウシアンピラミッドにおいて、複数のエッジ差分画像は互いに解像度が異なるので大きさ（画素数）も異なる。そこで、差分画像生成部６３６は、処理の対象となるエッジ差分画像のうち、解像度の低い（小さい）画像をアップコンバートして、解像度の高い（大きい）エッジ差分画像に大きさ（画素数）を合わせる。

次いで、差分画像生成部６３６は、大きさ（画素数）の揃った２つのエッジ差分画像に対して、対応する画素毎に差分を算出して、方向性エッジを特徴量とするエッジ差分画像を生成する。差分の算出は、予め定められた数のエッジ差分画像が生成されるまで複数のエッジ差分画像に対して繰り返される。こうして、方向性エッジ画像の差分を画素値とする５つのエッジ差分画像が得られる。

更に、差分画像生成部６３６は、エッジ差分画像の各々に対して、各画素の画素値が例えば０から２５５までの間の値となるように、エッジ差分画像の各々における画素値を正規化する。このようにして、差分画像生成部６３６は、５つのエッジ差分画像により方向性エッジ差分画像を形成する。方向性エッジ差分画像は、０°、４５°、９０°および１３５°の各方向性エッジ画像に対応して個別に生成される。

次に、方向性エッジ情報抽出部６３０は、方向性エッジ情報マップ生成部６３７に、方向性エッジ差分画像から方向性エッジ情報マップを生成させる（ステップＳ５０４）。即ち、方向性エッジ情報マップ生成部６３７は、方向性エッジ差分画像を形成する複数のエッジ差分画像を加算して単一の方向性エッジ情報マップを生成する。また、方向性エッジ情報マップ４８−１〜４８−４は、０°、４５°、９０°および１３５°の各方向についてひとつずつ生成される。

ここで、予め定めたエッジ差分画像ごとの重みである差分重みＷａによりエッジ差分画像の各々に重みを付けて加算してもよい。これにより、各エッジ差分画像の同じ位置にある画素の画素値のそれぞれに差分重みＷａが乗算された上で算出された総和が、方向性エッジ情報マップ４８−１〜４８−４における当該画素の画素値となる。

こうして生成された方向性エッジ情報マップ４８−１〜４８−４において、各画素の画素値は、周辺の領域に対する方向性エッジの変化の大きさを示す。画像において、周囲と比べてエッジ強度が強い領域は、その画像を見る人の目を引く領域となる。よって、主要被写体を含む領域の輝度の差分が大きい場合は、主要被写体に注目が集まりやすいと推測できる。

再び図１０を参照すると、次に、顕著度算出部２８０は、撮影画像４１−１〜４１−ｎの各々について、少なくとも主要な被写体２７の領域について、顕著度を特定する（ステップＳ１０７）。ここでいう被写体２７の顕著度は、撮影画像４１−１〜４１−ｎの各々において主要な被写体２７が占める領域の顕著度を数値化して生成される。

図２０は、上記のような顕著度の数値化を概念的に示す模式図である。画像選択部２７０は、撮影画像４１−１〜４１−３の各々において主要な被写体２７が占める領域（図中に白枠で囲む）の顕著度の例えば平均値を算出する。これにより、各顕著度マップ４９−１、４９−２、４９−３における被写体２７の顕著度が数値化され、撮影画像４１−１〜４１−３の相対評価が容易になる。

なお、主要な被写体２７の顕著度は、当該被写体２７の領域における顕著度の算術平均に限られるわけではなく、統計的な処理を加えて、算出した被写体２７の顕著度が、主要被写体に対するユーザの感覚に対してより忠実になるようにしてもよい。

また、画像選択部２７０は、主要な被写体２７の領域に含まれる画素における顕著度の最大値をもって当該被写体２７の顕著度を代表させてもよい。これにより、撮影画像４１−１〜４１−ｎの各々について被写体２７の顕著度を特定する処理の負荷を低減できる。

再び図１０を参照すると、顕著度算出部２８０は、撮影画像４１−１〜４１−ｎの各々において数値化した被写体２７の顕著度に応じて、撮影画像群４１０に含まれる撮影画像４１−１〜４１−ｎを序列化する（ステップＳ１０８）。即ち、個々の撮影画像４１−１〜４１−ｎにおいて被写体２７の顕著度を数値化する毎に、既に処理の終わった撮影画像の数値化された顕著度と比較して撮影画像４１−１〜４１−ｎを配列する。

また、顕著度算出部２８０は、顕著度を算出して序列化する毎に、まだ序列化されていない撮影画像が残っているか否かを調べ（ステップＳ１０９）、まだ主要な被写体２７の顕著度を数値化されていない撮影画像４１−１〜４１−ｎが残っている場合（ステップＳ１０９：ＮＯ）は、顕著度の数値化と撮影画像４１−１〜４１−ｎの序列化を順次実行する（ステップＳ１０８）。取得した撮影画像群４１０に含まれる全ての撮影画像４１−１〜４１−ｎにおいて、主要な被写体２７の顕著度数値化が完了している場合（ステップＳ１０９：ＹＥＳ）、顕著度算出部２８０は処理を画像選択部２７０に渡す。

なお、顕著度算出部２８０は、例えば、撮影画像４１−１〜４１−ｎの各々の画像フレーム中の顕著度の最大値が１となるように顕著度を正規化して顕著度マップを算出する。その上で、主要被写体領域の顕著度が最大の画像を選択する。ここで、顕著度算出部２８０は、撮影画像群４１０に含まれる撮影画像４１−１〜４１−ｎにおける顕著度の最大値が１となるように、顕著度を正規化して算出してもよい。

さらには、各撮影画像フレーム内において、フレーム内の最大の顕著度と、主要被写体領域の顕著度（主要被写体領域の顕著度の平均値でも、主要被写体領域の顕著度の最大値でもよい）との比率（主要被写体の顕著度／フレーム内の最大の顕著度）を算出し、この値に基づいて、この値が大きい撮影画像を選択する構成としてもよい。このような構成とすれば、主要被写体の目の引きやすさを撮影画像毎に評価できる。

また、一連の撮影画像の中の最大の顕著度を１として、各撮影画像フレームにおける主要被写体領域の顕著度を算出し、当該主要被写体領域が最大の顕著度を有する撮影画像フレームを選択する構成としてもよい。

また更に、特性マップの種類は上記の例に限られない。例えば、明度、彩度、色相、運動等の特徴量を用いて特性マップを作成してもよい。また、特性マップ作成処理として、マルチスケールのコントラスト、Ｃｅｎｔｅｒ−Ｓｕｒｒｏｕｎｄの色ヒストグラム、色空間分布等を用いてもよい。

更に、上記ステップＳ１０８において、主要な被写体２７の数値化された顕著度の差が少なく、撮影画像４１−１〜４１−ｎを序列化することが難しい場合は、顕著度マップ４９−１の算出に用いた輝度情報マップ４６−１、色情報マップ４７−１および方向性エッジ情報マップ４８−１のいずれかを用いて、主要な被写体２７の領域の特徴量に基づいて撮影画像４１−１〜４１−ｎを序列化してもよい。これにより、新たな特徴量を算出する処理の負担なしに、撮影画像４１−１〜４１−ｎの序列化を補助できる。

また更に、撮影画像４１−１〜４１−ｎにおける主要な被写体の特徴量の差が小さく、撮影画像４１−１〜４１−ｎを序列化することが難しい場合、顕著度とは異なる尺度を導入して撮影画像４１−１〜４１−ｎを序列化してもよい。これにより、顕著度では序列化し難い場合にも撮影画像を序列化でき、撮影画像の選択精度を向上させることができる。図２１から図２５までのそれぞれは、画像選択部２７０が実行し得る撮影画像序列化の方法を例示する模式図である。

図２１に示すように、画像選択部２７０は、主要な被写体２７の撮影状態を評価の尺度として撮影画像を選択してもよい。即ち、図２１に示す撮影画像４１−４に写り込んでいる被写体１１〜３３は、撮影画像４１−１に写り込んでいる被写体１１〜３３と共通であり、撮影画像４１−４内の配置も等しい。

しかしながら、撮影画像４１−４は、撮影画像４１−１と異なる絞り値で撮影されており、撮影画像の被写界深度が変化している。このため、撮影画像４１−１と比較した場合、主要な被写体２７のコントラストに対して、他の被写体１１〜１４、２１〜２６、２８〜３３のコントラストが低い。

このように、撮影画像４１−４における主要な被写体２７のコントラストが他の被写体１１〜１４、２１〜２６、２８〜３３よりも高い場合（高い空間周波数成分が多い場合）に、画像選択部２７０は、撮影画像４１−４において主要な被写体２７がより強調されていると判断し、撮影画像群４１０において、撮影画像４１−４に対して、撮影画像４１−１よりも高い順位を与える。

なお、ステップＳ１０９で用いた顕著度マップ４９−１は、輝度および色の分布も勘案して算出されているので撮影画像４１−１のコントラストも反映されている。よって、撮影画像４１−４と比較する場合にコントラストを評価の尺度することは、コントラストという尺度に重みをつけて評価していることに他ならない。

また、図２２に示すように、画像選択部２７０は、被写体１１〜３３の配置を評価の尺度として撮影画像を選択してもよい。即ち、撮影画像４１−２に写り込んでいる被写体は、撮影画像４１−１に写り込んでいる被写体１１〜３３と共通している。しかしながら、撮影画像４１−２においては、主要な被写体２７と他の被写体１１〜１４、２１〜２６、２８〜３３との相対位置が撮影画像４１−１と異なる。

このため、撮影画像４１−２において被写体１１〜１４、２１〜２６、２８〜３３が占める面積は、撮影画像４１−１に比較すると小さい。このように、撮影画像４１−３において他の被写体１１〜１４、２１〜２６、２８〜３３が占める面積が小さい場合に、画像選択部２７０は、当該撮影画像４１−２において主要な被写体２７が相対的に強調されていると評価し、撮影画像４１−２に対して、撮影画像群４１０において撮影画像４１−１よりも高い順位を与える。

また、図２３に示すように、画像選択部２７０は、撮影画像に写り込んでいる主要な被写体２７の大きさを尺度として撮影画像を選択してもよい。即ち、撮影画像４１−３に写り込んでいる被写体は、撮影画像４１−１に写り込んでいる被写体１１〜３３と略共通している。しかしながら、撮影画像４１−３においては、主要な被写体２７が、他の被写体１１〜２６、２８〜３３に対して相対的に大きく写っている。

これにより、撮影画像４１−３において主要な被写体２７が占める面積は、撮影画像４１−１に比較すると大きい。そこで、画像選択部２７０は、撮影画像４１−３における主要な被写体２７が大きく写っていることを評価して、撮影画像４１−３に対して、撮影画像群４１０において撮影画像４１−１よりも高い順位を与える。

なお、ステップＳ１０９における評価で用いた顕著度マップ４３３において、顕著度の値を算出する場合に、主要被写体の大きさ評価尺度が入っている場合には、撮影画像における主要な被写体２７の大きさを改めて評価することは、被写体２７の大きさという尺度に重みをつけて評価していることに他ならない。

また、図２４に示すように、画像選択部２７０は、被写体２７の撮影状態を評価の尺度として撮影画像を選択してもよい。即ち、撮影画像４１−５に写り込んでいる被写体１１〜３３は、撮影画像４１−１に写り込んでいる被写体と略共通している。しかしながら、撮影画像４１−５においては、主要な被写体２７に対して照明が強く当たっており、他の被写体１１〜２６、２８〜３３は相対的に暗く写っている。

そこで、画像選択部２７０は、撮影画像４１−５における主要な被写体２７が他の被写体１１〜２６、２８〜３３よりも明るく写っていること（主要な被写体２７が適切な明るさで写っていること）を評価して、撮影画像４１−５に対して、撮影画像群４１０において撮影画像４１−１よりも高い順位を与える。

なお、ステップＳ１０９で用いた顕著度マップは、輝度の分布も反映して算出されている。よって、撮影画像における主要な被写体２７の明るさを改めて評価することは、明るさという尺度に重みをつけて評価していることに他ならない。

また、図２５に示すように、画像選択部２７０は、主要な被写体２７が、撮影画像の画面上の所定の位置（例えば画面中央）に位置することを評価の尺度として撮影画像を選択してもよい。撮影画像４１−６に写り込んでいる被写体１１〜３３は、撮影画像４１−１と共通している。しかしながら、撮影画像４１−６においては、主要な被写体２７の位置が、被写界中央に接近している。

これにより、撮影画像４１−６は、撮影画像４１−１と比較した場合に、主要な被写体２７が相対的に強調されていると評価できる。そこで、画像選択部２７０は、撮影画像４１−６において被写体２７が画面上の所定の位置（例えば画面中央）に近いことを評価して、撮影画像４１−６に対して、撮影画像群４１０において撮影画像４１−１よりも高い順位を与える。このような構成とすれば、より適切な構図の撮影画像を抽出することができる。

このように、画像選択部２７０は、撮影画像４１−１〜４１−ｎの各々における主要被写体２７の撮影状態を評価して、ユーザにとってより重要な主要被写体２７の撮影状態が、他の被写体１１〜２６、２８〜３３に対してより良好な撮影状態にあり、結果として主要被写体２７が強調されている画像を選択して、複数の撮影画像４１−１〜４１−ｎに順位をつけて序列化できる。

なお、主要な被写体２７の評価は、ここまでに例示した方法の全てまたは一部により実行できる。また、主要な被写体２７の評価を複数の方法により実行する場合、実行の順序は上記した順序でなくてもよい。更に、更に、上記の評価方法は例の一部に過ぎず、更に他の評価項目あるいは評価方法を併用してもよい。

再び図１０を参照する。全ての撮影画像４１−１〜４１−ｎに対して序列化が完了して（ステップＳ１０９：ＹＥＳ）、処理を渡された画像選択部２７０は、序列に従って撮影画像を選択する（ステップＳ１１０）。これにより、画像選択部２７０は、複数の撮影画像４１−１〜４１−ｎの間で主要な被写体２７の顕著度を比較し、主要な被写体２７の顕著度に基づいて撮影画像４１−１〜４１−ｎを選択できる。

即ち、画像選択部２７０は、序列化した撮影画像群４１０に対して、予め定めた選択率、閾値、フレーム数等に応じて、序列に基づく撮影画像の選択を実行する。即ち、選択率が予め指定されている場合は、撮影画像群４１０を形成する撮影画像４１−１〜４１−ｎのうちの一定の割合の撮影画像を、序列の上位から選択する。あるいは、画像選択部２７０は、序列の下位から選択してもよい。

また、予め閾値が定められている場合は、主要な被写体２７の顕著度が、所与の値を超えた撮影画像を選択する。また、予めフレーム数が決められている場合は、上記の序列の上位または下位から所与のフレーム数の撮影画像を選択する。こうして、画像選択部２７０は、主要被写体の顕著度に基づいて形成された序列に従って撮影画像を選択するので、ユーザが手間をかけることなく、撮影意図を反映した撮影画像を選択できる。

以上のようにして画像選択部２７０が選択した撮影画像４１−２〜４１−６は、例えば、デジタルカメラ１００が再生モードに設定された場合に、優先的にユーザに提示される。これにより、ユーザは、多数の撮影画像から撮影画像を選択する場合の選択作業時間を短縮できる。また、デジタルカメラ１００は、特に評価が低かった撮影画像については、自動的に破棄するか、あるいは、ユーザから表示することを指示されるまでは非表示とするようにしてもよい。

上記のように、顕著度マップを用いることで、ユーザにとって関心が高い被写体が、各撮影画像において顕著であるか（目立っており人目を引きやすいか）否かというユーザの主観的価値を、定量的に表すことができる。そこで、画像選択部２７０は、撮影画像の各々において主要被写体がより顕著であるか否かを評価して画像を選択する。

これによって、ユーザは、多くの撮影画像から選択画像を抽出する手間を省くことができる。また、ユーザによる選択を全て省くのではなく、画像選択部２７０による選択範囲を広くして、ユーザの選択の手間を軽減するに留めてもよい。

図２６は、上記撮影画像処理部２０３における処理と同等の撮影画像処理プログラムを実行し得るパーソナルコンピュータ５００を模式的に示す図である。パーソナルコンピュータ５００は、ディスプレイ５２０、本体部５３０およびキーボード５４０を有する。

本体部５３０は、デジタルカメラ１００との通信により、デジタルカメラ１００から撮影画像の画像データを取得できる。取得した画像データは、パーソナルコンピュータ５００の記憶媒体に格納できる。また、パーソナルコンピュータ５００は、実行すべきプログラムをロードする場合に用いる光学ドライブ５３２も備える。

上記のようなパーソナルコンピュータ５００は、撮影画像処理プログラムを読み込ませることにより、図４および図１０に示した手順を実行する撮影画像処理プログラムを実行する装置として動作する。また、パーソナルコンピュータ５００は、ケーブル５１０を介して、デジタルカメラ１００から撮影画像データを取得して処理の対象とすることができる。

即ち、撮影画像処理プログラムは、複数の画像に含まれる互いに異なる複数の被写体を抽出する被写体抽出段階と、複数の被写体のそれぞれが、複数の画像のそれぞれにおいていずれの位置にあるかに基づいて、複数の被写体のいずれが、複数の被写体における主要被写体であるかを推定する主要被写体推定段階と、複数の画像のそれぞれについて、視覚的刺激の強度に応じた顕著度の分布を算出する顕著度算出段階と、複数の画像の間で主要被写体の顕著度を比較し、主要被写体の顕著度に基づいて複数の画像のうちのいずれかの画像を選択する画像選択段階とを計算機に実行させる。

これにより、ユーザは、より大きなディスプレイ５２０およびキーボード５４０で、操作しやすい。パーソナルコンピュータ５００を用いることにより、より大量の画像を高速に処理できる。また、被写体抽出手順、主要被写体推定手順および画像選択手順の各々における評価項目を増やすと共に、評価単位を細かくしてもよい。これにより、ユーザの意図をより詳細に反映しつつ画像選択を補助できる。

なお、デジタルカメラ１００およびパーソナルコンピュータ５００の間の撮影画像データの転送は、図示のようにケーブル５１０を経由してもよいし、無線通信であってもよい。また、画像データが格納された二次記憶媒体を受け渡すことにより、画像データを取得してもよい。また、撮影画像処理プログラムの実行は、パーソナルコンピュータ５００に限られるものではなく、店頭あるいはオンラインのプリントサービス設備等で実行してもよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加え得ることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

また、特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示していない限り、あるいは、前の処理の出力を後の処理で用いない限り、任意の順序で実現し得ることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等を用いて説明したとしても、この順で実施することが必須であることを意味するとは限らない。

１１〜３３ 被写体、４１−１、４１−２、４１−３、４１−４、４１−５、４１−６、４１−ｎ 撮影画像、４２−１ 輝度画像、４３−１ ガウシアンピラミッド、４４−１ 正規化画像、４５−１ 輝度差分画像、４６−１ 輝度情報マップ、４７−１、４７−２ 色情報マップ、４８−１、４８−２、４８−３、４８−４ 方向性エッジ情報マップ、４９−１、４９−２、４９−３ 顕著度マップ、１００ デジタルカメラ、１１０ 筐体、１２０ 鏡筒、１２２ 撮影レンズ、１３０ 発光窓、１４０ 操作部、１４１ 十字キー、１４２ 電源スイッチ、１４３ 背面ボタン、１４４ レリーズボタン、１４６ ズームレバー、１５０ 背面表示部、２００ 内部回路、２０１ 制御部、２０２ 撮像部、２０３ 撮影画像処理部、２１０ ＣＰＵ、２２０ 表示駆動部、２２２ 顕著度マップ生成部、２３０ プログラムメモリ、２４０ メインメモリ、２５０ 被写体抽出部、２６０ 主要被写体推定部、２７０ 画像選択部、２８０ 顕著度算出部、３１０ 撮像素子駆動部、３１２ 撮像素子、３２０ アナログ／デジタル変換部、３３０ 画像処理部、３３２ 二次記憶媒体、３４０ 自動合焦部、３５０ 測光センサ、３６０ 変倍駆動部、３７０ 入力受付部、４１０ 撮影画像群、４２１、４２２ 被写界、５００ パーソナルコンピュータ、５１０ ケーブル、５２０ ディスプレイ、５３０ 本体部、５３２ 光学ドライブ、５４０ キーボード、６１０ 輝度情報抽出部、６１２ 輝度画像生成部、６１４、６２３、６３５ ガウシアンピラミッド生成部、６１６、６２４、６３６ 差分画像生成部、６１８ 輝度情報マップ生成部、６２０色情報抽出部、６２１ Ｒ−Ｇ差分画像生成部、６２２ Ｂ−Ｙ差分画像生成部、６２３ ガウシアンピラミッド生成部、６２５ 色情報マップ生成部、６３０ エッジ情報抽出部、６４０ 線形結合部、６３１、６３２、６３３、６３４ 方向性エッジ画像生成部、６３７ 方向性エッジ情報マップ生成部

Claims (9)

1. 複数の画像を取得する画像取得部と、
   前記複数の画像における主要被写体を推定する主要被写体推定部と、
   前記複数の画像のそれぞれについて、視覚的な顕著度を算出する顕著度算出部と、
   前記複数の画像の間で前記主要被写体の顕著度を比較し、前記主要被写体の前記顕著度に基づいて前記複数の画像のうちのいずれかの画像を選択する画像選択部とを有し、
   前記顕著度算出部は、前記複数の画像の各々における輝度値、色および方向性エッジの各々の分布を合成して前記顕著度の分布を算出し、
   前記顕著度算出部は、前記輝度値、色および方向性エッジの各々について個別に正規化した分布を合成して前記顕著度の分布を算出し、
   前記画像選択部は、前記輝度値、色および方向性エッジの各々の分布のいずれかに更に基づいて、前記複数の画像のうちのいずれかの画像を選択する画像処理装置。
2. 複数の画像を取得する画像取得部と、
   前記複数の画像における主要被写体を推定する主要被写体推定部と、
   前記複数の画像のそれぞれについて、視覚的な顕著度を算出する顕著度算出部と、
   前記複数の画像の間で前記主要被写体の顕著度を比較し、前記主要被写体の前記顕著度に基づいて前記複数の画像のうちのいずれかの画像を選択する画像選択部とを有し、
   前記画像選択部は、さらに、前記複数の画像の各々の顕著度の最大値と、前記主要被写体の顕著度との比率を、前記複数の画像の各々について算出し、当該比率に基づいて、前記複数の画像の何れかの画像を選択する画像処理装置。
3. 複数の画像を取得する画像取得部と、
   前記複数の画像のそれぞれの顕著な度合いを示す第１値を算出し、前記複数の画像のそれぞれの主要被写体の顕著な度合いを示す第２値を算出する算出部と、
   前記複数の画像のそれぞれについて前記第１値と前記第２値とを比較することにより前記複数の画像の何れかを選択する選択部とを有する画像処理装置。
4. 請求項３に記載の画像処理装置であって、
   前記算出部は、画像の輝度値の分布、色の分布および方向性エッジの分布を用いて前記第１値及び前記第２値を算出する画像処理装置。
5. 複数の画像を取得する画像取得部と、
   前記複数の画像のそれぞれの目立ち度合いを示す第１値を算出し、前記複数の画像のそれぞれの主要被写体の目立ち度合いを示す第２値を算出する算出部と、
   前記複数の画像のそれぞれについて前記第１値と前記第２値とを比較することにより前記複数の画像の何れかを選択する選択部とを有する画像処理装置。
6. 請求項５に記載の画像処理装置であって、
   前記算出部は、画像の輝度値の分布、色の分布および方向性エッジの分布を用いて前記第１値及び前記第２値を算出する画像処理装置。
7. 請求項１から請求項６までのいずれか一項に記載の画像処理装置を有する撮像装置。
8. 複数の画像を取得する取得手順と、
   前記複数の画像のそれぞれの顕著な度合いを示す第１値を算出し、前記複数の画像のそれぞれの主要被写体の顕著な度合いを示す第２値を算出する算出手順と、
   前記複数の画像のそれぞれについて前記第１値と前記第２値とを比較することにより前記複数の画像の何れかを選択する選択手順とを計算機に実行させるための画像処理プログラム。
9. 複数の画像を取得する取得手順と、
   前記複数の画像のそれぞれの目立ち度合いを示す第１値を算出し、前記複数の画像のそれぞれの主要被写体の目立ち度合いを示す第２値を算出する算出手順と、
   前記複数の画像のそれぞれについて前記第１値と前記第２値とを比較することにより前記複数の画像の何れかを選択する選択手順とを計算機に実行させるための画像処理プログラム。