JP4611069B2 - 特定シーンの画像を選別する装置、プログラムおよびプログラムを記録した記録媒体 - Google Patents

Description

本発明は、特定シーンの画像を選別する装置、プログラムおよびプログラムを記録した記録媒体に関し、特に、デジタル形式の画像データで表された画像をシーンごとに分類等するために、所望の特定シーンの画像を選別する装置、プログラムおよびプログラムを記録した記録媒体に関するものである。

近年、デジタル形式の画像データで表された画像を、シーンごとに分類したり、シーンごとに区別された補正処理やプリント処理を施すため、ある画像が特定シーンの画像であるか否かを自動的に識別して、画像を選別する手法の研究開発が行なわれ始めている。

たとえば、特許文献１には、「夕焼け」の画像の選別に特化した手法として、対象画像を構成する画素のうち赤から黄色の範囲に属する画素について、色相と彩度の積および色相と明度の積の値をヒストグラム化し、それらの分散が一定基準より大きいものを「夕焼け」のシーンの画像であると判断する手法が記載されている。

また、特許文献２には、複数の対象画像の各々を、予め定められた共通の切分け方で画像中央部の領域と画像周辺部の領域とに分割し、それらの領域全体同士のコントラスト等に基づいて、各対象画像が順光シーンの画像であるか逆光シーンの画像であるかを識別する手法が記載されている。
特開平１１−２９８７３６号公報 特開平１１−１９６３２４号公報

しかしながら、特定シーンの画像の特徴は、その画像の全体的な色や明るさ等のみならず、特徴的な色や明るさ等を有する特徴的部分の配置の傾向にも現れる。たとえば、「夕焼け」のシーンであれば、夕焼けの特徴が最も顕著に現れる夕焼け空の部分は、通常、対象画像の上部にまとまっているはずである。ところが、上記の特許文献１に記載されたような手法では、上部に夕焼け空が広がっている対象画像と、中央部に夕焼け空に類似の色や明るさを有する衣服等の被写体が写っている対象画像とは、ヒストグラム上では同じような特徴を有する画像として評価されてしまう。そのため、誤選別が多くなるという問題があった。

また、配置の傾向を考慮して、上記の特許文献２に記載の手法のように各対象画像を分割し、分割して得た各領域の色や明るさ等の特徴を調べることとしても、予め定められた共通の切分け方で分割して各領域についてその領域全体の特徴を調べるのでは、撮影枠の取り方の違い等による位置や面積割合の変動に対処できないという問題がある。たとえば、上記の「夕焼け」のシーンの例であれば、対象画像の上部に夕焼け空の部分がまとまっているという傾向は夕焼け空の部分を含むすべての画像に共通であるが、その夕焼け空の部分と他の部分との境界（たとえば地平線）が画像内のどの位置にあるかは、カメラ操作者の撮影枠の取り方によって様々である。したがって、予め定められた共通の切分け方で対象画像を分割すると、分割して得た上部領域に夕焼け空以外の部分が相当割合含まれてしまうことも多く、その場合、上部領域全体の特徴を調べたのでは、誤選別に繋がる可能性が高い。

本発明は、上記事情に鑑み、所望の特定シーンに対応する特徴的部分の対象画像内における配置の傾向を考慮し、かつ撮影枠の取り方の違い等によるそれらの位置や面積割合の変動をも考慮して、様々な特定シーンの画像を高い精度で選別することができる装置、プログラムおよびプログラムを記録した記録媒体を提供することを目的とするものである。

すなわち、本発明の特定シーンの画像を選別する装置は、選別対象画像の入力を受け付ける画像入力受付手段と、その選別対象画像から、１つまたは複数の局所特徴量画像を導出する局所特徴量画像導出手段と、局所特徴量画像の種類ごとに予め定められた１つまたは複数のマスクを、その局所特徴量画像上で走査および／または分布変更して得られた一連の積和演算結果を用いて、局所特徴量画像ごとに１つまたは複数の代表特徴量を算出する代表特徴量算出手段と、それら代表特徴量の各々の値を、その代表特徴量の種類ごとに予め定められた、その代表特徴量の取り得る値と上記の特定シーンらしさの高低との関係を示す識別条件と照会することにより、上記の選別対象画像が特定シーンの画像であるか否かを識別する識別手段とを備えていることを特徴とするものである。

ここで、本発明において「特徴量」とは、画像の特徴を表すパラメータを指し、その画像の色の特徴、輝度の特徴、テクスチャの特徴、奥行情報、その画像に含まれるエッジの特徴等、いかなる特徴を表すものであってもよい。また、これらの各特徴を表す指標値を複数組み合わせた重み付き加算値等を、「特徴量」として用いてもよい。また、本発明において「局所特徴量」とは、選別対象画像上のある一部の画素または領域における局所的な特徴を表す特徴量を指し、「局所特徴量画像」とは、選別対象画像上の各画素または区分けされた各領域における局所特徴量の値を画素値とする画像を指す。さらに、本発明において「局所特徴量画像を導出する」ということには、たとえば濃度Ｒ、ＧおよびＢの値を画素値とするデータ等の形式で入力される選別対象画像を、そのまま局所特徴量画像とみなして用いることとする形態も含まれることとする。また、本発明において「代表特徴量」とは、各局所特徴量画像の全体的な特徴を表す特徴量を指す。

また、本発明において、マスクを局所特徴量画像上で「走査」するとは、加重マトリクス状のマスクを局所特徴量画像の各画素またはいくつか置きの画素の位置に順次適用し、各位置においてマスクのマトリクス値と局所特徴量画像の画素値との積和演算の値を求めていく空間フィルタリング処理を行うことを指す。この場合、走査するマスクは、局所特徴量画像よりも小さいサイズのものである必要がある。一方、本発明において、マスクを局所特徴量画像上で「分布変更」するとは、加重マトリクス状のマスクを局所特徴量画像のいずれかの画素の位置に適用する際、たとえば山型マスクの山の位置を変更する等、マスクのマトリクス値の分布を変更しながらそのマスクを複数回適用し、複数回分の積和演算の値を求める処理を行うことを指す。この場合、分布変更するマスクは、局所特徴量画像よりも小さいサイズのものであってもよいし、同一サイズのものであってもよい。局所特徴量画像よりも小さいサイズのマスクを使用する場合は、マスクの走査と分布変更を併せて行うことも可能である。

上記の本発明の特定シーンの画像を選別する装置は、特定シーンとして、所望のシーンの指定を受け付けるシーン指定受付手段をさらに備えているものであってもよい。

また、本発明の特定シーンの画像を選別する装置において、上記の局所特徴量画像導出手段が導出する局所特徴量画像の種類、上記の代表特徴量算出手段が使用するマスクの種類ならびに算出する代表特徴量の種類、および代表特徴量の種類ごとの上記の識別条件は、上記の特定シーンであることが分かっている複数の画像と特定シーンでないことが分かっている複数の画像からなるサンプル画像群について、予め学習を行うことにより決定されたものであってもよい。

さらに、本発明の特定シーンの画像を選別する装置においては、上記の局所特徴量画像の少なくとも１つが、複数の特徴の組合せを有する領域に対応する画素である可能性の大小を表す局所特徴量の値を画素値とするものであってもよい。その場合において、その複数の特徴の組合せは、色相、彩度、明度およびテクスチャに関する特徴からなる群から選択された２つ以上の特徴の組合せであってもよい。

また、上記のように学習により決定された局所特徴量画像の種類等を用いる場合には、特定シーンごとの上記の学習は、その特定シーンの識別に用いられ得る局所特徴量画像の種類とマスクの種類と代表特徴量の種類との候補の組を複数組規定する工程と、それらの候補の組ごとに、その候補の組をなす種類の局所特徴量画像およびマスクを用いて、上記のサンプル画像群を構成する各画像からその候補の組で指定されている種類の代表特徴量を算出し、上記のサンプル画像群を構成する各画像が特定シーンの画像であるか否かを識別する識別基準を設定する試行識別を行って、その試行識別において最も識別精度の高い識別基準が設定された候補の組から順に１組または複数組の候補の組を、その特定シーンの画像の選別に使用する局所特徴量画像の種類とマスクの種類と代表特徴量の種類との組として選択する工程と、その選択する工程において選択された組の各々について、その組について設定された上記の識別基準に基づいて、上記の識別条件を決定する工程を含む方法によるものであってもよい。

ここで、「試行識別において最も識別精度の高い識別基準が設定された候補の組から順に１組または複数組の候補の組」を選択するとあるが、最も識別精度の高い識別基準が設定された１つの候補の組を選択するごとにサンプル画像群を構成する各画像の重みを変更して、そのように重みを変更されたサンプル画像群に対して最も識別精度の高い識別基準が設定された候補の組を次の組として順次選択していく形態等も、上記の選択の形態に含まれるものとする。

また、上記のように、候補の組を複数規定する工程、選択する工程および決定する工程を含む方法による学習を行う場合は、上記の候補の組の少なくとも１組をなす種類の局所特徴量画像を、所定の範囲の特徴を有する領域に対応する画素である可能性の大小を表す局所特徴量の値を画素値とするものとし、上記の選択する工程と決定する工程との間に、選択された候補の組をなす種類の局所特徴量画像が上記の可能性の大小を表す局所特徴量の値を画素値とするものである場合に、上記のサンプル画像群を構成する画像に対する識別精度が向上するように上記の所定の範囲を調整することにより、その候補の組について設定された上記の識別基準を修正する工程をさらに設けてもよい。

さらに、上記のように、候補の組を複数規定する工程、選択する工程および決定する工程を含む方法による学習を行う場合は、上記の候補の組の少なくとも１組をなす種類の局所特徴量画像を、複数の特徴の組合せを有する領域に対応する画素である可能性の大小を表す局所特徴量の値を画素値とするものとしてもよい。その場合において、その複数の特徴の組合せは、色相、彩度、明度およびテクスチャに関する特徴からなる群から選択された２つ以上の特徴の組合せであってもよい。

また、上記の本発明の特定シーンの画像を選別する装置は、正しい選別結果が得られなかった選別対象画像について、その選別対象画像が示す正しいシーンの指定を受け付ける正解受付手段と、その正しいシーンの指定が受け付けられた選別対象画像を学習することにより、上記の識別条件を更新する追加学習手段とをさらに備えているものであってもよい。

本発明の特定シーンの画像を選別するプログラムは、コンピュータを、選別対象画像の入力を受け付ける画像入力受付手段、その選別対象画像から、１つまたは複数の局所特徴量画像を導出する局所特徴量画像導出手段、局所特徴量画像の種類ごとに予め定められた１つまたは複数のマスクを、その局所特徴量画像上で走査および／または分布変更して得られた一連の積和演算結果を用いて、局所特徴量画像ごとに１つまたは複数の代表特徴量を算出する代表特徴量算出手段、および、代表特徴量の各々の値を、その代表特徴量の種類ごとに予め定められた、その代表特徴量の取り得る値と上記の特定シーンらしさの高低との関係を示す識別条件と照会することにより、上記の選別対象画像が特定シーンの画像であるか否かを識別する識別手段として機能させることを特徴とするものである。また、本発明の記録媒体は、そのようなプログラムを記録したコンピュータ読取可能な記録媒体である。

また、本発明の撮像装置は、
撮像した画像データを取得する撮像手段と、
所望の特定シーンの指定を受け付けるシーン指定受付手段と、
前記撮像した画像データから、１つまたは複数の局所特徴量画像を導出する局所特徴量画像導出手段と、
前記局所特徴量画像の種類ごとに予め定められた１つまたは複数のマスクを、該局所特徴量画像上で走査および／または分布変更して得られた一連の積和演算結果を用いて、前記局所特徴量画像ごとに１つまたは複数の代表特徴量を算出する代表特徴量算出手段と、
前記代表特徴量の各々の値を、該代表特徴量の種類ごとに予め定められた、該代表特徴量の取り得る値と前記特定シーンらしさの高低との関係を示す識別条件と照会することにより、前記選別対象画像が前記特定シーンの画像であるか否かを識別する識別手段とを備えていることを特徴とするものである。

また、本発明の撮像装置は、撮影時に前記シーンを特定する情報を取得するシーン特定情報取得手段をさらに有し、
前記シーン指定受付手段が、該シーン特定情報取得手段により取得された前記シーンを特定する情報に基づいてシーンの指定を受け付けるものであってもよい。

「シーンを特定する情報」とは、例えば、撮影時間等の画像が「夜景」の可能性があるか否かというような特定のシーンを判別するために参考にすることができる情報をいう。

また、本発明の特定シーンの画像を選別する方法は、
選別対象画像の入力を受け付ける画像入力受付ステップと、
所望の特定シーンの指定を受け付けるシーン指定受付ステップと、
前記選別対象画像の画像データから、１つまたは複数の局所特徴量画像を導出する局所特徴量画像導出ステップと、
前記局所特徴量画像の種類ごとに予め定められた１つまたは複数のマスクを、該局所特徴量画像上で走査および／または分布変更して得られた一連の積和演算結果を用いて、前記局所特徴量画像ごとに１つまたは複数の代表特徴量を算出する代表特徴量算出ステップと、
前記代表特徴量の各々の値を、該代表特徴量の種類ごとに予め定められた、該代表特徴量の取り得る値と前記特定シーンらしさの高低との関係を示す識別条件と照会することにより、前記選別対象画像が前記特定シーンの画像であるか否かを識別する識別ステップとからなることを特徴とするものである。

本発明の特定シーンの画像を選別する装置、プログラムおよびプログラムを記録した記録媒体は、選別対象画像から導出された局所特徴量画像上において、加重マトリクス状のマスクを走査および／または分布変更して得られた一連の積和演算結果に基づいて代表特徴量を算出するものであるので、撮影枠の取り方の違い等により撮影対象の細かい位置や面積割合が変動しても、所望の特定シーンに対応する特徴的部分の配置の傾向を代表特徴量の値に適切に反映させることができ、精度の高い選別を行うことができる。

また、特定シーンとして所望のシーンの受付けを可能とした形態によれば、様々な特定シーンの画像の選別を１つの汎用装置、プログラムまたはプログラムを記録した記録媒体により行うことができる。

さらに、導出する局所特徴量画像の種類、使用するマスクの種類、算出する代表特徴量の種類、および識別条件を、サンプル画像群について予め学習を行うことにより決定されたものとした形態によれば、サンプル画像群が示す各特定シーンの特徴に合わせて、特定シーンごとに最適な種類および数の局所特徴量画像等を使用し、無駄な計算処理を行なうことなく精度の高い選別を行なうことが可能となる。

また、特定シーンごとの学習を、局所特徴量画像の種類とマスクの種類と代表特徴量の種類との候補の組を複数組規定する工程と、候補の組ごとに識別基準を設定する試行識別によりそれらの候補の組から１組または複数組を選択する工程と、選択された候補の組をなす種類の局所特徴量画像が所定の範囲の特徴を有する領域に対応する画素である可能性の大小を表す局所特徴量の値を画素値とするものである場合に、サンプル画像群を構成する画像に対する識別精度が向上するように上記の所定の範囲を調整することにより、その候補の組について設定された上記の識別基準を修正する工程と、修正された識別基準に基づいて識別条件を決定する工程を含む方法によるものとした形態によれば、選別に使用する局所特徴量に対応する上記の所定の範囲を特定シーンごとに最適化することができるので、さらに精度の高い選別を行なうことが可能となる。

さらに、正しい選別結果が得られなかった選別対象画像についての正解受付けと追加学習を可能とした形態によれば、実際の選別対象画像に合わせて継続的に選別の精度を向上させていくことができる。また、ユーザーが頻繁に指定する特定シーンに関しては、学習の成果が特に充実していくため、より高い選別の精度を実現することができる。

また、本発明の撮像装置のように、前記のシーンの画像を選別する機能を備えるようにすれば、撮影した画像のシーンを識別して、各々の画像に対して適切な画像処理を施すことが可能になる。

さらに、撮像装置でシーンを特定する情報を取得するようにすることによって、識別の精度を高くすることが可能になる。

以下、図面により、本発明の例示的な実施形態を詳細に説明する。

(第１の実施形態) 図１は、本発明の第１の実施形態に係る特定シーンの画像を選別する装置１０の構成を示したブロック図である。この図に示すように、装置１０は、選別したい特定シーンの指定を受け付けるシーン指定受付部１２と、選別対象画像の入力を受け付ける画像入力受付部１４と、後述する参照データが格納されているメモリ１６と、シーン指定受付部１２および画像入力受付部１４から入力を受け取り、メモリ１６内の参照データが指定する種類の局所特徴量画像を導出する局所特徴量画像導出部１８と、導出された局所特徴量画像から、メモリ１６内の参照データが指定する種類の代表特徴量を算出する代表特徴量算出部２０と、算出された代表特徴量に基づいて、入力された選別対象画像が指定された特定シーンの画像であるか否かを識別し、選別対象画像を選別して出力する識別部２２を備えている。

メモリ１６内に格納されている参照データは、識別したい特定シーンとして指定され得る複数のシーンごとに、そのシーンの識別に用いる局所特徴量画像の種類と、マスクの種類と、それらの局所特徴量画像およびマスクを用いて算出すべき代表特徴量の種類と、それらの代表特徴量の各々に対応する識別条件とを規定したものであり、たとえば図２に示すような参照表形式等のデータである。図２の例には、説明のため、「夜景」および「夕焼け」の２つのシーンに関するデータのみを示してあるが、実際の参照データは、通常、これよりずっと多くのシーンについてのデータからなる。識別に用いる局所特徴量画像、マスクおよび代表特徴量の組の種類および数は、シーンごとに異なる。各代表特徴量に対応する識別条件は、正負の値を取る数列の形式で表されている。

装置１０が行う選別処理や図２の参照データを導出するための学習処理について説明する前に、まず、本実施形態において使用される局所特徴量画像とマスクについて、図３から６を用いて説明する。

本実施形態では、入力された選別対象画像や、後述する学習に用いられる各サンプル画像は、まず、Ｌａｂ表色系で表された画像に変換され、そのＬａｂ表色系で表された画像を５×５個に分割したブロックごとに、色相角、彩度、明度およびテクスチャ指標値が求められる。各ブロックの色相角としては、そのブロックを構成する各画素の色差ａ（ｘ，ｙ）およびｂ（ｘ，ｙ）のブロック内平均値ａ_ａｖｅおよびｂ_ａｖｅをａｂ平面状にプロットした際の、プロットされた点と原点を結ぶ直線と、ａ軸とのなす角度が求められる。各ブロックの彩度としては、上記のブロック内平均値ａ_ａｖｅおよびｂ_ａｖｅをａｂ平面状にプロットした際の、プロットされた点と原点との距離が求められる。各ブロックの明度としては、そのブロックを構成する各画素の明度Ｌ（ｘ，ｙ）のブロック内平均値Ｌ_ａｖｅが求められる。各ブロックのテクスチャ指標値としては、そのブロックを構成する画素値のＬａｂ空間上における標準偏差、すなわち、

が求められる。ここで、Ｎは各ブロックを構成する画素数である。

一般に、色相角の値の違いは、色相すなわち色合いの違いに対応する。本実施形態では、色合いに応じた色相角の区分の境界を、図３の（ａ）に示すように設定することとする。また、彩度、明度およびテクスチャ指標値についても、図３の（ｂ）から（ｄ）に示すように、それぞれ「無」、「低」および「高」等の３段階の区分に分ける境界を予め設定しておく。

本実施形態では、上記の図３に示した色相角、彩度、明度およびテクスチャ指標値の各区分の組合せパターンを図４の表に示す＃０番から＃９９番までの１００パターン規定し、上記の５×５個のブロックの各組合せパターン「らしさ」、すなわち、その組合せパターンをなす各区分の特徴を組合せとして有するブロックである可能性の大小を表す局所特徴量の値を画素値とする、５×５画素の局所特徴量画像が、１００種類導出可能とされているものとする。たとえば、図４の表で＃８３番のパターンに対応する局所特徴量画像の画素値は、明度の高低は問わず、色相がレッドで彩度が高くテクスチャが多いブロックに対応する画素である可能性の大小を表す局所特徴量である。＃０番から＃９９番までのパターンに対応する各局所特徴量は、０から１までの連続値を取り得る。

上記の各組合せパターン「らしさ」を表す局所特徴量は、その組合せパターンをなす色相角、彩度、明度およびテクスチャ指標値の各区分「らしさ」を示す４つの指標値を導出して、それらを掛け合わせた値である。これらの各区分「らしさ」を示す指標値も、それぞれ０から１までの連続値を取り得る。たとえば、上記の＃８３番のパターンに対応する局所特徴量画像の画素値は、その画素に対応するブロックについて、色相がレッドのブロックらしさ、彩度が高いブロックらしさ、あらゆる明度のブロックらしさおよびテクスチャが多いブロックらしさを表す各指標値を導出し、それらを掛け合わせた値である。ここで、あらゆる明度のブロックらしさを表す指標値としては、１を用いる。

ここで、各区分「らしさ」を表す指標値の導出方法を、彩度の各区分を例にとって説明する。図３の（ｂ）に示したように、本実施形態では、彩度値６０を境界に彩度の区分「高」と「低」の範囲が分けられているが、この境界を境に二値的に「高」と「低」の区分に分かれている訳ではなく、実際には、この境界を境に徐々に彩度「高」らしさと彩度「低」らしさの比が推移していく。すなわち、ブロックを代表する彩度の値を横軸とすると、彩度「高」らしさを表す指標値は図５の（ａ）のように推移する。図５の（ａ）の曲線は、境界値である彩度値６０を中心としたシグモイド関数状の曲線であり、彩度値６０において彩度「高」らしさを表す指標値が０．５となるように設定されている。同様に、ブロックを代表する彩度の値に対する、彩度「低」らしさを表す指標値および彩度「無」らしさを表す指標値は、図５の（ｂ）および（ｃ）のように規定されている。色相角、明度およびテクスチャ指標値の各区分についても、各区分「らしさ」を表す指標値は、境界値を挟んでシグモイド関数状に推移する同様の曲線により規定されている。

上記に説明したとおり、本実施形態における選別対象画像やサンプル画像からは、各組合せパターン「らしさ」を画素値とする５×５画素の局所特徴量画像が、１００種類導出可能とされている。選別や学習に最終的に用いられる代表特徴量は、そのような５×５画素の局所特徴量画像上で所定のマスクを走査および／または分布変更して得られた一連の積和演算結果を基に、それら一連の積和演算結果の最大値、最小値、最大値と最小値の差分値、または中央値等の形で算出されたものである。

図６は、本実施形態で使用され得るマスクの種類を示した概念図である。マスクの種類には、大別して一様マスク、傾斜マスクおよび山型マスクの３タイプがあり、各タイプについてさらに、大きさの異なる複数種類のマスクが規定されている。

一様マスクは、図６の（ａ）に示すマスク３０のように、各マトリクス値が同一値とされたマスクであり、局所特徴量画像の大きさが５×５画素であるのに対し、１×１から４×４までの４種類の大きさのマスクが規定されている。各一様マスクを局所特徴量画像上で走査することにより、局所特徴量画像の各画素位置およびその近傍における局所特徴量の平均値が、一連の積和演算結果として得られる。これらの一様マスクは、特定シーンに対応する特徴的部分のまとまり具合または散らばり具合、たとえば夜景シーンにおける灯り部分の散らばり具合を調べるのに有効である。すなわち、特徴的部分が、局所特徴量画像の基となった選別対象画像またはサンプル画像全体に均一に散らばっている場合は、一様マスクの走査により得られた一連の積和演算結果がいずれも同程度の値となる等の傾向が現れ、局在化している場合は、一連の積和演算結果の最大値と最小値の差が大きくなる等の傾向が現れる。

傾斜マスクは、上辺側の行から下辺側の行にかけて単調減少するマトリクス値が与えられたマスクであり、局所特徴量画像の大きさが５×５画素であるのに対し、５×１から５×５までの５種類の幅のマスクが規定されている。各傾斜マスクは、局所特徴量画像への適用に際し、図６の（ｂ）に参照番号３２、３４および３６で示すようなマトリクス値で分布変更される。局所特徴量画像より大きさが小さい幅１から４の傾斜マスクを局所特徴量画像に適用する際は、走査と分布変更が併せて行われ、走査位置と分布の組ごとに得られた一連の積和演算結果の最大値、最小値、最大値と最小値の差分値、または中央値等が、代表特徴量として算出される。局所特徴量画像と同じ大きさの５×５の傾斜マスクを局所特徴量画像に適用する際は、分布変更のみが行われ、分布ごとに得られた一連の積和演算結果の最大値、最小値、最大値と最小値の差分値、または中央値等が、代表特徴量として算出される。これらの傾斜マスクは、特徴的部分の片端への偏り具合、たとえば夕焼けシーンにおける夕焼け空の部分の上方への偏り具合を調べるのに有効である。すなわち、特徴的部分が、局所特徴量画像の基となった選別対象画像またはサンプル画像の片端に偏った位置を占めている場合は、傾斜マスクの走査および／または分布変更により得られた一連の積和演算結果の最大値が大きくなる等の傾向が現れ、全体的に略一様に分布している場合は、一連の積和演算結果の最大値と最小値の差が小さくなる等の傾向が現れる。上記の夕焼けシーンの例についていえば、マスクの走査を行うことにより、夕焼け空と遠景との境界線（たとえば地平線）が一部近景により遮られている場合等にも、夕焼け空が上方に偏った位置を占めているという配置の特徴を抽出することができる。また、図６の（ｂ）に図示したようなマスクの分布変更を行うことにより、撮影枠の取り方により夕焼け空の部分とその他の部分との面積割合が変動しても、夕焼け空が上方に偏った位置を占めているという配置の特徴を最適な形で抽出することができる。なお、選別対象画像やサンプル画像が天地方向を揃えられずに供給された場合でも、特徴的部分の片端への偏り具合を示す代表特徴量が適切に算出できるように、各傾斜マスクの向きを４方向に変えて、各向きで走査および／または分布変更を行うこととしてもよい。

山型マスクは、上辺側の行と下辺側の行に低いマトリクス値が与えられ、その間に高いマトリクス値が与えられた行が設けられたマスクであり、局所特徴量画像の大きさが５×５画素であるのに対し、５×１から５×５までの５種類の幅のマスクが規定されている。各山型マスクは、局所特徴量画像への適用に際し、図６の（ｃ）に参照番号３８、４０および４２で示すようなマトリクス値で分布変更される。局所特徴量画像より大きさが小さい幅１から４の山型マスクを局所特徴量画像に適用する際は、走査と分布変更が併せて行われ、走査位置と分布の組ごとに得られた一連の積和演算結果の最大値、最小値、最大値と最小値の差分値、または中央値等が、代表特徴量として算出される。局所特徴量画像と同じ大きさの５×５の山型マスクを局所特徴量画像に適用する際は、分布変更のみが行われ、分布ごとに得られた一連の積和演算結果の最大値、最小値、最大値と最小値の差分値、または中央値等が、代表特徴量として算出される。これらの山型マスクは、特徴的部分の中央または両端への偏り具合を調べるのに有効である。すなわち、特徴的部分が、局所特徴量画像の基となった選別対象画像またはサンプル画像の中央近くに偏った位置を占めている場合は、山型マスクの走査および／または分布変更により得られた一連の積和演算結果の最大値が大きくなる等の傾向が現れ、両端に偏った位置を占めている場合は、一連の積和演算結果の最小値が小さくなる等の傾向が現れる。マスクの走査を行うことにより、特徴的部分が一部近景により遮られている場合等にも、中央または両端に偏った特徴的部分の配置の特徴を抽出することができる。また、図６の（ｃ）に図示したようなマスクの分布変更を行うことにより、撮影枠の取り方により特徴的部分の位置が多少変動しても、中央近くに偏った特徴的部分の配置の特徴を抽出することができる。なお、選別対象画像やサンプル画像が天地方向を揃えられずに供給された場合でも、特徴的部分の中央または両端への偏り具合を示す代表特徴量が適切に算出できるように、各山型マスクの向きを４方向に変えて、各向きで走査および／または分布変更を行うこととしてもよい。

以上、本実施形態において使用される局所特徴量画像とマスクについて説明した。次に、図２に示した本実施形態の参照データを導出するために予め行われる、シーンごとのサンプル画像群の学習処理について、図７のフローチャートを用いて説明する。

ここでは「夜景」のシーンに関する学習を例にとって説明すると、学習の対象となるサンプル画像群は、「夜景」のシーンの画像であることが分かっている複数の画像と、「夜景」のシーンの画像でないことが分かっている複数の画像からなる。各サンプル画像には、重みすなわち重要度が割り当てられる。まず、図７のステップＳ２において、すべてのサンプル画像の重みの初期値が、等しい値に設定される。

次に、ステップＳ４において、「夜景」のシーンの識別に用いられ得る局所特徴量画像の種類、マスクの種類および代表特徴量の種類の候補の組が、複数組規定される。本実施形態では、使用可能な局所特徴量画像の種類としては、上記で図４を用いて説明した＃０番から＃９９番までの１００パターンに対応するそのパターン「らしさ」を画素値とする、１００種類の５×５画素の局所特徴量画像が規定されるものとする。使用可能なマスクの種類としては、上記で図６を用いて説明した、一様マスク４種類、傾斜マスク５種類および山型マスク５種類の合計１４種類が規定されるものとする。使用可能な代表特徴量の種類としては、マスクの走査および分布変更によって得られた一連の積和演算結果の最大値、最小値、最大値と最小値の差分値、および中央値の４種類が規定されるものとする。したがって、ステップＳ４では、これらのあらゆる組合せ、すなわち１００×１４×４＝５６００組の候補の組が規定される。

続いて、ステップＳ６において、識別に使用され得る上記の候補の組の各々について、「夜景」のシーンであるか否かを識別する識別基準を提供するものである「識別器」が作成される。この例では、図８に導出方法を図示した、各候補の組が指定する種類の局所特徴量画像およびマスクを用いて算出したその候補の組が指定する種類の代表特徴量についてのヒストグラムを、「識別器」として使用する。図８を参照しながら説明すると、まず、「夜景」のシーンの画像であることが分かっている複数のサンプル画像の各々から、ある１組の候補の組が指定する種類の局所特徴量画像が導出され、その候補の組が指定する種類のマスクを用いてその候補の組が指定する種類の代表特徴量が算出される。算出された代表特徴量の値の分布について、図８の中央上側に示す一定間隔刻みのヒストグラムが作成される。同様に、「夜景」のシーンの画像でないことが分かっている複数のサンプル画像の各々からも、同じ候補の組が指定する種類の代表特徴量が算出され、図８の中央下側に示す別のヒストグラムが作成される。これらの２つのヒストグラムが示す頻度値の比の対数値を取ってヒストグラムで表したものが、図８の一番右側に示す、識別器として用いられるヒストグラムである。この識別器のヒストグラムが示す各縦軸の値を、以下、「識別ポイント」と呼ぶことにする。この識別器によれば、正の識別ポイントに対応する代表特徴量の値を示す画像は「夜景」のシーンの画像である可能性が高く、識別ポイントの絶対値が大きいほどその可能性は高まると言える。逆に、負の識別ポイントに対応する代表特徴量の値を示す画像は「夜景」のシーンの画像でない可能性が高く、やはり識別ポイントの絶対値が大きいほどその可能性は高まる。ステップＳ６では、識別に使用され得る上記の５６００組の候補の組のすべてについて、上記のヒストグラム形式の識別器が作成される。

続いて、ステップＳ８において、ステップＳ６で作成した識別器のうち、サンプル画像群をなす各画像が「夜景」のシーンの画像であるか否かを識別するのに最も有効な識別器が選択される。最も有効な識別器の選択は、各サンプル画像の重みを考慮して行なわれる。この例では、各識別器の重み付き正答率が比較され、最も高い重み付き正答率を示す識別器が選択される。すなわち、最初のステップＳ８では、各サンプル画像の重みは等しいので、単純に、正の識別ポイントに対応する代表特徴量の値を示すサンプル画像を「夜景」のシーンの画像であると判断し、負の識別ポイントに対応する代表特徴量の値を示すサンプル画像を「夜景」のシーンの画像でないと判断した場合に、その識別器によって「夜景」のシーンの画像であるか否かが正しく識別されたサンプル画像の数が最も多いものが、最も有効な識別器として選択される。一方、後述するステップＳ１４において各サンプル画像の重みが更新された後の２回目以降のステップＳ８では、たとえばあるサンプル画像Ａの重みが別のサンプル画像Ｂの重みの２倍であるとすると、サンプル画像Ａは、正答率の評価において、サンプル画像Ｂの２枚分相当として数えられる。これにより、２回目以降のステップＳ８では、重みの低いサンプル画像よりも、重みの高いサンプル画像が正しく識別されることにより重点が置かれる。

次に、ステップＳ１０において、それまでに選択した識別器の組合せの正答率、すなわち、それまでに選択した識別器を組み合わせて使用して各サンプル画像が「夜景」のシーンの画像であるか否かを識別した結果が、実際に「夜景」のシーンの画像であるか否かの答えと一致する率が、所定の閾値を超えたか否かが確かめられる。組合せの正答率としては、各サンプル画像について、それまでに選択された識別器が示す識別ポイントの総和を算出し、その総和が正であるサンプル画像は「夜景」のシーンの画像であり、総和が負であるサンプル画像は「夜景」のシーンの画像でないと判断した場合に、その判断が正解である確率を用いる。ここで、組合せの正答率の評価に用いられるのは、現在の重みが付けられたサンプル画像群でも、重みが等しくされたサンプル画像群でもよい。組合せの正答率が所定の閾値を超えた場合は、それまでに選択した識別器を用いれば「夜景」のシーンの画像を十分に高い確率で選別できるため、学習は終了する。組合せの正答率が所定の閾値以下である場合は、それまでに選択した識別器と組み合わせて用いるための追加の識別器を選択するために、図７の処理はステップＳ１２へと進む。

ステップＳ１２では、直近のステップＳ８で選択されたものに対応する識別器が再び選択されないようにするため、その識別器に対応する局所特徴量画像の種類、マスクの種類および代表特徴量の種類の候補の組が除外される。

次に、ステップＳ１４では、直近のステップＳ８で選択された識別器では「夜景」のシーンの画像であるか否かを正しく識別できなかった各サンプル画像の重みが、そのサンプル画像の現在の重みよりも高くなるように更新される。一方、直近のステップＳ８で選択された識別器で「夜景」のシーンの画像であるか否かを正しく識別できた各サンプル画像の重みは、そのサンプル画像の現在の重みよりも低くなるように更新される。この重みの更新を行なう理由は、次の識別器の選択において、既に選択された識別器では正しく識別できなかった画像を重要視し、それらの画像を正しく識別できる識別器が選択されるようにして、識別器の組合わせの効果を高めるためである。なお、正しく識別できなかったサンプル画像の重みと、正しく識別できたサンプル画像の重みとが相対的に変化させられれば十分であるので、上記の重みを高くする更新と重みを低くする更新とのいずれか一方のみを行なうこととしてもよい。

続いて、図７の処理はステップＳ６へと戻り、ステップＳ１２で除外したものを除く各候補の組について、ヒストグラム形式の識別器が作成し直される。この２回目以降のステップＳ６における識別器の作成は、各サンプル画像の重みを考慮して行なわれる。たとえば、あるサンプル画像Ａの重みが別のサンプル画像Ｂの重みの２倍であるとすると、サンプル画像Ａは、図８の中央に示す識別器のもととなるヒストグラムの作成において、サンプル画像Ｂの２倍の頻度値を与える。計算量を減らすため、前回のステップＳ６で作成した識別器を更新する形で新たな識別器を作成してもよい。その後、ステップＳ８において、重み付き正答率を基準にして次に有効な識別器が選択される。

以上のステップＳ６からＳ１４を繰り返して、「夜景」のシーンの識別に適した識別器として、（１）図４の表中の＃４１番のパターン「らしさ」を画素値とする５×５画素の局所特徴量画像上で、２×２の大きさの一様マスクを走査して得られた一連の積和演算結果の、最大値と最小値の差分値について作成したヒストグラム形式の識別器、（２）＃４９番のパターン「らしさ」を画素値とする５×５画素の局所特徴量画像上で、３×３の大きさの一様マスクを走査して得られた一連の積和演算結果の最大値について作成したヒストグラム形式の識別器、および（３）＃４３番のパターン「らしさ」を画素値とする５×５画素の局所特徴量画像上で、幅３の山型マスクを走査および分布変更して得られた一連の積和演算結果の最大値について作成したヒストグラム形式の識別器が選択されたところで、ステップＳ１０で確認される組合せの正答率が閾値を超えたとすると、ステップＳ１６において、「夜景」のシーンの識別に用いる局所特徴量、マスクおよび代表特徴量の種類と、識別条件とが、図２の参照データの上３行分に示すようなものに確定される。ここで、数列形式の識別条件は、選択されたヒストグラム形式の各識別器が示す識別ポイントを、小さい代表特徴量の値に対応するものから順番に列記したものである。

なお、図７を用いて説明した上記の学習手法においては、ステップＳ８とＳ１０との間に、ステップＳ８で選択された識別器について、その識別器を導出するもととなった局所特徴量画像の画素値である所定のパターン「らしさ」の区分の範囲を、サンプル画像群に対する識別精度が向上するように調整することにより、その識別器を修正するステップをさらに設けてもよい。このステップは、たとえば、上記（１）の＃４１番のパターン「らしさ」を画素値とする５×５画素の局所特徴量画像上から導出された識別器がステップＳ８で選択された後であれば、図３に示された彩度「無」の区分と「低」の区分との境界、明度「低」の区分と「中」の区分との境界、およびテクスチャ指標値「無」の区分と「少」の区分との境界を、所定の範囲でいくつかの値に変更してみて、変更された境界の各組合せごとに識別器を作成し直してみて、識別制度が最も高くなった境界の組合せに対応する識別器を、最終的な識別器として採用する等のやり方により行うことができる。このステップを設けることにより、選別に使用する局所特徴量に対応する上記の区分の範囲を特定シーンごとに最適化することができるので、さらに精度の高い選別を行なうことが可能となるという利点がある。

また、上記の学習手法を採用する場合において、識別器は、代表特徴量を用いて特定シーンの画像とそうでない画像を識別する基準を提供するものであれば、上記のヒストグラムの形式のものに限られずいかなるものであってもよく、たとえば２値データ、閾値または関数等であってもよい。また、同じヒストグラムの形式であっても、図８の中央に示した２つのヒストグラムの差分値の分布を示すヒストグラム等を用いてもよい。

さらに、上記の例では、最も有効な識別器が選択されるごとに、次に有効な識別器の選択に先立って、ステップＳ６で各サンプル画像の重みを考慮して識別器を作成し直すこととしたが、図７の処理をステップＳ１４からステップＳ８へと戻すこととし、最初に作成した識別器の中から、重み付き正答率を基準にして有効な識別器を順番に選択することとしてもよい。なお、図７を用いて説明した例のように、最も有効な識別器が選択されるごとに各サンプル画像の重みを考慮して識別器を作成し直す態様においては、ステップＳ８における最も有効な識別器の選択は、重み付き正答率ではなく単純な正答率を基準としてもよい。あるいは、比の対数を取る前の図８の中央に示す２つのヒストグラムの分布領域が明確に分かれており識別ポイントの絶対値の総和が大きい識別器ほど、「夜景」のシーンの画像の識別に適していると言えるので、上記の絶対値が最も大きい識別器を選択することとしてもよい。また、識別器を作成しなおす場合にはサンプル画像の重みが更新されると各識別器も異なったものとなるため、選択された識別器に対応する特徴量を除外するステップＳ１２を省略してもよい。

このほか、最も有効な識別器の選択には、適当な評価関数等を用いてもよい。

次に、図９のフローチャートを参照しながら、本発明の第１の実施形態に係る図１に示す装置１０が行なう具体的な処理の流れについて説明する。

まず、図９のステップＳ２０において、「夜景」および「夕焼け」等の特定シーンのうちユーザーが希望する特定シーンの指定が、シーン指定受付部１２により受け付けられる。

次いで、ステップＳ２２において、画像入力受付部１４が、選別対象画像の入力を受け付ける。多数の選別対象画像を連続的に受け付けてもよい。選別対象画像は、たとえば、その画像をなす各画素ごとに濃度Ｒ、ＧおよびＢの値を示すデータ等の形式で受け付けられる。

続いて、ステップＳ２４において、局所特徴量画像導出部１８が、導出すべき局所特徴量画像の種類をメモリ１６から読み出し、その種類の局所特徴量画像を、入力された選別対象画像から導出する。たとえば、ステップＳ２０で指定された特定シーンが「夜景」のシーンであるとすると、局所特徴量画像導出部１８は、メモリ１６中の図２に示す参照データを参照して、最初に導出すべき局所特徴量画像が、図４の表中の＃４１番のパターン「らしさ」を画素値とする５×５画素の局所特徴量画像であることを認識し、その局所特徴量画像を、入力された選別対象画像から導出する。

次に、ステップＳ２６において、代表特徴量算出部２０が、局所特徴量画像導出部１８から局所特徴量画像を受け取り、使用すべきマスクの種類および算出すべき代表特徴量の種類をメモリ１６から読み出し、その種類の代表特徴量を、局所特徴量画像から算出する。たとえば、ステップＳ２４で上記のとおり＃４１番のパターン「らしさ」を画素値とする局所特徴量画像が導出された後のステップＳ２６では、代表特徴量算出部２０は、メモリ１６中の図２に示す参照データを参照して、２×２の大きさの一様マスクを局所特徴量画像上で走査し、得られた一連の積和演算結果の最大値と最小値との差分値を代表特徴量として算出する。

続いて、ステップＳ２８において、識別部２２が、算出された代表特徴量に基づいて、メモリ１６内の参照データ中の対応する識別条件を参照し、１つの識別ポイントを得る。たとえば、直前のステップＳ２６で上記の最大値と最小値との差分値が代表特徴量として算出された後のステップＳ２８では、識別部２２は、図２の第１行目の識別条件のうちステップＳ２６で導出した代表特徴量の値に対応する部分を参照し、１つの識別ポイントを得る。ここで、図２に示した識別条件は、前述のとおり一定間隔刻みの代表特徴量の値に対応するデータ点の識別ポイントを列記したものであるので、ステップＳ２８において得られる識別ポイントは、選別対象画像から導出した代表特徴量の値に最も近いデータ点の識別ポイントや、データ点間の線形補間による識別ポイント等となる。

次に、ステップＳ３０において、算出すべきすべての代表特徴量が導出されたか否かが確認される。上記の「夜景」のシーンが指定された例では、図２の参照データにおいて算出すべき代表特徴量が３種類指定されているので、これら３種類の代表特徴量の算出および対応する識別ポイントの獲得が完了するまで、ステップＳ２４からＳ３０の処理が繰り返される。

算出すべきすべての代表特徴量の算出および対応する識別ポイントの獲得が完了すると、図９の処理はステップＳ３２へと進み、識別部２２が、獲得したすべての識別ポイントを総合して、入力された選別対象画像が指定された特定シーンの画像であるか否かを識別する。この実施形態では、すべての識別ポイントを加算して、その加算値の正負によって識別を行なうものとする。たとえば、上記の「夜景」のシーンが指定された例では、入力された選別対象画像から導出された上記の３種類の代表特徴量に関する３つの識別ポイントの総和が正の値である場合には、その選別対象画像は「夜景」のシーンの画像であると判断され、負の値である場合には、「夜景」のシーンの画像でないと判断される。

最後に、ステップＳ３４において、識別部２２が選別対象画像を選別して出力し、図９の処理は終了する。

なお、上記の実施形態においては、参照データは装置１０内のメモリ１６に記憶されているものとしたが、局所特徴量画像導出部１８、代表特徴量算出部２０および識別部２２が参照データにアクセスできる限り、参照データは、装置１０とは別個の装置やＣＤ−ＲＯＭ等の差替可能な媒体に記憶されたものであってもよい。

また、上記の実施形態においては、図４に示した１００種類のパターン「らしさ」を示す局所特徴量を、局所特徴量画像の画素値として用いた。この局所特徴量は、複数の特徴の組合せを有する領域に対応する画素である可能性の大小を表すものであり、かつ、所定の範囲（区分）の特徴を有する領域に対応する画素である可能性の大小を表すものであった。しかしながら、本発明において使用される局所特徴量はこれに限られず、たとえば、単に選別対象画像の各画素または各ブロックにおける色相角、彩度、明度およびテクスチャ指標値等そのものを、局所特徴量として用いてもよい。また、上記の実施形態では、５×５画素に縮小された大きさの局所特徴量画像を導出したが、選別対象画像と同じ大きさの局所特徴量画像を導出することとしてもよい。

さらに、選別に用いる参照データは、図２に示した形式のものに限らず、たとえば、図２の識別条件の部分を、２値データ、単一の閾値または関数等としてもよい。それに伴い、識別部２２による識別手法も、識別ポイントの加算値の正負によるものに限られない。さらに、上記の実施形態では、特定シーンごとに導出すべき局所特徴量の種類が参照データ中で指定されていたが、このような局所特徴量の種類の指定がない参照データを用いてもよい。その場合、局所特徴量画像導出部１８は、濃度Ｒ、ＧおよびＢの値を画素値とするデータ等の形式で入力される選別対象画像を、そのまま局所特徴量画像として代表特徴量算出部２０に引き渡すものとなる。

また、参照データを予め決定するための学習手法も、図７および８を用いて説明した上記の手法に限られず、他のいかなる手法であってもよい。たとえば、クラスタリングやブースティング等の名称で知られている、一般に用いられる機械的学習手法を用いてもよい。あるいは、参照データは、熟練した技術者により経験的に定められたものであってもよい。

さらに、上記の本発明の第１の実施形態に係る装置１０では、シーン指定受付部１２を設け、汎用装置として様々な特定シーンの画像の選別を行えるようにしたが、シーン指定受付部１２を設けず、１つの特定シーンの画像の選別に特化した装置としてもよい。

上記の本発明の第１の実施形態に係る装置１０は、局所特徴量画像上において、加重マトリクス状のマスクを走査および／または分布変更して得られた一連の積和演算結果に基づいて代表特徴量を算出するものであるので、撮影枠の取り方の違い等により撮影対象の細かい位置や面積割合が変動しても、所望の特定シーンに対応する特徴的部分の配置の傾向を代表特徴量の値に適切に反映させることができ、精度の高い選別を行うことができる。

以上、本発明の第１の実施形態に係る装置１０について説明したが、コンピュータを、上記の画像入力受付部１４、局所特徴量画像導出部１８、代表特徴量算出部２０および識別部２２に対応する手段として機能させ、図９に示すような処理を行なわせるプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取可能な記録媒体も、本発明の実施形態の１つである。これらの場合においても、参照データは、プログラム内あるいは同一の記録媒体内に含まれているものであってもよいし、外部の装置や別個の媒体から提供されるものであってもよい。

（第２の実施形態） 次に、図１０を用いて、本発明の第２の実施形態に係る装置について説明する。図１０は、本発明の第２の実施形態に係る特定シーンの画像を選別する装置５０の構成を示したブロック図である。装置５０に含まれるシーン指定受付部５２、画像入力受付部５４、参照データ用メモリ５６、局所特徴量画像導出部５８、代表特徴量算出部６０および識別部６２の機能は、上記に説明した第１の実施形態に係る装置１０の対応部分の機能と同様であり、それらが行なう選別処理も、上記の図９に示した処理と同様である。そこで、これらについては説明を省略し、以下、第１の実施形態に係る装置１０と異なる部分についてのみ説明する。

第２の実施形態に係る装置５０は、正解受付部６４、追加学習データ用メモリ６６および追加学習部６８を備え、いわば自己学習機能を有する点で、第１の実施形態に係る装置１０と異なる。識別部６２から選別結果の出力を受けたユーザーが、選別されたあるいはされなかった画像をディスプレイに表示する等して確認したところ、選別結果が正しくなかった場合、ユーザーは、次回からはそれに類似した画像も正しく選別してほしいと考える。本実施形態の装置５０は、そのような要請に応えるものである。

すなわち、ユーザーは、正しくない選別結果を受け取り、それを装置５０に追加学習させたいと思った場合は、装置５０の正解受付部６４に対し、その画像に対する正解のシーンを指定して追加学習命令を与えることができる。たとえば、識別部６２が「夜景」のシーンの画像であると判断した選別対象画像が、実際には「夕焼け」のシーンの画像であった場合は、正解「夕焼け」を指定して追加学習命令を与える。追加学習命令および正解の指定を受け取った正解受付部６４は、それらを識別部６２に送る。識別部６２は、これに応答して、選別結果が正しくないとされた選別対象画像の選別処理において代表特徴量算出部６０が算出した代表特徴量と、指定された正解とを、追加学習データ用メモリ６８に送る。あるいは、指定された正解と導出された特徴量とに代えて、指定された正解と選別対象画像そのものとを追加学習データ用メモリ６８に送る構成としてもよい。追加学習データ用メモリ６８には、参照データ用メモリ５６に格納されている初期の参照データの導出に用いられた、各サンプル画像またはその代表特徴量も格納されているものとする。

装置５０が繰返し使用され、追加学習データ用メモリ６６に蓄積された追加学習すべきデータの量が予め定められた基準を超えると、追加学習データ用メモリ６６に格納されているデータが追加学習部６８に送られ、追加学習部６８において、再度の学習および参照データの更新が行なわれる。本実施形態では、追加学習部６８は、正解が指定された追加学習すべき各画像と、初期の参照データの導出に用いられた各サンプル画像とを合わせたすべての画像について、再度、図７に示す手法等により学習を行ない、新たな参照データを導出するものとする。

なお、追加学習部６８が行なう学習手法は上記のものに限られず他のいかなる手法であってもよく、たとえば、クラスタリングやブースティング等の名称で知られている、一般に用いられる機械的学習手法を用いてもよい。また、上記のように、初期の参照データの導出に用いられた各サンプル画像またはその代表特徴量を追加学習用メモリ６６に格納しておく手法にも限られず、正解が指定された追加学習すべき画像についてのみ学習を行なうこととしてもよい。その場合、たとえば、追加学習すべき画像のデータについて、各特定シーンごとかつ各代表特徴量ごとに図８を用いて説明したようなヒストグラムを作成して、それらのヒストグラムが示す識別条件と、参照データ用メモリ５６にそれまで蓄積されていた参照データが示す識別条件との加重平均を取り、その加重平均された識別条件を新たな識別条件として参照データ用メモリ５６内の参照データを更新する等の手法を用いることができる。また、追加学習用メモリ６６を設けずに、追加学習すべき画像のデータが識別部６２から直接に追加学習部６８に送られる構成とし、参照データを順次更新するようにしてもよい。

また、上記の実施形態では、追加学習すべきデータの量が予め定められた基準を超えた際に追加学習および参照データの更新を行なうこととしたが、定期的にまたはユーザーからの命令により追加学習および参照データの更新を行なう構成としてもよい。

上記の本発明の第２の実施形態に係る装置５０によれば、上記した第１の実施形態の装置１０と同様の効果に加えて、実際の選別対象画像に合わせて継続的に選別の精度を向上させていくという効果をさらに得ることができる。また、ユーザーが頻繁に指定する特定シーンに関しては、参照データの内容が特に充実していくため、より高い識別精度を実現することができる。

以上、本発明の第２の実施形態に係る装置５０について説明したが、コンピュータを、上記の画像入力受付部５４、局所特徴量画像導出部５８、代表特徴量算出部６０、識別部６２、正解受付部６４および追加学習部６８に対応する手段として機能させるプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取可能な記録媒体も、本発明の実施形態の１つである。

(第３の実施形態) 次に、図１１から１４を用いて、本発明の第３の実施形態に係るプログラムについて説明する。本発明の第３の実施形態に係るプログラムは、上記の各実施形態に関連して説明したのと同様の特定シーンの画像を選別する処理を、ＣＰＵ（中央演算処理装置）の性能やメモリの容量等、プログラムの実行環境を考慮した最適な負荷で、コンピュータに実行させるものである。

図１１は、本実施形態に係るプログラムがコンピュータに実行させる処理の流れを示したフローチャートである。以下、各ステップにおける処理について、詳細に説明する。

まず、ステップ９０において、実行環境の計算能力が特定される。本実施形態では、使用するコンピュータのＣＰＵの性能のみを、実行環境の計算能力を左右する要因として考慮するものとする。ステップ９０では、使用しているコンピュータのＣＰＵの種類を自動的に検出するようにしてもよいし、使用しているコンピュータの型番の指定等をユーザーに要求してＣＰＵの種類を特定するようにしてもよい。

次に、ステップ９２において、ステップ９０で特定されたＣＰＵの性能に基づいて実行環境−計算量データが参照され、計算量の限界値が設定される。本実施形態における実行環境−計算量データとは、図１２に示すような、ＣＰＵの性能ごとに計算量の限界値を規定した参照表形式のデータである。図１２の例では、高性能のＣＰＵほど、対応する計算量の限界値は高くされている。この実行環境−計算量データは、プログラム内に含まれているものであってもよいし、外部の装置やＣＤ−ＲＯＭ等の別個の媒体から提供されるものであってもよい。

続いて、ステップ９４および９６において、第１の実施形態に関連して説明した図９に示す処理と同様に、所望の特定シーンの指定および選別対象の画像を示す画像データの入力が受け付けられる。さらに、ステップ９８において、計算量の合計値の初期値が０に設定される。

次に、ステップ１００において、参照データから、１組の代表特徴量の種類と識別条件が読み出される。本実施形態では、参照データは、第１の実施形態に関連して説明した図２に示す参照データと同様のものであるとする。たとえば、ステップ９４で指定された特定シーンが「夜景」のシーンであるとすると、ステップ１００では、局所特徴量画像の種類、マスクの種類、代表特徴量の種類を規定して、それに対応する識別条件が読み出される。例えば、図２に示すような、＃４１の５×５画像(局所特徴量画像の種類)に対して２×２一様マスク（マスクの種類）、「(最大値)−（最小値）」という代表特徴量の種類を規定し、それに対応する識別条件が読み出される。参照データは、プログラム内に含まれているものであってもよいし、使用しているコンピュータ内のメモリ、外部の装置または別個の媒体から提供されるものであってもよい。

続いて、ステップ１０２において、直前のステップ１００で読み出したものに対応する代表特徴量が、ステップ９６で入力された画像データから導出される。ここで、本実施形態に係るプログラムは、少なくとも図２に示した参照データに含まれるすべての代表特徴量について、その導出に必要な計算処理を規定している。

次に、ステップ１０４において、ステップ１０２で導出された代表特徴量に基づいて、ステップ１００で読み出された対応する識別条件が参照され、１つの識別ポイントが得られる。ここでの処理は、第１の実施形態に関連して説明した図９のステップ２８の処理と同様の手法によるものである。

続いて、ステップ１０６において、代表特徴量−計算量データが参照され、ステップ１０２で導出された代表特徴量に対応する計算量ポイントが、計算量の合計値に加算される。本実施形態における代表特徴量−計算量データとは、図１３に示すような、識別に用いられ得る各代表特徴量ごとに計算量ポイントを規定した参照表形式のデータである。ここで、導出に必要な計算回数や反復処理の繰返し回数が多い特徴量ほど、高い計算量ポイントが与えられている。代表特徴量−計算量データは、プログラム内に含まれているものであってもよいし、使用しているコンピュータ内のメモリ、外部の装置または別個の媒体から提供されるものであってもよい。

次に、ステップ１０８において、計算量の合計値が、ステップ９２で設定された計算量の限界値以上となったか否かが確認される。ここで、計算量の合計値がまだ限界値に達していない場合は、さらにステップ１１０において、参照データが現在の特定シーンについて規定している、すべての代表特徴量を導出し終えたか否かが確認される。ここで、まだすべての代表特徴量を導出し終えていない場合は、図１１の処理はステップ１００へと戻り、計算量の合計値が限界値を超えるか、すべての特徴量を導出し終えるまで、ステップ１００から１１０の処理が繰り返される。

計算量の合計値が限界値を超えるか、すべての代表特徴量を導出し終えると、図１１の処理はステップ１１２へと進む。ステップ１１２では、すべての識別ポイントが総合され、入力された画像データが指定された特定シーンの画像であるか否かが識別される。本実施形態では、第１の実施形態に関連して説明した処理と同様に、すべての識別ポイントを加算することにより識別を行なうものとする。

最後に、ステップ１１４において識別結果が出力され、図１１の処理は終了する。

なお、プログラムの実行環境を考慮した最適な負荷で処理を行なう手法は、上記に説明した手法に限られない。たとえば、変更例として、実行環境−計算量データおよび代表特徴量−計算量データを用いずに、図２に示すものに代えて図１４に示すような参照データを使用することとしてもよい。図１４に示す参照データは、図２に示すものと類似の参照表形式のデータを、ＣＰＵの性能ごとに規定したものである。図１４に示すように、ＣＰＵの性能が高くなるほど、対応する参照表では各特定シーンの識別に用いる代表特徴量の数が多くされており、逆に、ＣＰＵの性能が低くなるほど、代表特徴量の数が少なくされている。これに代えてまたは加えて、低い性能に対応する参照表では、多くの計算を必要とする代表特徴量は用いないこととしてもよい。この図１４に示すような参照データを使用した変更例による処理では、図１１に示す処理のステップ９２、９８、１０６および１０８は不要となる。また、ステップ１００では、参照データ中の、ステップ９０で特定したＣＰＵの性能に対応した参照表を参照することになる。

また、上記の第３の実施形態およびその変更例では、使用するコンピュータのＣＰＵの性能のみを、実行環境の計算能力を左右する要因として考慮したが、これに代えてまたは加えて、メモリの容量等の他の要因を考慮してもよい。

例えば、デジタルカメラ等の撮像装置において、撮影者により指定された撮影モードが高画質モードであるか通常モードであるかに応じて、図１５に示すような計算量ポイントの限界を定め、限界値に達するまで計算を行うようにしてもよい。

あるいは、図１６に示すような特徴量と識別条件の参照表形式のデータを用意して、高画質モードが設定されているか通常モードが設定されているかに応じて読み込む参照データを切り替えるようにしてもよい。また、この参照は、ユーザーが望む処理を施すことができるようにユーザーごとに設定するようにしてもよい。

上記の本発明の第３の実施形態またはその変更例に係るプログラムによれば、上記した第１の実施形態の装置１０と同様の効果に加えて、実行環境の計算能力を考慮に入れて、その計算能力の範囲内の最適な負荷により、最大限の高い選別精度を実現することができるという効果が得られる。さらに、実行環境の計算能力の特定を、ユーザーによる指定により行なう場合には、ユーザーは、処理の高速化を図るため、実行環境の計算能力が高い場合でも、所望の処理速度に応じた低い計算能力を指定してもよい。

なお、上記の第３の実施形態およびその変更例に係るプログラムを記録したコンピュータ読取可能な記録媒体も、本発明の実施形態の１つである。

（第４の実施形態） 次に、本発明の第４の実施形態について説明する。第１の実施の形態では、「夜景」のシーンを識別する装置を一例として説明したが、本実施の形態では、同様の識別手法を用いて、入力された画像が「水中」「夜景」「夕焼け」「その他」のいずれのシーンであるかを特定して分類する機能を有するシーン分類装置について具体的に説明する。

図１７に示すシーン分類装置１１は、入力された画像データを特定シーンに画像を選別する装置１０とその結果に応じて画像データを各シーンに分類する分類部２５を備える。装置１０は第１の実施の形態と略同様であるので詳細な説明は省略し、相違する点についてのみ詳細に説明する。

図１７に示すように、識別部２２は、「水中」「夜景」「夕焼け」の各シーンに対応した識別器を複数備えている。１２１は、「水中」のシーンの識別に用いられる複数の識別器（以下、複数の識別器を識別器群という）であり、１２２は、「夜景」のシーンの識別に用いられる識別器群であり、１２３は、「夕焼け」のシーンの識別に用いられる識別器群である。

例えば、「水中」のシーンを識別する際、まず、複数の識別器(各識別器は１つの特徴量に対応する）を用意し、学習の対象となるサンプル画像から得た特徴量を各識別器に入力して、複数の識別器から最も有効な識別器を１つ選択する。次に、その識別器が「水中」のシーンの画像であるか否かを正しく識別したサンプル画像の重みを現在の重みよりも低くし、正しく識別できなかったサンプル画像の重みを現在の重みより高くして選択されなかった残り識別器に入力し、その中から正解率の高い識別器をさらに選択するという処理を繰り返して正解率が所定の閾値を越えるまで、識別器を追加する（図７参照）。

このよう学習した結果、「水中」のシーンを識別するために識別器群１２１が選択され、識別部２２は、この識別器群１２１を用いて入力された画像データが「水中」のシーンであるかを識別する。識別を行う画像データが入力されると、各識別器が獲得した各識別ポイントを総合して、入力された画像データが「水中」のシーンの画像であるか否かを識別する。例えば、図２では「夜景」のシーンや「夕焼け」のシーンについての代表特徴量を示しているが、これに相当する「水中」のシーンについての代表特長量を用いる。その場合には、入力された画像データから導出された識別ポイントの総和が正の値であれば、その画像データは「水中」のシーンの画像を示すデータであると判断され、負の値であれば、「水中」のシーンの画像を示すデータでないと判断される。

「夜景」のシーンについても、図７に示すフローチャートに示す方法を用いて「夜景」のサンプル画像を用いて、複数の識別器の中から「夜景」のシーンの識別に最も有効な特徴量を用いた識別器をまず１つ選択し、さらに、正解率が所定の閾値を越えるまで繰り返し残りの識別器の中から最適な識別器を追加選択して識別器群１２２を選択する。具体的には、例えば、図７に示す「夜景」シーンの３種類の代表特徴量に対応した識別器を３つ用意する。識別部２２で、「夜景」のシーンであるか否かを識別する際には、「夜景」のサンプル画像に基づいて学習された結果得られた３つの識別器を用い、各識別器から得られた識別ポイントを加算して識別を行う。

同様に、「夕焼け」のシーンについても、「夕焼け」のサンプル画像を用いて識別器群１２３を選択し（具体的には、例えば、図２に示す「夕焼け」シーンの２種類の代表特徴量に対応した識別器を２つ用意する）、識別部２２で「夕焼け」のシーンであるか否かを識別は、「夕焼け」のサンプル画像を学習した結果得られた識別器群１２３を用い、各識別器から得られた識別ポイントを加算して識別を行う。

図１８は、本実施形態に係る分類部２５が「水中」「夜景」「夕焼け」「その他」のいずれのシーンであるかに分類する流れの一例を示したフローチャートである。以下、各ステップにおける処理について、詳細に説明する。

まず、ステップ１３０において、画像入力受付部１４から画像が入力され、ステップ１３１において、その入力された画像より局所特徴量画像導出部１８並びに代表特徴量算出部２０を用いて「水中」のシーンを識別する代表特徴量を算出し、「水中」のシーンを識別する識別器群１２１の各識別器から識別ポイントを獲得する。獲得したすべての識別ポイントを加算して、その加算値の正負によって「水中」のシーンであるか否かの識別を行なう。

ステップ１３２において、加算値が正の場合には、ステップ１３３で「水中」のシーンでと判定し、加算値が負の場合には、ステップ１３４に進み、「夜景」のシーンであるかの識別を行う。ステップ１３４において、局所特徴量画像導出部１８並びに代表特徴量算出部２０を用いて「夜景」のシーンを識別する代表特徴量（図２参照）を算出し、「夜景」のシーンを識別する識別器群１２２の各識別器から識別ポイントを獲得し、その識別ポイントを加算した加算値によって「夜景」のシーンであるか否かの識別を行なう。

ステップ１３６において、加算値が正の場合にはステップ１３７で「夜景」のシーンであるものと判定し、加算値が負の場合には、ステップ１３８に進み、「夕焼け」のシーンであるか否かの判定を、上述と同様に、「夕焼け」のシーンを識別する代表特徴量（図２参照）を算出し、「夕焼け」のシーンを識別する識別器群１２３を用いて「夕焼け」のシーンであるか否かを判定する。同様に、ステップ１３９において、加算値が正の場合には、ステップ１４０で「夜景」のシーンであるものと判定し、加算値が負の場合には、ステップ１４１で「その他」のシーンであるものと判定する。

上述では、「水中」「夜景」「夕焼け」の順番で識別を行う場合について説明したが、短い撮影間隔で撮影された画像データを判定する場合には、同一のシーンである可能性が高いので、前の画像で判定されたシーンを最初に識別するようするものが望ましい。例えば、撮影間隔が短い間隔で撮影された前の画像が「夕焼け」が判定された場合には、次の画像も「夕焼け」のシーンである可能性が高く、次の画像の判定をおこなう際に「夕焼け」の識別を最初に行うようにすることによって他の識別処理が不要となる可能性が高くなり、処理を効率化することが可能になる。

あるいは、図１９のフローチャートに示すように、分類部２５で「水中」「夜景」「夕焼け」のシーンの識別を並列に行うようにしてもよい。

そこで、ステップ１４２で画像が入力されると、ステップ１４２、ステップ１４４、ステップ１４６において、代表特徴量導出部２０で算出した特徴量をそれぞれ識別器群１２１（「水中」のシーン）、１２２（「夜景」のシーン）、１２３（「夕焼け」のシーン）に入力して識別ポイントを算出し、ステップ１４８で入力された画像データは識別器群１２１、１２２、１２３から得た加算した識別ポイントが最大となるシーンであると判定する。ただし、このとき最大となる識別ポイントが所定の閾値を越えていない場合には、「その他」のシーンであると判断する。

ここでは第１の実施の形態で説明した方法を用いて、識別を行う場合について説明を行ったが、他のいかなる手法であってもよい。たとえば、クラスタリングやブースティング等の名称で知られている、一般に用いられる機械的学習手法を用いてもよい。また、特徴量は、本実施の形態で説明したものに限らず熟練した技術者により経験的に定められたものであってもよい。

また、本実施の形態に、第２の実施の形態で説明したように、追加学習を行う構成を追加するようにしてもよい。

（第５の実施形態） 次に、本発明の第５の実施形態について説明する。本実施の形態では、デジタルスチールカメラやカメラ付携帯電話などの撮像装置と、モニタやプリンタやラボに置かれる機器（フォトバンクのサーバなども含む）などの出力装置からなるシステムについて具体的に説明する。以下の実施の形態では、前述の実施の形態と同様のものには、同一符号を付して詳細な説明は省略する。

図２０に示すように、本実施の形態のシステム１５０は、撮像装置１５２と出力装置１５４とを備える。また、撮像装置は、リナックスやＴＲＯＮなどのＯＳ（operating system）を備える構成とし、ファイル管理機能などＯＳで提供される機能を利用できるものが望ましい。

撮像装置１５２は、撮影して画像データを取得する撮像部１５６と、撮像部１５６で獲得された画像データを分類するシーン分類部（シーン分類装置）１１と、画像データのシーンに応じて画像処理を施す画像処理部１５８とを備える。

画像処理部１５８は、ホワイトバランスの修正、明るさの調整、階調補正、シャープネス補正などの画像処理を画像データに自動的に施すが、シーン分類部１１で分類されたシーンに応じた画像処理が画像データに施される。具体的には、例えば、ホワイトバランスを修正する際に、通常の画像（例えば、「水中」「夜景」「夕焼け」「その他」に分類する場合には、「その他」のシーンに分類された場合）に対しては、RGBのヒストグラムをそれぞれ求め、全体がグレーになるようにRGBの濃度を調整するが、「水中」のシーンと判定された画像は、ホワイトバランスが崩れて「Ｂ」の濃度が高い状態が正常な状態であるのでホワイトバランスの修正は行わないようにする。また、明るさを調整する処理では、「夜景」のシーンと判定された画像は全体が暗いのが通常の状態であるので、全体を明るくするような補正は行わないようにする。

出力装置１５４は、画像処理の施された画像データをネットワーク経由で受信したり、撮像装置１５２で一旦記録媒体に記録した画像データを出力装置１５４が読み取って、その画像を出力装置１５４の出力部１５３のモニタに表示したり、プリントを行ったり、ラボに置かれるフォトバンクなどの記憶手段に記憶して保管する。

あるいは、図２１のシステム１５０ａに示すように、画像処理部１５８を撮像装置１５２に設けず、出力装置１５４に設けるようにしてもよい。この場合、シーン分類部１１によって得られたシーン情報を付帯情報付加部１６０で画像データに付帯情報（例えば、Ｅｘｉｆのタグ情報など）として付加し、シーン情報が付帯された画像データを出力装置１５４に受け渡すようにしてもよい。このように出力装置１５４に画像処理部１５８を設けた構成にすることにより、出力装置１５４の特性に応じた画像処理を施すことが可能となる。

（第６の実施形態） 次に、本発明の第６の実施形態について説明する。本実施の形態では、デジタルスチールカメラやカメラ付携帯電話などの撮像装置と、ＰＣなどの画像処理装置と、モニタやプリンタやラボに置かれる機器などの出力装置からなるシステムについて具体的に説明する。

図２２に示すように、本実施の形態のシステム１６２は、撮像装置１５２と画像処理装置１６４と出力装置１５４とを備える。

撮像装置１５２は、撮影して画像データを取得する撮像部１５６を備え、画像処理装置１６２には、画像データを分類するシーン分類部１１と、画像データのシーンに応じて画像処理を施す画像処理部１５８とを備える。

画像処理装置１６４は、画像データを撮像装置１５２からネットワーク経由で受信したり、撮像装置１５２で一旦記録媒体に記録した画像データを画像処理装置１６４が読み取ってシーン分類部１１に受け渡し、画像処理部１５８で分類されたシーンに応じた画像処理を画像データに施す。

さらに、ネットワークや記録媒体を介して画像処理の施された画像データが画像処理装置１６４により出力装置１５４に送られ、出力装置１５４では、画像処理が施された画像データをモニタに表示したり、プリントしたり、ラボに置かれるフォトバンクなどの記憶手段に記憶するようにする。

あるいは、図２３のシステム１６２ａに示すように、画像処理部１５８を画像処理装置１６４に設けず、出力装置１５４に設けるようにしてもよい。この場合、シーン分類部１１によって分類して得られたシーン情報を付帯情報付加部１６０で画像データの付帯情報（例えば、Ｅｘｉｆのタグ情報など）として付加し、シーン情報が付帯された画像データを出力装置に受け渡すようにする。このように出力装置１５４に画像処理部１５８を設けた構成にすることにより、出力装置１５４の特性に応じた画像処理を施すことが可能となる。

さらに、図２４のシステム１６２ｂに示すように、画像処理装置１６４がシーン分類部１１のみを備える構成とし、画像処理装置１６４は画像データを撮像装置１５２からネットワーク経由などで受け取ってシーンを分類し、その結果得られたシーン情報のみをネットワーク経由などで再度撮像装置１５２に転送するようにしてもよい。

（第７の実施形態） 次に、本発明の第７の実施形態について説明する。本実施の形態では、デジタルスチールカメラやカメラ付携帯電話などの撮像装置と、モニタやプリンタやラボに置かれる機器などの出力装置からなるシステムについて説明するが、本実施の形態では、出力装置にシーン分類の機能を持たせる場合について説明する。

図２５に示すように、本実施の形態のシステム１６６の撮像装置１５２は、撮影して画像データを取得する撮像部１５６のみを備え、出力装置１５４が、画像データを分類するシーン分類部１１と、画像データのシーンに応じて画像処理を施す画像処理部１５８とを備える。

出力装置１５４は、ネットワークや記録媒体を介して撮像装置１５２から画像データを受け取り、シーン分類部１１でのシーンを分類して、画像処理部１５８で分類されたシーンに応じた画像処理を画像データに施す。

以上、実施の形態５から７において、撮像装置、画像処理装置および出力装置のいずれかにシーンを分類するシーン分類部を設けた場合について説明したが、分類した画像データはシーンに分けて、撮像装置や画像処理装置や出力装置に装備される記憶装置（フォトバンクのサーバや記録媒体など）内で別のファルダに分けて記憶して管理するようにしてもよい。また、出力装置（例えば、具体的にはラボに置かれるフォトバンク用のサーバコンピュータなど）において画像データをフォルダに分けて管理している場合には、インデックスプリントをフォルダ別に作成するようにしてもよい。

また、前述の第３の実施の形態で説明したように、特定シーンの画像を選別する装置１０をいずれの装置に設けるかによって、装置１０のプログラムの実行環境に応じた計算能力や所望の処理速度に応じて識別器が用いる特徴量の種類や、装置１０でシーンの識別に用いる特徴量の数を変更するようにしてもよい。

（第８の実施形態） 次に、本発明の第８の実施形態について説明する。本実施の形態では、デジタルスチールカメラやカメラ付携帯電話などの撮像装置にシーン分類の機能を持たせ、撮像装置で設定される撮影モードとの連動させる方法について具体的に説明する。

撮像装置１５２は、図２６に示すように、撮影して画像データを取得する撮像部１５６と、撮像部１５６で獲得された画像データを分類するシーン分類部１１と、画像データのシーンに応じて画像処理を施す画像処理部１５８と、撮影時に撮影モードなどシーンを特定する情報を取得するシーン特定情報取得部１７０とを備える。

デジタルスチールカメラなどの撮像装置１５２には、「夜景」モードや「夕焼け」モードなど撮影モードを指定する機能を備えたものがあり、撮影時に撮影者が撮影を行う周囲の状況を考慮して撮影モードを指定して、指定された撮影モードに応じた撮影が行なわれる。

シーン特定情報取得部１７０は、撮影者が指定した撮影モードのシーンを特定する情報として取得し、シーン分類部１１はこの撮影モードに応じた画像であるか判定する。

図２７は、本実施形態に係る撮像装置が実行する処理の流れを示したフローチャートである。以下、各ステップにおける処理について、詳細に説明する。

ステップ１８０において、撮像部１５６が画像データを取得したときの撮影モードが、撮影時に撮影者が自動撮影モードを選択している撮影している場合には（ステップ１８２）、ステップ１８４において、シーン分類部１１で分類し、続いてステップ１８６において、画像処理部１５８で分類されたシーンに応じた画像処理を画像データに施す。

撮影者が、例えば「夜景」の撮影モードを選択して撮影を行った場合には（ステップ１８２）、ステップ１８８において、撮像部１５６が取得した画像データをシーン分類部１１で分類し、分類結果が「夜景」のシーンであると判定された場合には（ステップ１９０）、そのままステップ１９２の「夜景」のシーンに応じた画像処理を施すが、分類結果が「夜景」のシーンではないと判定された場合には（ステップ１９０）、ステップ１９４において、デジタルスチールカメラのＬＣＤ表示部などに撮影モードの確認を促すように、「夜景モードで画像処理を行いますか」というような警告表示を行う。

ステップ１９６において、撮影者がそのまま夜景モードで画像処理を行うように指示した場合には、ステップ１９２の夜景モードの画像処理を行うが、撮影者から夜景モードで画像処理を行わないように指示された場合には、ステップ１９８の通常の画像処理を施す。

さらに、ステップ２００において、分類されたモードに従って、画像データにシーン情報（例えば、Ｅｘｉｆのタグ）を付帯して記録媒体や撮影装置のメモリ等に記録する。

上述のシーン分類部１１は、「水中」「夜景」「夕焼け」「その他」のいずれかのシーンに分類するものであってもよいし、「夜景」であるか否かのみを判断するものであってもよい。

上述では撮影者が設定した撮影モードに応じて、モードの設定と撮影された画像が一致しているかについて連動させる場合について説明したが、撮影者が設定した撮影モード以外に撮影時間やストロボＯＮで撮影したがなどの情報をシーン特定情報取得部１７０においてシーンを特定する情報として取得するようにしてもよい。

例えば、撮像装置内に備えた時計の示す撮影時刻が夜であれば、「夜景」のシーンの可能性はあるが、晴天の屋外で撮影された「青空」のシーンである可能性は低い。そこで、「夜景」のシーンを判定する閾値を下げたり、「夜景」のシーンの識別ポイントを増加させたりすることによって「夜景」のシーンに識別されやすくするようにしてもよい。さらに、「夜景」のシーンの可能性が高く、「晴天」のシーンの可能性がほとんどない場合には、「晴天」のシーンの判別は、スキップするようにしてもよい。

また、ストロボＯＮで撮影された場合には、晴天のシーンである可能性は低いので「晴天」のシーンはスキップするようにしてもよい。

さらに、カメラに、時計と、撮影方向を検出するセンサーと、ＧＰＳ等を用いて撮影位置を検出するような位置検出センサーとを設けるようにすれば、撮影時刻とカメラの撮影方向と撮影した位置から太陽とカメラの位置との関係を知ることができ、昼間に太陽の方向を向いていれば逆光で撮影された可能性があるかがわかる。そこで、これらの情報をシーンを特定する情報として取得し、シーンを識別する際に逆光で撮影されたときの情景に応じた識別を行うようにしてもよい。

このように、シーンを特定する情報を取得するようにすることにより、この情報を算用してシーンを判定する精度を上げることが可能になる。

また、撮像装置で得たシーンを特定する情報を付帯情報として画像に付加するようにしておけば、画像のシーンの識別を撮像装置以外の装置で行う場合であっても、このシーンを特定する情報を参照してシーンの判定精度を上げることが可能になる。

上述では、撮影して得られた自然画像について説明したが、特徴量を変えることによって、コンピュータグラッフィクなどで作成された人工画像と自然画像であるかの識別にも用いることが可能である。

また、上記において詳細に説明した本発明の各実施形態は例示的なものに過ぎず、本発明の技術的範囲は、特許請求の範囲のみによって定められるべきものであることは言うまでもない。

本発明の第１の実施形態に係る特定シーンの画像を選別する装置の構成を示したブロック図 図１の装置が用いる参照データの例を示した図 第１の実施形態で着目する画像の特徴およびそれらの区分を示した説明図 第１の実施形態において局所特徴量画像の画素値として使用され得る局所特徴量の種類を示した表 彩度「無」、「低」および「高」の特徴を有する領域に対応する画素である可能性の大小を表す値の導出方法を示した説明図 第１の実施形態において使用され得るマスクの種類を示した概念図 図２に示した参照データを規定するための学習手法の流れを示したフローチャート 図２の識別条件を確定する基となる識別器の導出方法を示した図 図１の装置が行なう選別処理の全体的な流れを示したフローチャート 本発明の第２の実施形態に係る特定シーンの画像を選別する装置の構成を示したブロック図 本発明の第３の実施形態に係る特定シーンの画像を選別するプログラムが、コンピュータに実行させる処理の流れを示したフローチャート 図１１の処理で使用される実行環境−計算量データの例を示した図 図１１の処理で使用される特徴量−計算量データの例を示した図 本発明の第３の実施形態の変更例において使用される参照データの例を示した図 高画質モードと通常モードで使用される計算量データの限界の例を示した図 高画質モードと通常モードの参照データの例を示した図 本発明の第４の実施形態に係るシーン分類装置の構成を示したブロック図 本発明の第４の実施形態に係るシーンを分類するプログラムが、コンピュータに実行させる処理の流れを示したフローチャート 本発明の第４の実施形態に係るシーンを分類するプログラムが、コンピュータに実行させる処理の変更例の流れを示したフローチャート 本発明の第５の実施形態に係るシステムの構成を示したブロック図 本発明の第５の実施形態に係るシステムの変更例の構成を示したブロック図 本発明の第６の実施形態に係るシステムの構成を示したブロック図 本発明の第６の実施形態に係るシステムの変更例の構成を示したブロック図（その１） 本発明の第６の実施形態に係るシステムの変更例の構成を示したブロック図（その２） 本発明の第７の実施形態に係るシステムの構成を示したブロック図 本発明の第８の実施形態に係る撮像装置の構成を示したブロック図 本発明の第８の実施形態に係る撮像装置で実行させる処理の流れを示したフローチャート

Claims (14)

1. 特定シーンの画像を選別する装置であって、
   選別対象画像の入力を受け付ける画像入力受付手段と、
   前記特定シーンとして所望のシーンの指定を受け付けるシーン指定受付手段と、
   前記受け付けたシーンの指定に応じて導出すべき局所特徴量画像の種類をメモリから読出し、前記選別対象画像から、前記読み出した種類の１つまたは複数の局所特徴量画像を導出する局所特徴量画像導出手段と、
   前記局所特徴量画像の種類ごとに予め定められた１つまたは複数のマスクを、該局所特徴量画像上で走査および／または該マスクのマトリクス値の分布を変更しながら該局所特徴量画像上で適用して得られた一連の積和演算結果を用いて、前記局所特徴量画像ごとに１つまたは複数の代表特徴量を算出する代表特徴量算出手段と、
   前記代表特徴量の各々の値を、該代表特徴量の種類ごとに予め定められた、該代表特徴量の取り得る値と前記特定シーンらしさの高低との関係を示す識別条件と照会することにより、前記選別対象画像が前記特定シーンの画像であるか否かを識別する識別手段とを備えていることを特徴とする装置。
2. 前記局所特徴量画像導出手段が導出する前記局所特徴量画像の種類、前記代表特徴量算出手段が使用する前記マスクの種類ならびに算出する前記代表特徴量の種類、および前記代表特徴量の種類ごとの前記識別条件が、前記特定シーンであることが分かっている複数の画像と前記特定シーンでないことが分かっている複数の画像からなるサンプル画像群について、予め学習を行うことにより決定されたものであることを特徴とする請求項１記載の装置。
3. 前記局所特徴量画像の少なくとも１つが、複数の特徴の組合せを有する領域に対応する画素である可能性の大小を表す局所特徴量の値を画素値とするものであることを特徴とする請求項１または２記載の装置。
4. 前記複数の特徴の組合せが、色相、彩度、明度およびテクスチャに関する特徴からなる群から選択された２つ以上の特徴の組合せであることを特徴とする請求項３記載の装置。
5. 前記特定シーンごとの前記学習が、
   該特定シーンの識別に用いられ得る前記局所特徴量画像の種類と前記マスクの種類と前記代表特徴量の種類との候補の組を複数組規定する工程と、
   前記候補の組ごとに、該候補の組をなす種類の前記局所特徴量画像および前記マスクを用いて、前記サンプル画像群を構成する各画像から該候補の組で指定されている種類の前記代表特徴量を算出し、前記サンプル画像群を構成する各画像が前記特定シーンの画像であるか否かを識別する識別基準を設定する試行識別を行って、該試行識別において最も識別精度の高い識別基準が設定された候補の組から順に１組または複数組の候補の組を、該特定シーンの画像の選別に使用する局所特徴量画像の種類とマスクの種類と代表特徴量の種類との組として選択する工程と、
   前記選択する工程において選択された前記組の各々について、該組について設定された前記識別基準に基づいて、前記識別条件を決定する工程を含む方法によるものであることを特徴とする請求項２記載の装置。
6. 前記候補の組の少なくとも１組をなす種類の局所特徴量画像が、所定の範囲の特徴を有する領域に対応する画素である可能性の大小を表す局所特徴量の値を画素値とするものであり、
   前記特定シーンごとの前記学習が、
   前記選択する工程と前記決定する工程との間に、選択された前記候補の組をなす種類の局所特徴量画像が前記可能性の大小を表す局所特徴量の値を画素値とするものである場合に、前記サンプル画像群を構成する画像に対する識別精度が向上するように前記所定の範囲を調整することにより、該候補の組について設定された前記識別基準を修正する工程をさらに含むものであることを特徴とする請求項５記載の装置。
7. 前記候補の組の少なくとも１組をなす種類の局所特徴量画像が、複数の特徴の組合せを有する領域に対応する画素である可能性の大小を表す局所特徴量の値を画素値とするものであることを特徴とする請求項５または６記載の装置。
8. 前記複数の特徴の組合せが、色相、彩度、明度およびテクスチャに関する特徴からなる群から選択された２つ以上の特徴の組合せであることを特徴とする請求項７記載の装置。
9. 正しい選別結果が得られなかった選別対象画像について、該選別対象画像が示す正しいシーンの指定を受け付ける正解受付手段と、
   前記正しいシーンの指定が受け付けられた前記選別対象画像を学習することにより、前記識別条件を更新する追加学習手段とをさらに備えていることを特徴とする請求項１から８いずれか１項記載の装置。
10. 特定シーンの画像を選別するプログラムであって、コンピュータを、
    選別対象画像の入力を受け付ける画像入力受付手段、
    前記特定シーンとして所望のシーンの指定を受け付けるシーン指定受付手段、
    前記受け付けたシーンの指定に応じて導出すべき局所特徴量画像の種類をメモリから読出し、前記選別対象画像から、前記読み出した種類の１つまたは複数の局所特徴量画像を導出する局所特徴量画像導出手段、
    前記局所特徴量画像の種類ごとに予め定められた１つまたは複数のマスクを、該局所特徴量画像上で走査および／または該マスクのマトリクス値の分布を変更しながら該局所特徴量画像上で適用して得られた一連の積和演算結果を用いて、前記局所特徴量画像ごとに１つまたは複数の代表特徴量を算出する代表特徴量算出手段、および
    前記代表特徴量の各々の値を、該代表特徴量の種類ごとに予め定められた、該代表特徴量の取り得る値と前記特定シーンらしさの高低との関係を示す識別条件と照会することにより、前記選別対象画像が前記特定シーンの画像であるか否かを識別する識別手段として機能させることを特徴とするプログラム。
11. 特定シーンの画像を選別するプログラムであって、コンピュータを、
    選別対象画像の入力を受け付ける画像入力受付手段、
    前記特定シーンとして所望のシーンの指定を受け付けるシーン指定受付手段、
    前記受け付けたシーンの指定に応じて導出すべき局所特徴量画像の種類をメモリから読出し、前記選別対象画像から、前記読み出した種類の１つまたは複数の局所特徴量画像を導出する局所特徴量画像導出手段、
    前記局所特徴量画像の種類ごとに予め定められた１つまたは複数のマスクを、該局所特徴量画像上で走査および／または該マスクのマトリクス値の分布を変更しながら該局所特徴量画像上で適用して得られた一連の積和演算結果を用いて、前記局所特徴量画像ごとに１つまたは複数の代表特徴量を算出する代表特徴量算出手段、および
    前記代表特徴量の各々の値を、該代表特徴量の種類ごとに予め定められた、該代表特徴量の取り得る値と前記特定シーンらしさの高低との関係を示す識別条件と照会することにより、前記選別対象画像が前記特定シーンの画像であるか否かを識別する識別手段として機能させることを特徴とするプログラムを記録したコンピュータ読取可能な記録媒体。
12. 撮像した画像データを取得する撮像手段と、
    所望の特定シーンの指定を受け付けるシーン指定受付手段と、
    前記受け付けたシーンの指定に応じて導出すべき局所特徴量画像の種類をメモリから読出し、前記撮像した画像データから、前記読み出した種類の１つまたは複数の局所特徴量画像を導出する局所特徴量画像導出手段と、
    前記局所特徴量画像の種類ごとに予め定められた１つまたは複数のマスクを、該局所特徴量画像上で走査および／または該マスクのマトリクス値の分布を変更しながら該局所特徴量画像上で適用して得られた一連の積和演算結果を用いて、前記局所特徴量画像ごとに１つまたは複数の代表特徴量を算出する代表特徴量算出手段と、
    前記代表特徴量の各々の値を、該代表特徴量の種類ごとに予め定められた、該代表特徴量の取り得る値と前記特定シーンらしさの高低との関係を示す識別条件と照会することにより、前記選別対象画像が前記特定シーンの画像であるか否かを識別する識別手段とを備えていることを特徴とする撮像装置。
13. 撮影時に前記シーンを特定する情報を取得するシーン特定情報取得手段をさらに有し、
    前記シーン指定受付手段が、該シーン特定情報取得手段により取得された前記シーンを特定する情報に基づいてシーンの指定を受け付けるものであることを特徴とする請求項１２記載の撮像装置。
14. 選別対象画像の入力を受け付ける画像入力受付ステップと、
    所望の特定シーンの指定を受け付けるシーン指定受付ステップと、
    前記特定シーンとして所望のシーンの指定を受け付けるシーン指定受付ステップと、
    前記受け付けたシーンの指定に応じて導出すべき局所特徴量画像の種類をメモリから読出し、前記選別対象画像の画像データから、１つまたは複数の局所特徴量画像を導出する局所特徴量画像導出ステップと、
    前記局所特徴量画像の種類ごとに予め定められた１つまたは複数のマスクを、該局所特徴量画像上で走査および／または該マスクのマトリクス値の分布を変更しながら該局所特徴量画像上で適用して得られた一連の積和演算結果を用いて、前記局所特徴量画像ごとに１つまたは複数の代表特徴量を算出する代表特徴量算出ステップと、
    前記代表特徴量の各々の値を、該代表特徴量の種類ごとに予め定められた、該代表特徴量の取り得る値と前記特定シーンらしさの高低との関係を示す識別条件と照会することにより、前記選別対象画像が前記特定シーンの画像であるか否かを識別する識別ステップとからなることを特徴とする特定シーンの画像を選別する方法。

Images