JP4606828B2 - 特定シーンの画像を選別する装置、プログラムおよびプログラムを記録した記録媒体 - Google Patents

Description

本発明は、特定シーンの画像を選別する装置、プログラムおよびプログラムを記録した記録媒体に関し、特に、デジタル形式の画像データで表された画像をシーンごとに分類等するために、所望の特定シーンの画像を選別する装置、プログラムおよびプログラムを記録した記録媒体に関するものである。

近年、デジタル形式の画像データで表された画像を、シーンごとに分類したり、シーンごとに区別された補正処理やプリント処理を施すため、ある画像が特定シーンの画像であるか否かを自動的に識別して、画像を選別する手法の研究開発が行なわれ始めている。

たとえば、特許文献１には、人物の有無に関する情報と色ヒストグラムに関する情報の２つを共通の指標として、デジタルカメラにより取得した画像が、「ポートレイト」、「夕景」、「夜景」等の複数のシーンのいずれを撮影したものであるかを識別する手法が記載されている。

また、個々の特定シーンに特化した識別手法も種々提案されている。たとえば、特許文献２には、「夕焼け」のシーンであるか否かの識別に特化した手法として、対象画像の画像データのうち赤から黄色の範囲に属する画素のデータについて、色相と彩度の積および色相と明度の積をヒストグラム化し、それらの分散が一定基準より大きいものを「夕焼け」のシーンの画像であると判断する手法が記載されている。
特開２００２−２１８４８０号公報 特開平１１−２９８７３６号公報

しかしながら、ユーザーが指定し得る特定シーンは多種多様であり、また選別対象の画像も多種多様であるので、複数の特定シーンを共通の指標を用いて識別しようとすると、精度の高い選別が困難であるという問題があった。指標の数を多くすれば精度を向上させることも可能であるが、そうすると計算量が著しく多くなり、各特定シーンの識別に要する時間およびコストが多大となる。また、共通の指標の数を多くした場合、１つ１つの特定シーンとの関係で考えると、選別対象の画像が供給されるごとに、所望の特定シーンの識別にはあまり有用でない指標をも計算することになり、計算処理の無駄が多くなる。

一方、ユーザーが指定し得る個々の特定シーンに特化した識別アルゴリズムを１つ１つ設定し、それらを実装した装置やそれらの組合せからなるプログラムを使用することにより、無駄な計算処理を行なわずに様々なシーンの識別を高い精度で行ない、画像を選別する形態も考えられる。しかしながら、そのような形態では１つ１つの識別アルゴリズムの設定および実装に非常に多くの作業が必要となり、装置やプログラムの開発に要する時間およびコストが多大となる。また、識別基準の変更や、識別可能な特定シーンの追加にも、多くの時間およびコストがかかる。

本発明は、上記事情に鑑み、計算処理および開発の双方の負担が低減されたものでありながら、様々な特定シーンの画像を高い精度で選別することができる装置、プログラムおよびプログラムを記録した記録媒体を提供することを目的とするものである。

すなわち、本発明の特定シーンの画像を選別する装置は、所望の特定シーンの指定を受け付けるシーン指定受付手段と、選別対象の画像データの入力を受け付ける画像入力受付手段と、特定シーンとして指定され得る複数のシーンごとに、そのシーンの識別に用いる少なくとも１つの特徴量の種類と、それらの少なくとも１つの特徴量の各々に対応する識別条件とを予め規定した参照データを、上記のシーン指定受付手段において指定された特定シーンに基づいて参照して、上記の画像データから、その特定シーンの識別に用いる上記の少なくとも１つの特徴量を導出する特徴量導出手段と、その特徴量導出手段により導出された少なくとも１つの特徴量の各々に基づいて、上記の参照データが規定する対応する識別条件を参照し、上記の画像データが上記のシーン指定受付手段において指定された特定シーンの画像のデータであるか否かを識別する識別手段とを備えていることを特徴とするものである。

ここで、本発明において「特徴量」とは、画像の特徴を表すパラメータを指し、その画像の色の特徴、輝度の特徴、テクスチャーの特徴、奥行情報、その画像に含まれるエッジの特徴等、いかなる特徴を表すものであってもよい。また、これらの各特徴を表す指標値を複数組み合わせた重み付き加算値等を、「特徴量」として用いてもよい。

また、本発明において「識別条件」とは、１つの特徴量を指標とした、特定シーンの画像とそうでない画像とを識別する条件を指す。

上記の本発明の特定シーンの画像を選別する装置においては、上記の参照データが、特定シーンとして指定され得る複数のシーンの各々について、そのシーンであることが分かっている複数の画像とそのシーンでないことが分かっている複数の画像からなる重み付きサンプル画像群を、予め学習することにより決定されたものであって、それらの複数のシーンの各々についての学習が、上記の重み付きサンプル画像群をなす各画像の重みの初期値を等しい値に設定する工程と、上記の複数のシーンの識別に用いられ得る複数の特徴量の各々に対応する識別器のうち、重み付きサンプル画像群をなす現在の学習対象のシーンである複数の画像と現在の学習対象のシーンでない複数の画像とを識別するのに最も有効な識別器を選択する工程と、重み付きサンプル画像群をなす画像のうち、直前の上記の選択する工程で選択された識別器によっては正しく識別されない画像の重みがその画像の現在の重みよりも高くなり、かつ／またはその識別器によって正しく識別される画像の重みがその画像の現在の重みよりも低くなるように、各画像の重みを更新する工程と、上記の選択する工程および上記の更新する工程を、選択された識別器の組合せの正答率が所定の基準を超えるまで繰り返す工程と、選択された識別器に基づいて、現在の学習対象のシーンの識別に用いる上記の少なくとも１つの特徴量の種類と上記の識別条件を確定する工程とを含む方法によるものであってもよい。また、この場合において、上記の複数の特徴量の各々に対応する識別器は、現在の学習対象のシーンである複数の画像が示すその識別器に対応する特徴量の値のヒストグラムの各頻度値と、現在の学習対象のシーンでない複数の画像が示すその識別器に対応する特徴量の値のヒストグラムの各頻度値との、比または差分を表したヒストグラムであってもよい。

ここで、本発明において「識別器」とは、１つの特徴量を用いて特定シーンの画像とそうでない画像とを識別する基準を提供するものであって、上記の「識別条件」を確定する基となるものを指す。

また、上記の「選択する工程」は、各サンプル画像の重みも加味して、現在の学習対象のシーンである画像と現在の学習対象のシーンでない画像とを識別するのに最も有効な識別器を選択するものである。すなわち、各サンプル画像の重みが等しい場合は、単純に正しく識別されるサンプル画像の数が多くなる識別器が最も有効な識別器であるが、各サンプル画像の重みが異なる場合は、重みの低いサンプル画像よりも、重みの高いサンプル画像が正しく識別されることにより重点が置かれる。

さらに、上記の「組合せの正答率」とは、それまでに選択した識別器を組み合わせて使用して各サンプル画像が現在の学習対象のシーンの画像であるか否かを識別した結果が、実際に現在の学習対象のシーンの画像であるか否かの答えと一致する率を指す。また、上記には「繰り返す工程」とあるが、選択する工程および更新する工程を１回行っただけで組合せの正答率が所定の基準を超えた場合は、繰返し処理は行なわないこととなる。

また、上記の「比または差分を表したヒストグラム」とは、頻度値の比または差分の値をそのまま表したヒストグラムであってもよいし、それらの対数値等を表したヒストグラムであってもよい。

さらに、上記の本発明の特定シーンの画像を選別する装置は、上記の識別手段により正しい識別結果が得られなかった画像データについて、その画像データが示す正しいシーンの指定を受け付ける正解受付手段と、正しいシーンの指定が受け付けられた画像データを学習することにより、上記の参照データを更新する追加学習手段とをさらに備えているものであってもよい。

撮像装置は、撮像した画像データを取得する撮像手段と、
所望の特定シーンの指定を受け付けるシーン指定受付手段と、
前記特定シーンとして指定され得る複数のシーンごとに、該シーンの識別に用いる少なくとも１つの特徴量の種類と、該少なくとも１つの特徴量の各々に対応する識別条件とを予め規定した参照データを、前記シーン指定受付手段において指定された前記特定シーンに基づいて参照して、前記画像データから、該特定シーンの識別に用いる前記少なくとも１つの特徴量を導出する特徴量導出手段と、
前記特徴量導出手段により導出された前記少なくとも１つの特徴量の各々に基づいて、前記参照データが規定する前記対応する識別条件を参照し、前記画像データが前記シーン指定受付手段において指定された前記特定シーンの画像のデータであるか否かを識別する識別手段とを備えていることを特徴とするものである。

また、前記撮像装置は、撮影時に前記シーンを特定する情報を取得するシーン特定情報取得手段をさらに有し、
前記シーン指定受付手段が、該シーン特定情報取得手段により取得された前記シーンを特定する情報に基づいてシーンの指定を受け付けるものであってもよい。

「シーンを特定する情報」とは、例えば、撮影時間等の画像が「夜景」の可能性があるか否かというような特定のシーンを判別するために参考にすることができる情報をいう。

本発明の特定シーンの画像を選別するためのプログラムは、コンピュータを、所望の特定シーンの指定を受け付けるシーン指定受付手段、選別対象の画像データの入力を受け付ける画像入力受付手段、特定シーンとして指定され得る複数のシーンごとに、そのシーンの識別に用いる少なくとも１つの特徴量の種類と、それらの少なくとも１つの特徴量の各々に対応する識別条件とを予め規定した参照データを、上記のシーン指定受付手段において指定された特定シーンに基づいて参照して、上記の画像データから、その特定シーンの識別に用いる上記の少なくとも１つの特徴量を導出する特徴量導出手段、および、その特徴量導出手段により導出された少なくとも１つの特徴量の各々に基づいて、上記の参照データが規定する対応する識別条件を参照し、上記の画像データが上記のシーン指定受付手段において指定された特定シーンの画像のデータであるか否かを識別する識別手段として機能させることを特徴とするものである。また、本発明の特定シーンの画像を選別するためのプログラムを記録したコンピュータ読取可能な記録媒体は、上記のようなプログラムを記録したものである。

これらの本発明の特定シーンの画像を選別するためのプログラムおよびプログラムを記録したコンピュータ読取可能な記録媒体は、プログラムの実行環境の計算能力および／または所望の処理速度に応じて、上記の特徴量導出手段が導出する上記の少なくとも１つの特徴量の種類および／または数を変更するものであってもよい。

本発明の特定シーンの画像を選別するための方法は、所望の特定シーンの指定を受け付けるシーン指定受付ステップと、
選別対象の画像データの入力を受け付ける画像入力受付ステップと、
前記特定シーンとして指定され得る複数のシーンごとに、該シーンの識別に用いる少なくとも１つの特徴量の種類と、該少なくとも１つの特徴量の各々に対応する識別条件とを予め規定した参照データを、前記シーン指定受付ステップにおいて指定された前記特定シーンに基づいて参照して、前記画像データから、該特定シーンの識別に用いる前記少なくとも１つの特徴量を導出する特徴量導出ステップと、
前記特徴量導出手段により導出された前記少なくとも１つの特徴量の各々に基づいて、前記参照データが規定する前記対応する識別条件を参照し、前記画像データが前記シーン指定受付手段において指定された前記特定シーンの画像のデータであるか否かを識別する識別ステップとからなることを特徴とするものである。

本発明の特定シーンの画像を選別する装置、プログラムおよびプログラムを記録した記録媒体では、使用する特徴量の種類および識別条件を特定シーンごとに規定した参照データを用いているため、識別処理のアルゴリズム自体は所望の特定シーンにかかわらず共通のものとすることができ、装置の開発コストを低く抑えながら、各特定シーンに合った精度の高い識別により、画像の選別を行なうことができる。また、特定シーンごとに識別に使用する特徴量の種類および数を変更することができるため、特定シーンごとに最適な種類および数の特徴量を用い、無駄な計算処理を行なうことなく精度の高い識別による画像の選別を行なうことができる。さらに、複雑な識別アルゴリズムの変更、追加および実装等の作業を要することなく、参照データを改変するだけで、識別基準の変更や、識別可能な特定シーンの追加を、簡単に行なうことができる。

また、識別のための参照データとして、最も有効な識別器を選択する工程とサンプル画像の重みを更新する工程とを繰り返して、重み付きサンプル画像群を学習することにより決定された参照データを用いた場合には、先に選択した識別器では正しく識別できなかったサンプル画像を重要視して、それらの画像を正しく識別できる追加の識別器が順次選択され、それらの識別器に基づいて識別に用いる特徴量の種類と識別条件が確定されるため、多様な画像に対して、さらに精度が高く漏れの少ない識別による画像の選別を行なうことができる。

さらに、正しい識別結果が得られなかった画像データについて正しいシーンの指定を受け付けて、それらの画像データの追加学習による参照データの更新を行なうことを可能とした場合には、実際の選別対象画像に合わせて継続的に選別の精度を向上させていくことができる。また、ユーザーが頻繁に指定する特定シーンに関しては、参照データの内容が特に充実していくため、より高い識別精度を実現することができる。

また、本発明の撮像装置のように、前記のシーンの画像を選別する機能を備えるようにすれば、撮影した画像のシーンを識別して、各々の画像に対して適切な画像処理を施すことが可能になる。

さらに、撮像装置でシーンを特定する情報を取得するようにすることによって、識別の精度を高くすることが可能になる。

また、本発明のプログラムまたはプログラムを記録した記録媒体において、プログラムの実行環境の計算能力および／または所望の処理速度に応じて、選別対象の画像データから導出する特徴量の種類および／または数を変更できるようにした場合には、実行環境の計算能力および／または所望の処理速度の範囲内の最適な負荷により、最大限の高い選別精度を実現することができる。

以下、図面により、本発明の例示的な実施形態を詳細に説明する。

まず、図１から５を用いて、本発明の第１の実施形態に係る装置を説明する。図１は、本発明の第１の実施形態に係る特定シーンの画像を選別する装置１０の構成を示したブロック図である。この図に示すように、装置１０は、識別したい特定シーンの指定を受け付けるシーン指定受付部１２と、選別対象の画像データの入力を受け付ける画像入力受付部１４と、後述する参照データが格納されているメモリ１６と、シーン指定受付部１２および画像入力受付部１４から入力を受け取り、メモリ１６内の参照データを参照して必要な特徴量を導出する特徴量導出部１８と、特徴量導出部１８が導出した特徴量とメモリ１６内の参照データに基づいて、入力された画像データが指定された特定シーンの画像のデータであるか否かを識別する識別部２０を備えている。

メモリ１６内に格納されている参照データは、識別したい特定シーンとして指定され得る複数のシーンごとに、そのシーンの識別に用いる特徴量の種類と、それらの特徴量の各々に対応する識別条件とを規定したものであり、たとえば図２に示す参照表形式等のデータである。図２の例には、説明のため、「水中」、「夕焼け」および「夜景」の３つのシーンに関するデータのみを示してあるが、実際の参照データは、通常、これよりずっと多くのシーンについてのデータからなる。識別に用いる特徴量の種類および数は、シーンごとに異なる。なお、図２の例において「平均値」とは、選別対象の画像全体に亘るある特性値（各色の濃度等）の平均値を指す。また、「ｎ％点」（０＜ｎ＜１００）とは、選別対象の画像またはその縮小画像の各画素におけるある特性値を累積ヒストグラムで表した場合に、全画素数のｎ％の計数値に対応する特性値を指す。さらに、「（ｍ％点）−（ｎ％点）」（０＜ｍ，ｎ＜１００）とは、ｍ％点とｎ％点の差分値を指す。ただし、用いられる特徴量の種類は、図２の例に示したものに限られずいかなるものであってもよく、たとえば、各特性値の最大値や最小値を用いてもよいし、エッジ強度、テクスチャー、奥行情報に関する特徴量等を用いてもよい。また、異なる複数の特性値を組み合わせた重み付き加算値等を、特徴量として用いてもよい。各特徴量に対応する識別条件は、正負の値を取る数列の形式で表されている。

図２に示した参照データ中の特徴量の種類および識別条件は、シーンごとのサンプル画像群の学習により、予め決められたものである。以下、「水中」シーンに関する学習を例にとって、図３のフローチャートを参照しながら、サンプル画像群の学習手法の一例を説明する。

学習の対象となるサンプル画像群は、「水中」のシーンの画像であることが分かっている複数の画像と、「水中」のシーンの画像でないことが分かっている複数の画像からなる。各サンプル画像には、重みすなわち重要度が割り当てられる。まず、図３のステップ３０において、すべてのサンプル画像の重みの初期値が、等しい値に設定される。

次に、ステップ３２において、識別に使用され得る複数の特徴量について、「識別器」が作成される。ここで、それぞれの「識別器」とは、１つの特徴量を用いてあるシーンの画像とそうでない画像とを識別する基準を提供するものである。この例では、図４に導出方法を図示した各特徴量についてのヒストグラムを「識別器」として使用する。図４を参照しながら説明すると、まず、「水中」のシーンの画像であることが分かっている複数のサンプル画像について、一定間隔刻みのある特徴量（たとえば濃度Ｂの平均値）のヒストグラムが作成される。同様に、「水中」のシーンの画像でないことが分かっている複数のサンプル画像についても、ヒストグラムが作成される。これらの２つのヒストグラムが示す頻度値の比の対数値を取ってヒストグラムで表したものが、図４の一番右側に示す、識別器として用いられるヒストグラムである。この識別器のヒストグラムが示す各縦軸の値を、以下、「識別ポイント」と呼ぶことにする。この識別器によれば、正の識別ポイントに対応する特徴量の値を示す画像は「水中」のシーンの画像である可能性が高く、識別ポイントの絶対値が大きいほどその可能性は高まると言える。逆に、負の識別ポイントに対応する特徴量の値を示す画像は「水中」のシーンの画像でない可能性が高く、やはり識別ポイントの絶対値が大きいほどその可能性は高まる。ステップ３２では、識別に使用され得る複数の特徴量、たとえば、濃度Ｒ、ＧならびにＢ、輝度Ｙ、色差ＣｒならびにＣｂ、彩度および色相のそれぞれについての平均値、いくつかのｎ％点、およびいくつかの（ｍ％点）−（ｎ％点）のすべてについて、上記のヒストグラム形式の識別器が作成される。

続いて、ステップ３４において、ステップ３２で作成した識別器のうち、「水中」のシーンの画像を識別するのに最も有効な識別器が選択される。最も有効な識別器の選択は、各サンプル画像の重みを考慮して行なわれる。この例では、各識別器の重み付き正答率が比較され、最も高い重み付き正答率を示す識別器が選択される。すなわち、最初のステップ３４では、各サンプル画像の重みは等しいので、単純に、その識別器によって「水中」のシーンの画像であるか否かが正しく識別されるサンプル画像の数が最も多いものが、最も有効な識別器として選択される。一方、後述するステップ４０において各サンプル画像の重みが更新された後の２回目以降のステップ３４では、たとえばあるサンプル画像Ａの重みが別のサンプル画像Ｂの重みの２倍であるとすると、サンプル画像Ａは、正答率の評価において、サンプル画像Ｂの２枚分相当として数えられる。これにより、２回目以降のステップ３４では、重みの低いサンプル画像よりも、重みの高いサンプル画像が正しく識別されることにより重点が置かれる。

次に、ステップ３６において、それまでに選択した識別器の組合せの正答率、すなわち、それまでに選択した識別器を組み合わせて使用して各サンプル画像が「水中」のシーンの画像であるか否かを識別した結果が、実際に「水中」のシーンの画像であるか否かの答えと一致する率が、所定の閾値を超えたか否かが確かめられる。ここで、組合せの正答率の評価に用いられるのは、現在の重みが付けられたサンプル画像群でも、重みが等しくされたサンプル画像群でもよい。所定の閾値を超えた場合は、それまでに選択した識別器を用いれば「水中」のシーンの画像を十分に高い確率で選別できるため、学習は終了する。所定の閾値以下である場合は、それまでに選択した識別器と組み合わせて用いるための追加の識別器を選択するために、図３の処理はステップ３８へと進む。

ステップ３８では、直近のステップ３４で選択されたものに対応する識別器が再び選択されないようにするため、その識別器に対応する特徴量が除外される。

次に、ステップ４０では、直近のステップ３４で選択された識別器では「水中」のシーンの画像であるか否かを正しく識別できなかった各サンプル画像の重みが、そのサンプル画像の現在の重みよりも高くなるように更新される。一方、直近のステップ３４で選択された識別器で「水中」のシーンの画像であるか否かを正しく識別できた各サンプル画像の重みは、そのサンプル画像の現在の重みよりも低くなるように更新される。この重みの更新を行なう理由は、次の識別器の選択において、既に選択された識別器では正しく識別できなかった画像を重要視し、それらの画像を正しく識別できる識別器が選択されるようにして、識別器の組合わせの効果を高めるためである。なお、正しく識別できなかったサンプル画像の重みと、正しく識別できたサンプル画像の重みとが相対的に変化させられれば十分であるので、上記の重みを高くする更新と重みを低くする更新とのいずれか一方のみを行なうこととしてもよい。

続いて、図３の処理はステップ３２へと戻り、ステップ３８で除外したものを除く各特徴量について、識別器が作成し直される。この２回目以降のステップ３２における識別器の作成は、各サンプル画像の重みを考慮して行なわれる。たとえば、あるサンプル画像Ａの重みが別のサンプル画像Ｂの重みの２倍であるとすると、サンプル画像Ａは、図４の中央に示す識別器のもととなるヒストグラムの作成において、サンプル画像Ｂの２倍の頻度値を与える。計算量を減らすため、前回のステップ３２で作成した識別器を更新する形で新たな識別器を作成してもよい。その後、ステップ３４において、重み付き正答率を基準にして次に有効な識別器が選択される。

以上のステップ３２から４０を繰り返して、「水中」のシーンの画像の選別に適した識別器として、濃度Ｂの平均値、濃度Ｂの（８０％点）−（２０％点）の値および色差Ｃｂの７０％点の値の３つの特徴量に対応する識別器が選択されたところで、ステップ３６で確認される正答率が閾値を超えたとすると、ステップ４２において、「水中」のシーンの識別に用いる特徴量の種類と識別条件が、図２の参照データの上３行分に示すようなものに確定される。ここで、数列形式の識別条件は、選択された各識別器が示す識別ポイントを、小さい特徴量の値に対応するものから順番に列記したものである。

なお、上記の学習手法を採用する場合において、識別器は、１つの特徴量を用いて特定シーンの画像とそうでない画像を識別する基準を提供するものであれば、上記のヒストグラムの形式のものに限られずいかなるものであってもよく、たとえば２値データ、閾値または関数等であってもよい。また、同じヒストグラムの形式であっても、図４の中央に示した２つのヒストグラムの差分値の分布を示すヒストグラム等を用いてもよい。

また、上記の例では、最も有効な識別器が選択されるごとに、次に有効な識別器の選択に先立って、ステップ３２で各サンプル画像の重みを考慮して識別器を作成し直すこととしたが、図３の処理をステップ４０からステップ３４へと戻すこととし、最初に作成した識別器の中から、重み付き正答率を基準にして有効な識別器を順番に選択することとしてもよい。なお、図３を用いて説明した例のように、最も有効な識別器が選択されるごとに各サンプル画像の重みを考慮して識別器を作成し直す態様においては、ステップ３４における最も有効な識別器の選択は、重み付き正答率ではなく単純な正答率を基準としてもよい。あるいは、図４に示す比の対数を取る前の２つのヒストグラムの分布領域が明確に分かれており識別ポイントの絶対値の総和が大きい識別器ほど、「水中」のシーンの画像の識別に適していると言えるので、上記の絶対値が最も大きい識別器を選択することとしてもよい。また、識別器を作成しなおす場合にはサンプル画像の重みが更新されると各識別器も異なったものとなるため、選択された識別器に対応する特徴量を除外するステップ３８を省略してもよい。

このほか、最も有効な識別器の選択には、適当な評価関数等を用いてもよい。

図１に戻って、特徴量導出部１８は、入力された画像データから、シーンの識別に用いられ得るすべての特徴量を導出する能力を有するものである。すなわち、この実施形態では、特徴量導出部１８は、少なくとも図２に示した参照データに含まれるすべての特徴量を導出する能力を有する。

次に、図５のフローチャートを参照しながら、本発明の第１の実施形態に係る図１に示す装置１０が行なう具体的な処理の流れについて説明する。

まず、図５のステップ５０において、「水中」、「夕焼け」および「夜景」等の特定シーンのうちユーザーが希望する特定シーンの指定が、シーン指定受付部１２により受け付けられる。

次いで、ステップ５２において、画像入力受付部１４が、選別対象の画像を示す画像データの入力を受け付ける。多数の画像に関する一連の画像データを連続的に受け付けてもよい。受け付ける画像データは、たとえば、その画像をなす各画素ごとに濃度Ｒ、ＧおよびＢの値を示すデータ等である。

続いて、ステップ５４において、特徴量導出部１８が、導出すべき特徴量の種類をメモリ１６から読み出す。たとえば、ステップ５０で指定された特定シーンが「水中」のシーンであるとすると、特徴量導出部１８は、メモリ１６中の図２に示す参照データを参照して、導出すべき特徴量が、濃度Ｂの平均値、濃度Ｂの（８０％点）−（２０％点）の値および色差Ｃｂの７０％点の３種類であることを認識する。

次に、ステップ５６において、識別部２０が、メモリ１６から識別条件を読み出す。上記の「水中」のシーンが指定された例では、識別部２０は、上記の３種類の特徴量に関する識別条件を、メモリ１６中の図２に示す参照データから読み出す。

続いて、ステップ５８において、特徴量導出部１８が、ステップ５２で入力された画像データから、指定された特定シーンの識別に使用される特徴量の１つを導出する。上記の「水中」のシーンが指定された例では、特徴量導出部１８は、上記の３種類の特徴量のいずれかを、入力された画像データから導出する。

次に、ステップ６０において、識別部２０が、ステップ５８で導出された特徴量に基づいて対応する識別条件を参照し、１つの識別ポイントを得る。たとえば、直前のステップ５８において上記の３種類の特徴量のうち濃度Ｂの平均値が画像データから導出された場合は、識別部２０は、ステップ５６でメモリ１６から読み出した濃度Ｂの平均値に関する識別条件のうちステップ５８で導出した平均値に対応する部分を参照し、１つの識別ポイントを得る。ここで、図２に示した識別条件は、前述のとおり一定間隔刻みの特徴量の値に対応するデータ点の識別ポイントを列記したものであるので、ステップ６０において得られる識別ポイントは、画像データから導出した特徴量の値に最も近いデータ点の識別ポイントや、データ点間の線形補間による識別ポイント等となる。

続いて、ステップ６２において、導出すべきすべての特徴量が導出されたか否かが確認される。上記の「水中」のシーンが指定された例では、濃度Ｂの平均値、濃度Ｂの（８０％点）−（２０％点）の値および色差Ｃｂの７０％点の３種類の特徴量が導出されたか否かが確認され、これら３種類の特徴量の導出および対応する識別ポイントの獲得が完了するまで、ステップ５８から６２の処理が繰り返される。

導出すべきすべての特徴量の導出および対応する識別ポイントの獲得が完了すると、図５の処理はステップ６４へと進み、識別部２０が、獲得したすべての識別ポイントを総合して、入力された画像データが指定された特定シーンの画像であるか否かが識別される。この実施形態では、すべての識別ポイントを加算して、その加算値の正負によって識別を行なうものとする。たとえば、上記の「水中」のシーンが指定された例では、入力された画像データから導出された上記の３種類の特徴量に関する３つの識別ポイントの総和が正の値である場合には、その画像データは「水中」のシーンの画像を示すデータであると判断され、負の値である場合には、「水中」のシーンの画像を示すデータでないと判断される。

最後に、ステップ６６において、識別部２０から識別結果が出力され、図５の処理は終了する。

なお、上記の実施形態においては、参照データは装置１０内のメモリ１６に記憶されているものとしたが、特徴量導出部１８および識別部２０が参照データにアクセスできる限り、参照データは、装置１０とは別個の装置やＣＤ−ＲＯＭ等の差替可能な媒体に記憶されたものであってもよい。

また、識別に用いる参照データは、識別する特定シーンとして指定され得る複数のシーンごとに、そのシーンの識別に用いる少なくとも１つの特徴量の種類と、それら少なくとも１つの特徴量の各々に対応する識別条件とを規定したものであれば、図２に示した形式のものに限らず、いかなるものであってもよい。たとえば、図２の識別条件の部分を、２値データ、単一の閾値または関数等としてもよい。それに伴い、識別部２０による識別手法も、識別ポイントの加算値の正負によるものに限られない。

さらに、参照データを予め決定するための学習手法も、図３および４を用いて説明した上記の手法に限られず、他のいかなる手法であってもよい。たとえば、クラスタリングやブースティング等の名称で知られている、一般に用いられる機械的学習手法を用いてもよい。あるいは、参照データは、熟練した技術者により経験的に定められたものであってもよい。

また、上記の実施形態では、画像入力受付部１４に入力される画像データは、対象画像をなす各画素ごとに濃度Ｒ、ＧおよびＢの値を示すデータ等であり、特徴量導出部１８は、そのような画像データから計算により特徴量を導出するものであったが、画像データを多数の特徴量からなる特徴量群の形式とし、特徴量導出部１８を、単にその特徴量群の中からメモリ１６内の参照データが指定するものを選択して識別部２０に送るものとしてもよい。

上記の本発明の第１の実施形態に係る装置１０では、識別に使用する特徴量の種類および識別条件を特定シーンごとに規定した参照データを用いているため、シーン指定受付部１２、画像入力受付部１４、特徴量導出部１８および識別部２０を動作させるアルゴリズム自体は所望の特定シーンにかかわらず共通のものとすることができ、装置の開発コストを低く抑えながら、各特定シーンに合った精度の高い識別による画像の選別を行なうことができるという効果が得られる。また、特定シーンごとに識別に使用する特徴量の種類および数を変更することができるため、特定シーンごとに最適な種類および数の特徴量を用い、無駄な計算処理を行なうことなく精度の高い識別による画像の選別を行なうことができる。さらに、複雑な識別アルゴリズムの変更、追加および実装等の作業を要することなく、参照データを改変するだけで、識別基準の変更や、識別可能な特定シーンの追加を、簡単に行なうことができる。

以上、本発明の第１の実施形態に係る装置１０について説明したが、コンピュータを、上記のシーン指定受付部１２、画像入力受付部１４、特徴量導出部１８および識別部２０に対応する手段として機能させ、図５に示すような処理を行なわせるプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取可能な記録媒体も、本発明の実施形態の１つである。これらの場合においても、参照データは、プログラム内あるいは同一の記録媒体内に含まれているものであってもよいし、外部の装置や別個の媒体から提供されるものであってもよい。

次に、図６を用いて、本発明の第２の実施形態に係る装置について説明する。図６は、本発明の第２の実施形態に係る特定シーンの画像を選別する装置７０の構成を示したブロック図である。装置７０に含まれるシーン指定受付部７２、画像入力受付部７４、参照データ用メモリ７６、特徴量導出部７８および識別部８０の機能は、上記に説明した第１の実施形態に係る装置１０の対応部分の機能と同様であり、それらが行なう識別処理も、上記の図５に示した処理と同様である。そこで、これらについては説明を省略し、以下、第１の実施形態に係る装置１０と異なる部分についてのみ説明する。

第２の実施形態に係る装置７０は、正解受付部８２、追加学習データ用メモリ８４および追加学習部８６を備え、いわば自己学習機能を有する点で、第１の実施形態に係る装置１０と異なる。識別部８０から識別結果の出力を受けたユーザーが、選別されたあるいはされなかった画像をディスプレイに表示する等して確認したところ、選別結果が正しくなかった場合、ユーザーは、次回からはそれに類似した画像も正しく選別してほしいと考える。本実施形態の装置７０は、そのような要請に応えるものである。

すなわち、ユーザーは、正しくない識別結果を受け取り、それを装置７０に追加学習させたいと思った場合は、装置７０の正解受付部８２に対し、その画像に対する正解のシーンを指定して追加学習命令を与えることができる。たとえば、識別部８０が「水中」のシーンの画像であると判断した画像が、実際には「夜景」のシーンの画像であった場合は、正解「夜景」を指定して追加学習命令を与える。追加学習命令および正解の指定を受け取った正解受付部８２は、それらを識別部８０に送る。識別部８０は、これに応答して、識別結果が正しくないとされた画像の識別処理において特徴量導出部７８が導出した各特徴量と、指定された正解とを、追加学習データ用メモリ８４に送る。あるいは、指定された正解と導出された特徴量とに代えて、指定された正解ともとの画像データとを追加学習データ用メモリ８４に送る構成としてもよい。追加学習データ用メモリ８４には、参照データ用メモリ７６に格納されている初期の参照データの導出に用いられた、各サンプル画像の特徴量または画像データも格納されているものとする。

装置７０が繰返し使用され、追加学習データ用メモリ８４に蓄積された追加学習すべきデータの量が予め定められた基準を超えると、追加学習データ用メモリ８４に格納されているデータが追加学習部８６に送られ、追加学習部８６において、再度の学習および参照データの更新が行なわれる。本実施形態では、追加学習部８６は、正解が指定された追加学習すべき各画像と、初期の参照データの導出に用いられた各サンプル画像とを合わせたすべての画像について、再度、図３に示す手法等により学習を行ない、新たな参照データを導出するものとする。

なお、追加学習部８６が行なう学習手法は上記のものに限られず他のいかなる手法であってもよく、たとえば、クラスタリングやブースティング等の名称で知られている、一般に用いられる機械的学習手法を用いてもよい。また、上記のように、初期の参照データの導出に用いられた各サンプル画像の特徴量または画像データを追加学習用メモリ８４に格納しておく手法にも限られず、正解が指定された追加学習すべき画像についてのみ学習を行なうこととしてもよい。その場合、たとえば、追加学習すべき画像のデータについて、各特定シーンごとかつ各特徴量ごとに図４を用いて説明したようなヒストグラムを作成して、それらのヒストグラムが示す識別条件と、参照データ用メモリ７６にそれまで蓄積されていた参照データが示す識別条件との加重平均を取り、その加重平均された識別条件を新たな識別条件として参照データ用メモリ７６内の参照データを更新する等の手法を用いることができる。また、追加学習用メモリ８４を設けずに、追加学習すべき画像のデータが識別部８０から直接に追加学習部８６に送られる構成とし、参照データを順次更新するようにしてもよい。

また、上記の実施形態では、追加学習すべきデータの量が予め定められた基準を超えた際に追加学習および参照データの更新を行なうこととしたが、定期的にまたはユーザーからの命令により追加学習および参照データの更新を行なう構成としてもよい。

上記の本発明の第２の実施形態に係る装置７０によれば、上記した第１の実施形態の装置１０と同様の効果に加えて、実際の選別対象画像に合わせて継続的に選別の精度を向上させていくという効果をさらに得ることができる。また、ユーザーが頻繁に指定する特定シーンに関しては、参照データの内容が特に充実していくため、より高い識別精度を実現することができる。

以上、本発明の第２の実施形態に係る装置７０について説明したが、コンピュータを、上記のシーン指定受付部７２、画像入力受付部７４、特徴量導出部７８、識別部８０、正解受付部８２および追加学習部８６に対応する手段として機能させるプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取可能な記録媒体も、本発明の実施形態の１つである。

次に、図７から１０を用いて、本発明の第３の実施形態に係るプログラムについて説明する。本発明の第３の実施形態に係るプログラムは、上記の各実施形態に関連して説明したのと同様の特定シーンの画像を選別する処理を、ＣＰＵ（中央演算処理装置）の性能やメモリの容量等、プログラムの実行環境を考慮した最適な負荷で、コンピュータに実行させるものである。

図７は、本実施形態に係るプログラムがコンピュータに実行させる処理の流れを示したフローチャートである。以下、各ステップにおける処理について、詳細に説明する。

まず、ステップ９０において、実行環境の計算能力が特定される。本実施形態では、使用するコンピュータのＣＰＵの性能のみを、実行環境の計算能力を左右する要因として考慮するものとする。ステップ９０では、使用しているコンピュータのＣＰＵの種類を自動的に検出するようにしてもよいし、使用しているコンピュータの型番の指定等をユーザーに要求してＣＰＵの種類を特定するようにしてもよい。

次に、ステップ９２において、ステップ９０で特定されたＣＰＵの性能に基づいて実行環境−計算量データが参照され、計算量の限界値が設定される。本実施形態における実行環境−計算量データとは、図８に示すような、ＣＰＵの性能ごとに計算量の限界値を規定した参照表形式のデータである。図８の例では、高性能のＣＰＵほど、対応する計算量の限界値は高くされている。この実行環境−計算量データは、プログラム内に含まれているものであってもよいし、外部の装置やＣＤ−ＲＯＭ等の別個の媒体から提供されるものであってもよい。

続いて、ステップ９４および９６において、第１の実施形態に関連して説明した図５に示す処理と同様に、所望の特定シーンの指定および選別対象の画像を示す画像データの入力が受け付けられる。さらに、ステップ９８において、計算量の合計値の初期値が０に設定される。

次に、ステップ１００において、参照データから、１組の特徴量の種類と識別条件が読み出される。本実施形態では、参照データは、第１の実施形態に関連して説明した図２に示す参照データと同様のものであるとする。たとえば、ステップ９４で指定された特定シーンが「水中」のシーンであるとすると、ステップ１００では、導出すべき濃度Ｂの平均値、濃度Ｂの（８０％点）−（２０％点）の値および色差Ｃｂの７０％点の３種類の特徴量のうち、「濃度Ｂの平均値」という特徴量の種類およびそれに対応する識別条件が読み出される。参照データは、プログラム内に含まれているものであってもよいし、使用しているコンピュータ内のメモリ、外部の装置または別個の媒体から提供されるものであってもよい。

続いて、ステップ１０２において、直前のステップ１００で読み出したものに対応する特徴量が、ステップ９６で入力された画像データから導出される。ここで、本実施形態に係るプログラムは、少なくとも図２に示した参照データに含まれるすべての特徴量について、その導出に必要な計算処理を規定している。

次に、ステップ１０４において、ステップ１０２で導出された特徴量に基づいて、ステップ１００で読み出された対応する識別条件が参照され、１つの識別ポイントが得られる。ここでの処理は、第１の実施形態に関連して説明した図５のステップ６０の処理と同様の手法によるものである。

続いて、ステップ１０６において、特徴量−計算量データが参照され、ステップ１０２で導出された特徴量に対応する計算量ポイントが、計算量の合計値に加算される。本実施形態における特徴量−計算量データとは、図９に示すような、識別に用いられ得る各特徴量ごとに計算量ポイントを規定した参照表形式のデータである。ここで、導出に必要な計算回数や反復処理の繰返し回数が多い特徴量ほど、高い計算量ポイントが与えられている。たとえば、ステップ９６において入力される画像データが対象画像をなす各画素ごとに濃度Ｒ、ＧおよびＢの値を示すデータである場合は、濃度Ｒ、ＧまたはＢ自体の平均値等は比較的少ない計算回数で導出できるが、エッジ強度、テクスチャー、奥行情報等に関する特徴量の導出には、各段に多くの計算回数が必要とされる。したがって、エッジ強度等の特徴量には、濃度Ｒの平均値等の特徴量よりも高い計算量ポイントが与えられている。特徴量−計算量データは、プログラム内に含まれているものであってもよいし、使用しているコンピュータ内のメモリ、外部の装置または別個の媒体から提供されるものであってもよい。

次に、ステップ１０８において、計算量の合計値が、ステップ９２で設定された計算量の限界値以上となったか否かが確認される。ここで、計算量の合計値がまだ限界値に達していない場合は、さらにステップ１１０において、参照データが現在の特定シーンについて規定している、すべての特徴量を導出し終えたか否かが確認される。ここで、まだすべての特徴量を導出し終えていない場合は、図７の処理はステップ１００へと戻り、計算量の合計値が限界値を超えるか、すべての特徴量を導出し終えるまで、ステップ１００から１１０の処理が繰り返される。

計算量の合計値が限界値を超えるか、すべての特徴量を導出し終えると、図７の処理はステップ１１２へと進む。ステップ１１２では、すべての識別ポイントが総合され、入力された画像データが指定された特定シーンの画像であるか否かが識別される。本実施形態では、第１の実施形態に関連して説明した処理と同様に、すべての識別ポイントを加算することにより識別を行なうものとする。

最後に、ステップ１１４において識別結果が出力され、図７の処理は終了する。

なお、プログラムの実行環境を考慮した最適な負荷で処理を行なう手法は、上記に説明した手法に限られない。たとえば、変更例として、実行環境−計算量データおよび特徴量−計算量データを用いずに、図２に示すものに代えて図１０に示すような参照データを使用することとしてもよい。図１０に示す参照データは、図２に示すものと類似の参照表形式のデータを、ＣＰＵの性能ごとに規定したものである。図１０に示すように、ＣＰＵの性能が高くなるほど、対応する参照表では各特定シーンの識別に用いる特徴量の数が多くされており、逆に、ＣＰＵの性能が低くなるほど、特徴量の数が少なくされている。これに代えてまたは加えて、低い性能に対応する参照表では、エッジ強度、テクスチャー、奥行情報等に関する特徴量のような、多くの計算を必要とする特徴量は用いないこととしてもよい。この図１０に示すような参照データを使用した変更例による処理では、図７に示す処理のステップ９２、９８、１０６および１０８は不要となる。また、ステップ１００では、参照データ中の、ステップ９０で特定したＣＰＵの性能に対応した参照表を参照することになる。

また、上記の第３の実施形態およびその変更例では、使用するコンピュータのＣＰＵの性能のみを、実行環境の計算能力を左右する要因として考慮したが、これに代えてまたは加えて、メモリの容量等の他の要因を考慮してもよい。

例えば、デジタルカメラ等の撮像装置において、撮影者により指定された撮影モードが高画質モードであるか通常モードであるかに応じて、図１１に示すような計算量ポイントの限界を定め、限界値に達するまで計算を行うようにしてもよい。

あるいは、図１２に示すような特徴量と識別条件の参照表形式のデータを用意して、高画質モードが設定されているか通常モードが設定されているかに応じて読み込む参照データを切り替えるようにしてもよい。また、この参照は、ユーザーが望む処理を施すことができるようにユーザーごとに設定するようにしてもよい。

上記の本発明の第３の実施形態またはその変更例に係るプログラムによれば、上記した第１の実施形態の装置１０と同様の効果に加えて、実行環境の計算能力を考慮に入れて、その計算能力の範囲内の最適な負荷により、最大限の高い選別精度を実現することができるという効果が得られる。さらに、実行環境の計算能力の特定を、ユーザーによる指定により行なう場合には、ユーザーは、処理の高速化を図るため、実行環境の計算能力が高い場合でも、所望の処理速度に応じた低い計算能力を指定してもよい。

なお、上記の第３の実施形態およびその変更例に係るプログラムを記録したコンピュータ読取可能な記録媒体も、本発明の実施形態の１つである。

次に、本発明の第４の実施形態について説明する。第１の実施の形態では、「水中」のシーンを識別する装置について説明したが、本実施の形態では、同様の識別手法を用いて、入力された画像が「水中」「夜景」「夕焼け」「その他」のいずれのシーンであるかに分類するシーン分類装置について具体的に説明する。

シーン分類装置１１は、入力された画像データを特定シーンに画像を選別する装置１０とその結果に応じて画像データを各シーンに分類する分類部２５を備える。装置１０は第１の実施の形態と略同様であるので詳細な説明は省略し、相違する点についてのみ詳細に説明する。

図１３に示すように、識別部２０は、「水中」「夜景」「夕焼け」の各シーンに対応した識別器を複数備えている。２１は、「水中」のシーンの識別に用いられる複数の識別器（以下、複数の識別器を識別器群という）であり、２２は、「夜景」のシーンの識別に用いられる識別器群であり、２３は、「夕焼け」のシーンの識別に用いられる識別器群である。

第１の実施の形態で説明したように、「水中」のシーンを識別する際、まず、複数の識別器(各識別器は１つの特徴量に対応する）を用意し、学習の対象となるサンプル画像から得た特徴量を各識別器に入力して、複数の識別器から最も有効な識別器を１つ選択する。次に、その識別器が「水中」のシーンの画像であるか否かを正しく識別したサンプル画像の重みを現在の重みよりも低くし、正しく識別できなかったサンプル画像の重みを現在の重みより高くして選択されなかった残り識別器に入力し、その中から正解率の高い識別器をさらに選択するという処理を繰り返して正解率が所定の閾値を越えるまで、識別器を追加する（図３参照）。

このよう学習した結果、「水中」のシーンを識別するために識別器群２１が選択され、識別部２０は、この識別器群２１を用いて入力された画像データが「水中」のシーンであるかを識別する。識別を行う画像データが入力されると、各識別器が獲得した各識別ポイントを総合して、入力された画像データが「水中」のシーンの画像であるか否かを識別する。例えば、図２に示す３種類の特徴量を用いる場合には、入力された画像データから導出された３つの識別ポイントの総和が正の値であれば、その画像データは「水中」のシーンの画像を示すデータであると判断され、負の値であれば、「水中」のシーンの画像を示すデータでないと判断される。

「夜景」のシーンについても、図３に示すフローチャートに示す方法を用いて「夜景」のサンプル画像を用いて、複数の識別器の中から「夜景」のシーンの識別に最も有効な特徴量を用いた識別器をまず１つ選択し、さらに、正解率が所定の閾値を越えるまで繰り返し残りの識別器の中から最適な識別器を追加選択して識別器群２２を選択する。具体的には、例えば、図２に示す「夜景」シーンの４種類の特徴量に対応した識別器を４つ用意する。識別部２０で、「夜景」のシーンであるか否かを識別する際には、「夜景」のサンプル画像に基づいて学習された結果得られた４つの識別器を用い、各識別器から得られた識別ポイントを加算して識別を行う。

同様に、「夕焼け」のシーンについても、「夕焼け」のサンプル画像を用いて識別器群２３を選択し（具体的には、例えば、図２に示す「夕焼け」シーンの４種類の特徴量に対応した識別器を４つ用意する）、識別部２０で「夕焼け」のシーンであるか否かを識別は、「夕焼け」のサンプル画像を学習した結果得られた識別器群２３を用い、各識別器から得られた識別ポイントを加算して識別を行う。

図１４は、本実施形態に係る分類部２５が「水中」「夜景」「夕焼け」「その他」のいずれのシーンであるかに分類する流れの一例を示したフローチャートである。以下、各ステップにおける処理について、詳細に説明する。

まず、ステップ１３０において、画像入力受付部１４から画像が入力され、ステップ１３１において、その入力された画像より特徴量導出部１８を用いて「水中」のシーンを識別する濃度Ｂの平均値、濃度Ｂの（８０％点）−（２０％点）の値および色差Ｃｂの７０％点の値の３つの特徴量（図２参照）を算出し、「水中」のシーンを識別する識別器群２１の各識別器から識別ポイントを獲得する。獲得したすべての識別ポイントを加算して、その加算値の正負によって「水中」のシーンであるか否かの識別を行なう。

ステップ１３２において、加算値が正の場合には、ステップ１３３で「水中」のシーンでと判定し、加算値が負の場合には、ステップ１３４に進み、「夜景」のシーンであるかの識別を行う。ステップ１３４において、特徴量導出部１８を用いて「夜景」のシーンを識別する輝度Ｙ平均値、彩度６０％点、彩度（７０％点）−（３０％点）、濃度Ｂの平均値の４つの特徴量（図２参照）を算出し、「夜景」のシーンを識別する識別器群２２の各識別器から識別ポイントを獲得し、その識別ポイントを加算した加算値によって「夜景」のシーンであるか否かの識別を行なう。

ステップ１３６において、加算値が正の場合にはステップ１３７で「夜景」のシーンであるものと判定し、加算値が負の場合には、ステップ１３８に進み、「夕焼け」のシーンであるか否かの判定を、上述と同様に、「夕焼け」のシーンを識別する濃度Ｒ７０％点、輝度Ｙ９０％点、濃度Ｒ９０％点、色差Ｃｒ平均値の４つの特徴量（図２参照）を算出し、「夕焼け」のシーンを識別する識別器群２３を用いて「夕焼け」のシーンであるか否かを判定する。同様に、ステップ１３９において、加算値が正の場合には、ステップ１４０で「夜景」のシーンであるものと判定し、加算値が負の場合には、ステップ１４１で「その他」のシーンであるものと判定する。

上述では、「水中」「夜景」「夕焼け」の順番で識別を行う場合について説明したが、短い撮影間隔で撮影された画像データを判定する場合には、同一のシーンである可能性が高いので、前の画像で判定されたシーンを最初に識別するようするものが望ましい。例えば、撮影間隔が短い間隔で撮影された前の画像が「夕焼け」が判定された場合には、次の画像も「夕焼け」のシーンである可能性が高く、次の画像の判定をおこなう際に「夕焼け」の識別を最初に行うようにすることによって他の識別処理が不要となる可能性が高くなり、処理を効率化することが可能になる。

あるいは、図１５のフローチャートに示すように、分類部２５で「水中」「夜景」「夕焼け」のシーンの識別を並列に行うようにしてもよい。

そこで、ステップ１４２で画像が入力されると、ステップ１４２、ステップ１４４、ステップ１４６において、特徴量導出部１８で算出した特徴量をそれぞれ識別器群２１（「水中」のシーン）、２２（「夜景」のシーン）、２３（「夕焼け」のシーン）に入力して識別ポイントを算出し、ステップ１４８で入力された画像データは識別器群２１、２２、２３から得た加算した識別ポイントが最大となるシーンであると判定する。ただし、このとき最大となる識別ポイントが所定の閾値を越えていない場合には、「その他」のシーンであると判断する。

ここでは第１の実施の形態で説明した方法を用いて、識別を行う場合について説明を行ったが、他のいかなる手法であってもよい。たとえば、クラスタリングやブースティング等の名称で知られている、一般に用いられる機械的学習手法を用いてもよい。また、特徴量は、本実施の形態で説明したものに限らず熟練した技術者により経験的に定められたものであってもよい。

また、本実施の形態に、第２の実施の形態で説明したように、追加学習を行う構成を追加するようにしてもよい。

次に、本発明の第５の実施形態について説明する。本実施の形態では、デジタルスチールカメラやカメラ付携帯電話などの撮像装置と、モニタやプリンタやラボに置かれる機器（フォトバンクのサーバなども含む）などの出力装置からなるシステムについて具体的に説明する。以下の実施の形態では、前述の実施の形態と同様のものには、同一符号を付して詳細な説明は省略する。

図１６に示すように、本実施の形態のシステム１５０は、撮像装置１５２と出力装置１５４とを備える。また、撮像装置は、リナックスやＴＲＯＮなどのＯＳ（operating system）を備える構成とし、ファイル管理機能などＯＳで提供される機能を利用できるものが望ましい。

撮像装置１５２は、撮影して画像データを取得する撮像部１５６と、撮像部１５６で獲得された画像データを分類するシーン分類部（シーン分類装置）１１と、画像データのシーンに応じて画像処理を施す画像処理部１５８とを備える。

画像処理部１５８は、ホワイトバランスの修正、明るさの調整、階調補正、シャープネス補正などの画像処理を画像データに自動的に施すが、シーン分類部１１で分類されたシーンに応じた画像処理が画像データに施される。具体的には、例えば、ホワイトバランスを修正する際に、通常の画像（例えば、「水中」「夜景」「夕焼け」「その他」に分類する場合には、「その他」のシーンに分類された場合）に対しては、RGBのヒストグラムをそれぞれ求め、全体がグレーになるようにRGBの濃度を調整するが、「水中」のシーンと判定された画像は、ホワイトバランスが崩れて「Ｂ」の濃度が高い状態が正常な状態であるのでホワイトバランスの修正は行わないようにする。また、明るさを調整する処理では、「夜景」のシーンと判定された画像は全体が暗いのが通常の状態であるので、全体を明るくするような補正は行わないようにする。

出力装置１５４は、画像処理の施された画像データをネットワーク経由で受信したり、撮像装置１５２で一旦記録媒体に記録した画像データを出力装置１５４が読み取って、その画像を出力装置１５４の出力部１５３のモニタに表示したり、プリントを行ったり、ラボに置かれるフォトバンクなどの記憶手段に記憶して保管する。

あるいは、図１７のシステム１５０ａに示すように、画像処理部１５８を撮像装置１５２に設けず、出力装置１５４に設けるようにしてもよい。この場合、シーン分類部１１によって得られたシーン情報を付帯情報付加部１６０で画像データに付帯情報（例えば、Ｅｘｉｆのタグ情報など）として付加し、シーン情報が付帯された画像データを出力装置１５４に受け渡すようにしてもよい。このように出力装置１５４に画像処理部１５８を設けた構成にすることにより、出力装置１５４の特性に応じた画像処理を施すことが可能となる。

次に、本発明の第６の実施形態について説明する。本実施の形態では、デジタルスチールカメラやカメラ付携帯電話などの撮像装置と、ＰＣなどの画像処理装置と、モニタやプリンタやラボに置かれる機器などの出力装置からなるシステムについて具体的に説明する。

図１８に示すように、本実施の形態のシステム１６２は、撮像装置１５２と画像処理装置１６４と出力装置１５４とを備える。

撮像装置１５２は、撮影して画像データを取得する撮像部１５６を備え、画像処理装置１６２には、画像データを分類するシーン分類部１１と、画像データのシーンに応じて画像処理を施す画像処理部１５８とを備える。

画像処理装置１６４は、画像データを撮像装置１５２からネットワーク経由で受信したり、撮像装置１５２で一旦記録媒体に記録した画像データを画像処理装置１６４が読み取ってシーン分類部１１に受け渡し、画像処理部１５８で分類されたシーンに応じた画像処理を画像データに施す。

さらに、ネットワークや記録媒体を介して画像処理の施された画像データが画像処理装置１６４により出力装置１５４に送られ、出力装置１５４では、画像処理が施された画像データをモニタに表示したり、プリントしたり、ラボに置かれるフォトバンクなどの記憶手段に記憶するようにする。

あるいは、図１９のシステム１６２ａに示すように、画像処理部１５８を画像処理装置１６４に設けず、出力装置１５４に設けるようにしてもよい。この場合、シーン分類部１１によって分類して得られたシーン情報を付帯情報付加部１６０で画像データの付帯情報（例えば、Ｅｘｉｆのタグ情報など）として付加し、シーン情報が付帯された画像データを出力装置に受け渡すようにする。このように出力装置１５４に画像処理部１５８を設けた構成にすることにより、出力装置１５４の特性に応じた画像処理を施すことが可能となる。

さらに、図２０のシステム１６２ｂに示すように、画像処理装置１６４がシーン分類部１１のみを備える構成とし、画像処理装置１６４は画像データを撮像装置１５２からネットワーク経由などで受け取ってシーンを分類し、その結果得られたシーン情報のみをネットワーク経由などで再度撮像装置１５２に転送するようにしてもよい。

次に、本発明の第７の実施形態について説明する。本実施の形態では、デジタルスチールカメラやカメラ付携帯電話などの撮像装置と、モニタやプリンタやラボに置かれる機器などの出力装置からなるシステムについて説明するが、本実施の形態では、出力装置にシーン分類の機能を持たせる場合について説明する。

図２１に示すように、本実施の形態のシステム１６６の撮像装置１５２は、撮影して画像データを取得する撮像部１５６のみを備え、出力装置１５４が、画像データを分類するシーン分類部１１と、画像データのシーンに応じて画像処理を施す画像処理部１５８とを備える。

出力装置１５４は、ネットワークや記録媒体を介して撮像装置１５２から画像データを受け取り、シーン分類部１１でのシーンを分類して、画像処理部１５８で分類されたシーンに応じた画像処理を画像データに施す。

以上、実施の形態５から７において、撮像装置、画像処理装置および出力装置のいずれかにシーンを分類するシーン分類部を設けた場合について説明したが、分類した画像データはシーンに分けて、撮像装置や画像処理装置や出力装置に装備される記憶装置（フォトバンクのサーバや記録媒体など）内で別のファルダに分けて記憶して管理するようにしてもよい。また、出力装置（例えば、具体的にはラボに置かれるフォトバンク用のサーバコンピュータなど）において画像データをフォルダに分けて管理している場合には、インデックスプリントをフォルダ別に作成するようにしてもよい。

また、前述の第３の実施の形態で説明したように、特定シーンの画像を選別する装置１０をいずれの装置に設けるかによって、装置１０のプログラムの実行環境に応じた計算能力や所望の処理速度に応じて識別器が用いる特徴量の種類や、装置１０でシーンの識別に用いる特徴量の数を変更するようにしてもよい。

次に、本発明の第８の実施形態について説明する。本実施の形態では、デジタルスチールカメラやカメラ付携帯電話などの撮像装置にシーン分類の機能を持たせ、撮像装置で設定される撮影モードとの連動させる方法について具体的に説明する。

撮像装置１５２は、図２２に示すように、撮影して画像データを取得する撮像部１５６と、撮像部１５６で獲得された画像データを分類するシーン分類部１１と、画像データのシーンに応じて画像処理を施す画像処理部１５８と、撮影時に撮影モードなどシーンを特定する情報を取得するシーン特定情報取得部１７０とを備える。

デジタルスチールカメラなどの撮像装置１５２には、「夜景」モードや「夕焼け」モードなど撮影モードを指定する機能を備えたものがあり、撮影時に撮影者が撮影を行う周囲の状況を考慮して撮影モードを指定して、指定された撮影モードに応じた撮影が行なわれる。

シーン特定情報取得部１７０は、撮影者が指定した撮影モードのシーンを特定する情報として取得し、シーン分類部１１はこの撮影モードに応じた画像であるか判定する。

図２３は、本実施形態に係る撮像装置が実行する処理の流れを示したフローチャートである。以下、各ステップにおける処理について、詳細に説明する。

ステップ１８０において、撮像部１５６が画像データを取得したときの撮影モードが、撮影時に撮影者が自動撮影モードを選択している撮影している場合には（ステップ１８２）、ステップ１８４において、シーン分類部１１で分類し、続いてステップ１８６において、画像処理部１５８で分類されたシーンに応じた画像処理を画像データに施す。

撮影者が、例えば「夜景」の撮影モードを選択して撮影を行った場合には（ステップ１８２）、ステップ１８８において、撮像部１５６が取得した画像データをシーン分類部１１で分類し、分類結果が「夜景」のシーンであると判定された場合には（ステップ１９０）、そのままステップ１９２の「夜景」のシーンに応じた画像処理を施すが、分類結果が「夜景」のシーンではないと判定された場合には（ステップ１９０）、ステップ１９４において、デジタルスチールカメラのＬＣＤ表示部などに撮影モードの確認を促すように、「夜景モードで画像処理を行いますか」というような警告表示を行う。

ステップ１９６において、撮影者がそのまま夜景モードで画像処理を行うように指示した場合には、ステップ１９２の夜景モードの画像処理を行うが、撮影者から夜景モードで画像処理を行わないように指示された場合には、ステップ１９８の通常の画像処理を施す。

さらに、ステップ２００において、分類されたモードに従って、画像データにシーン情報（例えば、Ｅｘｉｆのタグ）を付帯して記録媒体や撮影装置のメモリ等に記録する。

上述のシーン分類部１１は、「水中」「夜景」「夕焼け」「その他」のいずれかのシーンに分類するものであってもよいし、「夜景」であるか否かのみを判断するものであってもよい。

上述では撮影者が設定した撮影モードに応じて、モードの設定と撮影された画像が一致しているかについて連動させる場合について説明したが、撮影者が設定した撮影モード以外に撮影時間やストロボＯＮで撮影したがなどの情報をシーン特定情報取得部１７０においてシーンを特定する情報として取得するようにしてもよい。

例えば、撮像装置内に備えた時計の示す撮影時刻が夜であれば、「夜景」のシーンの可能性はあるが、晴天の屋外で撮影された「青空」のシーンである可能性は低い。そこで、「夜景」のシーンを判定する閾値を下げたり、「夜景」のシーンの識別ポイントを増加させたりすることによって「夜景」のシーンに識別されやすくするようにしてもよい。さらに、「夜景」のシーンの可能性が高く、「晴天」のシーンの可能性がほとんどない場合には、「晴天」のシーンの判別は、スキップするようにしてもよい。

また、ストロボＯＮで撮影された場合には、晴天のシーンである可能性は低いので「晴天」のシーンはスキップするようにしてもよい。

さらに、カメラに、時計と、撮影方向を検出するセンサーと、ＧＰＳ等を用いて撮影位置を検出するような位置検出センサーとを設けるようにすれば、撮影時刻とカメラの撮影方向と撮影した位置から太陽とカメラの位置との関係を知ることができ、昼間に太陽の方向を向いていれば逆光で撮影された可能性があるかがわかる。そこで、これらの情報をシーンを特定する情報として取得し、シーンを識別する際に逆光で撮影されたときの情景に応じた識別を行うようにしてもよい。

このように、シーンを特定する情報を取得するようにすることにより、この情報を算用してシーンを判定する精度を上げることが可能になる。

また、撮像装置で得たシーンを特定する情報を付帯情報として画像に付加するようにしておけば、画像のシーンの識別を撮像装置以外の装置で行う場合であっても、このシーンを特定する情報を参照してシーンの判定精度を上げることが可能になる。

上述では、撮影して得られた自然画像について説明したが、特徴量を変えることによって、コンピュータグラッフィクなどで作成された人工画像と自然画像であるかの識別にも用いることが可能である。

以上、本発明の各実施形態およびその変更例について詳細に述べたが、これらを組み合わせた形態等も、当然ながら本発明の技術的範囲に含まれるものである。その他、上記の各実施形態および変更例は例示的なものに過ぎず、本発明の技術的範囲は、特許請求の範囲のみによって定められるべきものであることは言うまでもない。

本発明の第１の実施形態に係る特定シーンの画像を選別する装置の構成を示したブロック図 図１の装置が用いる参照データの例を示した図 図２に示した参照データを規定するための学習手法の流れを示したフローチャート 図２の識別条件を確定する基となる識別器の導出方法を示した図 図１の装置が行なう識別処理の流れを示したフローチャート 本発明の第２の実施形態に係る特定シーンの画像を選別する装置の構成を示したブロック図 本発明の第３の実施形態に係る特定シーンの画像を選別するプログラムが、コンピュータに実行させる処理の流れを示したフローチャート 図７の処理で使用される実行環境−計算量データの例を示した図 図７の処理で使用される特徴量−計算量データの例を示した図 本発明の第３の実施形態の変更例において使用される参照データの例を示した図 高画質モードと通常モードで使用される計算量データの限界値の例を示した図 高画質モードと通常モードの参照データの例を示した図 本発明の第４の実施形態に係るシーン分類装置の構成を示したブロック図 本発明の第４の実施形態に係るシーンを分類するプログラムが、コンピュータに実行させる処理の流れを示したフローチャート 本発明の第４の実施形態に係るシーンを分類するプログラムが、コンピュータに実行させる処理の変更例の流れを示したフローチャート 本発明の第５の実施形態に係るシステムの構成を示したブロック図 本発明の第５の実施形態に係るシステムの変更例の構成を示したブロック図 本発明の第６の実施形態に係るシステムの構成を示したブロック図 本発明の第６の実施形態に係るシステムの変更例の構成を示したブロック図（その１） 本発明の第６の実施形態に係るシステムの変更例の構成を示したブロック図（その２） 本発明の第７の実施形態に係るシステムの構成を示したブロック図 本発明の第８の実施形態に係る撮像装置の構成を示したブロック図 本発明の第８の実施形態に係る撮像装置で実行させる処理の流れを示したフローチャート

符号の説明

１０ 装置
１１ シーン分類部
１２ シーン指定受付部
１４ 画像入力受付部
１６ メモリ
１８ 特徴量導出部
２０ 識別部
２１、２２、２３ 識別器群
１５２ 撮像装置
１５３ 出力部
１５４ 出力装置
１５６ 撮像部
１５８ 画像処理部
１６０ 付帯情報付加部
１６４ 画像処理装置
１７０ シーン特定情報取得部

Claims (7)

1. 所望の特定シーンの指定を受け付けるシーン指定受付手段と、
   選別対象の画像データの入力を受け付ける画像入力受付手段と、
   前記特定シーンとして指定され得る複数のシーンのそれぞれに対応した、各シーンの識別に用いる少なくとも１つの特徴量の種類と該少なくとも１つの特徴量の各々に対応する識別条件とを予め規定した参照データを記録した差替可能な記録媒体より前記参照データの入力を受け付ける参照データ入力受付手段と、
   前記複数のシーンの識別に用いられる全ての特徴量を前記画像データから算出可能な算出手段を有し、前記特定シーンに対応する参照データを参照して、該特定シーンの識別に用いる前記少なくとも１つの特徴量を前記算出手段を用いて導出する特徴量導出手段と、
   前記特徴量導出手段により導出された前記少なくとも１つの特徴量の各々に基づいて、前記参照データが規定する前記対応する識別条件を参照し、前記画像データが前記シーン指定受付手段において指定された前記特定シーンの画像のデータであるか否かを識別する識別手段とを備え、
   前記参照データが、前記複数のシーンの各々について、該シーンであることが分かっている複数の画像と該シーンでないことが分かっている複数の画像からなる重み付きサンプル画像群を、予め学習することにより決定されたものであって、
   前記複数のシーンの各々についての前記学習が、
   前記重み付きサンプル画像群をなす各画像の重みの初期値を等しい値に設定する工程と、
   前記複数のシーンの識別に用いられ得る複数の特徴量の各々に対応する識別器のうち、前記重み付きサンプル画像群をなす現在の学習対象のシーンである複数の画像と該現在の学習対象のシーンでない複数の画像とを識別するのに最も有効な識別器を選択する工程と、
   前記重み付きサンプル画像群をなす画像のうち、直前の前記選択する工程で選択された前記識別器によっては正しく識別されない画像の重みが該画像の現在の重みよりも高くなり、かつ／または該識別器によって正しく識別される画像の重みが該画像の現在の重みよりも低くなるように、各画像の前記重みを更新する工程と、
   前記選択する工程および前記更新する工程を、選択された前記識別器の組合せの正答率が所定の基準を超えるまで繰り返す工程と、
   選択された前記識別器に基づいて、前記現在の学習対象のシーンの識別に用いる前記少なくとも１つの特徴量の種類と前記識別条件を確定する工程とを含む方法によるものであり、
   前記複数の特徴量の各々に対応する識別器が、前記現在の学習対象のシーンである複数の画像の各々が示す該特徴量の値のヒストグラムの各頻度値と、前記現在の学習対象のシーンでない複数の画像の各々が示す該特徴量の値のヒストグラムの各頻度値との、比または差分に基づいて得られたグラフを前記識別条件とするものであることを特徴とする特定シーンの画像を選別する装置。
2. 前記識別手段により正しい識別結果が得られなかった画像データについて、該画像データが示す正しいシーンの指定を受け付ける正解受付手段と、
   前記正しいシーンの指定が受け付けられた前記画像データを学習することにより、前記参照データを更新する追加学習手段とをさらに備えていることを特徴とする請求項１記載の特定シーンの画像を選別する装置。
3. 撮像した画像データを取得する撮像手段と、
   所望の特定シーンの指定を受け付けるシーン指定受付手段と、
   前記特定シーンとして指定され得る複数のシーンのそれぞれに対応した、各シーンの識別に用いる少なくとも１つの特徴量の種類と該少なくとも１つの特徴量の各々に対応する識別条件とを予め規定した参照データを記録した差替可能な記録媒体より前記参照データの入力を受け付ける参照データ入力受付手段と、
   前記複数のシーンの識別に用いられる全ての特徴量を前記画像データから算出可能な算出手段を有し、前記特定シーンに対応する参照データを参照して、該特定シーンの識別に用いる前記少なくとも１つの特徴量を前記算出手段を用いて導出する特徴量導出手段と、
   前記特徴量導出手段により導出された前記少なくとも１つの特徴量の各々に基づいて、前記参照データが規定する前記対応する識別条件を参照し、前記画像データが前記シーン指定受付手段において指定された前記特定シーンの画像のデータであるか否かを識別する識別手段とを備え、
   前記参照データが、前記複数のシーンの各々について、該シーンであることが分かっている複数の画像と該シーンでないことが分かっている複数の画像からなる重み付きサンプル画像群を、予め学習することにより決定されたものであって、
   前記複数のシーンの各々についての前記学習が、
   前記重み付きサンプル画像群をなす各画像の重みの初期値を等しい値に設定する工程と、
   前記複数のシーンの識別に用いられ得る複数の特徴量の各々に対応する識別器のうち、前記重み付きサンプル画像群をなす現在の学習対象のシーンである複数の画像と該現在の学習対象のシーンでない複数の画像とを識別するのに最も有効な識別器を選択する工程と、
   前記重み付きサンプル画像群をなす画像のうち、直前の前記選択する工程で選択された前記識別器によっては正しく識別されない画像の重みが該画像の現在の重みよりも高くなり、かつ／または該識別器によって正しく識別される画像の重みが該画像の現在の重みよりも低くなるように、各画像の前記重みを更新する工程と、
   前記選択する工程および前記更新する工程を、選択された前記識別器の組合せの正答率が所定の基準を超えるまで繰り返す工程と、
   選択された前記識別器に基づいて、前記現在の学習対象のシーンの識別に用いる前記少なくとも１つの特徴量の種類と前記識別条件を確定する工程とを含む方法によるものであり、
   前記複数の特徴量の各々に対応する識別器が、前記現在の学習対象のシーンである複数の画像の各々が示す該特徴量の値のヒストグラムの各頻度値と、前記現在の学習対象のシーンでない複数の画像の各々が示す該特徴量の値のヒストグラムの各頻度値との、比または差分に基づいて得られたグラフを前記識別条件とするものであることを特徴とする撮像装置。
4. 撮影時に前記シーンを特定する情報を取得するシーン特定情報取得手段をさらに有し、
   前記シーン指定受付手段が、該シーン特定情報取得手段により取得された前記シーンを特定する情報に基づいてシーンの指定を受け付けるものであることを特徴とする請求項３記載の撮像装置。
5. コンピュータを、
   所望の特定シーンの指定を受け付けるシーン指定受付手段、
   選別対象の画像データの入力を受け付ける画像入力受付手段、
   前記特定シーンとして指定され得る複数のシーンのそれぞれに対応した、各シーンの識別に用いる少なくとも１つの特徴量の種類と該少なくとも１つの特徴量の各々に対応する識別条件とを予め規定した参照データを記録した差替可能な記録媒体より前記参照データの入力を受け付ける参照データ入力受付手段、
   前記複数のシーンの識別に用いられる全ての特徴量を前記画像データから算出可能な算出手段を有し、前記特定シーンに対応する参照データを参照して、該特定シーンの識別に用いる前記少なくとも１つの特徴量を前記算出手段を用いて導出する特徴量導出手段、および
   前記特徴量導出手段により導出された前記少なくとも１つの特徴量の各々に基づいて、前記参照データが規定する前記対応する識別条件を参照し、前記画像データが前記シーン指定受付手段において指定された前記特定シーンの画像のデータであるか否かを識別する識別手段として機能させる、特定シーンの画像を選別するためのプログラムであって、
   前記参照データが、前記複数のシーンの各々について、該シーンであることが分かっている複数の画像と該シーンでないことが分かっている複数の画像からなる重み付きサンプル画像群を、予め学習することにより決定されたものであって、
   前記複数のシーンの各々についての前記学習が、
   前記重み付きサンプル画像群をなす各画像の重みの初期値を等しい値に設定する工程と、
   前記複数のシーンの識別に用いられ得る複数の特徴量の各々に対応する識別器のうち、前記重み付きサンプル画像群をなす現在の学習対象のシーンである複数の画像と該現在の学習対象のシーンでない複数の画像とを識別するのに最も有効な識別器を選択する工程と、
   前記重み付きサンプル画像群をなす画像のうち、直前の前記選択する工程で選択された前記識別器によっては正しく識別されない画像の重みが該画像の現在の重みよりも高くなり、かつ／または該識別器によって正しく識別される画像の重みが該画像の現在の重みよりも低くなるように、各画像の前記重みを更新する工程と、
   前記選択する工程および前記更新する工程を、選択された前記識別器の組合せの正答率が所定の基準を超えるまで繰り返す工程と、
   選択された前記識別器に基づいて、前記現在の学習対象のシーンの識別に用いる前記少なくとも１つの特徴量の種類と前記識別条件を確定する工程とを含む方法によるものであり、
   前記複数の特徴量の各々に対応する識別器が、前記現在の学習対象のシーンである複数の画像の各々が示す該特徴量の値のヒストグラムの各頻度値と、前記現在の学習対象のシーンでない複数の画像の各々が示す該特徴量の値のヒストグラムの各頻度値との、比または差分に基づいて得られたグラフを前記識別条件とするものであることを特徴とする特定シーンの画像を選別するためのプログラム。
6. 請求項５記載の特定シーンの画像を選別するためのプログラムを記録したコンピュータ読取可能な記録媒体。
7. 所望の特定シーンの指定を受け付けるシーン指定受付手段により前記特定シーンの指定を受け付けるステップと、
   選別対象の画像データの入力を受け付ける画像入力受付手段により前記画像データの入力を受け付けるステップと、
   前記特定シーンとして指定され得る複数のシーンのそれぞれに対応した、各シーンの識別に用いる少なくとも１つの特徴量の種類と該少なくとも１つの特徴量の各々に対応する識別条件とを予め規定した参照データを記録した差替可能な記録媒体より前記参照データの入力を受け付ける参照データ入力受付手段により前記参照データの入力を受け付けるステップと、
   前記複数のシーンの識別に用いられる全ての特徴量を前記画像データから算出可能な算出手段を有し、前記特定シーンに対応する参照データを参照して、該特定シーンの識別に用いる前記少なくとも１つの特徴量を前記算出手段を用いて導出する特徴量導出手段により前記特定シーンの識別に用いる前記少なくとも１つの特徴量を導出するステップと、
   前記特徴量導出手段により導出された前記少なくとも１つの特徴量の各々に基づいて、前記参照データが規定する前記対応する識別条件を参照し、前記画像データが前記シーン指定受付手段において指定された前記特定シーンの画像のデータであるか否かを識別する識別手段により前記画像データが前記特定シーンの画像のデータであるか否かを識別するステップとからなり、
   前記参照データが、前記複数のシーンの各々について、該シーンであることが分かっている複数の画像と該シーンでないことが分かっている複数の画像からなる重み付きサンプル画像群を、予め学習することにより決定されたものであって、
   前記複数のシーンの各々についての前記学習が、
   前記重み付きサンプル画像群をなす各画像の重みの初期値を等しい値に設定する工程と、
   前記複数のシーンの識別に用いられ得る複数の特徴量の各々に対応する識別器のうち、前記重み付きサンプル画像群をなす現在の学習対象のシーンである複数の画像と該現在の学習対象のシーンでない複数の画像とを識別するのに最も有効な識別器を選択する工程と、
   前記重み付きサンプル画像群をなす画像のうち、直前の前記選択する工程で選択された前記識別器によっては正しく識別されない画像の重みが該画像の現在の重みよりも高くなり、かつ／または該識別器によって正しく識別される画像の重みが該画像の現在の重みよりも低くなるように、各画像の前記重みを更新する工程と、
   前記選択する工程および前記更新する工程を、選択された前記識別器の組合せの正答率が所定の基準を超えるまで繰り返す工程と、
   選択された前記識別器に基づいて、前記現在の学習対象のシーンの識別に用いる前記少なくとも１つの特徴量の種類と前記識別条件を確定する工程とを含む方法によるものであり、
   前記複数の特徴量の各々に対応する識別器が、前記現在の学習対象のシーンである複数の画像の各々が示す該特徴量の値のヒストグラムの各頻度値と、前記現在の学習対象のシーンでない複数の画像の各々が示す該特徴量の値のヒストグラムの各頻度値との、比または差分に基づいて得られたグラフを前記識別条件とするものであることを特徴とする特定シーンの画像を選別する方法。

Images