JP4397667B2 - 識別処理に用いる特徴量の種類と識別条件を決定する装置、プログラムならびにプログラムを記録した記録媒体、および特定内容のデータを選別する装置 - Google Patents

Description

本発明は、画像データ等の対象データが特定内容のデータであるか否かを識別する識別処理に用いる特徴量の種類と識別条件を決定する装置、プログラムならびにプログラムを記録した記録媒体、および特定内容のデータを選別する装置に関するものである。

近年、画像データ等の対象データが特定内容のデータであるか否かを識別する識別処理に用いる基準を決定するために、サンプルデータ群を学習する種々の手法が提案されている。

たとえば、特許文献１には、人物の顔部分を含む画像と含まない画像とを識別する識別処理に用いるために、顔部分を含むことが分かっている複数のサンプル画像と顔部分を含まないことが分かっている複数のサンプル画像の各々から、輝度値等の決められた種類の特徴量を成分とする特徴ベクトルその他のパラメータを導出し記録しておく手法が記載されている。識別処理においては、すべてのサンプル画像についての上記のパラメータと対象画像から導出された特徴ベクトルの各成分とを変数とする評価関数を用いて、その評価関数値の正負に基づいて、対象画像が顔部分を含む画像であるか否かが識別される。

また、特許文献２には、放射線画像から濃度勾配の集中度等に基づいて抽出した候補領域の陰影が、悪性腫瘤等の陰影であるか否かを識別する識別処理に用いるために、悪性であることが分かっている陰影の複数のサンプル画像と悪性でないことが分かっている陰影の複数のサンプル画像の各々から、濃度ヒストグラムに基づく特徴量等の決められた種類の複数の特徴量を抽出して、ニューラルネットワーク等を用いた学習を行なう手法が記載されている。

さらに、非特許文献１等には、一般に用いられる機械的学習手法として、ブースティングと呼ばれる手法およびその変形であるエイダブースト（Ａｄａｂｏｏｓｔ）と呼ばれる手法が記載されている。たとえば、２つの特徴量ｘ_１およびｘ_２に対応する軸を有する特徴量平面上に分布するデータ点を、ある特定内容のデータを示すデータ点とそうでないデータ点との２つに分類するための学習について説明すると、ブースティングは、上記の特定内容のデータを示すことが分かっている複数のデータ点とそうでないことが分かっている複数のデータ点からなるサンプルデータ点群の中から、データ点の第１の組を選択し、それら第１の組のデータ点を最も良好に分類する特徴量平面上の第１の直線または比較的単純な曲線を特定し、次にその第１の直線または曲線では良好に分類できないデータ点の第２の組を選択し、それら第２の組のデータ点を最も良好に分類する第２の直線または曲線を特定し、・・・という処理を繰り返して学習を行なうものである。最後に、一連の処理で特定された複数の直線または曲線を総合して、多数決の手法等により、特徴量平面を分割する最適な線が決定される。一方、エイダブーストは、上記と同様のサンプルデータ点群をなす各データ点に重みを割り当て、すべてのデータ点を用いてそれらを最も良好に分類する特徴量平面上の第１の直線または曲線を特定し、その第１の直線または曲線では正しく分類できなかったデータ点の重みを高くし、次に各データ点の重みを加味してデータ点を最も良好に分類する第２の直線または曲線を特定し、・・・という処理を繰り返して学習を行なうものである。
特開２００３−４４８５３号公報 特開２００２−７４３２５号公報 Richard O. Duda, Peter E. Hart, David G. Stork著、江尻公一訳、「パターン識 別」、株式会社新技術コミュニケーションズ、２００１年、ｐ．４８４−４８８

しかしながら、１つまたは複数の特徴量を指標として対象データが特定内容のデータであるか否かを識別する識別処理を行なう場合、高い識別精度を実現する有用な特徴量の種類は、特定内容によって異なる。たとえば、画像データが特定シーンの画像のデータであるか否かを識別する識別処理の場合、特定シーンが全体的に暗い「夜景」のシーンであれば、輝度や明度に関する特徴量が最も有用な指標となるかもしれないが、特定シーンが「水中」のシーンであれば、輝度や明度よりも青色の濃度に関する特徴量等の方が有用であるかもしれない。ここで、特定内容ごとの識別に用いる特徴量の種類を、熟練した技術者が学習に先立って経験的に決定し、それらの決められた特徴量に関してのみ学習を行なってもよいが、実際にどの特徴量が最も有用な指標であるかを経験的に判断することは難しい。

特に、複数の特徴量を指標とする場合には、単に単独で見たときに有用な指標であるものから順に複数の特徴量を選択して組み合わせて用いても、必ずしも組合せの効果が高いとは言えない。たとえば、傾向が似ている特徴量ばかりを組み合わせて用いて識別処理を行なっても、各特徴量を単独で用いた場合と比べて組合せの効果はほとんどない。上記のとおり、単独で最も有用な指標となる特徴量ですら経験的に決定することは難しいため、複数の特徴量を用いる場合にどの特徴量を用いると組合せの効果が高いかを決定するとなると、経験的に行なうことは極めて困難である。

本発明は、上記事情に鑑み、識別処理に用いる識別条件を決定するための学習において、使用する特徴量の種類をも併せて自動的に選択し、しかも、高い組合せの効果が得られるようにそれらの特徴量の種類の選択を行なう装置、プログラムおよびプログラムを記録した記録媒体を提供することを目的とするものである。さらに、本発明は、組合せの効果が高い特徴量の種類と識別条件とを規定した参照データを用いて、所望の特定内容のデータを精度良く選別する装置を提供することも目的とするものである。

すなわち、本発明に係る識別処理に用いる特徴量の種類と識別条件を決定する装置は、対象データが特定内容のデータであるか否かを識別する識別処理に用いる少なくとも１つの特徴量の種類と、それらの特徴量の各々に対応する識別条件とを決定する装置であって、上記の識別処理に用いられ得る複数の特徴量から、各々少なくとも１つの特徴量からなる複数の特徴量群を規定する特徴量群規定手段と、それらの複数の特徴量群に対応する複数の識別器群であって、それらの複数の識別器群を構成する各識別器が、上記の特定内容のデータであることが分かっている複数のデータと、特定内容のデータでないことが分かっている複数のデータとからなる第１のサンプルデータ群に基づいて作成されたものである、複数の識別器群を規定する識別器群規定手段と、上記の第１のサンプルデータ群をなすデータの全部または一部に対する複合識別精度が最も高い１つの識別器群を選択する識別器群選択手段と、所定数の識別器群もしくは複合識別精度が所定の基準を超えるすべての識別器群が選択されるまで、または選択された識別器群の正答率が所定の基準を超えるまで、上記の識別器群選択手段を繰返し動作させる手段と、上記の識別器群選択手段により選択されたすべての識別器群に基づいて、上記の識別処理に用いる少なくとも１つの特徴量の種類と識別条件とを決定する決定手段とを備えていることを特徴とするものである。

ここで、本発明において「対象データ」とは、特定内容のデータであるか否かを識別する識別処理の対象となるものであればいかなるデータであってもよく、例としては、以下に詳述する画像データのほか、特定人物の声であるか否か等の識別処理の対象となる音声データ等が挙げられる。また、対象データが画像データである場合、その画像データは１枚の画像全体に関するデータであっても、１枚の画像に含まれる一部の領域についてのデータであってもよい。したがって、以下に述べる特定シーンであるか否かを識別する処理のほか、たとえば、１枚の画像に含まれる１つの領域が、人物等のある特定の被写体に対応する領域であるか否かを識別する処理等も、上記の「識別処理」に含まれるものである。

また、本発明において「特徴量」とは、対象データの特徴を表すパラメータを指す。たとえば、対象データが画像データである場合には、その画像データが表す画像の色の特徴、輝度の特徴、テクスチャーの特徴、奥行情報、その画像に含まれるエッジの特徴その他の特徴を表すあらゆる指標値が、「特徴量」として使用され得る。また、これらの各特徴を表す指標値を複数組み合わせた重み付き加算値等を、「特徴量」として使用してもよい。

さらに、本発明において「識別条件」とは、１つの特徴量を指標とした、特定内容のデータとそうでないデータとを識別する条件を指す。

また、本発明において「識別器」とは、１つの特徴量を用いて特定内容のデータとそうでないデータとを識別する基準を提供するものであって、上記の「識別条件」を決定する基となるものを指す。さらに、本発明において「識別器群」とは、少なくとも１つの「識別器」からなる群を指す。

さらに、本発明において、「複合識別精度」とは、１つ１つの識別器の「識別精度」と区別するための語であり、各識別器群をなす識別器の組合せによる識別精度を指すものである。

また、本発明において、選択された識別器群の「正答率」とは、１回目の動作においては、識別器群選択手段の１回目の動作で選択された１つの識別器群を使用して、２回目以降の動作においてはそれまでの識別器群選択手段の動作により選択された複数の識別器群を組み合わせて使用して、各サンプルデータが特定内容のデータであるか否かを識別した結果が、実際に特定内容のデータであるか否かの答えと一致する率を指す。なお、正答率の評価には、第１のサンプルデータ群をなすデータの全部を使用してもよいし、一部のみを使用してもよい。

さらに、上記には「繰返し動作させる手段」とあるが、識別器群選択手段を１回動作させただけで動作を終了する条件が満たされた場合には、繰返し動作は行なわれないこととなる。また、識別器群選択手段の各動作において複合識別精度の評価に用いられるデータが第１のサンプルデータ群をなすデータの一部である場合には、使用される「データの一部」は、各繰返し動作ごとに異なるものであってもよい。なお、以下に述べるように識別器群選択手段の２回目以降の動作に先立って各識別器が更新される場合においては、繰返し動作において、すでに一度選択されているが識別器の更新により異なるものとなった識別器群が再度選択されてもよいものとする。

上記の本発明に係る特徴量の種類と識別条件を決定する装置においては、上記の第１のサンプルデータ群が、その第１のサンプルデータ群をなすデータの各々に重みが与えられた重み付きサンプルデータ群であり、上記の識別器群選択手段が、各動作ごとに、上記の重みを加味した複合識別精度が最も高い１つの識別器群を選択するものであり、上記の識別器群選択手段の２回目以降の各動作に先立って、直前のその識別器群選択手段の動作により選択された１つの識別器群によっては正しく識別されない各データの重みがそのデータの現在の重みよりも高くなり、かつ／またはその１つの識別器群によって正しく識別される各データの重みがそのデータの現在の重みよりも低くなるように、上記の第１のサンプルデータ群をなす各データの重みを更新する重み更新手段がさらに備わっていてもよい。その場合においては、上記の識別器群選択手段の２回目以降の各動作に先立って、上記の重み更新手段により更新された各データの重みが、上記の複数の識別器群の各々をなす各識別器に加味されるように、各識別器を更新する手段がさらに備わっていてもよい。

ここで、上記のように識別器群選択手段が各動作ごとに「重みを加味した複合識別精度」が最も高い１つの識別器群を選択するものである場合は、各サンプルデータの重みが等しいときには、単純に正しく識別されるサンプルデータの数が最も多い１つの識別器群が選択されるが、各サンプルデータの重みが異なるときには、重みの低いサンプルデータよりも、重みの高いサンプルデータが正しく識別されることにより重点が置かれる。具体的には、たとえばあるサンプルデータＡの重みが別のサンプルデータＢの重みの２倍であるときには、サンプルデータＡを、サンプルデータＢの２つ分相当として数える等して、複合識別精度の評価を行なう。

また、上記の本発明に係る特徴量の種類と識別条件を決定する装置は、上記の識別器群選択手段の２回目以降の各動作に先立って、その識別器群選択手段の直前の動作により選択された１つの識別器群を以降の選択対象から除外する手段をさらに備えていてもよい。

さらに、上記の本発明に係る特徴量の種類と識別条件を決定する装置においては、上記の特徴量群規定手段は、上記の特定内容のデータであることが分かっている複数のデータと、特定内容のデータでないことが分かっている複数のデータとからなる第２のサンプルデータ群に基づいて、上記の複数の特徴量の各々について、対応する識別器を作成する識別器作成手段と、上記の第２のサンプルデータ群をなすデータの全部または一部に対する識別精度が最も高い１つの識別器を選択する動作を、所定数の識別器もしくは識別精度が所定の基準を超えるすべての識別器が選択されるまで、または選択された識別器の正答率が所定の基準を超えるまで、繰返し行なうことにより選択された各識別器に対応する特徴量を、１つの特徴量群を構成する特徴量として特定する特徴量特定手段とを備え、その特徴量特定手段を複数回動作させることにより、上記の複数の特徴量群の各々を構成する特徴量を特定するものであってもよい。

ここで、本発明において「第２のサンプルデータ群」は、第１のサンプルデータ群と同一のものであってもよいし、異なるものであってもよい。

また、本発明において選択された識別器の「正答率」とは、１回目の動作においては、１回目の選択する動作で選択された１つの識別器を使用して、２回目以降の動作においてはそれまでの選択する動作により選択された複数の識別器を組み合わせて使用して、各サンプルデータが特定内容のデータであるか否かを識別した結果が、実際に特定内容のデータであるか否かの答えと一致する率を指す。なお、正答率の評価には、第２のサンプルデータ群をなすデータの全部を使用してもよいし、一部のみを使用してもよい。

さらに、上記には選択する動作を「繰り返し行なう」とあるが、選択する動作を１回行なっただけで動作を終了する条件が満たされた場合には、繰返し動作は行なわれないこととなる。また、各選択する動作において識別精度の評価に用いられるデータが第２のサンプルデータ群をなすデータの一部である場合には、使用される「データの一部」は、各繰返し動作ごとに異なるものであってもよい。なお、以下に述べるように２回目以降の選択する動作に先立って各識別器が更新される場合においては、繰返し動作において、すでに一度選択されているが更新により異なるものとなった識別器が再度選択されてもよいものとする。

また、上記の第２のサンプルデータ群が、その第２のサンプルデータ群をなすデータの各々に重みが与えられた重み付きサンプルデータ群であり、上記の特徴量特定手段が、上記の選択する動作ごとに、重みを加味した識別精度が最も高い１つの識別器を選択するものであり、２回目以降の上記の選択する動作に先立って、直前の選択する動作により選択された１つの識別器によっては正しく識別されない各データの重みがそのデータの現在の重みよりも高くなり、かつ／またはその１つの識別器によって正しく識別される各データの重みがそのデータの現在の重みよりも低くなるように、上記の第２のサンプルデータ群をなす各データの重みを更新するものであってもよい。その場合において、上記の特徴量特定手段は、２回目以降の上記の選択する動作に先立って、上記の第２のサンプルデータ群をなすデータの各々に割り当てられた更新された重みが、上記の識別器作成手段が作成した各識別器に加味されるように、各識別器を更新するものであってもよい。

ここで、上記のように各選択する動作ごとに「重みを加味した識別精度」が最も高い１つの識別器が選択される場合は、各サンプルデータの重みが等しいときには、単純に正しく識別されるサンプルデータの数が最も多い１つの識別器が選択されるが、各サンプルデータの重みが異なるときには、重みの低いサンプルデータよりも、重みの高いサンプルデータが正しく識別されることにより重点が置かれる。具体的には、たとえばあるサンプルデータＡの重みが別のサンプルデータＢの重みの２倍であるときには、サンプルデータＡを、サンプルデータＢの２つ分相当として数える等して、識別精度の評価を行なう。

また、上記の特徴量特定手段は、２回目以降の上記の選択する動作に先立って、直前の選択する動作により選択された１つの識別器を以降の選択対象から除外するものであってもよい。あるいは、上記の特徴量特定手段の２回目以降の各動作に先立って、その特徴量特定手段の直前の動作により１つの特徴量群を構成する特徴量として規定された特徴量に対応するすべての識別器を、以降の選択対象から除外する手段がさらに備わっていてもよい。

あるいは、上記の本発明に係る特徴量の種類と識別条件を決定する装置においては、上記の特徴量群規定手段は、上記の特定内容のデータであることが分かっている複数のデータと、特定内容のデータでないことが分かっている複数のデータとからなる第２のサンプルデータ群に基づいて、上記の複数の特徴量の各々について、対応する識別器を作成する識別器作成手段と、その識別器作成手段が作成した識別器を対応する特徴量に応じて複数のカテゴリーに分け、それらの複数のカテゴリーごとに、上記の第２のサンプルデータ群をなすデータの全部または一部に対する識別精度が最も高い１つの識別器を選択する動作を、所定数の識別器もしくは識別精度が所定の基準を超えるすべての識別器が選択されるまで、または選択された識別器の正答率が所定の基準を超えるまで、繰返し行なうことにより選択された各識別器に対応する特徴量を、１つの特徴量群を構成する特徴量として特定する特徴量特定手段とを備えているものであってもよい。

ここで、上記の第２のサンプルデータ群が、その第２のサンプルデータ群をなすデータの各々に重みが与えられた重み付きサンプルデータ群であり、上記の特徴量特定手段が、各選択する動作ごとに、重みを加味した識別精度が最も高い１つの識別器を選択し、上記の複数のカテゴリーごとの２回目以降の上記の選択する動作に先立って、直前の選択する動作により選択された１つの識別器によっては正しく識別されない各データの重みがそのデータの現在の重みよりも高くなり、かつ／またはその１つの識別器によって正しく識別される各データの重みがそのデータの現在の重みよりも低くなるように、上記の第２のサンプルデータ群をなす各データの重みを更新するものであってもよい。その場合において、上記の特徴量特定手段は、上記の複数のカテゴリーごとの２回目以降の上記の選択する動作に先立って、上記の第２のサンプルデータ群をなすデータの各々に割り当てられた更新された重みが、そのカテゴリーをなす各識別器に加味されるように、そのカテゴリーをなす各識別器を更新するものであってもよい。

また、上記の特徴量特定手段は、上記の複数のカテゴリーごとの２回目以降の上記の選択する動作に先立って、直前の選択する動作により選択された１つの識別器を以降の選択対象から除外するものであってもよい。

さらに、上記の本発明に係る特徴量の種類と識別条件を決定する装置においては、上記の複数の識別器群をなす識別器の各々は、上記の第１のサンプルデータ群をなすデータのうち、上記の特定内容のデータであることが分かっている複数のデータが示すその識別器に対応する特徴量の値のヒストグラムの各頻度値と、上記の特定内容のデータでないことが分かっている複数のデータが示すその識別器に対応する特徴量の値のヒストグラムの各頻度値との、比または差分を表したヒストグラムであってもよい。

ここで、上記の「比または差分を表したヒストグラム」とは、頻度値の比または差分の値をそのまま表したヒストグラムであってもよいし、それらの対数値等を表したヒストグラムであってもよい。

また、上記の本発明に係る特徴量の種類と識別条件を決定する装置においては、上記の対象データおよび第１のサンプルデータ群をなす各データが画像データであり、上記の特定内容が、その対象データが示し得る特定シーンであってもよい。

本発明に係るプログラムは、対象データが特定内容のデータであるか否かを識別する識別処理に用いる少なくとも１つの特徴量の種類と、それらの特徴量の各々に対応する識別条件とを決定するためのプログラムであって、コンピュータを、上記の識別処理に用いられ得る複数の特徴量から、各々少なくとも１つの特徴量からなる複数の特徴量群を規定する特徴量群規定手段、上記の複数の特徴量群に対応する複数の識別器群であって、それらの複数の識別器群を構成する各識別器が、上記の特定内容のデータであることが分かっている複数のデータと、特定内容のデータでないことが分かっている複数のデータとからなるサンプルデータ群に基づいて作成されたものである、複数の識別器群を規定する識別器群規定手段、上記のサンプルデータ群をなすデータの全部または一部に対する複合識別精度が最も高い１つの識別器群を選択する識別器群選択手段、所定数の識別器群もしくは複合識別精度が所定の基準を超えるすべての識別器群が選択されるまで、または選択された識別器群の正答率が所定の基準を超えるまで、上記の識別器群選択手段を繰返し動作させる手段、および上記の識別器群選択手段により選択されたすべての識別器群に基づいて、上記の識別処理に用いる少なくとも１つの特徴量の種類と識別条件とを決定する決定手段として機能させることを特徴とするものである。また、本発明に係る記録媒体は、そのようなプログラムを記録したコンピュータ読取可能な記録媒体である。

本発明に係る特定内容のデータを選別する装置は、データの所望の特定内容の指定を受け付けるデータ内容指定受付手段と、選別対象である対象データの入力を受け付ける対象データ入力受付手段と、上記の特定内容として指定され得る複数の内容ごとに、上記の対象データがその内容のデータであるか否かの識別に用いる少なくとも１つの特徴量の種類と、それらの少なくとも１つの特徴量の各々に対応する識別条件とを予め規定した参照データを、上記のデータ内容指定受付手段において指定された特定内容に基づいて参照して、上記の対象データから、その特定内容のデータであるか否かの識別に用いる上記の少なくとも１つの特徴量を導出する特徴量導出手段と、その特徴量導出手段により導出された少なくとも１つの特徴量の各々に基づいて、上記の参照データが規定する対応する識別条件を参照し、上記の対象データが上記のデータ内容指定受付手段において指定された特定内容のデータであるか否かを識別する識別手段とを備えてなり、上記の参照データが、上記の複数の内容の各々について、その内容のデータであることが分かっている複数のデータと、その内容のデータでないことが分かっている複数のデータとからなるサンプルデータ群を、予め学習することにより決定されたものであって、上記の複数の内容の各々についての学習が、上記の識別手段による識別処理に用いられ得る複数の特徴量から、各々少なくとも１つの特徴量からなる複数の特徴量群を規定する工程と、それらの複数の特徴量群に対応する複数の識別器群であって、それらの複数の識別器群を構成する各識別器が上記のサンプルデータ群に基づいて作成されたものである、複数の識別器群を規定する工程と、上記のサンプルデータ群をなすデータの全部または一部に対する複合識別精度が最も高い１つの識別器群を選択する工程と、所定数の識別器群もしくは複合識別精度が所定の基準を超えるすべての識別器群が選択されるまで、または選択された識別器群の正答率が所定の基準を超えるまで、上記の識別器群を選択する工程を繰り返す工程と、上記の選択する工程において選択されたすべての識別器群に基づいて、現在の学習内容のデータであるか否かの識別に用いる上記の少なくとも１つの特徴量の種類と識別条件とを決定する工程を含む方法によるものであることを特徴とするものである。

上記の本発明に係る特定内容のデータを選別する装置は、上記の識別手段により正しい識別結果が得られなかった対象データについて、その対象データが示す正しい内容の指定を受け付ける正解受付手段と、上記の正しい内容の指定が受け付けられた対象データを学習することにより、上記の参照データを更新する追加学習手段とをさらに備えているものであってもよい。

また、上記の本発明に係る特定内容のデータを選別する装置においては、上記の対象データおよびサンプルデータ群をなす各データが画像データであり、上記の特定内容が、上記の対象データが示し得る特定シーンであってもよい。

本発明に係る特徴量の種類と識別条件を決定する装置、プログラム、およびプログラムを記録した記録媒体によれば、識別処理に用いる識別条件のみならず、その識別処理に適した特徴量の種類をも併せて自動的に選択することができる。しかも、それらの特徴量の種類および識別条件は、複合識別精度が最も高い１つの識別器群を順次選択して、それらの識別器群をなす識別器に基づいて決定されるものであるので、所望の識別処理に応じた組合せの効果の高い特徴量の種類を選択することができ、後の識別処理において、極めて高い識別精度を実現することができる。

さらに、識別器群の規定に際し比較的識別精度の高い識別器に対応する特徴量を特定し、それらの特定された特徴量からなる特徴量群に対応する識別器群を規定するようにすれば、予め単独での識別精度が比較的低い識別器を除外して、識別処理に用いる特徴量の種類と識別条件とを効率良く決定することができる。

また、識別器群の選択および／または識別器群を構成する識別器に対応する特徴量の特定に際し、重みが与えられた重み付きサンプルデータ群を使用し、重みの更新を行ないながら、前に選択された識別器群および／または識別器では正しく識別されないサンプルデータを重要視して、追加の識別器群および／または識別器を選択するようにすれば、より組合せの効果の高い識別器を選択して特徴量の種類および識別条件を決定することができ、後の識別処理において、さらに高い識別精度を実現することができる。

また、本発明に係る特定内容のデータを選別する装置は、識別に使用する特徴量の種類および識別条件を特定内容ごとに規定した参照データを用いているため、装置を構成する各手段を動作させるアルゴリズム自体は所望の特定内容にかかわらず共通のものとすることができ、装置の開発コストを低く抑えながら、各特定内容に合った対象データの選別を行なうことができる。しかも、使用する参照データは、特定内容として指定され得る各内容ごとに、その特定内容の対象データであるか否かの識別に適した組合せの効果の高い特徴量の種類、およびそれらの特徴量の各々に対応する識別条件を規定したものであるので、いかなる特定内容に対しても、極めて高精度の識別によるデータの選別を行なうことができる。さらに、複雑な識別アルゴリズムの変更、追加および実装等の作業を要することなく、参照データを改変するだけで、識別基準の変更や、識別可能な特定内容の追加を、簡単に行なうことができる。

さらに、正しい識別結果が得られなかった対象データについて正しい内容の指定を受け付けて、それらの対象データの追加学習による参照データの更新を行なうことを可能とした場合には、実際の対象データに合わせて継続的に選別の精度を向上させていくことができる。また、ユーザーが頻繁に指定する特定内容に関しては、参照データの内容が特に充実していくため、より高い識別精度を実現することができる。

上記の本発明の効果は、多様性が高く、使用され得る特徴量の種類が膨大である画像データ等が対象データであり、識別処理に使用する特徴量の種類の有効な組合せを、特定内容ごとに経験的に決定することが極めて困難または煩雑である場合に、特に有効なものである。

以下、図面により、本発明の例示的な実施形態を詳細に説明する。

まず、図１から図８を用いて、本発明の第１の実施形態およびその変更例を説明する。図１は、本発明の第１の実施形態に係る、画像データが特定シーンのデータであるか否かを識別する識別処理に用いる特徴量の種類と識別条件とを決定するための、装置１０の構成を示したブロック図である。装置１０は、特定シーンの画像データであることが分かっている複数のサンプル画像データと、特定シーンの画像でないことが分かっている複数のサンプル画像データからなるサンプル画像データ群を学習することによって、識別処理に用いる特徴量の種類と、各特徴量に対応する識別条件とを決定するものであり、サンプル画像データの入力を順次受け付けるサンプル入力受付部１２と、入力された各サンプル画像データを後述する重みと対応付けて格納するメモリ１４とを備えている。装置１０はさらに、メモリ１４に格納されたサンプル画像データから複数の識別器を作成する識別器作成部１６、複数の特徴量群の各々を構成する特徴量を特定する特徴量特定部１８、特徴量特定部１８が特定した特徴量からなる各特徴量群に対応する複数の識別器群を規定する識別器群規定部２０、識別器群規定部２０が規定した複数の識別器群の中から少なくとも１つを選択する識別器群選択部２２、および識別器群選択部２２が選択した識別器群に基づいて識別処理に使用する特徴量の種類と識別条件とを決定する識別条件決定部２４とを備えている。

以下、図２および図３のフローチャートを参照しながら、特定シーンが「水中」のシーンである場合を例にとって、図１の装置１０が行なう処理の詳細な工程について説明する。

まず、ステップＳ２において、サンプル入力受付部１２が、「水中」のシーンの画像データであることが分かっている複数のサンプル画像データと、「水中」のシーンの画像データでないことが分かっている複数のサンプル画像データの入力を順次受け付ける。本実施形態では、各サンプル画像データは、そのサンプル画像をなす各画素ごとに濃度Ｒ、ＧおよびＢの値を示したデータであるとする。

次に、ステップＳ４において、サンプル入力受付部１２が、各サンプル画像データに等しい重みを初期値として割り当て、各サンプル画像データを、「水中」のシーンであるか否かのラベルおよび重みが付けられた状態で、メモリ１４に格納する。

続いて、ステップＳ６において、識別器作成部１６が、識別処理に使用され得る複数の特徴量について、「識別器」を作成する。ここでの「識別器」は、１つの特徴量を用いて「水中」のシーンの画像データとそうでない画像データとを識別する基準を提供するものである。本実施形態では、図４に導出方法を図示した各特徴量についてのヒストグラムを「識別器」として使用する。図４を参照しながら説明すると、識別器作成部１６は、まず、「水中」のシーンの画像データであることが分かっている複数のサンプル画像データの各々から、ある特徴量（たとえばそのサンプル画像における濃度Ｂの平均値）を１つずつ導出し、その値の分布を示すヒストグラムを作成する。同様に、「水中」のシーンの画像データでないことが分かっている複数のサンプル画像データからも、ヒストグラムを作成する。その後、これらの２つのヒストグラムが示す頻度値の比の対数値を取って、図４の一番右側に示す、識別器として用いられるヒストグラムを作成する。このヒストグラムが示す各縦軸の値を、以下、「識別ポイント」と呼ぶことにする。このヒストグラム形式の識別器によれば、正の識別ポイントに対応する特徴量の値を示す画像は「水中」のシーンの画像である可能性が高く、識別ポイントの絶対値が大きいほどその可能性は高まると言える。逆に、負の識別ポイントに対応する特徴量の値を示す画像は「水中」のシーンの画像でない可能性が高く、やはり識別ポイントの絶対値が大きいほどその可能性は高まる。したがって、この識別器は、「水中」のシーンの画像データとそうでない画像データとを識別する基準を提供するものである。ステップＳ６において、識別器作成部１６は、識別に使用され得る複数の特徴量、たとえば、濃度Ｒ、ＧならびにＢ、輝度Ｙ、色差ＣｒならびにＣｂ、彩度、色相、エッジ強度および画像の縦横の勾配のそれぞれについての平均値、いくつかのｎ％点、およびいくつかの（ｍ％点）−（ｎ％点）のすべてについて、上記のヒストグラム形式の識別器を作成する。なお、「平均値」とは、１つのサンプル画像の全体に亘るある特性値（各色の濃度等）の平均値を、「ｎ％点」（０＜ｎ＜１００）とは、１つのサンプル画像またはその縮小画像の各画素におけるある特性値を累積ヒストグラムで表した場合に、全画素数のｎ％の計数値に対応する特性値を、「（ｍ％点）−（ｎ％点）」（０＜ｍ，ｎ＜１００）とは、ｍ％点とｎ％点の差分値を指すものである。ただし、作成する識別器に対応する特徴量の種類は、これらに限られずいかなるものであってもよい。また、異なる複数の特性値を組み合わせた重み付き加算値等を、特徴量として用いてもよい。

次に、ステップＳ８において、特徴量特定部１８が、識別器作成部１６が作成した識別器の中から、各サンプル画像データの重みを加味した識別精度が最も高い１つの識別器を選択する。ここでは、全サンプル画像データを使用して、重みを加味した識別精度を評価する。すなわち、最初のステップＳ８では、各サンプル画像データの重みは等しいので単純に、その識別器によって「水中」のシーンであるか否かが正しく識別されるサンプル画像データの数が最も多い識別器が選択される。一方、後述するステップＳ１４において各サンプル画像データの重みが順次更新された後の２回目以降のステップＳ８では、たとえばあるサンプル画像データＡの重みが別のサンプル画像データＢの重みの２倍であるとすると、サンプル画像データＡは、識別精度の評価において、サンプル画像データＢの２つ分相当として数えられる。これにより、２回目以降のステップＳ８では、重みの低いサンプル画像データよりも、重みの高いサンプル画像データが正しく識別されることにより重点を置いて、識別器が選択される。なお、本実施形態のステップＳ８では上記のとおり全サンプル画像データを使用するが、無作為に選択した一部のサンプル画像データのみを使用してもよい。

続いて、ステップＳ１０において、特徴量特定部１８は、現在のステップＳ８からＳ１６の繰返し処理においてそれまでに選択された識別器の正答率が閾値を超えたか否かを確認する。ここでは、閾値として８０％という値を用いるものとする。正答率の評価には、現在の重みが付けられたサンプル画像データ群を用いてもよいし、各データの重みが等しくされたサンプル画像データ群を用いてもよい。正答率がまだ閾値を超えていない場合は、追加の識別器を選択するため、図２の処理はステップＳ１２へと進む。

ステップＳ１２では、直近のステップＳ８で選択された識別器が再び選択されないようにするため、特徴量特定部１８が、その識別器を以降のステップＳ８における選択対象から除外する処理を行なう。

続いて、ステップＳ１４において、特徴量特定部１８は、直近のステップＳ８で選択された識別器では「水中」のシーンの画像データであるか否かを正しく識別できなかったサンプル画像データの重みを、そのサンプル画像データの現在の重みよりも高くなるように更新する。一方、直近のステップＳ８で選択された識別器で「水中」のシーンの画像であるか否かを正しく識別できた各サンプル画像データの重みは、そのサンプル画像データの現在の重みよりも低くなるように更新される。この重みの更新を行なう理由は、次の識別器の選択において、既に選択された識別器では正しく識別できなかったサンプル画像データを重要視し、それらのサンプル画像データを正しく識別できる識別器が選択されやすくするためである。なお、正しく識別できなかったサンプル画像データの重みと、正しく識別できたサンプル画像データの重みとが相対的に変化させられれば十分であるので、上記の重みを高くする更新と重みを低くする更新とのいずれか一方のみを行なうこととしてもよい。

次に、ステップＳ１６において、特徴量特定部１８は、ステップＳ１２で除外されたものを除く各識別器を更新する。この識別器の更新は、ステップＳ１４で更新された各サンプル画像データの重みが識別器に加味されるように更新を行なうものである。本実施形態では、ステップＳ１４における重みの更新後において、たとえば、あるサンプル画像データＡの重みが別のサンプル画像データＢの重みの２倍となっているとすると、サンプル画像データＡをサンプル画像データＢの２倍の頻度値を与えるものとして扱い、図４の中央に示す各識別器のもととなる２つのヒストグラムを作成しなおし、それらのヒストグラムが示す頻度値の比の対数値を取って、新たな識別器とするものとする。その後、２回目のステップＳ８において、重みを加味した識別精度を基準として、次の識別器が選択される。

以上のステップＳ８からＳ１６を繰り返して、その繰返し処理で選択された識別器の正答率が閾値を超えると、図２の処理はステップＳ１０からステップＳ１８へと進む。

ステップＳ１８では、特徴量特定部１８は、直近のステップＳ８からＳ１６の繰返し処理において選択された各識別器に対応する特徴量を、１つの特徴量群を構成する特徴量として特定する。

続いて、ステップＳ２０において、さらに追加の特徴量群を規定すべきか否かを判断するため、一定数の特徴量群が規定されたか否かが確認される。なお、ここでの判断は、一定数の特徴量群が規定されたか否かを基準とするものに限られず、他のいかなる基準によるものでもよい。たとえば、それまでの特徴量群の規定において選択されたすべての識別器の正答率を基準としてもよい。あるいは、最初に規定された特徴量群がＮ個の特徴量により構成されるものである場合に、２Ｎ個の識別器を選択してもステップＳ１０で確認される正答率が閾値を超えなくなったときに、識別器の選択を中止し、さらなる特徴量群の規定を取りやめる等の手法を用いることもできる。

まだ一定数の特徴量群が規定されておらず、追加の特徴量群を規定する必要がある場合には、図２の処理はステップＳ２０からステップＳ２２へと進む。ステップＳ２２では、直近のステップＳ８で選択された識別器が以降の選択対象から除外され、各サンプル画像データに割り当てられた重みが等しい初期値にリセットされる。その後、ステップＳ８からステップＳ２２の処理が、一定数の特徴量群が規定されるまで繰り返される。

一定数の特徴量群が規定されると、装置１０が行なう処理は、識別器群の規定処理、および複合識別精度を基準とした、組合せの効果が高い識別器からなる識別器群の選択処理へと移る。

まず、図３のステップＳ２４において、メモリ１４に格納されている各サンプル画像データの重みが等しい初期値にリセットされる。

次に、ステップＳ２６において、識別器群規定部２０が、特徴量特定部１８が各構成特徴量を特定して規定した各特徴量群に対応する、識別器群を規定する。本実施形態では、識別器群規定部２０は、特徴量群ごとに、ステップＳ２４で重みがリセットされたサンプル画像データに基づいて、その特徴量群を構成する各特徴量に対応する識別器を作成し（実際には、ステップＳ６で作成された初期の識別器をそのまま用いればよい）、それらの識別器からなる群を各々識別器群として規定する。

続いて、ステップＳ２８において、識別器群選択部２２が、識別器群規定部２０が規定した識別器群の中から、各サンプル画像データの重みを加味した複合識別精度が最も高い１つの識別器群を選択する。ここでは、全サンプル画像データを使用して、重みを加味した複合識別精度を評価する。各識別器群の複合識別精度は、たとえば図５に示した識別器群Ａについて説明すると、以下のようにして求められる。まず、１つのサンプル画像データから、濃度Ｂの平均値と濃度Ｂの（８０％点）−（２０％点）の値を導出し、それらの値に基づいて、識別器群Ａをなす２つのヒストグラム形式の識別器（図４参照）の対応コラムを参照し、２つの識別ポイントを得る。前述のとおり、識別ポイントの値が正の値である画像は「水中」のシーンの画像である可能性が高く、負の値である画像は「水中」のシーンの画像でない可能性が高い。ここでは、識別器群Ａ全体の複合識別精度を評価するため、上記で得た２つの識別ポイントを加算し、その加算値の正負が示す「水中」のシーンであるか否かの結果と、実際にそのサンプル画像が「水中」のシーンであるか否かの答えを比較する。このような比較を全サンプル画像データについて行い、全サンプル画像データに対する識別器群Ａの複合識別精度を導出する。ここで、各サンプル画像データの重みが更新された２回目以降のステップＳ２８では、たとえばあるサンプル画像データＡの重みが別のサンプル画像データＢの重みの２倍であるとすると、サンプル画像データＡは、複合識別精度の評価において、サンプル画像データＢの２つ分相当として数えられる。同様にして、他の識別器群についても複合識別精度が導出され、複合識別精度が最も高い１つの識別器群が選択される。なお、本実施形態のステップＳ２８では上記のとおり全サンプル画像データを使用するが、無作為に選択した一部のサンプル画像データのみを使用してもよい。

続いて、ステップＳ３０において、識別器群選択部２２は、それまでに選択した識別器群の正答率が閾値を超えたか否かを確認する。閾値としては、ステップＳ１０において識別器の選択に用いた閾値よりも高い水準の閾値を用いる。本実施形態では、ステップＳ１０で用いた閾値が８０％であるのに対し、ステップＳ３０では９５％という閾値を用いるものとする。正答率の評価には、現在の重みが付けられたサンプル画像データ群を用いてもよいし、各データの重みが等しくされたサンプル画像データ群を用いてもよい。正答率がまだ閾値を超えていない場合は、それまでに選択された識別器群とさらに組み合わせて用いる追加の識別器群を選択するため、図３の処理はステップＳ３２へと進む。

ステップＳ３２では、識別器群選択部２２は、直近のステップＳ２８で選択された識別器群が再び選択されないようにするため、その識別器群を以降のステップＳ２８における選択対象から除外する処理を行なう。

次に、ステップＳ３４において、識別器群選択部２０は、直近のステップＳ２８で選択された識別器群では「水中」のシーンの画像データであるか否かを正しく識別できなかったサンプル画像データの重みを、そのサンプル画像データの現在の重みよりも高くなるように更新する。一方、直近のステップＳ２８で選択された識別器群で「水中」のシーンの画像であるか否かを正しく識別できた各サンプル画像データの重みは、そのサンプル画像データの現在の重みよりも低くなるように更新される。なお、正しく識別できなかったサンプル画像データの重みと、正しく識別できたサンプル画像データの重みとが相対的に変化させられれば十分であるので、上記の重みを高くする更新と重みを低くする更新とのいずれか一方のみを行なうこととしてもよい。

続いて、ステップＳ３６において、識別器群選択部２２は、ステップＳ３２で除外された識別器群を構成する識別器を除く各識別器を更新する。この識別器の更新は、ステップＳ３４で更新された各サンプル画像データの重みが識別器に加味されるように更新を行なうものであり、本実施形態では、ステップＳ１６における識別器の更新と同様の手法により行なうものとする。その後、２回目のステップＳ２８において、重みを加味した複合識別精度を基準として、次の識別器群が選択される。

以上のステップＳ２８からＳ３６を繰り返して、それまでのステップＳ２８で選択された識別器群の全体の正答率が閾値を超えると、識別器群選択部２２による識別器群の選択は終了し、図３の処理はステップＳ３０からステップＳ３８へと進む。

ステップＳ３８では、識別条件決定部２４が、識別器群選択部２２が選択した各識別器群をなす識別器に基づいて、識別処理に使用する特徴量の種類と識別条件とを決定する。決定される特徴量の種類は、識別器群選択部２２が選択した各識別器群をなす識別器に対応する特徴量の種類である。また、各特徴量の種類に対応する識別条件は、本実施形態では、各特徴量に対応する識別器のヒストグラム（図４の一番右側のヒストグラム参照）が示す識別ポイントを、小さい特徴量の値に対応するものから順番に列記した、正負の値をとる数列形式のものとする。たとえば、図５の例において、識別器群選択部２２が識別器群Ａと識別器群Ｃを選択したところで、２つの識別器群の組合せによる正答率が閾値を超えたとすると、識別条件決定部２４が決定する特徴量の種類と識別条件とは、図５の右側の表に示すようになる。これらの特徴量の種類および識別条件を用いれば、対象の画像データが「水中」のシーンの画像データであるか否かの識別処理を行なうことができる。

以上、特定シーンが「水中」のシーンである場合を例にとって、図１の装置１０が行なう処理の一例である図２および図３の処理について説明した。

次に、図６から図８を用いて、図１の装置１０が行なう処理の変更例について説明する。この変更例では、特徴量特定部１８が行なう処理が上記に説明したものと異なり、図２のステップＳ８からＳ２２の処理に代えて、図６のステップＳ４６からＳ６２の処理が行なわれる。図６および図７のその他の各ステップにおける処理は、上記に説明した図２および図３の処理の対応ステップにおける処理と同様であるので、以下、それらについては説明を省略し、ステップＳ４６からＳ６２の処理についてのみ詳細に説明することとする。

まず、複数の特徴量について識別器が作成された後のステップＳ４６において、特徴量特定部１８が、識別器作成部１６が作成した複数の識別器を、対応する特徴量に応じて複数のカテゴリーに分ける。この変更例では、特徴量特定部１８は、「色に関するカテゴリー」、「テクスチャーおよびパターンに関するカテゴリー」および「輝度、明度および彩度に関するカテゴリー」の３つに、識別器作成部１６が作成した識別器を分けるものとする。ここで、「色に関するカテゴリー」に分けられる識別器としては、ＲＧＢの各濃度や色差、色相等に関する特徴量に対応する各識別器が挙げられる。「テクスチャーおよびパターンに関するカテゴリー」に分けられる識別器としては、エッジ強度や画像の縦横の勾配等に関する特徴量に対応する各識別器が挙げられる。なお、このような特性に着目したカテゴリーに代えて、「平均値」、「９０％点」、・・・、「１０％点」、「（９０％点）−（１０％点）」、・・・、「（６０％点）−（４０％点）」等のカテゴリーを使用してもよい。

続いて、ステップＳ４８から、上記３つのカテゴリーのうちの１つについての処理が開始される。

まず、ステップＳ５０において、特徴量特定部１８は、現在の処理対象のカテゴリーに含まれる識別器の中から、各サンプル画像データの重みを加味した識別精度が最も高い１つの識別器を選択する。ここでは、図２の処理のステップＳ８と同様に、全サンプル画像データを使用して、重みを加味した識別精度を評価するものとする。

次に、ステップＳ５２において、特徴量特定部１８は、現在のステップＳ５０からＳ５８の繰返し処理においてそれまでに選択された識別器の正答率が閾値を超えたか否かを確認する。ここでの閾値としては、後のステップＳ７２で識別器群の正答率の評価に用いる閾値よりは十分低い値を用いるのが好ましい。この変更例では、後のステップＳ７２で用いる閾値が９５％であるとして、ステップＳ５２では８０％という閾値を用いることとする。正答率の評価には、現在の重みが付けられたサンプル画像データ群を用いてもよいし、各データの重みが等しくされたサンプル画像データ群を用いてもよい。正答率がまだ閾値を超えていない場合は、さらに追加の識別器を選択するために、図６の処理はステップＳ５４へと進む。

ステップＳ５４では、直近のステップＳ５０で選択された識別器が再び選択されないようにするため、特徴量特定部１８が、その識別器を以降のステップＳ５０における選択対象から除外する処理を行なう。

続いて、ステップＳ５６において、特徴量特定部１８は、直近のステップＳ５０で選択された識別器では「水中」のシーンの画像データであるか否かを正しく識別できなかったサンプル画像データの重みを、そのサンプル画像データの現在の重みよりも高くなるように更新する。一方、直近のステップＳ５０で選択された識別器で「水中」のシーンの画像であるか否かを正しく識別できた各サンプル画像データの重みは、そのサンプル画像データの現在の重みよりも低くなるように更新される。なお、正しく識別できなかったサンプル画像データの重みと、正しく識別できたサンプル画像データの重みとが相対的に変化させられれば十分であるので、上記の重みを高くする更新と重みを低くする更新とのいずれか一方のみを行なうこととしてもよい。

次に、ステップＳ５８において、特徴量特定部１８は、現在のカテゴリーを構成する識別器のうち、ステップＳ５４で除外されたものを除く各識別器を更新する。この識別器の更新は、ステップＳ５４で更新された各サンプル画像データの重みが識別器に加味されるように更新を行なうものである。本実施形態では、図２の処理のステップＳ１６における処理と同様の手法により、各識別器を更新するものとする。その後、２回目のステップＳ５０において、重みを加味した識別精度を基準として、次の識別器が選択される。

以上のステップＳ５０からＳ５８を繰り返して、現在のカテゴリーからそれまでに選択された識別器の正答率が閾値を超えると、図６の処理はステップＳ５２からステップＳ６０へと進む。

ステップＳ６０では、特徴量特定部１８は、直近のステップＳ５０からＳ５８の繰返し処理により現在のカテゴリーから選択された各識別器に対応する特徴量を、１つの特徴量群を構成する特徴量として特定する。

続いて、特徴量特定部１８は、ステップＳ６２において、まだ識別器の選択および特徴量群の規定を行なっていないカテゴリーが残っているか否かを確認する。まだ次のカテゴリーが残っている場合は、図６の処理はステップＳ６４へと進み、各サンプル画像データの重みが等しい初期値にリセットされた上で、次のカテゴリーからの識別器の選択および特徴量群の規定が行なわれる。すべてのカテゴリーからの識別器の選択および特徴量群の規定が終了すると、図６の処理は、図７のステップＳ６６へと進み、図２および図３の処理と同様の処理により、識別器群の規定および選択が行なわれる。この変更例では、上記のとおり「色に関するカテゴリー」、「テクスチャーおよびパターンに関するカテゴリー」および「輝度、明度および彩度に関するカテゴリー」の３つを使用しているので、識別器群規定部２０が規定する識別器群は、たとえば図８に示す識別器群Ａ’、Ｂ’およびＣ’のようになる。また、その後のステップＳ７０からＳ７８の処理においてこれら３つの識別器群のうち識別器群Ａ’およびＣ’の２つが選択されたとすると、ステップＳ８０において決定される特徴量の種類および識別条件は、図８の右側の表に示すようになる。

上記の本発明の第１の実施形態およびその変更例に係る装置１０によれば、識別処理に用いる識別条件のみならず、その識別処理に適した特徴量の種類をも、併せて自動的に選択することができる。しかも、上記の装置１０は、複数の識別器群を規定し、最終的には個々の識別器の識別精度ではなく各識別器群全体の複合識別精度を基準に識別器群を選択し、選択された識別器群をなす識別器に基づいて識別処理に用いる特徴量の種類および識別条件を決定するものであるので、組合せの効果が高い識別器からなる識別器群を選択して特徴量の種類および識別条件を決定することができ、後の識別処理において、高い識別精度を実現することができる。また、上記の本発明の第１の実施形態およびその変更例は、重みの付けられたサンプル画像データ群を使用し、重みの更新および識別器の更新を行ないながら、前に選択された識別器群では正しく識別されないサンプル画像データを重要視して識別器群を順次選択していること、および識別器群をいくつ選択するかの決定に際し、それまでに選択された識別器群全体の正答率を基準としていることによっても、選択される識別器の組合せの効果を高めている。さらには、特徴量群の規定の際に、重みの付けられたサンプル画像データ群を使用し、重みの更新および識別器の更新を行ないながら識別器を選択していることによっても、選択される識別器の組合せの効果がさらに高められている。また、特徴量群の規定に際し比較的識別精度の高い識別器に対応する特徴量を選択し、それらの特徴量群に対応する識別器群を規定しているので、予め単独での識別精度が比較的低い識別器を除外して、識別処理に用いる特徴量の種類と識別条件とを効率良く決定することができる。

なお、上記において図面を参照して説明した第１の実施形態およびその変更例では、１つの識別器または識別器群が選択されるごとに、次の識別器または識別器群の選択に先立って、各サンプル画像データの重みを考慮して識別器を更新することとしたが（ステップＳ１６およびＳ３６等）、これらの識別器を更新する処理を行わずに、最初に作成した識別器の中から、重みを加味した識別精度または複合識別精度を基準にして識別器または識別器群を順次選択することとしてもよい。なお、図面を参照して説明した例のように、１つの識別器または識別器群が選択されるごとに識別器を更新する態様においては、識別器または識別器群の選択は、重みを加味した識別精度または複合識別精度ではなく単純な識別精度または複合識別精度を基準としてもよい。

また、上記において図面を参照して説明した第１の実施形態およびその変更例では、一度選択された識別器および識別器群を以降の選択対象から除外することとしたが（ステップＳ１２およびＳ３２等）、識別器の更新を行なう場合は、一度選択された識別器および識別器群も識別器の更新によりそれまでと異なったものとなるため、これらの除外する処理を行なわなくてもよい。あるいは、識別器の更新を行なう場合は、識別器の選択過程において、１つの識別器が選択されるごとにその識別器を以降の選択対象から除外する態様に代えて（ステップＳ１２等）、１つの特徴量群を構成するすべての特徴量が特定された段階で、それらの特徴量に対応する識別器を以降の選択対象から除外する態様を用いてもよい。

さらに、ステップＳ２２およびＳ２４等における各サンプル画像データの重みをリセットする処理を行なわず、それまでに更新された重みを引き継いで、識別器または識別器群の選択を行なうこととしてもよい。

次に、図９から図１１を用いて、本発明の第２の実施形態を説明する。図９は、本発明の第２の実施形態に係る、画像データが特定シーンのデータであるか否かを識別する識別処理に用いる特徴量の種類と識別条件とを決定するための、装置３０の構成を示したブロック図である。図９の装置３０の構成は、上記した第１の実施形態に係る装置１０の構成と同様であるが、図９の装置３０は重みの与えられていないサンプル画像データを用いるものであり、したがって、メモリ３４と他の構成部分との間でサンプル画像データの重みに関する情報の受渡しがない点が、図１の装置１０と異なる。

以下、図１０および図１１のフローチャートを参照しながら、特定シーンが「水中」のシーンである場合を例にとって、図９の装置３０が行なう処理の詳細な工程について説明する。

まず、ステップＳ９０において、サンプル入力受付部３２が、「水中」のシーンの画像データであることが分かっている複数のサンプル画像データと、「水中」のシーンの画像データでないことが分かっている複数のサンプル画像データの入力を順次受け付ける。本実施形態では、各サンプル画像データは、そのサンプル画像をなす各画素ごとに濃度Ｒ、ＧおよびＢの値を示したデータであるとする。入力された各サンプル画像データは、「水中」のシーンであるか否かのラベルが付けられた状態で、メモリ３４に格納される。

次に、ステップＳ９２において、識別器作成部３６が、識別処理に使用され得る複数の特徴量について、識別器を作成する。本実施形態では、上記した第１の実施形態と同様に、濃度Ｒ、ＧならびにＢ、輝度Ｙ、色差ＣｒならびにＣｂ、彩度、色相、エッジ強度および画像の縦横の勾配のそれぞれについての平均値、いくつかのｎ％点、およびいくつかの（ｍ％点）−（ｎ％点）等について、無作為に選択されたサンプル画像データの一部または全サンプル画像データに基づいて、図４に導出方法を図示したヒストグラム形式の識別器を作成するものとする。

続いて、ステップＳ９４において、特徴量特定部３８が、メモリ３４中に格納されているサンプル画像データの一部を無作為に選択する。

次に、ステップＳ９６において、特徴量特定部３８は、識別器作成部３６が作成した識別器の中から、ステップＳ９４で選択したサンプル画像データの一部に対する識別精度が最も高い１つの識別器を選択する。

続いて、ステップＳ９８において、特徴量特定部３８は、現在のステップＳ９６からＳ１０２の繰返し処理においてそれまでに選択された識別器の正答率が閾値を超えたか否かを確認する。ここでは、閾値として８０％という値を用いるものとする。正答率の評価には、現在選択されている一部のサンプル画像データを用いてもよいし、全サンプル画像データを用いてもよい。正答率がまだ閾値を超えていない場合は、追加の識別器を選択するため、図２の処理はステップＳ１００へと進む。

ステップＳ１００では、直近のステップＳ９６で選択された識別器が再び選択されないようにするため、特徴量特定部３８が、その識別器を以降のステップＳ９６における選択対象から除外する処理を行なう。

続いて、ステップＳ１０２において、特徴量特定部３８は、次のステップＳ９６における識別精度の評価に用いる新たなサンプル画像データの一部を、メモリ３４内に格納されているサンプル画像データから選択する。ここでの選択は無作為に行なってもよいが、本実施形態では、それまでのステップＳ８８で選択された識別器ではあまり高い識別精度が得られないようなサンプル画像データの集合、たとえばそれまでのステップＳ９６で選択された識別器を用いると、「水中」のシーンのサンプル画像データであるか否かが正しく識別されるデータの数と誤って識別されるデータの数が同数となるようなサンプル画像データの集合を選択するものとする。これにより、次のステップＳ９６では、既に選択された識別器では正しく識別できないサンプル画像データに対する識別精度が高い識別器が、選択されやすくなる。

以上のステップＳ９６からＳ１０２を繰り返して、その繰返し処理で選択された識別器の正答率が閾値を超えると、図１０の処理はステップＳ９８からステップＳ１０４へと進む。

ステップＳ１０４では、特徴量特定部３８は、直近のステップＳ９６からＳ１０２の繰返し処理において選択された各識別器に対応する特徴量を、１つの特徴量群を構成する特徴量として特定する。

続いて、ステップＳ１０６において、さらに追加の特徴量群を規定すべきか否かを判断するため、一定数の特徴量群が規定されたか否かが確認される。なお、ここでの判断は、一定数の特徴量群が規定されたか否かを基準とするものに限られず、他のいかなる基準によるものでもよい。

まだ一定数の特徴量群が規定されておらず、追加の特徴量群を規定する必要がある場合には、図１０の処理はステップＳ１０６からステップＳ１０８へと進む。ステップＳ１０８では、直近のステップＳ９６で選択された識別器が以降の選択対象から除外され、再度、サンプル画像データの一部が無作為に選択される。その後、ステップＳ９６からステップＳ１０８の処理が、一定数の特徴量群が規定されるまで繰り返される。

一定数の特徴量群が規定されると、装置３０が行なう処理は、識別器群の規定処理、および複合識別精度を基準とした、組合せの効果が高い識別器からなる識別器群の選択処理へと移る。

まず、図３のステップＳ１１０において、識別器群規定部４０が、特徴量特定部３８が各構成特徴量を特定して規定した各特徴量群に対応する、識別器群を規定する。本実施形態では、識別器群規定部４０は、特徴量群ごとに、その特徴量群を構成する各特徴量に対応する識別器を、無作為に選択されたサンプル画像データの一部または全サンプル画像データに基づいて作成し、それらの識別器からなる群を各々識別器群として規定するものとする。あるいは、ステップＳ９２で作成された各識別器をそのまま用いて、各特徴量群に対応する識別器群を規定してもよい。

次に、ステップＳ１１２において、識別器群選択部４２が、メモリ３４中に格納されているサンプル画像データの一部を無作為に選択する。

続いて、ステップＳ１１４において、識別器群選択部４２は、識別器群規定部４０が規定した識別器群の中から、ステップＳ１１２で選択したサンプル画像データの一部に対する複合識別精度が最も高い１つの識別器群を選択する。各識別器群の複合識別精度の導出手法は、本実施形態では重みが加味されない点およびサンプル画像データの一部のみを用いる点を除けば、上記の第１の実施形態における導出手法と同様である。

次に、ステップＳ１１６において、識別器群選択部４２は、それまでに選択した識別器群の正答率が閾値を超えたか否かを確認する。閾値としては、ステップＳ９８において識別器の選択に用いた閾値よりも高い水準の閾値を用いる。本実施形態では、ステップＳ９８で用いた閾値が８０％であるのに対し、ステップＳ１１６では９５％という閾値を用いるものとする。正答率の評価には、現在選択されている一部のサンプル画像データを用いてもよいし、全サンプル画像データを用いてもよい。正答率がまだ閾値を超えていない場合は、それまでに選択された識別器群とさらに組み合わせて用いる追加の識別器群を選択するため、図１１の処理はステップＳ１１８へと進む。

ステップＳ１１８では、識別器群選択部４２は、直近のステップＳ１１４で選択された識別器群が再び選択されないようにするため、その識別器群を以降のステップＳ１１４における選択対象から除外する処理を行なう。

次に、ステップＳ１２０において、識別器群選択部４２は、次のステップＳ１１４における複合識別精度の評価に用いる新たなサンプル画像データの一部を、メモリ３４内に格納されているサンプル画像データから選択する。ここでの選択は無作為に行なってもよいが、本実施形態では、それまでのステップＳ１１４で選択された識別器群ではあまり高い複合識別精度が得られないようなサンプル画像データの集合、たとえばそれまでのステップＳ１１４で選択された識別器群を用いると、「水中」のシーンのサンプル画像データであるか否かが正しく識別されるデータの数と誤って識別されるデータの数が同数となるようなサンプル画像データの集合を選択するものとする。これにより、次のステップＳ１１４では、既に選択された識別器群では正しく識別できないサンプル画像データに対する複合識別精度が高い識別器群が、選択されやすくなる。その後、図１１の処理はステップＳ１１４へと戻り、次の識別器群が選択される。

以上のステップＳ１１４からＳ１２０を繰り返して、それまでのステップＳ１１４で選択された識別器群の全体の正答率が閾値を超えると、識別器群選択部４２による識別器群の選択は終了し、図１１の処理はステップＳ１１６からステップＳ１２２へと進む。

ステップＳ１２２では、識別条件決定部４４が、識別器群選択部４２が選択した各識別器群をなす識別器に基づいて、識別処理に使用する特徴量の種類と識別条件とを決定する。決定される特徴量の種類は、識別器群選択部４２が選択した各識別器群をなす識別器に対応する特徴量の種類であり、各特徴量の種類に対応する識別条件は、上記した第１の実施形態と同様の、識別ポイントを数列形式で表したものであるとする。これらの特徴量の種類および識別条件を用いれば、対象の画像データが「水中」のシーンの画像データであるか否かの識別処理を行なうことができる。

以上、特定シーンが「水中」のシーンである場合を例にとって、本発明の第２の実施形態に係る装置３０が行なう処理の一例である図１０および図１１の処理について説明した。なお、この第２の実施形態についても、上記の第１の実施形態の変更例として説明した図６および図７の処理のように、識別器作成部３６が作成した識別器を複数のカテゴリーに分けて、カテゴリーごとに識別器群を規定する処理を行なう変更例が可能である。

上記の本発明の第２の実施形態に係る装置３０によれば、識別処理に用いる識別条件のみならず、その識別処理に適した特徴量の種類をも、併せて自動的に選択することができる。しかも、上記の装置３０は、複数の識別器群を規定し、最終的には個々の識別器の識別精度ではなく各識別器群全体の複合識別精度を基準に識別器群を選択し、選択された識別器群をなす識別器に基づいて識別処理に用いる特徴量の種類および識別条件を決定するものであるので、組合せの効果が高い識別器からなる識別器群を選択して特徴量の種類および識別条件を決定することができ、後の識別処理において、高い識別精度を実現することができる。また、上記の本発明の第２の実施形態は、識別器群の選択に際し、前に選択された識別器群ではあまり高い複合識別精度が得られないサンプル画像データの一部を用いて、識別器群を順次選択していること、および識別器群をいくつ選択するかの決定に際し、それまでに選択された識別器群全体の正答率を基準としていることによっても、選択される識別器の組合せの効果を高めている。さらには、特徴量群の規定の際に、前に選択された識別器ではあまり高い識別精度が得られないサンプル画像データの一部を用いて識別器を順次選択していることによっても、選択される識別器の組合せの効果がさらに高められている。また、特徴量群の規定に際し比較的識別精度の高い識別器に対応する特徴量を選択し、それらの特徴量群に対応する識別器群を規定しているので、予め単独での識別精度が比較的低い識別器を除外して、識別処理に用いる特徴量の種類と識別条件とを効率良く決定することができる。

以上、本発明の第１および第２の実施形態に係る、識別処理に用いる特徴量の種類と識別条件とを決定する装置について詳細に説明したが、これらの実施形態は例示的なものに過ぎず、既に説明した他にも様々な変更が可能である。

たとえば、上記の第１および第２の実施形態はいずれも、識別器群をいくつ選択するかの判断において、それまでに選択された識別器群の正答率を基準とするものであったが、所定数の識別器群が選択された時点や、複合識別精度が所定の基準を超えるすべての識別器群が選択された時点で、識別器群の選択を終了することとしてもよい。

また、上記の第１および第２の実施形態はいずれも、各特徴量群を構成する特徴量の特定に際した識別器の選択においても、それまでに選択された識別器の正答率を基準とするものであったが、所定数の識別器が選択された時点や、識別精度が所定の基準を超えるすべての識別器が選択された時点で、識別器の選択を終了することとしてもよい。それらの場合には、１つの特徴量群を構成する特徴量が特定されるごとに、所定数または所定の基準を緩和してもよい。たとえば、１つ目の特徴量群を構成する特徴量を特定する際には、識別精度が８０％以上のすべての識別器を選択し、２つ目の特徴量群を構成する特徴量を特定する際には、識別精度が７５％以上のすべての識別器を選択する等の態様が可能である。

さらには、上記の第１および第２の実施形態はいずれも、識別器群の規定に際し比較的識別精度の高い識別器に対応する特徴量を選択し、それらの選択された特徴量からなる特徴量群に対応する識別器群を規定するものであったが、識別器群規定後の識別器群の選択が複合識別精度に基づいて行なわれ、組合せの効果が高い識別器からなる識別器群が選択される限り、識別器群のもととなる特徴量群の規定自体は、たとえば識別処理に用いられ得る複数の特徴量を無作為に組み合わせて複数の特徴量群を規定するもの等であってもよい。

また、上記の第１および第２の実施形態では、各サンプル画像データは、そのサンプル画像をなす各画素ごとに濃度Ｒ、ＧおよびＢの値を示したデータとしたが、これに限られず、そのサンプル画像から導出した特徴量群等であってもよい。その場合、識別器作成部は、特徴量の計算は行なわずに各特徴量から直接に識別器を作成することとなる。

さらに、上記の第１および第２の実施形態では、識別器の選択に用いたサンプル画像データと識別器群の選択に用いたサンプル画像データとは同一のものであったが、異なるサンプル画像データを使用してもよい。

また、上記の第１および第２の実施形態はヒストグラム形式の識別器を作成するものとしたが、ここでの識別器は、１つの特徴量を用いて特定シーンの画像データとそうでない画像データとを識別する基準を提供するものであればいかなるものであってもよく、たとえば２値データ、閾値または関数等であってもよい。また、同じヒストグラムの形式であっても、図４の中央に示した２つのヒストグラムの差分値の分布を示すヒストグラム等を用いてもよい。

さらに、上記の第１および第２の実施形態はいずれも装置の形態であったが、コンピュータを、上記の装置を構成する識別器作成部、特徴量特定部、識別器群規定部、識別器群選択部および識別条件決定部に対応する手段として機能させ、上記に説明したような処理を行なわせるプログラムも、本発明の実施形態に該当する。また、そのようなプログラムを記録したコンピュータ読取可能な記録媒体も、本発明の実施形態に該当する。

次に、図１２から図１４を用いて、本発明の第３の実施形態について説明する。図１２は、本発明の第３の実施形態に係る特定シーンの画像データを選別する装置５０の構成を示したブロック図である。この図に示すように、装置５０は、識別したい特定シーンの指定を受け付けるシーン指定受付部５２と、選別対象の画像データの入力を受け付ける画像入力受付部５４と、識別のための参照データが格納されているメモリ５６と、シーン指定受付部５２および画像入力受付部５４から入力を受け取り、メモリ５６内の参照データを参照して必要な特徴量を導出する特徴量導出部５８と、特徴量導出部５８が導出した特徴量とメモリ５６内の参照データに基づいて、入力された画像データが指定された特定シーンの画像のデータであるか否かを識別する識別部６０を備えている。

メモリ９６内に格納されている参照データは、識別したい特定シーンとして指定され得る複数のシーンごとに、そのシーンの識別に用いる特徴量の種類と、それらの特徴量の各々に対応する識別条件とを規定したものであり、本実施形態では、図１３に示すような参照表形式のデータであるとする。ここで、図１３には「水中」、「夕焼け」および「夜景」の３つのシーンに関するデータのみが示されているが、実際の参照データは、通常、これよりずっと多くのシーンについてのデータからなる。識別に用いる特徴量の種類は、シーンごとに異なっている。また、特徴量の数も、シーンごとに異なっていてもよい。

この参照データは、特定シーンとして指定され得る「水中」、「夕焼け」および「夜景」等のシーンごとに、そのシーンの画像データであることが分かっている複数のサンプル画像データと、そのシーンの画像データでないことが分かっている複数のサンプル画像データとからなる、サンプル画像データ群を予め学習することにより決定されたものである。各シーンについての学習は、上記の第１および第２の実施形態に係る装置が行なうものとして説明した処理あるいはそれらの変更例のいずれかに対応する手法により、行なわれたものとする。したがって、この参照データは、各シーンごとに、そのシーンの識別に適した組合せの効果の高い特徴量の種類、およびそれらの特徴量の各々に対応する識別条件を規定したものとなっている。

次に、図１４のフローチャートを参照しながら、本発明の第３の実施形態に係る図１２の装置５０が行なう具体的な処理の流れについて説明する。

まず、図１４のステップＳ１３０において、「水中」、「夕焼け」および「夜景」等の特定シーンのうちユーザーが希望する特定シーンの指定が、シーン指定受付部５２により受け付けられる。

次いで、ステップＳ１３２において、画像入力受付部５４が、選別対象の画像を示す画像データの入力を受け付ける。多数の画像に関する一連の画像データを連続的に受け付けてもよい。本実施形態では、受け付ける画像データは、その画像をなす各画素ごとに濃度Ｒ、ＧおよびＢの値を示すデータとする。

続いて、ステップＳ１３４において、特徴量導出部５８が、導出すべき特徴量の種類をメモリ５６から読み出す。たとえば、ステップＳ１３０で指定された特定シーンが「水中」のシーンであるとすると、特徴量導出部５８は、メモリ５６中の図１３に示す参照データを参照して、導出すべき特徴量が、濃度Ｂの平均値、濃度Ｂの（８０％点）−（２０％点）の値、輝度Ｙの８０％点、色差Ｃｂの（８０％点）−（２０％点）の値および彩度の６０％点の５種類であることを認識する。

次に、ステップＳ１３６において、識別部６０が、メモリ５６から識別条件を読み出す。上記の「水中」のシーンが指定された例では、識別部６０は、上記の５種類の特徴量に関する識別条件を、メモリ５６中の図１３に示す参照データから読み出す。

続いて、ステップＳ１３８において、特徴量導出部５８が、ステップＳ１３２で入力された画像データから、指定された特定シーンの識別に使用される特徴量の１つを導出する。上記の「水中」のシーンが指定された例では、特徴量導出部５８は、上記の５種類の特徴量のいずれかを、入力された画像データから導出する。

次に、ステップＳ１４０において、識別部６０が、ステップＳ１３８で導出された特徴量に基づいて対応する識別条件を参照し、１つの識別ポイントを得る。たとえば、直前のステップＳ１３８において上記の５種類の特徴量のうち濃度Ｂの平均値が画像データから導出された場合は、識別部６０は、ステップＳ１３６でメモリ５６から読み出した濃度Ｂの平均値に関する識別条件のうちステップＳ１３８で導出した平均値に対応する部分を参照し、１つの識別ポイントを得る。ここで、図１３に示した識別条件は、一定間隔刻みの特徴量の値に対応するデータ点の識別ポイントを列記したものであるので、ステップＳ１４０において得られる識別ポイントは、画像データから導出した特徴量の値に最も近いデータ点の識別ポイントや、データ点間の線形補間による識別ポイント等となる。

続いて、ステップＳ１４２において、導出すべきすべての特徴量が導出されたか否かが確認される。上記の「水中」のシーンが指定された例では、濃度Ｂの平均値、濃度Ｂの（８０％点）−（２０％点）の値、輝度Ｙの８０％点、色差Ｃｂの（８０％点）−（２０％点）の値および彩度の６０％点の５種類の特徴量が導出されたか否かが確認され、これら５種類の特徴量の導出および対応する識別ポイントの獲得が完了するまで、ステップＳ１３８からＳ１４２の処理が繰り返される。

導出すべきすべての特徴量の導出および対応する識別ポイントの獲得が完了すると、図１４の処理はステップＳ１４４へと進み、識別部６０が、獲得したすべての識別ポイントを総合して、入力された画像データが指定された特定シーンの画像であるか否かを識別する。本実施形態では、すべての識別ポイントを加算して、その加算値の正負によって識別を行なうものとする。たとえば、上記の「水中」のシーンが指定された例では、入力された画像データから導出された上記の５種類の特徴量に関する５つの識別ポイントの総和が正の値である場合には、その画像データは「水中」のシーンの画像を示すデータであると判断され、負の値である場合には、「水中」のシーンの画像を示すデータでないと判断される。

最後に、ステップＳ１４６において、識別部６０から識別結果が出力され、図１４の処理は終了する。

なお、上記の第３の実施形態においては、参照データは装置５０内のメモリ５６に記憶されているものとしたが、特徴量導出部５８および識別部６０が参照データにアクセスできる限り、参照データは、装置５０とは別個の装置やＣＤ−ＲＯＭ等の差替可能な媒体に記憶されたものであってもよい。

また、上記の第３の実施形態では、画像入力受付部５４に入力される画像データは、対象画像をなす各画素ごとに濃度Ｒ、ＧおよびＢの値を示すデータとしたが、これに限られず、たとえば特徴量群の形式等であってもよい。その場合、特徴量導出部５８は、単にその特徴量群の中からメモリ５６内の参照データが指定するものを選択して識別部６０に送るものとなる。

上記の本発明の第３の実施形態に係る装置５０では、識別に使用する特徴量の種類および識別条件を特定シーンごとに規定した参照データを用いているため、シーン指定受付部５２、画像入力受付部５４、特徴量導出部５８および識別部６０を動作させるアルゴリズム自体は所望の特定シーンにかかわらず共通のものとすることができ、装置の開発コストを低く抑えながら、各特定シーンに合った画像の選別を行なうことができる。しかも、使用する参照データは、特定シーンとして指定され得る各シーンごとに、そのシーンの画像データであるか否かの識別に適した組合せの効果の高い特徴量の種類、およびそれらの特徴量の各々に対応する識別条件を規定したものであるので、いかなる特定シーンに対しても、極めて高精度の識別による画像の選別を行なうことができる。さらに、複雑な識別アルゴリズムの変更、追加および実装等の作業を要することなく、参照データを改変するだけで、識別基準の変更や、識別可能な特定シーンの追加を、簡単に行なうことができる。

以上、本発明の第３の実施形態に係る装置５０について説明したが、当業者であれば、上記の説明に基づいて、コンピュータを、上記のシーン指定受付部５２、画像入力受付部５４、特徴量導出部５８および識別部６０に対応する手段として機能させ、図１４に示すような処理を行なわせるプログラムや、そのようなプログラムを記録したコンピュータ読取可能な記録媒体も、容易に作製することができるであろう。

次に、図１５を用いて、本発明の第４の実施形態について説明する。図１５は、本発明の第４の実施形態に係る特定シーンの画像を選別する装置７０の構成を示したブロック図である。参照データ用メモリ７６には、上記の第３の実施形態と同様に、図１３に示すような参照表形式等の参照データが格納されているものとする。この参照データを決定するための各シーンについての学習は、上記の第１および第２の実施形態に係る装置が行なうものとして説明した処理あるいはそれらの変更例のいずれかに対応する手法により、行なわれたものとする。シーン指定受付部７２、画像入力受付部７４、特徴量導出部７８および識別部８０の機能は、上記に説明した第３の実施形態に係る装置５０の対応部分の機能と同様であり、それらが行なう識別処理も、上記の図１４に示した処理と同様である。そこで、これらについては説明を省略し、以下、第３の実施形態に係る装置５０と異なる部分についてのみ説明する。

第４の実施形態に係る装置７０は、正解受付部８２、追加学習データ用メモリ８４および追加学習部８６を備え、いわば自己学習機能を有する点で、第３の実施形態に係る装置５０と異なる。識別部８０から識別結果の出力を受けたユーザーが、選別されたあるいはされなかった画像をディスプレイに表示する等して確認したところ、選別結果が正しくなかった場合、ユーザーは、次回からはそれに類似した画像も正しく選別してほしいと考える。本実施形態の装置７０は、そのような要請に応えるものである。

すなわち、ユーザーは、正しくない識別結果を受け取り、それを装置７０に追加学習させたいと思った場合は、装置７０の正解受付部８２に対し、その画像に対する正解のシーンを指定して追加学習命令を与えることができる。たとえば、識別部７０が「水中」のシーンの画像であると判断した画像が、実際には「夜景」のシーンの画像であった場合は、正解「夜景」を指定して追加学習命令を与える。追加学習命令および正解の指定を受け取った正解受付部８２は、それらを識別部８０に送る。識別部８０は、これに応答して、識別結果が正しくないとされた画像の識別処理において特徴量導出部７８が導出した各特徴量と、指定された正解とを、追加学習データ用メモリ８４に送る。あるいは、指定された正解と導出された特徴量とに代えて、指定された正解ともともとの画像データとを追加学習データ用メモリ８４に送る構成としてもよい。追加学習データ用メモリ８４には、参照データ用メモリ７６に格納されている初期の参照データの導出に用いられた、各サンプル画像の特徴量または画像データも格納されているものとする。

装置７０が繰返し使用され、追加学習データ用メモリ８４に蓄積された追加学習すべきデータの量が予め定められた基準を超えると、追加学習データ用メモリ８４に格納されているデータが追加学習部８６に送られ、追加学習部８６において、再度の学習および参照データの更新が行なわれる。本実施形態では、追加学習部８６は、正解が指定された追加学習すべき各画像と、初期の参照データの導出に用いられた各サンプル画像とを合わせたすべての画像について、再度、図２と３、図６と７または図１０と１１に示す手法等により学習を行ない、新たな参照データを導出するものとする。

なお、追加学習部８６が行なう学習および参照データの更新の手法は、上記のものに限られず他のいかなる手法によるものであってもよい。また、上記のように、初期の参照データの導出に用いられた各サンプル画像の特徴量または画像データを追加学習用メモリ８４に格納しておく手法にも限られず、正解が指定された追加学習すべき画像についてのみ学習を行なうこととしてもよい。その場合、たとえば、追加学習すべき画像のデータについて、各特定シーンごとかつ各特徴量ごとに図４を用いて説明したようなヒストグラムを作成して、それらのヒストグラムが示す識別条件と、参照データ用メモリ７６にそれまで蓄積されていた参照データが示す識別条件との加重平均を取り、その加重平均された識別条件を新たな識別条件として参照データ用メモリ７６内の参照データを更新する等の手法を用いることができる。また、追加学習用メモリ８４を設けずに、追加学習すべき画像のデータが識別部８０から直接に追加学習部８６に送られる構成とし、参照データを順次更新するようにしてもよい。

また、上記の実施形態では、追加学習データの量が予め定められた基準を超えた際に追加学習および参照データの更新を行なうこととしたが、定期的にまたはユーザーからの命令により追加学習および参照データの更新を行なう構成としてもよい。

上記の第４の実施形態に係る装置７０によれば、上記した第３の実施形態の装置５０と同様の効果に加えて、実際の選別対象画像に合わせて継続的に選別の精度を向上させていくという効果をさらに得ることができる。また、ユーザーが頻繁に指定する特定シーンに関しては、参照データの内容が特に充実していくため、より高い識別精度を実現することができる。

以上、本発明の第４の実施形態に係る装置７０について説明したが、当業者であれば、上記の説明に基づいて、コンピュータを、上記のシーン指定受付部７２、画像入力受付部７４、特徴量導出部７８、識別部８０、正解受付部８２および追加学習部８６に対応する手段として機能させるプログラムや、そのようなプログラムを記録したコンピュータ読取可能な記録媒体も、容易に作製することができるであろう。

なお、上記に説明した本発明の第１から第４の実施形態およびそれらの変更例は、いずれも、画像データが特定シーンの画像データであるか否かを識別する識別処理のための特徴量の種類と識別条件の決定、または特定シーンの画像データの選別のための装置、プログラムまたはプログラムを記録した記録媒体に関するものであった。しかしながら、本発明は、対象データが特定内容のデータであるか否かを識別する識別処理のための特徴量の種類と識別条件の決定、または特定内容のデータの選別のための装置、プログラムまたはプログラムを記録した記録媒体であれば、いかなるものにも適用することができ、上記の画像データおよび特定シーンは、対象データおよび特定内容の一例に過ぎない。たとえば、本発明は、ある音声データが特定人物の声のデータであるか否かを識別する処理のための、特徴量の種類と識別条件の決定等にも適用することができる。また、同じ画像データを対象データとするものに限っても、上記のような１枚の画像全体が特定シーンを示すものであるか否かの識別処理に限られず、１枚の画像に含まれる１つの領域を表すデータが、人物等のある特定の被写体に対応する領域を表すデータであるか否かを識別する処理のための、特徴量の種類と識別条件の決定等にも適用することができる。

その他、上記の各実施形態および変更例を組み合わせた形態等も当然ながら本発明の技術的範囲に含まれるものであり、本発明の技術的範囲は、特許請求の範囲のみによって定められるべきものであることは言うまでもない。

本発明の第１の実施形態に係る、識別処理に用いる特徴量の種類と識別条件を決定する装置の構成を示したブロック図 図１の装置が行なう処理の一例を示したフローチャート 図２の処理の続きを示したフローチャート 図１の装置の識別器作成部による識別器の作成方法を示した図 図２および図３の処理により決定された特徴量の種類と識別条件の例を示した図 図１の装置が行なう処理の別の例を示したフローチャート 図６の処理の続きを示したフローチャート 図６および図７の処理により決定された特徴量の種類と識別条件の例を示した図 本発明の第２の実施形態に係る、識別処理に用いる特徴量の種類と識別条件を決定する装置の構成を示したブロック図 図９の装置が行なう処理の一例を示したフローチャート 図１０の処理の続きを示したフローチャート 本発明の第３の実施形態に係る特定シーンの画像データを選別する装置の構成を示したブロック図 図１２の装置が用いる参照データの例を示した図 図１２の装置が行なう処理の一例を示したフローチャート 本発明の第４の実施形態に係る特定シーンの画像データを選別する装置の構成を示したブロック図

Claims (18)

1. 対象データが特定内容のデータであるか否かを識別する識別処理に用いる少なくとも１つの特徴量の種類と、該特徴量の各々に対応する識別条件とを決定する装置であって、
   前記識別処理に用いられ得る複数の特徴量から、各々少なくとも１つの特徴量からなる複数の特徴量群を規定する特徴量群規定手段と、
   前記複数の特徴量群に対応する複数の識別器群であって、該複数の識別器群それぞれを構成する各識別器が、前記特定内容のデータであることが分かっている複数のデータと、前記特定内容のデータでないことが分かっている複数のデータとからなる第１のサンプルデータ群に基づいて前記識別条件が定められたものであるとともに、前記第１のサンプルデータ群に基づいて該識別器群それぞれの正答率が所定の基準を超えるように作成されたものである、複数の識別器群を規定する識別器群規定手段と、
   前記第１のサンプルデータ群をなすデータの全部または一部に対する正答率が最も高い１つの識別器群を選択する識別器群選択手段と、
   所定数の識別器群もしくは正答率が所定の基準を超えるすべての識別器群が選択されるまで、または選択された識別器群を組み合わせて得られる正答率が所定の基準を超えるまで、前記識別器群選択手段を繰返し動作させる手段と、
   前記識別器群選択手段により選択されたすべての前記識別器群に基づいて、前記識別処理に用いる前記少なくとも１つの特徴量の種類と前記識別条件とを決定する決定手段とを備え、
   前記第１のサンプルデータ群が、該第１のサンプルデータ群をなすデータの各々に重みが与えられた重み付きサンプルデータ群であり、
   前記識別器群選択手段が、各動作ごとに、前記重みを加味した前記正答率が最も高い前記１つの識別器群を選択するものであり、
   前記識別器群選択手段の２回目以降の各動作に先立って、直前の該識別器群選択手段の動作により選択された前記１つの識別器群によっては正しく識別されない各データの重みが該データの現在の重みよりも高くなり、かつ／または該１つの識別器群によって正しく識別される各データの重みが該データの現在の重みよりも低くなるように、前記第１のサンプルデータ群をなす各データの前記重みを更新する重み更新手段と、
   前記識別器群選択手段の２回目以降の各動作に先立って、該識別器群選択手段の直前の動作により選択された前記１つの識別器群を以降の選択対象から除外する手段をさらに備えていることを特徴とする装置。
2. 前記識別器群選択手段の２回目以降の各動作に先立って、前記重み更新手段により更新された各データの前記重みが、前記複数の識別器群の各々をなす各識別器に加味されるように、各識別器を更新する手段をさらに備えていることを特徴とする請求項１記載の装置。
3. 前記特徴量群規定手段が、
   前記特定内容のデータであることが分かっている複数のデータと、前記特定内容のデータでないことが分かっている複数のデータとからなる第２のサンプルデータ群に基づいて、前記複数の特徴量の各々について、対応する識別器を作成する識別器作成手段と、
   前記第２のサンプルデータ群をなすデータの全部または一部に対する識別精度が最も高い１つの識別器を選択する動作を、所定数の識別器もしくは識別精度が所定の基準を超えるすべての識別器が選択されるまで、または選択された識別器の正答率が所定の基準を超えるまで、繰返し行なうことにより選択された各識別器に対応する特徴量を、１つの特徴量群を構成する特徴量として特定する特徴量特定手段とを備え、
   前記特徴量特定手段を複数回動作させることにより、前記複数の特徴量群の各々を構成する特徴量を特定するものであることを特徴とする請求項１または２記載の装置。
4. 前記第２のサンプルデータ群が、該第２のサンプルデータ群をなすデータの各々に重みが与えられた重み付きサンプルデータ群であり、
   前記特徴量特定手段が、
   前記選択する動作ごとに、前記重みを加味した前記識別精度が最も高い前記１つの識別器を選択するものであり、
   ２回目以降の前記選択する動作に先立って、直前の前記選択する動作により選択された前記１つの識別器によっては正しく識別されない各データの重みが該データの現在の重みよりも高くなり、かつ／または該１つの識別器によって正しく識別される各データの重みが該データの現在の重みよりも低くなるように、前記第２のサンプルデータ群をなす各データの前記重みを更新するものであることを特徴とする請求項３記載の装置。
5. 前記特徴量特定手段が、２回目以降の前記選択する動作に先立って、前記第２のサンプルデータ群をなすデータの各々に割り当てられた更新された前記重みが、前記識別器作成手段が作成した各識別器に加味されるように、各識別器を更新するものであることを特徴とする請求項４記載の装置。
6. 前記特徴量特定手段が、２回目以降の前記選択する動作に先立って、直前の前記選択する動作により選択された前記１つの識別器を以降の選択対象から除外するものであることを特徴とする請求項３から５いずれか１項記載の装置。
7. 前記特徴量特定手段の２回目以降の各動作に先立って、該特徴量特定手段の直前の動作により前記１つの特徴量群を構成する特徴量として規定された特徴量に対応するすべての識別器を、以降の選択対象から除外する手段をさらに備えていることを特徴とする請求項３から５いずれか１項記載の装置。
8. 前記特徴量群規定手段が、
   前記特定内容のデータであることが分かっている複数のデータと、前記特定内容のデータでないことが分かっている複数のデータとからなる第２のサンプルデータ群に基づいて、前記複数の特徴量の各々について、対応する識別器を作成する識別器作成手段と、
   前記識別器作成手段が作成した前記識別器を対応する特徴量に応じて複数のカテゴリーに分け、前記複数のカテゴリーごとに、前記第２のサンプルデータ群をなすデータの全部または一部に対する識別精度が最も高い１つの識別器を選択する動作を、所定数の識別器もしくは識別精度が所定の基準を超えるすべての識別器が選択されるまで、または選択された識別器の正答率が所定の基準を超えるまで、繰返し行なうことにより選択された各識別器に対応する特徴量を、１つの特徴量群を構成する特徴量として特定する特徴量特定手段とを備えていることを特徴とする請求項１または２記載の装置。
9. 前記第２のサンプルデータ群が、該第２のサンプルデータ群をなすデータの各々に重みが与えられた重み付きサンプルデータ群であり、
   前記特徴量特定手段が、
   各選択する動作ごとに、前記重みを加味した前記識別精度が最も高い前記１つの識別器を選択し、
   前記複数のカテゴリーごとの２回目以降の前記選択する動作に先立って、直前の前記選択する動作により選択された前記１つの識別器によっては正しく識別されない各データの重みが該データの現在の重みよりも高くなり、かつ／または該１つの識別器によって正しく識別される各データの重みが該データの現在の重みよりも低くなるように、前記第２のサンプルデータ群をなす各データの前記重みを更新するものであることを特徴とする請求項８記載の装置。
10. 前記特徴量特定手段が、前記複数のカテゴリーごとの２回目以降の前記選択する動作に先立って、前記第２のサンプルデータ群をなすデータの各々に割り当てられた更新された前記重みが、該カテゴリーをなす各識別器に加味されるように、該カテゴリーをなす各識別器を更新するものであることを特徴とする請求項９記載の装置。
11. 前記特徴量特定手段が、前記複数のカテゴリーごとの２回目以降の前記選択する動作に先立って、直前の前記選択する動作により選択された前記１つの識別器を以降の選択対象から除外するものであることを特徴とする請求項８から１０いずれか１項記載の装置。
12. 前記複数の識別器群をなす識別器の各々が、前記第１のサンプルデータ群をなすデータのうち、前記特定内容のデータであることが分かっている前記複数のデータが示す該識別器に対応する特徴量の値のヒストグラムの各頻度値と、前記特定内容のデータでないことが分かっている前記複数のデータが示す該識別器に対応する特徴量の値のヒストグラムの各頻度値との、比または差分を表したヒストグラムであることを特徴とする請求項１から１１いずれか１項記載の装置。
13. 前記対象データおよび前記第１のサンプルデータ群をなす各データが画像データであり、
    前記特定内容が、該対象データが示し得る特定シーンであることを特徴とする請求項１から１２いずれか１項記載の装置。
14. 対象データが特定内容のデータであるか否かを識別する識別処理に用いる少なくとも１つの特徴量の種類と、該特徴量の各々に対応する識別条件とを決定するためのプログラムであって、コンピュータを、
    前記識別処理に用いられ得る複数の特徴量から、各々少なくとも１つの特徴量からなる複数の特徴量群を規定する特徴量群規定手段、
    前記複数の特徴量群に対応する複数の識別器群であって、該複数の識別器群それぞれを構成する各識別器が、前記特定内容のデータであることが分かっている複数のデータと、前記特定内容のデータでないことが分かっている複数のデータとからなるサンプルデータ群に基づいて前記識別条件が定められたものであるとともに、前記サンプルデータ群に基づいて該識別器群それぞれの正答率が所定の基準を超えるように作成されたものである、複数の識別器群を規定する識別器群規定手段、
    前記サンプルデータ群をなすデータの全部または一部に対する正答率が最も高い１つの識別器群を選択する識別器群選択手段、
    所定数の識別器群もしくは正答率が所定の基準を超えるすべての識別器群が選択されるまで、または選択された識別器群を組み合わせて得られる正答率が所定の基準を超えるまで、前記識別器群選択手段を繰返し動作させる手段、および
    前記識別器群選択手段により選択されたすべての前記識別器群に基づいて、前記識別処理に用いる前記少なくとも１つの特徴量の種類と前記識別条件とを決定する決定手段として機能させるものであり、
    前記サンプルデータ群が、該サンプルデータ群をなすデータの各々に重みが与えられた重み付きサンプルデータ群であり、
    前記識別器群選択手段が、各動作ごとに、前記重みを加味した前記正答率が最も高い前記１つの識別器群を選択するものであり、
    前記識別器群選択手段の２回目以降の各動作に先立って、直前の該識別器群選択手段の動作により選択された前記１つの識別器群によっては正しく識別されない各データの重みが該データの現在の重みよりも高くなり、かつ／または該１つの識別器群によって正しく識別される各データの重みが該データの現在の重みよりも低くなるように、前記サンプルデータ群をなす各データの前記重みを更新する重み更新手段と、
    前記識別器群選択手段の２回目以降の各動作に先立って、該識別器群選択手段の直前の動作により選択された前記１つの識別器群を以降の選択対象から除外する手段をさらに機能させることを特徴とするプログラム。
15. 対象データが特定内容のデータであるか否かを識別する識別処理に用いる少なくとも１つの特徴量の種類と、該特徴量の各々に対応する識別条件とを決定するためのプログラムであって、コンピュータを、
    前記識別処理に用いられ得る複数の特徴量から、各々少なくとも１つの特徴量からなる複数の特徴量群を規定する特徴量群規定手段、
    前記複数の特徴量群に対応する複数の識別器群であって、該複数の識別器群それぞれを構成する各識別器が、前記特定内容のデータであることが分かっている複数のデータと、前記特定内容のデータでないことが分かっている複数のデータとからなるサンプルデータ群に基づいて前記識別条件が定められたものであるとともに、前記サンプルデータ群に基づいて該識別器群それぞれの正答率が所定の基準を超えるように作成されたものである、複数の識別器群を規定する識別器群規定手段、
    前記サンプルデータ群をなすデータの全部または一部に対する正答率が最も高い１つの識別器群を選択する識別器群選択手段、
    所定数の識別器群もしくは正答率が所定の基準を超えるすべての識別器群が選択されるまで、または選択された識別器群を組み合わせて得られる正答率が所定の基準を超えるまで、前記識別器群選択手段を繰返し動作させる手段、および
    前記識別器群選択手段により選択されたすべての前記識別器群に基づいて、前記識別処理に用いる前記少なくとも１つの特徴量の種類と前記識別条件とを決定する決定手段として機能させるものであり、
    前記サンプルデータ群が、該サンプルデータ群をなすデータの各々に重みが与えられた重み付きサンプルデータ群であり、
    前記識別器群選択手段が、各動作ごとに、前記重みを加味した前記正答率が最も高い前記１つの識別器群を選択するものであり、
    前記識別器群選択手段の２回目以降の各動作に先立って、直前の該識別器群選択手段の動作により選択された前記１つの識別器群によっては正しく識別されない各データの重みが該データの現在の重みよりも高くなり、かつ／または該１つの識別器群によって正しく識別される各データの重みが該データの現在の重みよりも低くなるように、前記サンプルデータ群をなす各データの前記重みを更新する重み更新手段と、
    前記識別器群選択手段の２回目以降の各動作に先立って、該識別器群選択手段の直前の動作により選択された前記１つの識別器群を以降の選択対象から除外する手段をさらに機能させることを特徴とするプログラムを記録したコンピュータ読取可能な記録媒体。
16. データの所望の特定内容の指定を受け付けるデータ内容指定受付手段と、
    選別対象である対象データの入力を受け付ける対象データ入力受付手段と、
    前記特定内容として指定され得る複数の内容ごとに、前記対象データが該内容のデータであるか否かの識別に用いる少なくとも１つの特徴量の種類と、該少なくとも１つの特徴量の各々に対応する識別条件とを予め規定した参照データを、前記データ内容指定受付手段において指定された前記特定内容に基づいて参照して、前記対象データから、該特定内容のデータであるか否かの識別に用いる前記少なくとも１つの特徴量を導出する特徴量導出手段と、
    前記特徴量導出手段により導出された前記少なくとも１つの特徴量の各々に基づいて、前記参照データが規定する前記対応する識別条件を参照し、前記対象データが前記データ内容指定受付手段において指定された前記特定内容のデータであるか否かを識別する識別手段とを備えてなり、
    前記参照データが、前記複数の内容の各々について、該内容のデータであることが分かっている複数のデータと、該内容のデータでないことが分かっている複数のデータとからなるサンプルデータ群を、予め学習することにより決定されたものであって、前記複数の内容の各々についての前記学習が、
    前記識別手段による識別処理に用いられ得る複数の特徴量から、各々少なくとも１つの特徴量からなる複数の特徴量群を規定する工程と、
    前記複数の特徴量群に対応する複数の識別器群であって、該複数の識別器群それぞれを構成する各識別器が前記サンプルデータ群に基づいて前記識別条件が定められたものであるとともに、前記サンプルデータ群に基づいて該識別器群それぞれの正答率が所定の基準を超えるように作成されたものである、複数の識別器群を規定する工程と、
    前記サンプルデータ群をなすデータの全部または一部に対する正答率が最も高い１つの識別器群を選択する工程と、
    所定数の識別器群もしくは正答率が所定の基準を超えるすべての識別器群が選択されるまで、または選択された識別器群を組み合わせて得られる正答率が所定の基準を超えるまで、前記識別器群を選択する工程を繰り返す工程と、
    前記選択する工程において選択されたすべての識別器群に基づいて、現在の学習内容のデータであるか否かの識別に用いる前記少なくとも１つの特徴量の種類と前記識別条件とを決定する工程を含むものであり、
    前記サンプルデータ群が、該サンプルデータ群をなすデータの各々に重みが与えられた重み付きサンプルデータ群であり、
    前記選択する工程が、各動作ごとに、前記重みを加味した前記正答率が最も高い前記１つの識別器群を選択するものであり、
    前記選択する工程の２回目以降の各動作に先立って、直前の該選択する工程の動作により選択された前記１つの識別器群によっては正しく識別されない各データの重みが該データの現在の重みよりも高くなり、かつ／または該１つの識別器群によって正しく識別される各データの重みが該データの現在の重みよりも低くなるように、前記サンプルデータ群をなす各データの前記重みを更新する工程と、
    前記選択する工程の２回目以降の各動作に先立って、該選択する工程の直前の動作により選択された前記１つの識別器群を以降の選択対象から除外する工程をさらに含む方法によるものであることを特徴とする、特定内容のデータを選別する装置。
17. 前記識別手段により正しい識別結果が得られなかった対象データについて、該対象データが示す正しい内容の指定を受け付ける正解受付手段と、
    前記正しい内容の指定が受け付けられた前記対象データを学習することにより、前記参照データを更新する追加学習手段とをさらに備えていることを特徴とする請求項１６記載の特定内容のデータを選別する装置。
18. 前記対象データおよび前記サンプルデータ群をなす各データが画像データであり、
    前記特定内容が、前記対象データが示し得る特定シーンであることを特徴とする請求項１６または１７記載の特定内容のデータを選別する装置。

Images