JP5212007B2 - 画像分類学習装置、画像分類学習方法、および画像分類学習システム - Google Patents

Description

本発明は、画像分類学習装置、画像分類学習方法、画像分類学習システムに関し、特に、機械学習を利用して画像データの分類を行う画像分類学習装置、画像分類学習方法、および画像分類学習システムに関するものである。

従来の機械学習方法は、Ｎ個のデータが一括して与えられ、そこからパラメータの決定などの学習を行う一括学習（Batch-Learning）と、データが１つずつ逐次的に与えられ、データが与えられるたびにパラメータを更新する逐次学習（Sequential-Learning）とに大別することができる。

上記した一括学習の代表例としては、ＳＶＭ（Support Vector Machine）があり、マージン最大化、カーネル法に基づいて最適学習を実現し、現在、音声認識や文字認識、図形認識などのパターン認識分野や医療診断分野等々幅広い分野に応用されている。この一括学習を行う際には、分類を決定付ける識別関数を生成するため、十分かつ適切な事例を用意する必要があり、この事例の質によって分類の精度が大きく左右される。このように、従来から学習時に必要な事例を適切に選択したり、自ら生成したりする技術が用いられている。

例えば、一般の学習法では、訓練される側は学習に使用する事例を選択することなく、与えられた事例をそのまま使用して学習を行うのに対し、能動学習法では、訓練される側が、どの事例について正解が欲しいかを要求するステップを含むことで、より高い精度が得られるように改良されている。この能動学習法を用いて行われた学習結果に基づいて、ＳＶＭがデータ分類を行う方法を提供することにより、学習精度の向上を図るものがあった（特許文献１参照）。

また、検査領域から欠陥領域を抽出する際に、抽出程度の異なる複数の教師データを生成することにより、学習事例が少ない場合でも、抽出程度の変化に対する分類性能のロバスト性を確保するものがあった（特許文献２参照）。

さらに、画像に比べて十分に小さい領域（窓ともいう）を設定し、各窓から画像の正領域を切り出した部分画像の集合を作成して、切り出された全ての部分画像同士の間に非類似度に基づく順序関係を定義する。続いて、その順序関係に基づいて各部分画像を任意の距離空間における点へ写像し、その空間上で画像特徴量を定義する。このような処理を経て、画像の解像度の違い、対象物体の変化、オクルージョンや環境の突然の変化などに対してロバストなクラス分類学習システムを提供するものがあった（特許文献３参照）。

また、学習環境下において十分な数の事例が提供されていない場合には、適切な事例を収集する必要があるが、この収集処理を自動化したものとして、クエリとなるキーワードが与えられた時に、そのキーワードが持つ複数概念に応じた画像を、周辺の説明テキストの照合によりインターネット上から収集し、検索結果の画像の内容によって分類する画像分類方法がある。この画像分類方法は、シソーラス類似度が高く、画像特徴空間における分布の中心距離が閾値以下である画像を正事例とし、正事例の各画像から抽出した画像特徴量のうちバラツキが小さい特徴量の分布から負事例を決定するものであった（特許文献４参照）。

この画像分類方法を用いた場合は、学習に用いる正事例、負事例を生成することにより、概念に対応した画像を精度良く分類することが可能となる。しかし、この方法によって与えられる分類は、ユーザ固有の環境を考慮したものではない。一般に、ユーザの環境によって分類意図（対象/粒度/精度など）は様々であり、あるユーザにとって意味のある分類が、他のユーザにとっても同様に価値があるとは限らない。例えば、植物と動物とを識別する識別器は数多く提供されるが、趣味で植物の写真を収集するユーザにとっては花について粒度の細かい分類の方がより価値が高いかもしれない。このように、より多様なユーザーニーズに応えるためには、ユーザの環境に応じて識別関数をカスタマイズすることが求められている。

そこで、ユーザの環境に合わせた分類を行うようカスタマイズする例としては、画像の集合に対して、集合の名称はそのままで、その内容を種々の条件に応じて最適なものとするため、利用目的に応じた条件を指定し、その条件に従って画像を検出することにより分類を更新していくものがあった（特許文献５参照）。

特許第４０３４６０２号公報 特開２００６−１６３６０８号公報 特開２００６−０３９６５８号公報 特開２００７−３１７１３３号公報 特開２００６−２０１９３３号公報

しかしながら、上記従来例にあっては、大量の画像が蓄積された画像データベースでは、画像データの属性や画像特徴などの性質に基づいてクラスが分類され、整理されていると、検索時に必要なデータが取り出しやすくなるが、以下の３つの課題が存在する。
（１）ユーザ自身が分類指標を指定して分類を行うシステムにおいて、分類対象が画像データの場合は、分類条件を言葉で明確に表現することが難しいという課題があった。
（２）既存の分類クラスが予めシステム側で提供される場合、ユーザの意図しないクラスに分類されてしまう可能性が高く、蓄積された画像データがある１つのクラスに偏ったり、どのクラスに分類されたかがユーザ自身分からなくなったりするという課題があった。
（３）画像データベースに新しい画像が追加されたり、既存の画像データが削除されたりするなど、画像データベースの更新によって様態が変化するが、その変化に応じて分類を学習することができないという課題があった。

特に、特許文献５の場合、ユーザが目的に沿った分類を得るためには、利用する度に条件を指定する必要がある上、指定する条件が明確な場合には対応可能であるが、画像データの分類指標が不明確な場合には対応できないという課題があった。

本発明は、上記に鑑みてなされたものであって、ユーザ環境下の画像データに基づいて機械学習用の事例データを収集し、識別関数を生成して画像データを分類することにより、個々のユーザ環境に合った適切な分類を提供することができると共に、その分類方法を学習することが可能な機能を備えた画像分類学習装置、画像分類学習方法、および画像分類学習システムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明にかかる画像分類学習装置は、画像データ群の分類を学習する画像分類学習装置であって、分類対象となる前記画像データ群を取得する画像データ取得手段と、前記分類を行う各クラスを代表する代表画像を決定する代表画像決定手段と、前記決定した代表画像をクエリとして類似画像を検索し、学習事例として収集する事例収集手段と、前記決定した代表画像と前記収集した事例とに基づいて学習を行い、分類の判定基準となる識別関数を生成する識別関数生成手段と、前記識別関数に基づいて前記画像データ群を分類する分類手段と、前記各手段を制御する制御手段と、を備えたことを特徴とする。

また、本発明にかかる画像分類学習方法は、画像データ群の分類を学習する画像分類学習方法であって、画像データ取得手段が、分類対象となる前記画像データ群を取得するステップと、代表画像決定手段が、分類を行う各クラスを代表する代表画像を決定するステップと、事例収集手段が、前記決定した代表画像をクエリとして類似画像を検索し、学習事例として収集するステップと、識別関数生成手段が、前記決定した代表画像と前記収集した事例とに基づいて学習を行い、分類の判定基準となる識別関数を生成するステップと、分類手段が、前記識別関数に基づいて前記画像データ群を分類するステップと、を含むことを特徴とする。

また、本発明にかかる画像分類学習システムは、画像データ群の分類を学習する画像分類学習システムであって、分類対象となる前記画像データ群を取得する画像データ取得装置と、前記分類を行う各クラスを代表する代表画像を決定する代表画像決定装置と、前記決定した代表画像をクエリとして類似画像を検索し、学習事例として収集する事例収集装置と、前記決定した代表画像と前記収集した事例とに基づいて学習を行い、分類の判定基準となる識別関数を生成する識別関数生成装置と、前記識別関数に基づいて前記画像データ群を分類する分類装置と、を備えたことを特徴とする。

本発明によれば、ユーザ環境下の画像データに基づいて機械学習用の事例データを収集し、識別関数を生成して画像データを分類することにより、個々のユーザ環境に合った適切な分類を提供することができると共に、その分類方法を学習する機能を有するという効果を奏する。

以下に添付図面を参照して、この発明にかかる画像分類学習装置、画像分類学習方法、および画像分類学習システムの最良な実施の形態を詳細に説明する。

（第１の実施の形態）
図１は、第１の実施の形態にかかる画像分類学習装置の一構成例を示すブロック図である。図１に示す画像分類学習装置１０は、大量の画像データが蓄積された画像データベース（ＤＢ）１７から分類対象となる画像データ群を取得する画像データ取得手段としての画像取得部１１、取得した画像データ群の中で分類クラスに対応した代表画像を決定する代表画像決定手段としての代表画像決定部１２、決定した代表画像をクエリとしてインターネット２４上で類似画像を検索する画像検索部１３ａ、検索された画像データから学習用の事例データを抽出する事例データ抽出部１３ｂ、この画像検索部１３ａと事例データ抽出部１３ｂとで事例収集手段としての事例収集部１３を構成している。さらに、画像分類学習装置１０は、事例データ抽出部１３ｂで抽出された事例データをクラスごとに記憶させる事例データ記憶部１６、事例データ記憶部１６に記憶されている正事例および負事例を学習して識別関数を算出する識別関数生成手段としての識別関数生成部１４、算出された識別関数を使用して画像データ群の中のデータを分類する分類手段としての識別処理部１５、および上記各部の制御を行う制御手段としての制御部１８、ユーザに対して操作情報を表示し、操作入力を行わせる操作表示部１９などで構成されている。

検索フィールドとしての前記画像ＤＢ１７は、インターネットや複数のユーザに公開されている画像ＤＢなどを挙げることができる。

図２は、第１の実施の形態にかかる画像分類学習システムの一構成例を示すブロック図である。図２に示す画像分類学習システム２０は、図１に示した画像分類学習装置１０における各機能部をインターネット２４などのネットワークを介して分散させ、システムとして構成することも可能である。図２では、インターネット２４を介してクライアント端末２１と、ウェブ検索エンジン２２と、ウェブサイト２３とが接続されて画像分類学習システム２０を構成している。

クライアント端末２１は、ユーザの検索要求である代表画像データを受付け、これをクエリとして画像検索を行い、検索された画像を提示するものである。

ウェブ検索エンジン２２は、クエリとなる代表画像とウェブサイト２３の画像データの中から類似するウェブ画像を検索するものである。

ウェブサイト２３は、インターネット２４上で公開されているウェブサイトであって、多数の画像データが公開されている。

例えば、画像データ群を保持するウェブサイト２３に対してアクセスを行うクライアント端末２１は、分類対象となる画像データ群を取得する画像データ取得装置を構成している。また、同一クライアント端末２１内、あるいは、別のクライアント端末では、分類を行う各クラスの代表画像を決定する代表画像決定装置を構成している。ウェブ検索エンジン２２は、代表画像決定装置で決定された代表画像をクエリとして、ウェブサイト２３から類似画像を検索し、学習事例として収集する事例収集装置を構成している。そして、上記クライアント端末２１内、あるいは、別のクライアント端末では、上記代表画像決定装置で決定された代表画像と、上記事例収集装置で収集された事例とに基づいて学習を行い、分類の判定基準となる識別関数を生成する識別関数生成装置を構成している。さらに、上記クライアント端末２１内、あるいは、別のクライアント端末では、識別関数生成装置で生成された識別関数に基づいて画像データ群を分類する分類装置を構成している。

このように、図１に示す画像分類学習装置１０、あるいは、図２に示す画像分類学習システム２０を用いて、分類対象となる画像データ群の中から分類の各クラスに対応した代表画像を決定する場合について説明する。代表画像は、分類精度を左右する重要な情報であって、分類におけるクラスを象徴する画像が含まれている。分類対象となる画像データ群が写真などのようにテキスト情報を含まないデータの場合は、言葉によって分類意図を表現することが難しい場合が多い。このため、クラスをイメージしながら、各クラスの代表となる画像を選択することにより、分類を定義することが可能となる。

図３は、図１の代表画像決定部で代表画像を決定する場合のユーザインターフェース画面例を示す図である。図１の代表画像決定部１２は、複数の画像サムネイルをあるルールに基づいて配置した一覧表示を、図１の操作表示部１９のユーザインターフェース画面上に表示し、ユーザに提供する。ユーザは、このユーザインターフェース画面上で画像データ群の全容を把握しながら各クラスの代表画像を選択する。例えば、図３に示すように、クラスＡ〜Ｄの４つのクラスをイメージした場合、ユーザが各クラスの代表画像を一覧表示された画像データ群の中から指定する。このように、クラスの代表画像が一覧表示されたユーザインターフェース画面から代表画像を指定するだけで、自由に分類を定義することが可能となる。例えば、ユーザが所持する画像データ群が全て花の画像であった場合、花の形、色などユーザ好みの粒度で容易に分類定義を与えることが可能となる。このように、蓄積された画像データや分類粒度に拠らず、適応的な分類結果を提供することができる。

また、図１の事例データ抽出部１３ｂでは、代表画像決定部１２が決定した代表画像をクエリとして画像検索部１３により類似画像を検索し、事例データを抽出する。代表画像をクエリとする検索手法としては、従来から知られているあらゆる手法を用いることができる。例えば、画像データから特徴量を抽出し、その特徴量と類似度の高い順に検索結果を提示するのが最も基本的な手法である。その場合、画像の概観に寄与する特徴量として、色ヒストグラム、配色、エッジ、テクスチャ、構図など複数の特徴量を予め設定しておいて、各画像からこれらの特徴量を抽出して多次元ベクトルを構成し、ユークリッド距離などの距離尺度を用いて類似度を評価する。

さらに、図１の識別関数生成部１４では、代表画像決定部１２が決定した代表画像と、事例データ抽出部１３ｂが抽出した事例データとに基づいて学習を行い、識別関数を生成する。より具体的には、事例データ抽出部１３ｂが抽出した事例データは、事例データ記憶部１６に一旦記憶される。図１の事例データ記憶部１６に示すように、クラス毎に収集した正事例および負事例を学習事例として識別関数生成部１４に与えることにより、例えばＳＶＭなどに代表される一括型の教師付学習を行って識別関数を生成する。ＳＶＭは、非線形空間で識別を行いながら、カーネルトリックという手法を用いることにより、計算に処理負荷をかけることなく、高速に複雑な識別を行うことができるという長所がある。学習時には、各代表画像と代表画像の類似画像検索でヒットした複数の画像を１つのクラスの学習用画像とする。まず、各クラスの学習用画像から特徴量ベクトルを算出して教師付学習データとしてＳＶＭへ与える。この時の特徴量としては、上述の類似画像検索時に使用した全特徴量（色ヒストグラム、配色、エッジ、テクスチャ、構図など）について１つの特徴量ベクトルを生成する。ＳＶＭでは、特徴量ベクトルを構成する複数の特徴量のうち、識別への関与が大きい特徴量次元を学習の過程で判定することにより、識別関数を構成する。

また、別の方法としては、色ヒストグラム、配色、エッジ、テクスチャ、構図の各特徴量についてそれぞれ識別平面を生成し、最も識別精度の高い識別平面を採用する方法も考えられる。この場合、学習用画像から１つの特徴量について特徴ベクトルを作成し、識別関数を構成する作業を特徴量の数だけ繰り返すようにする。生成された識別平面の精度をＣＶ（Cross-Validation）などの手法を用いて検査を行い、最も精度の高い特徴量に関する識別関数を以後利用するものがある。

図４は、第１の実施の形態にかかる画像分類学習装置の動作を説明するフローチャートである。まず、図４に示すように、画像分類学習装置１０は、画像ＤＢ１７から画像取得部１１が分類対象となる画像データ群を取得し（ステップＳ１００）、これを代表画像決定部１２と操作表示部１９とを使って、分類クラスに対応した代表画像を決定する（ステップＳ１０１：図３参照）。

続いて、画像検索部１３ａは、代表画像をクエリとして類似画像の検索を行い（ステップＳ１０２）、その検索で取得された画像データより特徴量を抽出して学習用の事例データを抽出する（ステップＳ１０３）。この時、各クラスについて、代表画像に類似する画像として検索された画像データから当該クラスの正事例を、その他のクラスの代表画像に類似する画像として検索された画像データから当該クラスの負事例を抽出し、事例データ記憶部１６に記憶する。

続いて、識別関数生成部１４は、収集した学習事例データに基づいて学習を行い、分類を判定する識別関数を算出する（ステップＳ１０４）。そして、識別処理部１５は、算出した識別関数を用いて画像データ群をクラスに分類する（ステップＳ１０５）。

このように、大量の画像データ群を蓄積している画像ＤＢ１７では、画像データの属性や画像特徴などの性質に基づいてクラス分類され整理されていれば、検索時に必要なデータを取り出し易くなる。しかし、画像データに関しては、分類のための条件を明確に定義することが難しく、分類意図もユーザによって異なる場合が多い。このため、第１の実施の形態によれば、ユーザ自身が意図するクラス分類をイメージしながら各クラスに対応した代表画像を決定し、その代表画像と類似した事例データを収集するようにしたため、分類のための条件が明確に定義できない場合であっても、蓄積データの傾向からユーザの環境に合った適切な分類を提供することが可能になる。また、第１の実施の形態によれば、分類方法の学習機能を備えているため、繰り返し利用することによって、より一層適切な分類が提供できるようになる。

さらに、大量の画像データ群を蓄積している画像ＤＢ１７上で手動による分類を与え、各データを全て分類することはユーザにとって処理負荷の大きい作業である。このため、第１の実施の形態によれば、ユーザが所持する画像データ群の傾向を把握し、取得された画像データ群の中から適当数の画像データとクラス情報とをペアで指定手段としての操作表示部１９を使って指定すると、代表画像決定１２が指定された画像データをクラス情報が表すクラスの代表画像として決定すると、その内容から適当な分類クラスを自動で構成し、決定された分類クラスに基づいて学習事例データを収集して、以後は自動で分類学習が行われるため、ユーザの負荷を軽減しつつ、より適切な分類を提供することができる。

（第２の実施の形態）
第２の実施の形態では、自動で代表画像を選出する点に特徴がある。まず、代表画像を決定する場合、上記第１の実施の形態のようにユーザがクラスをイメージしながら各クラスの代表画像を指定する他、分類対象である画像データ群について、例えば色、テクスチャ、構図といった画像の概観に寄与する画像の特徴量を抽出し、それらの特徴量に関する分布のばらつきが、クラス内では小さく、クラス間では大きくなるような仮のクラスを構成し、各仮クラスから代表画像候補を選出するようにしても良い。具体的には、画像データ取得部１１が取得した画像データ群にクラス情報が付与されていない場合、制御部１８が、画像データ群から画像特徴量を抽出し、特徴ベクトルを生成する特徴ベクトル生成部を備えている。そして、代表画像決定部１２は、その特徴ベクトル生成部によって生成された特徴量ベクトルについて、特徴空間における特徴ベクトルの分布のばらつきがクラス内では小さく、クラス間では大きくなる仮のクラスを構成して、各仮クラスについて１つ以上の画像データを代表画像候補とするものである。

さらに、学習時には、各クラスの代表画像と類似した画像データを事例データとして学習するため、代表画像に選ばれた画像は他の画像と比較すると識別精度が高くなる。従って、ユーザにとって価値のあるデータを代表画像候補からさらに絞り込むことにより、一層利用価値の高い画像データに関する識別精度を向上させることが可能となる。具体的には、図１の代表画像決定部１２は、代表画像候補からアクセス回数情報を取得するアクセス回数情報取得部と、各クラスについて代表画像候補をアクセス回数順にソートするアクセス回数順ソート部と、ソートされた上位から予め指定された個数分の代表画像候補を選択して、各クラスの代表画像データとする第１の代表画像データ決定部とを備え、代表画像候補をアクセス回数により絞り込むようにする。また、代表画像決定部１２は、代表画像候補から更新年月日を取得する更新年月日取得部と、各クラスについて代表画像候補を更新年月日順にソートする更新年月日順ソート部と、ソートされた上位から予め指定された個数分の代表画像候補を選択して、各クラスの代表画像データとする第２の代表画像データ決定部とを備え、代表画像候補を更新年月日により絞り込むようにする。さらに、代表画像決定部１２は、代表画像候補から画像データの重要度を取得する重要度取得部と、各クラスについて代表画像候補を重要度順にソートする重要度順ソート部と、ソートされた上位から予め指定された個数分の代表画像候補を選択して、各クラスの代表画像データとする第３の代表画像データ決定部と、を備え、代表画像候補を重要度により絞り込むようにする。

このように、更新年月日でソートを行って、アクセス回数の高低、あるいは、更新年月日の新旧を考慮して代表画像を決定したり、ユーザが各画像に重要度を付与し、その重要度の高い画像を優先的に代表画像と決定したりする。

さらに、第２の実施の形態にかかる画像分類学習装置では、蓄積画像の中から代表画像を選択し、その代表画像をクエリとしてネットワークから検索を行うことにより、識別関数を構成するための学習事例データを収集する。その際、代表画像の個数は特に制約していないが、代表画像の個数が多くなればなるほど、クエリによる画像検索にかかる負荷が大きくなる。従って分類対象データの特徴空間上で分布に応じた適切な個数の代表画像を（代表画像候補の中から）選択することが望まれる。そこで、特徴空間においてクラス内分布のばらつきが大きい場合は、同一クラスに含まれるデータ間に広がりがあるため、多くの学習事例が必要になることを考慮して、分布における分散の大小に応じて各クラスの代表画像の個数を決定するようにする。

特徴量ベクトルの分布からクラスタを構成する手法としては、クラスタ数を徐々に増やしていく（もしくは減らしていく）階層的な手法と、予めクラスタ数を固定して分類を行う非階層的な手法（例えば、ｋ−ｍｅａｎｓ法）とがある。第２の実施の形態では、予め適当な数のクラスタ数を決めた上でｋ−ｍｅａｎｓ法によりクラスタ分析を行い、仮のクラスを分類する方法について図５を用いて説明する。

図５は、第２の実施の形態にかかる動作を説明するフローチャートである。まず、図５に示すように、画像取得部１１は、分類対象となる画像データ群を画像ＤＢ１７から取得する（ステップＳ２００）。代表画像決定部１２は、各画像データ群から画像特徴量を取得し（ステップＳ２０１）、続いてクラスタ数を取得して（ステップＳ２０２）、画像特徴量データとクラスタ数とに基づいて、上記したｋ−ｍｅａｎｓ法により仮のクラスを決定し（ステップＳ２０３）、仮のクラスに対応する代表画像を決定する（ステップＳ２０４）。

続いて、事例収集部１３の画像検索部１３ａは、仮のクラスに対応した代表画像をクエリとして類似画像を検索し（ステップＳ２０５）、事例データ抽出部１４は、検索によって取得された画像データから特徴量を抽出して、学習用の事例データを抽出する（ステップＳ２０６）。この時、各クラスについて、代表画像に類似する画像として検索された画像データから当該クラスの正事例を、その他のクラスの代表画像に類似する画像として検索された画像データから当該クラスの負事例を抽出する。

続いて、識別関数生成部１４は、抽出した学習用の事例データに基づいて学習を行い、分類を判定する識別関数を算出する（ステップＳ２０７）。識別処理部１５は、算出された識別関数を使用して画像データをクラスに分類する（ステップＳ２０８）。

このように、第２の実施の形態によれば、大量に画像データが蓄積されている画像ＤＢ１７上で手動により分類を与えて、各データを分類することはユーザにとって処理負荷の大きい作業である。そこで、第２の実施の形態にかかる画像分類学習装置では、ユーザが所持する画像データ群の傾向を把握し、その内容から適当な分類クラスを自動で構成し、さらに、決定された分類クラスに基づいて学習事例データを収集して、以後は自動で分類学習を行うようにしたため、ユーザの負荷を軽減しつつ、より適切な分類手段を提供することができる。

また、第２の実施の形態によれば、蓄積画像の中から代表画像を選択し、その代表画像をクエリとしてネットワークから検索することにより識別関数を構成するための学習事例データを抽出する。その際、代表画像の個数に特に制約はないが、個数が多くなるほど、クエリによる画像検索にかかる負荷が大きくなる。従って分類対象データの特徴空間上で分布に応じて適切な個数の代表画像を（代表画像候補の中から）選択することが望まれる。つまり、特徴空間における分布の分散が大きい場合は、より広範の事例データを抽出する必要があるが、分散が小さい場合は、事例データの抽出負荷を軽減するためにも代表画像の個数は必要最小限に止める必要がある。このため、第２の実施の形態によれば、分散度合いに応じて適応的に代表画像の個数を調整することができる。

さらに、第２の実施の形態によれば、ユーザの使用頻度の高い画像を代表画像とした上で、学習用の事例データを抽出して識別関数を構成することにより、ユーザが頻繁に利用する画像データへ容易にアクセスすることができる。

また、第２の実施の形態によれば、ユーザの使用頻度の高い画像を代表画像とした上で学習用の事例データを抽出して識別関数を構成することにより、最新のデータについて高い分類精度を持つことが可能となり、ユーザ環境を反映した分類学習を行うことができる。

また、第２の実施の形態によれば、画像の解析、またはユーザからの指定によって各画像の重要度を取得し、それらを代表画像とした上で学習用の事例データを抽出し、識別関数を構成することにより、ユーザにとって重要度の高い分類精度を持つことが可能となり、ユーザ環境を反映した分類学習を行うことができる。

（第３の実施の形態）
第３の実施の形態は、分類学習対象である画像データに予めクラス情報としてのクラスラベル（教師信号）が付与されている場合に、この分類に基づいて分類を学習する点に特徴がある。例えば、大量の画像データ群を蓄積している画像ＤＢ１７において、画像データがいくつかのフォルダに分類されて保存されている場合でも、既に存在する分類意図を把握し、それ以後は、新しく画像ＤＢ１７に登録される未知の画像データについて、自動で分類を付与し、適切なフォルダに保存して管理することを可能にする。

例えば、分類に大きく寄与する特徴量を見極め、その特徴量に基づいて事例データを抽出し、学習する方法が考えられる。具体的には、各画像データから、色、テクスチャ、構図など、画像の概観に影響する複数の特徴量を抽出し、作成された特徴量ベクトルに対して、分類に寄与する特徴量（以下、分類特徴量という）を見極めるため、フィッシャーの判別分析などを利用して次元削減することにより、適切に分類するための分類特徴量を生成する。代表画像の決め方としては、例えばこの特徴量に関する分布において、各クラスの中心近くに位置するデータを代表画像としても良い（図３参照）。具体的には、画像データ取得部１１が取得した画像データ群にクラス情報が予め付与されている場合、代表画像決定部１２は、クラス内でばらつきが小さく、クラス間でばらつきの大きい分類特徴量を取得する分類特徴量取得部と、分類特徴量の分布に基づいて各クラスから１つ以上の画像データを選択して代表画像候補とする代表画像候補決定部とを備えていて、事例収集部１３が分類特徴量取得部による分類特徴量に関する類似度に基づいて事例を収集するようにする。

フィッシャーの判別分析を利用した次元削減方法の基本概念は、クラス内の分散が小さく、かつクラス間の分散が大きい射影行列を決定することであり、特徴ベクトルを前記射影行列で射影したベクトルを各画像データに対する分類特徴量とする。この射影行列の求め方について以下簡単に説明する。

図６は、第３の実施の形態にかかる動作を説明するフローチャートである。まず、図６に示すように、画像取得部１１は、分類対象となる画像データ群を画像ＤＢ１７から取得する（ステップＳ３００）。代表画像決定部１２は、上述したフィッシャーの判別分析を利用した次元削減方法により分類特徴量を生成し（ステップＳ３０１）、各クラスから代表画像を決定する（ステップＳ３０２）。

続いて、事例収集部１３の画像検索部１３ａは、決定した代表画像をクエリとして類似画像検索を行う（ステップＳ３０３）。その際、分類特徴量に関する類似度により類似画像検索が行われる。

続いて、事例収集部１３の事例データ抽出部１３ｂは、検索によって取得された画像データから分類特徴量を抽出して学習用の事例データを抽出し（ステップＳ３０４）、事例データ記憶部１６に記憶させる。その際、各クラスについて、代表画像に類似する画像として検索された画像データの中から当該クラスの正事例を抽出し、その他のクラスの代表画像に類似する画像として検索された画像データから当該クラスの負事例を抽出する。

続いて、識別関数生成部１４は、抽出した学習用の事例データに基づいて学習を行い、分類を判定する識別関数を算出する（ステップＳ３０５）。識別処理部１６は、算出された識別関数を使用して画像データを各クラスに分類する（ステップＳ３０６）。

このように、第３の実施の形態によれば、画像ＤＢ１７における画像データがフォルダごとに分類して保存され、蓄積されている画像データについて既に何らかのクラスラベルが付与されている場合は、それら既存の分類意図を把握し、学習用の事例データを抽出して、分類を決定付ける識別関数を生成するため、既存の分類に基づいて分類を学習することができる分類学習装置を提供することができる。

（第４の実施の形態）
第４の実施の形態にかかる画像分類学習装置は、機械学習を利用することにより汎化性能（学習に用いていない未知のデータに対して識別を行った際の性能）を持った識別関数を構成することが可能となる。しかし、画像ＤＢ１７に対して新たに大量の画像が登録され、画像データが更新されたことにより登録内容が大きく変化する可能性がある。そのような状況下では、分類対象である画像データ群の様態が大きく変化したにも関わらず、既存の識別関数を使用すると分類精度が著しく低下することになる。

また、ＳＶＭなどに代表される一括学習は、多数の事例データに基づいて時には複雑な識別関数を生成する処理となるため、画像データベースが更新される度に学習を行うのはシステム上現実的ではない。例えば、ＳＶＭは、マージンの最大化が理論的に保証された優れた機械学習方法であるが、識別平面を決定するため２次計画問題を解くことになることから、最悪計算量はサンプルサイズの３乗のオーダーとなってしまい、処理負荷が非常に大きくなる。そこで、現在、ＳＶＭの学習用アルゴリズムであるＳＭＯ（Sequential Minimal Optimization）を使ったさまざまな高速化手法が提案されているが、逐次型の学習システムと比較すると、一括型の学習システムは処理負荷が大きいというデメリットがある。そこで、このような処理負荷の問題を軽減するため、学習を行うタイミングをシステム内で考慮する必要がある。

そこで、第４の実施の形態では、ユーザ環境である分類学習環境が変化した場合に、どのタイミングで再学習を行うかを判断し、学習を指示する機能を有している。具体的には、分類対象である画像データ群（画像ＤＢ１７）の更新情報を取得した場合、再学習を行う必要があるか否かを判断する。その判断基準の一例としては、例えば分類時の重要な指標となる各クラスの代表画像が更新された場合、あるいは、予め指定された更新画像数や時間を指標として、再学習を行うタイミングを決定するようにしても良い。また、複数クラスのうち、１つのクラス内で更新が発生した場合は、全てのクラスについて事例データを更新しても良いが、処理負荷を考慮し、更新されたクラスについてのみ事例データを再度収集して再学習を行うようにしても良い。具体的には、制御部１８は、画像データ群の分類学習環境に関する更新情報を取得する更新情報取得部と、取得した更新情報に基づいて、識別関数生成部１４で再学習を行う必要があるか否かを判断し、必要な場合は識別関数生成部１４に再学習を行わせて、新たな識別関数を生成するよう指示する分類学習管理部とを備えている。

第４の実施の形態にかかる画像分類学習装置において、再学習を行う場合など、画像データに対してクラスラベルと識別関数が与えられている場合に、識別精度を向上させるように学習する仕組みについて以下説明する。

図７は、第４の実施の形態において誤識別画像を代表画像としたりクラス単位の識別精度に応じて学習事例数を調整したりする場合の動作を説明するフローチャートである。識別精度を向上させるアプローチとして、誤識別画像を代表画像としたり、あるいは、クラス単位の識別精度に応じて学習事例数を調整したりすることが考えられる。具体的には、分類対象となる画像データ群に既存のクラス情報と識別関数とが存在する場合に、制御部１８は、画像データ群を識別関数で識別して、誤識別となった画像データを代表画像決定部１２により代表画像に追加し、かつ各クラスについて識別関数に関するクラス識別精度を算出するクラス識別精度算出部を備え、事例収集部１３によってクラス識別精度の低いクラスの事例収集割合を多くすることにより、識別精度の向上を図るものである。

まず、図７に示すように、画像取得部１１は、クラスごとに画像データ群を取得し（ステップＳ４００）、代表画像決定部１２は、既存の識別関数を使って各データを識別し（ステップＳ４０１）、クラスラベルと照合して正しく識別されたか否かを判定する（ステップＳ４０２）。その判定の結果、正しく識別されていない場合、即ち誤識別とされた画像データは、新たな代表画像として追加され（ステップＳ４０３）、ステップＳ４０４に移行する。

また、ステップＳ４０２における判定の結果、正しく識別されていると判定された場合は、ステップＳ４０４に移行し、処理対象クラスにおいて全ての画像の識別が終了したか否かを判定する。ここで、まだ識別していない画像が残っている場合は、ステップＳ４０１に戻り、次の画像データの識別が行われる。

また、ステップＳ４０４において、全ての画像の識別が終了した場合は、クラス識別精度を算出し（ステップＳ４０５）、クラスごとの学習事例数を決定する（ステップＳ４０６）。そして、ステップＳ４０７では、全てのクラスで処理が終了したかを判定し、まだ処理が終了していないクラスが残っている場合は、ステップＳ４００に戻って、次のクラスについて同様の画像データ識別処理が繰り返される。ステップＳ４０７で、全てのクラスにおける識別処理が終了した場合は、処理を終了する。

このように、第４の実施の形態によれば、識別関数の生成に必要なデータの更新情報を取得すると、再学習を行う必要があるか否かを適切に判断し、必要な場合は再学習するように指示することで、学習処理の負荷を軽減しつつ、画像データ群の更新といったユーザ環境の変化にも対応可能な画像分類学習装置および画像分類学習システムを得ることができる。

また、第４の実施の形態によれば、既存の識別関数が存在し、再学習を行う場合に、現状の識別精度を把握することにより、学習事例データの内容を調整して、識別精度を向上させることができる。具体的には、誤識別となった画像データを代表画像とし、これと類似した画像データを収集して事例データを抽出するようにしたため、誤識別となった画像データの識別精度を向上させることができる。

さらに、第４の実施の形態によれば、既存の識別関数が存在し、再学習を行う場合に、現状の識別精度を把握することにより、学習事例データ数を調整して、識別精度を向上させることができる。具体的には、既存の識別関数を使用してクラス内識別精度を算出し、他のクラスの識別精度と比較して、識別精度の低いクラスについての事例データの抽出割合を高くすることにより、識別精度が低かったクラスの識別精度を向上させることができる。

（第５の実施の形態）
また、識別精度を向上させるもう１つのアプローチとしては、識別時の識別平面との距離を利用する方法が考えられる。ＳＶＭでは、学習時に決定される識別平面において平面上に存在する事例をサポートベクターと称して、識別時に重要な役割を果たすが、一般に識別平面からの距離が近いデータは、誤識別する可能性が高いと言える。このため、第５の実施の形態では、分類対象となる画像データ群に既存のクラス情報と識別関数とが存在する場合、制御部１８は、各画像データ群の識別平面からの距離を算出し、その算出した距離が予め指定した閾値以下の画像データを代表画像として追加し、かつ制御部１８が算出した識別平面からの距離に応じて、事例収集部１３が事例の収集個数を決定するようにする。具体的には、事例の収集個数を識別平面からの距離が小さいほど多く設定し、誤識別しやすいデータに関する事例を確実に集めることによって、結果的に識別精度の向上を図るようにしたものである。

図８は、第５の実施の形態において識別時の識別平面との距離を利用する場合の動作を説明するフローチャートである。以下、図８を用いて、第５の実施の形態にかかる動作を説明する。

図８に示すように、画像取得部１１は、画像データ群を取得し（ステップＳ５００）、代表画像決定部１２は、既存の識別関数に基づいて識別平面との距離を算出する（ステップＳ５０１）。ステップＳ５０２において算出した距離が閾値（Ｔｈ）より大きいか否かを判定し（ステップＳ５０２）、算出した距離が閾値（Ｔｈ）以下の場合は、画像データを代表画像に追加し（ステップＳ５０３）、ステップＳ５０４に移行する。また、ステップＳ５０２において算出した距離が閾値（Ｔｈ）より大きい場合は、ステップＳ５０４に移行して、画像ごとに収集する学習事例数を決定する。

そして、ステップＳ５０５において、全てのクラスで処理が終了したか否かを判定し、まだ処理していないクラスが残っている場合は、上記ステップＳ５００に戻り、次のクラスについて同様の処理が繰り返される。また、ステップＳ５０５において、全てのクラスでの処理が終了した場合は、処理を終了する。

このように、第５の実施の形態によれば、画像データの分類指標となる既存の識別関数が存在し、再学習を行う場合に、より精度の高い識別関数を構成するため、誤識別しやすい画像データに関する学習ウェイトを大きくすることにより、識別精度を向上させることができる。具体的には、既存の識別関数において、識別平面からの距離が近い画像データは誤識別する可能性が高いと言える。このため、そのような画像データと類似した事例の収集割合を多くし、学習時に与えることによって、識別精度を向上させることができる。

また、第５の実施の形態によれば、一括型の機械学習によって識別関数を算出する場合は、一般的に処理負荷が大きくなる。例えば、ＳＶＭの場合は、２次計画問題を解くことになるため、最悪計算量はサンプルサイズの３乗のオーダーとなる。そのため、画像ＤＢ１７は、その内容が更新される度に学習を行うと登録に時間がかかることになる。そこで、分類の指標となる代表画像が更新されるタイミングに合わせて再学習を行うことにより、処理負荷を軽減しつつ、画像データ群の更新といったユーザ環境の変化にも対応可能な画像分類学習装置および画像分類学習システムを得ることができる。

（第６の実施の形態）
第６の実施の形態にかかる画像分類学習装置は、代表画像を決定し、その代表画像をクエリとしてインターネット上、もしくは適当な画像ＤＢ１７内を検索して、学習用の事例データを収集する。代表画像は、ユーザによって指示することが可能であり、その代表画像に基づいてクエリ検索した結果、異なるクラスの事例に同一の画像データが含まれる可能性がある。そのような事例データを学習時に与えるのは適切でないため、第６の実施の形態では、収集した事例データのうち、異なるクラスに同一の事例データが含まれていることを制御部１８が検出すると、当該事例データを削除するようにする。このように、不適切な事例データを除去することで、学習精度を向上させるものである。

図９は、第６の実施の形態にかかる動作を説明するフローチャートである。まず、図９に示すように、制御部１８は、事例データ記憶部１６から事例データを取得し（ステップＳ６００）、当該事例データと別のクラスの事例データとを比較し（ステップＳ６０１）、別のクラスの事例データに一致するものがあるか否かを判定する（ステップＳ６０２）。一致しなければステップＳ６０３で次の事例データがあるか否かを判定し、ある場合はステップＳ６０１に戻る。次の事例データが無い場合は、ステップＳ６０５に移行する。

上記ステップＳ６０２において、別のクラスに同じ事例データがあった場合は、ステップＳ６０４に移行し、同じ事例データを削除して、ステップＳ６０５に移行する。ステップＳ６０５では、異なるクラスの全ての事例データと比較したか否かが判定され、まだ比較していない事例データがある場合は、ステップＳ６００に戻り、新たな事例データと別のクラスの事例データとの比較処理が繰り返される。ステップＳ６０５において、異なるクラスの全ての事例データと比較した場合は、処理を終了する。

このように、第６の実施の形態によれば、分類クラスに対応した代表画像をクエリとして類似画像を検索し、クラス毎の事例データとして事例データ抽出部１３ｂが抽出する場合に、制御部１８は、異なるクラスの中に同じ事例データが含まれていると、当該事例データを不適切なデータとして削除するため、学習精度を向上させることができる。

第１の実施の形態にかかる画像分類学習装置の一構成例を示すブロック図である。 第１の実施の形態にかかる画像分類学習システムの一構成例を示すブロック図である。 図１の代表画像決定部で代表画像を決定する場合のユーザインターフェース画面例を示す図である。 第１の実施の形態にかかる画像分類学習装置の動作を説明するフローチャートである。 第２の実施の形態にかかる動作を説明するフローチャートである。 第３の実施の形態にかかる動作を説明するフローチャートである。 第４の実施の形態において誤識別画像を代表画像としたりクラス単位の識別精度に応じて学習事例数を調整したりする場合の動作を説明するフローチャートである。 第５の実施の形態において識別時の識別平面との距離を利用する場合の動作を説明するフローチャートである。 第６の実施の形態にかかる動作を説明するフローチャートである。

符号の説明

１０ 画像分類学習装置
１１ 画像取得部
１２ 代表画像決定部
１３ 事例収集部
１３ａ 画像検索部
１３ｂ 事例データ抽出部
１４ 識別関数生成部
１５ 識別処理部
１６ 事例データ記憶部
１７ 画像データベース（ＤＢ）
１８ 制御部
１９ 操作表示部
２０ 画像分類学習システム
２１ クライアント端末
２２ ウェブ検索エンジン
２３ ウェブサイト
２４ インターネット

Claims (16)

1. 画像データ群の分類を学習する画像分類学習装置であって、
   分類対象となる前記画像データ群を取得する画像データ取得手段と、
   前記分類を行う各クラスを代表する代表画像を決定する代表画像決定手段と、
   前記決定した代表画像をクエリとして類似画像を検索し、学習事例として収集する事例収集手段と、
   前記決定した代表画像と前記収集した事例とに基づいて学習を行い、分類の判定基準となる識別関数を生成する識別関数生成手段と、
   前記識別関数に基づいて前記画像データ群を分類する分類手段と、
   前記各手段を制御する制御手段と、
   を備えたことを特徴とする画像分類学習装置。
2. 前記制御手段は、
   前記画像データ群の分類学習環境に関する更新情報を取得する更新情報取得部と、
   前記取得された更新情報に基づいて、前記識別関数生成手段で再学習を行う必要があるか否かを判断し、必要な場合は前記識別関数生成手段に再学習を行わせて、新たな識別関数を生成するように指示する分類学習管理部と、
   を備えたことを特徴とする請求項１に記載の画像分類学習装置。
3. 前記分類対象となる画像データ群に既存のクラス情報と識別関数とが存在する場合、前記制御手段は、前記画像データ群を前記識別関数で識別し、誤識別となった画像データを前記代表画像決定手段により代表画像と決定させることを特徴とする請求項１または２に記載の画像分類学習装置。
4. 前記分類対象となる画像データ群に既存のクラス情報と識別関数とが存在する場合、前記制御手段は、前記各クラスについて前記識別関数に関するクラス識別精度を算出するクラス識別精度算出部を備え、
   前記事例収集手段は、前記クラス識別精度の低いクラスの事例収集割合を多くすることを特徴とする請求項２に記載の画像分類学習装置。
5. 前記分類対象となる画像データ群に既存のクラス情報と識別関数とが存在する場合、前記制御手段は、各画像データ群の識別平面からの距離を算出し、該算出された距離が予め指定された閾値以下の画像データを前記代表画像決定手段で代表画像と決定させることを特徴とする請求項１または２に記載の画像分類学習装置。
6. 前記事例収集手段は、前記制御手段が算出した識別平面からの距離に応じて、事例の収集個数を決定することを特徴とする請求項５に記載の画像分類学習装置。
7. 前記画像データ取得手段が取得した画像データ群にクラス情報が付与されていない場合、前記制御手段は、前記画像データ群から画像特徴量を抽出し、特徴ベクトルを生成する特徴ベクトル生成部を備え、
   前記代表画像決定手段は、前記特徴ベクトル生成部によって生成された特徴量ベクトルについて、特徴空間における特徴ベクトルの分布のばらつきがクラス内では小さく、クラス間では大きくなる仮のクラスを構成し、各仮のクラスについて１つ以上の画像データを代表画像候補とすることを特徴とする請求項１に記載の画像分類学習装置。
8. 前記画像データ取得手段が取得した画像データ群にクラス情報が予め付与されている場合、前記代表画像決定手段は、前記クラス内でばらつきが小さく、前記クラス間でばらつきの大きい分類特徴量を取得する分類特徴量取得部と、前記分類特徴量の分布に基づいて各クラスから１つ以上の画像データを選択して代表画像候補とする代表画像候補決定部とを備え、
   前記事例収集手段は、前記分類特徴量取得部による分類特徴量に関する類似度に基づいて事例を収集することを特徴とする請求項１に記載の画像分類学習装置。
9. クラス内画像データの特徴空間における分布の分散度合いに応じて代表画像に選出する画像数を決定することを特徴とする請求項７または８に記載の画像分類学習装置。
10. 前記画像データ取得手段により取得された画像データ群の中から適当数の画像データとクラス情報とをペアで指定する指定手段を備え、
    前記代表画像決定手段は、前記指定手段により指定された画像データを前記クラス情報が表すクラスの代表画像と決定することを特徴とする請求項１に記載の画像分類学習装置。
11. 前記制御手段は、前記事例収集手段が収集した事例のうち、異なるクラスに同じ事例が含まれている場合は、当該事例を削除することを特徴とする請求項１に記載の画像分類学習装置。
12. 前記代表画像決定手段は、
    前記代表画像候補からアクセス回数情報を取得するアクセス回数情報取得部と、
    各クラスにつき前記代表画像候補をアクセス回数順にソートするアクセス回数順ソート部と、
    ソートされた上位から予め指定された個数分の前記代表画像候補を選択して、前記各クラスの代表画像データとする第１の代表画像データ決定部と、
    を備え、前記代表画像候補をアクセス回数により絞り込むことを特徴とする請求項７または８に記載の画像分類学習装置。
13. 前記代表画像決定手段は、
    前記代表画像候補から更新年月日を取得する更新年月日取得部と、
    各クラスにつき前記代表画像候補を更新年月日順にソートする更新年月日順ソート部と、
    ソートされた上位から予め指定された個数分の前記代表画像候補を選択して、前記各クラスの代表画像データとする第２の代表画像データ決定部と、
    を備え、前記代表画像候補を更新年月日により絞り込むことを特徴とする請求項７または８に記載の画像分類学習装置。
14. 前記代表画像決定手段は、
    前記代表画像候補から画像データの重要度を取得する重要度取得部と、
    各クラスにつき前記代表画像候補を重要度順にソートする重要度順ソート部と、
    ソートされた上位から予め指定された個数分の前記代表画像候補を選択して、前記各クラスの代表画像データとする第３の代表画像データ決定部と、
    を備え、前記代表画像候補を重要度により絞り込むことを特徴とする請求項７または８に記載の画像分類学習装置。
15. 画像データ群の分類を学習する画像分類学習方法であって、
    画像データ取得手段が、分類対象となる前記画像データ群を取得するステップと、
    代表画像決定手段が、分類を行う各クラスを代表する代表画像を決定するステップと、
    事例収集手段が、前記決定した代表画像をクエリとして類似画像を検索し、学習事例として収集するステップと、
    識別関数生成手段が、前記決定した代表画像と前記収集した事例とに基づいて学習を行い、分類の判定基準となる識別関数を生成するステップと、
    分類手段が、前記識別関数に基づいて前記画像データ群を分類するステップと、
    を含むことを特徴とする画像分類学習方法。
16. 画像データ群の分類を学習する画像分類学習システムであって、
    分類対象となる前記画像データ群を取得する画像データ取得装置と、
    前記分類を行う各クラスを代表する代表画像を決定する代表画像決定装置と、
    前記決定した代表画像をクエリとして類似画像を検索し、学習事例として収集する事例収集装置と、
    前記決定した代表画像と前記収集した事例とに基づいて学習を行い、分類の判定基準となる識別関数を生成する識別関数生成装置と、
    前記識別関数に基づいて前記画像データ群を分類する分類装置と、
    を備えたことを特徴とする画像分類学習システム。

Images