JP7328915B2 - 画像分類装置及び方法 - Google Patents

Description

本発明は画像分類装置及び方法に係り、特に学習機能を備えた画像分類システムにおいて使用される教師データを提供するための画像分類装置及び方法に関する。

学習機能を備えた画像分類システムは、深層学習等の画像分類モデルを用いて構成されることがある。深層学習等の画像分類モデルを用いる場合、教師データとして多くの入力画像と画像の種別を表す教師情報が必要であり、教師情報は多くの場合専門家による手作業で作成されている。

専門家は画像が示す意味で教師データのクラス分けを行う。このとき、同じクラス内に複数の特徴を持つ画像がまとめられることがある。例えば、専門家が明示的に画像分類モデルに分類させたいクラス（以下、分類対象クラスという）以外の画像をすべてまとめた分類対象外クラスを作成することがある。この場合、単一のクラスに本来は分離すべき多様な画像が混入してしまう恐れがある。

この場合に、分類すべき画像が混入したクラスの存在は画像分類器を学習する際に分類精度の意味で必ずしも最適ではない。これは一般に教師データは一つのクラスに一つの特徴が対応している教師データの方が画像分類モデルを学習させる際コンパクトな学習ができるため好ましいためである。そこで、コンパクトな学習を行うため、一つのクラスに一つの特徴が対応するように分類対象外クラスを分割することが必要となる。

教師データを必要とする画像分類分野では、分類対象外クラスを特徴ごとに分割する作業にかかる工数が課題となる。特許文献１では、分類対象クラス以外の分類対象外クラスを分類対象クラスの生成モデルを用いて、分類対象クラスとの類似度から分類対象外クラスを自動で分割し、工数を削減する取り組みが行われてきた。

特開２０１４－１３５０１４号公報

特許文献１では、分類対象クラスの生成モデルを用いて、分類対象外クラスを分類対象クラスとの類似度から分割する。そのため、分類対象外クラスの画像のうち、全ての分類対象クラスと類似度が小さい画像については分割することができず、分類対象外クラスに含まれている画像を特徴ごとに分割することはできない。

このことから本発明においては、分類対象外クラスのような複数の特徴をもつ画像がまとめられているクラスに対して、特徴ごとに分割し分割されたクラスをサブクラスとして生成することで適切な教師データを作成することができる画像分類装置及び方法を提供することを目的とする。

以上のことから本発明においては、教師情報を含む分類対象クラスの画像と、教師情報が付与されていない分類対象外クラスの画像を用いて画像分類を行う画像分類装置であって、分類対象クラスに属する画像群と分類対象外クラスに属する画像群とを入力する画像群入力部と、画像群の各画像について特徴量を抽出し、分類対象外クラスに属する画像群について、画像の特徴量をクラスタリングして、サブクラスに分割するサブクラス化部を備えることを特徴とする。

また教師情報を含む分類対象クラスの画像と、教師情報が付与されていない分類対象外クラスの画像を用いて画像分類を行う画像分類方法であって、分類対象クラスに属する画像群と分類対象外クラスに属する画像群の各画像について特徴量を抽出し、分類対象外クラスに属する画像群について、画像の特徴量をクラスタリングして、サブクラスに分割することを特徴とする。

本発明によれば、分類対象外クラスを特徴毎のサブクラスに分割することが可能となる。これにより、適切な教師データ作成を支援し、画像分類モデルの精度向上に必要な工数を削減できる。

本発明の実施例に係る画像分類装置の一例を示す図。 教師データのクラス構造の一例を示す図。 サブクラス化部を実現するためのサブクラス化処理の処理手順例を示す図。 結果修正入力部１０３におけるモニタ画面の一例を示す図。 図３の処理ステップＳ３０２における処理の詳細処理フローを示した図。 異物混入検査における撮影画像において異物の画像内で占める割合が小さい例を示す図。 異物混入検査における撮影画像において異物の画像内で占める割合が大きい例を示す図。 サブクラスに分割する前の特徴量分布の一例を示す図。 サブクラスに分割した後の特徴量分布の一例を示す図。

以下本発明の実施例について、図面を参照して詳細に説明する。

図１に本発明の実施例に係る画像分類装置の一例を示す。画像分類装置１００は学習画像入力部１０１、画像特徴ごとに分割するサブクラス化部１０２及び結果修正入力部１０３を備え、分類対象外となるクラスに属する画像を画像の特徴ごとにクラスを分割してサブクラスを形成し、サブクラスに属する画像に対する結果修正をユーザが行うことで、正しく特徴ごとに分割されたクラスを作成する。画像分類装置１００の出力である分割されたクラスとそれに含まれる画像は、学習機能を備えた画像分類システムにおける教師データとして提供される。

学習画像入力部１０１には、分類対象クラスに属する学習画像群Ｄ１（以下、分類対象画像群）と分類対象外クラスに属する学習画像群Ｄ２（以下、分類対象外画像群）とそれぞれの属するクラスのアノテーション情報（図示せず）を入力する。このとき、分類対象外クラスであることは明示的に入力されている。

図２に、教師データのクラス構造の一例を示す。一例として、「犬」「猫」「その他（猿・鳥・牛）」の画像群を３つのクラスをもつ学習画像について説明する。この場合ユーザは「犬」クラスＣＬ１ａ、「猫」クラスＣＬ１ｂを分類対象クラスＣＬ１とし、「その他（猿・鳥・牛）」を分類対象外クラスＣＬ２と設定している。

この場合に、これらのクラス分けは人の手作業によって行われているため、誤りがあることも考えられる。例えば、「犬」クラスＣＬ１ａに「猫」クラスＣＬ１ｂに属するべき画像が含まれていることや、「その他（猿・鳥・牛）」クラスＣＬ２に「犬」クラスＣＬ１ａに属するべき画像が含まれていることが考えられる。このように、学習画像群にノイズが含まれている場合がある。なお、「その他（猿・鳥・牛）」クラスＣＬ２の画像枚数が「犬」クラスＣＬ１ａや「猫」クラスＣＬ１ｂより多くても少なくてもよく、各クラス間の枚数の大小は問わない。

図１の画像分類装置において、学習画像入力部１０１は一意に分類対象外画像群Ｄ２が定まるならば手法は限定しない。例えば、分類対象クラスＣＬ１と教師データとなる全画像群を与えても良い。そのとき、全画像群から分類対象クラスＣＬ１に属する画像を差し引いた画像群を分類対象外クラスＣＬ２に属しているものとする。

画像特徴ごとに分割するサブクラス化部１０２は、分類対象外クラスＣＬ２を画像の特徴ごとに分割する。図２で示す例では、「その他」クラスＣＬ２を「猿」サブクラスＣＬ２ａ、「鳥」サブクラスＣＬ２ｂ、「牛」サブクラスＣＬ２ｃに分割する。なお分割された「猿」「鳥」「牛」のクラスは、「その他」クラスＣＬ２におけるサブクラスとして位置づけられる。このとき、全て正しいクラスに分割されていなくてもよく、誤りを含んでいてもよい。誤りを含んでいた場合は結果修正入力部１０３にてユーザが修正を行う。

結果修正入力部１０３により、サブクラス化部１０２において定められたサブクラスあるいはこれをユーザが見直ししたサブクラスを含むクラスの情報Ｄ３が与えられる。クラスの情報Ｄ３には、分類対象クラスＣＬ１である「犬」クラスＣＬ１ａや「猫」クラスＣＬ１ｂの他に、分類対象外クラスＣＬ２である「その他（猿・鳥・牛）」をサブクラス化した「猿」サブクラスＣＬ２ａ、「鳥」サブクラスＣＬ２ｂ、「牛」サブクラスＣＬ２ｃの画像群とその教師情報が含まれており、学習機能を備えた画像分類システムにおける教師データとして提供される。

図３は、画像特徴ごとに分割するサブクラス化部１０２を実現するためのサブクラス化処理の処理手順例を説明する図である。図３の一連の処理における最初の処理である処理ステップＳ３０２では、分類対象画像群Ｄ１と分類対象外画像群Ｄ２を入力とし、画像群を形成する各画像について特徴量を抽出する。処理ステップＳ３０２で求めた情報Ｄ４が、分類対象画像群Ｄ１と分類対象外画像Ｄ２におけるそれぞれの個別画像における特徴量である。処理ステップＳ３０２の具体的な処理内容に関して図５、図６ａ，図６ｂを用いて後述する。

次に処理ステップＳ３０４において特徴量をクラスタリングし、分類対象外画像群Ｄ２を特徴ごとに分割したサブクラスの情報Ｄ３を得る。処理ステップＳ３０４の具体的な処理内容に関して図７ａ，図７ｂを用いて後述する。

処理ステップＳ３０２における特徴量抽出処理の代表的な事例について、図５、図６ａ，図６ｂを用いて説明する。処理ステップＳ３０２における特徴量を抽出する代表的な手法として、画像全体を微少領域に例えばマトリクス状に細分化し、細分化された小領域である画素ごとにラベル付けによる数値化を行い、この数値を用いた識別により画像における特徴量並びに特徴量を示す領域を明確化する手法が知られている。この手法によれば、通常は背景情報を主体に構成される画像において、特徴量が存在する画像である場合に、特徴量であることと、特徴量の部位や形状を抽出することができる。

係る抽出処理では、処理ステップＳ３０２で出力される特徴量の情報Ｄ３は、分類対象外画像群Ｄ２のうち、全ての画像で共通するような特徴（例えば、背景）は除外されるように特徴量を抽出する。その場合、特徴量は背景以外の部分を表し、同じオブジェクトが含まれている画像同士の特徴量は近い値となる。例えば畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いて特徴量抽出を行っても良い。又は主成分分析等の手法を用いても良いし、ＣＮＮと主成分分析を組み合わせた手法でもよい。

処理ステップＳ３０２では特徴量抽出を行う前に、画像内の注目すべき領域を事前に求めておいて、その領域に注目して特徴量抽出を行っても良い。例えば、分類対象外画像に手作業で注目領域を設定してもよいし、自動で注目領域を設定してもよい。

図５は、図３の処理ステップＳ３０２における上記処理の詳細処理フローを示した図である。図５は、自動で注目領域を設定する際の一例として、画像内の注目すべきオブジェクトが占める画素の割合を用いて注目領域を設定するプログラムである。

図５の処理ステップＳ５０２では、分類対象画像群Ｄ１、分類対象外画像群Ｄ２内の個々の画像に対し、微少領域化した画素ごとにオブジェクトの種別をラベル付けする。このとき、画素ごとにオブジェクトのラベルを分類するタスクであるＳｅｍａｎｔｅｃ Ｓｅｇｍｅｎｔａｔｉｏｎで用いられるようなモデルを用いるのがよい。

画素ごとにラベル付けされた分類対象画像群Ｄ１´、分類対象外画像群Ｄ２´を用いて、処理ステップＳ５０４においてラベルごとの画像群内の画素数をカウントする。次に処理ステップＳ５０５では全てのラベルを判定したことの是非を確認し、全てのラベルを判定した時（Ｙｅｓ）は一連の処理を終了する。未判定のラベルがある時（Ｎｏ）は処理ステップＳ５０６の処理を実行する。これにより処理ステップＳ５０５以降の処理は、ラベルごとに繰り返し処理される。以下、現ループで対象となっているラベルを対象ラベルと称する。

処理ステップＳ５０６では、対象ラベルをもつ画素数が条件（例えば所定個数以下）を満たすかを判定し、条件を満たす時（Ｙｅｓ）処理ステップＳ５０７にて対象ラベルをもつ画素を注目領域に設定する。条件を満たさない時（Ｎｏ）は、処理ステップＳ５０５に戻り、対象ラベルの判定が全て終了したことを確認する。この処理を全てのラベルに対して行い、分類対象外画像群Ｄ２の全ての画像の画素が注目領域かそれ以外かに分類することが可能となる。

図６ａ、図６ｂは、異物混入検査における撮影画像６０１について、この画像をマトリクス状に微少領域に分割し画素群として表したものである。白抜きの部分が異物であり、それ以外の画素が異物を含まないものとしている。

図５の処理ステップＳ５０６は例えば、異物混入検査における画像６０１において、図６ａに示すように、異物は画像内で占める割合が小さいと分かっている場合、対象ラベルの画素数が閾値より小さいか判定する。また、図６ｂに示すように異物は画像内で占める割合が大きいと分かっている場合、対象ラベルの画素数が閾値より大きいか判定する。

次に図３の処理ステップＳ３０４における処理内容について、図７ａ，図７ｂを用いて説明する。図３の処理ステップＳ３０４では、特徴量の情報Ｄ３をクラスタリングする。

このとき、例えばＫ－ｍｅａｎｓのような分割するクラスタ数を指定する手法を用いても良いし、階層クラスタ分析のような分割するクラスタ数を指定しない手法を用いても良い。また、処理ステップＳ３０２、Ｓ３０４は一つのアルゴリズムで行っても良い。例えば、ＣＮＮを用いた教師なしクラスタリング手法のようなＣＮＮで特徴量を抽出しその特徴量のクラスタリング結果を疑似的な教師情報を用いてＣＮＮを学習するような手法を用いても良い。クラスタリング手法の種類は限定しない。

このとき、分類対象画像群Ｄ１の特徴量を抽出して当該特徴量を包含する最小の円または球の半径を粒度と定義し、分類対象画像群Ｄ１と同様な粒度の特徴を抽出することが可能となることも考えられる。

クラスタリングする際に粒度に着目してサブクラスに分割した事例を、図７ａ、図７ｂに示して説明する。図７ａ、図７ｂは、図２の画像群から抽出した特徴量が２次元ベクトルの座標系上に表すことができた場合の例である。図７ａ、図７ｂは、それぞれサブクラスに分割する前、後を示している。

サブクラスに分割する前の特徴量分布の一例を示す図７ａの二次元平面では、対象クラスＣＬ１として犬クラスＣＬ１ａと猫クラスＣＬ１ｂが設定されていて、犬クラスＣＬ１ａは同平面の第１象限に存在し、かつ猫クラスＣＬ１ｂは同平面の第２象限に存在するものとする。これに対し、分類対象外クラスＣＬ２として、その他クラスが設定されている場合、その他クラスの特徴量は原点付近の縦軸上に不均一に存在し、例えば特定の象限に表れるといったような明確な傾向を示さないものであるとする。

また図７ａの二次元平面では、特徴量についての粒度がシンボルの大きさで表されており、犬クラスＣＬ１ａである星形のマークが小さく表示されているのに対し、猫クラスＣＬ１ｂの四角のマークが大きく表示されている。この事例では、犬クラスＣＬ１ａの特徴量を包含する球（２次元では円）の半径と猫クラスＣＬ１ｂの特徴量を包含する球の半径から、分類対象クラスＣＬ２の粒度の統計値を求め、その統計値に基づいてその他クラスを分割することが可能である。

サブクラスに分割した後の特徴量分布の一例を示す図７ｂは、分類対象クラスＣＬ１の粒度を用いてその他クラスＣＬ２をサブクラス化した例である。その他クラスＣＬ２の特徴量は原点付近の縦軸上に不均一に存在していたが、粒度の情報を用いた分類化により、原点付近の縦軸上部に位置するサブクラス１（ＣＬ２ａ）、原点付近に位置するサブクラス２（ＣＬ２ｂ）、原点付近の縦軸下部に位置するサブクラス３（ＣＬ２ｃ）に分けることができたことを表している。なおここでは、全てのクラスの粒度が近くなるようにサブクラス化されたものとする。

図４に結果修正入力部１０３におけるモニタ画面の一例を示す。モニタ画面は、大きく４つの領域に分けて構成されている。領域４０４は、分類対象クラスＣＬ１の表示領域であり、先の例に従えば犬クラスＣＬ１ａと猫クラスＣＬ１ｂに属する画像が表示されている。領域４０１は、分類対象外クラスＣＬ２の表示領域であり、先の例に従えば猿クラスＣＬ２ａと鳥クラスＣＬ２ｂと牛クラスＣＬ２ｃに属すると判断された画像が表示されている。４０２は、ユーザによるサブクラス追加機能のための操作ボタンを表す領域である。また領域４０３は、各画像について、その画像を当該サブクラスに分類した根拠データを表示したものである。

サブクラス化部１０２にて作成されたサブクラスを、サブクラス結果表示・修正部４０１のモニタ画面に表示する。このうち領域４０１はユーザがサブクラス結果を正しいサブクラスに修正する機能を有する。例えば、サブクラス１の大半の画像が猿の画像であり鳥画像Ｘ１が含まれていた場合、ユーザは鳥画像Ｘ１を誤りと判断し、鳥画像の多く含むサブクラス２に修正する。このとき、マウスを使ってドラッグ＆ドロップで移動するようにしてもよいし、ショートカットキーなどを用意して移動してもよく、修正の方法は限定しない。また、修正時に表示されているサブクラス以外のサブクラスを用意するときのためにサブクラス追加機能４０２を有する。また、分類対象クラスについてもノイズを含んでいる可能性があるため、領域４０４にて修正できる機能を有する。

領域４０１はユーザの修正作業の効率化のため、左から順に信頼度の小さい画像から表示するのがよい。信頼度とは例えば、処理ステップＳ３０４がＫ－ｍｅａｎｓであった場合、画像から抽出された特徴量の所属するクラスタ中心からの距離の逆数を信頼度とし、また、ＣＮＮを用いたクラスタリング手法であった場合、画像の分類確率を信頼度として、信頼度の低い画像から順に左側に表示する。また、分類対象クラスの特徴量を抽出している場合は、特徴量を包含する最小の球の球面からの距離を信頼度とし、領域４０４で信頼度の低い画像から順に左側に表示するのがよい。つまり、画像をサブクラスに分類した際の当該サブクラスに組み入れることの信頼度に応じて、サブクラス内における画像の配列を定めるのがよい。

また、選択している画像の分類スコアを領域４０３に表示する。このとき、領域４０３の表示位置は限定しない。例えば、マウスを画像に置いている間ポップアップするようにしても良い。この分類スコアは、画像をサブクラスに分類した際の当該サブクラスに組み入れることの根拠情報を表示したものといえる。

またクラスまたはサブクラスに分類される各画像について、この画像が当該クラスまたはサブクラスに分類されるのが妥当であると判断する根拠となる特徴量について、各画像の特徴量部位を協調的に表示しておくのがよい。

以下に、コンパクトな学習について詳述する。コンパクトな学習とは、特徴量の分布がクラスごとによく集まるような学習を示す。図７ａ、図７ｂを例にコンパクトな学習の利点を説明する。

一般に教師データを用いる画像分類では、クラスごとに粒度の範囲まで分類確率が大きくなるように学習する。図７ａのその他クラスＣＬ２の粒度は大きく、犬クラスＣＬ１ａや猫クラスＣＬ１ｂの特徴量について、その他クラスへＣＬ２の分類確率が大きくなってしまい、誤った分類をしてしまう可能性がある。そこで、図７ｂのようにその他クラスＣＬ２をサブクラスに分割すれば、犬クラスや猫クラスの特徴量について、各サブクラスへの分類確率は小さく、精度向上が見込める。

本実施例によれば、分類対象外クラスＣＬ２を自動でコンパクトな学習が可能となるようなサブクラスに分割することが可能となる。

１００：画像分類装置
１０１：学習画像入力部
１０２：サブクラス化部
１０３：結果修正入力部

Claims (10)

1. 教師情報を含む分類対象クラスの画像と、前記教師情報が付与されていない分類対象外クラスの画像を用いて画像分類を行う画像分類装置であって、
   分類対象クラスに属する画像群と分類対象外クラスに属する画像群とを入力する画像群入力部と、前記画像群の各画像について特徴量を抽出し、前記分類対象外クラスに属する画像群について、前記画像の前記特徴量をクラスタリングして、サブクラスに分割するサブクラス化部と、表示部を有する結果修正入力部を備え、
   前記表示部には前記分類対象クラスに属する画像群と、前記分類対象外クラスに属する画像群を分割した前記サブクラスに属する画像群として別個に表示し、表示された画像のクラス修正を可能とし、
   かつ前記表示部には、画像をサブクラスに分類した際の当該サブクラスに組み入れることの信頼度に応じて、サブクラスにおける画像の配列を定めて表示されていることを特徴とする画像分類装置。
2. 教師情報を含む分類対象クラスの画像と、前記教師情報が付与されていない分類対象外クラスの画像を用いて画像分類を行う画像分類装置であって、
   分類対象クラスに属する画像群と分類対象外クラスに属する画像群とを入力する画像群入力部と、前記画像群の各画像について特徴量を抽出し、前記分類対象外クラスに属する画像群について、前記画像の前記特徴量をクラスタリングして、サブクラスに分割するサブクラス化部と、表示部を有する結果修正入力部を備え、
   前記表示部には前記分類対象クラスに属する画像群と、前記分類対象外クラスに属する画像群を分割した前記サブクラスに属する画像群として別個に表示し、表示された画像のクラス修正を可能とし、
   かつ前記表示部には、クラスまたはサブクラスに分類される各画像について、この画像が当該クラスまたはサブクラスに分類されるのが妥当であると判断する根拠となる特徴量について、各画像の特徴量部位を表示することを特徴とする画像分類装置。
3. 請求項１または請求項２に記載の画像分類装置であって、
   前記サブクラス化部は、前記画像の前記特徴量を抽出する際に、画像全体を微少領域に細分化し、細分化された小領域である画素ごとにラベル付けによる数値化を行い、この数値を用いた識別により画像における特徴量並びに特徴量を示す領域を明確化することを特徴とする画像分類装置。
4. 請求項１または請求項２に記載の画像分類装置であって、
   前記サブクラス化部は、前記画像の前記特徴量をクラスタリングする際に、当該特徴量を包含する最小の円または球の半径を粒度と定義し、粒度に応じてサブクラスを形成することを特徴とする画像分類装置。
5. 請求項１または請求項２に記載の画像分類装置であって、
   前記結果修正入力部の前記表示部には、新たなサブクラスの設定手段を備えていることを特徴とする画像分類装置。
6. 請求項１または請求項２に記載の画像分類装置であって、
   前記結果修正入力部の前記表示部には、画像をサブクラスに分類した際の当該サブクラスに組み入れることの根拠情報を表示する分類スコア表示部を備えていることを特徴とする画像分類装置。
7. 請求項１または請求項２に記載の画像分類装置であって、
   前記サブクラス化部は、分類対象外画像内の注目すべき領域を事前に特定し、その領域に基づいてクラスタリングすることを特徴とする画像分類装置。
8. 請求項１または請求項２に記載の画像分類装置であって、
   画像分類装置が与える分類対象クラスに属する画像群及びその情報と、分割したサブクラスに属する画像群及びその情報は、学習機能を備えた画像分類システムにおいて使用される教師データとして提供されることを特徴とする画像分類装置。
9. 計算機を用いて教師情報を含む分類対象クラスの画像と、前記教師情報が付与されていない分類対象外クラスの画像を用いて画像分類を行う画像分類方法であって、
   前記計算機は、入力部と演算部と表示部を備え、
   前記入力部は、分類対象クラスに属する画像群と分類対象外クラスに属する画像群とを入力し、
   前記演算部は、画像群の各画像について特徴量を抽出し、前記分類対象外クラスに属する画像群について、前記画像の前記特徴量をクラスタリングして、サブクラスに分割し、
   前記表示部は、前記分類対象クラスに属する画像群と、前記分類対象外クラスに属する画像群を分割した前記サブクラスに属する画像群として別個に表示し、表示された画像のクラス修正を可能とし、
   かつ前記表示部には、画像をサブクラスに分類した際の当該サブクラスに組み入れることの信頼度に応じて、サブクラスにおける画像の配列を定めて表示されていることを特徴とする画像分類方法。
10. 計算機を用いて教師情報を含む分類対象クラスの画像と、前記教師情報が付与されていない分類対象外クラスの画像を用いて画像分類を行う画像分類方法であって、
    前記計算機は、入力部と演算部と表示部を備え、
    前記入力部は、分類対象クラスに属する画像群と分類対象外クラスに属する画像群とを入力し、
    前記演算部は、画像群の各画像について特徴量を抽出し、前記分類対象外クラスに属する画像群について、前記画像の前記特徴量をクラスタリングして、サブクラスに分割し、
    前記表示部は、前記分類対象クラスに属する画像群と、前記分類対象外クラスに属する画像群を分割した前記サブクラスに属する画像群として別個に表示し、表示された画像のクラス修正を可能とし、
    かつ前記表示部には、クラスまたはサブクラスに分類される各画像について、この画像が当該クラスまたはサブクラスに分類されるのが妥当であると判断する根拠となる特徴量について、各画像の特徴量部位を表示することを特徴とする画像分類方法。

Images