JP6964296B2 - 領域抽出装置、方法、及びプログラム - Google Patents

Description

本発明は、領域抽出装置、方法、及びプログラムに係り、特に、画像に含まれる物体の領域を抽出するための領域抽出装置、方法、及びプログラムに関する。

従来より、画像から物体の位置を検出するための画像認識器を学習するためには一般に多数の教師データが必要となる。画像から物体の位置を検出するためには入力となる画像と画像に含まれる物体の位置情報のセットが必要となる。

Cho, Minsu, et al. "Unsupervised object discovery and localization in the wild: Part-based matching with bottom-up region proposals." Proc. of CVPR 2015. Wei, Xiu-Shen, et al. "Deep descriptor transforming for image co-localization." Proc. of IJCAI 2017.

画像認識器を学習するための教師データを用意することは手間がかかるため、この手間を省くために、位置情報を付加することなく画像データのみから学習をするという取り組みがある。この問題設定はＣｏ−ｌｏｃａｌｉｚａｔｉｏｎと呼ばれ、同じ物体を含む多数の画像を用意し、その画像集合から教師情報を用いずに物体位置を求める手法として研究されている。

非特許文献１では、画像同士の類似したパーツを見つけ、それらのパーツの組み合わせによって共通して存在している物体を検出し、上記の手間の問題を解決している。しかし、検出対象の物体において類似したパーツが複数画像に存在していることを前提としているため、パーツの類似性が崩れている場合などに、検出精度が落ちる問題がある。一方で、非特許文献２では、事前に多数の物体情報を識別するような問題を学習した畳み込みニューラルネットワーク（ＣＮＮ）を用意し、そのＣＮＮの中間層の出力値を画像特徴として用いることで同一物体の見た目の変化に対して頑健に検出できる手法が示されている。しかしこの手法では、１つの画像集合に対して１つの物体が含まれることを仮定しており、複数の物体が含まれるデータに対して物体の位置を見つけ出すことはできないものである。

本発明は、上記事情を鑑みて成されたものであり、所定の領域毎に得られた対象特徴量を、ベクトルの方向成分のみに基づき、分類を行い、所定の領域毎に得られた分類に基づき、所望の対象物に対応する領域を抽出することにより、画像に含まれる物体の領域を精度良く抽出することができる領域抽出装置、方法、及びプログラムを提供することを目的とする。

上記目的を達成するために、第１の発明に係る領域抽出装置は、第一の画像から所望の対象物に対応する領域を抽出する領域抽出装置であって、前記第一の画像に含まれる所定の領域毎の特徴量であってベクトルで表現される対象特徴量を取得する特徴量取得部と、前記所定の領域毎に得られた前記対象特徴量を、前記ベクトルの方向成分のみに基づき、少なくとも３以上からなる分類のいずれかに分類を行う分類部と、前記所定の領域毎に得られた前記分類に基づき、前記所望の対象物に対応する領域を抽出する抽出部と、を含んで構成されている。

また、第１の発明に係る領域抽出装置において、前記分類部による分類結果と前記対象特徴量のベクトルに基づいて得られる前記分類の信頼度を用いて前記所望の対象物に対応する前記分類を選択する分類選択部を更に含み、前記抽出部は、前記選択された前記分類に基づき、前記所望の対象物に対応する領域を抽出するようにしてもよい。

また、第１の発明に係る領域抽出装置において、前記特徴量取得部の前記対象特徴量の取得は、含まれる対象物の種類が予め求められた第二の画像の各々から得られる特徴量から前記第二の画像に含まれる対象物の種類を識別できるように学習された特徴量抽出処理に基づいているようにしてもよい。

また、第１の発明に係る領域抽出装置において、前記学習は前記第二の画像に含まれる対象物の種類を識別するための畳み込みニューラルネットワークの学習であり、前記所定の領域毎の前記特徴量は、前記畳み込みニューラルネットワークの中間層の出力として得られる前記所定の領域毎のベクトルであるようにしてもよい。

また、第１の発明に係る領域抽出装置において、前記分類部の少なくとも３以上からなる前記分類は、前記対象特徴量の各々を、前記対象特徴量のベクトルの方向成分に基づいてクラスタリングした結果のクラスタであるようにしてもよい。

第２の発明に係る領域抽出方法は、第一の画像から所望の対象物に対応する領域を抽出する領域抽出装置における領域抽出方法であって、特徴量取得部が、前記第一の画像に含まれる所定の領域毎の特徴量であってベクトルで表現される対象特徴量を取得するステップと、分類部が、前記所定の領域毎に得られた前記対象特徴量を、前記ベクトルの方向成分のみに基づき、少なくとも３以上からなる分類のいずれかに分類を行うステップと、抽出部が、前記所定の領域毎に得られた前記分類に基づき、前記所望の対象物に対応する領域を抽出するステップと、を含んで実行することを特徴とする。

第３の発明に係るプログラムは、コンピュータを、第１の発明に記載の領域抽出装置の各部として機能させるためのプログラムである。

本発明の領域抽出装置、方法、及びプログラムによれば、入力画像に含まれる領域毎の特徴量であってベクトルで表現される対象特徴量を取得し、所定の領域毎に得られた対象特徴量を、ベクトルの方向成分のみに基づき、分類を行い、所定の領域毎に得られた分類に基づき、所望の対象物に対応する領域を抽出することにより、画像に含まれる物体の領域を精度良く抽出することができる、という効果が得られる。

本発明の実施の形態に係る領域抽出装置の構成を示すブロック図である。 入力画像を元にクラスタに分類するまでの流れの一例を示す図である。 入力画像から物体を抽出する場合の一例を示す図である。 本発明の実施の形態に係る領域抽出装置における領域抽出処理ルーチンを示すフローチャートである。

以下、図面を参照して本発明の実施の形態を詳細に説明する。

＜本発明の実施の形態に係る概要＞

まず、本発明の実施の形態における概要を説明する。

上記の課題を解決し、精度のよい物体位置推定を実現するために、本実施の形態では、あらかじめ学習された畳み込みニューラルネットワーク（ＣＮＮ）の中間層の出力値を画像特徴として用いる。この画像特徴はＤｅｅｐ Ｆｅａｔｕｒｅと呼ばれ、物体（以下、対象物とも記載する）の見えの変化に対して頑健に各物体らしさが抽出された特徴となっている。本実施の形態では、Ｄｅｅｐ Ｆｅａｔｕｒｅを、所定の領域（例えば、画素）毎の特徴量であってベクトルで表現される対象特徴量と定義する。ここで対象特徴量が表現する物体ラベルのクラスの違いは、ベクトルの方向によって表現され、その信頼度がベクトルの大きさとして表現されていると想定し、本実施の形態では、球面クラスタリングによって同一物体を示す対象特徴量を抽出する。似た方向を向いたベクトルを同一クラスタとしてまとめる球面クラスタリングによって似た物体の領域を抽出し、画像集合内で最も高い信頼度が得られているクラスタを主物体として定めることで各画像から主として含まれている物体の位置を推定することができる。以上の観点で本発明の実施の形態の領域抽出装置は、画像から所望の対象物に対応する領域を抽出する。

＜本発明の実施の形態に係る領域抽出装置の構成＞

次に、本発明の実施の形態に係る領域抽出装置の構成について説明する。図１に示すように、本発明の実施の形態に係る領域抽出装置１００は、ＣＰＵと、ＲＡＭと、後述する領域抽出処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。

領域抽出装置１００は、画像集合１０と、学習済みＣＮＮ２２と、特徴量取得部３０と、分類部３２と、分類選択部３４と、抽出部３６と、主物体位置情報３８とを含んで構成されている。

画像集合１０は、単一、又は複数の物体を含む画像の画像集合のデータセットを格納したものを用いる。画像集合１０の画像には、例えば、飛行機、馬、車などの物体が含まれる。画像集合１０に含まれる画像が第一の画像の一例である。

学習済みＣＮＮ２２は、例えばＶＧＧ１９モデルをＩＬＳＶＲＣの１０００クラスの画像を用いて学習したモデルを学習済みモデルとして採用し、その最後の畳み込み層での出力を特徴ベクトルとして用いることができるＣＮＮである。学習済みＣＮＮ２２は、対象物の種類が予め求められた画像の各々を用いて、画像に含まれる対象物の種類を識別するように予め学習しておくものとする。学習に用いる画像が第二の画像の一例である。学習済みＣＮＮ２２を用いることで、画像に含まれる対象物の種類を識別できる特徴量抽出処理を行うことができる。なお、画像の位置情報を残すために、ＣＮＮであることが望ましいが、必ずしもＶＧＧ１９を用いる必要はない。また、ＶＧＧ１９のようなＰｏｏｌｉｎｇによって処理の途中で解像度を低減させるモデルでは中間出力の解像度が非常に粗くなってしまうため、Ｃｏｎｖｏｌｕｔｉｏｎ層をＡｔｒｏｕｓ Ｃｏｎｖｏｌｕｔｉｏｎに置き換え、Ｐｏｏｌｉｎｇ層をなくすことで、高い解像度で中間出力値が得らえるモデルに改変してもよい。このようにして、入力画像の特定の位置に対応する対象特徴量を多数得ることができる。また、学習に用いる画像の対象物の種類と、後述する分類部３２で分類するクラスタの種類は同一なものとならなくてもよい。例えば、学習に用いる画像の対象物の種類が犬、猫であったとして、分類部３２のクラスタリングで得られるクラスタが、馬のクラスタを含んでいてもよいということである。

特徴量取得部３０は、画像集合１０の画像を入力画像として、入力画像に含まれる所定の領域毎の特徴量であってベクトルで表現される対象特徴量を取得する。入力画像を学習済みＣＮＮ２２に入力とし、学習済みＣＮＮ２２が出力する中間層の出力値を、所定の領域毎の対象特徴量として取得する。なお、本実施の形態では、所定の領域を画素とする場合を例に説明する。

分類部３２は、特徴量取得部３０で取得された所定の領域毎の対象特徴量を、ベクトルの方向成分のみに基づき、少なくとも３以上からなる分類のいずれかに分類する。分類部３２の分類では、対象特徴量のベクトルを、Ｓｐｈｅｒｉｃａｌ ｋ−Ｍｅａｎｓ（球面クラスタリング）と呼ばれる手法を用いたクラスタリングによって得られたクラスタのいずれかに分類する。特徴量取得部３０では、まず、入力画像について得られた所定の領域毎の対象特徴量についてその全ての対象特徴量の平均ベクトルが原点となるように、各対象特徴量から平均ベクトルを引く処理を行う。さらにＳｐｈｅｒｉｃａｌ ｋ−Ｍｅａｎｓを実施する。このとき、全対象特徴量についてベクトルの大きさが１になるよう正規化し、またクラスタ中心についても大きさ１になるよう正規化しながら、ユークリッド距離に基づく一般的なｋ−Ｍｅａｎｓクラスタリングを行い、各対象特徴量にクラスタ番号を付与する。以上の処理によってベクトル方向によって分離されるクラスタリング結果のクラスタを、分類として得る。各対象特徴量において、クラスタリング結果により表されるクラスタにより、物体ラベルのクラスと物体以外のクラスとが分離されて表現されることとなる。入力画像を元にクラスタに分類するまでの流れを図２に示す。なお、ここで用いる手法は、ベクトルの方向を類似度指標とするクラスタリング手法であれば他の手法を用いても良く、コサイン類似度に基づくｋ−Ｍｅａｎｓクラスタリングやｖｏｎ−Ｍｉｓｅｓ Ｆｉｓｈｅｒ分布の混合分布をフィッティングさせるなどしてもよい。

分類選択部３４は、所定の領域毎の対象特徴量の各々についての分類結果と対象特徴量のベクトルとに基づいて得られる各分類の信頼度を用いて所望の対象物に対応する分類を選択する。分類部３２の出力として、各対象特徴量に対するクラスタ番号と各クラスタのクラスタ中心が得られている。分類選択部３４においては、これらを用いて入力画像内（もしくは画像集合内）において抽出すべき物体が持つクラスタ番号を適切に選択する。対象特徴量の持つ性質として、物体ラベルのクラスの違いがベクトルの向きに現れ、そのクラスへの信頼度がベクトルの内積の大きさに現れると考えると、選択すべきクラスタは、対象特徴量が持つ分類への信頼度が大きいクラスタであると考えられる。具体的には、各対象特徴量をｘ_ｉ、各クラスタ中心をｃ_ｋとすると、ｘ_ｉのもつクラスタｋへの信頼度は対象特徴量ｘ_ｉとクラスタ中心ｃ_ｋとの内積で算出される。以下（１）式のように、信頼度を、クラスタｋに所属する全ての対象特徴量について算出し、その平均値をクラスタの強度ｐ_ｋとして用いる。

・・・（１）

ただし、Ｎ_ｋはクラスタｋに属する対象特徴量の数を示す。画像集合１０のデータセットが複数の物体を含んでおり、入力画像毎に１つの物体を見つける場合には、１つの入力画像に対して各クラスタの強度を算出し、最も大きいクラスタを選択する。画像集合１０のデータセット全体で１つの物体を見つける場合には、データセット全体でこの強度を算出し、最も大きいクラスタを選択する。

抽出部３６は、分類選択部３４で選択された分類と、所定の領域毎の対象特徴量についての分類結果とに基づき、所望の対象物に対応する領域を抽出し、抽出した対象物の位置を主物体位置情報３８に格納する。抽出部３６の領域の抽出は、選択された主物体のクラスタ番号と各対象特徴量に付与されたクラスタ番号を用いて、入力画像内の物体位置を計算することにより行う。入力画像から得られる対象特徴量は元画像に比べてサイズが小さくなってしまうが、これらを元の入力画像のサイズに合わせてアップサンプリングする。アップサンプリングによって各対象特徴量は元画像のある座標に対応した特徴とみなすことができる。対象特徴量に付与されたクラスタ番号のうち、分類選択部３４で選択されたクラスタ番号を、主物体のクラスタ番号とみなすことができ、元の入力画像から、選択されたクラスタ番号の対象特徴量と対応する箇所の画素のみを抜き出すことで、主物体の領域に含まれる画素が得られる。物体検出としての位置精度を高めるために、画素毎に得られた主物体領域から上下左右に連続した最大面積の領域を選び出し、この領域を囲む外接矩形を検出枠として出力する。

抽出部３６の処理結果の例を図３に示す。この例では、飛行機と馬と車の３つを含む画像集合から教師データを用いることなく各物体の位置検出を実現している。

以上のように、Ｄｅｅｐ Ｆｅａｔｕｒｅを用いた物体領域の抽出において、ベクトルの方向に着目した球面クラスタリングと、クラスタの中心ベクトルとの内積の大きさに着目したクラスタ選択とを行っている点が新規であり、それによって高精度での教師無し物体検出を実現している。また、複数物体を含む画像集合に対してもクラスタリングベースの提案手法は適用可能であり、複数物体の領域を教師無しに捉えることができる。

＜本発明の実施の形態に係る領域抽出装置の作用＞

次に、本発明の実施の形態に係る領域抽出装置１００の作用について説明する。領域抽出装置１００は、図４に示す領域抽出処理ルーチンを実行する。

まず、ステップＳ１００では、画像集合１０の画像を入力画像として、入力画像に含まれる所定の領域毎の特徴量であってベクトルで表現される対象特徴量を取得する。

次に、ステップＳ１０２では、ステップＳ１００で取得された所定の領域毎の対象特徴量を、ベクトルの方向成分のみに基づき、少なくとも３以上からなる分類のいずれかに分類する。

ステップＳ１０４では、所定の領域毎の対象特徴量の各々についての分類結果と対象特徴量のベクトルとに基づいて得られる各分類の信頼度を用いて所望の対象物に対応する分類を選択する。

ステップＳ１０６では、ステップＳ１０４で選択された分類と、所定の領域毎の対象特徴量についての分類結果とに基づき、所望の対象物に対応する領域を抽出し、抽出した対象物の位置を主物体位置情報３８に格納する。

以上説明したように、本発明の実施の形態に係る領域抽出装置によれば、入力画像に含まれる領域毎の特徴量であってベクトルで表現される対象特徴量を取得し、所定の領域毎に得られた対象特徴量を、ベクトルの方向成分のみに基づき、分類を行い、所定の領域毎に得られた分類に基づき、所望の対象物に対応する領域を抽出することにより、画像に含まれる物体の領域を精度良く抽出することができる。

なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

例えば、上述した実施の形態では、画素を、所定の領域とし、画素毎に対象特徴量を抽出する場合を例に説明したが、これに限定されるものではなく、画像全体の大きさよりも小さい一定範囲の領域を所定の領域として、一定範囲の領域毎に、対象特徴量を抽出するようにしてもよい。

また、領域抽出装置１００が分類選択部３４を含み、分類選択部３４で分類結果とベクトルとに基づく信頼度を用いて分類を選択する場合を例に説明したがこれに限定されるものではない。例えば、領域抽出装置１００が分類選択部３４を含まない構成とし、分類部３２による分類により領域毎に得られた分類結果に基づいて、抽出部３６で、入力画像に含まれる対象物に対応する領域を抽出するようにしてもよい。この場合には、例えば分類のクラスタにより表される領域のうち一定範囲を占める領域を対象物に対応する領域として抽出する等すればよい。

また、入力画像から抽出された対象特徴量についてのクラスタリング結果から得られるクラスタに分類する場合を例に説明したが、これに限定されるものではなく、例えば、予め、入力画像とは異なる画像について対象特徴量のクラスタリング結果からクラスタを得ておき、入力画像の対象特徴量を、予め得られたクラスタに分類するようにしてもよい。

１０ 画像集合
２２ 学習済みＣＮＮ
３０ 特徴量取得部
３２ 分類部
３４ 分類選択部
３６ 抽出部
３８ 主物体位置情報
１００ 領域抽出装置

Claims (7)

1. 第一の画像から所望の対象物に対応する領域を抽出する領域抽出装置であって、
   前記第一の画像に含まれる所定の領域毎の特徴量であってベクトルで表現される対象特徴量を取得する特徴量取得部と、
   前記所定の領域毎に得られた前記対象特徴量を、前記ベクトルの方向成分のみに基づき、少なくとも３以上からなる分類のいずれかに分類を行う分類部と、
   前記所定の領域毎に得られた前記分類に基づき、前記所望の対象物に対応する領域を抽出する抽出部と、
   を有する領域抽出装置。
2. 前記分類部による分類結果と前記対象特徴量のベクトルに基づいて得られる前記分類の信頼度を用いて前記所望の対象物に対応する前記分類を選択する分類選択部を更に含み、
   前記抽出部は、前記選択された前記分類に基づき、前記所望の対象物に対応する領域を抽出する
   請求項１記載の領域抽出装置。
3. 前記特徴量取得部の前記対象特徴量の取得は、含まれる対象物の種類が予め求められた第二の画像の各々から得られる特徴量から前記第二の画像に含まれる対象物の種類を識別できるように学習された特徴量抽出処理に基づいている
   請求項１又は２記載の領域抽出装置。
4. 前記学習は前記第二の画像に含まれる対象物の種類を識別するための畳み込みニューラルネットワークの学習であり、前記所定の領域毎の前記特徴量は、前記畳み込みニューラルネットワークの中間層の出力として得られる前記所定の領域毎のベクトルである請求項３記載の領域抽出装置。
5. 前記分類部の少なくとも３以上からなる前記分類は、前記対象特徴量の各々を、前記対象特徴量のベクトルの方向成分に基づいてクラスタリングした結果のクラスタである請求項１〜請求項４の何れか１項記載の領域抽出装置。
6. 第一の画像から所望の対象物に対応する領域を抽出する領域抽出装置における領域抽出方法であって、
   特徴量取得部が、前記第一の画像に含まれる所定の領域毎の特徴量であってベクトルで表現される対象特徴量を取得するステップと、
   分類部が、前記所定の領域毎に得られた前記対象特徴量を、前記ベクトルの方向成分のみに基づき、少なくとも３以上からなる分類のいずれかに分類を行うステップと、
   抽出部が、前記所定の領域毎に得られた前記分類に基づき、前記所望の対象物に対応する領域を抽出するステップと、
   を含む領域抽出方法。
7. コンピュータを、請求項１〜請求項５のいずれか１項に記載の領域抽出装置の各部として機能させるためのプログラム。

Images