JP7296799B2 - 領域分割装置、領域分割方法、及び領域分割プログラム - Google Patents

Description

本発明は、画像等のデータ群を被写体等のクラスごとに分類してデータ群をラベル領域に分割する技術に関する。

画像に撮影されたシーンを自動認識するなどの目的で、画像を、当該画像に撮影されている複数の物体それぞれの領域や複数の部位それぞれの領域に分割すると共に、各領域に撮影されている物体や部位を認識する技術が研究・開発されてきた。以下、撮影されている物体や部位を被写体と呼ぶ。被写体の認識を伴った領域分割はセマンティックセグメンテーションなどと称される。

特に、近年では、学習に基づいて上記分割と認識を行う技術が盛んに研究されている。すなわち、例えば、下記非特許文献１には、予め被写体ごとに分割された領域の画素ごとに被写体を表すクラスを付与した学習用画像を多数用意し、コンピュータにこれらの学習用画像を機械学習させることが記載されている。予め付与する情報はアノテーションなどと称される。この学習によって、任意の画像を入力すれば当該入力画像に対して画素ごとのクラスが出力される。つまり当該入力画像が被写体ごとに、クラスでラベル付けされた領域（ラベル領域）に分割される。

また、近年では、学習用画像とアノテーションとからなる大規模なデータセットが公開され利用可能となっている。基本的には多様な学習をした学習済みモデルほど高精度な領域分割を行うことができるため、学習に用いるデータセットの規模は大きい方が望ましい。

"Fully Convolutional Networks for Semantic Segmentation",Jonathan Long, Evan Shelhamer, and Trevor Darrell (Proceedings of the IEEE conference on computer vision and pattern recognition, 2015)

しかしながら、大規模なデータセットで学習した学習済みモデルを用いる場合、その多様性ゆえに撮影方向または／および被写体の姿勢によって認識結果が変動しやすい問題があった。

例えば、同一のトラックを同一のカメラで撮影した画像を同一の学習済みモデルに入力した場合であっても、或る時刻の画像においては、トラックは後方から撮影され、車両前側のキャブが箱形の荷室に隠れるオクルージョンが発生する結果、当該トラックの領域はコンテナと誤認識される。しかし、それと前後する時刻に撮影された画像においては、トラックまたはカメラが移動することによって、トラックが側方または前方から撮影され、上述のオクルージョンが生じないので、当該トラックの領域は正しくトラックと認識される。

また、例えば、同一のトラックを複数のカメラによって複数方向から同時撮影した画像を同一の学習済みモデルに入力した場合も同様の状況となる。すなわち、或るカメラの画像においてはトラックが後方から撮影されて、当該トラックの領域はコンテナと誤認識され、一方、他のカメラで撮影された画像においては、トラックが側方または前方から撮影されて、当該トラックの領域は正しくトラックと認識される。

なお、上記問題は、二次元画像のみならず、時系列画像から形成される時空間のデータやポイントクラウド等の三次元データ等においても生じ得る。

本発明は、上記問題を鑑みてなされたものであり、データの取得条件の違いによる領域分割結果の変動を抑制することのできる領域分割技術を提供することを目的とする。

（１）本発明に係る領域分割装置は、空間に分布するデータ群を複数のクラスに分類する分類処理を行い前記空間を前記クラスで識別されるラベル領域に分割する装置であって、前記データ群から、前記空間の座標に対応付けられる特徴量を抽出する特徴量抽出部と、前記特徴量と前記分類処理に偏りを持たせるためのバイアス情報とを入力され、当該バイアス情報が与える制約の下に当該特徴量に基づいて前記空間を前記ラベル領域に領域分割する分割部と、互いに相関して取得された複数の前記データ群からなるデータ群セットについての前記分割部による領域分割結果に基づき、前記バイアス情報として当該データ群セットについて修正バイアス情報を設定するバイアス修正部と、を有し、前記分割部は、前記データ群セットに含まれる前記データ群に関して、前記修正バイアス情報の下で前記空間の領域分割をやり直す。

（２）上記（１）に記載の領域分割装置において、前記バイアス修正部は、前記データ群セットの前記領域分割結果に現れた前記クラスのうち２以上の前記データ群に共通する共通クラスを求め、前記修正バイアス情報として、前記ラベル領域に付与される前記クラスに当該共通クラスが含まれることを設定する構成とすることができる。

（３）上記（１）に記載の領域分割装置において、前記バイアス修正部は、前記データ群セットの前記領域分割結果に現れた前記クラスのうち、当該各クラスが表す物体ごとに予め定められた個数以上の前記データ群に現れた出現クラスを求め、前記修正バイアス情報として、前記ラベル領域に付与される前記クラスに当該出現クラスが含まれることを設定する構成とすることができる。

（４）上記（１）に記載の領域分割装置はさらに、前記データ群セットの前記領域分割結果に現れた前記クラスごとに前記分類処理の信頼度を算出する信頼度算出部を有し、 前記バイアス修正部は、前記修正バイアス情報として、前記ラベル領域に付与される前記クラスを前記信頼度に基づいて設定する構成とすることができる。

（５）上記（１）～（４）に記載の領域分割装置において、前記バイアス情報および前記修正バイアス情報は、予め定義された前記クラスのそれぞれと一対一に対応した要素で表され、前記制約を前記データ群に対し一律に与える情報とすることができる。

（６）上記（１）～（５）に記載の領域分割装置において、前記データ群セットは、共通の場所を複数視点又は近接した複数時刻で撮影した複数の画像であり得る。

（７）本発明に係る領域分割方法は、空間に分布するデータ群を複数のクラスに分類する分類処理を行い前記空間を前記クラスで識別されるラベル領域に分割する方法であって、前記データ群から、前記空間の座標に対応付けられる特徴量を抽出する特徴量抽出ステップと、前記特徴量と前記分類処理に偏りを持たせるためのバイアス情報とを入力され、当該バイアス情報が与える制約の下に当該特徴量に基づいて前記空間を前記ラベル領域に領域分割する分割ステップと、互いに相関して取得された複数の前記データ群からなるデータ群セットについての前記分割ステップでの領域分割結果に基づき、前記バイアス情報として当該データ群セットについて修正バイアス情報を設定するバイアス修正ステップと、前記データ群セットに含まれる前記データ群に関して、前記修正バイアス情報の下で前記分割ステップでの前記空間の領域分割をやり直す再分割ステップと、を有する。

（８）本発明に係る領域分割プログラムは、空間に分布するデータ群を複数のクラスに分類する分類処理を行い前記空間を前記クラスで識別されるラベル領域に分割する処理をコンピュータに行わせるプログラムであって、当該コンピュータを、前記データ群から、前記空間の座標に対応付けられる特徴量を抽出する特徴量抽出部、前記特徴量と前記分類処理に偏りを持たせるためのバイアス情報とを入力され、当該バイアス情報が与える制約の下に当該特徴量に基づいて前記空間を前記ラベル領域に領域分割する分割部、及び、互いに相関して取得された複数の前記データ群からなるデータ群セットについての前記分割部による領域分割結果に基づき、前記バイアス情報として当該データ群セットについて修正バイアス情報を設定するバイアス修正部、として機能させ、前記分割部は、前記データ群セットに含まれる前記データ群に関して、前記修正バイアス情報の下で前記空間の領域分割をやり直す。

本発明によれば、データの取得条件の違いによる領域分割結果の変動を抑制することが可能になる。

本発明の実施形態に係る領域分割装置の概略の構成を示すブロック図である。 セグメンテーションを行う際の本発明の実施形態に係る領域分割装置の概略の機能ブロック図である。 本発明の実施形態に係る領域分割装置に用いる分類器の概略の機能ブロック図である。 分類器の学習装置としての本発明の実施形態に係る領域分割装置の概略の機能ブロック図である。 本発明の実施形態に係る領域分割装置の領域分割処理での動作に関する概略のフロー図である。 合成特徴量の生成処理を説明する模式図である。 本発明の実施形態に係る領域分割装置の領域分割処理の処理例を説明するための模式図である。 本発明の実施形態に係る領域分割装置の学習処理での動作に関する概略のフロー図である。

以下、本発明の実施の形態（以下実施形態という）である領域分割装置１について、図面に基づいて説明する。本発明に係る領域分割装置は、空間に分布するデータ群を複数のクラスに分類する分類処理を行い空間をクラスで識別されるラベル領域に分割するものであり、本実施形態にて一例として示す領域分割装置１は、監視空間を撮影した画像を領域分割する。すなわち、本実施形態において、分類されるデータ群は二次元画像、それを構成するデータは画素であり、分割される空間は画像に対応する二次元空間である。

領域分割装置１は上記分類処理を行う分類器を備える。また、領域分割装置１は当該分類器を学習する学習装置を含む。

［領域分割装置１の構成］
図１は領域分割装置１の概略の構成を示すブロック図である。領域分割装置１は撮影部２、通信部３、記憶部４、画像処理部５および表示部６からなる。

撮影部２は、分類対象のデータ群として画像を取得するカメラであり、本実施形態においては監視カメラである。本実施形態では複数の撮影部２が用いられ、具体的には、撮影部２を撮影部２ａ，２ｂ，２ｃの３つとした例を説明する。複数の撮影部２（２ａ，２ｂ，２ｃ）はそれぞれ通信部３を介して画像処理部５と接続され、監視空間を所定の時間間隔で撮影して画像を生成し、生成した画像を順次、画像処理部５に入力する。複数の撮影部２は監視空間を異なる視点から、視野に互いに共通する部分を有するように撮影する。つまり、当該複数の撮影部２により基本的に同時刻にて共通する空間が撮影された画像のセットは、互いに相関して取得された複数のデータ群からなるデータ群セットを構成する。例えば、各撮影部２は、監視空間である市街地の一角に設置されたポールに当該監視空間を俯瞰する所定の固定視野を有して設置され、監視空間をフレーム周期１秒で撮影してカラー画像を生成する。なお、撮影部２はカラー画像の代わりにモノクロ画像を生成してもよい。

通信部３は通信回路であり、その一端が画像処理部５に接続され、他端が撮影部２および表示部６と接続される。通信部３は撮影部２から画像を取得して画像処理部５に入力する。また、通信部３は画像処理部５からクラスへの分類結果やラベル領域へのセグメンテーションの結果を入力され表示部６へ出力する。

なお、撮影部２、通信部３、記憶部４、画像処理部５および表示部６の間は各部の設置場所に応じた形態で適宜接続される。例えば、撮影部２と通信部３および画像処理部５とが遠隔に設置される場合、撮影部２と通信部３との間をインターネット回線にて接続することができる。また、通信部３と画像処理部５との間はバスで接続する構成とすることができる。その他、接続手段として、ＬＡＮ（Local Area Network）、各種ケーブルなどを用いることができる。

記憶部４は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等のメモリ装置であり、各種プログラムや各種データを記憶する。例えば、記憶部４は学習用のデータや、学習済みモデルである分類器の情報を記憶し、画像処理部５との間でこれらの情報を入出力する。すなわち、分類器の学習に用いる情報、分類処理に必要な情報や当該処理の過程で生じた情報などが記憶部４と画像処理部５との間で入出力される。

画像処理部５は、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＣＵ（Micro Control Unit）、ＧＰＵ(Graphics Processing Unit)等の演算装置で構成される。画像処理部５は記憶部４からプログラムを読み出して実行することにより各種の処理手段・制御手段として動作し、必要に応じて、各種データを記憶部４から読み出し、生成したデータを記憶部４に記憶させる。例えば、画像処理部５は分類器を学習し生成すると共に、生成した分類器を通信部３経由で記憶部４に記憶させる。また、画像処理部５は分類器を用いて撮影部２からの画像のセグメンテーションを行う。

表示部６は、液晶ディスプレイまたは有機ＥＬ（Electro-Luminescence）ディスプレイ等であり、通信部３を経由して画像処理部５から入力される分類処理やセグメンテーションの結果を表示する。

領域分割装置１は、画像を構成する各画素を分類器を用いてクラス分類し、画像をラベル領域に分割する装置であると共に、当該分類器を構築する学習動作を行う学習装置としての機能を有する。以下、領域分割装置１の構成について、先ず、セグメンテーション処理に関する構成、つまり領域分割装置としての構成について説明し、次いで、学習装置としての構成について説明する。

［領域分割装置としての構成］
図２はセグメンテーションを行う際の領域分割装置１の概略の機能ブロック図であり、記憶部４が分類器記憶手段４０として機能し、画像処理部５がバイアス設定手段５０、領域分割手段５１として機能する。また、通信部３が画像処理部５と協働し、画像入力手段３０および領域情報出力手段３１として機能する。

画像入力手段３０は撮影部２が撮影した画像を順次取得して領域分割手段５１に入力する。

バイアス設定手段５０は、分類処理に偏りを持たせるためのバイアス情報を領域分割手段５１に入力する。バイアス設定手段５０は、画像入力手段３０から入力された画像（入力画像）に対する領域分割手段５１による領域分割処理の開始に際して、初期バイアス情報を領域分割手段５１に与える機能と共に、その領域分割結果に基づき、当該入力画像について修正バイアス情報を設定するバイアス修正部としての機能を有する。

上述のようにバイアス情報とは、分類処理に偏りを持たせるために与える情報であり、例えば、画像中に出現するであろうクラス、出現しないであろうクラスの情報を表現したものである。分類器にバイアス情報を入力することで、バイアス情報が与える制約の下にセグメンテーションが行われ、セグメンテーション結果に含まれるクラスを制御できるようになる。例えば、バイアス情報は、予め定められたＮ個のクラスそれぞれについて画像中に含まれるであろうクラスか否かの情報である。例えば、分類器が分類対象とする全クラスが当該Ｎクラスとして設定される。本実施形態では、バイアス設定手段５０は、バイアス情報を、画像に含まれるであろうクラスを値“１”、含まれないであろうクラスを“０”で表したＮ次元のベクトルで設定する。

すなわち、バイアス情報（後述する初期バイアス情報および修正バイアス情報）は、予め定義された全クラスのそれぞれと一対一に対応した要素で表される情報であり、情報の当該要素は画素の位置に依存しない形式となっている。つまり、バイアス情報による上記制約は入力画像に対し一律に与えられる。そして、バイアス設定手段５０が設定するバイアス情報は、画素の位置に依存しない形式とすることで、異なる視点で撮影された複数の入力画像、または／および異なる時刻に撮影された複数の入力画像に対して、画像間の位置合わせをせずとも適用できる。つまり当該形式のバイアス情報は、複数の入力画像に共通して適用することが容易である。

分類器記憶手段４０は学習により生成された分類器を記憶している。本実施形態では、分類器は深層学習（Deep Learning）で用いられるような多層のネットワークで構成され、例えば、畳み込みニューラルネットワーク（Convolutional Neural Network：ＣＮＮ）でモデル化することができる。分類器記憶手段４０は、ＣＮＮなどのネットワークを構成するフィルタのフィルタ係数やネットワーク構造などを含めた情報を分類器として記憶する。

領域分割手段５１は、分類器記憶手段４０に格納されている分類器を用いて、画像入力手段３０から入力された入力画像、および当該入力画像に対しバイアス設定手段５０により設定されるバイアス情報を入力として、画素について、事前定義された複数クラスのどれに属するかを推定する分類処理を行う。そして、領域分割手段５１は分類器から出力されるクラス分類結果に基づいてラベル領域を求める。領域分割結果であるラベル領域は領域情報出力手段３１およびバイアス設定手段５０に入力される。

領域情報出力手段３１は、領域分割手段５１が求めたラベル領域を表示部６に出力する。例えば、領域情報出力手段３１は、ラベル領域ごとに色分けされた画像を生成して表示部６に出力する。

図３は分類器の概略の機能ブロック図である。分類器は、画像とバイアス情報とを入力され、画像の各画素についてクラス分類を行い、その結果を出力する。

本実施形態の分類器を構成するネットワークは、特徴量抽出部４００、バイアス情報圧縮部４０１、特徴量合成部４０２、およびクラス分類部４０３を含む。これらのうち特徴量抽出部４００、特徴量合成部４０２およびクラス分類部４０３は直列に接続された複数層からなるネットワーク構造であり、この部分は画像を入力されクラス分類結果を出力する。以下、当該部分をネットワーク主部と呼ぶことにする。

特徴量抽出部４００およびクラス分類部４０３は、畳み込み層や活性化関数、プーリング（pooling）層などから構成され、ネットワーク主部は例えば、近傍画素の特徴量を畳み込んだ特徴量マップを求める処理を繰り返し行って周囲の画素との関係を集約し、さらに元の画像の画素についてクラスを識別する処理を行う。本実施形態では、ネットワーク主部はその途中に特徴量合成部４０２を挿入され、特徴量合成部４０２の前と後との２つの部分に分かれる。これら２つの部分が特徴量抽出部４００、クラス分類部４０３であり、特徴量抽出部４００は画像を入力され、当該画像から特徴量の計算を行い、一方、クラス分類部４０３は特徴量合成部４０２が生成する合成特徴量に基づいて画素のクラス分類を行い画像を領域分割する処理を行う。つまり、特徴量合成部４０２とクラス分類部４０３とが、特徴量とバイアス情報とを入力され、バイアス情報が与える制約の下に特徴量に基づいて空間をラベル領域に領域分割する分割部を構成する。なお、クラス分類部４０３における処理は特徴量を計算する処理の一部を含み得る。

バイアス情報圧縮部４０１は全結合層などから構成され、低次元表現でのバイアス情報を得て特徴量合成部４０２へ出力する。つまり、バイアス情報は画像に映っているものやそのシーンに基づいて設定されるが、入力される画像中に現れるクラスの数は、分類器が分類可能な全クラスの数よりも十分小さいことが多く、また例えば屋外の画像に屋内のクラスは含まれにくい、屋内では壁と床は同時に含まれやすいなどの共起性を持つため、バイアス情報は比較的低次元の情報で表すことができ、バイアス情報圧縮部４０１はこの低次元化の変換処理を行う。例えば、バイアス情報圧縮部４０１は、予め定義された全クラスに応じた数の変数で表されるバイアス情報を入力され、当該情報を次元圧縮し、より少ない変数で表現されるバイアス情報に変換して出力する。

特徴量合成部４０２は、特徴量抽出部４００にて抽出された特徴量に、バイアス情報圧縮部４０１にて圧縮されたバイアス情報を合成して合成特徴量を生成し、クラス分類部４０３へ入力する。

［学習装置としての構成］
図４は分類器の学習を行う学習装置としての領域分割装置１の概略の機能ブロック図であり、記憶部４が学習用データ記憶手段４１および学習モデル記憶手段４２として機能し、画像処理部５が学習用バイアス生成手段５２および学習手段５３として機能する。

学習用データ記憶手段４１は、学習用データ群である多数の画像および当該画像に対し予め与えられた正解のクラスと、当該正解のクラスから導出したバイアス情報である学習用バイアス情報とを記憶する。学習用画像と当該画像それぞれに対応する正解のクラスとは、学習処理に先立って予め学習用データ記憶手段４１に記憶される。一方、学習用バイアス情報は学習用バイアス生成手段５２により生成され、学習用データ記憶手段４１に記憶される。

学習用バイアス生成手段５２は、学習用データ記憶手段４１に記憶される学習用画像それぞれに対応して、その正解のクラスから学習用バイアス情報を生成して、学習用データ記憶手段４１に記憶させる。

学習手段５３は学習用画像、正解のクラスおよび学習用バイアス情報を入力とし、出力のクラス分類結果の正解に対する誤差に基づいて学習モデルを更新する学習を行う。

学習モデル記憶手段４２は上述の分類器についての学習モデルを記憶する。学習手段５３による学習処理に伴い、学習モデル記憶手段４２に記憶される学習モデルは更新される。そして、学習が完了すると、学習モデル記憶手段４２は分類器の学習済みモデルを記憶し、分類器記憶手段４０として機能する。

［領域分割装置１の動作］
次に、領域分割装置１の動作を、領域分割処理と学習処理とに分けて説明する。

［領域分割処理での動作］
図５は領域分割処理での領域分割装置１の動作に関する概略のフロー図である。

領域分割装置１が領域分割処理を開始すると、撮影部２は所定時間おきに監視空間を撮影した画像を順次出力する。通信部３は画像入力手段３０として機能し、撮影部２から画像を受信すると当該画像を画像処理部５に入力する。画像処理部５は、複数の撮影部２から画像を取得して（ステップＳ１００）、図５のフロー図に示す動作を行う。本実施形態では、具体的には、撮影部２ａ，２ｂ，２ｃにより撮影される３枚の画像を取得する。

画像処理部５は領域分割手段５１として機能し、入力された複数の画像（入力画像）を、分類器記憶手段４０から読み出した分類器に入力する。分類器の特徴量抽出部４００は各入力画像から特徴量を抽出する（ステップＳ１０１）。

また、画像処理部５はバイアス設定手段５０として機能し、入力画像に対し、セグメンテーション結果を操作するためのバイアス情報として、適当な初期バイアス情報を設定し、領域分割手段５１は当該初期バイアス情報をバイアス設定手段５０から取得して、分類器に入力する（ステップＳ１０２）。

例えば、屋外・屋内など入力画像中のシーンが既知であり入力画像中に含まれるクラスが限定できる場合は、それをもとに初期バイアス情報を定めることができる。例えば、初期バイアス情報は、入力画像中に含まれることが想定されるクラスをラベル領域に現れやすく指定し、それ以外のクラスを現れにくく指定する情報とすることができる。例えば、撮影部２を屋外に設置する場合は、屋外にて出現可能性のある物体等のクラス（屋外用クラス）に対応する要素に値“１”を設定し、それ以外のクラスに“０”を設定したＮ次元ベクトルを、予め屋外用の初期バイアス情報として設定する。本実施形態で示す例では、屋外用クラスに、少なくとも車両のクラス、コンテナのクラス、道路のクラス、建物のクラスを含ませる。

分類器は、入力されたバイアス情報をバイアス情報圧縮部４０１にて圧縮し、特徴量合成部４０２へ出力する（ステップＳ１０３）。特徴量合成部４０２は、入力画像ごとに、特徴量抽出部４００から出力される特徴量に、バイアス情報圧縮部４０１から出力されるバイアス情報を合成して、合成特徴量を生成する（ステップＳ１０４）。

図６は合成特徴量の生成処理を説明する模式図である。図６は図３に示した分類器内におけるデータを模式的に表しており、図の左側には、ネットワーク主部をなす図３の特徴量抽出部４００、特徴量合成部４０２およびクラス分類部４０３の並びに対応して、分類器へ入力される画像１００、特徴量合成部４０２により生成される合成特徴量１１０、分類器から出力されるクラス分類結果１４０が並んでいる。また、図の右側には、バイアス情報圧縮部４０１の入力ノード１２０および当該ノードに入力されるバイアス情報１２１、並びにバイアス情報圧縮部４０１の出力ノード１３０が示されている。

図６の左側に並ぶネットワーク主部のデータに関し、入力画像１００の幅方向にｘ軸、高さ方向にｙ軸をとり、また特徴量のチャンネルに対応する次元をｃ軸で表している。入力画像１００の大きさはｘ方向にＷ_Ｉ画素、ｙ方向にＨ_Ｉ画素である。特徴量抽出部４００にて生成される特徴量マップはｘ方向にＷ_Ｆ画素、ｙ方向にＨ_Ｆ画素の大きさで、ｃ方向の大きさ、つまりチャンネル数はＣチャンネルとする。ちなみに、特徴量マップのｘ，ｙ方向のサイズは一般に入力画像１００のサイズとは一致せず、通常、Ｗ_Ｆ＜Ｗ_Ｉ，Ｈ_Ｆ＜Ｈ_Ｉとなる。

図６に例示するバイアス情報１２１は、予め定められたＮ個のクラスそれぞれについて画像中に含まれるであろうクラスか否かを表す上述したＮ次元ベクトルの情報である。なお、図６にはバイアス情報１２１の具体的な内容の一例を示しており、上述した屋外用クラスのうち“車両”、“コンテナ”、“道路”のクラスは画像に含まれるとして、ベクトルにて対応する要素に“１”が設定され、一方、それ以外のクラスは画像に含まれないとして、対応する要素に“０”が設定されている。

バイアス情報圧縮部４０１の入力ノード１２０はバイアス情報１２１の要素と一対一に対応しており、その数はＮであり、一方、出力ノード１３０の数ＤはＮ未満である。バイアス情報圧縮部４０１は、入力ノード１２０に入力されたバイアス情報１２１を次元圧縮して、出力ノード１３０から圧縮されたバイアス情報を出力する。つまり、バイアス情報１２１はＮ次元のベクトルからＤ次元のベクトルに圧縮される。ちなみに、図６では、バイアス情報圧縮部４０１として、入力ノード１２０と出力ノード１３０とが全結合された構成を示している。

特徴量合成部４０２は、バイアス情報圧縮部４０１の出力ノード１３０から圧縮されたバイアス情報を入力され、当該バイアス情報を特徴量抽出部４００から入力された特徴量マップと合成して、合成特徴量１１０を生成する。合成特徴量１１０は、特徴量抽出部４００からの入力特徴量マップにてｘ座標、ｙ座標の組で指定されるＣ次元の特徴量ベクトルそれぞれにＤ次元ベクトルで表されるバイアス情報を連結したものであり、当該入力特徴量マップと幅と高さが同じで、チャンネル数が（Ｃ＋Ｄ）チャンネルとなった構造を有する。例えば、合成特徴量１１０の第１～第Ｃチャンネルは特徴量抽出部４００からの特徴量マップの画像特徴量で、第（Ｃ＋１）～第（Ｃ＋Ｄ）チャンネルに、バイアス情報圧縮部４０１の出力ノード１３０の第１～第Ｄノードの出力値が設定される。

本実施形態では各（ｘ，ｙ）座標のバイアス情報は共通であるので、合成特徴量１１０の構造は、バイアス情報のＤ個の要素それぞれをｘ，ｙ方向に複製して特徴量抽出部４００の出力と同じＷ_Ｆ×Ｈ_Ｆ画素の大きさに拡大し、それを入力特徴量マップに積層した構造である。つまり、例えば、第１～第Ｃチャンネルの画像特徴量は座標（ｘ，ｙ）に応じて異なり得るのに対し、本実施形態では第（Ｃ＋１）～第（Ｃ＋Ｄ）の各チャンネルには全ての座標（ｘ，ｙ）に共通の値が設定される。

クラス分類部４０３は合成特徴量１１０に基づき入力画像１００の各画素についてクラス分類を行い、クラス分類結果１４０を出力する。つまり、クラス分類結果１４０は入力画像１００の画素ごとの分類結果からなる。例えば、各画素に、分類対象とするクラス数に当たるＮ個の値が対応付けられる。この場合、図６に示すように、クラス分類結果１４０はｘ方向にＷ_Ｉ画素、ｙ方向にＨ_Ｉ画素、ｃ方向にＮチャンネルであるデータとなる。クラス分類結果１４０のチャンネルはＮ個のクラスと一対一に対応しており、例えば、各画素の各チャンネルには、当該チャンネルに対応するクラスに当該画素が属する確からしさが高いほど大きな値が与えられる。

領域分割手段５１は、クラス分類結果１４０に基づいて、入力画像１００の各画素についてクラス分類を行い、これにより入力画像１００が領域分割されラベル領域が定義される（ステップＳ１０５）。例えば、領域分割手段５１は入力画像１００の座標（ｘ，ｙ）の画素を、クラス分類結果１４０の当該座標（ｘ，ｙ）において最大値が出力されたチャンネルに対応するクラスに分類することができる。

領域分割手段５１は、ステップＳ１００にて取得した複数の画像それぞれを入力画像１００として、ステップＳ１０１にて特徴量を抽出し、当該特徴量を用いてステップＳ１０４にて合成特徴量１１０を生成し、ステップＳ１０５にてラベル領域に領域分割する。ステップＳ１０５で得られた領域分割結果はバイアス設定手段５０に入力され、バイアス設定手段５０はバイアス修正部として機能し、複数の撮影部２により取得された画像セットについて修正バイアス情報を設定する。本実施形態では、修正バイアス情報はバイアス情報と共通の形式であり、バイアス情報を構成するクラス別の要素を修正して作られる。 具体的には、バイアス設定手段５０は、当該画像セットに対する領域分割結果にて、各クラスが当該画像セットのうちの何枚の画像に現れたかをカウントする（ステップＳ１０５）。そのカウントの値が大きいクラスは正しい分類により現れたクラスであり、当該値が小さいクラスは誤分類により現れたクラスである可能性が高いとの仮定の下、バイアス設定手段５０は当該画像セットに対するバイアス情報を修正する。具体的には、バイアス設定手段５０は、ステップＳ１００にて取得された画像セットの領域分割結果に現れたクラスのうち過半数の画像に共通して現れたものを共通クラスとして抽出し（ステップＳ１０６）、共通クラスを用いて修正バイアス情報を生成する（ステップＳ１０７）。例えば、クラス分類結果に共通クラスのみが強く出るように、それ以外のクラスは出にくくなるような修正バイアス情報を設定する。例えば、ラベル領域に付与されるクラスに当該共通クラスが含まれることを修正バイアス情報として設定することができ、具体的には、バイアス情報を上述のＮ次元ベクトルの形式で定義する場合に、共通クラスのみに値“１”を設定したベクトルを修正バイアス情報とすることができる。

領域分割手段５１はバイアス設定手段５０から修正バイアス情報を取得し、ステップＳ１００にて取得された複数の画像に関して、修正バイアス情報の下でステップＳ１０３～Ｓ１０５の処理を行い領域分割をやり直す。

ここで、この再度の領域分割処理では、バイアス情報の圧縮（ステップＳ１０３）と合成特徴量１１０の生成（ステップＳ１０４）以降の処理が行われる。つまり、ステップＳ１０１の各入力画像から特徴量を抽出する処理は繰り返されない。領域分割手段５１はステップＳ１０１を一度行うと、得られた特徴量を例えば、記憶部４に記憶させるなどして保持し、再度の領域分割処理では保持された同じ特徴量が繰り返して使用される。分類器での処理の負荷は専ら特徴量抽出の部分によって占められ、他の部分の負荷は低いので、領域分割装置１では、特徴量の抽出を繰り返さないことで、領域分割処理の反復の高速化が図られる。

この再度の領域分割は例えば、修正バイアス情報が収束する、つまり、バイアス情報がその修正処理で変化しなくなるまで繰り返すことができる。また、バイアス情報の修正の上限回数を予め定めておき、当該回数に達した場合は、バイアス情報が収束しなくても領域分割処理の反復を打ち切る構成とすることができる。例えば、領域分割手段５１は、ステップＳ１０７で生成された修正バイアス情報が直前の領域分割処理で用いたバイアス情報からの修正を含んでおり、且つ修正バイアス情報の生成回数、つまりバイアス情報の修正回数が上限回数以下である場合（ステップＳ１０８にて「ＹＥＳ」の場合）、ステップＳ１０３に戻って領域分割処理を繰り返す。

一方、修正バイアス情報が収束した場合、または修正回数が上限回数を超えた場合には（ステップＳ１０８にて「ＮＯ」の場合）、領域分割手段５１は領域分割の反復処理を終了し、領域情報出力手段３１は各入力画像について領域分割手段５１から最後のラベル領域情報を入力され、これを分割処理の最終結果として表示部６に出力する（ステップＳ１０９）。

領域分割装置１は、ステップＳ１００にて入力された画像セットについてステップＳ１０９にてラベル領域情報を出力するとステップＳ１００に戻り、次に入力される画像セットについて上述のステップＳ１００～Ｓ１０９の処理を繰り返す。

図７は、領域分割装置１の領域分割処理の処理例を説明するための模式図である。図７には、複数の撮影部２それぞれからの入力画像２００、当該入力画像から生成されたラベル領域情報２１０、当該ラベル領域情報における出現クラス２２０、および修正バイアス情報２３０についての例が示されている。

入力画像２００ａ，２００ｂ，２００ｃはそれぞれステップＳ１００にて撮影部２ａ，２ｂ，２ｃから入力される画像であり、トラックの像２０１ａ，２０１ｂ，２０１ｃ、道路の像２０２ａ，２０２ｂ，２０２ｃ、建物の像２０３ａ，２０３ｂ，２０３ｃを含んでいる。入力画像２００ａ，２００ｂ，２００ｃが共通の監視空間を互いに異なる方向から撮影した画像であることに対応して、同一のトラックについての像２０１ａ，２０１ｂ，２０１ｃも互いに異なる方向から撮影されている。

ラベル領域情報２１０ａ，２１０ｂ，２１０ｃはステップＳ１０５にて、入力画像２００ａ，２００ｂ，２００ｃをそれぞれ初期バイアス情報を用いて領域分割した画像である。上述したように本実施形態では初期バイアス情報は屋外用クラスに値“１”を設定したＮ次元ベクトルであり、少なくとも車両、コンテナ、道路、建物のクラスに値“１”が設定されている。

各入力画像２００の道路の像２０２ａ，２０２ｂ，２０２ｃを構成する各画素は正しく道路のクラスに分類され、当該像に対する領域分割結果として道路領域としてのラベル領域２１２ａ，２１２ｂ，２１２ｃが得られ、また、建物の像２０３ａ，２０３ｂ，２０３ｃを構成する各画素は正しく建物のクラスに分類され、当該像に対する領域分割結果として建物領域としてのラベル領域２１３ａ，２１３ｂ，２１３ｃが得られる。

一方、トラックの像に関しては、トラックを側方から撮影した像２０１ｂ，２０１ｃを構成する各画素は正しく車両のクラスに分類され、当該像に対応するラベル領域２１１ｂ，２１１ｃは正しく車両領域となるが、トラックを後方から撮影した像２０１ａにおいてはキャブが荷室に隠れて専ら荷室が写ることに起因して、当該像を構成する画素がコンテナのクラスに分類され、当該像に対する領域分割結果としては、期待される車両領域ではなくコンテナの領域としてのラベル領域２１１ａが得られる。つまり、この点で入力画像２００ａと入力画像２００ｂ，２００ｃとで整合しない領域分割結果となる。

出現クラス２２０ａ，２２０ｂ，２２０ｃは各入力画像の領域分割で現れたクラスであり、出現クラス２２０ａはラベル領域情報２１０ａに対応して、“コンテナ”、“道路”、“建物”からなり、出現クラス２２０ｂ，２２０ｃはそれぞれラベル領域情報２１０ｂ，２１０ｃに対応して、“車両”、“道路”、“建物”からなる。

バイアス設定手段５０はステップＳ１０７にて、出現クラス２２０ａ，２２０ｂ，２２０ｃから修正バイアス情報２３０を生成する。具体的には、修正バイアス情報２３０におけるクラスごとのベクトル要素のうち、３つの入力画像２００のうちの２つで出現した車両クラスには値“１”が設定され、一方、３つの入力画像２００のうちの１つでしか出現しなかったコンテナクラスには値“０”が設定される。また、３つの入力画像２００のすべてで出現した道路クラス及び建物クラスには値“１”が設定される。すなわち、修正バイアス情報２３０では、コンテナクラスの値が初期バイアス情報における“１”から“０”に変更されている。

領域分割手段５１は、修正バイアス情報２３０を用いてステップＳ１０３～Ｓ１０５の処理を行うことで、再度、各入力画像２００の画素を分類する。この修正バイアス情報２３０を用いたクラス分類では、車両クラスの出現は抑制されないままコンテナクラスの出現が抑制されるため、トラックの像２０１ａ内の各画素が正しく車両クラスに分類され、ラベル領域２１１ａを車両クラスに修正することが可能となる。

［学習処理での動作］
領域分割装置１は入力画像を領域分割する動作に先立って、分類器を学習する動作を行う。以下、この分類器の学習について説明する。領域分割装置１における分類器の学習は、学習用画像とそれに対応する領域分割の正解データである正解のクラスと正解のクラスから作成したバイアス情報（学習用バイアス情報）とを用い、学習用画像に対して分類器の学習モデルが分類した結果と正解データとの誤差をもとに、誤差逆伝播法などの既知の最適化手法を用いて、学習モデルのパラメータを繰り返し誤差が収束するまで更新する。この学習によって分類処理を偏らせる制御が可能な分類器を学習させることができる。また、当該分類器の学習は、特徴量抽出部４００およびクラス分類部４０３の学習に加え、学習用バイアス情報を用いてバイアス情報圧縮部４０１を学習する動作を含む。

図８は学習処理での領域分割装置１の動作に関する概略のフロー図である。

当該学習処理では、学習用データとして、学習用画像、正解のクラスおよび学習用バイアス情報を用いる。そこで、学習動作開始が指示されると、画像処理部５は学習用バイアス生成手段５２として機能し、学習用データ記憶手段４１に記憶される各学習用画像について学習用バイアス情報を生成する。具体的には、学習用バイアス生成手段５２は、学習用データ記憶手段４１に学習用画像に対応付けて記憶されている正解のクラスから学習用バイアス情報を生成し、これを当該学習用画像に対応付けて学習用データ記憶手段４１に記憶させる（ステップＳ２００）。

学習用バイアス情報は上述のバイアス情報１２１に整合する形式であり、本実施形態ではＮ個のクラスに対応した要素からなるＮ次元ベクトルである。当該ベクトルを｛Ｂ_ｉ｝（１≦ｉ≦Ｎ）と表し、また、正解のクラスが、対応する学習用画像に含まれるクラスの集合Ｌを与える場合に、一例として、学習用バイアス情報のベクトルの各要素Ｂ_ｉの値は、当該要素に対応するクラスが集合Ｌに含まれるクラスであるか否かに応じて設定することができる。つまり、この例では、分類器が分類対象とする全クラスをＮクラスとし、そのｉ番目（１≦ｉ≦Ｎ）のクラスをＣ_ｉで表すと、学習用バイアス生成手段５２は当該クラスＣ_ｉに対応する学習用バイアス情報のベクトルの要素Ｂ_ｉを次式で設定する。

ステップＳ２００での学習用バイアス情報の生成により学習用データが揃うと、画像処理部５は学習手段５３として機能し、学習モデル記憶手段４２から分類器の学習モデルを読み出す（ステップＳ２０１）。なお、この段階での学習モデルのパラメータは初期値である。

次に、学習手段５３は学習用データ記憶手段４１から、学習用画像、正解のクラスおよび学習用バイアス情報のセットからなる学習用データを読み出し（ステップＳ２０２）、学習モデルを更新するための処理（ステップＳ２０３～Ｓ２０７）を行う。なお、ステップＳ２０２で読み出す学習用データは、学習用データ記憶手段４１に記憶されている学習用データの全セットではなく一部のセットであり、学習手段５３は学習データを一部分ずつ順次読み出し学習モデルを更新する処理を繰り返す。本実施形態ではステップＳ２０２にて複数セットの学習用データを読み出す。例えば、１０枚の学習用画像に対応する学習用データのセットが読み出される。

学習手段５３は、読み出した学習用データを１セットずつ順次処理対象に設定し（ステップＳ２０３）、処理対象の学習用画像とその学習用バイアス情報とを学習モデルに入力して処理対象の学習用画像の各画素を分類させる（ステップＳ２０４）。ステップＳ２０４では、その時点でのバイアス情報圧縮部４０１のパラメータを使用して学習用バイアス情報が圧縮され、また、その時点での特徴量抽出部４００のパラメータを用いて学習用画像の特徴量が算出される。それ以外の点ではステップＳ２０４での処理は基本的に、上述した領域分割処理の図５のステップＳ１０２～Ｓ１０５と同様であり、特徴量合成部４０２によって、圧縮された学習用バイアス情報と特徴量抽出部４００にて抽出された特徴量とから合成特徴量が作成され、クラス分類部４０３によって、各画素が属するクラスの分類が行われる。

ステップＳ２０３、Ｓ２０４の処理はステップＳ２０２で読み出した全ての学習用データに対して繰り返される（ステップＳ２０５にて「ＮＯ」の場合）。

全ての学習用データについて処理を終えると（ステップＳ２０５にて「ＹＥＳ」の場合）、学習手段５３は、分類結果として得られたクラスと、正解のクラスとを比較して、分類結果の誤差を計算し（ステップＳ２０６）、その誤差をもとに学習モデルを更新する（ステップＳ２０７）。例えば、学習手段５３はステップＳ２０７にて、誤差逆伝播法などを用いて、特徴量抽出部４００、クラス分類部４０３およびバイアス情報圧縮部４０１のパラメータを更新する。

学習手段５３は、所定の反復終了条件が満たされていなければ（ステップＳ２０８にて「ＮＯ」の場合）、ステップＳ２０２～Ｓ２０８の処理を繰り返す。例えば、ステップＳ２０６で求める誤差が収束すること、および、反復回数が予め定めた上限回数に達することのいずれかを満たすことが反復終了条件とされる。

反復終了条件が満たされた場合には（ステップＳ２０８にて「ＹＥＳ」の場合）、学習手段５３はステップＳ２０７で更新された学習モデルを学習済みモデルとして学習モデル記憶手段４２に保存する（ステップＳ２０９）。具体的には、ステップＳ２０７で更新された各パラメータが保存される。これにより学習処理が終了し、上述したように、学習モデル記憶手段４２は分類器記憶手段４０となり、当該学習済みモデルは分類器として領域分割装置１の領域分割処理に供される。

［変形例］
（１）初期バイアス情報の設定の仕方は上記実施形態に限られず、様々な手法が可能である。例えば、初期バイアス情報として、全てのクラスが均等に出現することを設定してもよい。

また、或るデータ取得手段から時系列でデータ群セットが得られる場合は、前時刻のデータ群セットでのバイアス情報を再利用してもよい。例えば、領域分割装置１は、時刻Ｔにて取得した入力画像に対する初期バイアス情報として、時刻Ｔの前時刻にて取得した画像セットを領域分割した際の最後の修正バイアス情報を用いることができる。

（２）バイアス情報の修正の仕方は上記実施形態に限られず、様々な手法が可能である。例えば、上記実施形態では、共通クラスを過半数のデータ群の領域分割結果に現れたクラスとしたが、これを緩和して共通クラスを２以上のデータ群の領域分割結果に現れたクラスとすることができる。

また例えば、トラックのように大きな物体は複数のカメラに同時に映りこみやすいが、人のように比較的小さい物体は、１つのカメラにしか映らない場合も考えられる。バイアス条件を修正する際に、このように対象の想定される大きさなど各クラスの情報を考慮してバイアス情報を設定してもよい。具体的には、上記実施形態或いはその変形例では、修正バイアス情報の或るクラスの値を“１”に設定する条件は、複数の入力画像２００のうちの過半数或いは２以上に当該クラスが出現することであり、当該条件は全てのクラスについて一律であったが、カメラへ映りにくいクラスについては条件を緩和することができ、例えば、トラックについては３つの入力画像２００のうち２つ以上に出現することを条件とするところ、人のように映りにくいクラスについては３つの入力画像２００のうち１つ以上に出現することを条件とすることができる。すなわち、バイアス修正部としてのバイアス設定手段５０を、データ群セットの領域分割結果に現れたクラスのうち、当該各クラスが表す物体の大きさに応じて定められた個数以上のデータ群に現れた出現クラスを求め、修正バイアス情報として、ラベル領域に付与されるクラスに当該出現クラスが含まれることを設定する構成とすることができる。

また、本発明に係る領域分割装置は、領域分割結果に現れたクラスごとに分類処理の信頼度を算出する信頼度算出部を備え、バイアス修正部としてのバイアス設定手段５０は、データ群セットにて信頼度が最も高い領域分割結果に現れたクラスに従って修正バイアス情報を設定する構成とすることができる。例えば、信頼度が高い領域のみを用いてバイアス情報を修正してもよい。

信頼度の算出には周知の手法を用いることができ、例えば、以下の論文（ｉ），（ｉｉ）の手法が利用できる。

（ｉ）Alex Kendall, Vijay Badrinarayanan and Roberto Cipolla, “Bayesian SegNet: Model Uncertainty in Deep Convolutional Encoder-Decoder Architectures for Scene Understanding”, BMVC, 2017

（ｉｉ）Rupprecht, Christian, et al. “Learning in an uncertain world: Representing ambiguity through multiple hypotheses”, Proceedings of the IEEE International Conference on Computer Vision. 2017

例えば、（ｉ）の手法を用いた場合、分割部は分類器におけるネットワークの一部を切断して切断箇所を変更しながら分類処理を複数回繰り返す。このとき初期バイアス情報や修正バイアス情報は変更しない。分割部は繰り返しの過程でクラス分類部４０３の中間結果である、各画素におけるクラスごとの確からしさを保持しておく。そして、分割部は各画素についてクラスごとに、繰り返し回数分だけ取得した確からしさに関しばらつきと平均値を求める。分割部は、画素ごとに、平均値が最も高いクラスについて、ばらつきが小さいほど高い信頼度（「クラスごとの信頼度」）を算出する。各画素における「平均値が最も高いクラス」が分類結果となる。バイアス修正部は、画像ごとに各クラスの信頼度の平均値を算出し、さらに全画像にわたってクラスごとに平均し、当該平均値が予め定めた閾値以上であるクラスを現れやすいクラスに設定し、閾値未満であるクラスを現れにくいクラスに設定した修正バイアス情報を生成する。

また例えば、（ｉｉ）の手法を用いた場合、分類器のクラス分類部４０３は複数通りの確からしさを、各画素についてクラスごとに算出する。分割部は各画素についてクラスごとに、複数通り算出した確からしさのばらつきと平均値を求める。分割部は、画素ごとに、平均値が最も高いクラスについて、ばらつきが小さいほど高い信頼度（「クラスごとの信頼度」）を算出する。各画素における「平均値が最も高いクラス」が分類結果となる。バイアス修正部は、画像ごとに各クラスの信頼度の平均値を算出し、さらに全画像にわたってクラスごとに平均し、当該平均値が予め定めた閾値以上であるクラスを現れやすいクラスに設定し、閾値未満であるクラスを現れにくいクラスに設定した修正バイアス情報を生成する。

また、データ群セットを全ての撮影部２により取得されたデータ群とせず、任意の部分的な撮影部２の組み合わせで取得されたデータ群としてもよい。例えば、４台の撮影部２を２台ずつの組に分け、２つの組それぞれでバイアス情報を修正してもよい。また、例えば、右隣の撮影部２の領域分割結果からバイアス情報を作成し、自身の領域分割結果を更新するという手順を繰り返し各撮影部２について行い、バイアス情報が更新されなくなるか、最大更新回数に達するまで処理を行ってもよい。

（３）上記実施形態では、互いに相関して取得された複数のデータ群からなるデータ群セットとして、複数の撮影部２により取得される複数の画像を示したが、データ群セットはこれに限られない。例えば、１台の撮影部２で同じ視野を比較的近接した複数タイミングで順次撮影した時系列画像は、互いに相関して取得された複数のデータ群からなるデータ群セットを構成する。例えば、上記実施形態の領域分割装置１にて、図５のステップＳ１００での分類器への入力画像を、複数の撮影部２からの画像に代えて、時系列画像とすることができる。また、複数の撮影部２による時系列画像で上述のデータ群セットを構成することもできる。

（４）上記実施形態および各変形例では、データ群を二次元画像とする例を示したが、この例に限られない。例えばデータ群を二次元画像の時系列とすることができる。その場合、空間は時空間であり、データは画素である。また例えば、データ群を距離画像、空間を二次元空間、データを画素（距離値）とすることもできる。なお、その場合、撮像部２は距離画像センサとなる。また例えば、データ群をポイントクラウド等の三次元計測データ、空間を三次元空間、データを計測点とすることもできる。なお、その場合は撮像部２に代えて三次元計測器が用いられる。

（５）上記実施形態およびその変形例では、バイアス情報においてラベル領域に付与されるクラスに含まれやすくさせる（現れやすくさせる）ために値“１”を設定し、含まれにくくさせる（現れにくくさせる）ために値“０”を設定する例を示したが、バイアス情報は２値表現に限らず、３値以上の多値で表現されるものであってもよいし、連続値で表現されるものであってもよい。

例えば、上述した共通クラスの例においては修正バイアス情報を、データ群セットにおいて各共通クラスが領域分割結果に現れたデータ群の数の割合とすることができる（３つの入力画像のうちの２つに現れた共通クラスに対応する要素値に２／３を設定するなど）。

また、例えば上述した「クラスごとの信頼度」を修正バイアス情報の要素値に設定することができる。

１ 領域分割装置、２ 撮影部、３ 通信部、４ 記憶部、５ 画像処理部、６ 表示部、３０ 画像入力手段、３１ 領域情報出力手段、４０ 分類器記憶手段、４１ 学習用データ記憶手段、４２ 学習モデル記憶手段、５０ バイアス設定手段、５１ 領域分割手段、５２ 学習用バイアス生成手段、５３ 学習手段、１００ 画像、１１０ 合成特徴量、１２０ 入力ノード、１２１ バイアス情報、１３０ 出力ノード、１４０ クラス分類結果、４００ 特徴量抽出部、４０１ バイアス情報圧縮部、４０２ 特徴量合成部、４０３ クラス分類部。

Claims (8)

1. 空間に分布するデータ群を複数のクラスに分類する分類処理を行い前記空間を前記クラスで識別されるラベル領域に分割する領域分割装置であって、
   前記データ群から、前記空間の座標に対応付けられる特徴量を抽出する特徴量抽出部と、
   前記特徴量と、前記分類処理に偏りを持たせるためのバイアス情報とを入力され、当該バイアス情報が与える制約の下に当該特徴量に基づいて前記空間を前記ラベル領域に領域分割する分割部と、
   互いに相関して取得された複数の前記データ群からなるデータ群セットについての前記分割部による領域分割結果に基づき、前記バイアス情報として当該データ群セットについて修正バイアス情報を設定するバイアス修正部と、を有し、
   前記分割部は、前記データ群セットに含まれる前記データ群に関して、前記修正バイアス情報の下で前記空間の領域分割をやり直すこと、
   を特徴とする領域分割装置。
2. 請求項１に記載の領域分割装置において、
   前記バイアス修正部は、前記データ群セットの前記領域分割結果に現れた前記クラスのうち２以上の前記データ群に共通する共通クラスを求め、前記修正バイアス情報として、前記ラベル領域に付与される前記クラスに当該共通クラスが含まれることを設定すること、を特徴とする領域分割装置。
3. 請求項１に記載の領域分割装置において、
   前記バイアス修正部は、前記データ群セットの前記領域分割結果に現れた前記クラスのうち、当該各クラスが表す物体ごとに予め定められた個数以上の前記データ群に現れた出現クラスを求め、前記修正バイアス情報として、前記ラベル領域に付与される前記クラスに当該出現クラスが含まれることを設定すること、を特徴とする領域分割装置。
4. 請求項１に記載の領域分割装置において、
   前記データ群セットの前記領域分割結果に現れた前記クラスごとに前記分類処理の信頼度を算出する信頼度算出部を有し、
   前記バイアス修正部は、前記修正バイアス情報として、前記ラベル領域に付与される前記クラスを前記信頼度に基づいて設定すること、を特徴とする領域分割装置。
5. 請求項１から請求項４のいずれか１つに記載の領域分割装置において、
   前記バイアス情報は、予め定義された前記クラスのそれぞれと一対一に対応した要素で表され、前記制約を前記データ群に対し一律に与える情報であることを特徴とする領域分割装置。
6. 請求項１から請求項５のいずれか１つに記載の領域分割装置において、
   前記データ群セットは、共通の場所を複数視点又は近接した複数時刻で撮影した複数の画像であること、を特徴とする領域分割装置。
7. 空間に分布するデータ群を複数のクラスに分類する分類処理を行い前記空間を前記クラスで識別されるラベル領域に分割する領域分割方法であって、
   前記データ群から、前記空間の座標に対応付けられる特徴量を抽出する特徴量抽出ステップと、
   前記特徴量と、前記分類処理に偏りを持たせるためのバイアス情報とを入力され、当該バイアス情報が与える制約の下に当該特徴量に基づいて前記空間を前記ラベル領域に領域分割する分割ステップと、
   互いに相関して取得された複数の前記データ群からなるデータ群セットについての前記分割ステップでの領域分割結果に基づき、前記バイアス情報として当該データ群セットについて修正バイアス情報を設定するバイアス修正ステップと、
   前記データ群セットに含まれる前記データ群に関して、前記修正バイアス情報の下で前記分割ステップでの前記空間の領域分割をやり直す再分割ステップと、
   を有することを特徴とする領域分割方法。
8. 空間に分布するデータ群を複数のクラスに分類する分類処理を行い前記空間を前記クラスで識別されるラベル領域に分割する処理をコンピュータに行わせるプログラムであって、
   当該コンピュータを、
   前記データ群から、前記空間の座標に対応付けられる特徴量を抽出する特徴量抽出部、
   前記特徴量と、前記分類処理に偏りを持たせるためのバイアス情報とを入力され、当該バイアス情報が与える制約の下に当該特徴量に基づいて前記空間を前記ラベル領域に領域分割する分割部、及び、
   互いに相関して取得された複数の前記データ群からなるデータ群セットについての前記分割部による領域分割結果に基づき、前記バイアス情報として当該データ群セットについて修正バイアス情報を設定するバイアス修正部、として機能させ、
   前記分割部は、前記データ群セットに含まれる前記データ群に関して、前記修正バイアス情報の下で前記空間の領域分割をやり直すこと、
   を特徴とする領域分割プログラム。

Images