JP7334083B2 - 分類信頼度算出装置、領域分割装置、学習装置、分類信頼度算出方法、学習方法、分類信頼度算出プログラム、及び学習プログラム - Google Patents

Description

本発明は、画像の画素等の対象データを被写体等のクラスに分類する分類処理に関する信頼度を求める技術、対象データが分布する空間をクラスごとのラベル領域に分割する技術、および上記信頼度に係る学習を行う技術に関する。

画像に撮影されたシーンを自動認識するなどの目的で、画像を、当該画像に撮影されている複数の物体それぞれの領域や複数の部位それぞれの領域に分割するとともに、各領域に撮影されている物体や部位を認識する技術が研究・開発されてきた。以下、撮影されている物体や部位を被写体と呼ぶ。被写体の認識を伴った領域分割はセマンティックセグメンテーションなどと称される。

特に、近年では、学習に基づいて上記分割と認識を行う技術が盛んに研究されている。すなわち、例えば、下記非特許文献１には、予め被写体ごとに分割された領域の画素ごとに被写体を表すクラスを付与した学習用画像を多数用意し、コンピュータにこれらの学習用画像を機械学習させることが記載されている。予め付与する情報はアノテーションなどと称される。この学習によって、任意の画像を入力すれば当該入力画像に対して画素ごとのクラスが出力される。つまり当該入力画像が被写体ごとの領域に分割される。

また、近年では、学習用画像とアノテーションからなる大規模なデータセットが公開され利用可能となっている。基本的には多様な学習をした学習済モデルほど高精度な領域分割を行うことができるため、学習に用いるデータセットの規模は大きい方が望ましい。

"Fully Convolutional Networks for Semantic Segmentation",Jonathan Long, Evan Shelhamer, and Trevor Darrell (Proceedings of the IEEE conference on computer vision and pattern recognition, 2015)

しかしながら、カメラの設置条件によっては、当該カメラによって撮影される画像内に、学習用画像において少数派の撮影方向で撮影された被写体の領域が生じうる。また、畳み込み層を伴うＣＮＮ（Convolutional Neural Network：畳み込みニューラルネットワーク）によってモデル化して学習済みモデルを生成する場合、各画素についての特徴量には当該画素の特徴に加えて周囲画素の特徴が畳み込まれる。そのため、学習用画像において少数派の撮影方向で撮影された被写体の領域の認識において、周囲画素の特徴を過度に受けて誤認識を生じやすくなる問題があった。

例えば、部屋の壁に、光軸を鉛直下方に向けて設置したカメラ（壁設置カメラ）は、上方から撮影された壁と床とが接する領域を含んだ画像を生成する。このように上方から撮影された壁や床の事例が少ない学習用画像を用いて生成された学習済みモデルに、上記壁設置カメラの画像を入力すると、上記領域近傍が「（台所の）シンク」であるなどと誤認識される。

本発明は、上記問題を鑑みてなされたものであり、データの取得条件の違いによる領域分割結果の変動を抑制することのできる領域分割技術を提供することを目的とする。

（１）本発明に係る分類信頼度算出装置は、空間に分布する対象データを複数のクラスに分類する分類処理に関する信頼度を求める装置であって、前記分類処理とは独立して前記空間における前記クラスの変化を推定し、その変化位置からなる変化境界を求める変化境界推定手段と、前記分類処理によるクラス分類結果について、前記変化境界が前記クラスごとの前記対象データの分布の境界として整合する整合度合いに基づいて前記信頼度を算出する信頼度算出手段と、を有する。

（２）上記（１）に記載の分類信頼度算出装置において、前記対象データについて前記変化位置を推定する推定器として、学習用対象データ及び当該学習用対象データに対し予め与えられた正解のクラスにおける前記変化位置を用いた学習が行われた学習済みモデルを記憶している推定器記憶手段を有し、前記変化境界推定手段は、前記推定器を用いて前記対象データの前記変化境界を求める構成とすることができる。

（３）上記（１），（２）に記載の分類信頼度算出装置において、前記クラス分類結果に基づいて、前記空間を前記クラスで識別されるラベル領域に分割し、当該ラベル領域のエッジを求めるエッジ抽出手段、をさらに備え、前記信頼度算出手段は、前記ラベル領域内の前記対象データの位置から１又は複数の所定の方向について前記エッジ及び前記変化境界のそれぞれまでの距離であるエッジ距離及び変化境界距離を求め、当該エッジ距離と当該変化境界距離との比較結果に基づく前記変化境界と前記エッジとの一致度合いを前記整合度合いとして求めて当該対象データについて前記信頼度を算出する構成とすることができる。

（４）本発明に係る領域分割装置は、上記（１）～（３）のいずれか１つに記載の分類信頼度算出装置を備え、前記空間を前記クラスで識別されるラベル領域に分割する装置であって、前記変化境界に基づく区画内にて得られた前記クラス分類結果のうち前記信頼度が所定の閾値以上であるものに基づいて、当該区画に存在する前記クラス分類結果を修正する分類修正手段と、前記分類修正手段により修正された前記クラス分類結果が示す前記クラスで識別される前記ラベル領域を求めるラベル領域修正手段と、を有する。

（５）上記（４）に記載の領域分割措置において、前記分類修正手段は、前記区画内の前記クラス分類結果をそれらのうち前記信頼度が最大のものに合わせる修正を行う構成とすることができる。

（６）本発明に係る領域分割装置は、空間に分布する対象データを複数のクラスに分類する分類処理を行い前記空間を前記クラスで識別されるラベル領域に分割する装置であって、前記分類処理を行う分類器として、学習用対象データと当該学習用対象データに対し予め与えられた正解のクラスとを用いた学習が行われた学習済みモデルを記憶している分類器記憶手段と、前記対象データを前記分類器に入力し、その出力のクラス分類結果に基づいて前記ラベル領域を求める領域分割手段と、前記対象データについて前記空間での前記クラスの変化位置を推定する推定器として、前記学習用対象データ及び当該学習用対象データの前記正解のクラスにおける前記変化位置を用いた学習が行われた学習済みモデルを記憶している推定器記憶手段と、前記対象データを前記推定器に入力し、前記変化位置からなる変化境界を求める変化境界推定手段と、前記ラベル領域における前記クラス分類結果について、前記変化境界が前記クラスごとの前記対象データの分布の境界として整合する整合度合いに基づいて、前記分類処理の信頼度を算出する信頼度算出手段と、を有する。

（７）本発明に係る学習装置は、空間に分布する対象データを複数のクラスに分類する分類処理を行う分類器と前記対象データについて前記空間での前記クラスの変化位置を推定する推定器とを学習させる装置であって、前記分類器として、前記対象データを入力され当該対象データについてのクラス分類結果を出力する学習モデルを記憶する分類器記憶手段と、前記推定器として、前記対象データを入力され当該対象データについての前記変化位置を出力する学習モデルを記憶する推定器記憶手段と、学習用対象データ及び当該学習用対象データに対し予め与えられた正解のクラスを記憶している学習用データ記憶手段と、前記分類器及び前記推定器それぞれの前記学習モデルに前記学習用対象データを入力し、前記分類器の前記学習モデルをその出力と前記クラス分類結果の前記正解との間の誤差に基づいて更新する学習と、前記推定器の前記学習モデルをその出力と前記正解のクラスにおける前記変化位置との間の誤差に基づいて更新する学習とを行う学習手段と、を有する。

（８）本発明に係る分類信頼度算出方法は、空間に分布する対象データを複数のクラスに分類する分類処理に関する信頼度を求める方法であって、前記分類処理とは独立して前記空間における前記クラスの変化を推定し、その変化位置からなる変化境界を求める変化境界推定ステップと、前記分類処理によるクラス分類結果について、前記変化境界が前記クラスごとの前記対象データの分布の境界として整合する整合度合いに基づいて前記信頼度を算出する信頼度算出ステップと、を有する。

（９）本発明に係る学習方法は、空間に分布する対象データを複数のクラスに分類する分類処理を行う分類器と前記対象データについて前記空間での前記クラスの変化位置を推定する推定器とを学習させる方法であって、前記分類器として、前記対象データを入力され当該対象データについてのクラス分類結果を出力する学習モデルを用意するステップと、前記推定器として、前記対象データを入力され当該対象データについての前記変化位置を出力する学習モデルを用意するステップと、学習用対象データ及び当該学習用対象データに対し予め与えられた正解のクラスを用意するステップと、前記分類器及び前記推定器それぞれの前記学習モデルに前記学習用対象データを入力し、前記分類器の前記学習モデルをその出力と前記クラス分類結果の前記正解との間の誤差に基づいて更新する学習と、前記推定器の前記学習モデルをその出力と前記正解のクラスにおける前記変化位置との間の誤差に基づいて更新する学習とを行う学習ステップと、を有する。

（１０）本発明に係る分類信頼度算出プログラムは、空間に分布する対象データを複数のクラスに分類する分類処理に関する信頼度を求める処理をコンピュータに行わせるプログラムであって、当該コンピュータを、前記分類処理とは独立して前記空間における前記クラスの変化を推定し、その変化位置からなる変化境界を求める変化境界推定手段、及び、前記分類処理によるクラス分類結果について、前記変化境界が前記クラスごとの前記対象データの分布の境界として整合する整合度合いに基づいて前記信頼度を算出する信頼度算出手段、として機能させる。

（１１）本発明に係る学習プログラムは、空間に分布する対象データを複数のクラスに分類する分類処理を行う分類器と前記対象データについて前記空間での前記クラスの変化位置を推定する推定器とを学習させる処理をコンピュータに行わせるプログラムであって、当該コンピュータを、前記分類器として、前記対象データを入力され当該対象データについてのクラス分類結果を出力する学習モデルを記憶する分類器記憶手段、前記推定器として、前記対象データを入力され当該対象データについての前記変化位置を出力する学習モデルを記憶する推定器記憶手段、学習用対象データ及び当該学習用対象データに対し予め与えられた正解のクラスを記憶している学習用データ記憶手段、及び、前記分類器及び前記推定器それぞれの前記学習モデルに前記学習用対象データを入力し、前記分類器の前記学習モデルをその出力と前記クラス分類結果の前記正解との間の誤差に基づいて更新する学習と、前記推定器の前記学習モデルをその出力と前記正解のクラスにおける前記変化位置との間の誤差に基づいて更新する学習とを行う学習手段、として機能させる。

本発明によれば、クラスの種類を求めずに問題を簡単化してクラスの変化境界を推定し、推定した変化境界に基づいてクラス分類結果を評価するので、的確な信頼性評価が可能となる。また、本発明によれば、的確な信頼度に基づいて、クラス分類結果を精度よく修正できる。また、本発明によれば、同一の学習用データを用いることによって、異なる基準で似た位置にラベル領域境界とクラス変化境界を算出しやすく、以ってクラス分類結果の信頼性を的確に評価できる分類器と推定器を学習することが可能となる。

本発明の実施形態に係る画像処理システムの概略の構成を示すブロック図である。 本発明の実施形態に係る画像処理システムの学習装置としての概略の機能ブロック図である。 本発明の実施形態における分類器および推定器の概略の機能ブロック図である。 本発明の実施形態における分類器および推定器の学習に用いるデータの一例を示す模式図である。 本発明の実施形態に係る画像処理システムの学習時の動作の概略のフロー図である。 本発明の実施形態に係る画像処理システムの領域分割装置としての概略の機能ブロック図である。 本発明の実施形態に係る画像処理システムの領域分割時の動作の概略のフロー図である。 信頼度算出処理の概略のフロー図である。 ラベル領域修正処理の概略のフロー図である。 ラベル領域修正処理の概略のフロー図である。 本発明の実施形態に係る画像処理システムの領域分割装置としての処理例を説明する模式図である。 本発明の実施形態に係る画像処理システムの領域分割装置としての処理例を説明する模式図である。

以下、本発明の実施の形態（以下実施形態という）について、図面に基づいて説明する。

本実施形態は、撮影部と表示部とがコンピュータに接続されてなる画像処理システム１であり、画像処理システム１は領域分割装置およびその学習装置として動作する。

本発明に係る領域分割装置は、空間に分布する対象データを複数のクラスに分類する分類処理を行い空間をクラスで識別されるラベル領域に分割するものであり、本実施形態にて一例として示す領域分割装置は、監視空間を撮影した画像を領域分割する。すなわち、本実施形態において、分類される対象データは二次元画像を構成する画素であり、分割される空間は画像に対応する二次元空間である。また、領域分割装置は分類処理を行う分類器のほか、対象データについて空間でのクラスの変化位置を推定する推定器、および分類処理に関する信頼度を求める分類信頼度算出装置を備える。

本発明に係る学習装置は、領域分割装置で用いる分類器および推定器を学習する。

［画像処理システム１の構成］
図１は画像処理システム１の概略の構成を示すブロック図である。画像処理システム１は撮影部２、通信部３、記憶部４、画像処理部５および表示部６からなる。

撮影部２は、対象データの集まりである画像を取得するカメラであり、本実施形態においては監視カメラである。撮影部２は通信部３を介して画像処理部５と接続され、監視空間を所定の時間間隔で撮影して画像を生成し、生成した画像を順次、画像処理部５に入力する。例えば、撮影部２は、監視空間である屋内の壁に当該監視空間を俯瞰する所定の固定視野を有して設置され、監視空間をフレーム周期１秒で撮影してカラー画像を生成する。なお、撮影部２はカラー画像の代わりにモノクロ画像を生成してもよい。

通信部３は通信回路であり、その一端が画像処理部５に接続され、他端が撮影部２および表示部６と接続される。通信部３は撮影部２から画像を取得して画像処理部５に入力する。また、通信部３は画像処理部５からクラスへの分類結果やラベル領域への分割結果を入力され表示部６へ出力する。

なお、撮影部２、通信部３、記憶部４、画像処理部５および表示部６の間は各部の設置場所に応じた形態で適宜接続される。例えば、撮影部２と通信部３および画像処理部５とが遠隔に設置される場合、撮影部２と通信部３との間をインターネット回線にて接続することができる。また、通信部３と画像処理部５との間はバスで接続する構成とすることができる。その他、接続手段として、ＬＡＮ（Local Area Network）、各種ケーブルなどを用いることができる。

記憶部４は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等のメモリ装置であり、各種プログラムや各種データを記憶する。例えば、記憶部４は学習用のデータや、学習済みモデルである分類器や推定器の情報を記憶し、画像処理部５との間でこれらの情報を入出力する。すなわち、分類器や推定器の学習に用いる情報、分類処理に必要な情報や当該処理の過程で生じた情報などが記憶部４と画像処理部５との間で入出力される。

画像処理部５は、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＣＵ（Micro Control Unit）、ＧＰＵ(Graphics Processing Unit)等の演算装置で構成される。画像処理部５は記憶部４からプログラムを読み出して実行することにより各種の処理手段・制御手段として動作し、必要に応じて、各種データを記憶部４から読み出し、生成したデータを記憶部４に記憶させる。例えば、画像処理部５は分類器や推定器を学習し生成すると共に、生成した分類器や推定器を通信部３経由で記憶部４に記憶させる。また、画像処理部５は分類器を用いて撮影部２からの画像を構成する画素をクラス分類し、当該画像を分割する。さらに画像処理部５は分類器および推定器の処理結果を用いて分類処理に関する信頼度を算出する。

表示部６は、液晶ディスプレイまたは有機ＥＬ（Electro-Luminescence）ディスプレイ等であり、通信部３を経由して画像処理部５から入力される分類結果や分割結果を表示する。

以下、画像処理システム１の構成について、先ず、学習装置としての構成および動作について説明し、次いで、領域分割装置、分類信頼度算出装置としての構成および動作について説明する。

［学習装置としての構成］
図２は学習装置としての画像処理システム１の概略の機能ブロック図であり、記憶部４が学習用データ記憶手段４０および学習モデル記憶手段４１として機能し、画像処理部５が学習手段５０として機能する。

学習用データ記憶手段４０は、学習用対象データである多数の画像および当該画像に対し予め与えられた正解のクラスを記憶する。学習用画像と当該画像それぞれに対応する正解のクラスとは、学習処理に先立って予め学習用データ記憶手段４０に記憶される。

学習モデル記憶手段４１は分類器についての学習モデルを記憶する分類器記憶手段であると共に、推定器についての学習モデルを記憶する推定器記憶手段である。学習手段５０による学習処理に伴い、学習モデル記憶手段４１に記憶される学習モデルは更新される。そして、学習が完了すると、学習モデル記憶手段４１は分類器および推定器の学習済みモデルを記憶する。本実施形態では、分類器および推定器は深層学習（Deep Learning）で用いられるような多層のネットワークで構成され、例えば、ＣＮＮでモデル化することができる。学習モデル記憶手段４１は、ＣＮＮなどのネットワークを構成するフィルタのフィルタ係数やネットワーク構造などを含めた情報を分類器および推定器として記憶する。

学習手段５０は、分類器および推定器それぞれの学習モデルに学習用画像を入力し、分類器の学習モデルをその出力とクラス分類結果の正解との間の誤差に基づいて更新する学習と、推定器の学習モデルをその出力と正解のクラスにおける変化位置との間の誤差に基づいて更新する学習とを行う。

図３は分類器および推定器の概略の機能ブロック図である。分類器および推定器は特徴量抽出部４００を備え、特徴量抽出部４００の一部または全部は分類器と推定器とで共有することができる。具体的には、特徴量抽出部４００を構成する多層のネットワークの浅い部分から推定器に使用する特徴量を取り、深い部分から分類器で使う特徴量を取る構成にすることができる。特徴量抽出部４００に加え、分類器はクラス分類部４０１を備え、また、推定器は変化位置推定部４０２を備える。

特徴量抽出部４００は画像を入力され、特徴量を抽出する。抽出された特徴量はクラス分類部４０１および変化位置推定部４０２に入力される。分類器はクラス分類部４０１により、特徴量に基づいて分類処理を行って、得られたクラス分類結果を出力する。一方、推定器は変化位置推定部４０２により、特徴量に基づいて画像中におけるクラスの変化位置を推定してクラス変化境界を求める。

図４は学習に用いるデータの一例を示す模式図である。学習用画像は様々なシーンを予め撮影した多数の画像であり、図４（ａ）はその一例である学習用画像１１０を表している。また図４（ｂ）は学習用画像１１０についての正解のクラス１１０を画像形式で表している。

学習用画像１１０には、壁１０１、窓１０２、人１０３、床１０４、天井１０５が撮影されている。ちなみに、学習用画像１００のように公開データベースで提供される学習用画像は人の目線の高さで撮影されたものが多い。

正解のクラス１１０は、正解のクラス（正解クラス）の情報および正解クラスの変化位置の情報を含む。ここで、正解クラスは学習用画像の各画素に撮影されている物体等に対応するクラスである。例えば、各画素に対応付けて、正解クラスの識別子が人手によって予め付与される。クラスは物体等の種類それぞれに対して予め定義される。学習用画像１００の例では、壁１０１が撮影されている領域１１１内の画素に壁のクラス（壁クラス）、窓１０２が撮影されている領域１１２内の画素に窓のクラス（窓クラス）、人１０３が撮影されている領域１１３内の画素に人のクラス（人クラス）、床１０４が撮影されている領域１１４内の画素に床のクラス（床クラス）、天井１０５が撮影されている領域１１５内の画素に天井のクラス（天井クラス）が付与されている。

一方、クラスの変化位置（クラス変化位置）は、画像において隣接画素とは属するクラスが異なる画素の座標であり、クラス変化位置が連なって変化境界をなす。つまり、正解クラスの変化位置は隣接画素とは異なる正解クラスが付与されている画素の座標であり、正解クラスの情報から算出できる。学習用画像１００の例に対しては、図４（ｂ）における点線１１６ａ，１１６ｂ，１１６ｃが正解クラスの変化位置として算出される。

［学習装置としての動作］
図５は画像処理システム１の学習時の動作の概略のフロー図である。

学習手段５０は、学習動作の開始に際して、学習用データ記憶手段４０に各学習用画像と対応付けて記憶されている正解のクラスの情報から当該学習用画像におけるクラス変化位置を特定する（ステップＳ１０）。求めたクラス変化位置の情報は例えば、学習用データ記憶手段４０に記憶される。そして、学習手段５０は学習モデル記憶手段４１から分類器および推定器の初期学習モデルを読み出して（ステップＳ１１）、当該モデルについての学習動作（ステップＳ１２～Ｓ１９）を開始する。

学習手段５０は、学習用データ記憶手段４０から学習用画像および正解クラスを読み出す（ステップＳ１２）。学習手段５０は、分類器および推定器の学習モデルに各学習用画像を入力し、学習モデルの特徴量抽出部４００は現時点のパラメータで各学習用画像から特徴量を抽出する（ステップＳ１３）。そして、学習モデルのクラス分類部４０１は現時点のパラメータで、抽出された特徴量を基に各画素が属するクラスを推定し（ステップＳ１４）、一方、学習モデルの変化位置推定部４０２は現時点のパラメータで、抽出された特徴量を基に各学習用画像におけるクラス変化位置を推定する（ステップＳ１５）。なお、典型的には、学習用画像ごとにステップＳ１３～Ｓ１５の一連の処理を繰り返すループ処理が実行される。

学習手段５０は、正解クラスの情報とステップＳ１３にて学習モデルにより得られたクラス分類結果とを比較して分類結果に関する誤差を求め（ステップＳ１６）、またステップＳ１０で特定したクラス変化位置とステップＳ１４にて学習モデルが推定したクラス変化位置とを比較してクラス変化位置に関する誤差を求める（ステップＳ１７）。そして学習手段５０は、これらの誤差が減少するように学習モデルのパラメータを更新する（ステップＳ１８）。

学習手段５０は、所定の反復終了条件が満たされていなければ（ステップＳ１９にて「ＮＯ」の場合）、ステップＳ１２～Ｓ１８の処理を繰り返す。例えば、ステップＳ１６，Ｓ１７で求める誤差が収束することが反復終了条件とされる。反復終了条件に、反復回数が予め定めた上限回数を超えること等の条件を加えてもよい。反復終了条件が満たされた場合（ステップＳ１９にて「ＹＥＳ」の場合）、学習手段５０は学習モデル記憶手段４１に学習モデル（学習済みモデル）のパラメータを保存する（ステップＳ２０）。

［領域分割装置、分類信頼度算出装置としての構成］
図６は領域分割装置としての画像処理システム１の概略の機能ブロック図であり、記憶部４が学習モデル記憶手段４１として機能し、画像処理部５が領域分割手段５１、変化境界推定手段５２、エッジ抽出手段５３、信頼度算出手段５４、分類修正手段５５、ラベル領域修正手段５６として機能する。また、通信部３が画像処理部５と協働し、画像入力手段３０および領域情報出力手段３１として機能する。

画像入力手段３０は撮影部２から画像を順次取得して領域分割手段５１および変化境界推定手段５２に出力する。

領域分割手段５１は、学習モデル記憶手段４１に格納されている学習済みモデルである分類器を用いて、撮影部２からの入力画像の画素について、事前定義された複数クラスのどれに属するかを推定する分類処理を行う。分類器は各画素についてのクラス分類結果を出力する。同一クラスに分類した隣接画素同士は当該クラスのラベル領域を構成する。つまり、クラス分類結果により画像はラベル領域に分割される。

変化境界推定手段５２は、学習モデル記憶手段４１に格納されている学習済みモデルである推定器を用いて、撮影部２からの入力画像におけるクラスの変化境界を求める。変化境界推定手段５２が推定器を用いて行う処理は対象データの分布から直接クラスの変化位置を推定する処理であり、領域分割手段５１が分類器を用いて行う処理は対象データの分布から各対象データをそれぞれが属するクラスに分類する処理であり、互いに独立した処理となっている。

エッジ抽出手段５３はクラス分類結果に基づいてラベル領域のエッジを求める。具体的には、エッジ抽出手段５３は、入力画像において近傍画素のいずれかが異なるクラスに分類された画素をエッジ画素とし、近傍画素がいずれも同一のクラスに分類された画素をエッジ画素ではないと弁別する。例えば、エッジ抽出手段５３は、入力画像と対応する各画素にクラス分類結果であるクラスごとに予め定めた画素値を設定したクラス画像を生成して、クラス画像にソーベルオペレータまたはラプラシアンフィルタ等のエッジオペレータを適用して０より大きなエッジ強度が算出された画素をエッジ画素とする。また、例えば、エッジ抽出手段５３は、クラス画像の各画素について、８近傍または１６近傍の全画素とクラスが一致する画素をエッジ画素、１つでもクラスが一致しない画素をエッジ画素ではないと弁別する。

信頼度算出手段５４は、エッジ抽出手段５３からラベル領域のエッジ情報を入力され、また変化境界推定手段５２から変化境界の情報を入力される。そして、信頼度算出手段５４は、ラベル領域におけるクラス分類結果について、変化境界に対する当該ラベル領域のエッジの一致度合いに基づいて信頼度を算出する。このエッジの一致度合いは、分類処理によるクラス分類結果について、変化境界がクラスごとの対象データの分布の境界として整合する度合いを表す整合度合いの一例である。

分類修正手段５５は、領域分割手段５１からクラス分類結果を入力され、また信頼度算出手段５４から信頼度を入力される。そして、分類修正手段５５は、変化境界に基づく区画内にて得られたクラス分類結果のうち信頼度が所定の閾値以上であるものに基づいて、当該区画に存在するラベル領域におけるクラス分類結果を修正する。

ラベル領域修正手段５６は、分類修正手段５５により修正されたクラス分類結果（修正済みクラス分類結果）に基づいて、ラベル領域を修正する。

領域情報出力手段３１は、ラベル領域修正手段５６により修正されたラベル領域（修正済みラベル領域）を表示部６に出力する。例えば、領域情報出力手段３１は、ラベル領域ごとに色分けされた画像を生成して表示部６に出力する。

［領域分割装置、分類信頼度算出装置としての動作］
図７は画像処理システム１の領域分割時の動作の概略のフロー図である。

画像処理システム１が領域分割処理を開始すると、撮影部２は所定時間おきに監視空間を撮影した画像を順次出力する。画像処理部５は通信部３と協働して、撮影部２から画像を受信するたびに図７のフロー図に示す動作を繰り返す。

通信部３は画像入力手段３０として機能し、撮影部２から受信した画像を画像処理部５に入力する（ステップＳ３０）。

画像処理部５は、画像を入力されると、領域分割手段５１および変化境界推定手段５２として機能する。具体的には、学習モデル記憶手段４１から読み出された学習済みの分類器および推定器に画像が入力され、特徴量抽出部４００により入力画像から特徴量が抽出される（ステップＳ３１）。特徴量は分類器のクラス分類部４０１および推定器の変化位置推定部４０２に渡される。

クラス分類部４０１は特徴量に基づいて、入力画像の各画素を分類処理しクラス分類結果を出力する（ステップＳ３２）。上述したようにクラス分類の結果、入力画像はラベル領域に分割される。

一方、変化位置推定部４０２は特徴量に基づいて、入力画像におけるクラス変化位置を推定する（ステップＳ３３）。これによりクラス変化境界が求まる。

エッジ抽出手段５３は領域分割手段５１で得られたクラス分類結果に基づいて、ラベル領域のエッジを抽出する（ステップＳ３４）。

次に画像処理部５は信頼度算出手段５４として機能し、信頼度算出手段５４は、ステップＳ３３で得られたクラス変化境界とステップＳ３４で得られたエッジ情報とを用いて信頼度を算出する処理を行う（ステップＳ３５）。

図８は信頼度算出処理Ｓ３５の概略のフロー図である。信頼度算出手段５４は、入力画像における各画素を順次、処理対象の画素に設定する（ステップＳ３５０）。そして、信頼度算出手段５４は当該画素から見て複数方向に設定されるチェック方向を順次選択し（ステップＳ３５１）、チェック方向における処理対象の画素からラベル領域のエッジまでの距離（エッジ距離）、および当該画素からクラス変化境界までの距離（変化境界距離）を求め（ステップＳ３５２，Ｓ３５３）、それら２つの距離の差を算出する（ステップＳ３５４）。その際、距離差は変化境界距離で正規化する。

チェック方向は本実施形態では上方向、下方向、左方向、右方向の４方向とし、信頼度算出手段５４は全てのチェック方向について距離差が求まるまで（ステップＳ３５５にて「ＮＯ」の場合）、ステップＳ３５１～Ｓ３５４の処理を繰り返す。

そして、全方向について処理が済むと（ステップＳ３５５にて「ＹＥＳ」の場合）、信頼度算出手段５４は、チェック方向とした４方向についての距離差に基づいてエッジが変化境界とどの程度一致しているかを表す一致度を算出し（ステップＳ３５６）、当該一致度から処理対象の画素についての信頼度を算出する（ステップＳ３５７）。例えば、各画素で得られる４方向の距離差のうち、２番目に小さい距離差が予め定めた閾値以下の場合には、距離差が小さいほど信頼度を高く、距離差が閾値に近いほど、信頼度を低くなるように設定し、一方、閾値を超えた場合は信頼度ゼロとする。このようにすることで、４方向全てでエッジが一致していなくても、２方向で一致していれば信頼度が高くなるように設定することができる。

信頼度算出手段５４は未処理の画素があれば（ステップＳ３５８にて「ＮＯ」の場合）、ステップＳ３５０～Ｓ３５７の処理を繰り返し、全画素について一致度を算出すると（ステップＳ３５８にて「ＹＥＳ」の場合）、図７の信頼度算出処理Ｓ３５からラベル領域修正処理Ｓ３６に移行する。

ステップＳ３６では画像処理部５が分類修正手段５５およびラベル領域修正手段５６として機能し、分類修正手段５５およびラベル領域修正手段５６は信頼度をもとにラベル領域を修正する。修正済みのラベル領域の情報は領域情報出力手段３１によって出力される（ステップＳ３７）。

画像処理システム１は領域分割装置としての動作にて、撮影部２から画像を入力されるごとにステップＳ３０～Ｓ３７の処理を繰り返す。

ラベル領域修正処理Ｓ３６の一例として、本実施形態では、信頼度が低い画素は、信頼度が高い画素を参照するようにラベルを修正する。従って、本処理では分類修正手段５５の処理として、信頼度が低い画素の参照先を求めることが行われる。また、本実施形態でのラベル領域修正手段５６の処理は、修正済みクラス分類結果にて隣接画素が同一クラスである領域をそのまま修正済みのラベル領域とする単純な内容とする。

図９および図１０は本実施形態におけるラベル領域修正処理Ｓ３６の概略のフロー図である。分類修正手段５５は、入力画像内の各画素についての参照先を初期化する（ステップＳ３６０）。具体的には、信頼度が所定の閾値以下の画素の参照先を「なし」、信頼度が閾値より大きかった画素の参照先を「その画素自身」にそれぞれ設定する。また、入力画像中での距離に関する量であるジャンプ量ｊについて初期値を設定する（ステップＳ３６１）。この場合にｊは２の累乗で表現される数にするのが好ましい。ジャンプ量の大きさは、入力画像のサイズ・解像度や撮影される物体の大きさ等を鑑みて適宜の値に設定される。例えば、本実施形態では初期値としてｊ＝６４を設定する。ちなみに、以下説明する後続処理（ステップＳ３６２～Ｓ３６８）では、ジャンプ量を順次小さく更新しながら、各画素について、そのジャンプ量だけ離れた画素（検査画素）の参照先との比較を行う。

具体的には、分類修正手段５５は、全ての画素から順次１つずつ選択して、注目画素として設定する（ステップＳ３６２）。そして、注目画素からｊだけ離れた画素を検査画素とする。ここでは、注目画素に対し右方向にα画素、上方向にβ画素離れた画素の位置を（α，β）と表すと、分類修正手段５５は注目画素から（－ｊ，－ｊ），（－ｊ，０），（－ｊ，ｊ），（０，－ｊ），（０，ｊ），（ｊ，－ｊ），（ｊ，０），（ｊ，ｊ）だけ離れた８方向の画素を検査画素とする。

分類修正手段５５は、検査画素の中から、その参照先が「なし」ではない検査画素で、かつ注目画素から当該参照先の画素に変化境界を跨ぐことなく到達することができる検査画素を探す（ステップＳ３６３）。

そのような検査画素が少なくとも１つある場合は（ステップＳ３６４にて「ＹＥＳ」の場合）、当該検査画素の中からその参照先の画素の信頼度が最大のものを選択し（ステップＳ３６５）、その最大の信頼度が注目画素の参照先の信頼度よりも大きければ（ステップＳ３６６にて「ＹＥＳ」の場合）、注目画素の参照先を最大信頼度を与えるその参照先に更新する（ステップＳ３６７）。

なお、ステップＳ３６３の条件を満たす検査画素がない場合（ステップＳ３６４にて「ＮＯ」の場合）や、最大信頼度が現在の参照先の信頼度を超えない場合（ステップＳ３６６にて「ＮＯ」の場合）は、注目画素の参照先は更新されず、現在の参照先が維持される。また、検査画素を設定する方向を８方向としたのは一例であり、１６方向とする、或いは３２方向とすることもできる。

分類修正手段５５は未処理の画素があれば（ステップＳ３６８にて「ＮＯ」の場合）、ステップＳ３６２～Ｓ３６７の処理を繰り返し、全画素に当該処理を終えると、ジャンプ量ｊを１より大きい範囲で減らしてステップＳ３６２～Ｓ３６８の処理を繰り返す（ステップＳ３６９、およびステップＳ３７０にて「ＮＯ」の場合）。本実施形態では、ｊの初期値を２の累乗で設定することに対応して、ステップＳ３６９にてｊを半分の値に更新することとし、ｊを１になるまで順次半減しつつステップＳ３６２～Ｓ３６８の参照先の更新処理を繰り返す。一方、ｊが１に達すると（ステップＳ３７０にて「ＹＥＳ」の場合）、分類修正手段５５は参照先の更新処理を終了する。

次に、分類修正手段５５は再び各画素を順次注目画素に設定し（ステップＳ３７１）、参照先がある注目画素のクラスをその参照先のクラスに変更する。具体的には、注目画素の参照先が「なし」の状態でなければ（ステップＳ３７２にて「ＮＯ」の場合）、注目画素のクラスをその参照先のクラスに変更する（ステップＳ３７３）。一方、注目画素の参照先が「なし」の状態であれば（ステップＳ３７２にて「ＹＥＳ」の場合）、ステップＳ３７３でのクラス変更は行われず、注目画素のクラスはその当初のクラスに維持される。

分類修正手段５５は未処理の画素があれば（ステップＳ３７４にて「ＮＯ」の場合）、ステップＳ３７１～Ｓ３７３のクラス分類結果の修正を続ける。一方、全画素についてクラス分類結果の修正が完了すると（ステップＳ３７４にて「ＹＥＳ」の場合）、分類修正手段５５の処理と共に、ラベル領域修正手段５６のラベル領域の修正処理も完了し、上述した図７のステップＳ３７に移行する。

図１１および図１２は画像処理システム１の領域分割装置としての処理例を説明する模式図である。図１１（ａ）は入力画像２００であり、壁２０１ｄに鉛直下方を向けて設置された撮影部２によって部屋を撮影して得られた入力画像の例を示しており、入力画像２００には、壁２０１ａ，２０１ｂ，２０１ｃ，２０１ｄ、窓２０２ａ，２０２ｂ、人２０３、床２０４が撮影されている。

図１１（ｂ）に示す画像は、入力画像２００を分類器に入力し、クラス分類結果として得られたラベル領域の情報２１０を表している。ここで示す例では、壁２０１ｄが撮影された領域の一部がシンクのクラス（シンククラス）のラベル領域２１６として誤分割されている。一方、壁２０１ｄにおけるその他の部分と壁２０１ａ，２０１ｂ，２０１ｃは正しく壁クラスのラベル領域２１１として分割されている。また、窓２０２ａ，２０２ｂが撮影された領域は正しく窓クラスのラベル領域２１２ａ，２１２ｂとして分割され、人２０３が撮影された領域は正しく人クラスのラベル領域２１３として分割され、床２０４が撮影された領域は正しく床クラスのラベル領域２１４として分割されている。

図１１（ｃ）に示す画像は、入力画像２００を推定器に入力し、推定結果として得られた変化境界の情報２２０を表している。ここで示す例では、実線２２１ａ，２２１ｂ，２２１ｃ，２２１ｄが変化境界である。

図１２は図１１にて例示したラベル領域の情報２１０と変化境界の情報２２０とを用いて信頼度を算出する様子を説明する模式図である。図１２（ａ）のラベル領域の情報２１０、図１２（ｂ）の変化境界の情報２２０それぞれにて、黒丸は、正しく壁クラスのラベル領域２１１として分割された画素の１つであり、一方、白丸は、誤ってシンククラスのラベル領域２１６として分割された画素の１つである。また、黒丸、白丸から上下左右に伸びる実線は４つのチェック方向に対応しており、各方向の当該実線の長さは、図１２（ａ）では図８のステップＳ３５２で求めるエッジまでの距離に当たり、図１２（ｂ）では図８のステップＳ３５３で求める変化境界までの距離に当たる。

上述したように信頼度算出手段５４はこれら２種類の距離に基づいて信頼度を算出する。黒丸の画素では上下と左との３方向で２種類の距離の差が小さいため、閾値よりも大きな信頼度が算出される。この画素については、図９のステップＳ３６０にて、当該画素の参照先が「その画素自身」に設定される。一方、白丸の画素では４方向全てで距離差が大きいために閾値以下の信頼度が算出される。そのため、この画素の参照先は「なし」に設定され、ラベル領域修正処理Ｓ３６にて、基本的にクラスの修正対象となる。

具体的には、図１２（ａ）にて星印は正しく壁クラスのラベル領域２１１として分割された画素を表しており、この星印の画素が図９のステップＳ３６７での処理により白丸の画素の参照先となり、白丸の画素はシンククラスから壁クラスに修正される。

図１２（ｃ）に示す画像は修正後のラベル領域の情報３２０を表している。この修正済みラベル領域の情報３２０では、壁２０１ａ，２０１ｂ，２０１ｃ，２０１ｄは正しく壁クラスのラベル領域３２１として分割されている。つまり、図１１（ｂ）に示した修正前のラベル領域の情報２１０で生じていたシンククラスのラベル領域２１６が壁クラスのラベル領域に修正されている。一方、正しく分割されていた、窓クラスのラベル領域２１２ａ，２１２ｂ、人クラスのラベル領域２１３、床クラスのラベル領域２１４は、それぞれ修正後も窓クラスのラベル領域３２２ａ，３２２ｂ、人クラスのラベル領域３２３、床クラスのラベル領域３２４として維持されている。

［変形例］
（１）上記実施形態では、分類器の学習モデルと推定器の学習モデルとは、特徴量抽出部４００を共有する例を示したが、両学習モデルは共通部分を持たない別個のモデルとしても良い。その場合、分類器と推定器は、共通の学習用データによって学習させてもよいし、別々の学習用データによって学習させてもよい。

（２）信頼度算出処理Ｓ３５にて、クラス変化境界とラベル領域のエッジとの一致度合いに基づいて、ラベル領域におけるクラス分類結果の信頼度を推定するが、クラス変化境界とラベル領域のエッジとの比較は上述の実施形態で述べた手法に限られず、他の様々な手法で行うことが可能である。

例えば、上述の実施形態では上下左右の４つのチェック方向で当該比較を行ったが、当該比較は当該４方向に限られず、任意の方向で行うことができる。

また、クラス変化境界に基づいて入力画像を閉領域単位に分割し、当該変化境界に基づく閉領域と、元々閉領域であるラベル領域との類似性を比較しても良い。例えば、信頼度算出手段５４は、クラス変化境界が形成する閉領域を検出し、ラベル領域ごとに各閉領域との重複度を整合度合いとして算出することができる。ラベル領域内の画素の信頼度は当該ラベル領域の重複度に応じた値とすればよい。その重複度は、（２つの閉領域の重複部分の面積）／（２つの閉領域の和領域の面積）と定義することができる。なお、各ラベル領域にはクラス変化境界に基づく閉領域が複数個重複する場合があるが、その場合は最も高い重複度に応じて信頼度を算出すればよい。なお、この場合、エッジ抽出手段５３は不要となり、信頼度算出手段５４にはエッジ情報に代えて領域分割手段５１からラベル領域の情報が入力される。

（３）ラベル領域修正処理Ｓ３６は上記実施形態で述べた処理に限られず、例えば、分類修正手段５５は、クラス変化境界をもとに入力画像を閉領域に分割し、閉領域単位で最も信頼度の高いクラスを閉領域内全体で採用するというように、閉領域単位で処理しても良い。

１ 画像処理システム、２ 撮影部、３ 通信部、４ 記憶部、５ 画像処理部、６ 表示部、３０ 画像入力手段、３１ 領域情報出力手段、４０ 学習用データ記憶手段、４１ 学習モデル記憶手段、５０ 学習手段、５１ 領域分割手段、５２ 変化境界推定手段、５３ エッジ抽出手段、５４ 信頼度算出手段、５５ 分類修正手段、５６ ラベル領域修正手段、４００ 特徴量抽出部、４０１ クラス分類部、４０２ 変化位置推定部。

Claims (11)

1. 空間を計測して得られる複数の対象データのそれぞれを、計測された前記空間内の物体の種類に対応する複数のクラスのいずれかに分類する分類処理に関する信頼度を求める分類信頼度算出装置であって、
   前記分類処理とは独立して前記空間における前記クラスの変化を推定し、その変化位置からなる変化境界を求める変化境界推定手段と、
   前記分類処理によるクラス分類結果について、前記変化境界が前記クラスごとの前記対象データの分布の境界として整合する整合度合いに基づいて前記信頼度を算出する信頼度算出手段と、
   を有することを特徴とする分類信頼度算出装置。
2. 請求項１に記載の分類信頼度算出装置において、
   前記対象データについて前記変化位置を推定する推定器として、学習用対象データ及び当該学習用対象データに対し予め与えられた正解のクラスにおける前記変化位置を用いた学習が行われた学習済みモデルを記憶している推定器記憶手段を有し、
   前記変化境界推定手段は、前記推定器を用いて前記対象データの前記変化境界を求めること、
   を特徴とする分類信頼度算出装置。
3. 請求項１又は請求項２に記載の分類信頼度算出装置において、
   前記クラス分類結果に基づいて、前記空間を前記クラスで識別されるラベル領域に分割し、当該ラベル領域のエッジを求めるエッジ抽出手段、をさらに備え、
   前記信頼度算出手段は、前記ラベル領域内の前記対象データの位置から１又は複数の所定の方向について前記エッジ及び前記変化境界のそれぞれまでの距離であるエッジ距離及び変化境界距離を求め、当該エッジ距離と当該変化境界距離との比較結果に基づく前記変化境界と前記エッジとの一致度合いを前記整合度合いとして求めて当該対象データについて前記信頼度を算出すること、を特徴とする分類信頼度算出装置。
4. 請求項１から請求項３のいずれか１つに記載の分類信頼度算出装置を備え、前記空間を前記クラスで識別されるラベル領域に分割する領域分割装置であって、
   前記変化境界に基づく区画内にて得られた前記クラス分類結果のうち前記信頼度が所定の閾値以上であるものに基づいて、当該区画に存在する前記クラス分類結果を修正する分類修正手段と、
   前記分類修正手段により修正された前記クラス分類結果が示す前記クラスで識別されるラベル領域を求めるラベル領域修正手段と、
   を有することを特徴とする領域分割装置。
5. 請求項４に記載の領域分割装置において、
   前記分類修正手段は、前記区画内の前記クラス分類結果をそれらのうち前記信頼度が最大のものに合わせる修正を行うこと、を特徴とする領域分割装置。
6. 空間を計測して得られる複数の対象データのそれぞれを、計測された前記空間内の物体の種類に対応する複数のクラスのいずれかに分類する分類処理を行い前記空間を前記クラスで識別されるラベル領域に分割する領域分割装置であって、
   前記分類処理を行う分類器として、学習用対象データと当該学習用対象データに対し予め与えられた正解のクラスとを用いた学習が行われた学習済みモデルを記憶している分類器記憶手段と、
   前記対象データを前記分類器に入力し、その出力のクラス分類結果に基づいて前記ラベル領域を求める領域分割手段と、
   前記対象データについて前記空間での前記クラスの変化位置を推定する推定器として、
   前記学習用対象データ及び当該学習用対象データの前記正解のクラスにおける前記変化位置を用いた学習が行われた学習済みモデルを記憶している推定器記憶手段と、
   前記対象データを前記推定器に入力し、前記変化位置からなる変化境界を求める変化境界推定手段と、
   前記ラベル領域における前記クラス分類結果について、前記変化境界が前記クラスごとの前記対象データの分布の境界として整合する整合度合いに基づいて、前記分類処理の信頼度を算出する信頼度算出手段と、
   を有することを特徴とする領域分割装置。
7. 空間を計測して得られる複数の対象データのそれぞれを、計測された前記空間内の物体の種類に対応する複数のクラスのいずれかに分類する分類処理を行う分類器と前記対象データについて前記空間での前記クラスの変化位置を推定する推定器とを学習させる学習装置であって、
   前記分類器として、前記対象データを入力され当該対象データについてのクラス分類結果を出力する学習モデルを記憶する分類器記憶手段と、
   前記推定器として、前記対象データを入力され当該対象データについての前記変化位置を出力する学習モデルを記憶する推定器記憶手段と、
   学習用対象データ及び当該学習用対象データに対し予め与えられた正解のクラスを記憶している学習用データ記憶手段と、
   前記分類器及び前記推定器それぞれの前記学習モデルに前記学習用対象データを入力し、前記分類器の前記学習モデルをその出力と前記クラス分類結果の前記正解との間の誤差に基づいて更新する学習と、前記推定器の前記学習モデルをその出力と前記正解のクラスにおける前記変化位置との間の誤差に基づいて更新する学習とを行う学習手段と、
   を有することを特徴とする学習装置。
8. 空間を計測して得られる複数の対象データのそれぞれを、計測された前記空間内の物体の種類に対応する複数のクラスのいずれかに分類する分類処理に関する信頼度を求める分類信頼度算出方法であって、
   前記分類処理とは独立して前記空間における前記クラスの変化を推定し、その変化位置からなる変化境界を求める変化境界推定ステップと、
   前記分類処理によるクラス分類結果について、前記変化境界が前記クラスごとの前記対象データの分布の境界として整合する整合度合いに基づいて前記信頼度を算出する信頼度算出ステップと、
   を有することを特徴とする分類信頼度算出方法。
9. 空間を計測して得られる複数の対象データのそれぞれを、計測された前記空間内の物体の種類に対応する複数のクラスのいずれかに分類する分類処理を行う分類器と前記対象データについて前記空間での前記クラスの変化位置を推定する推定器とを学習させる学習方法であって、
   前記分類器として、前記対象データを入力され当該対象データについてのクラス分類結果を出力する学習モデルを用意するステップと、
   前記推定器として、前記対象データを入力され当該対象データについての前記変化位置を出力する学習モデルを用意するステップと、
   学習用対象データ及び当該学習用対象データに対し予め与えられた正解のクラスを用意するステップと、
   前記分類器及び前記推定器それぞれの前記学習モデルに前記学習用対象データを入力し、前記分類器の前記学習モデルをその出力と前記クラス分類結果の前記正解との間の誤差に基づいて更新する学習と、前記推定器の前記学習モデルをその出力と前記正解のクラスにおける前記変化位置との間の誤差に基づいて更新する学習とを行う学習ステップと、
   を有することを特徴とする学習方法。
10. 空間を計測して得られる複数の対象データのそれぞれを、計測された前記空間内の物体の種類に対応する複数のクラスのいずれかに分類する分類処理に関する信頼度を求める処理をコンピュータに行わせるプログラムであって、
    当該コンピュータを、
    前記分類処理とは独立して前記空間における前記クラスの変化を推定し、その変化位置からなる変化境界を求める変化境界推定手段、及び、
    前記分類処理によるクラス分類結果について、前記変化境界が前記クラスごとの前記対象データの分布の境界として整合する整合度合いに基づいて前記信頼度を算出する信頼度算出手段、
    として機能させることを特徴とする分類信頼度算出プログラム。
11. 空間を計測して得られる複数の対象データのそれぞれを、計測された前記空間内の物体の種類に対応する複数のクラスのいずれかに分類する分類処理を行う分類器と前記対象データについて前記空間での前記クラスの変化位置を推定する推定器とを学習させる処理をコンピュータに行わせるプログラムであって、
    当該コンピュータを、
    前記分類器として、前記対象データを入力され当該対象データについてのクラス分類結果を出力する学習モデルを記憶する分類器記憶手段、
    前記推定器として、前記対象データを入力され当該対象データについての前記変化位置を出力する学習モデルを記憶する推定器記憶手段、
    学習用対象データ及び当該学習用対象データに対し予め与えられた正解のクラスを記憶している学習用データ記憶手段、及び、
    前記分類器及び前記推定器それぞれの前記学習モデルに前記学習用対象データを入力し、前記分類器の前記学習モデルをその出力と前記クラス分類結果の前記正解との間の誤差に基づいて更新する学習と、前記推定器の前記学習モデルをその出力と前記正解のクラスにおける前記変化位置との間の誤差に基づいて更新する学習とを行う学習手段、
    として機能させることを特徴とする学習プログラム。

Images