JP6758152B2 - 監視用画像処理装置および監視装置 - Google Patents

Description

本発明は、監視用画像処理装置および監視装置に関し、特に、ラベリングを行う監視用画像処理装置および監視装置に関するものである。

従来より、カメラ画像を用いて対象物を検知および認識する技術が存在する。従来技術の多くは、対象物を認識するために、輝度背景差分方式を用いて観測領域内の変化領域を抽出する。たとえば特許文献１に開示された監視用画像処理装置によれば、現画像データと比較用画像データとを比較演算することで差分データが抽出される。差分データが所定の条件に合致した場合は、報知対象として認識される。

通常のカメラ画像から得られる情報は、２次元座標における色および輝度などについての情報、すなわち２次元データ、に限定される。一方、観測領域から３次元データを得る技術も広く存在する。たとえば特許文献２に開示された構造物変位計測装置は、３次元レーザスキャナにより得られた計測データに画像処理を施す。構造物の任意の範囲に対して、時期が異なる計測データの差分により、変位量が求められる。変位量の大きさに応じて、色分けまたは濃淡により構造物の変位が表示される。

３次元データを監視装置のために用いることも検討されている。たとえば特許文献３に開示された画像生成装置においては、対象物にて反射したレーザ光を受け、たとえば飛行時間法により、対象物までの距離が測定される。処理対象の距離画像と基準距離画像とが比較されることで、差分距離画像が生成される。そして、対象物のラベリングなど、必要な画像処理が行われる。なおラベリングとは、注目されている画素の各々を、それが属する対象物に応じて区別する処理のことである。

特開平９−２１４９３９号公報 特開２００４−３２５２０９号公報 特開２００５−２１６１６０号公報

上述した特許文献１に記載された技術では、通常のカメラ画像が用いられることから、対象物と背景との間の輝度差が小さい場合、対象物の存在を認識することが難しい。また、対象物の存在を認識することができたとしても、対象物までの距離情報は得られない。よって、２つの対象物が２次元的な画像内で部分的な重なりを有していると、これらが距離方向において互いに離れていたとしても、これらが１つの対象物として認識されてしまうことがある。以上から、対象物を高い精度で認識することが難しい。

上述した特許文献３に記載された技術では、３次元データに基づいて対象物のラベリングが行われる。しかしながら、３次元データに直接基づくラベリングは、２次元データに基づくラベリングに比して、必要な演算量が格段に多くなってしまう。その結果、処理時間が長くなったり、高性能な演算装置が必要となったりしてしまう。

本発明は以上のような課題を解決するためになされたものであり、その目的は、高い精度で対象物を認識することができ、かつ、必要な演算量を抑えることができる、監視用画像処理装置および監視装置を提供することである。

本発明の監視用画像処理装置は、現データ蓄積部と、比較データ蓄積部と、差分演算部と、変化領域抽出部と、段差隣接画素抽出部と、ラベリング対象画素抽出部と、ラベリング部とを有している。現データ蓄積部は、観測視野を構成する構成画素の各々に観測領域までの距離情報を有する現データを蓄積する。比較データ蓄積部は、現データ蓄積部に蓄積された現データに対しての比較基準となる比較データを蓄積する。差分演算部は、現データ蓄積部に蓄積された現データと、比較データ蓄積部に蓄積された比較データとの間での、構成画素の各々における距離の差である距離差を、差分データとして算出する。変化領域抽出部は、差分演算部によって算出された距離差の大きさに基づいて、構成画素から変化領域画素を抽出する。段差隣接画素抽出部は、変化領域画素のうち互いに隣接するものの間での距離差の差である段差量の大きさに基づいて、変化領域画素から段差隣接画素を抽出する。ラベリング対象画素抽出部は、変化領域画素から段差隣接画素を除外することによってラベリング対象画素を抽出する。ラベリング部は、観測視野におけるラベリング対象画素の分布に基づいて、ラベリング対象画素の各々に、観測領域中における異なる対象物を区別するためのラベルを付与する。

本発明の監視装置は、距離センサと、現データ蓄積部と、比較データ蓄積部と、差分演算部と、変化領域抽出部と、段差隣接画素抽出部と、ラベリング対象画素抽出部と、ラベリング部とを有している。距離センサは、観測視野内において観測領域までの距離を観測する。現データ蓄積部は、距離センサによって観測された距離に基づいて、観測視野を構成する構成画素の各々に観測領域までの距離情報を有する現データを蓄積する。比較データ蓄積部は、現データ蓄積部に蓄積された現データに対しての比較基準となる比較データを蓄積する。差分演算部は、現データ蓄積部に蓄積された現データと、比較データ蓄積部に蓄積された比較データとの間での、構成画素の各々における距離の差である距離差を、差分データとして算出する。変化領域抽出部は、差分演算部によって算出された距離差の大きさに基づいて、構成画素から変化領域画素を抽出する。段差隣接画素抽出部は、変化領域画素のうち互いに隣接するものの間での距離差の差である段差量の大きさに基づいて、変化領域画素から段差隣接画素を抽出する。ラベリング対象画素抽出部は、変化領域画素から段差隣接画素を除外することによってラベリング対象画素を抽出する。ラベリング部は、観測視野におけるラベリング対象画素の分布に基づいて、ラベリング対象画素の各々に、観測領域中における異なる対象物を区別するためのラベルを付与する。

本発明によれば、第１に、対象物までの距離がラベリングに反映される。これにより、高い精度で対象物を認識することができる。第２に、ラベリングのための演算が、観測視野における画素分布、すなわち２次元的な画素分布、に基づいて行われる。これにより、３次元座標系における画素分布に直接基づいて演算が行われる場合に比して、必要な演算量を抑えることができる。以上から、高い精度で対象物を認識することができ、かつ、必要な演算量を抑えることができる。

本発明の実施の形態１における監視装置の構成を概略的に示す図である。 図１の監視装置が有する監視用画像処理装置の構成を概略的に示すブロック図である。 図１の監視装置が有する３次元レーザスキャナの構成の例を示す模式図である。 図３の３次元レーザスキャナが有する分散機構の構成の例を示す斜視図である。 ３次元レーザスキャナおよびその観測領域の例を示す斜視図である。 ３次元レーザスキャナの観測領域を仮想的な３次元空間で表した立体モデルの構成を示す斜視図である。 図５の観測領域を図６の立体モデルに対応させた立体モデルを示す斜視図である。 図７のＹ方向における分解斜視図である。 図５の観測領域が３次元レーザスキャナの観測視野内でどのように見えるかを示す仮想図である。 図２の現データ演算部によって生成される現データを構成画素の配列に対応して示す下段と、下段に対応する状態を仮想的に示す上段とを含む図である。 図２の比較データ演算部によって生成される比較データを構成画素の配列に対応して示す下段と、下段に対応する状態を仮想的に示す上段とを含む図である。 図２の差分演算部によって算出される差分データを構成画素の配列に対応して示す下段と、下段に対応する状態を仮想的に示す上段とを含む図である。 図２の変化領域抽出部によって変化領域画素が抽出される様子を示す下段と、下段に対応する状態を仮想的に示す上段とを含む図である。 図２の予備的ラベリング部によって行われるラベリングの様子を示す下段と、下段に対応する状態を仮想的に示す上段とを含む図である。 図２の段差隣接画素抽出部によって段差隣接画素が抽出される様子を示す下段と、下段に対応する状態を仮想的に示す上段とを含む図である。 図２のラベリング対象画素抽出部によって段差隣接画素が削除される様子を示す下段と、下段に対応する状態を仮想的に示す上段とを含む図である。 図２の高精度ラベリング部によって行われるラベリングの様子を示す下段と、下段に対応する状態を仮想的に示す上段とを含む図である。 図２の高精度ラベリング部によってラベリングが補充される様子を示す下段と、下段に対応する状態を仮想的に示す上段とを含む図である。 図２の高精度ラベリング部およびフェレ径算出部によってフェレ径が算出される様子を示す下段と、下段に対応する状態を仮想的に示す上段とを含む図である。 図１の監視装置の動作を示すフロー図である。 図２０のステップＳＴ１０の例を示すフロー図である。 ２次元ラベリングの技術の例の第１ステップを示す図である。 ２次元ラベリングの技術の例の第２ステップを示す図である。 ２次元ラベリングの技術の例の第３ステップを示す図である。 ２次元ラベリングの技術の例の第４ステップを示す図である。 ２次元ラベリングの技術の例の第５ステップを示す図である。 ２次元ラベリングの技術の例の第６ステップを示す図である。 ２次元ラベリングの技術の例の第７ステップを示す図である。 ２次元ラベリングの技術の例の第８ステップを示す図である。 ２次元ラベリングの技術の例の第９ステップを示す図である。 ２次元ラベリングの技術の例の第１０ステップを示す図である。 ２次元ラベリングの技術の例の第１１ステップを示す図である。 ２次元ラベリングの技術の例の第１２ステップを示す図である。 図２の予備的ラベリング部およびフェレ径算出部によってフェレ径が算出される様子を示す下段と、下段に対応する状態を仮想的に示す上段とを含む図である。 図１３の変形例を示す図である。 図１５の変形例を示す図である。 図１６の変形例を示す図である。 図１７の変形例を示す図である。 図１８の変形例を示す図である。 ３次元ラベリングにおける変化領域画素およびその隣接画素を単純な立体モデルで表した斜視図である。 図４０のＹ方向における分解斜視図である。 比較例としての３次元ラベリングの対象である画素変化領域の立体モデルを示す斜視図としての下段と、下段に対応する状態を仮想的に示す上段とを含む図である。 図４２の下段の、Ｙ方向における分解斜視図である。 変化領域画素の差分データの値が乱された場合における、図１３に対応する図である。 変化領域画素の差分データの値が乱された場合における、図１５に対応する図である。 変化領域画素の差分データの値が乱された場合における、図１６に対応する図である。 変化領域画素の差分データの値が乱された場合における、図１７に対応する図である。 変化領域画素の差分データの値が乱された場合における、図１８に対応する図である。 変化領域画素の差分データの値が乱された場合における、図１９に対応する図である。 実施の形態２における監視用画像処理装置の構成を概略的に示すブロック図である。 図５０のラベル限界設定部によってラベル限界画素が設定される様子を示す下段と、下段に対応する状態を仮想的に示す上段とを含む図である。 図５０のラベリング対象画素抽出部によって段差隣接画素が削除される様子を示す下段と、下段に対応する状態を仮想的に示す上段とを含む図である。 図５０の高精度ラベリング部によって行われるラベリングの様子を示す下段と、下段に対応する状態を仮想的に示す上段とを含む図である。 図５０の高精度ラベリング部によってラベリングが補充される様子を示す下段と、下段に対応する状態を仮想的に示す上段とを含む図である。 図５０の高精度ラベリング部およびフェレ径算出部によってフェレ径が算出される様子を示す下段と、下段に対応する状態を仮想的に示す上段とを含む図である。 監視用画像処理装置のハードウェア構成の例を示すブロック図である。

以下、図面に基づいて本発明の実施の形態について説明する。なお、以下の図面において同一または相当する部分には同一の参照番号を付しその説明は繰返さない。

＜実施の形態１＞
（監視装置の構成）
図１を参照して、本実施の形態における監視装置１００は、３次元レーザスキャナ１０（距離センサ）と、監視用画像処理装置１０１とを有している。図中、監視装置１００以外に、３次元レーザスキャナ１０のスキャン範囲、すなわち観測領域、に対応する背景２００と、背景２００の前に立つ対象物２０１とが示されている。対象物２０１は、監視装置１００による監視の対象の例である。

３次元レーザスキャナ１０は、観測領域を撮像することによって、観測視野内において観測領域までの距離を観測する。具体的には、３次元レーザスキャナ１０は、観測視野を構成する構成画素の各々について、観測領域までの距離を測定する。１回の撮像において、観測視野に対応する1組の撮像データが取得される。撮像は所定の時間間隔で繰り返され得る。各撮像において、特定の時点での観測視野に渡る撮像結果、すなわちフレーム、が得られる。この撮像結果、すなわち測定結果、は３次元レーザスキャナ１０から、たとえば点群データの形式で出力され得る。この点群データに加えて、信号強度などの他の情報が出力されてもよい。また測定結果は点群データ以外の形式で出力されてもよい。３次元レーザスキャナ１０の詳細については後述する。

（監視装置が有する監視用画像処理装置の構成）
図２を参照して、監視用画像処理装置１０１は、現データ蓄積部２１を有する現データ演算部２０と、比較データ蓄積部３１を有する比較データ演算部３０と、差分演算部４１と、変化領域抽出部４２と、段差隣接画素抽出部４３と、ラベリング対象画素抽出部４４と、予備的ラベリング部５０と、高精度ラベリング部５１（ラベリング部）と、フェレ径算出部６０と、認識処理部７０と、報知処理部８０とを有している。

現データ演算部２０は、３次元レーザスキャナ１０から、測定結果、典型的には点群データ、を取得する。この測定結果に基づいて、現データ演算部２０は、観測視野を構成する構成画素の各々について、観測領域までの距離（距離情報）を有する現データを生成する。すなわち、現データは、３次元レーザスキャナ１０によって観測された距離に基づいて、観測視野を構成する構成画素の各々について観測領域までの距離を有する。現データは現データ蓄積部２１に蓄積される。現データ演算部２０は、入力された距離データそのものを現データ蓄積部２１に蓄積してもよい。すなわち、３次元レーザスキャナ１０からのデータが、実質的な演算をともなわずに、現データ蓄積部２１に蓄積されてもよい。

比較データ演算部３０は、３次元レーザスキャナ１０から、測定結果、典型的には点群データ、を取得する。この測定結果に基づいて、比較データ演算部３０は、現データ蓄積部２１に蓄積された現データに対しての比較基準となる比較データを生成する。比較データ蓄積部３１は比較データを蓄積する。比較データは、現データの内容が検討される際に、現データの値のうち無視されるべき成分を表すデータである。具体例としては、変化領域画素が抽出されなかった現時点より過去のフレームを用いるとよい。比較データは、現時点から遡っての十分な数のフレーム、たとえば５０個程度のフレーム、の距離データを平均することによって生成されてもよい。あるいは、単純に現時点の直前のフレームの距離データが用いられてもよい。

差分演算部４１は、現データ蓄積部２１に蓄積された現データと、比較データ蓄積部３１に蓄積された比較データとの間での、構成画素の各々における距離の差である距離差を、差分データとして算出する。

変化領域抽出部４２は、差分演算部４１によって算出された距離差の大きさに基づいて、構成画素から変化領域画素を抽出する。具体的には、変化領域抽出部４２は、構成画素のうち、あらかじめ定められた距離差しきい値以上の距離差を有するものを、変化領域画素として抽出する。たとえば、構成画素の各々と、それが変化領域画素なのか否かを表す２値情報とを対応付ける２値化データが作成される。

予備的ラベリング部５０は、観測視野における変化領域画素の分布に基づいて、変化領域画素の各々に、観測領域中における異なる対象物を区別するためのラベルを付与する。具体的には、あらかじめ定められた態様で隣接している画素に対して同一のラベルが付与される。観測視野における変化領域画素の分布は２次元的である。この意味で、予備的ラベリング部５０によるラベリングは２次元ラベリングである。予備的ラベリング部５０は、必須のものではなく、省略され得るものである。

段差隣接画素抽出部４３は、変化領域画素のうち互いに隣接するものの間での距離差の差である段差量の大きさに基づいて、変化領域画素から段差隣接画素を抽出する。具体的には、段差隣接画素抽出部４３は、変化領域画素のうち互いに隣接するものの間での距離差の差である段差量と、あらかじめ定められた段差しきい値とを比較することによって、変化領域画素から段差隣接画素を抽出する。たとえば、段差隣接画素抽出部４３は、変化領域画素のうち段差しきい値以上の段差量を有するものを、段差隣接画素として抽出する。

ラベリング対象画素抽出部４４は、変化領域抽出部４２によって抽出された変化領域画素から、段差隣接画素抽出部４３によって抽出された段差隣接画素を除外することによって、ラベリング対象画素を抽出する。

高精度ラベリング部５１は、観測視野におけるラベリング対象画素の分布に基づいて、ラベリング対象画素の各々に、観測領域中における異なる対象物を区別するためのラベルを付与する。具体的には、あらかじめ定められた態様で隣接している画素に対して同一のラベルが付与され、そのような関係にない画素には、異なるラベルが付与される。観測視野におけるラベリング対象画素の分布自体は２次元的である。この意味で、高精度ラベリング部５１によるラベリングは、一種の２次元ラベリングであり、典型的な３次元ラベリングに比して、より少ない演算量で実効可能なものである。

フェレ径算出部６０は、高精度ラベリング部５１によって付与されたラベルに基づいてフェレ径を算出する。ここで、「フェレ径」とは、ある１つのラベルが付された変化領域画素の全体に外接する矩形の大きさを表す値である。具体的には、「フェレ径」は、Ｘ方向およびＹ方向（水平方向および垂直方向）のそれぞれにおけるこの矩形の辺の長さ、あるいは矩形の辺の長さと矩形位置座標とを表す値の組である。

認識処理部７０は、得られた情報に基づいて、報知されるべき対象物、すなわち報知対象、が監視範囲内に存在するか否かを判断する。ここで用いられる情報は、フェレ径算出部６０によって算出されたフェレ径の情報と、高精度ラベリング部５１で付与されたラベルの情報との少なくともいずれかを含み、好ましくは前者を含み、より好ましくは両方を含む。なお、フェレ径の情報が用いられない場合は、フェレ径算出部６０は省略され得る。また、一時的に、高精度ラベリング部５１で付与されたラベルの情報に代わって、予備的ラベリング部５０で付与されたラベルの情報が用いられてもよい。

報知処理部８０は、報知対象が存在すると認識処理部７０が判断した場合に、あらかじめ定められた報知処理を行う。典型的には、報知対象についての情報を表す信号を生成し、この信号を上位システムなどの外部機器（図示せず）に送信する。この処理に代わり、またはこの処理とともに、報知処理部８０は、ブザーを鳴らすことなどによってユーザに対して警報を発してもよい。

（距離センサとしての３次元レーザスキャナの構成の例）
図３を参照して、３次元レーザスキャナ１０の一例について説明する。３次元レーザスキャナ１０は、レーザ発光ユニット１１と、分散機構１３と、レーザ受光ユニット１６とを内蔵している。３次元レーザスキャナ１０は、背景２００で示した観測領域をスキャンすることで、距離データおよび強度データを取得する。レーザ発光ユニット１１はレーザ光パルス１２を生成する。分散機構１３は、レーザ光パルス１２を広角範囲に分散させることによって、分散レーザ光パルス１４を生成する。なお、図示されている例では、回転ミラーを用いた分散機構１３が示されている。分散レーザ光パルス１４が、背景２００あるいは対象物（図３においては図示せず）によって反射されることによって、レーザ反射光１５が発生する。図中、分散レーザ光パルス１４によるスポット（図中、背景２００上の破線部）が背景２００上をスキャンする様子が、矢印によって示されている。この例では、背景２００が、Ｘ方向において６分割され、Ｙ方向において２分割されており、よって合計１２ポイントで分散レーザ光パルス１４によるスポットが照射されている。レーザ受光ユニット１６は、レーザ反射光１５を検出する。そして、この受光と、それに先立つ発光との間の時間差に基づいて、３次元レーザスキャナ１０の位置からレーザ反射光１５が発生した位置までの距離が算出される。図中の例では、１２ポイントに分散された照射位置の各々について距離が算出される。さらに、分散された照射位置の各々について、照射された光量に対しての反射された光量の比率である反射率が、強度として算出される。このように算出された距離データおよび強度データは、図１で示した現データ演算部２０および比較データ演算部３０へ出力される。

図４を参照して、回転ミラーを用いた分散機構１３の詳細について説明する。分散機構１３は、第１の回転ミラー１３ａ、第１のモータ１３ｂ、第２の回転ミラー１３ｃおよび第２のモータ１３ｄで構成されている。第１の回転ミラー１３ａは、入射されたレーザ光パルス１２のパルス周波数と同期して動作し、レーザ光パルス１２を第１の回転ミラー１３ａの面に対して水平方向に分散する。水平方向に分散された水平分散レーザ光パルス１３ｅは、常に同一の角度で分散される。第１のモータ１３ｂは、第１の回転ミラー１３ａを駆動させる駆動源である。第２の回転ミラー１３ｃは、入射されたレーザ光パルス１２のパルス周波数と同期して動作し、水平分散レーザ光パルス１３ｅをさらに垂直方向に分散する。垂直方向に分散された垂直分散レーザ光パルス１３ｆは、常に同一の角度で分散される。第２のモータ１３ｄは、第２の回転ミラー１３ｃを駆動させる駆動源である。

以上の動作により、３次元レーザスキャナ１０は、以下に示すＸ，Ｙ，Ｚの３次元情報
Ｘ：水平方向座標（図３の例では、６ポイント）
Ｙ：垂直方向座標（図３の例では、２ポイント）
Ｚ：距離データ（Ｚ軸方向の奥行き情報（以下、「Ｚ軸情報」と称する））
を得る。３次元情報に上記Ｚ軸情報が含まれているため、対象物が３次元座標系におけるＺ軸方向に沿った移動（３次元レーザスキャナ１０に対しての接近または後退）を行った場合は、それがＺ軸情報の差分として反映される。

なお、図３および図４では、回転ミラーを用いた分散機構１３が示されているが、回転ミラー以外の分散機構が適用されてもよい。たとえば、モータレスでミラーをスキャンするスキャンレス光学系が用いられてもよい。

（監視装置が有する各構成の動作）
次に、監視装置１００（図１）の動作について、以下に説明する。

図５は、３次元レーザスキャナ１０およびその観測領域ＲＯの例を示す斜視図である。この観測領域ＲＯには、床面ＦＬと対象物ＯＡと対象物ＯＢとが含まれている。対象物ＯＡおよび対象物ＯＢは、床面ＦＬにおいて互いに離れて立つ人間である。

図６は、３次元レーザスキャナ１０の観測領域を仮想的な３次元空間で表した立体モデルである。立体モデルの各キューブ（以下、「グリッド」とも称する。）が、レーザ反射光１５（図３）の発生点となり得る位置を示している。ここでは例として、８×４×４個のキューブからなる空間が示されている。

図７は、観測領域ＲＯ（図５）を上記立体モデルで表したものである。図８は、図７の立体モデルの内部を見やすくするために、それをＹ方向（垂直方向）において分解したものである。

図９は、観測領域ＲＯ（図５）が３次元レーザスキャナ１０の観測視野内ではどのように見えるかを示す仮想図である。なお、床面ＦＬの周りの白抜きの部分は、３次元レーザスキャナ１０で距離データが得られない部分に対応している。対象物ＯＡおよび対象物ＯＢは、図５に示すように観測領域ＲＯ中で互いに離れているが、図９に示されている３次元レーザスキャナ１０の２次元的な観測視野内では、互いに重なっているように見える。

図１０の下段は、観測視野における構成画素の配列に対応して、現データの値を示すものである。現データは、現データ演算部２０（図２）によって生成され、現データ蓄積部２１（図２）に蓄積される。図１０の上段は、下段の現データに対応する状態を示す仮想図であり、図９と同様のものである。なお、上段の内容と下段の内容との対応がわかりやすくなるよう、それら各々に、対象物ＯＡと対象物ＯＢと床面ＦＬとを区別するためのハッチングが共通して付されている。また、他の類似の図においても、同様の方法でハッチングが付されている。

現データは、前述したように、３次元レーザスキャナ１０からの距離を表すデータ、すなわち距離データ、である。ここでは、０以上１５以下（単位：メートル（ｍ））の距離が扱われるものとし、図中では、その値が１６進数で示されている。よって、図中の「Ａ」〜「Ｆ」のそれぞれは、十進数における値１０〜１５に対応している。対象物ＯＡは、図中の現データが生成された時点では３次元レーザスキャナ１０から距離３ｍ程度に位置している。それに対応して、対象物ＯＡに対応して生成された現データは、３±１（ｍ）の値を有している。対象物ＯＢは、図中の現データが生成された時点では３次元レーザスキャナ１０から距離９ｍ程度に位置している。それに対応して、対象物ＯＢに対応して生成された現データは、９±１（ｍ）の値を有している。対象物ＯＡおよび対象物ＯＢが移動すれば、それに応じて現データの値は変動する。床面ＦＬは固定物であることから、それに対応して生成される現データは変動しない。床面ＦＬは、観測視野内における観測可能な部分において、３次元レーザスキャナ１０から距離２ｍ〜１５ｍの範囲で均等に緩やかに拡がっている。床面ＦＬに対応して生成された現データは、値２〜Ｆを有している。図中、上段において床面ＦＬの周りで白抜きとなっている部分は、距離データが得られなかった画素（以下、「ブランク画素」とも称する。）である。ブランク画素に対応する現データの値は、図中の下段には示されていないが、ブランク画素以外の画素に対応する現データの最大値である値Ｆが適用され得る。

なお、上述したブランク画素を含めると、図１０の下段には、２４×１９の構成画素が示されている。すなわち本例においては、３次元レーザスキャナ１０の解像度が２４×１９である。

図１１の下段は、観測視野における構成画素の配列に対応して比較データの値を示すものである。比較データは、比較データ演算部３０（図２）によって生成され比較データ蓄積部３１（図２）に蓄積される。図１１の上段は、下段の現データに対応する状態を示す仮想図である。図１１の上段においては、図１０の上段とは異なり、対象物ＯＡおよび対象物ＯＢが示されておらず、床面ＦＬのみが示されている。対象物ＯＡおよび対象物ＯＢが移動し得るものである一方、床面ＦＬは時間に依存せず安定的に存在するものである。比較データは、時間に依存せず安定的なデータの方がよい。このため、対象物ＯＡおよび対象物ＯＢに対応するデータを実質的に含むことなく床面ＦＬに対応するデータのみからなる比較データを作成することは、過去のフレームを参照することによって、容易に行い得る。

図１２の下段は、現データと比較データとの間の差分データ、すなわち距離差、を、観測視野における構成画素の配列に対応して示すものである。差分データは差分演算部４１（図２）によって算出される。差分データの値としては距離差の絶対値が用いられ得る。差分データの算出により、常時安定的に存在する床面ＦＬ（図１１）の影響を除外することができる。図１２の上段は、下段の差分データに対応する状態を示す仮想図である。図１２の上段においては、図１０の上段と異なり、床面ＦＬが示されておらず、対象物ＯＡおよび対象物ＯＢのみが示されている。

図１３の下段を参照して、変化領域抽出部４２（図２）は、差分データ（図１２の下段）のうち、あらかじめ定められた距離差しきい値以上の距離差を有するものを、図中斜線のハッチングによって示されているように、変化領域画素ＰＣとして抽出する。ここでは、距離差しきい値は２に設定されている。

図１４の下段を参照して、予備的ラベリング部５０（図２）は、変化領域画素ＰＣの分布に基づいて、変化領域画素ＰＣの各々に、観測領域中における異なる対象物を区別するためのラベルを付与する。具体的には、水平方向または垂直方向において隣接している画素に対して同一のラベルを付与し、そうでない画素には異なるラベルを付与する、典型的な２次元ラベリング（詳しくは後述する）が行われる。本例において、変化領域画素ＰＣの各々は、垂直方向または水平方向において、他の変化領域画素ＰＣと隣接している。このため、変化領域画素ＰＣのすべてに対して、同じラベル（ここではラベル番号「１」）が付与される。このことは、このラベリングが、２つの対象物ＯＡおよびＯＢを互いに区別することに失敗していることを意味している。なお、変化領域画素ＰＣ以外の画素には、ダミーとして、ラベル番号「０」が付与されている。なお、予備的ラベリング部５０の動作は省略されてもよい。

図１５の下段を参照して、段差隣接画素抽出部４３（図２）は、変化領域画素ＰＣ（図１３）から段差隣接画素ＰＳを抽出する。この抽出は、変化領域画素ＰＣのうち互いに隣接するものの間での距離差の差である段差量の大きさに基づいて行われる。段差隣接画素ＰＳは、変化領域画素ＰＣのうち、隣接する他の画素との間で大きな段差量を有するもののことである。なお、大きな段差量は、異なる対象物が互いに離れていることによって生じている可能性が高い。よって、大きな段差量が存在する位置は、異なる対象物間の境界である可能性が高いと考えられる。

ここで、段差隣接画素抽出部４３による処理において、「隣接する」ということがどの方向においてどちらの側に隣接することを意味するのかは、あらかじめ定めておくことができる。また「段差量」の大きさがそのまま考慮されるかまたは絶対値として考慮されるかについても、あらかじめ定めておくことができる。以下、これらの設定条件についての例１〜３を説明する。なおここでは、水平方向（Ｘ方向）について記載しているが、垂直方向（Ｙ方向）についても同様であってよい。

例１：
注目された変化領域画素からＸ座標±１（画素単位）以内の画素が隣接画素と定義される。そして、
「注目される変化領域画素の距離差」−「隣接画素の距離差」 ≧ 「段差しきい値」
が満たされた場合に、注目された変化領域画素が段差隣接画素と判断される。

例２：
注目された変化領域画素からＸ座標＋１（画素単位）以内の画素が隣接画素と定義される。そして、
｜「注目された変化領域画素の距離差」−「隣接画素の距離差」｜ ≧ 「段差しきい値」
が満たされた場合に、注目された変化領域画素が段差隣接画素と判断される。なお左辺の１組の縦線は、それにより挟まれた部分が絶対値として考慮されることを示している。図１５は、この例２が用いられ、かつ、段差しきい値が２とされた場合を示している。

例３：
注目された変化領域画素からＸ座標−１（画素単位）以内の画素が隣接画素と定義される。そして、
｜「注目された変化領域画素の距離差」−「隣接画素の距離差」｜ ≧ 「段差しきい値」
が満たされた場合に、注目された変化領域画素が段差隣接画素と判断される。なお左辺の１組の縦線は、それにより挟まれた部分が絶対値として考慮されることを示している。

図１６の下段を参照して、ラベリング対象画素抽出部４４（図２）は、変化領域画素ＰＣ（図１３）から段差隣接画素ＰＳ（図１５）を除外する。これによって、図中、斜線ハッチングで示されているように、ラベリング対象画素ＰＬが抽出される。

図１７の下段を参照して、高精度ラベリング部５１（図２）は、観測視野におけるラベリング対象画素ＰＬの分布に基づいて、ラベリング対象画素の各々に、観測領域中における異なる対象物を区別するためのラベルを付与する。具体的には、水平方向または垂直方向において隣接している画素に対して同一のラベルが付与され、そうでない画素には異なるラベルが付与される。よって、ラベリングの方法自体は、予備的ラベリング部５０による場合（図１４）と同様である。しかしながら、高精度ラベリング部５１によるラベリングの対象からは、上述したように、段差隣接画素ＰＳ（図１５）が除外されている。その結果、ラベリングの対象である画素が、垂直方向および水平方向において、２つの領域に分離されている。よって、２つのラベル番号「１」および「２」が付与される。具体的には、段差隣接画素ＰＳが存在していた領域の左側および右側のそれぞれに、ラベル番号「１」および「２」が付与される。このことは、このラベリングが、２つの対象物ＯＡおよびＯＢを互いに区別することに成功していることを意味している。

図１８の下段を参照して、高精度ラベリング部５１（図２）はさらに、段差隣接画素ＰＳに対してラベル番号を付与することにより、ラベリングを補充する。ラベル番号としては、隣接している画素のラベル番号を用いることができる。ここで、図示されているように、ある１つの段差隣接画素ＰＳは複数の画素と隣接し得ることから、当該段差隣接画素ＰＳに付与されるラベル番号が一義的に定まるように、あらかじめ定められた方向に隣接している画素のラベル番号が用いられるように設定されてもよい。本例では、段差隣接画素に対して、−Ｘ方向（図中、左方向）に隣接している画素のラベル番号「１」が、段差隣接画素ＰＳに付与される。他方法としては、段差隣接画素ＰＳの領域の左側および右側でラベル番号が別となるような方法であればよい。

図１９を参照して、フェレ径算出部（図２）は、各ラベルに対応するフェレ径を算出する。具体的には、ラベル番号「１」が付された画素に対してフェレ径（図中、破線部を参照）が算出され、また、ラベル番号「２」が付された画素に対してフェレ径（図中、一点鎖線部を参照）が算出される。変化領域画素に対して対象物ＯＡおよび対象物ＯＢのそれぞれに対応するラベル番号「１」および「２」が付与されていることから、観測視野中で対象物ＯＡおよび対象物ＯＢが２次元的には部分的に重なっているものの、それらに対して別個のフェレ径が付与される。

（監視装置の動作のフローのまとめ）
次に、監視装置１００（図１）の上述した動作について、フローチャート（図２０）を参照しつつ、以下に補足する。

まず、３次元レーザスキャナ１０（図１）は、背景２００に対応する観測領域をスキャンする（図２０：ステップＳＴ１）。具体的には、背景２００の範囲が、３次元レーザスキャナ１０の解像度である２４×１９に分割され、これらの部分がスキャンされる。これにより距離データおよび強度データが取得される（図２０：ステップＳＴ２）。現データ演算部２０（図２）は、これらデータを用いて現データ（図１０）を現データ蓄積部（２１）に蓄積する（図２０：ステップＳＴ３）。比較データ演算部３０は、３次元レーザスキャナ１０から得られる、構成画素ごとの距離データを、構成画素ごとの比較データ（図１１）へ変換し、比較データ蓄積部３１に蓄積する（ステップＳＴ４）。

差分演算部４１（図２）は、現データ蓄積部２１に蓄積された現データと、比較データ蓄積部３１に蓄積された比較データとを用いて、画素ごとの差分値からなる差分データ（図１２）を算出する（図２０：ステップＳＴ５）。ステップＳＴ５の処理では、現データと比較データとが距離データとして比較されることから、得られる差分値は距離の差である。たとえば、現データが背景２００および対象物２０１（図１）に対応し、比較データが背景２００のみに対応している場合、得られる差分値は、遠近補正後の背景と、対象物との間の距離を示している。

変化領域抽出部４２（図２）は、構成画素ごとに、上記差分値が距離差しきい値以上であるか否かを判定する（図２０：ステップＳＴ６）。差分値が閾値以上である場合（ステップＳＴ６が「ＹＥＳ」の場合）、当該構成画素は変化領域画素（図１３）として抽出され（図２０：ステップＳＴ７）、さらに作業がステップＳＴ９（図２０）へと進む。一方、差分値がしきい値未満である場合（ステップＳＴ６が「ＮＯ」の場合）、当該構成画素は変化領域でないと判断され（図２０：ステップＳＴ８）、さらに作業がステップＳＴ９（図２０）へと進む。そして変化領域抽出部４２は、構成画素すべてを処理したか否かを判定する（図２０：ステップＳＴ９）。すべてが処理されていない場合（ステップＳＴ９が「ＮＯ」の場合）、作業がステップＳＴ５へ戻り、上述した処理が繰り返される。一方、すべてが処理されていた場合（ステップＳＴ９が「ＹＥＳ」の場合）、作業はステップＳＴ３０（図２０）へと進む。

２次元ラベリングのアルゴリズムに従い、図１４に示すように、予備的ラベリング（図１４）が行われる（図２０：ステップＳＴ３０）。なお、この工程は省略され得る。

段差隣接画素抽出部４３（図２）は、変化領域画素ＰＣ（図１４）から段差隣接画素ＰＳ（図１５）を抽出する（図２０：ステップＳＴ３１）。変化領域画素ごとに、上記差分値が段差しきい値以上であるか否かが判定される。差分値がしきい値以上である場合、当該構成画素は段差隣接画素として抽出される。一方、差分値がしきい値未満である場合、当該構成画素は段差隣接画素でないと判断される。そして変化領域画素すべてを処理したか否かが判定される。すべてが処理されていない場合、ステップＳＴ３１処理のはじめへ戻り、上述した処理が繰り返される。一方、すべてが処理されていた場合、作業はステップＳＴ３２（図２０）へと進む。

次に、ラベリング対象画素抽出部４４（図２）は、変化領域画素から段差隣接画素を除外する。これによって、ラベリング対象画素ＰＬ（図１６）が抽出される。（図２０：ステップＳＴ３２）。

高精度ラベリング部５１（図２）は、観測視野におけるラベリング対象画素の分布に基づいて、ラベリング対象画素の各々に、観測領域中における異なる対象物を区別するためのラベルを付与する高精度ラベリング（図１７）を行う（図２０：ステップＳＴ３３）。高精度ラベリング部５１はさらに、段差隣接画素に対してラベル番号を付与することにより、ラベリングを補充する（図１８）。

フェレ径算出部（図２）は、上記ラベリングの結果を利用して、フェレ径を算出する（図２０：ステップＳＴ３４）。

認識処理部７０（図２）は、ステップＳＴ３４で算出されたフェレ径と、ステップＳＴ７で抽出された変化領域画素とに基づいて、各フェレ径の内部の変化領域画素が、あらかじめ定められた照合条件を満たすか否か判定する（図２０：ステップＳＴ１０）。照合条件が満たされる場合（ステップＳＴ１０が「ＹＥＳ」の場合）、当該フェレ径に属する画素変化領域が報知対象として認識される（図２０：ステップＳＴ１１）。一方、照合条件が満たされない場合（ステップＳＴ１０が「ＮＯ」の場合）、当該フェレ径に属する画素変化領域は報知対象でないと判断され（図２０：ステップＳＴ１２）、作業がステップＳＴ１の処理に戻る。報知処理部８０は、ステップＳＴ１１で認識された報知対象について報知処理を行い（ステップＳＴ１３）、作業はその後、ステップＳＴ１の処理に戻る。

さらに図２１を参照して、上述したステップＳＴ１０の具体的な例について説明する。認識処理部７０は、各フェレ径に属する変化領域画素が監視範囲内に存在するか否か判定する（ステップＳＴ２１）。なお監視範囲は、構成画素のうちの一部またはすべての画素として、あらかじめ設定され得る。変化領域画素が監視範囲内に存在する場合（ステップＳＴ２１が「ＹＥＳ」の場合）、各フェレ径に属する変化領域画素が所定の面積（言い換えれば所定の画素数）を有しているか否か判定される（ステップＳＴ２２）。変化領域画素が所定の面積を有している場合（ステップＳＴ２２が「ＹＥＳ」の場合）、さらに、各フェレ径に属する変化領域画素が所定の縦横寸法を有しているか否か判定される（ステップＳＴ２３）。変化領域画素が所定の縦横寸法を有している場合（ステップＳＴ２３が「ＹＥＳ」の場合）、さらに、各フェレ径に属する変化領域画素が所定の移動速度を有しているか否か判定される（ステップＳＴ２４）。変化領域画素が所定の移動速度を有している場合（ステップＳＴ２４が「ＹＥＳ」の場合）、作業がステップＳＴ１１に進み、当該フェレ径に属する変化領域画素が報知対象であると認識される。一方、ステップＳＴ２１〜ＳＴ２４の少なくともいずれかの判断が「ＮＯ」の場合、作業がステップＳＴ１２へと進み、当該フェレ径に属する変化領域画素は報知対象でないと判断される。なお図２１に示した処理は、照合条件の一例であり、照合条件は、各ステップのみでもよいし、各ステップをそれぞれ組合わせた処理であってもよい。

（２次元ラベリングの技術について）
上述したように本実施の形態は、２次元ラベリングの技術を利用している。２次元ラベリングの技術の典型例について、以下に説明する。なお、説明の都合上、以下における変化領域画素の分布は、前述したものと異なっている。

図２２を参照して、構成画素からなる視野（図中の枠の内部）において、変化領域画素ＰＣが分布している。この分布に基づいて２次元ラベリングを行う処理が開始される。具体的には、変化領域画素ＰＣを探索するために、左上に位置する探索部ＳＣが右方へと移動するラスタスキャンが開始される。

図２３を参照して、探索部ＳＣが最初の変化領域画素ＰＣに遭遇する。この変化領域画素ＰＣにラベル番号「１」が付与される。

図２４を参照して、引き続きラスタスキャンが継続される。図中、新たに発見された変化領域画素ＰＣは、既にラベル番号「１」が付与された画素に隣接している。そのような場合は、新たに発見された変化領域画素ＰＣにも、同じラベル番号「１」が付与される。なお、「隣接する」ということがどの方向においてどちらの側に隣接することを意味するのかは、あらかじめ定めておくことができる。ここでは、Ｘ座標（水平方向座標）およびＹ座標（垂直方向座標）の各々の相違が±１以内である周辺８画素が、「隣接する」画素であるものとする。

図２５を参照して、引き続きラスタスキャンが継続される。図中、新たに発見された変化領域画素ＰＣは、既にラベル番号「１」が付与された画素に隣接していない。そのような場合は、新たな異なるラベル番号が付与される。ここでは新たなラベル番号「２」が付与される。

図２６を参照して、引き続きラスタスキャンが継続される。図中、新たに発見された変化領域画素ＰＣは、既にラベル番号「１」または「２」が付与された画素に隣接していない。よって、新たな異なるラベル番号「３」が付与される。

図２７を参照して、１ライン目のラスタスキャンが完了している。次に、２ライン目のラスタスキャンが開始されることになる。

図２８を参照して、２ライン目のラスタスキャンにおいては、既にラベル番号「１」が付与された画素に隣接する変化領域画素ＰＣに、同じラベル番号「１」が付与されている。また既にラベル番号「２」が付与された画素に隣接する変化領域画素ＰＣに、同じラベル番号「２」が付与されている。また既にラベル番号「３」が付与された画素に隣接する変化領域画素ＰＣに、同じラベル番号「３」が付与されている。次に、３ライン目のラスタスキャンが開始されることになる。

図２９を参照して、探索部ＳＣが、既にラベル番号「１」が付与された画素と、既にラベル番号「２」が付与された画素との両方に隣接する変化領域画素ＰＣに遭遇する。この遭遇は、ラベル番号「１」に対応する対象物と、ラベル番号「２」に対応する対象物とが共通である可能性が高いことを意味する。そこで、図３０に示されるように、ラベル番号「２」がラベル番号「１」に変更される。

図３１および図３２を参照して、６ライン目のラスタスキャンにおいて発見された変化領域画素ＰＣは、既にラベル番号「３」が付与された画素とは隣接していない。よってラベル番号「３」はそのまま維持されている。

図３３を参照して、探索部ＳＣが構成画素全体の探索を完了している。最終的に、ラベル番号「１」およびラベル番号「３」が付与されている。ラベル番号「２」は欠番とされている。

（予備的ラベリング部によるラベリング結果を用いたフェレ径の算出）
図３４を参照して、予備的ラベリング部５０（図２）のラベリング結果（図１４）を用いてフェレ径が算出される場合は、高精度ラベリング部５１（図２）のラベリング結果を用いてフェレ径が算出される場合（図１９）と異なり、１つのフェレ径しか算出されない。このことは、監視装置１００が、２つの対象物ＯＡおよびＯＢを、１つの対象物として取り扱っていることを意味している。このため、仮に監視装置が予備的ラベリング部５０を有しておりかつ高精度ラベリング部５１を有していないとすると、対象物ＯＡおよび対象物ＯＢを区別することができない。すなわち、高い精度で対象物を認識することができない。ただし、予備的ラベリング部５０は、高精度ラベリング部５１に比して、より少ない演算量で動作可能である。よって、フェレ径が算出される際に、予備的ラベリング部５０による処理と、高精度ラベリング部５１による処理とが、必要に応じて切り変えられてもよい。

（対象物の数が３つの場合の例）
図１０〜図１９においては、２つの対象物ＯＡおよびＯＢが存在する場合について詳しく説明した。以下においては、対象物の数が３つの場合の例について説明する。

図３５を参照して、本例においては、対象物ＯＡおよびＯＢに加えて、対象物ＯＣが存在する。この状況下において、上述した図１３までの工程と同様の工程により、変化領域画素ＰＣが抽出される。

図３６を参照して、次に、段差隣接画素ＰＳが抽出される。なお本例においては、段差隣接画素ＰＳの抽出のための設定条件として、前述した「例１」〜「例３」のうち「例２」が適用されるものとする。

図３７を参照して、図１６の工程と同様に、ラベリング対象画素ＰＬ（図中、斜線ハッチング）が抽出される。図３８を参照して、図１７の工程と同様に、ラベルが付与される。本例においては、３つの対象物ＯＡ〜ＯＣのそれぞれに対応してラベル番号「１」〜「３」が付与される。

図３９を参照して、図１８の工程とほぼ同様に、段差隣接画素ＰＳに対してラベル番号を付与することにより、ラベリングが補充される。本例においては、段差隣接画素ＰＳの一部は、複数のラベリング対象画素ＰＬに隣接している。そのような段差隣接画素ＰＳに対して付与されるラベル番号を一義的に決定するために、あらかじめ方法が決められている。具体例としては、第１優先として−Ｘ方向（図中、左方向）のラベル番号が参照され、第２優先として＋Ｙ方向（図中、上方向）のラベル番号が参照され、第３優先として＋Ｘ方向（図中、右方向）のラベル番号が参照される。このような優先条件は、あらかじめ高精度ラベリング部５１に設定し得る。

（比較例としての３次元ラベリング）
本実施の形態においては、上述したように、変化領域画素の各々に対して、一種の２次元ラベリングが行われる。これに対する比較例として、典型的な３次元ラベリングのアルゴリズムについて、以下に説明する。

図４０は、３次元ラベリングにおける、ある１つの変化領域画素ＰＣと、その隣接画素ＰＰとを、単純な立体モデルで表した斜視図である。図４１は、図４０の立体モデルの内部を見やすくするために、それをＹ方向（垂直方向）において分解したものである。最下層に床面ＦＬが存在し、その上方に変化領域画素ＰＣが１つ存在している。３次元ラベリングにおいては、ある１つの変化領域画素ＰＣに隣接する画素が３次元的に考慮される。図中においては、当該変化領域画素ＰＣに対して、Ｘ座標、Ｙ座標およびＺ座標がいずれも±１（画素単位）の範囲内の画素が、２６個の隣接画素ＰＰと定義されている。これら隣接画素ＰＰに対して既にラベル番号が付与されている場合、それを参照して変化領域画素ＰＣにラベル番号が付与される必要がある。

図４２および図４３を参照して、図７および図８の場合と同様に、対象物ＯＡと対象物ＯＢと床面ＦＬとが存在する状況が仮定されている。この場合、対象物ＯＡおよび対象物ＯＢは、Ｘ方向およびＹ方向（水平方向および垂直方向）のみを考慮する２次元空間では、図４２の上段に示されているように、部分的に重なってみえる。しかしながら、Ｚ方向（図中、奥行方向）においては対象物ＯＡおよび対象物ＯＢは互いに離れている。３次元ラベリングにおいては、Ｚ方向も考慮されることから、対象物ＯＡと対象物ＯＢとに対して同一のラベル番号が付与されることを避けることができる。よって最終的に本実施の形態（図１９参照）とほぼ同様にフェレ径（図４２および図４３における破線部および一点鎖線部を参照）を算出することができる。すなわち、ほぼ同様の認識結果が得られる。

この３次元ラベリングにおいては、図４０に示したように、変化領域画素ＰＣ（図４０）の各々にラベル番号が付与される際に、２６個の隣接画素ＰＰのラベル番号を参照する演算が必要である。これに対して２次元ラベリング（図２２〜図２３）においては、８個の隣接画素が参照されればよい。よって、３次元ラベリングと２次元ラベリングとの間では、作業量に３倍超の差がある。隣接画素の定義が、座標差が±１の範囲ではなく±２の範囲とされると、作業量の差異はさらに拡大する。具体的には、２次元ラベリングにおいて参照される隣接画素の数が２４個であるのに対して、３次元ラベリングにおいて参照される隣接画素の数は１２４個である。よって、３次元ラベリングと２次元ラベリングとの間では、作業量に５倍超の差がある。以上のように、２次元ラベリングに比して、３次元ラベリングは、より多くの演算量を必要とする。

（効果）
本実施の形態によれば、変化領域画素ＰＣ（図１３）のうち互いに隣接するものの間での距離差の差である段差量の大きさに基づいて、変化領域画素ＰＣから段差隣接画素ＰＳ（図１５）が抽出される。次に、変化領域画素ＰＣから段差隣接画素ＰＳを削除することによって、ラベリング対象画素ＰＬ（図１７）が抽出される。次に、観測視野におけるラベリング対象画素ＰＬの分布、すなわち２次元的な画素分布、に基づいて、ラベリングが行われる。

第１に、上述したように段差隣接画素ＰＳの削除後にラベリングが行われることによって、ラベリングが２次元的でありながら、対象物までの距離がラベリングに反映される。これにより、高い精度で対象物を認識することができる。

第２に、ラベリングのための演算が２次元的な画素分布に基づいて行われる。これにより、３次元ラベリングに比して、必要な演算量を抑えることができる。

以上から、高い精度で対象物を認識することができ、かつ、必要な演算量を抑えることができる。

＜実施の形態２＞
（変化領域画素の値の乱れによる影響）
本実施の形態についての説明に先立って、変化領域画素の値の乱れが監視用画像処理装置１０１（図２：実施の形態１）の動作に与える影響について、以下に説明する。

まず図１０〜図１３と同様の工程が行われる。これにより変化領域画素ＰＣ（図４４）が抽出される。ただし本例においては、３次元レーザスキャナ１０（図１）の画像のノイズなどの影響に起因して、変化領域画素ＰＣの値の一部が乱されているものと仮定する。具体的には、図４４における太字斜体で示された値「８」および「７」が、乱れを受けた値である。これらの値「８」および「７」のそれぞれは、もし観測が正確であったとすれば、図１３に示されているように、値「９」および「３」であったものである。

図４５の下段を参照して、図１５と同様の工程によって段差隣接画素ＰＳが抽出される。ただし図１５の場合と異なり、上述した不正確な値「８」を有する画素は、段差隣接画素ＰＳとして抽出されない。

図４６の下段を参照して、図１６と同様の工程によって、変化領域画素ＰＣ（図４５）から段差隣接画素ＰＳが削除される。これによって、ラベリング対象画素ＰＬが抽出される。ただし図１６の場合と異なり、上述した不正確な値「８」を有する画素は、削除されずにラベリング対象画素ＰＬに含まれる。

図４７の下段を参照して、図１７と同様の工程によって、観測視野におけるラベリング対象画素ＰＬの分布に基づいて、ラベリング対象画素の各々にラベルが付与される。ただし本例においては、上述した不正確な値「８」を有する変化領域画素ＰＣがラベリング対象画素ＰＬに含まれているために、ラベリング対象画素ＰＬのいずれもが、水平方向または垂直方向において、他のラベリング対象画素ＰＬに隣接している。すなわち、ラベリング対象画素ＰＬは、図１７とは異なり、水平方向または垂直方向において２つの群に分離されていない。その結果、図１７のラベリング結果とは異なり、すべてのラベリング対象画素ＰＬにラベル番号「１」が付与される。このことは、このラベリングが、２つの対象物ＯＡおよびＯＢを互いに区別することに失敗していることを意味している。

図４８の下段を参照して、図１８と同様の工程により、段差隣接画素ＰＳに対してラベル番号を付与することにより、ラベリングが補充される。

図４９の下段を参照して、図１９と同様の工程により、フェレ径が算出される。２つのフェレ径が算出される図１９の場合と異なり、本例においては１つのフェレ径しか算出されない。このことは、監視装置１００が、２つの対象物ＯＡおよびＯＢを、１つの対象物として取り扱っていることを意味している。

以上のように、ノイズなどの影響に起因して変化領域画素ＰＣの値の一部が乱されると、対象物ＯＡおよびＯＢを互いに区別することができないことがある。以下に述べる本実施の形態によれば、上述したように何らかの要因によって変化領域画素ＰＣの値に乱れた生じた場合であっても、高い精度で対象物を認識することができる。

（構成）
図５０を参照して、本実施の形態における監視用画像処理装置１０２は、監視用画像処理装置１０１（図２）の構成に加えて、ラベル限界設定部４５を有している。また監視用画像処理装置１０２は、高精度ラベリング部５１（図２）に代わり高精度ラベリング部５２（ラベリング部）を有している。

詳しくは後述の動作の説明において述べるが、ラベル限界設定部４５は、変化領域抽出部によって抽出された変化領域画素から、構成画素における段差隣接画素の分布に基づいて、段差隣接画素に隣接するラベル限界画素を設定する。高精度ラベリング部５２は、ラベリング対象画素のうちラベル限界画素によって隔てられた複数の画素群に対して、異なるラベルを付与する。

なお、上記以外の構成については、上述した実施の形態１の構成とほぼ同じであるため、同一または対応する要素について同一の符号を付し、その説明を繰り返さない。

（動作）
まず、上述した図４５までと同様の工程によって、段差隣接画素ＰＳが抽出される。

図５１の下段を参照して、ラベル限界設定部４５（図５０）は、変化領域画素ＰＣ（図４４）から、構成画素における段差隣接画素ＰＳの分布に基づいて、段差隣接画素ＰＳに隣接するラベル限界画素ＰＢ（図中、格子模様のハッチング）を設定する。具体的には、変化領域画素ＰＣのうち、段差隣接画素ＰＳに対してＸ座標およびＹ座標のいずれも±１（画素単位）の範囲内の構成画素が、ラベル限界画素ＰＢに設定される。

図５２の下段を参照して、次に、図４６と同様の工程によって、変化領域画素ＰＣ（図４５）から段差隣接画素ＰＳが削除される。これによって、ラベリング対象画素ＰＬが抽出される。ただし図１６の場合と異なり、上述した不正確な値「８」を有する変化領域画素ＰＣは、削除されずにラベリング対象画素ＰＬに含まれる。なお、ラベル限界画素ＰＢは、ラベリング対象画素ＰＬに含まれるものとして扱われてよい。

図５３の下段を参照して、次に、高精度ラベリング部５２によってラベリングが行われる。高精度ラベリング部５２は、高精度ラベリング部５１（図２：実施の形態１）とほぼ同様の機能を有することに加えて、ラベリングの際にラベル限界画素ＰＢの存在を考慮する機能を有している。具体的には、ラベリング対象画素ＰＬのうちラベル限界画素ＰＢによって隔てられた複数の画素群に対して、異なるラベルを付与する。「ラベル限界画素ＰＢによって隔てられた」ということがどの方向において隔てられていることを意味するのかは、あらかじめ定めておくことができる。本例においては、水平方向（Ｘ方向）または垂直方向（Ｙ方向）において隔てられていることを意味するものとされている。このため、図４７の場合と異なり、ラベル限界画素ＰＢの左下側にラベル番号「１」が付与される一方で、ラベル限界画素ＰＢの右上側に別個のラベル番号「２」が付与される。このことは、このラベリングが、２つの対象物ＯＡおよびＯＢを互いに区別することに成功していることを意味している。

図５４の下段を参照して、次に、図１８と同様の工程によって、段差隣接画素ＰＳに対してラベル番号を付与することにより、ラベリングが補充される。

図５５の下段を参照して、次に、図１９と同様の工程により、フェレ径が算出される。前述したように、変化領域画素には対象物ＯＡおよびＯＢのそれぞれに対応するラベル番号「１」および「２」が付与されている。よって、図の上段に示されているように観測視野中で対象物ＯＡおよび対象物ＯＢが２次元的には部分的に重なっているものの、それらに対して別個のフェレ径が付与される。

本実施の形態によれば、図５３に示されているように、ラベリング対象画素ＰＬのうちラベル限界画素ＰＢによって隔てられた複数の画素群に対して、異なるラベルが付与される。これにより、ノイズなどの影響によって段差隣接画素ＰＳ（図５１）の抽出が理想的に行われなかった場合であっても、異なる対象物に対して誤って同じラベルが付されてしまう確率が抑制される。よって、対象物を認識する精度をより高めることができる。

＜監視用画像処理装置のハードウェア構成の例＞
図５６は、上述した監視用画像処理装置１０１（図２）または監視用画像処理装置１０２（図４４）として用い得る監視用画像処理装置８００のハードウェア構成を概略的に示すブロック図である。監視用画像処理装置８００は、プロセッサ（処理回路）８０１と、メモリ８０２と、ストレージ８０３と、入出力装置８０４と、可搬記憶媒体駆動装置８０５と、通信インターフェース８０６と、内部バス８０７とを有している。監視用画像処理装置１０１（図２）または監視用画像処理装置１０２（図４４）が有する各構成の機能は、プロセッサ８０１がストレージ８０３に記憶されたプログラムを読み出して実行することにより実現され得る。

プロセッサ８０１は、プログラムの命令に従い、算術・論理演算を実行する。プロセッサ８０１は、ＣＰＵコアが複数設けられている構成を有していてもよい。メモリ８０２は、たとえばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などによって構成されるメインメモリである。メインメモリには、プロセッサ８０１で実行されるプログラムがロードされるとともに、プロセッサ８０１の処理に用いるデータが格納される。ストレージ８０３は、たとえばハードディスクドライブまたはフラッシュメモリなどの記憶装置であり、プログラムおよび各種データが格納される。可搬記憶媒体駆動装置８０５は、可搬記憶媒体９００に記憶されたプログラムまたはデータを読み出す装置である。可搬記憶媒体９００は、たとえば磁気ディスク、光ディスク、光磁気ディスクまたはフラッシュメモリなどである。プロセッサ８０１は、メモリ８０２およびストレージ８０３と協働しつつ、ストレージ８０３または可搬記憶媒体９００に格納されたプログラムを実行する。入出力装置８０４は、たとえば、キーボード、タッチパネル、およびディスプレイなどである。入出力装置８０４は、ユーザ操作などによる動作命令を受け付ける一方、監視用画像処理装置８００による処理結果を出力する。

なお、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略したりすることが可能である。

ＦＬ 床面、ＯＡ〜ＯＣ，２０１ 対象物、ＰＢ ラベル限界画素、ＰＣ 変化領域画素、ＰＬ ラベリング対象画素、ＰＰ 隣接画素、ＰＳ 段差隣接画素、ＲＯ 観測領域、ＳＣ 探索部、１０ ３次元レーザスキャナ（距離センサ）、２０ 現データ演算部、２１ 現データ蓄積部、３０ 比較データ演算部、３１ 比較データ蓄積部、４１ 差分演算部、４２ 変化領域抽出部、４３ 段差隣接画素抽出部、４４ ラベリング対象画素抽出部、４５ ラベル限界設定部、５０ 予備的ラベリング部、５１，５２ 高精度ラベリング部（ラベリング部）、６０ フェレ径算出部、７０ 認識処理部、８０ 報知処理部、１００ 監視装置、１０１，１０２，８００ 監視用画像処理装置、２００ 背景。

Claims (4)

1. 観測視野を構成する構成画素の各々に観測領域までの距離情報を有する現データを蓄積する現データ蓄積部と、
   前記現データ蓄積部に蓄積された前記現データに対しての比較基準となる比較データを蓄積する比較データ蓄積部と、
   前記現データ蓄積部に蓄積された前記現データと、前記比較データ蓄積部に蓄積された前記比較データとの間での、前記構成画素の各々における前記距離情報の差である距離差を、差分データとして算出する差分演算部と、
   前記差分演算部によって算出された前記距離差の大きさに基づいて、前記構成画素から変化領域画素を抽出する変化領域抽出部と、
   前記変化領域画素のうち互いに隣接するものの間での前記距離差の差である段差量の大きさに基づいて、前記変化領域画素から段差隣接画素を抽出する段差隣接画素抽出部と、
   前記変化領域画素から前記段差隣接画素を除外することによってラベリング対象画素を抽出するラベリング対象画素抽出部と、
   前記観測視野における前記ラベリング対象画素の分布に基づいて、前記ラベリング対象画素の各々に、前記観測領域中における異なる対象物を区別するためのラベルを付与する、ラベリング部と、
   を備える、監視用画像処理装置。
2. 前記変化領域抽出部によって抽出された前記変化領域画素から、前記構成画素における前記段差隣接画素の分布に基づいて、前記段差隣接画素に隣接するラベル限界画素を設定するラベル限界設定部をさらに備え、
   前記ラベリング部は、前記ラベリング対象画素のうち前記ラベル限界画素によって隔てられた複数の画素群に対して、異なるラベルを付与する、
   請求項１に記載の監視用画像処理装置。
3. 前記ラベリング部によって付与された前記ラベルに基づいてフェレ径を算出するフェレ径算出部をさらに備える、請求項１または請求項２に記載の監視用画像処理装置。
4. 観測視野内において観測領域までの距離を観測する距離センサと、
   前記距離センサによって観測された距離に基づいて、前記観測視野を構成する構成画素の各々に前記観測領域までの距離情報を有する現データを蓄積する現データ蓄積部と、
   前記現データ蓄積部に蓄積された前記現データに対しての比較基準となる比較データを蓄積する比較データ蓄積部と、
   前記現データ蓄積部に蓄積された前記現データと、前記比較データ蓄積部に蓄積された前記比較データとの間での、前記構成画素の各々における前記距離の差である距離差を、差分データとして算出する差分演算部と、
   前記差分演算部によって算出された前記距離差の大きさに基づいて、前記構成画素から変化領域画素を抽出する変化領域抽出部と、
   前記変化領域画素のうち互いに隣接するものの間での前記距離差の差である段差量の大きさに基づいて、前記変化領域画素から段差隣接画素を抽出する段差隣接画素抽出部と、
   前記変化領域画素から前記段差隣接画素を除外することによってラベリング対象画素を抽出するラベリング対象画素抽出部と、
   前記観測視野における前記ラベリング対象画素の分布に基づいて、前記ラベリング対象画素の各々に、前記観測領域中における異なる対象物を区別するためのラベルを付与する、ラベリング部と、
   を備える、監視装置。

Images