JP7054989B2 - 監視装置 - Google Patents

監視装置 Download PDF

Info

Publication number
JP7054989B2
JP7054989B2 JP2016121619A JP2016121619A JP7054989B2 JP 7054989 B2 JP7054989 B2 JP 7054989B2 JP 2016121619 A JP2016121619 A JP 2016121619A JP 2016121619 A JP2016121619 A JP 2016121619A JP 7054989 B2 JP7054989 B2 JP 7054989B2
Authority
JP
Japan
Prior art keywords
floor
distance data
grid
unit
laser scanner
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016121619A
Other languages
English (en)
Other versions
JP2017227454A (ja
Inventor
健一 新房
哲朗 和田
恭佑 磯野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2016121619A priority Critical patent/JP7054989B2/ja
Publication of JP2017227454A publication Critical patent/JP2017227454A/ja
Application granted granted Critical
Publication of JP7054989B2 publication Critical patent/JP7054989B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Description

この発明は、監視領域に存在する対象物を認識する監視装置に関するものである。
従来より、カメラ画像を用いて対象物を検知および認識する技術が存在する。カメラ画像は2次元データであることから、当該カメラ画像から得られる情報も2次元座標、輝度、および色などに限定される。従来技術の多くは輝度背景差分方式を用いて、監視領域内の変化領域を抽出して対象物を認識している。
しかし、このような多くの従来技術では、対象物と背景とに輝度差が存在しない場合には、対象物を精度よく認識できないという問題があった。また、カメラ画像から得られる2次元データでは対象物の距離に関する情報は得られないため、例えば、3次元座標上をZ軸方向に対象物が移動した場合、当該対象物が静止していると認識され、発報対象とされないという問題があった。
そこで、例えば、特許文献1に開示された監視装置では、3次元レーザスキャナの測定結果から、監視領域までの距離情報を取得し、現距離データと比較距離データとの差分値を算出して、当該差分値から変化領域を抽出し、抽出した変化領域に基づき発報対象であるか否かの認識処理を行うようにしている。
国際公開第2016/002776号
上述した特許文献1に記載された技術により、輝度差が存在しない場合でも距離差があれば対象物を認識し、対象物が3次元座標上をZ軸方向に移動する場合でも当該対象物の移動を認識して、発報対象であるか否かの認識処理を行うことが可能となる。
しかしながら、上述した特許文献1に記載された技術では、視野に映る対象物、すなわち、3次元レーザスキャナで測定する範囲で検出される対象物は、そのままでは通常の、2次元データとして画像が得られるカメラと同様に、遠方の物は小さく、近方の物は大きく測定されるため、遠方のものほど変化領域として抽出されにくく、その結果、発報対象の対象物が発見されにくいという課題があった。
この発明は、上記のような課題を解決するためになされたもので、対象物が遠方に存在する場合であっても、当該対象物が近傍に存在する場合と同様に認識可能な監視装置を提供することを目的とする。
この発明に係る監視装置は、監視領域を測定した3次元レーザスキャナの測定結果から、監視領域に存在する物体までの距離データを取得し、現距離データとグリッドを示す情報とを紐付ける現データ演算部と、測定結果から過去の距離データを取得し、比較距離データに変換してグリッドを示す情報と紐付ける比較データ演算部と、現距離データおよび比較距離データについて、距離データが示す物体が、床か床以外かを識別する床識別部と、遠近補正を行う遠近補正部と、遠近補正部が遠近補正を行った遠近補正後現距離データと遠近補正後比較距離データとの差分値を算出し、当該差分値が閾値以上である領域を変化領域として抽出する変化領域抽出部と、3次元レーザスキャナから見た監視領域のうちの変化領域の面積に基づいて報知対象を認識する認識処理部と、を備え、遠近補正部は、現距離データに紐付けられたグリッドと比較距離データに紐付けられたグリッドに対し、それぞれ、床と識別された物体を示す距離データに紐付けられたグリッドを対象に、床が水平になるようにグリッドを上下方向にシフトさせて傾斜補正を行う傾斜補正部と、傾斜補正部が傾斜補正を行った後の現距離データのグリッドおよび比較距離データのグリッドについて、床と識別された物体を示す距離データのグリッドを基準として、床以外と識別された物体を示す距離データのグリッドを復元させる復元部と、復元部が床以外と識別された物体の距離データのグリッドを復元させた現距離データのグリッドおよび比較距離データのグリッドについて、補正倍率を用いて遠近補正する補正部とを備え、補正倍率は、3次元レーザスキャナからの、基準となる距離と、補正倍率を用いて遠近補正される物体までの距離に応じて設定される、ものである。
この発明によれば、対象物が遠方に存在する場合であっても、当該対象物が近傍に存在する場合と同様に認識することができる。
実施の形態1に係る監視装置の構成を示すブロック図である。 3次元レーザスキャナの構成を示す図である。 3次元レーザスキャナの分散機構を示す説明図である。 実施の形態1に係る監視装置の動作を示すフローチャートである。 実施の形態1において、3次元レーザスキャナの視野を仮想的な3D空間に組み上げた立体モデルの一例を示す図である。 実施の形態1において、3次元レーザスキャナ10の視野にある床、対象物である対象A,対象Bが、8×4×4個のグリッドの中でどのように見えているかを示したモデルの一例であり、図6Aは、3次元レーザスキャナと「対象A」,「対象B」を横から見た位置関係を示すモデルであり、図6Bは、図上、左側が、8×4×4個のグリッドが密着したモデル、図上、右側が、図上左側に示す、8×4×4個のグリッドが密着したモデルを、横に4つにスライスして全グリッドが見えるようにしたモデルであり、図6Cは、3次元レーザスキャナの視野を仮想的なイメージに組み上げたイメージモデルである。 実施の形態1において、傾斜補正部による「傾斜補正処理」を説明するための図である。 実施の形態1において、復元部による「復元処理」を説明するための図である。 実施の形態1において、補正部による「補正処理」を説明するための図である。 実施の形態1において、遠近補正部による遠近補正結果の一例を、3次元レーザスキャナの視野の仮想的なイメージとして示したイメージモデルである。 実施の形態1に係る監視装置の認識処理部による判定処理を示すフローチャートである。 図12A,図12Bは、この発明の実施の形態1に係る監視装置のハードウェア構成の一例を示す図である。 実施の形態2において、床座標2点情報に基づき「床」と「床以外」とを識別する手法の概念を説明するための図であり、図13Aは、3次元レーザスキャナと対象A,対象Bを横から見た位置関係を示すモデルであり、図13Bは、図上、左側が、8×4×4個のグリッドが密着したモデル、図上、右側が、図上左側に示す、8×4×4個のグリッドが密着したモデルを、横に4つにスライスして全グリッドが見えるようにしたモデルであり、図13Cは、3次元レーザスキャナの視野を仮想的なイメージに組み上げたイメージモデルである。 実施の形態3において、床座標2点2距離情報に基づき「床」と「床以外」とを識別する概念を説明するための図であり、図14Aは、3次元レーザスキャナと対象A,対象Bを横から見た位置関係を示し、3次元レーザスキャナの視野を横切る2本の線が設定されている状態をあらわすモデルであり、図14Bは、図14Aの状態から、床を嵩上げした状態をあらわすモデルである。
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態1.
図1は、実施の形態1に係る監視装置100の構成を示すブロック図である。
監視装置100は、3次元レーザスキャナ10、現データ演算部20、現データ蓄積部21、比較データ演算部30、比較データ蓄積部31、変化領域抽出部40、認識処理部50、報知処理部60、床識別部70、および、遠近補正部80で構成されている。遠近補正部80は、傾斜補正部801、復元部802、および、補正部803を備える。
なお、図1において、監視装置100外に3次元レーザスキャナ10のスキャン範囲を示す背景200、当該背景200の前に立つ対象物201、監視装置100の上位にある装置であり、ブザー等の発報処理を行うPC300を記載している。なお、ここでは、監視装置100の上位にある装置は、一例としてPC300としているが、監視装置100の上位にある装置は、これに限らず、例えば、音声出力装置等、監視装置100における報知処理に基づき、発報処理を行うことができるものであればよい。監視装置100における報知処理の詳細は後述する。
3次元レーザスキャナ10は、スキャン範囲に存在する対象物201等の3次元情報を取得して、当該対象物201等までの距離等を計測する。
ここで、図2は、3次元レーザスキャナ10の構成を示す図である。図2に示すように、3次元レーザスキャナ10は、レーザ発光ユニット11、回転ミラーを用いた分散機構13およびレーザ受光ユニット16を内蔵し、背景200で示した範囲をスキャンして距離データおよび強度データを取得する。レーザ発光ユニット11は、レーザ光パルス12を照射する。
分散機構13は、レーザ発光ユニット11から発光されたレーザ光パルス12を広角範囲に分散させる機構である。図2の例では、回転ミラーを用いた分散機構13を示している。当該回転ミラーを用いた分散機構13の詳細については後述する。分散機構13により分散された分散レーザ光パルス14は、背景200あるいは対象物(図2においては不図示)に照射および反射されレーザ反射光15を形成する。図2の例では、分散レーザ光パルス14が背景200のX方向およびY方向へ順次分散照射される様子を示している。具体的には、背景200のX方向に6ポイント、背景200のY方向に2ポイント、合計12ポイントに分散照射されている。
なお、図2では、回転ミラーを用いた分散機構13としたが、その他の分散機構を適用してもよい。例えば、モータレスでミラーをスキャンするスキャンレス光学系としてもよい。
レーザ受光ユニット16は、反射対象で反射されたレーザ反射光15を受光し、発光から受光までの時間差に基づいて、反射対象までの距離を算出し、距離データとする。図2の例では、背景200のX方向に6ポイント、背景200のY方向に2ポイント、合計12ポイントに分散された照射位置全てに対して、個別に距離を算出し、距離データとする。さらに、レーザ受光ユニット16は、分散された照射位置全てに対して、照射した光量と受光した光量の比率に基づいて反射対象の各ポイントにおける反射率を算出し、強度データとする。レーザ受光ユニット16で算出された距離データおよび強度データは、図1で示した床識別部70、現データ演算部20および比較データ演算部30に出力される。
レーザ受光ユニット16で算出された、照射位置全てに関しての距離データおよび強度データを、点群データ17という。
レーザ受光ユニット16による点群データ17の床識別部70、現データ演算部20、比較データ演算部30への出力は、フレーム単位に行われる。レーザ受光ユニット16は、背景200全体を1回スキャンして得られた点群データ17、すなわち、図2の例でいうと、背景200のX方向に6ポイント、Y方向に2ポイントの合計12ポイントに対して1回のスキャンで得られた点群データ17を、1フレーム分の点群データ17として床識別部70、現データ演算部20、比較データ演算部30へ出力する。
次に、回転ミラーを用いた分散機構13の詳細について、図3を参照しながら説明を行う。分散機構13は、第1の回転ミラー13a、第1のモータ13b、第2の回転ミラー13cおよび第2のモータ13dで構成されている。第1の回転ミラー13aは、入射されたレーザ光パルス12のパルス周波数と同期して動作し、レーザ光パルス12を第1の回転ミラー13aの面に対して水平方向に分散する。水平方向に分散された水平分散レーザ光パルス13eは、常に同一の角度で分散される。第1のモータ13bは、第1の回転ミラー13aを駆動させる駆動源である。第2の回転ミラー13cは、入射されたレーザ光パルス12のパルス周波数と同期して動作し、水平分散レーザ光パルス13eをさらに垂直方向に分散する。垂直方向に分散された垂直分散レーザ光パルス13fは、常に同一の角度で分散される。第2のモータ13dは、第2の回転ミラー13cを駆動させる駆動源である。
以上の動作により、3次元レーザスキャナ10は、以下に示すX,Y,Zの3次元情報を得る。
X;水平方向座標
Y;垂直方向座標
Z;距離データ
図2の例では、水平方向座標Xは6ポイント、垂直方向座標Yは2ポイントとなる。また、距離データZは、Z軸方向の奥行き情報であり、以下、Z軸情報という。
3次元情報には、Z軸情報が含まれているため、対象物が3次元座標上のZ軸方向へ移動した場合、すなわち、3次元レーザスキャナ10に向かって直進した場合においても、Z軸方向の移動量を用いて差分を得ることができる。
現データ演算部20は、3次元レーザスキャナ10から出力される点群データ17中の距離データを取得し、監視領域、すなわち、3次元レーザスキャナ10の測定範囲における現時点の距離データを示す現データとして現データ蓄積部21に蓄積させる。ここでは、現データ演算部20は、入力された距離データを、後述するグリッドを示す情報と紐付けて、現データ蓄積部21に蓄積させる。
比較データ演算部30は、3次元レーザスキャナ10から出力される点群データ17中の距離データを取得し、比較データに変換して比較データ蓄積部31に蓄積させる。比較データへの変換処理は、例えば、取得した距離データから遡って過去50フレーム分の距離データから平均距離データを得て比較データとする、あるいは入力された距離データの直前のフレームの距離データを得て比較データとする等によって行えばよい。なお、比較データ演算部30は、3次元レーザスキャナ10から取得した距離データをデータ蓄積部(図示省略)に蓄積させておき、当該蓄積させておいた距離データに基づき、過去に遡った距離データを取得するようにすればよい。比較データ演算部30は、比較データとしての距離データを、各グリッドを示す情報と紐付けて、比較データ蓄積部31に蓄積させる。
なお、この実施の形態1において、現データを現距離データ、比較データを比較距離データともいうものとする。
床識別部70は、3次元レーザスキャナ10から出力される点群データ17を取得し、当該点群データ17の各点に対する各グリッドが、床なのかそれ以外なのかを識別する。具体的には、予め、オペレータ等が、例えば、監視装置100の設置時等に、背景200、すなわち、3次元レーザスキャナ10の視野をスキャンして得られた点群データ17の各点における各グリッドについて、「床」に相当するか「床以外」に相当するかの属性情報を、当該各グリッドを示す情報と紐付けて設定しておき、記憶させておく。床識別部70は、当該記憶された属性情報に基づき、3次元レーザスキャナ10から取得した点群データ17の各点に対応する各グリッドとのつき合わせを行い、床なのかそれ以外なのかを識別するようにすればよい。なお、予め「床」に相当するか「床以外」に相当するかの属性情報を記憶させておく場所は、床識別部70が参照可能な場所であればよい。
床識別部70は、識別結果の情報を識別情報として遠近補正部80に出力する。識別情報は、具体的には、3次元レーザスキャナ10の視野における各グリッドに、床なのかそれ以外なのかが紐付けられた情報である。
遠近補正部80は、床識別部70から取得した識別情報に基づき、現データ蓄積部21に蓄積された現データと、比較データ蓄積部31に蓄積された比較データに対し、遠近補正を行う。
遠近補正部80は、傾斜補正部801と、復元部802と、補正部803とを備える。
傾斜補正部801は、床識別部70から取得した識別情報を用いて、現データ蓄積部21に蓄積されている現データに基づくグリッドと、比較データ蓄積部31に蓄積されている比較データに基づくグリッドに対し、それぞれ、床識別部70が「床」と識別したグリッドのみを対象に、「傾斜補正」を行う。また、傾斜補正部801は、「傾斜補正」を行った結果空きとなったグリッド位置に対して、ブランクグリッドによって当該空きを埋める「穴埋め」処理を行う。
復元部802は、傾斜補正部801が「傾斜補正」および「穴埋め」を行った現データおよび比較データそれぞれに基づくグリッドについて、床識別部70から取得した識別情報を用いて、床識別部70が「床以外」と識別したグリッドを、「床」を基準に復元する「復元処理」を行う。
補正部803は、復元部802が「復元処理」を行った現データおよび比較データそれぞれに基づくグリッドについて、補正倍率を用いて、対象物201に相当するグリッドを遠近補正する「補正処理」を行う。
遠近補正部80の補正部803は、遠近補正を行った後のグリッドに基づく補正後の現データおよび比較データを、それぞれ、遠近補正後現データ、遠近補正後比較データとして、変化領域抽出部40に出力する。
変化領域抽出部40は、遠近補正部80から遠近補正後現データおよび遠近補正後比較データを取得し、遠近補正後現データと遠近補正後比較データとを画素単位で比較して差分値を算出し、算出した差分値が予め設定した閾値以上である画素領域を変化領域として抽出する。一般的に、一定の閾値を設定し、差分値が設定した閾値以上であるか否かで2値化した2値化データに変換して取り扱う。なお、遠近補正後現データおよび遠近補正後比較データは、距離データで構成されているため、変化領域抽出部40が算出する差分値は、「距離の差」を示している。例えば、遠近補正後現データに背景200および対象物201が含まれ、遠近補正後比較データに背景200のみが含まれている場合、得られる差分値は「遠近補正後の背景と対象物との間の距離」を示している。
認識処理部50は、変化領域抽出部40が抽出した変化領域より「面積」、「縦横寸法」、「速度」等の特徴量を抽出し、抽出した特徴量が、予め定めた条件を満たしているか否かに基づいて、変化領域が報知対象であるか否かの認識処理を行う。認識処理部50は、変化領域が報知対象であると認識した場合、報知指示情報を報知処理部60に出力する。
報知処理部60は、認識処理部50から出力された報知指示情報に基づいて報知処理を行う。報知処理としては、上位にあるPC300などの装置に特定の信号を送信する処理、あるいは装置にブザーを鳴らさせるなどの処理などが挙げられる。
なお、この実施の形態1では、図1に示すように、3次元レーザスキャナ10は監視装置100に備えられるものとしたが、これに限らず、3次元レーザスキャナ10は監視装置100の外部に備えられ、監視装置100は、ネットワーク等を介して、3次元レーザスキャナ10から点群データ17を取得するようにしてもよい。
次に、実施の形態1に係る監視装置100の動作について説明する。
図4は、実施の形態1に係る監視装置100の動作を示すフローチャートである。
なお、ここでは、説明の簡潔化のため、3次元レーザスキャナ10の解像度が8×4画素である場合を例に説明を行う。
まず、3次元レーザスキャナ10は背景200、すなわち、監視領域の範囲をスキャンし(ステップST401)、点群データ17、すなわち、距離データおよび強度データを取得する(ステップST402)。具体的には、背景200の範囲を3次元レーザスキャナ10の解像度である8×4に分割してスキャンする。距離データは一般にデジタルデータであり、ここでは8×4画素の1画素あたり8ビットの多値データとする。
3次元レーザスキャナ10は、取得した点群データを、床識別部70、現データ演算部20および比較データ演算部30に出力する。
現データ演算部20は、ステップST402で取得された8×4画素の点群データ17中の距離データを現データとして現データ蓄積部21に蓄積させる(ステップST403)。
比較データ演算部30は、過去にステップT402で取得されて不図示のデータ蓄積部に蓄積された8×4画素の点群データ17中の距離データを比較データに変換し、比較データ蓄積部31に蓄積させる(ステップST404)。
床識別部70は、ステップST402で取得され、出力された点群データ17を取得し、上述のとおり、予めオペレータ等により設定されていた属性情報に基づき、当該点群データ17の各点に対応する各グリッドが、床なのかそれ以外なのかを識別する(ステップST405)。
ここで、図5は、実施の形態1において、3次元レーザスキャナ10の視野を仮想的な3D空間に組み上げた立体モデルの一例を示す図である。
図5において、1つのキューブが、レーザ照射1ポイントの測定点を示すものとして、空間のサイズを8×4×4個のキューブとする。1つのキューブがレーザ照射1ポイントの測定点を示し、当該測定点をここではグリッドという。
図6は、実施の形態1において、3次元レーザスキャナ10の視野にある床603、対象物201である対象A601,対象B602が、8×4×4個のグリッドの中でどのように見えているかを示したモデルの一例である。
図6Aは、3次元レーザスキャナ10と対象A601,対象B602を横から見た位置関係を示すモデルである。また、図6Bは、図上、左側が、8×4×4個のグリッドが密着したモデル、図上、右側が、図上左側に示す、8×4×4個のグリッドが密着したモデルを、横に4つにスライスして全グリッドが見えるようにしたモデルである。また、図6Cは、3次元レーザスキャナ10の視野を仮想的なイメージに組み上げたイメージモデルである。
図6Cに示すように、床603は、3次元レーザスキャナ10の俯角により、奥に行けば行くほど高い位置に見える。また、対象A601,対象B602は、同じ大きさであるにもかかわらず、奥にある対象B602は、小さく測定される。
図6A~図6Bにおいて、床603,対象A601,対象B602に相当するグリッド以外のグリッドは、3次元レーザスキャナ10において距離が得られなかったグリッドである。この実施の形態1において、3次元レーザスキャナ10において距離が得られなかったグリッドをブランクグリッド604ともいうものとする。
図5,6に示したように、3次元レーザスキャナ10の視野には、床603のように「床」に相当する対象物と、対象A601および対象B602のように「床以外」に相当する対象物201が存在する。しかしながら、3次元レーザスキャナ10から得られる情報だけでは、点群データ17の各点に対応するグリッドが「床」に相当するのか、「床以外」に相当するのかを区別できない。すなわち、3次元レーザスキャナ10から出力される点群データ17には、「床」に相当するのか、「床以外」に相当するのかの情報は含まれていない。
そこで、床識別部70が、上述のように、ステップST405において、3次元レーザスキャナ10から出力される点群データ17を取得し、予めオペレータ等により設定されていた属性情報に基づき、当該点群データ17の各点に対応する各グリッドが、「床」なのか「床以外」なのかを識別する。
床識別部70は、識別結果の情報を、識別情報として、遠近補正部80に出力する。識別情報は、具体的には、3次元レーザスキャナ10の視野における各グリッドに、「床」なのか「床以外」なのかが紐付けられた情報である。
遠近補正部80は、床識別部70から取得した識別情報に基づき、現データ蓄積部21に蓄積された現データと、比較データ蓄積部31に蓄積された比較データに対し、遠近補正を行う(ステップST406)。
ここで、図7~図10は、実施の形態1において、遠近補正部80が行う遠近補正処理の一例の流れを説明する図である。なお、図7~図10において、図6A~図6Cで示した対象A601,対象B602等の対象物201、床603、グリッド等のモデルを例に遠近補正処理の流れを説明するものとし、図6A~図6Cで示したものと同じモデルについては、同じ符号を付している。
遠近補正部80は、遠近補正処理において、「傾斜補正処理」、「復元処理」、「補正処理」を行う。具体的には、遠近補正部80の傾斜補正部801が「傾斜補正処理」を行い、遠近補正部80の復元部802が「復元処理」を行い、遠近補正部80の補正部803が「補正処理」を行う。
図7~図9は、それぞれ、傾斜補正部801による「傾斜補正処理」、復元部802による「復元処理」、補正部803による「補正処理」を説明するための図であり、図10は、遠近補正部80による遠近補正結果の一例を、3次元レーザスキャナ10の視野の仮想的なイメージとして示したイメージモデルである。
まず、傾斜補正部801は、床識別部70から取得した識別情報を用いて、図7に示すように、現データ蓄積部21に蓄積されている現データに基づくグリッドと、比較データ蓄積部31に蓄積されている比較データに基づくグリッドに対し、それぞれ、床識別部70が「床」と識別したグリッドのみを対象に、「傾斜補正」を行う。すなわち、遠近補正部80は、床識別部70が「床」と識別したグリッド(図7の603)が、最も手前の「床」の位置と同じ水平位置に並ぶように、上下方向にグリッドをシフトさせる。
例えば、図7の例でいうと、矢印605で示す最奥の横列にあるグリッドを一律2グリッド分下方にシフトすると、「床」のグリッドが、最も手前の「床」の位置と同じ水平面に並ぶ。当該動作が、「傾斜補正」の基本動作である。
矢印605で示す最奥の横列にあるグリッドについて、「傾斜補正」後は、下方に2グリッドシフトしたため、矢印606で示すように、当該2グリッド分、上方に空きができる。
そこで、傾斜補正部801は、矢印607に示すように、空きとなったグリッド位置に対して、ブランクグリッド604によって当該空きを埋める「穴埋め」処理を行う。
傾斜補正部801は、以上の「傾斜補正」および「穴埋め」の動作を、最も手前の「床」よりも奥に位置する全ての「床」に対して行う。
次に、遠近補正部80の復元部802は、図8に示すように、傾斜補正部801が「傾斜補正」および「穴埋め」を行った現データおよび比較データについて、床識別部70から取得した識別情報を用いて、床識別部70が「床以外」と識別したグリッドを、「床面」を基準に復元する「復元処理」を行う。図8では、対象A601および対象B602が復元された状態を示している。
さらに、遠近補正部80の補正部803は、図9に示すように、復元部802が「復元処理」を行った現データおよび比較データについて、補正倍率を用いて対象物201を遠近補正する「補正処理」を行う。
遠近補正の際に用いられる補正倍率は、遠方の対象物201ほど大きく設定される。
例えば、3次元レーザスキャナ10の上下画角がα°とすると、am先での高さ方向視野は、a×tanα(m)となる。
また、bm先(b>aとする)での高さ方向視野は、b×tanα(m)となる。
よって、bm先では、視野が、am先での視野と比べてb×tanα/a×tanα=b/a倍になる。すなわち、bm先に存在する対象物201は、am先に存在する対象物201に比べて、a/bに小さく見える。
したがって、例えば、a=2(m)、b=10(m)とすると、10m先の対象物201は、b/a=10/2=5倍に拡大すれば、2m先の対象と同じ高さになる。
以上に基づき、遠近補正の際の補正倍率は、例えば、基準とする距離a(m)に対してb(m)先の対象物201の補正をする場合は、b/a倍等とすることが望ましい。
補正部803は、上述したような補正倍率を用いて、対象物201を遠近補正する。
なお、図9は、一例として、対象B602を遠近補正した例を示しており、補正倍率を3倍としている。
図9に示すように、補正部803は、対象B602のグリッドを縦方向に3倍化し、対象B602の高さを補正する。
これにより、対象A601の大きさと対象B602の大きさとが対等に近づき、この後の認識処理部50による認識処理の精度が向上する。認識処理部50による認識処理については後述する。
遠近補正部80が、図7~図9を用いて説明した処理を行うと、図6Cに示したイメージモデルから、図10に示すようなイメージモデルとなるような補正がなされる。
図10では、図6Cで示したイメージモデルと比べ、傾斜補正により床603が視線上に水平に近く補正され視認されにくくなるとともに、遠近補正によって対象A601と対象B602の高さがほぼ同じ高さに補正されている。
以上のように、遠近補正部80は、現データ蓄積部21に蓄積された現データと、比較データ蓄積部31に蓄積された比較データに対し、遠近補正を行う。
そして、遠近補正部80は、遠近補正を行った後のグリッドに基づく補正後の現データを遠近補正後現データ、遠近補正を行った後のグリッドに基づく補正後の比較データを遠近補正後比較データとして、それぞれ、変化領域抽出部40に出力する。
なお、遠近補正部80は、上述したような遠近補正を、例えば、現データ蓄積部21に蓄積された最新の現データに基づくグリッドと、比較データ蓄積部31に蓄積された最新の比較データに基づくグリッドを対象に行うようにする。
また、ここでは、遠近補正部80は、遠近補正後現データ、遠近補正後比較データを、それぞれ、変化領域抽出部40に出力するものとしたが、これに限らず、遠近補正部80は、遠近補正後現データ、遠近補正後比較データを、それぞれ、現データ蓄積部21、比較データ蓄積部31に、現データ、あるいは、比較データと紐付けて、蓄積させるようにしてもよい。その場合、変化領域抽出部40は、現データ蓄積部21、比較データ蓄積部31から、遠近補正後現データ、遠近補正後比較データを取得して、以降の処理を行う。遠近補正部80は、例えば、遠近補正を行うべきデータを、遠近補正後現データあるいは遠近補正後比較データが蓄積されているかどうかによって判断するようにし、遠近補正後現データが紐付けられて蓄積されていない現データ、あるいは、遠近補正後比較データが紐付けられて蓄積されていない比較データを対象に遠近補正を行うようにすればよい。
また、遠近補正部80は、遠近補正後現データ、遠近補正後比較データを、それぞれ、現データ、比較データとは別に蓄積させるのではなく、現データ、比較データを、それぞれ、遠近補正後現データ、遠近補正後比較データに書き換えるようにしてもよい。その場合は、遠近補正部80は、例えば、補正済みフラグを付与し、遠近補正済みのデータであるかどうかが判別できるようにして、現データ蓄積部21あるいは比較データ蓄積部31に蓄積させるようにする。
図4のフローチャートに戻る。
変化領域抽出部40は、遠近補正部80から出力された遠近補正後現データと、遠近補正後比較データとを取得し、遠近補正後現データと遠近補正後比較データとを画素単位で比較して差分値を算出する(ステップST407)。当該ステップST407の処理では、遠近補正後現データおよび遠近補正後比較データは、距離データで構成されているため、変化領域抽出部40が算出する差分値は「距離の差」を示している。例えば、遠近補正後現データに背景200および対象物201が含まれ、遠近補正後比較データに背景200のみが含まれている場合、得られる差分値は「比較データの背景と現データの対象物との間の距離」を示している。
ステップST407で得られた差分値は、1画素あたり8ビットの多値データであり、変化領域抽出部40は得られた差分値が予め設定した閾値以上であるか否か判定を行う(ステップST408)。差分値が閾値以上である場合(ステップST408の“YES”の場合)、当該画素領域を変化領域として抽出する(ステップST409)。変化領域抽出部40は、抽出した変化領域の情報を、認識処理部50に出力する。
一方、差分値が閾値未満である場合(ステップST408の“NO”の場合)、当該画素領域は変化領域でないと判断し(ステップST410)、ステップST411の処理に進む。その後、変化領域抽出部40は、8×4画素全てについて処理を行ったか否か判定を行う(ステップST411)。8×4画素全てについて処理を行っていない場合(ステップST411の“NO”の場合)、ステップST407の処理に戻り、上述した処理を繰り返す。
一方、8×4画素全てについて処理を行った場合(ステップST411の“YES”の場合)、認識処理部50は、ステップST409で抽出された変化領域が照合条件を満たすか否か判定を行う(ステップST412)。照合条件を満たす場合(ステップST412の“YES”の場合)、認識処理部50は、変化領域が報知対象であると認識する(ステップST413)。認識処理部50は、変化領域が報知対象であると認識した場合、報知指示情報を報知処理部60に出力する。
一方、照合条件を満たさない場合(ステップST412の“NO”の場合)、変化領域が報知対象でないと判断し(ステップST414)、ステップST401の処理に戻る。
ここで、ステップST412における認識処理部50による判定処理を詳細に説明する。
図11は、実施の形態1に係る監視装置100の認識処理部50による判定処理を示すフローチャートである。
認識処理部50は、変化領域が監視範囲内に存在するか否か判定を行う(ステップST1101)。なお、ここで、監視範囲とは、監視領域、すなわち、3次元レーザスキャナ10の測定範囲内の範囲であって、例えば、監視の必要上、対象物201を検知した場合に報知が求められる範囲のことをいい、当該監視範囲は予め設定されているものとする。
変化領域が監視範囲内に存在する場合(ステップST1101の“YES”の場合)、認識処理部50は、さらに、変化領域が所定の面積を有しているか否か判定を行う(ステップST1102)。ここでいう変化領域とは、図4のステップST409で変化領域として抽出された画素のうち、互いに隣接あるいは近接する複数の画素の集合からなる領域のことをいう。
変化領域が所定の面積を有している場合(ステップST1102の“YES”の場合)、認識処理部50は、さらに、変化領域が所定の縦横寸法を有しているか否か判定を行う(ステップST1103)。所定の縦横寸法を有している場合(ステップST1103の“YES”の場合)、認識処理部50は、さらに、変化領域が所定の移動速度を有しているか否か判定を行う(ステップST1104)。所定の移動速度を有している場合(ステップST1104の“YES”の場合)、図4のステップST413に進み、変化領域が報知対象であると認識される。
一方、変化領域が監視範囲内に存在しない場合(ステップST1101の“NO”の場合)、あるいは、変化領域が所定の面積を有していない場合(ステップST1102の“NO”の場合)、あるいは、変化領域が所定の縦横寸法を有していない場合(ステップST1103の“NO”の場合)、あるいは、変化領域が所定の移動速度を有してない場合(ステップST1104の“NO”の場合)は、図4のステップST414に進み、報知対象でないと判断される。
図4のフローチャートに戻る。
報知処理部60は、ステップST413において認識処理部50から出力された報知指示情報に基づき、認識された報知対象について報知処理を行い(ステップST415)、ステップST401の処理に戻る。
図12A,図12Bは、この発明の実施の形態1に係る監視装置100のハードウェア構成の一例を示す図である。
この発明の実施の形態1において、現データ演算部20と、比較データ演算部30と、変化領域抽出部40と、認識処理部50と、報知処理部60と、床識別部70と、遠近補正部80の各機能は、処理回路1201により実現される。すなわち、監視装置100は、3次元レーザスキャナ10から取得した点群データに基づき、報知対象となる変化を検出した場合に報知処理を行うための処理回路1201を備える。
処理回路1201は、図12Aに示すように専用のハードウェアであっても、図12Bに示すようにメモリ1205に格納されるプログラムを実行するCPU(Central Processing Unit)1205であってもよい。
処理回路1201が専用のハードウェアである場合、処理回路1201は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、またはこれらを組み合わせたものが該当する。
処理回路1201がCPU1206の場合、現データ演算部20と、比較データ演算部30と、変化領域抽出部40と、認識処理部50と、報知処理部60と、床識別部70と、遠近補正部80の各機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。すなわち、現データ演算部20と、比較データ演算部30と、変化領域抽出部40と、認識処理部50と、報知処理部60と、床識別部70と、遠近補正部80は、HDD(Hard Disk Drive)1202、メモリ1205等に記憶されたプログラムを実行するCPU1206、システムLSI(Large-Scale Integration)等の処理回路により実現される。また、HDD1202、メモリ1205等に記憶されたプログラムは、現データ演算部20と、比較データ演算部30と、変化領域抽出部40と、認識処理部50と、報知処理部60と、床識別部70と、遠近補正部80の手順や方法をコンピュータに実行させるものであるとも言える。ここで、メモリ705とは、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read-Only Memory)等の、不揮発性または揮発性の半導体メモリや、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVD(Digital Versatile Disc)等が該当する。
なお、現データ演算部20と、比較データ演算部30と、変化領域抽出部40と、認識処理部50と、報知処理部60と、床識別部70と、遠近補正部80の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、現データ演算部20と、比較データ演算部30については専用のハードウェアとしての処理回路1201でその機能を実現し、変化領域抽出部40と、認識処理部50と、報知処理部60と、床識別部70と、遠近補正部80については処理回路がメモリ1205に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
現データ蓄積部21と比較データ蓄積部31は、例えば、HDD1202を使用する。なお、これは一例にすぎず、現データ蓄積部21と比較データ蓄積部31は、DVD、メモリ1205等によって構成されるものであってもよい。
また、監視装置100は、3次元レーザスキャナ10、あるいは、上位にあるPC300等の装置との通信を行う入力インタフェース装置1203、出力インタフェース装置1204を有する。
以上のように、この実施の形態1によれば、遠方の対象物であっても、当該対象物までの距離に応じて大きさを補正して対象物と背景との距離情報を得ることができる。これにより、遠近で対象物の大きさが揃えられ、対象物の認識精度を向上させることができる。
実施の形態2.
実施の形態1では、オペレータが、予め、3次元レーザスキャナ10の視野をスキャンして得られた点群データ17の各点に対応する各グリッドについて、「床」に相当するか「床以外」に相当するかの属性情報を設定しておき、床識別部70は、当該各グリッドに対して設定された属性情報をもとに、「床」と「床以外」を識別するようにしていた。
この実施の形態2では、オペレータ等は、予め、3次元レーザスキャナ10の視野をスキャンして得られた点群データ17の各点に対応する各グリッドの中から、「床」に相当するグリッドを少なくとも2つ設定し、床識別部70は、当該グリッドの情報をもとに、「床」と「床以外」を識別する実施の形態について説明する。
この実施の形態2に係る監視装置100の構成は、実施の形態1において図1を用いて説明した構成と同様であるため、重複した説明を省略する。
また、この実施の形態2に係る監視装置100のハードウェア構成は、実施の形態1において図12A,図12Bを用いて説明した構成と同様であるため、重複した説明を省略する。
また、この実施の形態2に係る監視装置100の動作については、実施の形態1において図4を用いて説明した動作のうち、床識別部70の具体的な動作(図4のステップST405)が異なるのみである。したがって、実施の形態1とは異なる床識別部70の動作についてのみ説明し、その他の、実施の形態1と同様の動作については重複した説明を省略する。
床識別部70は、3次元レーザスキャナ10から出力される点群データ17を取得し、当該点群データ17の各点に対応する各グリッドが、床なのかそれ以外なのかを識別する(ステップST405)。具体的には、予め、オペレータ等が、3次元レーザスキャナ10の視野をスキャンして得られる点群データ17の各点に対応する各グリッドの中から、「床」に相当する2つのグリッドを指定することにより、床座標2点情報を設定し、記憶させておく。床座標2点情報とは、「床位置」を示す2点の情報である。床識別部70は、当該床座標2点情報を用いて、点群データ17における「床」と「床以外」を識別する。
ここで、図13は、実施の形態2において、床座標2点情報に基づき「床」と「床以外」とを識別する手法の概念を説明するための図である。
図13Aは、3次元レーザスキャナ10と対象A601,対象B602を横から見た位置関係を示すモデルである。また、図13Bは、図上、左側が、8×4×4個のグリッドが密着したモデル、図上、右側が、図上左側に示す、8×4×4個のグリッドが密着したモデルを、横に4つにスライスして全グリッドが見えるようにしたモデルである。また、図13Cは、3次元レーザスキャナ10の視野を仮想的なイメージに組み上げたイメージモデルである。
床識別部70は、オペレータ等により、予め設定され記憶されている床座標2点情報に基づき、図13Aに示すように、3次元レーザスキャナ10の測定範囲における床603において、床座標2点情報で指定されている2点を通る、3次元レーザスキャナ10の監視領域のX軸と平行な線、具体的には、第1の線608、第2の線609を指定する。当該第1の線608および第2の線609は、図13Cに示すように、3次元レーザスキャナ10の視野内において、当該視野を横切る2本の線として識別できる。
仮に、第1の線608の位置が、3次元レーザスキャナ10から「距離2m」の位置であった場合、当該第1の線608の位置で、3次元レーザスキャナ10からの距離が2mであると検出される物体は、「床」ということになる。そして、第1の線608の位置で、3次元レーザスキャナ10からの距離が2m未満であると検出された物体は、「床以外」の対象物201であるということになる。
なお、ここでは、ある測定点の3次元レーザスキャナ10からの距離とは、当該測定点を通り、X軸と平行な直線状で、3次元レーザスキャナ10との距離が最短となる点について、3次元レーザスキャナ10が検出する距離のことをいうものとする。
同様に、第2の線609の位置が、3次元レーザスキャナ10から「距離10m」の位置であった場合、当該第2の線609の位置で、3次元レーザスキャナ10からの距離が10mであると検出される物体は、「床」ということになる。そして、第2の線609の位置で、3次元レーザスキャナ10からの距離が10m未満であると検出された物体は、「床以外」の対象物201であるということになる。
また、3次元レーザスキャナ10の視野において、第1の線608と第2の線609の床位置情報、すなわち、「床位置」である、第1の線608、第2の線609の線上の位置までの3次元レーザスキャナ10からの距離がわかれば、当該第1の線608と第2の線609以外の全ての場所での「床位置」が計算可能となる。この距離は、第1の線608、第2の線609がそれぞれ通る2点に関する点群データ17を参照すれば、容易に算出可能である。
例えば、第1の線608および第2の線609において、それぞれ、3次元レーザスキャナ10からの距離が2m、10mとなる場合に「床位置」であるなら、第1の線608と第2の線609との中間の位置となる第3の線610においては、
(2+10)÷2=6
という比例計算で、3次元レーザスキャナ10からの距離が6mであれば「床位置」と判断できる。
同様にして、上記比例計算を用いれば、第1の線608と第2の線609との中間の位置以外の全ての場所において、「床位置」と判断できる、3次元レーザスキャナ10からの距離が算出可能である。
以上の考え方に基づき、現データまたは比較データに基づくグリッドに対して、同様な処理操作を行うことによって、床識別部70は、3次元レーザスキャナ10から取得した点群データ17の各点に対応する各グリッドについて、床603なのかそれ以外なのかを識別する。
具体的には、オペレータ等は、予め、3次元レーザスキャナ10の視野内で、「床」に相当する任意の2点を設定し、床座標2点情報として記憶させておく。なお、床座標2点情報を記憶させておく場所は、床識別部70が参照可能な場所であればよい。
床識別部70は、まず、当該床座標2点情報から、設定された2点について、それぞれ、3次元レーザスキャナ10の監視領域のX軸と平行となる線を第1の線608、第2の線609として設定する。具体的には、これらの線は、設定された2点それぞれのY座標の値として設定することができる。床識別部70は、3次元レーザスキャナ10から取得した点群データ17の各点に対応する各グリッドのうち、第1の線608、第2の線609を示すY座標を有し、かつ、物体に相当しているグリッドを参照し、当該グリッドが3次元レーザスキャナ10から、第1の線608、第2の線609までの距離と一致する距離を有する場合に、当該グリッドは「床」に相当するものと識別する。
上述のとおり、第1の線608、第2の線609までの3次元レーザスキャナ10からの距離が分かれば、床識別部70は、3次元レーザスキャナ10の視野において設定可能な、X軸と平行な全ての線について、それらの線が床603上にある場合に3次元レーザスキャナ10からの距離がどの値となればよいかを算出できる。
したがって、全ての線について、上述の、第1の線608、第2の線609を利用して行った処理を行えば、図13Bに示すように、3次元レーザスキャナ10から取得した点群データ17の各点に対応する全てのグリッドについて、「床」と「床以外」とを識別することができる。
なお、図13Bにおいて、床603,対象A601,対象B602以外は、3次元レーザスキャナ10において距離が得られなかったブランクグリッド604である。
床識別部70は、識別結果の情報を、識別情報として、遠近補正部80に出力する。識別情報は、具体的には、3次元レーザスキャナ10の視野における各グリッドに、床なのかそれ以外なのかが紐付けられた情報である。
なお、ここでは、オペレータ等は、床座標2点情報として、「床位置」を示す2点の情報を記憶させておくものとしたが、これに限らず、オペレータ等は、「床位置」を示す点として、3点以上の情報を予め記憶させておくようにしてもよい。
また、ここでは、オペレータ等は、床座標2点情報、すなわち、「床位置」を示す2点を記憶させておき、床識別部70は、当該床座標2点情報から、第1の線608、第2の線609および当該第1の線608、第2の線609までの3次元レーザスキャナ10からの距離を算出して、3次元レーザスキャナ10の視野における全てのグリッドにおいて「床」か「床以外」かを識別するものとしたが、これに限らず、オペレータ等が、予め、第1の線608、第2の線609自体を指定するとともに、当該第1の線608、第2の線609までの3次元レーザスキャナ10からの距離を設定し、記憶させておくようにしてもよい。
具体的には、オペレータ等は、第1の線608、第2の線609を決め、当該第1の線608、第2の線609に対応するグリッドと、当該グリッドの3次元レーザスキャナ10からの距離とを対応付けて記憶させておくようにしてもよい。「床」に相当する第1の線608、第2の線609までの、3次元レーザスキャナ10からの距離は、例えば、監視装置100設置時に測定し、当該測定結果を設定するようにすればよい。
この場合、床識別部70は、予め記憶されている、第1の線608、第2の線609、当該第1の線608、第2の線609に対応するグリッド、当該グリッドの3次元レーザスキャナ10からの距離の情報を用いて、3次元レーザスキャナ10の視野における全てのグリッドにおいて「床」か「床以外」かを識別する。
以上のように、この実施の形態2によれば、床識別部70は、床座標2点情報に基づいて、3次元レーザスキャナ10の視野内の全ての床位置を算出できるようにしたので、オペレータ等は、すなわち、3次元レーザスキャナ10の視野における各グリッドについて、「床」に相当するか「床以外」に相当するかの属性情報を設定して記憶させておく必要がなくなり、オペレータ等による設定作業を削減でき、オペレータ等の作業効率化が図れる。
実施の形態3.
実施の形態2では、オペレータ等は、予め、床座標2点情報とは、「床位置」を示す2床座標2点情報を設定しておき、床識別部70は、当該座標2点情報をもとに、「床」と「床以外」を識別するようにした。
この実施の形態3では、床識別部70は、さらに、3次元レーザスキャナ10の視野における床の位置を嵩上げした仮想床を設定する実施の形態について説明する。
この実施の形態3に係る監視装置100の構成は、実施の形態1において図1を用いて説明した構成と同様であるため、重複した説明を省略する。
また、この実施の形態3に係る監視装置100のハードウェア構成は、実施の形態1において図12A,図12Bを用いて説明した構成と同様であるため、重複した説明を省略する。
また、この実施の形態3に係る監視装置100の動作については、実施の形態1において図4を用いて説明した動作のうち、床識別部70の具体的な動作(図4のステップST405)が異なるのみである。したがって、実施の形態1とは異なる床識別部70の動作についてのみ説明し、その他の、実施の形態1と同様の動作については重複した説明を省略する。
床識別部70は、3次元レーザスキャナ10から出力される点群データ17を取得し、当該点群データ17の各点に対応する各グリッドが、床なのかそれ以外なのかを識別する(ステップST405)。具体的には、予め、オペレータ等が、3次元レーザスキャナ10の視野をスキャンして得られる点群データ17の各点に対応する各グリッドの中から、「床」に相当する2つのグリッドを指定することにより、床座標2点2距離情報を設定し、記憶させておく。床座標2点2距離情報とは、「床位置」を示す2点、および、当該2点それぞれの位置における床嵩上げ後の3次元レーザスキャナ10からの距離の情報である。
床識別部70は、当該床座標2点2距離情報を用いて、点群データ17における「床」と「床以外」を識別する。
ここで、図14は、実施の形態3において、床座標2点2距離情報に基づき「床」と「床以外」とを識別する概念を説明するための図である。
図14Aは、3次元レーザスキャナ10と対象A601,対象B602を横から見た位置関係を示し、3次元レーザスキャナ10の視野を横切る2本の線が設定されている状態をあらわすモデルである。また、図14Bは、図14Aの状態から、床を嵩上げした状態をあらわすモデルである。
床識別部70は、オペレータ等により、予め設定され記憶されている床座標2点2位置情報に基づき、図14Aに示すように、3次元レーザスキャナ10の測定範囲における床603において、床座標2点2位置情報で指定されている2点を通る、3次元レーザスキャナ10の監視領域のX軸と平行な線、具体的には、第1の線608、第2の線609を指定する。
当該第1の線608および第2の線609は、実施の形態2において図13Cで示したのと同様、3次元レーザスキャナ10の視野内において、当該視野を横切る2本の線として識別できる。
この実施の形態3では、さらに、床座標2点2位置情報として、第1の線608および第2の線609の位置において、仮想的に床603を嵩上げできるように予めオペレータ等が設定した、当該床嵩上げ後の床に対する3次元レーザスキャナ10からの距離が記憶されている。当該床嵩上げ後の床面に対する3次元レーザスキャナ10からの距離を、ここでは、宣言距離というものとする。また、床嵩上げ後の床を、「仮想床」(図14Bの611)というものとする。
図14A,図14Bでは、例えば、第1の線608、第2の線609までの、実際の3次元レーザスキャナ10からの距離は、それぞれ、2m、10mであるのに対して、第1の線608、第2の線609の位置における宣言距離には、それぞれ、1m、5mが設定されたものとしている。
当該宣言距離を設定することで、例えば、第1の線608の位置において、3次元レーザスキャナ10からの距離が2mである床603を嵩上げして「仮想床」とすることができる。
この場合、例えば、第1の線608の位置で、3次元レーザスキャナ10からの距離が1mを超えた距離の物体があったとすると、当該物体は、「仮想床」のさらに下に位置するものということになり、床603上の物体としては認識されなくなる。
同様に、例えば、第2の線609の位置で、3次元レーザスキャナ10からの距離が5mを超えた距離の物体があったとすると、当該物体も、「仮想床」のさらに下に位置するものということになり、床603上の物体としては認識されなくなる。
また、3次元レーザスキャナ10の視野において、第1の線608と第2の線609の位置と、第1の線608および第2の線609の位置における宣言距離を利用することで、当該第1の線608と第2の線609以外の全ての場所で床603を嵩上げした「仮想床位置」が計算可能となる。
以上の考え方に基づき、床識別部70は、予めオペレータ等により設定され記憶されている床座標2点2距離情報に基づき、仮想床の位置を計算しておく。
具体的には、オペレータ等は、予め、3次元レーザスキャナ10の視野をスキャンして得られる点群データ17の各点に対応する各グリッドの中から、「床」に相当する任意の2点と、当該2点それぞれの位置における床嵩上げに用いる距離の情報、すなわち宣言情報とを設定し、床座標2点2位置情報として記憶させておく。なお、床座標2点情報を記憶させておく場所は、床識別部70が参照可能な場所であればよい。
オペレータ等は、宣言距離を、例えば、監視装置100設置時に3次元レーザスキャナ10で測定された床603まで距離等を参考にして、仮想床611が所望の嵩上げ高さになるよう、適宜設定するようにすればよい。
床識別部70は、まず、当該床座標2点2距離情報から、設定された2点について、それぞれ、3次元レーザスキャナ10の監視領域のX軸と平行となる線を第1の線608、第2の線609として設定する。具体的には、これらの線は、設定された2点それぞれのY座標の値として設定することができる。床識別部70は、3次元レーザスキャナ10から取得した点群データ17の各点に対応する各グリッドのうち、第1の線608、第2の線609を示すY座標を有し、かつ、物体に相当しているグリッドを参照し、当該グリッドが、3次元レーザスキャナ10から第1の線608、第2の線609までの距離と一致する距離を有する場合に、当該グリッドは「床」に相当するものと識別する。
第1の線608、第2の線609の線までの3次元レーザスキャナ10からの距離が分かれば、実施の形態2で説明したとおり、床識別部70は、3次元レーザスキャナ10の視野において設定可能なX軸と平行な全ての線について、それらの線が床603上にある場合に3次元レーザスキャナ10からの距離がどの値となればよいかを算出することができ、さらに、全てのグリッドを「床」と「床以外」として識別することができる。
この実施の形態3では、床座標2点2距離情報の宣言情報を用いて、床識別部70は、床603として識別されたグリッドに基づき、当該「床」を嵩上げした「仮想床」を設定する。
具体的には、床識別部70は、図14Bに示すように、床603が嵩上げされた仮想床611を設定する。
例えば、3次元レーザスキャナ10から見た第1の線608の俯角が45°であるものとすると、実際の床603と仮想床611との距離は、以下のとおり、0.7mとなる。

2×sin45°-1×sin45°
≒0.7(m)

ここでは、実際の床603を「真の床」というものとすると、「仮想床」は、「真の床」より、0.7m高い位置に設定される。
床識別部70は、「仮想床」の高さを算出すると、3次元レーザスキャナ10から取得した点群データ17のグリッドのうち、床603に相当するグリッドを当該床603から0.7mの高さとなるグリッドまで嵩上げし、「仮想床」として設定し、それ以外のグリッドを「仮想床以外」と識別する。
このような処理により、対象A601,対象B602は、図14Bに示すように、実際の底面から0.7mの高さまでは仮想床611の下となり、存在しない部分となる。
同じく、0.7mの高さ未満の「真の床」上に存在する、例えばゴミ612のような物体は、仮想床611の下となり、存在しない物体となる。
このように、ゴミのような、余分なノイズ的成分の物体は、3次元レーザスキャナの視野においては存在しないものとみなされ、例えば、対象A601,対象B602等、本来の対象物201の検知精度が向上する。
床識別部70は、識別結果の情報を、識別情報として、遠近補正部80に出力する。識別情報は、具体的には、3次元レーザスキャナ10の視野における各グリッドに、床なのかそれ以外なのかが紐付けられた情報であるが、この実施の形態3では、床識別部70は、識別情報において、「仮想床」を「床」、「仮想床以外」を「床以外」の情報として、遠近補正部80に出力する。すなわち、床識別部70は、識別情報において、3次元レーザスキャナ10の視野における各グリッドに、仮想床なのかそれ以外なのかが紐付けられた情報を、床なのかそれ以外なのかが紐付けられた情報として、遠近補正部80に出力する。
なお、ここでは、オペレータ等は、床座標2点2距離情報として、「床位置」を示す2点、および、当該2点それぞれの位置における宣言距離の情報を記憶させておくものとしたが、これに限らず、オペレータ等は、「床位置」を示す点として、3点以上、および、当該3点以上それぞれの位置における宣言距離の情報を予め記憶させておくようにしてもよい。
以上のように、この実施の形態3によれば、床識別部70は、床座標2点2距離情報に基づいて、実際の床を嵩上げした仮想床を設定するようにしたので、実際の床面の凹凸、あるいは、実際の床面上に存在するゴミ等の非検知対象の異物を存在しないものとして除外することができ、対象物の認識精度の向上が図れる。
なお、実施の形態1において、監視装置100は、図1で示すような構成としたが、監視装置100は、現データ演算部20と、比較データ演算部30と、床識別部70と、遠近補正部80と、変化領域抽出部40とを備えることにより、上述したような効果が得られるものである。
また、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
10 3次元レーザスキャナ、11 レーザ発光ユニット、12 レーザ光パルス、13 分散機構、14 分散レーザ光パルス、15 レーザ反射光、16 レーザ受光ユニット、17 点群データ、20 現データ演算部、21 現データ蓄積部、30 比較データ演算部、31 比較データ蓄積部、40 変化領域抽出部、50 認識処理部、60 報知処理部、70 床識別部、80 遠近補正部、100 監視装置、200 背景、201 対象物、601 対象A、602 対象B、603 床、604 ブランクグリッド、605,606,607 矢印、608 第1の線、609 第2の線、610 第3の線、611 仮想床、612 ゴミ、801 傾斜補正部、802 復元部、803 補正部、1201 処理回路、1202 HDD、1203 入力インタフェース装置、1204 出力インタフェース装置、1205 メモリ、1206 CPU。

Claims (4)

  1. 監視領域を測定した3次元レーザスキャナの測定結果から、前記監視領域に存在する物体までの距離データを取得し、現距離データとグリッドを示す情報とを紐付ける現データ演算部と、
    前記測定結果から過去の前記距離データを取得し、比較距離データに変換してグリッドを示す情報と紐付ける比較データ演算部と、
    前記現距離データおよび前記比較距離データについて、前記距離データが示す物体が、床か床以外かを識別する床識別部と
    近補正を行う遠近補正部と、
    前記遠近補正部が遠近補正を行った遠近補正後現距離データと遠近補正後比較距離データとの差分値を算出し、当該差分値が閾値以上である領域を変化領域として抽出する変化領域抽出部と、
    前記3次元レーザスキャナから見た前記監視領域のうちの前記変化領域の面積に基づいて報知対象を認識する認識処理部
    とを備え、
    前記遠近補正部は、
    前記現距離データに紐付けられたグリッドと前記比較距離データに紐付けられたグリッドに対し、それぞれ、前記床と識別された物体を示す距離データに紐付けられたグリッドを対象に、前記床が水平になるように前記グリッドを上下方向にシフトさせて傾斜補正を行う傾斜補正部と、
    前記傾斜補正部が傾斜補正を行った後の現距離データのグリッドおよび比較距離データのグリッドについて、前記床と識別された物体を示す距離データのグリッドを基準として、前記床以外と識別された物体を示す距離データのグリッドを復元させる復元部と、
    前記復元部が前記床以外と識別された物体の距離データのグリッドを復元させた現距離データのグリッドおよび比較距離データのグリッドについて、補正倍率を用いて遠近補正する補正部とを備え、
    前記補正倍率は、前記3次元レーザスキャナからの、基準となる距離と、前記補正倍率を用いて遠近補正される物体までの距離に応じて設定される、
    ものであることを特徴とする監視装置。
  2. 前記床識別部は、
    前記3次元レーザスキャナの測定結果の距離データごとに、床であるか床以外であるかが紐付けられた情報に基づき、床か床以外かを識別する
    ことを特徴とする請求項1記載の監視装置。
  3. 前記床識別部は、
    前記3次元レーザスキャナの測定結果の距離データのうち、前記床に相当するものとして指定された複数の点に基づき設定される、前記監視領域を横切る第1の線および第2の線の情報と、前記測定結果から特定される当該第1の線および第2の線上の測定点までの距離の情報とに基づき、前記床と床以外を識別する
    ことを特徴とする請求項1記載の監視装置。
  4. 監視領域を測定した3次元レーザスキャナの測定結果から、前記監視領域に存在する物体までの距離データを取得し、現距離データとグリッドを示す情報とを紐付ける現データ演算部と、
    前記測定結果から過去の前記距離データを取得し、比較距離データに変換してグリッドを示す情報と紐付ける比較データ演算部と、
    前記現距離データおよび前記比較距離データについて、前記距離データが示す物体が、床を仮想的に嵩上げした仮想床か仮想床以外かを識別する床識別部と、
    遠近補正を行う遠近補正部と、
    前記遠近補正部が遠近補正を行った遠近補正後現距離データと遠近補正後比較距離データとの差分値を算出し、当該差分値が閾値以上である領域を変化領域として抽出する変化領域抽出部と、
    前記3次元レーザスキャナから見た前記監視領域のうちの前記変化領域の面積に基づいて報知対象を認識する認識処理部
    とを備え、
    前記床識別部は、
    前記3次元レーザスキャナの測定結果の距離データのうち、前記床に相当するものとして指定された複数の点に基づき設定される、前記監視領域を横切る第1の線および第2の線の情報と、
    前記測定結果から特定される当該第1の線および第2の線上の測定点までの距離の情報と、
    に基づき、前記距離データが示す物体が、床か床以外かを識別し、
    さらに、前記床に相当する複数の点に対して設定された、前記床を嵩上げした仮想床を示す距離の情報、に基づき、前記床を仮想的に嵩上げして、前記距離データが示す物体が、仮想床か仮想床以外かを識別し、
    前記遠近補正部は、
    前記現距離データに紐付けられたグリッドと前記比較距離データに紐付けられたグリッドに対し、それぞれ、前記仮想床と識別された物体を示す距離データに紐付けられたグリッドを対象に、前記仮想床が水平になるように前記グリッドを上下方向にシフトさせて傾斜補正を行う傾斜補正部と、
    前記傾斜補正部が傾斜補正を行った後の現距離データのグリッドおよび比較距離データのグリッドについて、前記仮想床と識別された物体を示す距離データのグリッドを基準として、前記仮想床以外と識別された物体を示す距離データのグリッドを復元させる復元部と、
    前記復元部が前記仮想床以外と識別された物体の距離データのグリッドを復元させた現距離データのグリッドおよび比較距離データのグリッドについて、補正倍率を用いて遠近補正する補正部とを備え、
    前記補正倍率は、前記3次元レーザスキャナからの、基準となる距離と、前記補正倍率を用いて遠近補正される物体までの距離に応じて設定される、
    ものであることを特徴とする監視装置。
JP2016121619A 2016-06-20 2016-06-20 監視装置 Active JP7054989B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016121619A JP7054989B2 (ja) 2016-06-20 2016-06-20 監視装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016121619A JP7054989B2 (ja) 2016-06-20 2016-06-20 監視装置

Publications (2)

Publication Number Publication Date
JP2017227454A JP2017227454A (ja) 2017-12-28
JP7054989B2 true JP7054989B2 (ja) 2022-04-15

Family

ID=60889206

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016121619A Active JP7054989B2 (ja) 2016-06-20 2016-06-20 監視装置

Country Status (1)

Country Link
JP (1) JP7054989B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6995687B2 (ja) * 2018-04-27 2022-01-17 株式会社小松製作所 積込機械の制御装置及び積込機械の制御方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016002776A1 (ja) 2014-07-03 2016-01-07 三菱電機株式会社 監視装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10143659A (ja) * 1996-11-06 1998-05-29 Komatsu Ltd 物体検出装置
JP5322789B2 (ja) * 2009-06-15 2013-10-23 三菱電機株式会社 モデル生成装置、モデル生成方法、モデル生成プログラム、点群画像生成方法および点群画像生成プログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016002776A1 (ja) 2014-07-03 2016-01-07 三菱電機株式会社 監視装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
川島 千明,大規模環境レーザ計測点群からのプラント配管系統の高度自動認識に関する研究,北海道大学 博士論文[オンライン],2014年3月25日[検索日 2020年2月20日],66-71頁,URL,http://hdl.handle.net/2115/55600

Also Published As

Publication number Publication date
JP2017227454A (ja) 2017-12-28

Similar Documents

Publication Publication Date Title
Schauer et al. The peopleremover—removing dynamic objects from 3-d point cloud data by traversing a voxel occupancy grid
JP5462093B2 (ja) 点群データ処理装置、点群データ処理システム、点群データ処理方法、および点群データ処理プログラム
US9117281B2 (en) Surface segmentation from RGB and depth images
JP5343042B2 (ja) 点群データ処理装置および点群データ処理プログラム
Truong‐Hong et al. Combining an angle criterion with voxelization and the flying voxel method in reconstructing building models from LiDAR data
CA3066502A1 (en) Determining positions and orientations of objects
JP5822255B2 (ja) 対象物識別装置及びプログラム
JP2015535337A (ja) 角度スキャン速度の動的調整を伴うレーザスキャナ
JP2016166853A (ja) 位置推定装置および位置推定方法
JP6185385B2 (ja) 空間構造推定装置、空間構造推定方法及び空間構造推定プログラム
JP6781432B2 (ja) 電波伝搬シミュレーションモデルの作成方法、作成システム、作成装置および作成プログラム
JP2007114831A (ja) 物体検出装置
Weinmann et al. Preliminaries of 3D point cloud processing
KR20160051804A (ko) 물리 평면의 디지털 표현의 확장
JP7128568B2 (ja) 監視装置
US7477775B2 (en) Microscope system
US10055638B2 (en) Image processing device, imaging device, microscope device, image processing method, and image processing program
JP7054989B2 (ja) 監視装置
JP5686012B2 (ja) 表面欠陥検査装置及び方法
JP2018508850A (ja) 3d撮像によりシーンの物体を識別および同定する方法
JP6599031B2 (ja) 監視装置
JP2019007744A (ja) 物体検知装置、プログラムおよび物体検知システム
WO2021220345A1 (ja) エレベーターの3次元データの処理装置
JP7141525B2 (ja) 支持構造の深さを決定するための方法、システムおよび装置
JP6758152B2 (ja) 監視用画像処理装置および監視装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190208

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200310

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200427

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20200427

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200929

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20201217

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20210525

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20210608

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20210720

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20210803

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210930

C30 Protocol of an oral hearing

Free format text: JAPANESE INTERMEDIATE CODE: C30

Effective date: 20211129

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20211221

C302 Record of communication

Free format text: JAPANESE INTERMEDIATE CODE: C302

Effective date: 20211223

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220201

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20220301

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20220329

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20220329

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220405

R150 Certificate of patent or registration of utility model

Ref document number: 7054989

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150