JP7405395B2 - 物体検知装置、システム、方法、及びプログラム - Google Patents

物体検知装置、システム、方法、及びプログラム Download PDF

Info

Publication number
JP7405395B2
JP7405395B2 JP2019184335A JP2019184335A JP7405395B2 JP 7405395 B2 JP7405395 B2 JP 7405395B2 JP 2019184335 A JP2019184335 A JP 2019184335A JP 2019184335 A JP2019184335 A JP 2019184335A JP 7405395 B2 JP7405395 B2 JP 7405395B2
Authority
JP
Japan
Prior art keywords
detection
reference plane
monitoring area
unit
point group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019184335A
Other languages
English (en)
Other versions
JP2021060784A (ja
Inventor
悟己 上野
教之 青木
真則 高岡
研二 河野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Communication Systems Ltd
Original Assignee
NEC Communication Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Communication Systems Ltd filed Critical NEC Communication Systems Ltd
Priority to JP2019184335A priority Critical patent/JP7405395B2/ja
Publication of JP2021060784A publication Critical patent/JP2021060784A/ja
Application granted granted Critical
Publication of JP7405395B2 publication Critical patent/JP7405395B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Train Traffic Observation, Control, And Security (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Image Analysis (AREA)

Description

本発明は、物体検知装置、システム、方法、及びプログラムに関する。
鉄道業界では、点検中の線路への作業員の侵入、特に、列車通過時の作業員の有無確認を自動化して効率化と安全性の向上を行いたいという要望がある。このような要望に応えるために、センサ、カメラなどの検出手段を用いて所定の領域に存在する物体を検知する装置又はシステムを応用することが考えられる(例えば、特許文献1、2参照)。このような装置又はシステムでは、列車と作業員とを区別するために、列車用の検出手段と作業員用の検出手段とを設ける必要がある。しかしながら、列車用の検出手段と作業員用の検出手段とを設けると、構成が複雑化し、設備費用が増大するといった問題がある。そこで、構成を簡略化しかつ設備費用を削減する技術として、特許文献3では、1個のレーザレーダのみを用いて周辺領域に対して物体を検知してその物体が列車であるか否かを識別する検知装置がある。
国際公開第2019/111859号 特開2018-90099号公報 特開2005-212553号公報
以下の分析は、本願発明者により与えられる。
しかしながら、特許文献3に係る検知装置は、レーザレーダにより検知される距離情報に基づいて、検知した物体を列車と列車以外のものとを区別しているにすぎないため、列車の運行の妨げにならない資材、作業工具、作業中に積み上げた土砂なども列車と誤って検知してしまう可能性がある。
本発明の主な課題は、構成を簡略化しつつ誤検知を低減するのに貢献することができる物体検知装置、システム、方法、及びプログラムを提供することである。
第1の視点に係る物体検知装置は、ユーザの操作を受ける操作部を備える。前記物体検知装置は、前記操作部から入力された条件に基づいて撮影データに対して監視領域を指定するように構成された監視領域指定部を備える。前記物体検知装置は、前記撮影データにおける前記監視領域の中の点群に基づいて1つ以上の平面を検出し、前記1つ以上の平面の中から少なくとも1つの基準面を選択するように構成された基準面選択処理部を備える。前記物体検知装置は、前記撮影データにおける前記監視領域の中の点群のうち前記基準面上の点群に基づいて、前記操作部から入力された検出条件に合致した検知対象物体を検出するように構成された検出処理部を備える。前記物体検知装置は、少なくとも前記監視領域、前記基準面、及び前記検出条件を用いて、前記検知対象物体の検出に関する結果を生成するように構成された結果生成部を備える。前記物体検知装置は、少なくとも前記撮影データ及び前記結果を表示するように構成された表示部を備え、前記検出処理部は、前記撮影データにおける前記監視領域の中の点群から、前記基準面の点群を削除し、前記基準面上の物体の点群毎の距離によって切り離す1又は複数のセグメントを作成し、作成された1又は複数の前記セグメントの中の点群に基づいて、前記検出条件に合致した前記検知対象物体を検出するように構成され、前記結果生成部は、前記監視領域、前記基準面及び前記セグメントのいずれか又は全ての図形を生成し、かつ、前記検出条件及び前記セグメントに基づいて諸元を算出するように構成され、前記結果は、少なくとも前記図形及び前記諸元を含み、前記検出条件は、高さ以外の検出条件であり、前記諸元は、高さ以外の諸元である
第2の視点に係る物体検知システムは、所定空間を撮影した撮影データを出力するように構成された3次元センサと、前記第1の視点に係る物体検知装置と、を備える。
第3の視点に係る物体検知方法は、入力された条件に基づいて撮影データに対して監視領域を指定するステップを含む。前記物体検知方法は、前記撮影データにおける前記監視領域の中の点群に基づいて1つ以上の平面を検出し、前記1つ以上の平面の中から少なくとも1つの基準面を選択するステップを含む。前記物体検知方法は、前記撮影データにおける前記監視領域の中の点群のうち前記基準面上の点群に基づいて、入力された検出条件に合致した検知対象物体を検出するステップを含む。前記物体検知方法は、少なくとも前記監視領域、前記基準面、及び前記検出条件を用いて、前記検知対象物体の検出に関する結果を生成するステップを含む。前記物体検知方法は、少なくとも前記撮影データ及び前記結果を表示するステップを含み、前記検知対象物体を検出するステップでは、前記撮影データにおける前記監視領域の中の点群から、前記基準面の点群を削除し、前記基準面上の物体の点群毎の距離によって切り離す1又は複数のセグメントを作成し、作成された1又は複数の前記セグメントの中の点群に基づいて、前記検出条件に合致した前記検知対象物体を検出し、前記結果を生成するステップでは、前記監視領域、前記基準面及び前記セグメントのいずれか又は全ての図形を生成し、かつ、前記検出条件及び前記セグメントに基づいて諸元を算出し、前記結果は、少なくとも前記図形及び前記諸元を含み、前記検出条件は、高さ以外の検出条件であり、前記諸元は、高さ以外の諸元である
第4の視点に係るプログラムは、入力された条件に基づいて撮影データに対して監視領域を指定する処理をハードウェア資源に実行させる。前記プログラムは、前記撮影データにおける前記監視領域の中の点群に基づいて1つ以上の平面を検出し、前記1つ以上の平面の中から少なくとも1つの基準面を選択する処理をハードウェア資源に実行させる。前記プログラムは、前記撮影データにおける前記監視領域の中の点群のうち前記基準面上の点群に基づいて、入力された検出条件に合致した検知対象物体を検出する処理をハードウェア資源に実行させる。前記プログラムは、少なくとも前記監視領域、前記基準面、及び前記検出条件を用いて、前記検知対象物体の検出に関する結果を生成する処理をハードウェア資源に実行させる。前記プログラムは、少なくとも前記撮影データ及び前記結果を表示する処理をハードウェア資源に実行させ、前記検知対象物体を検出する処理では、前記撮影データにおける前記監視領域の中の点群から、前記基準面の点群を削除し、前記基準面上の物体の点群毎の距離によって切り離す1又は複数のセグメントを作成し、作成された1又は複数の前記セグメントの中の点群に基づいて、前記検出条件に合致した前記検知対象物体を検出し、前記結果を生成する処理では、前記監視領域、前記基準面及び前記セグメントのいずれか又は全ての図形を生成し、かつ、前記検出条件及び前記セグメントに基づいて諸元を算出し、前記結果は、少なくとも前記図形及び前記諸元を含み、前記検出条件は、高さ以外の検出条件であり、前記諸元は、高さ以外の諸元である
なお、プログラムは、コンピュータが読み取り可能な記憶媒体に記録することができる。記憶媒体は、半導体メモリ、ハードディスク、磁気記録媒体、光記録媒体等の非トランジェント(non-transient)なものとすることができる。また、本開示では、コンピュータプログラム製品として具現することも可能である。プログラムは、コンピュータ装置に入力装置又は外部から通信インタフェイスを介して入力され、記憶装置に記憶されて、プロセッサを所定のステップないし処理に従って駆動させ、必要に応じ中間状態を含めその処理結果を段階毎に表示装置を介して表示することができ、あるいは通信インタフェイスを介して、外部と交信することができる。そのためのコンピュータ装置は、一例として、典型的には互いにバスによって接続可能なプロセッサ、記憶装置、入力装置、通信インタフェイス、及び必要に応じ表示装置を備える。
前記第1~第4の視点によれば、構成を簡略化しつつ誤検知を低減するのに貢献することができる。
実施形態1に係る物体検知システムの構成及び一使用態様を模式的に示したブロック図である。 実施形態1に係る物体検知システムにおける物体検知装置の構成を模式的に示したブロック図である。 実施形態1に係る物体検知システムにおける表示画面の一例を模式的に示したイメージ図である。 実施形態1に係る物体検知システムにおける物体検知装置の前処理部で前処理した後の撮影データの一例を模式的に示したイメージ図である。 実施形態1に係る物体検知システムにおける物体検知装置の監視領域指定部で監視領域を指定した後の撮影データの一例を模式的に示したイメージ図である。 実施形態1に係る物体検知システムにおける物体検知装置の基準面選択処理部で床面決定処理した後の撮影データの一例を模式的に示したイメージ図である。 実施形態1に係る物体検知システムにおける物体検知装置の検出処理部で検出条件なしで検出処理した後の撮影データの一例を模式的に示したイメージ図である。 実施形態1に係る物体検知システムにおける物体検知装置の検出処理部で検出条件を高さ90cm以上であり、かつ、除外領域50にない物体として検出処理した後の撮影データの一例を模式的に示したイメージ図である。 実施形態1に係る物体検知システムにおける物体検知装置の検出処理部で検出条件を高さ90cm以上又は移動しており、かつ、除外領域50にない物体として検出処理した後の撮影データの一例を模式的に示したイメージ図である。 実施形態1に係る物体検知システムにおける物体検知装置の検出処理部で検出条件を高さ90cm以上又は移動しており、かつ、除外領域50にない条件で検出処理した後に検知対象物体が基準面外に移動したときの撮影データを模式的に示したイメージ図である。 実施形態1に係る物体検知システムにおける物体検知装置で基準面を変更し、かつ、検出条件を高さ90cm以上又は移動している物体とする条件で検出処理した後の撮影データの一例を模式的に示したイメージ図である。 実施形態1に係る物体検知システムにおける物体検知装置で複数の作業員が作業する作業現場を確認しているときに検出条件を高さ90cm以上又は移動している物体とする条件で検出処理した後の撮影データの一例を模式的に示したイメージ図である。 実施形態1に係る物体検知システムにおける物体検知装置で作業終了後の忘れ物及び落下物を確認しているときに検出条件を高さ50cm以下の物体とする条件で検出処理した後の撮影データの一例を模式的に示したイメージ図である。 実施形態1に係る物体検知システムにおける物体検知装置の動作を模式的に示したフローチャート図である。 実施形態2に係る物体検知装置の構成を模式的に示したブロック図である。 ハードウェア資源の構成を模式的に示したブロック図である。
以下に説明する本開示では、モード1に係る物体検知装置及びその変形モードを適宜選択して組み合わせることができる。
前記モード1に係る物体検知装置として、ユーザの操作を受ける操作部と、前記操作部から入力された条件に基づいて撮影データに対して監視領域を指定するように構成された監視領域指定部と、前記撮影データにおける前記監視領域の中の点群に基づいて1つ以上の平面を検出し、前記1つ以上の平面の中から少なくとも1つの基準面を選択するように構成された基準面選択処理部と、前記撮影データにおける前記監視領域の中の点群のうち前記基準面上の点群に基づいて、前記操作部から入力された検出条件に合致した検知対象物体を検出するように構成された検出処理部と、少なくとも前記監視領域、前記基準面、及び前記検出条件を用いて、前記検知対象物体の検出に関する結果を生成するように構成された結果生成部と、少なくとも前記撮影データ及び前記結果を表示するように構成された表示部と、を備える物体検知装置が可能である。
前記モード1に係る物体検知装置の変形モードとして、前記検出処理部は、前記撮影データにおける前記監視領域の中の点群から、前記基準面の点群を削除し、前記基準面上の物体の点群毎の距離によって切り離す1又は複数のセグメントを作成し、作成された1又は複数の前記セグメントの中の点群に基づいて、前記検出条件に合致した前記検知対象物体を検出するように構成されている、物体検知装置とすることができる。
前記モード1に係る物体検知装置の変形モードとして、前記結果生成部は、前記監視領域、前記基準面及び前記セグメントのいずれか又は全ての図形を生成し、かつ、前記検出条件及び前記セグメントに基づいて諸元を算出するように構成され、前記結果は、少なくとも前記図形及び前記諸元を含む、物体検知装置とすることができる。
前記モード1に係る物体検知装置の変形モードとして、前記検出処理部は、前記検知対象物体の前記セグメントにラベル付けを行うように構成され、前記結果生成部は、前記ラベルの有無により前記検知対象物体の前記セグメントがあるか否かを判定し、前記検知対象物体の前記セグメントがある場合には警告情報を生成するように構成され、前記表示部は、前記警告情報を表示するように構成されている、物体検知装置とすることができる。
前記モード1に係る物体検知装置の変形モードとして、前記基準面選択処理部は、前記基準面に係る情報を複数保存し、前記操作部からの操作により前記基準面を切り替え可能に構成されている、物体検知装置とすることができる。
前記モード1に係る物体検知装置の変形モードとして、前記撮影データのフォーマットを前記物体検知装置において共通に使える共通フォーマットに変換するように構成された前処理部をさらに備え、前記共通フォーマットに変換された前記撮影データは、前記監視領域指定部及び前記基準面選択処理部並びに前記検出処理部に入力される、物体検知装置とすることができる。
前記モード1に係る物体検知装置の変形モードとして、前記結果を外部の端末に送信するように構成された通信部をさらに備える、物体検知装置とすることができる。
前記モード1に係る物体検知装置の変形モードとして、前記監視領域指定部は、前記条件がない場合、前記撮影データの撮像全景を前記監視領域に指定するように構成されている、物体検知装置とすることができる。
前記モード1に係る物体検知装置の変形モードとして、前記監視領域指定部は、前記撮影データに対して前記監視領域を指定するように構成された領域指定部と、前記撮影データに対する前記監視領域の角度を指定するように構成された角度指定部と、を備える、物体検知装置とすることができる。
前記モード1に係る物体検知装置の変形モードとして、前記監視領域指定部は、前記監視領域に係る情報を複数保存し、前記操作部からの操作により前記監視領域を切り替え可能に構成されている、物体検知装置とすることができる。
前記モード1に係る物体検知装置の変形モードとして、前記基準面選択処理部は、検出された前記平面が1つである場合、自動処理により、検出された前記平面を前記基準面として選択し、検出された前記平面が複数である場合、前記操作部の操作によって、検出された複数の前記平面の中から1又は複数の前記基準面を選択するように構成されている、物体検知装置とすることができる。
前記モード1に係る物体検知装置の変形モードとして、前記前処理部は、前記共通フォーマットに変換された前記撮影データのノイズを除去するように構成され、前記ノイズが除去された前記撮影データは、前記監視領域指定部及び前記基準面選択処理部並びに前記検出処理部に入力される、物体検知装置とすることができる。
本開示では、モード2に係る物体検知システムとして、所定空間を撮影した撮影データを出力するように構成された3次元センサと、前記モード1に係る物体検知装置と、を備える物体検知システムが可能である。
本開示では、モード3に係る物体検知方法として、入力された条件に基づいて撮影データに対して監視領域を指定するステップと、前記撮影データにおける前記監視領域の中の点群に基づいて1つ以上の平面を検出し、前記1つ以上の平面の中から少なくとも1つの基準面を選択するステップと、前記撮影データにおける前記監視領域の中の点群のうち前記基準面上の点群に基づいて、入力された検出条件に合致した検知対象物体を検出するステップと、少なくとも前記監視領域、前記基準面、及び前記検出条件を用いて、前記検知対象物体の検出に関する結果を生成するステップと、少なくとも前記撮影データ及び前記結果を表示するステップと、を含む物体検知方法が可能である。
本開示では、モード4に係るプログラムとして、入力された条件に基づいて撮影データに対して監視領域を指定する処理と、前記撮影データにおける前記監視領域の中の点群に基づいて1つ以上の平面を検出し、前記1つ以上の平面の中から少なくとも1つの基準面を選択する処理と、前記撮影データにおける前記監視領域の中の点群のうち前記基準面上の点群に基づいて、入力された検出条件に合致した検知対象物体を検出する処理と、少なくとも前記監視領域、前記基準面、及び前記検出条件を用いて、前記検知対象物体の検出に関する結果を生成する処理と、少なくとも前記撮影データ及び前記結果を表示する処理と、をハードウェア資源に実行させるプログラムが可能である。
以下、実施形態について図面を参照しつつ説明する。なお、本出願において図面参照符号を付している場合は、それらは、専ら理解を助けるためのものであり、図示の態様に限定することを意図するものではない。また、下記の実施形態は、あくまで例示であり、本発明を限定するものではない。また、以降の説明で参照する図面等のブロック間の接続線は、双方向及び単方向の双方を含む。一方向矢印については、主たる信号(データ)の流れを模式的に示すものであり、双方向性を排除するものではない。さらに、本願開示に示す回路図、ブロック図、内部構成図、接続図などにおいて、明示は省略するが、入力ポート及び出力ポートが各接続線の入力端及び出力端のそれぞれに存在する。入出力インタフェイスも同様である。プログラムはコンピュータ装置を介して実行され、コンピュータ装置は、例えば、プロセッサ、記憶装置、入力装置、通信インタフェイス、及び必要に応じ表示装置を備え、コンピュータ装置は、通信インタフェイスを介して装置内又は外部の機器(コンピュータを含む)と、有線、無線を問わず、交信可能に構成される。
[実施形態1]
実施形態1に係る物体検知システムについて図面を用いて説明する。図1は、実施形態1に係る物体検知システムの構成及び一使用態様を模式的に示したブロック図である。図2は、実施形態1に係る物体検知システムにおける物体検知装置の構成を模式的に示したブロック図である。図3は、実施形態1に係る物体検知システムにおける表示画面の一例を模式的に示したイメージ図である。ここでは、鉄道会社における線路点検作業の際に危険な列車進行路への作業員の侵入の状態を例に説明する。
物体検知システム1は、3次元センサ300を用いて基準面31に存在する検知対象物体11を選択的に検知するシステムである(図1参照)。物体検知システム1では、3次元センサ300、物体検知装置200、及び携帯通信端末500がネットワーク400を介して通信可能に接続された構成となっている。物体検知システム1では、物体検知装置200が3次元センサ300で撮影された撮影データ(図2の100)に基づいて基準面31に存在する非検知対象物体12よりも高い検知対象物体11を選択的に検知する。ここで、撮影データ100は、3次元センサ300で撮影した3次元点群データである。物体検知システム1は、例えば、図3に例示したように、検知した検知対象物体11をセグメント40aとともに表示する。
3次元センサ300は、撮影領域(例えば、図4~図13の20)内の物体(検知対象物体11、非検知対象物体12)の表面をセンシングして撮影するセンサである(図1参照)。3次元センサ300は、ネットワーク400を介して物体検知装置200及び携帯通信端末500と通信可能に接続されている。3次元センサ300は、撮影領域20を撮影した撮影データ(図2の100)を物体検知装置200及び携帯通信端末500に向けて出力する。なお、撮影データ100は、点群(多数の点の3次元座標)で描画された点群データ(3次元点群データ)である。3次元センサ300は、検知対象物体11の検知に必要な撮影距離、画角、屋内外、日照の有無などの環境条件や顧客要望に応じて選択することができる。また、3次元センサ300には、各種メーカーから販売されている製品を用いることができる。3次元センサ300として、例えば、ステレオカメラ、ToF(Time of Flight)カメラ、3D-LIDAR(Three Dimensions - Laser Imaging Detection and Ranging)等を用いることができる。3次元センサ300は、撮影領域20を撮影できる位置に取り付け又は設置され、取り付け又は設置するのに適切な支持物(壁や柱など)がない場合には図1のように三脚301を用いて取り付け又は設置してもよい。3次元センサ300は、撮影領域20に少なくとも1つあればよいが、撮影領域20に複数あってもよい。また、3次元センサ300は、撮影領域20が広大で1つのセンサで撮影することが困難な場合にも複数用いてもよい。なお、3次元センサ300が撮影領域20に複数ある場合には、種類やメーカーが異なっていてもよい。また、3次元センサ300が撮影領域20に複数ある場合には、各3次元センサ300で撮影された各撮影データを物体検知装置200で合成すればよい。また、3次元センサ300は、床面と相対位置に変化がない範囲で移動してもよい。
ネットワーク400は、3次元センサ300と物体検知装置200との間を通信可能に接続する有線又は無線の通信網である。ネットワーク400には、例えば、PAN(Personal Area Network)、LAN(Local Area Network)、MAN(Metropolitan Area Network)、WAN(Wide Area Network)、GAN(Global Area Network)等の通信網を用いることができる。
携帯通信端末500は、3次元センサ300及び物体検知装置200からの情報を表示することが可能な端末である(図1参照)。携帯通信端末500は、例えば、現場監督、作業員等によって使用される。携帯通信端末500には、携帯可能な通信端末が用いられ、例えば、スマートフォン、携帯電話機、タブレット端末等が用いられる。携帯通信端末500は、ネットワーク400を介して物体検知装置200及び3次元センサ300と通信可能に接続されている。携帯通信端末500は、3次元センサ300からの撮影データ(図2の100)を受信して表示する。携帯通信端末500は、物体検知装置200からの結果(図2の110)及び警告情報(受信した場合)を受信して表示する。
物体検知装置200は、撮影データ100に基づいて基準面31に存在する検知対象物体11を選択的に検知する装置である(図1、図2参照)。物体検知装置200は、監視者によって使用される。物体検知装置200は、コンピュータを構成する機能部(例えば、プロセッサ、記憶装置、入力装置、通信インタフェイス、及び表示装置)を有する装置(コンピュータ装置)を用いることができる。物体検知装置200として、例えば、計算機、パーソナルコンピュータ、ノート型パーソナルコンピュータ、タブレット端末等のハードウェア資源を用いることができる。物体検知装置200は、所定のプログラム(ソフトウェア)を実行することにより、前処理部210と、監視領域指定部220と、基準面選択処理部230と、検出処理部240と、結果生成部250と、インタフェイス部260と、を実現する。
前処理部210は、撮影データ100に対して所定の前処理(ここでは、フォーマット変換、ノイズ除去)を行う機能部である(図2参照)。前処理部210は、3次元センサ(図1の300)からの撮影データ100を取得する。前処理部210は、前処理された撮影データ100を監視領域指定部220、基準面選択処理部230、及び、インタフェイス部260の表示部262に向けて出力する。前処理部210は、フォーマット変換部211と、ノイズ除去部212と、を有する。
フォーマット変換部211は、3次元センサ(図1の300)の種類によって異なる撮影データ100のフォーマットを、物体検知装置200において共通に使える共通フォーマットに変換する機能部である(図2参照)。フォーマット変換部211は、3次元センサ(図1の300)からの撮影データ100を取得する。フォーマット変換部211は、共通フォーマットに変換された撮影データ100を、ノイズ除去部212に向けて出力する。
ノイズ除去部212は、撮影データ100における点群の中からノイズ(検知に不要な点群)を除去する機能部である(図2参照)。ノイズ除去部212は、フォーマット変換部211からの撮影データ100を取得する。ノイズ除去部212は、ノイズが除去された撮影データ100を監視領域指定部220、基準面選択処理部230、及び、インタフェイス部260の表示部262に向けて出力する。ノイズ除去方法として、例えば、平滑化処理、フィルタリング(例えば、移動平均フィルタ処理、メディアンフィルタ処理など)、外れ値除去処理(例えば、カイの二乗検定による外れ値除去処理)などが挙げられる。
監視領域指定部220は、指定された条件に基づいて、撮影データ100において監視領域(図5の30)を指定する機能部である(図2参照)。監視領域指定部220は、前処理部210からの撮影データ100を取得し、インタフェイス部260の操作部261からの条件(幅、奥行き、高さ、角度)に係る情報を取得する。監視領域指定部220は、指定された監視領域30に係る情報を保存する。なお、監視領域指定部220は、条件が指定されていない場合、撮影データ100の撮像全景を監視領域30に指定することができる。監視領域指定部220は、指定された監視領域30に係る情報を複数保存しておき、保存データを呼び出すことで切り替えできるようにしてもよい。監視領域指定部220は、指定された監視領域30に係る情報を基準面選択処理部230及び検出処理部240並びに結果生成部250に向けて出力する。監視領域指定部220は、領域指定部221と、角度指定部222と、を有する。
領域指定部221は、撮影データ100において監視領域(図5の30)を指定する機能部である(図2参照)。領域指定部221は、前処理部210からの撮影データ100を取得し、インタフェイス部260の操作部261からの条件に係る情報を取得する。領域指定部221は、取得した条件のうち幅、奥行き、高さを保存する。領域指定部221は、取得した条件のうち幅、奥行き、高さに基づいて、撮影データ100において監視領域30を指定する。領域指定部221は、指定された監視領域30に係る情報を角度指定部222に向けて出力する。
角度指定部222は、撮影データ100に対する監視領域(図5の30)の角度を指定する機能部である(図2参照)。角度指定部222は、前処理部210からの撮影データ100を取得し、インタフェイス部260の操作部261からの条件に係る情報を取得する。角度指定部222は、取得された条件に係る情報のうち角度に基づいて、撮影データ100の点群(又は、領域指定部221からの監視領域30)を回転させることで監視領域30の角度を指定する。角度指定部222は、角度が指定された監視領域30に係る情報を基準面選択処理部230及び検出処理部240並びに結果生成部250に向けて出力する。
基準面選択処理部230は、撮影データ100における監視領域(図5の30)の中の点群に基づいて1つ以上の平面を検出し、検出された1つ以上の平面の中から基準面(図1の31)を選択処理する機能である。ここで、基準面31は、図1では床面(撮影領域床面21の一部)であるが、壁面、天井面であってもよい。基準面選択処理部230は、前処理部210からの撮影データ100を取得し、監視領域指定部220からの監視領域30に係る情報を取得する。基準面31の選択処理では、検出された平面が1つである場合、自動処理により、検出された平面を基準面31として選択する。また、基準面31の選択処理では、検出された平面が複数である場合、インタフェイス部260の操作部261の操作によって、検出された複数の平面の中から1又は複数の基準面31を選択する。基準面選択処理部230は、選択された基準面31に係る情報を保存する。基準面選択処理部230は、基準面31が複数ある場合、基準面31に係る情報を複数保存しておき、インタフェイス部260の操作部261の操作によって、該当する基準面31を呼び出すことで切り替えできるようにしてもよい。基準面選択処理部230は、選択された基準面31に係る情報を検出処理部240及び結果生成部250に向けて出力する。基準面選択処理部230は、平面検出部231と、基準面選択部232と、基準面出力部233と、を有する。
平面検出部231は、撮影データ100における監視領域(図5の30)の中の点群に基づいて1つ以上の平面(例えば、床面、天井面、壁面等)を検出(検索)する機能部である(図2参照)。平面検出部231は、前処理部210のノイズ除去部212からの撮影データ100を取得し、監視領域指定部220からの監視領域30を取得する。平面の検出では、3次元センサ300の特性によっては取得できる点群における各点の座標の誤差のバラつきから実際の平面が、撮像では波打つような面となる場合があるが、インタフェイス部260の操作部261の操作によって、平面と認識する点群間の誤差閾値の指定範囲を大きく設定することで、波打ちの影響を小さくすることができるようになり、平面として検出できるようになる。平面検出部231は、検出された1つ以上の平面に係る情報を基準面選択部232に向けて出力する。
基準面選択部232は、平面検出部231で検出された1つ以上の平面の中から1つの基準面(図1の31)を選択する機能部である(図2参照)。基準面選択部232は、平面検出部231からの平面に係る情報を取得する。基準面31の選択では、検出された平面が1つである場合、自動処理により、検出された平面を基準面31として選択する。また、基準面31の選択処理では、検出された平面が複数である場合、インタフェイス部260の操作部261の操作によって、検出された複数の平面の中から1又は複数の基準面31を選択する。基準面31は、図1では床面としているが、状況に応じて天井面や壁面としてもよい。基準面選択部232は、選択された基準面31に係る情報を基準面出力部233に向けて出力する。
基準面出力部233は、基準面選択部232からの基準面(図1の31)に係る情報を検出処理部240及び結果生成部250に向けて出力する機能部である(図2参照)。基準面出力部233は、基準面(図1の31)に係る情報を保存する。
検出処理部240は、撮影データ100における監視領域(図5の30)の中の点群のうち基準面(図1の31)上の点群に基づいて、指定された検出条件に合致した検知対象物体(図1の11)の検出処理を行う機能である(図2参照)。検出処理部240は、前処理部210からの撮影データ100を取得し、監視領域指定部220からの監視領域30に係る情報を取得し、基準面選択処理部230からの基準面31に係る情報を取得し、インタフェイス部260の操作部261から検出条件(例えば、高さ範囲、寸法範囲、体積範囲、時系列で確認して動体を発見させる、除外領域(図9の50)等)に係る情報を取得する。検出処理は、定期的に自動実行するだけでなく、インタフェイス部260の操作部261の操作によって任意に手動実行してもよい。検出処理部240は、検出情報(検出条件、検出処理に係る情報を含む)を結果生成部250に向けて出力する。検出処理部240は、条件指定部241と、検出部242と、を有する。
条件指定部241は、検知対象物体11に係る検出条件を指定する機能である(図2参照)。条件指定部241は、インタフェイス部260の操作部261から検出条件(例えば、高さ範囲、寸法範囲、体積範囲、時系列で確認して動体を発見させる、除外領域(図9の50)等)を取得し、保存する。条件指定部241は、取得した検出条件を検出部242に向けて出力する。
検出部242は、撮影データ100における監視領域(図5の30)の中の点群のうち基準面(図1の31)上の点群に基づいて、指定された検出条件(例えば、高さ範囲、寸法範囲、体積範囲、時系列で確認して動体を発見させる、除外領域(図9の50)等)に合致した検知対象物体(図1の11)を選択的に検出する機能部である。検出部242は、前処理部210からの撮影データ100を取得し、監視領域指定部220から監視領域30に係る情報を取得し、基準面選択処理部230から基準面31に係る情報を取得し、条件指定部241から検出条件に係る情報を取得する。検知対象物体11の検出では、撮影データ100における監視領域30の中の点群から、基準面31の点群を削除し、基準面31上の物体(検知対象物体11、非検知対象物体12)の点群毎の距離によって切り離す1又は複数のセグメント(図7では40a、40b)を作成し、作成された1又は複数のセグメント(図7では40a、40b)の中の点群に基づいて、指定された検出条件に合致した検知対象物体11を検出する。検出部242は、検知対象物体11のセグメント40aに係る情報にラベル付けして保持し、検知対象物体11を追跡できるようにしてもよい。検出部242は、検出情報(検出条件、セグメント40a、40bを含む)を結果生成部250に向けて出力する。
結果生成部250は、監視領域(図5の30)に係る情報、基準面(図1の31)に係る情報、及び、検出情報(検出条件、セグメント(図7の40a、40b)を含む)に基づいて、管理者に通知するための結果を生成(又は算出)する機能部である。結果生成部250は、監視領域指定部220からの監視領域30に係る情報を取得し、基準面選択処理部230からの基準面(図1の31)に係る情報を取得し、検出処理部240からの検出情報(検出条件、セグメント40a、40bを含む)を取得する。生成される結果は、監視領域30の図形、基準面31の図形、及び、検出情報の図形又は諸元(例えば、検出条件における高さ、除外領域、セグメント40a、40bの図形又は高さ等)とすることができる。結果生成部250は、生成された結果をインタフェイス部260に向けて出力する。結果生成部250は、検出情報において検知対象物体11のセグメント40a(例えば、ラベル付きのセグメント)があるか否かを判定し、検知対象物体11のセグメント40aがある場合には、生成された結果とともに警告情報をインタフェイス部260に向けて出力するようにしてもよい。結果生成部250は、図形生成部251と、諸元算出部252と、を有する。
図形生成部251は、監視領域(図5の30)に係る情報、基準面(図1の31)に係る情報、及び、検出情報(検出条件、セグメント(図7の40a、40b)を含む)に基づいて、図形を生成する機能部である(図2参照)。生成される図形として、例えば、監視領域30の図形、基準面31の図形、及び、検出情報の図形(例えば、検出条件の除外領域(図8の50)の図形、検知対象物体11のセグメント40aの図形等)が挙げられる。図形は、位置を考慮して生成される。また、図形の生成では、監視領域30、基準面31及び検出情報のうちの一部の要素の生成を省略することができる。なお、図形生成部251は、検知対象物体(図7の11)と非検知対象物体12との違いを明確にするために、非検知対象物体(図7の12)のセグメント40bの図形を生成しないようにすることができる。図形生成部251は、生成された図形を結果としてインタフェイス部260の表示部262及び通信部263に向けて出力する。
諸元算出部252は、検出情報(検出条件、セグメント(図7の40a、40b)を含む)に基づいて、諸元(寸法、体積、移動速度等)を算出する機能部である(図2参照)。算出される諸元として、例えば、検出情報の諸元(例えば、検出条件の高さ範囲の高さ、セグメント40a、40bの各高さ等)が挙げられる。諸元算出部252は、算出された諸元を結果としてインタフェイス部260の表示部262及び通信部263に向けて出力する。
インタフェイス部260は、ユーザと物体検知装置200との間の情報のやりとりを行う機能部である(図2参照)。インタフェイス部260は、操作部261と、表示部262と、を有する。
操作部261は、ユーザの操作を受ける機能部である(図2参照)。ユーザは、操作部261を操作(例えば、キーボード操作、マウスのクリック操作、タッチパネルのタップ操作等)することにより入力されたデータ(例えば、文字、数字、位置、領域等)を監視領域指定部220又は基準面選択処理部230若しくは検出処理部240に向けて出力する。操作部261は、ユーザの操作により入力された条件(幅、奥行き、高さ、角度)に係る情報を監視領域指定部220に出力する。操作部261は、ユーザの操作により、基準面選択処理部230において撮影データ100における監視領域(図5の30)の中の点群に基づいて検出された1つ以上の平面の中から基準面(図1の31)を選択するための指示を行う。操作部261は、ユーザの操作により入力された検出条件(例えば、高さ範囲、寸法範囲、体積範囲、時系列で確認して動体を発見させる、除外領域(図9の50)等)を検出処理部240に向けて出力する。操作部261は、ユーザの操作により、本構成機能における全体処理の開始・終了を指示する。
表示部262は、各種情報を表示する機能部である(図2参照)。表示部262は、前処理部210のノイズ除去部212からの前処理後の撮影データ100を表示する。表示部262は、結果生成部250からの結果、及び、警告情報(取得した場合)を表示する。警告情報の表示の仕方として、例えば、背景の色を変化又は点滅させることができる。表示された撮影データ100や結果については、スクリーンショット、数値データなどで保存するようにしてもよい。なお、表示部262で表示される情報は、スピーカを用いて音声出力してもよく、プリンタで印刷してもよく、他の端末に送信出力してもよい。
通信部263は、各種情報を送受信する機能部である(図2参照)。通信部263は、結果生成部250からの結果110、及び、警告情報(取得した場合)を、ネットワーク(図1の400)を介して携帯通信端末(図1の500)に送信する。
次に、実施形態1に係る物体検知システムにおける物体検知装置を利用した検知対象物体の検出の例について図面(図4~図13)を用いて説明する。
ここで、図4~図6は、検出前の初期手順を示している。また、図7~図11は、基本的な機能説明のために、非検知対象物体12(衝立)と検知対象物体11(人物)という異なる大きさの2つの物体が存在する場合での検出結果の例を示している。さらに、図12及び図13は、基本的な機能を踏まえた応用例を示している。なお、物体検知装置の構成部については、図1及び図2を参照されたい。また、物体検知装置200は、監視者がインタフェイス部260の操作部261を操作することで処理を行うものとする。
図4は、物体検知装置200の前処理部210で前処理した後の撮影データ100のイメージを示している。撮影データ100の撮影領域20において非検知対象物体12が存在している。
図5は、物体検知装置200の監視領域指定部220で監視領域30を指定した後の撮影データ100のイメージを示している。監視領域30は、撮影データ100の撮影領域20において非検知対象物体12を含むように指定されている。図5では、明確化のため監視領域30外の明度を落とし(図5以降も同様)、監視領域30を枠線で囲っているが、他の方法で監視領域30を特定してもよい。
図6は、物体検知装置200の基準面選択処理部230で基準面31を選択処理した後の撮影データ100のイメージを示している。基準面選択処理部230は、平面検出部231で撮影データ100における監視領域(図5の30)の中の点群に基づいて1つ以上の平面を検出し、基準面選択部232で、検出された1つ以上の平面の中から基準面31を選択する。
図7~図11は、検出処理部240を実行し、結果生成部250を実行した例である。図7~図9は、基準面31が同一であるが、検出条件の要素を順次追加したイメージを示している。図7は、物体検知装置200の検出処理部240で検出条件なしで検出処理した後の撮影データ100のイメージである。図8は、物体検知装置200の検出処理部240で検出条件を高さ90cm以上であり、かつ、除外領域50にない物体として検出処理した後の撮影データ100のイメージである。図9は、物体検知装置200の検出処理部240で検出条件を高さ90cm以上又は移動しており、かつ、除外領域50にない物体として検出処理した後の撮影データ100のイメージである。図10は、図9の検出条件と同一であるが、検知対象物体11が基準面31外に移動したときの撮影データ100のイメージを示している。図11は、図10と検出条件は同一であるが、基準面を、検知対象物体11が存在しなくなった基準面(図10の31)から、検知対象物体11が存在する基準面32に切り替えた後の撮影データ100のイメージを示している。
まず、条件指定部241に対し検出条件を指定せず実行すると図7のようになる。その後、検出条件として高さ90cm以上であり、かつ、除外領域50にないを指定して実行すると図8のようになる。図8では、図7に比べ非検知対象物体12が検出されなくなっている。
次に、図9のように、高さ90cm以上という検出条件を満たさないように検知対象物体11(人物)が屈んだ場合、検知対象物体11が検出できなくなるので、図9では検出条件に「移動する物体」を追加している。これにより、高さ90cm以上という検出条件を満たさなくても動きがある検知対象物体11を捕捉することができる。
さらに、図10のように、検知対象物体11(人物)が基準面31外に移動すると、図9と同一の検出条件(高さ90cm以上又は移動しており、かつ、除外領域50にない物体)のままでは検出できなくなる。このような場合に、図11のように、基準面を、検知対象物体11が存在しなくなった基準面(図10の31)から、検知対象物体11が存在する基準面32に切り替えることで、検出条件を変更しなくても検知対象物体11を検出できるようになる。なお、基準面32については、基準面31に関する処理(図4~図6)と同様な処理によって選択することができる。
以上の図4~図11に示した機能の応用例として、図12のように、複数の検知対象物体15a~15dに係る作業員が基準面33に係る作業現場に滞在しているかどうかをチェックするのに用いることができる。図12では、検出条件を高さ90cm以上又は移動している物体とする条件で検出処理すると、基準面33において、高さ90cm以上又は移動する複数の検知対象物体15a~15dに係る作業員を検出し、高さ90cm未満かつ移動しない非検知対象物体16a、16bに係る衝立、及び、非検知対象物体16cに係る工具箱を検出しないようにすることができる。
また、以上の図4~図11に示した機能の応用例として、図13のように、作業終了後の検知対象物体17aに係る落下物(ヘルメット)、及び、検知対象物体17bに係る忘れ物(工具箱)が存在するかどうかをチェックするのに用いることができる。図13では、検出条件を高さ50cm以下の物体とする条件で検出処理すると、基準面33において、高さ50cm以下の検知対象物体17aに係る落下物、及び、検知対象物体17bに係る忘れ物を検出し、高さ50cm超の非検知対象物体16a、16bに係る衝立、及び、非検知対象物体18に係る作業員を検出しないようにすることができる。
次に、実施形態1に係る物体検知システムにおける物体検知装置の動作について図面を用いて説明する。図14は、実施形態1に係る物体検知システムにおける物体検知装置の動作を模式的に示したフローチャート図である。なお、物体検知システム及び物体検知装置の構成については、図1及び図2を参照されたい。
まず、物体検知装置200の前処理部210は、3次元センサ300で撮影された撮影データ100を取得する(ステップA1)。
次に、前処理部210のフォーマット変換部211は、取得した撮影データ100のフォーマットを共通フォーマットに変換する(ステップA2)。
次に、前処理部210のノイズ除去部212は、共通フォーマットに変換された撮影データ100のノイズを除去する(ステップA3)。
次に、物体検知装置200の監視領域指定部220は、ノイズ除去された撮影データ100に対して監視領域30を指定する(ステップA4)。ここで、監視領域30の指定は、ユーザがインタフェイス部260の操作部261から条件(幅、奥行き、高さ、角度)を入力することによって指定することができ、条件の入力がなければ撮影データ100の撮像全景を監視領域30に指定する。なお、監視領域30の指定の後、新たに監視領域30の指定の際に条件の入力がなければ、前回に指定した監視領域30を維持しつつステップA4をスキップすることができる。
次に、物体検知装置200の基準面選択処理部230は、ノイズ除去された撮影データ100、及び、指定された監視領域30を用いて、撮影データ100における監視領域30の中の点群に基づいて1つ以上の平面を検出し、検出された1つ以上の平面の中から基準面31を選択する(ステップA5)。ここで、基準面31の選択は、検出された平面が1つである場合、自動処理により、検出された平面を基準面31として選択し、検出された平面が複数である場合、ユーザがインタフェイス部260の操作部261を操作することによって、検出された複数の平面の中から1又は複数の基準面31を選択する。なお、基準面31の選択の後、新たに基準面31の選択の際にステップA4がスキップされていれば、前回に選択した基準面31を維持しつつステップA5もスキップすることができる。
次に、物体検知装置200の検出処理部240は、ノイズ除去された撮影データ100、及び、指定された監視領域30、並びに、選択された基準面31を用いて、撮影データ100における監視領域30の中の点群のうち基準面31上の点群に基づいて、指定された検出条件(例えば、高さ範囲、寸法範囲、体積範囲、時系列で確認して動体を発見させる、除外領域50等)に合致した検知対象物体11を検出する(ステップA6)。ここで、検出条件の指定は、ユーザがインタフェイス部260の操作部261から入力することによって行われる。なお、初回の検出条件の指定の後、2回目以降の検出条件の指定の際に検出条件の指定がなければ、前回に指定した検出条件を維持することができる。また、検知対象物体11の検出では、撮影データ100における監視領域30の中の点群から、基準面31の点群を削除し、基準面31上の物体(検知対象物体11、非検知対象物体12)の点群毎の距離によって切り離すセグメント40a、40bを作成し、作成された各セグメント40a、40bの中の点群に基づいて、指定された検出条件に合致した検知対象物体11を検出する。検知対象物体11が検出された場合、検知対象物体11のセグメント40aにラベル付けする。なお、ステップA6において検知対象物体11が検出されない場合、ステップA7に進む。
次に、物体検知装置200の結果生成部250の図形生成部251は、指定された監視領域30、選択された基準面31、指定された検出情報(特に、セグメント(図7の40a、40b))も用いて、監視領域30、基準面31、及び検出情報の図形を生成する(ステップA7)。なお、図形の生成では、監視領域30、基準面31及び検出情報のうちの一部の要素の生成を省略することができる。また、図形の生成の際、検出情報において検知対象物体11のセグメント40a(ラベル付き)があるか否かを判定し、検知対象物体11のセグメント40aがある場合には、警告情報を生成する。また、図形の生成では、図形の生成後、新たに図形の生成の際に監視領域30、基準面31及び検出情報に変化がなければ、前回に生成した図形を維持しつつステップA7をスキップすることができる。
次に、結果生成部250の諸元算出部252は、検出情報(検出条件、セグメント40a、40b)に基づいて、諸元(寸法、体積、移動速度等)を算出する(ステップA8)。なお、諸元の算出では、諸元の算出後、新たに諸元の算出の際に検出情報に変化がなければ、前回に算出した諸元を維持しつつステップA8をスキップすることができる。
最後に、物体検知装置200のインタフェイス部260の表示部262は、ノイズ除去された撮影データ100、生成された図形、算出された諸元を表示する(ステップA9)。また、警告情報が生成されている場合、表示部262は、警告情報を表示する。表示の際、インタフェイス部260の通信部263は、表示された内容(結果)を携帯通信端末500に送信する。これにより、携帯通信端末500でも、表示部262で表示された内容と同じ内容を表示することができる。その後、フローを終了し、次のフローを実行する。
なお、物体検知システム1は、鉄道分野だけでなく、例えば、パブリックインフラ分野における、混雑するトイレや施設などの待機列の人群サイズを識別した上で占有面積から人数を概算し、さらに待ち行列理論を併用することによる待機時間を導出することにも用いることができる。また、物体検知システム1は、パブリックインフラ分野における、駐車場などの空きスペースの監視や、道路等の落下物の監視にも用いることができる。また、物体検知システム1は、スマートファクトリ分野における、工場・倉庫の在庫、空きスペース把握の管理にも用いることができる。さらに、物体検知システム1は、防犯分野における、建物や敷地内への侵入者の検知や、不審物の置き去りの検知にも用いることができる。
実施形態1によれば、1つの3次元センサ300であっても、監視領域30及び検出条件で指定することで、工具や土砂といった列車の運行や作業員の安全に影響がない物体を監視対象から除外したり、逆にそのような物体のみを監視対象とすることができるようになり、構成を簡略化しつつ誤検知を低減することができる。
また、実施形態1によれば、監視領域30を切り替える(基準面31、32を切り替える)ことで、時間帯などで侵入禁止エリアが切り替わる作業現場にも対応することができる。
また、実施形態1によれば、検出条件を切り替える(監視不要なサイズの物体の寸法、体積、移動の有無等の条件を切り替える)ことで、時間帯などで監視対象が切り替わる作業現場にも対応できるようになり、例えば、作業中は作業現場の作業員の滞在を監視したり、作業後は忘れ物や落下物を監視することができる。
また、実施形態1によれば、フォーマット変換部211で撮影データ100のフォーマットを共通フォーマットに変換しているので、任意の3次元センサ300を用いて検知対象物体11の検知を行うことができる。
また、実施形態1によれば、3次元センサ300による撮影データは疎な点群データであることから、作業員のプライバシー保護の観点から、RGB(Red-Green-Blue)カメラのように個人を特定しないようにすることができる。
[実施形態2]
実施形態2に係る物体検知装置について図面を用いて説明する。図15は、実施形態2に係る物体検知装置の構成を模式的に示したブロック図である。
物体検知装置200は、撮影データ100に基づいて監視領域の基準面に存在する検知対象物体を選択的に検知する装置である。物体検知装置200は、操作部261と、監視領域指定部220と、基準面選択処理部230と、検出処理部240と、結果生成部250と、表示部262と、を有する。
操作部261は、ユーザの操作を受ける。監視領域指定部220は、操作部261から入力された条件に基づいて撮影データ100に対して監視領域を指定するように構成されている。基準面選択処理部230は、撮影データ100における監視領域の中の点群に基づいて1つ以上の平面を検出し、1つ以上の平面の中から少なくとも1つの基準面を選択するように構成されている。検出処理部240は、撮影データ100における監視領域の中の点群のうち基準面上の点群に基づいて、操作部から入力された検出条件に合致した検知対象物体を検出するように構成されている。結果生成部250は、少なくとも監視領域、基準面、及び検出条件を用いて、検知対象物体の検出に関する結果を生成するように構成されている。表示部262は、少なくとも撮影データ及び結果を表示するように構成されている。
実施形態2によれば、1つの3次元センサで撮影された撮影データ100に対して、監視領域及び検出条件で指定することで、監視対象を切り替えることができるので、構成を簡略化しつつ誤検知を低減することができる。
なお、実施形態1、2に係る物体検知装置は、いわゆるハードウェア資源(情報処理装置、コンピュータ)により構成することができ、図16に例示する構成を備えたものを用いることができる。例えば、ハードウェア資源1000は、内部バス1004により相互に接続される、プロセッサ1001、メモリ1002、ネットワークインタフェイス1003等を備える。
なお、図16に示す構成は、ハードウェア資源1000のハードウェア構成を限定する趣旨ではない。ハードウェア資源1000は、図示しないハードウェア(例えば、入出力インタフェイス)を含んでもよい。あるいは、装置に含まれるプロセッサ1001等のユニットの数も図16の例示に限定する趣旨ではなく、例えば、複数のプロセッサ1001がハードウェア資源1000に含まれていてもよい。プロセッサ1001には、例えば、CPU(Central Processing Unit)、MPU(Micro Processor Unit)、GPU(Graphics Processing Unit)等を用いることができる。
メモリ1002には、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、HDD(Hard Disk Drive)、SSD(Solid State Drive)等を用いることができる。
ネットワークインタフェイス1003には、例えば、LAN(Local Area Network)カード、ネットワークアダプタ、ネットワークインタフェイスカード等を用いることができる。
ハードウェア資源1000の機能は、上述の処理モジュールにより実現される。当該処理モジュールは、例えば、メモリ1002に格納されたプログラムをプロセッサ1001が実行することで実現される。また、そのプログラムは、ネットワークを介してダウンロードするか、あるいは、プログラムを記憶した記憶媒体を用いて、更新することができる。さらに、上記処理モジュールは、半導体チップにより実現されてもよい。即ち、上記処理モジュールが行う機能は、何らかのハードウェアにおいてソフトウェアが実行されることによって実現できればよい。
上記実施形態の一部または全部は以下の付記のようにも記載され得るが、以下には限られない。
[付記1]
ユーザの操作を受ける操作部と、
前記操作部から入力された条件に基づいて撮影データに対して監視領域を指定するように構成された監視領域指定部と、
前記撮影データにおける前記監視領域の中の点群に基づいて1つ以上の平面を検出し、前記1つ以上の平面の中から少なくとも1つの基準面を選択するように構成された基準面選択処理部と、
前記撮影データにおける前記監視領域の中の点群のうち前記基準面上の点群に基づいて、前記操作部から入力された検出条件に合致した検知対象物体を検出するように構成された検出処理部と、
少なくとも前記監視領域、前記基準面、及び前記検出条件を用いて、前記検知対象物体の検出に関する結果を生成するように構成された結果生成部と、
少なくとも前記撮影データ及び前記結果を表示するように構成された表示部と、
を備える物体検知装置。
[付記2]
前記検出処理部は、前記撮影データにおける前記監視領域の中の点群から、前記基準面の点群を削除し、前記基準面上の物体の点群毎の距離によって切り離す1又は複数のセグメントを作成し、作成された1又は複数の前記セグメントの中の点群に基づいて、前記検出条件に合致した前記検知対象物体を検出するように構成されている、
付記1記載の物体検知装置。
[付記3]
前記結果生成部は、前記監視領域、前記基準面及び前記セグメントのいずれか又は全ての図形を生成し、かつ、前記検出条件及び前記セグメントに基づいて諸元を算出するように構成され、
前記結果は、少なくとも前記図形及び前記諸元を含む、
付記2記載の物体検知装置。
[付記4]
前記検出処理部は、前記検知対象物体の前記セグメントにラベル付けを行うように構成され、
前記結果生成部は、前記ラベルの有無により前記検知対象物体の前記セグメントがあるか否かを判定し、前記検知対象物体の前記セグメントがある場合には警告情報を生成するように構成され、
前記表示部は、前記警告情報を表示するように構成されている、
付記2又は3記載の物体検知装置。
[付記5]
前記基準面選択処理部は、前記基準面に係る情報を複数保存し、前記操作部からの操作により前記基準面を切り替え可能に構成されている、
付記1乃至4のいずれか一に記載の物体検知装置。
[付記6]
前記撮影データのフォーマットを前記物体検知装置において共通に使える共通フォーマットに変換するように構成された前処理部をさらに備え、
前記共通フォーマットに変換された前記撮影データは、前記監視領域指定部及び前記基準面選択処理部並びに前記検出処理部に入力される、
付記1乃至5のいずれか一に記載の物体検知装置。
[付記7]
前記結果を外部の端末に送信するように構成された通信部をさらに備える、
付記1乃至6のいずれか一に記載の物体検知装置。
[付記8]
前記監視領域指定部は、前記条件がない場合、前記撮影データの撮像全景を前記監視領域に指定するように構成されている、
付記1乃至7のいずれか一に記載の物体検知装置。
[付記9]
前記監視領域指定部は、前記撮影データに対して前記監視領域を指定するように構成された領域指定部と、前記撮影データに対する前記監視領域の角度を指定するように構成された角度指定部と、を備える、
付記1乃至8のいずれか一に記載の物体検知装置。
[付記10]
前記監視領域指定部は、前記監視領域に係る情報を複数保存し、前記操作部からの操作により前記監視領域を切り替え可能に構成されている、
付記1乃至9のいずれか一に記載の物体検知装置。
[付記11]
前記基準面選択処理部は、検出された前記平面が1つである場合、自動処理により、検出された前記平面を前記基準面として選択し、検出された前記平面が複数である場合、前記操作部の操作によって、検出された複数の前記平面の中から1又は複数の前記基準面を選択するように構成されている、
付記1乃至10のいずれか一に記載の物体検知装置。
[付記12]
前記前処理部は、前記共通フォーマットに変換された前記撮影データのノイズを除去するように構成され、
前記ノイズが除去された前記撮影データは、前記監視領域指定部及び前記基準面選択処理部並びに前記検出処理部に入力される、
付記6記載の物体検知装置。
[付記13]
所定空間を撮影した撮影データを出力するように構成された3次元センサと、
付記1乃至12のいずれか一に記載の物体検知装置と、
を備える物体検知システム。
[付記14]
入力された条件に基づいて撮影データに対して監視領域を指定するステップと、
前記撮影データにおける前記監視領域の中の点群に基づいて1つ以上の平面を検出し、前記1つ以上の平面の中から少なくとも1つの基準面を選択するステップと、
前記撮影データにおける前記監視領域の中の点群のうち前記基準面上の点群に基づいて、入力された検出条件に合致した検知対象物体を検出するステップと、
少なくとも前記監視領域、前記基準面、及び前記検出条件を用いて、前記検知対象物体の検出に関する結果を生成するステップと、
少なくとも前記撮影データ及び前記結果を表示するステップと、
を含む物体検知方法。
[付記15]
入力された条件に基づいて撮影データに対して監視領域を指定する処理と、
前記撮影データにおける前記監視領域の中の点群に基づいて1つ以上の平面を検出し、前記1つ以上の平面の中から少なくとも1つの基準面を選択する処理と、
前記撮影データにおける前記監視領域の中の点群のうち前記基準面上の点群に基づいて、入力された検出条件に合致した検知対象物体を検出する処理と、
少なくとも前記監視領域、前記基準面、及び前記検出条件を用いて、前記検知対象物体の検出に関する結果を生成する処理と、
少なくとも前記撮影データ及び前記結果を表示する処理と、
をハードウェア資源に実行させるプログラム。
なお、上記の特許文献の各開示は、本書に引用をもって繰り込み記載されているものとし、必要に応じて本発明の基礎ないし一部として用いることが出来るものとする。本発明の全開示(特許請求の範囲及び図面を含む)の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の全開示の枠内において種々の開示要素(各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む)の多様な組み合わせないし選択(必要により不選択)が可能である。すなわち、本発明は、請求の範囲及び図面を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。また、本願に記載の数値及び数値範囲については、明記がなくともその任意の中間値、下位数値、及び、小範囲が記載されているものとみなされる。さらに、上記引用した文献の各開示事項は、必要に応じ、本願発明の趣旨に則り、本願発明の開示の一部として、その一部又は全部を、本書の記載事項と組み合わせて用いることも、本願の開示事項に含まれる(属する)ものと、みなされる。
1 物体検知システム
11、15a、15b、15c、15d、17a、17b 検知対象物体
12、16a、16b、16c、18 非検知対象物体
13 列車
20 撮影領域
21 撮影領域床面
30 監視領域
31、32、33 基準面
40a、40b セグメント
43、44 セグメント
45a、45b、45c、45d セグメント
47a、47b セグメント
50 除外領域
100 撮影データ
110 結果
200 物体検知装置
210 前処理部
211 フォーマット変換部
212 ノイズ除去部
220 監視領域指定部
221 領域指定部
222 角度指定部
230 基準面選択処理部
231 平面検出部
232 基準面選択部
233 基準面出力部
240 検出処理部
241 条件指定部
242 検出部
250 結果生成部
251 図形生成部
252 諸元算出部
260 インタフェイス部
261 操作部
262 表示部
263 通信部
300 3次元センサ
301 三脚
400 ネットワーク
500 携帯通信端末
1000 ハードウェア資源
1001 プロセッサ
1002 メモリ
1003 ネットワークインタフェイス
1004 内部バス

Claims (8)

  1. ユーザの操作を受ける操作部と、
    前記操作部から入力された条件に基づいて撮影データに対して監視領域を指定するように構成された監視領域指定部と、
    前記撮影データにおける前記監視領域の中の点群に基づいて1つ以上の平面を検出し、前記1つ以上の平面の中から少なくとも1つの基準面を選択するように構成された基準面選択処理部と、
    前記撮影データにおける前記監視領域の中の点群のうち前記基準面上の点群に基づいて、前記操作部から入力された検出条件に合致した検知対象物体を検出するように構成された検出処理部と、
    少なくとも前記監視領域、前記基準面、及び前記検出条件を用いて、前記検知対象物体の検出に関する結果を生成するように構成された結果生成部と、
    少なくとも前記撮影データ及び前記結果を表示するように構成された表示部と、
    を備え
    前記検出処理部は、前記撮影データにおける前記監視領域の中の点群から、前記基準面の点群を削除し、前記基準面上の物体の点群毎の距離によって切り離す1又は複数のセグメントを作成し、作成された1又は複数の前記セグメントの中の点群に基づいて、前記検出条件に合致した前記検知対象物体を検出するように構成され、
    前記結果生成部は、前記監視領域、前記基準面及び前記セグメントのいずれか又は全ての図形を生成し、かつ、前記検出条件及び前記セグメントに基づいて諸元を算出するように構成され、
    前記結果は、少なくとも前記図形及び前記諸元を含み、
    前記検出条件は、高さ以外の検出条件であり、
    前記諸元は、高さ以外の諸元である、
    物体検知装置。
  2. 前記検出処理部は、前記検知対象物体の前記セグメントにラベル付けを行うように構成され、
    前記結果生成部は、前記ラベルの有無により前記検知対象物体の前記セグメントがあるか否かを判定し、前記検知対象物体の前記セグメントがある場合には警告情報を生成するように構成され、
    前記表示部は、前記警告情報を表示するように構成されている、
    請求項記載の物体検知装置。
  3. 前記基準面選択処理部は、前記基準面に係る情報を複数保存し、前記操作部からの操作により前記基準面を切り替え可能に構成されている、
    請求項1又は2記載の物体検知装置。
  4. 前記撮影データのフォーマットを前記物体検知装置において共通に使える共通フォーマットに変換するように構成された前処理部をさらに備え、
    前記共通フォーマットに変換された前記撮影データは、前記監視領域指定部及び前記基準面選択処理部並びに前記検出処理部に入力される、
    請求項1乃至のいずれか一に記載の物体検知装置。
  5. 前記結果を外部の端末に送信するように構成された通信部をさらに備える、
    請求項1乃至のいずれか一に記載の物体検知装置。
  6. 所定空間を撮影した撮影データを出力するように構成された3次元センサと、
    請求項1乃至のいずれか一に記載の物体検知装置と、
    を備える物体検知システム。
  7. 入力された条件に基づいて撮影データに対して監視領域を指定するステップと、
    前記撮影データにおける前記監視領域の中の点群に基づいて1つ以上の平面を検出し、前記1つ以上の平面の中から少なくとも1つの基準面を選択するステップと、
    前記撮影データにおける前記監視領域の中の点群のうち前記基準面上の点群に基づいて、入力された検出条件に合致した検知対象物体を検出するステップと、
    少なくとも前記監視領域、前記基準面、及び前記検出条件を用いて、前記検知対象物体の検出に関する結果を生成するステップと、
    少なくとも前記撮影データ及び前記結果を表示するステップと、
    を含み、
    前記検知対象物体を検出するステップでは、前記撮影データにおける前記監視領域の中の点群から、前記基準面の点群を削除し、前記基準面上の物体の点群毎の距離によって切り離す1又は複数のセグメントを作成し、作成された1又は複数の前記セグメントの中の点群に基づいて、前記検出条件に合致した前記検知対象物体を検出し、
    前記結果を生成するステップでは、前記監視領域、前記基準面及び前記セグメントのいずれか又は全ての図形を生成し、かつ、前記検出条件及び前記セグメントに基づいて諸元を算出し、
    前記結果は、少なくとも前記図形及び前記諸元を含み、
    前記検出条件は、高さ以外の検出条件であり、
    前記諸元は、高さ以外の諸元である、
    物体検知方法。
  8. 入力された条件に基づいて撮影データに対して監視領域を指定する処理と、
    前記撮影データにおける前記監視領域の中の点群に基づいて1つ以上の平面を検出し、前記1つ以上の平面の中から少なくとも1つの基準面を選択する処理と、
    前記撮影データにおける前記監視領域の中の点群のうち前記基準面上の点群に基づいて、入力された検出条件に合致した検知対象物体を検出する処理と、
    少なくとも前記監視領域、前記基準面、及び前記検出条件を用いて、前記検知対象物体の検出に関する結果を生成する処理と、
    少なくとも前記撮影データ及び前記結果を表示する処理と、
    をハードウェア資源に実行させ
    前記検知対象物体を検出する処理では、前記撮影データにおける前記監視領域の中の点群から、前記基準面の点群を削除し、前記基準面上の物体の点群毎の距離によって切り離す1又は複数のセグメントを作成し、作成された1又は複数の前記セグメントの中の点群に基づいて、前記検出条件に合致した前記検知対象物体を検出し、
    前記結果を生成する処理では、前記監視領域、前記基準面及び前記セグメントのいずれか又は全ての図形を生成し、かつ、前記検出条件及び前記セグメントに基づいて諸元を算出し、
    前記結果は、少なくとも前記図形及び前記諸元を含み、
    前記検出条件は、高さ以外の検出条件であり、
    前記諸元は、高さ以外の諸元である、
    プログラム。
JP2019184335A 2019-10-07 2019-10-07 物体検知装置、システム、方法、及びプログラム Active JP7405395B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019184335A JP7405395B2 (ja) 2019-10-07 2019-10-07 物体検知装置、システム、方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019184335A JP7405395B2 (ja) 2019-10-07 2019-10-07 物体検知装置、システム、方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2021060784A JP2021060784A (ja) 2021-04-15
JP7405395B2 true JP7405395B2 (ja) 2023-12-26

Family

ID=75381403

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019184335A Active JP7405395B2 (ja) 2019-10-07 2019-10-07 物体検知装置、システム、方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP7405395B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023005582A (ja) * 2021-06-29 2023-01-18 コベルコ建機株式会社 侵入検出システム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013190772A1 (ja) 2012-06-20 2013-12-27 パナソニック株式会社 空間情報検出装置、人位置検出装置
JP2018147015A (ja) 2017-03-01 2018-09-20 パナソニックIpマネジメント株式会社 3次元侵入検知システムおよび3次元侵入検知方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013190772A1 (ja) 2012-06-20 2013-12-27 パナソニック株式会社 空間情報検出装置、人位置検出装置
JP2018147015A (ja) 2017-03-01 2018-09-20 パナソニックIpマネジメント株式会社 3次元侵入検知システムおよび3次元侵入検知方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
加藤 有祐、ほか5名,三次元点群からの参照点候補の抽出と相対的位置概念の学習,第23回 画像センシングシンポジウム SSII2017 [USB] The 23rd Symposium on Sensing via Image Information,日本,画像センシング技術研究会,2017年06月07日

Also Published As

Publication number Publication date
JP2021060784A (ja) 2021-04-15

Similar Documents

Publication Publication Date Title
AU2017204181B2 (en) Video camera scene translation
US11019268B2 (en) Video surveillance system and video surveillance method
US9237315B2 (en) Intrusion detection with directional sensing
JP6233624B2 (ja) 情報処理システム、情報処理方法及びプログラム
Chi et al. A methodology for object identification and tracking in construction based on spatial modeling and image matching techniques
EA018349B1 (ru) Способ видеоанализа
JP7405395B2 (ja) 物体検知装置、システム、方法、及びプログラム
WO2018210039A1 (zh) 数据处理方法、数据处理装置及存储介质
KR102366522B1 (ko) 물체 검출 방법 및 이 방법을 채용한 감시 시스템
JP7432852B2 (ja) レイアウト設計装置、レイアウト設計方法及びプログラム
KR101758786B1 (ko) 영상 내에서 특정 지점의 위치를 결정하기 위한 장치 및 그 방법
JP7214437B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP7197256B2 (ja) 通知システム、通知方法およびプログラム
EP4071728A1 (en) Artificial intelligence model integration and deployment for providing a service
US10489921B2 (en) Behavior analysis apparatus and behavior analysis method
JP6509546B2 (ja) 画像検索システム及び画像検索方法
JP7251869B2 (ja) 距離計測装置、システム、方法、及びプログラム
JP2022018517A (ja) ケーブル検出装置、方法、及びプログラム
JP5696482B2 (ja) 情報処理装置およびプログラム
JP2017028688A (ja) 画像管理装置、画像管理方法及びプログラム
JP2023035434A (ja) 物体検出装置、システム、方法、及びプログラム
AU2021203446A1 (en) Method and system for compliance monitoring
JP2022131678A (ja) 物体検知装置、システム、方法、及びプログラム
JP2020187532A (ja) 清掃管理プログラム、清掃管理方法及び清掃管理装置
JP7004786B1 (ja) 検出装置及び検出方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220902

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230724

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230808

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230901

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231207

R151 Written notification of patent or utility model registration

Ref document number: 7405395

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151