JP7020096B2 - 物体検出装置、物体検出装置の制御方法、および物体検出装置の制御プログラム - Google Patents

物体検出装置、物体検出装置の制御方法、および物体検出装置の制御プログラム Download PDF

Info

Publication number
JP7020096B2
JP7020096B2 JP2017238498A JP2017238498A JP7020096B2 JP 7020096 B2 JP7020096 B2 JP 7020096B2 JP 2017238498 A JP2017238498 A JP 2017238498A JP 2017238498 A JP2017238498 A JP 2017238498A JP 7020096 B2 JP7020096 B2 JP 7020096B2
Authority
JP
Japan
Prior art keywords
background image
distance
perceptible
region
detection device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017238498A
Other languages
English (en)
Other versions
JP2019105550A (ja
Inventor
健二 寺田
将則 吉澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2017238498A priority Critical patent/JP7020096B2/ja
Publication of JP2019105550A publication Critical patent/JP2019105550A/ja
Application granted granted Critical
Publication of JP7020096B2 publication Critical patent/JP7020096B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Optical Radar Systems And Details Thereof (AREA)

Description

本発明は、物体検出装置、物体検出装置の制御方法、および物体検出装置の制御プログラムに関する。
物体検出装置は、レーザー光を空間へ向けて発射し、その発射から反射光の受光までの時間などから空間内の物体までの距離を計測する。このレーザーを用いた装置をレーザーレーダーといい、LiDER(Light Detection and Ranging、またはLaser Imaging Detection and Ranging)と称されることもある。このような物体検出装置では、レーザー光の送出方向を順次変えて空間内を二次元的に走査することにより、空間を向いた複数の方向に関する情報を得ることができる。得られた情報は距離画像と称し、レーザー光の送受部から見た物体の方向と、その物体までの距離という情報を有する。
このような物体検出装置では、あらかじめ背景となる距離画像(背景画像)を求め、その背景画像と、入力された距離画像(現在画像)とを比較し、距離が変化した画素を抽出して変化領域を求める、いわゆる背景差分法が用いられる。
従来、この背景を取得する際に、一定時間周期で取得したデータを使って背景を更新することが行われている(特許文献1)。
この背景差分法では、レーザー光の反射を使用して距離画像を得ているため、レーザー光が反射しない物体を認識することができない。たとえば、検出範囲内にレーザー光を反射しない物体または反射率が低い物体がある場合には、そのような物体が存在する部分からはレーザー光が返らず、または反射しても検出できずに、その部分は無限遠と認識されてしまう。このため、上記従来技術で背景を更新すると、このレーザー光の反射を検出できなかった無限遠領域が存在する距離画像が背景画像となる。
そうすると、レーザー光を反射しない物体または反射率が低い物体が移動した場合に、背景差分法により背景画像と現在画像を比較して物体の検出を行うと、無限遠領域の後ろ(レーザー光の出射位置からより遠い位置)の物体が、あたかもそこに表れたものと検出されてしまう。
従来、このレーザー光を反射しない物体または反射率が低い物体に関する処理として、横断路を含むよう設定された監視領域内へレーザー光線を走査しながら発射し、反射したレーザー光線を受光しない場合には受光なしを示す距離データを関連付けることで、レーザー光を反射しない物体または反射率が低い物体を検出している。これは、たとえば、受光ありの状態から受光なしとなった場合にはこのようなレーザー光を反射しない物体または反射率が低い物体が監視空間内に侵入したと判断している(特許文献2)。
特開2005-300259号公報 特開2007-126025号公報
しかしながら、特許文献2の技術では、反射レーザー光の受光ありから受光なしに変化したことで物体を検出しているため、背景画像に無限遠領域となるようなレーザー光を反射しない物体または反射率が低い物体が存在していた場合には、そのような物体が移動すると、反射レーザー光の受光なしから受光ありとなる。このためレーザー光を反射しない物体または反射率が低い物体が移動することで現れた、それらの後ろにある背景が動体と検知されてしまい、レーザー光を反射しない物体または反射率が低い物体の移動とその背景とを見分けられないという問題が依然として残っている。
本発明は、上記事情に鑑みなされたものであり、本発明の目的は、背景画像において無限遠領域として存在していたレーザー光を反射しない物体または反射率が低い物体が移動した場合でも、無限遠領域となっていた物体とその背景を見分けることができる物体検出装置を提供することである。
また、本発明の他の目的は、背景画像において無限遠領域として存在していたレーザー光を反射しない物体または反射率が低い物体が移動した場合でも、無限遠領域となっていた物体とその背景を見分けることができる物体検出装置の制御方法を提供することである。
さらに、本発明の他の目的は、背景画像において無限遠領域として存在していたレーザー光を反射しない物体または反射率が低い物体が移動した場合でも、無限遠領域となっていた物体とその背景を見分けることができる物体検出装置の制御プログラムを提供することである。
本発明の上記目的は、下記の手段によって達成される。
(1)レーザー光を出射する出射部と、
前記レーザー光を空間内で走査する走査部と、
前記空間内の物体から反射したレーザー光を受光する受光部と、
前記出射部よりレーザー光を出射した出射時刻と、前記物体から反射したレーザー光を前記受光部で受光した受光時刻との時間差に基づいて、前記物体までの距離値を求め、前記走査部による前記レーザー光の走査によって得られた前記空間内の距離値の分布を示す距離画像を生成する処理部と、
前記処理部により生成された前記距離画像に基づいて取得した背景画像を記憶する記憶部と、
を有し、
前記処理部は、前記背景画像と、現在時点で取得した前記距離画像である現在画像とを比較して、前記現在画像のなかで前記背景画像と異なる領域を領域毎にクラスタリングして認識物体を抽出し、当該認識物体毎に、前記背景画像に存在していた無限遠領域と重なる部分があるか否かを調べ、前記認識物体の領域に対する前記無限遠領域の割合が所定値以上の場合に、前記認識物体は前記背景画像における無限遠領域と認識される低反射物体の背後にあった物体であると認識する、物体検出装置。
(2)前記処理部は、前記距離画像が時系列で並んだ複数のフレームのうち、前記認識物体が所定フレーム以上連続して認識され、かつ、前記複数のフレームのなかで、前記認識物体の初回出現時のフレーム内の位置から、所定フレーム数経過後の位置までの距離が所定距離以上離れている場合に、前記認識物体は、動体であると判定する、上記(1)に記載の物体検出装置。
(3)前記処理部は、前記記憶部に記憶している前記背景画像を所定のタイミングで更新し、
前記処理部は、前記背景画像を更新するタイミングまでに前記動体と判定されなかった前記認識物体がある場合には、前記認識物体を含めて前記背景画像として前記記憶部に記憶させる、上記(2)に記載の物体検出装置。
(4)前記処理部は、前記認識物体が前記背景画像における無限遠領域と認識される低反射物体と重なる物体であると判定した場合、前記認識物体が無限遠領域と認識される低反射物体の背後にあったことを示すための識別情報を付ける、上記(1)~(3)のいずれか1つに記載の物体検出装置。
(5)レーザー光を出射する出射部と、
前記レーザー光を空間内で走査する走査部と、
前記空間内の物体から反射したレーザー光を受光する受光部と、
前記出射部よりレーザー光を出射した出射時刻と、前記物体から反射したレーザー光を前記受光部で受光した受光時刻との時間差に基づいて、前記物体までの距離値を求め、前記走査部による前記レーザー光の走査によって得られた前記空間内の距離値の分布を示す距離画像を生成する処理部と、
前記処理部により生成された前記距離画像に基づいて取得した背景画像を記憶する記憶部と、
を有する物体検出装置の制御方法であって、
前記背景画像と、現在時点で取得した前記距離画像である現在画像とを比較して、前記現在画像のなかで前記背景画像と異なる領域があるか否かを判断する段階(a)と、
段階(a)において異なる領域がある場合は、当該異なる領域を領域毎にクラスタリングして認識物体として抽出し、当該認識物体毎に、前記背景画像に存在していた無限遠領域と重なる部分があるか否かを調べ、前記認識物体の領域に対する前記無限遠領域の割合が所定値以上の場合に、前記認識物体は前記背景画像における無限遠領域と認識される低反射物体の背後にあった物体であると認識する段階(b)と、
を有する物体検出装置の制御方法。
(6)前記段階(b)の後、さらに、前記距離画像が時系列で並んだ複数のフレームのうち、前記認識物体が所定フレーム以上連続して認識され、かつ、前記複数のフレームのなかで、前記認識物体の初回出現時のフレーム内の位置から、所定フレーム数経過後の位置までの距離が所定距離以上離れている場合に、前記認識物体は、動体であると判定する段階(c)を有する、上記(5)記載の物体検出装置の制御方法。
(7)さらに、前記記憶部に記憶している前記背景画像を所定のタイミングで更新する段階(d)を有し、
前記背景画像を更新するタイミングまでに前記動体と判定されなかった前記認識物体がある場合には、前記認識物体を含めて前記背景画像として前記記憶部に記憶させる段階(e)を有する、上記(6)記載の物体検出装置の制御方法。
(8)前記段階(b)で、前記認識物体が前記背景画像における無限遠領域と認識される低反射物体と重なる物体であると判定された場合、前記認識物体が無限遠領域と認識される低反射物体の背後にあったことを示すための識別情報を付ける段階(f)を有する、上記(5)~(7)のいずれか1つに記載の物体検出装置の制御方法。
(9)上記(5)~(8)のいずれか1つに記載の物体検出装置の制御方法を前記物体検出装置内の処理部に実行させる、物体検出装置の制御プログラム。
本発明によれば、現在画像のなかで認識された物体(認識物体)と背景画像に存在していた無限遠領域とを比較して、認識物体の領域に無限遠領域が所定割合含まれる場合に、その認識物体は背景画像における無限遠領域と重なっていた物体である判定することとした。これにより背景画像における無限遠領域と重なっていた物体は、無限遠領域が移動することで現れた物体であると見分けることができるようになる。
実施形態にかかる監視装置の断面図である。 処理部の構成を示すブロック図である。 監視装置の監視空間内を走査する状態を説明するための説明図である。 監視空間を側方から見た状態を説明する説明図である。 監視空間を側方から見た状態を説明する説明図であり、距離画像を取得する際の課題を説明するための図である。 監視空間を側方から見た状態を説明する説明図であり、距離画像を取得する際の課題を説明するための図である。 背景画像に存在していた無限遠領域に重なる物体か否かを判定するための処理手順を示すフローチャートである。 図7に続く、背景画像に存在していた無限遠領域に重なる物体か否かを判定するための処理手順を示すフローチャートである。
以下、図面を参照して、本発明の実施形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。
本実施形態では、本発明の物体検出装置を監視装置として用いる例を説明する。
図1は、本実施形態にかかる監視装置の断面図である。
監視装置MDは、レーザー光を出射する出射部LPSと、物体からのレーザー光反射を手交する受光部RPSと、ミラーユニットMUを有し、これらが投受光ユニット100を構成する。
出射部LPSは、レーザー光を出射するパルス式の半導体レーザーLDと、半導体レーザーLDからの発散光を平行光に変換するコリメートレンズCLを有する。
ミラーユニットMUは、コリメートレンズCLで平行とされたレーザー光を回転するミラー面により監視空間に向かって走査投光すると共に、物体からの反射光を反射させる。ミラーユニットMUは回転駆動するモータMTによって回転する。
受光部RPSは、ミラーユニットMUで反射された物体からの反射光を集光するレンズLSと、レンズLSにより集光された光を受光するフォトダイオードPDとを有する。フォトダイオードPDは、Z方向に並んだ複数の画素を有する。
出射部LPSおよび受光部RPSの光軸は、ミラーユニットMUの回転軸ROに対して直交していることが好ましい。
監視装置MDは、半導体レーザーLDの出射タイミングとフォトダイオードPDの受光タイミングとの時間差に応じて距離情報を求める処理部PROCを有する。
図2は、処理部PROCの構成を示すブロック図である。
処理部PROCは、コンピューターであり、演算装置であるCPU11、ワークエリアや一時記憶に用いられるRAM12、基本プログラムを記憶しているROM13、および必要に応じて設けられ、プログラムやパラメーターデータなどを記憶する不揮発性メモリ14を有し、互いにバスによって接続されている。また、バスには(直接または外部機器接続のためのインターフェースを介して)投受光ユニット100が接続され、CPU11の制御により、レーザー光の出射、受光、およびミラーユニットの回転の制御などを行っている。これらは、周知のコンピューターの構成や機能であるので詳細な説明は省略する。また、監視装置MDには、ディスプレイ(不図示)を接続して、距離画像(映像)が見られるようにしてもよい。また、他のコンピューターなどが接続されて、監視装置MDからのデータを記憶したり利用したりできるようにしてもよい。
各部は筐体CSに収容されている。筐体CSは、剛体である壁WL等に固定されたボックス形状をしており、上壁CSaと、これに対向する下壁CSbと、上壁CSaと下壁CSbとを連結する側壁CScとを有する。
側壁CScの一部に開口CSdが形成され、開口CSdには透明板TRが取り付けられている。
ミラーユニットMUは、2つの四角錐を逆向きに接合して一体化した形状を有し、すなわち対になって向き合う方向に傾いたミラー面M1、M2を4対(ただし4対に限られない)有している。
ミラー面M1、M2は、ミラーユニットの形状をした樹脂素材(たとえばポリカーボネート)の表面に、反射膜を蒸着することにより形成されていると好ましい。
ミラーユニットMUは、筐体CSに固定されたモータMTの軸MTaに連結され、回転駆動されるようになっている。軸MTaの軸線(回転軸線)が鉛直方向であるZ方向に延在しており、Z方向に直交するX方向およびY方向によりなすXY平面が水平面となっているが、軸MTaの軸線を鉛直方向に対して傾けても良い。
この監視装置MDの物体検出原理について説明する。
図1において、走査投光された光束のうち物体に当たって反射したレーザー光の一部は、再び透明板TRを透過して筐体CS内のミラーユニットMUの第2ミラー面M2に入射し、ここで反射され、さらに第1ミラー面M1で反射されて、レンズLSにより集光され、それぞれフォトダイオードPDの受光面で画素毎に検知される。
そして、処理部である処理部PROCが、半導体レーザーLDの出射時刻とフォトダイオードPDの受光時刻との時間差に応じて距離情報(距離値)を求める。このようにして、監視空間内の全領域で物体の検出を行って、画素毎に距離情報を持つ距離画像としてのフレームFL(図3参照)を得ることができる。
さらに詳しく説明する。
半導体レーザーLDからパルス状に間欠的に出射された発散光は、コリメートレンズCLで平行光束に変換され、回転するミラーユニットMUの第1ミラー面M1に入射し、ここで反射され、さらに第2ミラー面M2で反射した後、透明板TRを透過して外部の監視空間に向けて、たとえば縦長の矩形断面を持つレーザースポット光として走査投光される。
出射されたレーザースポット光が物体で反射し、反射光として戻ってくる方向を投受光方向という。同一投受光方向に進行するレーザースポット光は、同一の画素で検出される。
図3は、監視装置MDの監視空間内を走査する状態を説明するための説明図である。図3において、ミラーユニットMUの回転に応じて、出射するレーザースポット光SB(ハッチングで示す)で示す。
ここで、ミラーユニットMUは走査部となるものであり、は、第1ミラー面M1と第2ミラー面M2の組み合わせにおいて、それぞれ交差角が異なっている。
レーザー光は、回転する第1ミラー面M1と第2ミラー面M2にて、順次反射される。
まず1番対の第1ミラー面M1と第2ミラー面M2にて反射したレーザー光は、ミラーユニットMUの回転に応じて、監視空間の1番上の領域Ln1を水平方向に左から右へと走査される。
次に、2番対の第1ミラー面M1と第2ミラー面M2で反射したレーザー光は、ミラーユニットMUの回転に応じて、監視空間の上から2番目の領域Ln2を水平方向に左から右へと走査される。
次に、3番対の第1ミラー面M1と第2ミラー面M2で反射したレーザー光は、ミラーユニットMUの回転に応じて、監視空間の上から3番目の領域Ln3を水平方向に左から右へと走査される。
次に、4番対の第1ミラー面M1と第2ミラー面で反射したレーザー光は、ミラーユニットMUの回転に応じて、監視空間の最も下の領域Ln4を水平方向に左から右へと走査される。
これにより監視装置MDが監視可能な空間全体の1回の走査が完了する。この領域Ln1~Ln4の走査により得られた画像を組み合わせて、1つのフレームFLが得られる。
そして、ミラーユニットMUが1回転した後、1番対の第1ミラー面M1と第2ミラー面M2が戻ってくれば、再び監視空間の1番上の領域Ln1から最も下の領域Ln4までの走査を繰り返し、次のフレームFLが得られる。
図3において、物体が建物BLの白い壁面(レーザー光の入射位置P1)の場合、ほぼ等しい反射率を持つ平坦な面であることから反射条件が一様となり、走査毎に距離値のバラツキが生じにくい。このためほぼ等しい距離値を得ることができる。
これに対し、物体が樹木等(レーザー光の入射位置P2)の場合、凹凸があったり局所的に物体の色が変わるなどのため反射条件が安定しない。このため、それらからの反射光に基づいて距離値を求めると、走査毎に距離値がばらつくことになるが、距離値は得られる。
物体が建物BLのエッジ等(レーザー光の入射位置P3)の場合、ミラーユニットMUの振れ等により、ある時はレーザースポット光が建物BLに当たり、またある時は建物BLから逸れて奥の木に当たったりする。これらの場合、同じ画素上で走査毎に2群のデータ(すなわち建物までの距離値または木までの距離値)が得られることとなる。このように複数回の走査で2群の距離値を持つ画素はカスリ画素と呼ばれることがある。このような場合でも距離値は得られる。
一方、物体が建物BLの黒い塗装部分等(レーザー光の入射位置P4)の場合、レーザー光の照射具合によっては、その反射光をフォトダイオードPDの同一画素で検出できない場合がある。検出できない場合は距離値が不明となる。この距離値が不明となった画素が存在する領域が無限遠領域である。したがって、図3におけるレーザー光の入射位置P4の位置は無限遠領域となる。
処理部PROCは、フォトダイオードPDでの受光量が所定値以下の場合、その画素を距離値不明とし、そのような画素がある領域を無限遠領域と認識する。無限遠領域の画素は、レーザー光反射がないため、その画素の距離情報(距離値)は、無限遠を示すデータとして、たとえば空データ、この測定ではありえない大きな距離値、または-(マイナス)の距離値などが記憶される。
無限遠領域となるのは、建物の黒い塗装部分のほかにも、たとえば、黒い色の自動車や、レーザー光を透過してしまう物体(たとえば、ガラスや樹脂製の窓)などもある。
次に、背景差分法を用いた、監視装置MDの物体の検出について説明する。図4は、監視空間を側方から見た状態を説明する説明図である。
背景差分法では、基準となる画像を背景画像としてRAM12に記憶(登録ともいう)する。このため、RAM12は記憶部となる。具体的には、監視の前準備(前処理)として監視装置MDの起動時および一定時間周期で背景画像の登録を行う。背景画像は、理想的には、図4(a)に示すように、自動車や、人間、動物等の移動物体が存在しない状態で、監視装置MDからレーザースポット光SBを走査する。このとき、理想的には、背景となる物体(背景物体BGという)のみが存在する距離画像が、背景画像として登録される。
この背景画像はたとえば、監視装置MDの起動時、一定時間周期、またユーザーからの指示などの所定のタイミングで新たに取得されてRAM12内に記憶される。RAM12内に、既に背景画像が記憶されている場合は、新たに取得された距離画像により更新される。
監視時においては、現在時点における距離画像が取得される。これを現在画像という。たとえば、図4(b)に示すように、背景物体BGの手前に侵入物(者)OBJが現れた場合、侵入物OBJからの反射光RB2が新たに生じることとなる。図においては、侵入物OBJとして自動車の例を示したが、自動車に限定されず、たとえば、自転車、人、動物などの場合もある。
処理部PROCは、図4(a)で取得した背景画像と、図4(b)で取得した現在画像とを比較して、異なる領域がある場合、その異なる領域を、基本的には背景には存在しなかった物体(前景)であると認識する。ここでは侵入物OBJとして認識する。侵入物OBJを認識したなら、たとえば、警報を発したり、動体追跡したりする。警報は、処理部PROCに警報装置(ランプや音)を接続しておいて、侵入物OBJを認識することで処理部PROCから警報装置を作動させればよい。動体追跡は、侵入物OBJをクラスタリングして、侵入物OBJが移動している場合、走査を繰り返して得られる複数のフレームでクラスタリングした侵入物OBJの位置が変わることから、侵入物OBJを追跡して、移動方向や速度を求める。
次に、距離画像を取得する際の課題について詳しく説明する。
図5および図6は、監視空間を側方から見た状態を説明する説明図であり、距離画像を取得する際の課題を説明するための図である。
図5の場合には、レーザー光反射率の高い自動車OB1(反射物体)の手前(監視装置MDから見て監視装置MDに近い側)に、レーザー光の反射がほとんどない、たとえば黒い自動車OB2(以下、低反射物体ともいう)が駐車している場合である。
このような場合、処理部PROCは、黒い自動車OB2からの反射がないため、その部分を無限遠領域と認識する。この無限遠領域と認識される低反射物体があるときに、たまたま背景画像を取得するタイミングになると、そのタイミングで記憶された背景画像のなかに無限遠領域が存在することになる。
この状態から、図6に示すように、自動車OB2が移動すると、監視装置MDから見て自動車OB2に隠されていた自動車OB1からの反射光RB2が検出されるようになる。そうすると、背景画像のなかの無限遠領域の部分に、自動車OB1からの反射光RB2が検出されるため、あたかも、そのときに自動車OB1が侵入してきたと判定されてしまう。しかし、実際には、背景画像取得時より前から駐車していた自動車OB1が検出されただけであるので、少なくとも背景画像取得時と比較して侵入物があったわけではない。したがって、この時点で自動車OB1を侵入物と判定することは誤判定となってしまう。
本実施形態では、背景画像のなかに無限遠領域が登録されている場合に、現在画像において反射率の高い物体が現れた場合に、その現れた物体が背景画像に存在していた無限遠領域と重なる物体か否かを判定する。
図7および図8は、背景画像に存在していた無限遠領域に重なる物体か否かを判定するための処理手順を示すフローチャートである。この処理手順は、処理部PROCが、監視装置MDの制御方法として作成されたプログラムを実行することで実施される。なお、この処理手順では、背景画像に存在していた無限遠領域に重なる物体か否かを判定するだけでなく、その重なるとされた物体が動体であるか否かも判定する手順である。
まず、処理部PROCは、背景画像を登録する(S10)。S10での背景画像の登録はたとえば、監視装置MDの起動時である。なお、一定周期毎の背景画像の登録は、この手順では、後のステップで行うことになる。
続いて、処理部PROCは、現在画像を取得する(S11)。
続いて、処理部PROCは、背景差分法を用いて、登録された背景画像と現在画像を比較して現在画像のなかに背景画像と異なる領域があればその異なる領域を抽出する(S12)。
続いて、処理部PROCは、抽出された異なる領域をクラスタリングする(S13)。異なる領域が複数ある場合は、領域毎にクラスタリングする。これにより背景差分法で背景画像にはなかった物体、すなわち、現在画像で現れた物体がクラスタリングされて認識される。ここではこのクラスタリングされた物体を認識物体という。クラスタリングされた物体が複数の場合は、認識物体も複数となる。
続いて、処理部PROCは、それぞれの認識物体毎に、その領域のなかに、背景画像にある無限遠領域と重なる部分が所定以上の割合で含まれているか否かを判断する(S14)。
S14の判断は、まず、現在画像における認識物体の画素と背景画像のなかの同じ位置の領域内の画素を比較して、背景画像内の画素が無限遠領域となっている画素があるか否かを判定する。そして、無限遠領域の画素があれば、その画素数をカウントして、認識物体の画素数との割合を求める。ここで、たとえば認識物体の画素のうち、8割(80%)以上が無限遠の画素と重なっている場合、現在画像での認識物体が背景画像における無限遠領域に重なる物体と判定する。つまりS14でYESとなる。もちろんこの判断割合は任意であり、たとえば9割(90%)以上や10割(100%)としてもよい。逆に、3割(30%)以上や5割(50%)以上など、無限遠領域に重なる部分が少なくても、無限遠領域に重なる物体であると判断してもよい。
この割合は、たとえば背景画像のなかに広い無限遠領域があった場合、たとえば、空が常に映っているような場合、認識物体と空である無限遠物体とを比較すると、認識物体と無限遠領域の重なりの割合は少ない。一方、図5に示したように、黒い自動車OB2の場合に、それが移動すると後ろの自動車OB1が現れるので、認識物体である自動車OB1と背景画像にあった無限遠領域である自動車OB2の領域を比較することになる。このような場合は、その重なりの割合は大きくなり、ここでは10割となる。このように、この割合が大きい方が無限遠領域の後ろに物体があって、無限遠領域となっていた物体が移動したことで見えてきた可能性が高いと判断できる。
S14において処理部PROCは、認識物体の領域と無限遠領域が所定割合以上重なると判断したなら(S14:YES)、その認識物体を背景画像の無限遠領域に重なる物体であるとする(S16)。このような無限遠領域に重なる物体を無限遠領域重複物体と称する。これにより無限遠領域となっていた低反射物体が移動していなくなったことで、その背後にあった物体が、現在画像において無限遠領域に重なる物体として認識される。
続いて、処理部PROCは、無限遠領域重複物体であるとされた認識物体に識別情報を付ける(S17)。処理部PROCは、この認識物体に識別情報を付けて記憶する。また、無限遠領域重複物体であるとされた認識物体を画面に表示する際には、たとえば、その認識物体を囲む線(線の色を他の物体と変える)を付けたり、矢印を付けたり、また、その認識物体自体に色を付けたり他と違えたりすることが好ましい。
S14においてNOと判断された場合、およびS16の後、処理部PROCは、続いて、認識物体の中心位置を算出(クラスタリングデータから物体の中心位置を算出)して、その認識物体に識別符号(ID)を割り当てる(S15)。
続いて、処理部PROCは、認識物体は既に動体と判定されているか否かを判断する(S18)。ここで、処理部PROCは、認識物体が既に動体であると判断した場合は(S18:YES)、認識物体を継続して動体とする(S25)。なお、動体とされている認識物体には、その認識物体のIDに動体である旨をひも付けして記憶している(後述)。
処理部PROCは、S18において認識物体が動体とされていないと判断した場合(S18:NO)、続いて、所定フレーム数となるまで認識物体が連続して検出されたか否かを判断する(S19)。たとえば、このステップでのフレームでクラスタリングされている物体とこの前のフレームで同じクラスタがあれば、同じ物体であると判断する。そして、そのクラスタが所定フレーム数連続したか否かを判断する。所定フレーム数は、たとえば2フレームまたは3フレームである。この所定フレーム数は、動体か否かを確認するためのフレーム数である。
処理部PROCは、S19において、所定フレーム数となるまで認識物体が連続して検出されていないと判断したなら(S19:NO)、S11へ戻ることになる。ここで所定フレーム数が経過するまでの間に、背景画像を定期的に更新するための時間となる可能性がある。しかし、所定フレーム数は上記のように、たとえば2フレームまたは3フレームである。したがって、所定フレーム数となるまでの時間はわずかなので、S11へ戻って処理を継続しても差し支えはない(なお、再起動などがあれば、S10から処理が再開される)。
処理部PROCは、S19において、所定フレーム数となるまで認識物体が連続して検出されていると判断したなら(S19:YES)、続いて、認識物体は無限遠領域重複物体か否かを判断する(S20)。この判断は、S17において無限遠領域と重なる物体としての識別情報が付いているか否かで判断する。
処理部PROCは、S20において無限遠領域重複物体ではないと判断したなら(S20:NO)、認識物体を動体として判定する(S25)。これはこのステップで、認識物体が無限遠領域重複物体でなければ、その物体は背景画像には存在していなかった物体であるから、どこかから移動してきた物体、すなわち動体である。このステップS25で初めて動体と判定された認識物体は、動体である旨をIDにひも付けして記憶する。
処理部PROCは、S20において認識物体が無限遠領域重複物体であると判断したなら(S20:YES)、続いて、処理部PROCは、認識物体の所定フレーム数経過した時点の位置が、初出現時の位置から所定距離以上移動しているか否かを判断する(S21)。ここで、認識物体が初出現から所定距離以上移動していると判断されたなら(S21:YES)、認識物体を動体として判定する(S25)。これはこのステップで、認識物体が初出現から所定フレーム数経過した時点で所定距離以上移動しているということは、その認識物体が移動しているということなので、動体とする。処理部PROCは、このステップS25で初めて動体と判定された認識物体のIDに、動体である旨をひも付けして記憶する。なお、所定距離は動体として検出したい物体によって異なる。たとえば、監視対象物(物体)が、人の場合には数cm~50cm程度とすることが好ましい。自動車のように速度の速いものの場合は、10cm~1m程度としてもよい。
処理部PROCは、S21において認識物体が初出現から所定距離以上移動していないと判断したなら(S21:NO)、続いて、背景画像更新のタイミングか否かを判断する(S22)。このステップにおける背景画像更新のタイミングとは既に説明した一定周期で背景画像を登録することである。処理部PROCは、S22において背景画像更新のタイミングでないと判断したなら(S22:NO)、認識物体を静止物と判定する(S23)。一方、処理部PROCは、S22において背景画像更新のタイミングであると判断したなら(S22:YES)、認識物体を含めて背景画像として登録する(S24)。このステップまで来て、動体ではなく、かつ、静止物に分類されない静止物は、背景画像として登録することになる。
S23、S24、およびS25の後は、S11へ戻り、処理を繰り返すことになる。
以上説明したように、本実施形態によれば、現在画像のなかで、背景差分法によって認識された物体(認識物体)の領域が、背景画像に存在した無限遠領域を所定割合以上含む場合に、その認識物体は背景画像における無限遠領域と重なっていた物体である判定することとした。これにより、現在画像で現れた認識物体は背景画像における無限遠領域と所定割合以上重なっていたので、無限遠領域が移動したことで、その後ろに隠れていた物体が現れたものと判断できる。したがって、本実施形態によって背景画像において無限遠領域とされている物体に隠れていた物体を見分けることができる。
さらに本実施形態では、背景差分法で認識された物体(認識物体)が、無限遠領域の後ろに隠れた物体か否かを判定した後、初回出現時から所定フレーム数経過後に移動しているかどうかを判断することで、無限遠領域の後ろに隠れた物体が、動体か、静止物かを判断している。これにより、監視装置においては、無限遠領域の背後にある物体が検出されたとしても、その物体が移動していない限り動体として判定しない。したがって、たとえば、窓ガラスや黒い自動車などの反射光が返ってこない物体が背景画像に登録された後、窓ガラスや黒い自動車が移動した場合でも、これらの後ろにあった停止物体(静止物)に対しては動体検出せず、移動している物体に対してのみ動体検出することが可能となる。その結果、停止しているだけの自動車などに対しての誤報を防ぐことができる。
以上本発明を適用した実施形態を説明したが、本発明は、これら実施形態に限定されるものではない。本発明は特許請求の範囲に記載された構成に基づき様々な改変が可能であり、それらについても本発明の範疇である。
11 CPU、
12 RAM、
13 ROM、
14 不揮発性メモリ、
100 投受光ユニット、
CL コリメートレンズ、
CS 筐体、
CSa 上壁、
CSb 下壁、
CSc 側壁、
CSd 開口、
FL フレーム、
FS フェンス、
LD 半導体レーザー、
LPS 出射部、
LS レンズ、
M1、M2 ミラー面、
MD 監視装置、
MT モータ、
MTa 軸、
MU ミラーユニット、
OBJ 侵入物、
OB1 レーザー光反射率の高い自動車(反射物体)、
OB2 黒い自動車(低反射物体)、
PD フォトダイオード、
PROC 処理部、
RB1、RB2 反射光、
RO 回転軸、
RPS 受光部、
SB レーザースポット光。

Claims (9)

  1. レーザー光を出射する出射部と、
    前記レーザー光を空間内で走査する走査部と、
    前記空間内の物体から反射したレーザー光を受光する受光部と、
    前記出射部よりレーザー光を出射した出射時刻と、前記物体から反射したレーザー光を前記受光部で受光した受光時刻との時間差に基づいて、前記物体までの距離値を求め、前記走査部による前記レーザー光の走査によって得られた前記空間内の距離値の分布を示す距離画像を生成する処理部と、
    前記処理部により生成された前記距離画像に基づいて取得した背景画像を記憶する記憶部と、
    を有し、
    前記処理部は、前記背景画像と、現在時点で取得した前記距離画像である現在画像とを比較して、前記現在画像のなかで前記背景画像と異なる領域を領域毎にクラスタリングして認識物体を抽出し、当該認識物体毎に、前記背景画像に存在していた無限遠領域と重なる部分があるか否かを調べ、前記認識物体の領域に対する前記無限遠領域の割合が所定値以上の場合に、前記認識物体は前記背景画像における無限遠領域と認識される低反射物体の背後にあった物体であると認識する、物体検出装置。
  2. 前記処理部は、前記距離画像が時系列で並んだ複数のフレームのうち、前記認識物体が所定フレーム以上連続して認識され、かつ、前記複数のフレームのなかで、前記認識物体の初回出現時のフレーム内の位置から、所定フレーム数経過後の位置までの距離が所定距離以上離れている場合に、前記認識物体は、動体であると判定する、請求項1に記載の物体検出装置。
  3. 前記処理部は、前記記憶部に記憶している前記背景画像を所定のタイミングで更新し、
    前記処理部は、前記背景画像を更新するタイミングまでに前記動体と判定されなかった前記認識物体がある場合には、前記認識物体を含めて前記背景画像として前記記憶部に記憶させる、請求項2に記載の物体検出装置。
  4. 前記処理部は、前記認識物体が前記背景画像における無限遠領域と認識される低反射物体と重なる物体であると判定した場合、前記認識物体が無限遠領域と認識される低反射物体の背後にあったことを示すための識別情報を付ける、請求項1~3のいずれか1つに記載の物体検出装置。
  5. レーザー光を出射する出射部と、
    前記レーザー光を空間内で走査する走査部と、
    前記空間内の物体から反射したレーザー光を受光する受光部と、
    前記出射部よりレーザー光を出射した出射時刻と、前記物体から反射したレーザー光を前記受光部で受光した受光時刻との時間差に基づいて、前記物体までの距離値を求め、前記走査部による前記レーザー光の走査によって得られた前記空間内の距離値の分布を示す距離画像を生成する処理部と、
    前記処理部により生成された前記距離画像に基づいて取得した背景画像を記憶する記憶部と、
    を有する物体検出装置の制御方法であって、
    前記背景画像と、現在時点で取得した前記距離画像である現在画像とを比較して、前記現在画像のなかで前記背景画像と異なる領域があるか否かを判断する段階(a)と、
    段階(a)において異なる領域がある場合は、当該異なる領域を領域毎にクラスタリングして認識物体として抽出し、当該認識物体毎に、前記背景画像に存在していた無限遠領域と重なる部分があるか否かを調べ、前記認識物体の領域に対する前記無限遠領域の割合が所定値以上の場合に、前記認識物体は前記背景画像における無限遠領域と認識される低反射物体の背後にあった物体であると認識する段階(b)と、
    を有する物体検出装置の制御方法。
  6. 前記段階(b)の後、さらに、前記距離画像が時系列で並んだ複数のフレームのうち、前記認識物体が所定フレーム以上連続して認識され、かつ、前記複数のフレームのなかで、前記認識物体の初回出現時のフレーム内の位置から、所定フレーム数経過後の位置までの距離が所定距離以上離れている場合に、前記認識物体は、動体であると判定する段階(c)を有する、請求項5に記載の物体検出装置の制御方法。
  7. さらに、前記記憶部に記憶している前記背景画像を所定のタイミングで更新する段階(d)を有し、
    前記背景画像を更新するタイミングまでに前記動体と判定されなかった前記認識物体がある場合には、前記認識物体を含めて前記背景画像として前記記憶部に記憶させる段階(e)を有する、請求項6に記載の物体検出装置の制御方法。
  8. 前記段階(b)で、前記認識物体が前記背景画像における無限遠領域と認識される低反射物体と重なる物体であると判定された場合、前記認識物体が無限遠領域と認識される低反射物体の背後にあったことを示すための識別情報を付ける段階(f)を有する、請求項5~7のいずれか1つに記載の物体検出装置の制御方法。
  9. 請求項5~8のいずれか1つに記載の物体検出装置の制御方法を物体検出装置内の処理部に実行させるための、物体検出装置の制御プログラム。
JP2017238498A 2017-12-13 2017-12-13 物体検出装置、物体検出装置の制御方法、および物体検出装置の制御プログラム Active JP7020096B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017238498A JP7020096B2 (ja) 2017-12-13 2017-12-13 物体検出装置、物体検出装置の制御方法、および物体検出装置の制御プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017238498A JP7020096B2 (ja) 2017-12-13 2017-12-13 物体検出装置、物体検出装置の制御方法、および物体検出装置の制御プログラム

Publications (2)

Publication Number Publication Date
JP2019105550A JP2019105550A (ja) 2019-06-27
JP7020096B2 true JP7020096B2 (ja) 2022-02-16

Family

ID=67061560

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017238498A Active JP7020096B2 (ja) 2017-12-13 2017-12-13 物体検出装置、物体検出装置の制御方法、および物体検出装置の制御プログラム

Country Status (1)

Country Link
JP (1) JP7020096B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220163675A1 (en) * 2020-11-24 2022-05-26 Waymo Llc Methods of Using Background Images from a Light Detection and Ranging (LIDAR) Device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007122507A (ja) 2005-10-28 2007-05-17 Secom Co Ltd 侵入検知装置
JP2007121158A (ja) 2005-10-28 2007-05-17 Secom Co Ltd 侵入検知装置
JP2011186633A (ja) 2010-03-05 2011-09-22 Secom Co Ltd 物体検出装置
JP2012084009A (ja) 2010-10-13 2012-04-26 Secom Co Ltd 画像センサ
WO2017195754A1 (ja) 2016-05-13 2017-11-16 コニカミノルタ株式会社 監視システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007122507A (ja) 2005-10-28 2007-05-17 Secom Co Ltd 侵入検知装置
JP2007121158A (ja) 2005-10-28 2007-05-17 Secom Co Ltd 侵入検知装置
JP2011186633A (ja) 2010-03-05 2011-09-22 Secom Co Ltd 物体検出装置
JP2012084009A (ja) 2010-10-13 2012-04-26 Secom Co Ltd 画像センサ
WO2017195754A1 (ja) 2016-05-13 2017-11-16 コニカミノルタ株式会社 監視システム

Also Published As

Publication number Publication date
JP2019105550A (ja) 2019-06-27

Similar Documents

Publication Publication Date Title
US8908038B2 (en) Vehicle detection device and vehicle detection method
US8420998B2 (en) Target detecting and determining method for detecting and determining target based on height information and storage medium for storing program executing target detecting and determining method
JP4691701B2 (ja) 人数検出装置及び方法
CN111712828A (zh) 物体检测方法、电子设备和可移动平台
JP2000266539A (ja) 車間距離計測装置
WO2020105527A1 (ja) 画像解析装置、画像解析システム、および制御プログラム
US11900691B2 (en) Method for evaluating sensor data, including expanded object recognition
JP7020096B2 (ja) 物体検出装置、物体検出装置の制御方法、および物体検出装置の制御プログラム
JP6863035B2 (ja) 侵入監視方法、侵入監視プログラム、および侵入監視装置
CN114966714A (zh) 视窗遮挡检测方法及装置
JP2017215642A (ja) 監視システム
JP6988797B2 (ja) 監視システム
CN114365003A (zh) 调节设备和激光雷达测量设备
Alefs et al. Hypothesis based vehicle detection for increased simplicity in multi-sensor ACC
JP2006521557A (ja) 検出システム、物体を検出するための方法、およびそのためのコンピュータプログラム
CN112752947A (zh) 用于抑制在机动车的环境传感设备的摄像机的至少一个摄像机图像中的反射的成像的方法以及相对应的环境传感设备
CN112912895B (zh) 一种检测方法、装置和车辆
JP6898587B2 (ja) 物体追跡方法、物体追跡プログラム、および物体追跡システム
JP2018180788A (ja) 動体追跡方法、動体追跡プログラム、および動体追跡システム
JP2011122851A (ja) 物体検出方法及びその装置
JP6835079B2 (ja) 監視システム
KR102084302B1 (ko) 광각 라이더 장치 및 이의 동작 방법
JP7201002B2 (ja) 画像処理装置、制御プログラム、および画像処理方法
WO2022217522A1 (zh) 目标感知方法、装置、探测系统、可移动平台及存储介质
CN113126640B (zh) 用于无人机的障碍物探测方法、装置、无人机和存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200618

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210216

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210419

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210817

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210928

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220117

R150 Certificate of patent or registration of utility model

Ref document number: 7020096

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150