JPWO2018168552A1

JPWO2018168552A1 - 物体検出システム

Info

Publication number: JPWO2018168552A1
Application number: JP2019505895A
Authority: JP
Inventors: 俊介 ▲高▼村
Original assignee: Konica Minolta Inc
Current assignee: Konica Minolta Inc
Priority date: 2017-03-14
Filing date: 2018-03-05
Publication date: 2020-01-16
Anticipated expiration: 2038-03-05
Also published as: JP6962365B2; US11113833B2; EP3598175A1; EP3598175A4; US20200118284A1; EP3598175B1; WO2018168552A1

Abstract

所望の抽出対象の移動体の背景状況によらず、当該抽出対象の移動体を精度よく抽出する。物体検出システム（１）は、外界から距離画像を検出する距離画像検出手段（１０）と、距離画像から所望の抽出対象の移動体を抽出する移動体抽出手段（２）とを備える。移動体抽出手段は、予め所望の抽出対象の移動体が存在しない状態の距離画像を背景として記憶部（２ａ）に登録し、現在の距離が当該背景の距離よりも手前である画素のみを抽出対象の移動体に対応する画素の候補として抽出する（Ｓ２，Ｓ３）。また移動体抽出手段は、抽出した候補の画素からなる画素群からさらにクラスタのサイズ等によって判定（Ｓ７）を行い抽出対象の移動体として抽出し、抽出対象の移動体として抽出しなかった部分については、その画素の距離を背景の距離として記憶部に更新登録する（Ｓ８）。

Description

本発明は、物体検出システムに関する。

近年、監視空間内の侵入者や車両を検出する目的で、レーザーレーダーなどで検出した距離画像の中から物体を検出する物体検出システムが使用されている。ここで、距離画像とは、２次元座標に物体までの距離値がマッピングされたものである。
距離画像から移動体を含む画素を抽出する方法としては、特許文献１にも記載されるように、あらかじめ取得しておいた背景（移動体が存在しない状態の距離画像）と比較して距離に差がある画素を抽出する方法が知られている。特許文献１における背景距離マップ生成部は、レーザーレーダーの計測結果に基づいて検出領域内におけるレーザーレーダーから背景にある物体までの距離情報を示す背景距離マップを生成する。移動物体検出部は、背景距離マップメモリに予め記憶されている背景距離マップの距離情報とレーザーレーダーの計測結果との差から検出領域内の移動物体を検出する。

特開２００５-３００２５９号公報

しかし、上述の方法では下記のような場合に本来不要な画素まで抽出されてしまうという問題がある。
（１）ガラスや水たまりなど反射するものがある場合
距離を計測する方法として、ＴＯＦ（光が物体に反射し戻ってくるまでを計測する方法）を用いている場合に、ガラスや水たまりなど全反射する部分に照射された光が、そこで反射し、その先にある物体から反射して戻ってくることがある。そうすると、ガラスや水たまりの奥に物体があるような距離画像となる。これは実際には物体が存在しない位置に現れている虚像なので、抽出したい移動体画素ではないが、背景と距離の差がある部分を抽出すると、ここも移動体の候補画素として抽出されてしまう。
図１０は、レーザーレーダーなどの外界から距離画像を検出する距離画像検出装置１０の前方に人物１１及びガラス１２がある状況を示す。図１０のとおり、光路１４で反射した光が戻ってくることによって、実際には存在しない位置に物体が現れたように見える。
このため、従来技術で背景と異なる距離にあるものを抽出すると、この虚像１３も抽出されてしまう。

（２）フェンスなど向こう側が透けて見える物体がある場合
フェンスなど向こう側が透けて見える物体がある場合、フェンスの奥に人などが現れた場合に、その人が検出される。（光がフェンスを通り抜け、その奥の人からも反射して戻ってくるため）。目的によるが、フェンスの内側の動きを見たい場合、これは余計な情報となる。背景（フェンス）とは距離があるため、従来技術ではこの画素も抽出されてしまう。
図１１Ａ，図１１Ｂは、距離画像検出装置１０の前方に網目状のフェンス１５がある状況を示す。この場合、人物がいない場合は図１１Ａに示すようにフェンス１５のみから光が光路１６で戻ってくるが、図１１Ｂに示すようにフェンス１５の奥側１８に人物１１が現れた場合に、光路１７でその人物１１から反射した光も戻ってくる。ここで、距離画像検出装置１０から見てフェンス１５の手前側１９のみを見たい場合、図１１Ｂの人物１１の情報は不要な情報だが、従来技術では背景と異なる部分を抽出するため、この人物１１も抽出されてしまう。

（３）背景が変化する場合
背景が頻繁に変化するようなケース、例えば駅のホーム上の人物を監視したい場合である。図４から図７は、距離画像検出装置１０の前方に駅のホーム２０、線路２１及び壁２２がある状況を示す。例えば壁２２をデータ処理上の背景として固定してしまうと、駅に出入りする電車２３によって人物に対する実際の背景が変わってしまい、その部分がすべて移動体を含む画素として抽出されてしまう。
電車２３もデータ処理上の背景の一部として設定すると、従来技術では背景と異なる部分を抽出するため、電車２３が無い状況での壁２２も抽出されてしまう。
そのため、従来技術の方法では電車より手前の人物などの所望の抽出対象の移動体を含む画素のみを抽出することができなかった。
また、電車２３は固定物ではなく移動体であり、検出対象範囲に常にはおらず、かつ、車両の違いや停車位置のバラつき等により距離誤差もあるから、電車２３をデータ処理上の背景とするには困難がある。

本発明は以上の従来技術における問題に鑑みてなされたものであって、所望の抽出対象の移動体の背景状況によらず、当該抽出対象の移動体を精度よく抽出することを課題とする。

以上の課題を解決するための請求項１記載の発明は、外界から距離画像を検出する距離画像検出手段と、前記距離画像から所望の抽出対象の移動体を抽出する移動体抽出手段とを備える物体検出システムであって、
前記移動体抽出手段は、予め前記抽出対象の移動体が存在しない状態の距離画像を背景として記憶部に登録し、現在の距離が当該背景の距離よりも手前である画素のみを前記抽出対象の移動体に対応する画素の候補として抽出する物体検出システムである。

本発明によれば、上記（１）（２）（３）のケースがそれぞれ以下の通り解決される。

上記（１）の「ガラスや水たまりなど反射するものがある場合」
反射して戻ってきた光については、背景（ガラスや水たまり）よりも遠くから戻ってくるため、その距離は背景より遠くになっている。そのため、背景より手前側のみ抽出すれば、これらの画素は含まれない。

上記（２）の「フェンスなど向こう側が透けて見える物体がある場合」
フェンスの奥の物体は背景（フェンス）より距離は遠い。そのため、背景より手間のみ抽出すれば、これらの画素は含まれない。

上記（３）の「背景が変化する場合」
背景の変化する部分が最も手前にある状態で背景を取得しておくことによって、背景が変化した部分については抽出されなくなる。例えば、図４から図７に示したように駅のホームを監視するケースでは、電車２３が止まっている状態で背景を取得し登録しておけば、その後電車２３が出て行ったとしても、その部分（壁２２）は手前側には変化しないため抽出されないが、その前に人物１１が立った場合には、距離は手前に変化するため、抽出される。このようにホーム２０上の人物１１のみを抽出することができる。

請求項２記載の発明は、前記移動体抽出手段は、抽出した前記候補の画素からなる画素群からさらに判定を行い前記抽出対象の移動体として抽出し、前記抽出対象の移動体として抽出しなかった部分については、その画素の距離を背景の距離として前記記憶部に更新登録する請求項１に記載の物体検出システムである。

かかる発明によれば、特に上記（３）の背景が変化する場合などにおいて、最適な背景を取得することが難しい場合でも、測定中の情報から背景の距離を更新していくことで、最適な背景を得ることができる。

請求項３記載の発明は、前記移動体抽出手段は、前記判定を検出した移動体のサイズによって行う請求項２に記載の物体検出システムである。

かかる発明によれば、上記（３）のケースで例えば図４から図７に示したように駅のホーム２０の奥の電車２３は抽出対象とせず、ホーム２０上を歩く人物１１を抽出したい場合、人物１１相当サイズ以下の移動体のみを「所望の抽出対象の移動体」として抽出するようにしておけば、電車２３はそのサイズから「所望の抽出対象の移動体」ではないと判定できる。また、このサイズというパラメータは設定するユーザーにとってわかりやすく、調整が容易である。

請求項４記載の発明は、前記移動体抽出手段は、前記記憶部に登録した背景より手前にあるかを判断する際に、最低変化距離の閾値を設け、背景の距離よりも当該閾値以上に手前である画素のみを前記抽出対象の移動体に対応する画素の候補として抽出する請求項１から請求項３のうちいずれか一に記載の物体検出システムである。

かかる発明によれば、誤差やノイズで偶発的に背景より手前になった画素を誤って抽出することを防ぐことができる。

以上説明したように本発明によれば、所望の抽出対象の移動体の背景状況によらず、当該抽出対象の移動体を精度よく抽出することができる。

本発明の一実施形態に係る物体検出システムのブロック図である。本発明の一実施形態に係る物体検出システムのよる演算過程を示すフローチャートである。本発明の一実施形態に係る物体検出システムのよる演算過程を示す、図２に続くフローチャートである。電車の駅のホームを検出対象としてレーザーレーダーなどの距離画像検出装置が設置された状況を示す模式図である。図４から変わった状況を示す模式図である。図４から変わった他の状況を示す模式図である。図４から変わったさらに他の状況を示す模式図である。図７と同じ模式図に電車部分により構成される背景距離画像を加えた模式図である。本発明の一実施形態に係る物体検出システムのよる最新の背景距離画像及びの背景更新停止ボタンの表示例を示す図である。レーザーレーダーなどの距離画像検出装置の前方に人物及びガラスがある状況を示す模式図である。レーザーレーダーなどの距離画像検出装置の前方に網目状のフェンスがある状況を示す模式図である。レーザーレーダーなどの距離画像検出装置の前方に網目状のフェンスがあり、そのフェンス裏に人物が現れた状況を示す模式図である。

以下に本発明の一実施形態につき図面を参照して説明する。以下は本発明の一実施形態であって本発明を限定するものではない。

図１に示すように本実施形態の物体検出システム１は、外界から距離画像を検出する距離画像検出手段としてのレーザーレーダーなどの距離画像検出装置１０と、距離画像検出装置１０が出力する距離画像から所望の抽出対象の移動体を抽出する移動体抽出手段２とを備える。移動体抽出手段２はコンピューターによって構成され、記憶部２ａを有し、ＣＰＵにより以下に説明する演算を実行する。

移動体検出（図２、図３のフロー）に先立ち、移動体抽出手段２は、検出したいエリアに人などの障害物がない状態で距離画像検出装置１０により距離画像を取得し、それを背景として記憶部２ａに登録する。

背景登録後、図２に示すように移動体抽出手段２は、距離画像検出装置１０が出力する距離画像を取得する（Ｓ１）。当該距離画像が現在の距離画像に相当する。
次に移動体抽出手段２は、当該距離画像おける現在の距離が、記憶部２ａに登録された背景の距離よりも手前か否か判断する（Ｓ２）。すなわち、ステップＳ２において移動体抽出手段２は、距離画像検出装置１０から取得した現在の距離画像の中の１画素の距離値と、この１画素と座標が同じである背景距離画像中における１画素の距離値とを比較して、前者が小さいか否かを判断する。

移動体抽出手段２は、ステップＳ２においてＹＥＳの場合、その判断対象の１画素を移動体候補画素として抽出する（Ｓ３）。移動体候補画素は、所望の抽出対象の移動体に対応する画素の候補である。
ステップＳ２において距離が近いかを判定する際には、そのまま比較するだけではなく、最低変化距離の閾値を設け、背景の距離よりも当該閾値以上に手前である画素のみを移動体候補画素として抽出するようにしてもよい。これにより、誤差やノイズで偶発的に背景より手前になった画素を誤って抽出することを防ぐことができる。

移動体抽出手段２は、以上のステップＳ２、Ｓ３を全画素について実行したら（Ｓ４でＹＥＳ）、移動体候補画素処理Ｒ１（図３のフロー）を実行する。

移動体候補画素処理Ｒ１としては、図３に示すように移動体抽出手段２は、移動体候補画素（画素群）をクラスタに分ける（Ｓ５）。
次に移動体抽出手段２は、各クラスのサイズを算定する（Ｓ６）。例えば、垂直方向寸法、水平方向寸法、総面積などを算出する。なお、「サイズ」は、実寸法であり、見た目上の大きさではない。
移動体抽出手段２は、ステップＳ６で算定したサイズが抽出対象の移動体を特定するための所定の閾値以下か否か判定する（Ｓ７）。
移動体抽出手段２は、ステップＳ７でＹＥＳの場合、そのクラスタを抽出対象の移動体として抽出し、抽出対象移動体処理Ｒ２を実行する。抽出対象移動体処理Ｒ２は、例えば、所定エリアへの侵入者を監視している目的であれば、通報を発するなどの処理であり、特に限定される内容はない。

移動体抽出手段２は、ステップＳ７でＮＯの場合、そのクラスタの画素の距離を背景の距離として記憶部２ａに更新登録する（Ｓ８）。

本実施形態ではサイズが規定のサイズより小さい場合に対称の移動体として認識するよう判定している。
これにより、例えば、図４から図７に示すような駅のホームを監視したい場合に、ホーム２０を歩いている人間のサイズより大きく電車車両のサイズより小さく閾値を設定すれば、電車２３のような大きいもののクラスタは、ステップＳ８で背景とすることができる。このように電車２３を背景の一部として更新登録により構築した場合、又は、初期登録した場合は、図８に示すように、電車のホーム側面相当に背景距離画像３０が得られるので、その後、図４から図７に示すように電車２３が出入りしても、電車２３及び壁２２は、所望の抽出対象の移動体としては抽出されることはない。
なお、以上の移動体候補画素からの移動体の判定方法については一例であり、ほかの方法を用いてもよい。その場合も、そこで抽出対象と判定されなかった物を背景画素とする。

さらに駅のホームを例にして説明する。
図４から図７に示すよう駅のホームの例では、最初に電車２３も人物１１もいない状態（図４）で背景を取得したとして、その後距離画像を取得し、そこから背景より手前にある移動体候補画素を抽出してくると、図６に示す状況では、人物１１と電車２３までの距離画素が移動体候補画素として抽出される。
ここからステップＳ７のようにしてサイズによって対象を分別すると、人物１１までの距離画素で構成されるクラスタが抽出対象となり、電車２３までの距離画素で構成されるクラスタが抽出対象外となり、電車２３までの距離画素で構成されるクラスタは背景として登録される。
そうすると、次回以降は電車２３までの距離画素を一部とする背景距離画像より手前にある距離画素が移動体候補画素となり、電車２３より手前の人物１１等のみが所望の抽出対象の移動体として抽出されるようになる。
これが何度か繰り返されれば、途中途中で電車２３の一部が人物１１により遮られても、電車２３が存在する状態の背景が作られる。

背景が出来上がった以降は背景の更新を止めてもよい。背景が正しく出来上がったか否かを判断することは容易ではないため、次のようにユーザーに確認させる手段をとるとよい。
すなわち、移動体抽出手段２は、表示部２ｂに最新の背景距離画像を表示することでユーザーに確認させ、背景の更新を止める指示をユーザーが入力する手段を、表示部２ｂ及び操作部２ｃによって与える。図９は、最新の背景距離画像及びの背景更新停止ボタンの表示例を示す。図９において、メイン表示領域３１には、最新の背景距離画像３１ａがプロットされ、距離の補助線も表示されている。図９において、黒い帯状のものが背景距離画像３１ａを示す。このような表示をユーザーが確認し、背景更新停止ボタン３２をマウスクリック又は画面タッチなどで押下すれば、背景の更新が停止される。

以上説明したように本実施形態の物体検出システム１によれば、所望の抽出対象の移動体の背景状況によらず、当該抽出対象の移動体を精度よく抽出することができる。

本発明は、物体の検出に利用することができる。

１物体検出システム
２移動体抽出手段
２ａ記憶部
１０距離画像検出装置（距離画像検出手段）
１１人物
１２ガラス
１３虚像
１５フェンス
２０ホーム
２１線路
２２壁
２３電車
３０背景距離画像
３１ａ背景距離画像
３２背景更新停止ボタン

Claims

外界から距離画像を検出する距離画像検出手段と、前記距離画像から所望の抽出対象の移動体を抽出する移動体抽出手段とを備える物体検出システムであって、
前記移動体抽出手段は、予め前記抽出対象の移動体が存在しない状態の距離画像を背景として記憶部に登録し、現在の距離が当該背景の距離よりも手前である画素のみを前記抽出対象の移動体に対応する画素の候補として抽出する物体検出システム。
前記移動体抽出手段は、抽出した前記候補の画素からなる画素群からさらに判定を行い前記抽出対象の移動体として抽出し、前記抽出対象の移動体として抽出しなかった部分については、その画素の距離を背景の距離として前記記憶部に更新登録する請求項１に記載の物体検出システム。
前記移動体抽出手段は、前記判定を検出した移動体のサイズによって行う請求項２に記載の物体検出システム。
前記移動体抽出手段は、前記記憶部に登録した背景より手前にあるかを判断する際に、最低変化距離の閾値を設け、背景の距離よりも当該閾値以上に手前である画素のみを前記抽出対象の移動体に対応する画素の候補として抽出する請求項１から請求項３のうちいずれか一に記載の物体検出システム。