JP7006678B2 - 移動体検出装置、移動体検出方法および移動体検出プログラム - Google Patents

移動体検出装置、移動体検出方法および移動体検出プログラム Download PDF

Info

Publication number
JP7006678B2
JP7006678B2 JP2019505728A JP2019505728A JP7006678B2 JP 7006678 B2 JP7006678 B2 JP 7006678B2 JP 2019505728 A JP2019505728 A JP 2019505728A JP 2019505728 A JP2019505728 A JP 2019505728A JP 7006678 B2 JP7006678 B2 JP 7006678B2
Authority
JP
Japan
Prior art keywords
moving body
reliability
detection
mobile
moving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019505728A
Other languages
English (en)
Other versions
JPWO2018168182A1 (ja
Inventor
尚司 谷内田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2018168182A1 publication Critical patent/JPWO2018168182A1/ja
Application granted granted Critical
Publication of JP7006678B2 publication Critical patent/JP7006678B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802—Systems for determining direction or deviation from predetermined direction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/285—Analysis of motion using a sequence of stereo image pairs
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/91—Radar or analogous systems specially adapted for specific applications for traffic control
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782—Systems for determining direction or deviation from predetermined direction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802—Systems for determining direction or deviation from predetermined direction
    • G01S3/803—Systems for determining direction or deviation from predetermined direction using amplitude comparison of signals derived from receiving transducers or transducer systems having differently-oriented directivity characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Burglar Alarm Systems (AREA)
  • Studio Devices (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Description

本発明は、センサを用いて移動体を検出する移動体検出装置、移動体検出方法および移動体検出プログラムに関する。
近年、ドローンの利活用による空撮が行われるようになっている。ドローンに搭載したカメラを用いて対象物を上空から撮影することにより、これまでヘリコプターやセスナでは近づけなかった場所の撮影や、人では危険で且つ長時間かかっていた場所の測量等が容易に実現できるようになってきた。
しかし、ドローンの普及に伴い、操縦の未熟さから国宝級の建造物や人が往来する場所への落下事故、さらにはテロリズムやいたずら目的で故意に墜落させるといった事件や事故が多くなってきている。そのため、ドローンを飛行可能とする空域を決め、その空域に飛行する物体を検出する技術が求められており、音響やレーダを利用した検出方式など様々な提案がなされている。また、ドローンに限らず、感度波長が異なる２種類の撮像手段を用いて物体を検出する技術も提案されている。
例えば、特許文献１では、道路上の落下物を検出する目的で、あらかじめ定めた２種類のカメラ映像から車の移動と共に移動する物体をそれぞれ検出し、危険と思われる落下物を検出する方法が提案されている。
また、特許文献２でも、物体検出方法が提案されている。特許文献２に記載された方法では、自動運転や自動ブレーキアシストを考慮した車載カメラによる移動物体を検出する目的で、あらかじめ定めた２種類のカメラ映像から入力され得る映像を環境の変化に応じたＬＵＴ（Look up Table）を準備し、人や障害物の検出漏れを抑制する
特許第５７２０３８０号公報 特許第５８８８１１７号公報
しかし、特許文献１および特許文献２のいずれも、移動するカメラの設置場所は車載を前提にしている。そのため、背景の変化が限定的であり、物体を検出する必要がある部分の背景は比較的単純なため、移動体の検出精度を向上させるには、昼夜や晴雨の環境変動に対する頑健性を向上させることで十分であった。
また、特許文献１に記載された物体検出方法では、検出波長が互いに異なる第１カメラ、第２カメラにより撮影した画像をそれぞれの取得画像として取得し、取得画像から道路上の物体の移動状態を検出して、静止物体と移動物体とを判別する。また、取得画像から道路上の物体の立体情報を算出し、それぞれの処理結果の特徴量を統合して、落下物の判定が行われる。しかし、この方法は、ドローンのように画面と比較して小さく且つ自由に移動して背景が複雑に変化する移動体の検出には不向きであった。
また、特許文献２に記載された物体検出装置は、対象物検出用の画像生成に用いる合成パラメータと、視認用の画像生成に用いる合成パラメータとをそれぞれ独立に変更して制御している。しかし、特許文献２に記載された物体検出装置では、背景が複雑に変化した場合の対象物検出用の画像生成については考慮されていない。
また、特許文献１および特許文献２に記載された方法のように、カメラなどの二つのセンサを用いて移動体を検出する場合、いずれか一方のセンサが移動体を検出できないと、移動体の検出そのものができなくなってしまうという問題がある。
そこで、本発明は、複数のセンサを用いて移動体を検出する場合に、移動体の検出精度を向上できるとともに移動体の検出漏れが発生することを抑制できる移動体検出装置、移動体検出方法および移動体検出プログラムを提供することを目的とする。
本発明による移動体検出装置は、第一のセンサを用いて取得された情報から第一の移動体の位置を検出する第一移動体検出手段と、第二のセンサを用いて取得された情報から第二の移動体の位置を検出する第二移動体検出手段と、第一の移動体の第一の信頼度を算出する第一信頼度算出手段と、第二の移動体の第二の信頼度を算出する第二信頼度算出手段と、第一の移動体の位置と第二の移動体の位置に基づいて、移動体の検出を判定する移動体検出手段とを備え、移動体検出手段が、第一の移動体の位置と第二の移動体の位置とが略同一の場合、その位置において移動体を検出したと判定し、第一の移動体の位置と第二の移動体の位置とが異なる場合であって第一の信頼度と第二の信頼度のうちのいずれか一方の信頼度が閾値を超えている場合、その閾値を超えている信頼度に対応する移動体の位置において移動体を検出したと判定することを特徴とする。
本発明による移動体検出方法は、第一のセンサを用いて取得された情報から第一の移動体の位置を検出し、第二のセンサを用いて取得された情報から第二の移動体の位置を検出し、第一の移動体の第一の信頼度と第二の移動体の第二の信頼度とを算出し、第一の移動体の位置と第二の移動体の位置とが略同一の場合、その位置において移動体を検出したと判定し、第一の移動体の位置と第二の移動体の位置とが異なる場合であって、第一の信頼度と第二の信頼度のうちのいずれか一方の信頼度が閾値を超えている場合、その閾値を超えている信頼度に対応する移動体の位置において移動体を検出したと判定することを特徴とする。
本発明による移動体検出プログラムは、コンピュータに、第一のセンサを用いて取得された情報から第一の移動体の位置を検出する第一移動体検出手処理、第二のセンサを用いて取得された情報から第二の移動体の位置を検出する第二移動体検出処理、第一の移動体の第一の信頼度を算出する第一信頼度算出処理、第二の移動体の第二の信頼度を算出する第二信頼度算出処理、および、第一の移動体の位置と第二の移動体の位置に基づいて、移動体の検出を判定する移動体検出処理を実行させ、移動体検出処理で、第一の移動体の位置と第二の移動体の位置とが略同一の場合、その位置において移動体を検出したと判定させ、第一の移動体の位置と第二の移動体の位置とが異なる場合であって第一の信頼度と第二の信頼度のうちのいずれか一方の信頼度が閾値を超えている場合、その閾値を超えている信頼度に対応する移動体の位置において移動体を検出したと判定させることを特徴とする。
本発明によれば、複数のセンサを用いて移動体を検出する場合に、移動体の検出精度を向上できるとともに移動体の検出漏れが発生することを抑制できる。
本発明による移動体検出装置の第１の実施形態の構成例を示すブロック図である。 移動体を検出する方法の例を示す説明図である。 第１の実施形態の移動体検出装置の動作例を示す説明図である。 第１の実施形態の移動体検出装置の動作例を示すフローチャートである。 本発明による移動体検出装置の第２の実施形態の構成例を示すブロック図である。 第２の実施形態の移動体検出装置の動作例を示す説明図である。 第２の実施形態の移動体検出装置の動作例を示すフローチャートである。 本発明による移動体検出装置の第３の実施形態の構成例を示すブロック図である。 第３の実施形態の移動体検出装置の動作例を示す説明図である。 第３の実施形態の移動体検出装置の動作例を示すフローチャートである。 本発明による移動体検出装置の第４の実施形態の構成例を示すブロック図である。 本発明による移動体検出装置の第５の実施形態の構成例を示すブロック図である。 本発明による移動体検出装置の概要を示すブロック図である。
以下、本発明の実施形態を図面を参照して説明する。
実施形態１．
図１は、本発明による移動体検出装置の第１の実施形態の構成例を示すブロック図である。本実施形態の移動体検出装置１００は、第１の画像入力手段１と、第１の移動体検出手段２と、第１の信頼度算出手段３と、第１の移動体座標算出手段４と、第２の画像入力手段５と、第２の移動体検出手段６と、第２の信頼度算出手段７と、第２の移動体座標算出手段８と、統合処理手段９とを備えている。
本実施形態の移動体検出装置１００（より具体的には、第１の画像入力手段１および第２の画像入力手段５）は、感度波長（検出波長）が異なる２種類の撮像手段で撮像された画像をそれぞれ入力する。すなわち、本実施形態では、性質の異なる２種類の撮像手段が用いられる。
以下の説明では、第１の画像入力手段１に入力される画像を撮像する撮像装置を第一の撮像装置と記し、第２の画像入力手段５に入力される画像を撮像する撮像装置を第二の撮像装置と記す。また、第一の撮像手段は、予め定めた第一の検出波長のカメラ画像（以下、第一の入力画像と記す。）を撮像するものとし、第二の撮像手段は、第一の検出波長とは異なる予め定めた第二の検出波長のカメラ画像（以下、第二の入力画像と記す。）を撮像するものとする。
予め定めた第一の検出波長のカメラ画像は、一例としてＲＧＢカメラによるカラー可視画像であってもよいし、可視領域の波長をカバーする輝度によるモノクロ可視画像であってもよい。
また、予め定めた第二の検出波長のカメラ画像は、一例として遠赤外カメラによる温度画像であってもよいし、可視領域の波長近傍の近赤外画像であってもよい。
第１の移動体検出手段２は、第１の画像入力手段１に入力されたカメラ画像から移動体を検出する。移動体の検出方法は任意である。図２は、移動体を検出する方法の例を示す説明図である。第１の移動体検出手段２は、例えば、入力された画像を時系列に、入力された時間τとその直前に入力された時間（τ－１）の２つの画像Ｉ１，Ｉ２間で差分を取り、画面全体で差分値が最小になる様に時間（τ―１）の画像を移動させる。
次に、第１の移動体検出手段２は、時間τの画像を任意の整数ｎおよびｍを用いたｎ×ｍサイズのブロックに分割し、画面全体の差分値が最小の画像を中心に移動させながらブロック内の差分値が最小になる位置をブロック移動量として記憶させる。そして、第１の移動体検出手段２は、そのブロック移動量を周辺のブロック移動量と異なるブロックまで拡大させることで移動体を検出する
他にも、第１の移動体検出手段２は、画像全体のオプティカルフローと局所的なオプティカルフローから移動体を検出してもよい。第１の移動体検出手段２が検出した移動体のことを、以下、第一の移動体と記す。
第２の移動体検出手段６は、第２の画像入力手段５に入力されたカメラ画像から移動体を検出する。移動体の検出方法は任意である。第２の移動体検出手段６は、第１の移動体検出手段２が移動体を検出する方法と同様の方法を用いてもよく、異なる方法を用いてもよい。第２の移動体検出手段６が検出した移動体のことを、以下、第二の移動体と記す。
第１の信頼度算出手段３は、第１の移動体検出手段２が検出した移動体（すなわち、第一の移動体）の信頼度を算出する。ここで算出される信頼度は、移動体の尤もらしさを表わす度合いである。
例えば、第１の移動体検出手段２が移動体を検出した領域を時系列に拡大し、複数のフレームに亘って移動体を検出したとする。この場合、第１の信頼度算出手段３は、連続したフレーム数に応じた第一の入力画像から信頼度を算出してもよい。また、第１の信頼度算出手段３は、移動体として検出された領域を二値化し、形状をパタンマッチングして算出される類似度を信頼度としてもよい。
第１の移動体座標算出手段４は、第一の移動体の位置を算出する。第１の移動体座標算出手段４は、例えば、第１の移動体検出手段２が移動体として検出した領域を取り囲むように第一の入力画像から移動体の位置（座標）を矩形座標として算出してもよい。
このように、本実施形態では、第１の画像入力手段１と第１の移動体検出手段２と第１の移動体座標算出手段４とが協働することにより、第一の撮像手段で取得された情報を用いて第一の移動体の位置を検出していると言える。
第２の信頼度算出手段７は、第２の移動体検出手段６が検出した移動体（すなわち、第二の移動体）の信頼度を算出する。第２の信頼度算出手段７は、第１の信頼度算出手段３が信頼度を算出する方法と同様の方法を用いて信頼度を算出してもよい。
第２の移動体座標算出手段８は、第二の移動体の位置を算出する。第２の移動体座標算出手段８は、例えば、第１の移動体検出手段２が移動体の位置を算出する方法と同様の方法を用いて信頼度を算出してもよい。
このように、本実施形態では、第２の画像入力手段５と第２の移動体検出手段６と第２の移動体座標算出手段８とが協働することにより、第二の撮像手段で取得された情報を用いて第二の移動体の位置を検出していると言える。
統合処理手段９は、第一の移動体の位置と第二の移動体の位置に基づいて、移動体の検出を判定する。具体的には、統合処理手段９は、第一の移動体の位置と第二の移動体の位置とが同一の場合、その位置において移動体を検出したと判定する。なお、画像間で算出される位置の誤差を考慮し、第一の移動体の位置と第二の移動体の位置とが一定の範囲内の場合、統合処理手段９は、第一の移動体の位置と第二の移動体の位置とが同一であると判定してもよい。以下、位置が完全に同一の場合だけでなく、予め定めた一定の誤差の範囲内であることを、両方の位置が略同一であると記す。
さらに、統合処理手段９は、第一の移動体の位置と第二の移動体の位置とが異なる場合であっても、第一の信頼度と第二の信頼度のうちのいずれか一方の信頼度が閾値を超えている場合、その閾値を超えている信頼度に対応する移動体の位置において移動体を検出したと判定する。
例えば、第一の入力画像から検出された移動体の位置に、第二の入力画像から検出された移動体の位置が存在しないとする。この場合、統合処理手段９は、第一の画像入力による移動体の位置座標にある移動体の信頼度が予め定めておいた閾値αより大きいか否か判断する。信頼度が閾値αより大きい場合、統合処理手段９は、第一の入力画像から検出された移動体の位置に移動体が存在すると判定して、その移動体を検出する。閾値αは、例えば、可視カメラによる物体検出方法によって予め設定される。
さらに、例えば、第二の入力画像から検出された移動体の位置に、第一の入力画像から検出された移動体の位置が存在しないとする。この場合、統合処理手段９は、第二の画像入力による移動体の位置座標にある移動体の信頼度が予め定めておいた閾値βより大きいか否か判断する。信頼度が閾値βより大きい場合、統合処理手段９は、第二の入力画像から検出された移動体の位置に移動体が存在すると判定して、その移動体を検出する。閾値βは、例えば、温度カメラもしくは近赤外カメラによる物体検出方法によって予め設定される。閾値αと閾値βの値は、同じであってもよいし、異なっていてもよい。
なお、第一の移動体の位置と第二の移動体の位置とが異なる場合であって、いずれの信頼度も、予め定めた閾値より大きい場合も可能性として存在する。このような場合、統合処理手段９は、各画像から検出された位置に移動体がそれぞれ存在すると判定して、それらの移動体を検出すればよい。すなわち、それぞれの画像から移動体が一体ずつ、計二体存在すると判定される。
第１の画像入力手段１と、第１の移動体検出手段２と、第１の信頼度算出手段３と、第１の移動体座標算出手段４と、第２の画像入力手段５と、第２の移動体検出手段６と、第２の信頼度算出手段７と、第２の移動体座標算出手段８と、統合処理手段９とは、プログラム（移動体検出プログラム）に従って動作するコンピュータのＣＰＵによって実現される。
例えば、プログラムは、移動体検出装置１００の記憶部（図示せず）に記憶され、ＣＰＵは、そのプログラムを読み込み、プログラムに従って、第１の画像入力手段１、第１の移動体検出手段２、第１の信頼度算出手段３、第１の移動体座標算出手段４、第２の画像入力手段５、第２の移動体検出手段６、第２の信頼度算出手段７、第２の移動体座標算出手段８、統合処理手段９として動作してもよい。
また、第１の画像入力手段１と、第１の移動体検出手段２と、第１の信頼度算出手段３と、第１の移動体座標算出手段４と、第２の画像入力手段５と、第２の移動体検出手段６と、第２の信頼度算出手段７と、第２の移動体座標算出手段８と、統合処理手段９とは、それぞれが専用のハードウェアで実現されていてもよい。
図３は、第１の実施形態の移動体検出装置１００の動作例を示す説明図である。感度波長が異なる２種類の撮像手段において、第１の画像入力手段１は、予め定めた第一の検出波長のカメラ画像を入力する。入力されたカメラ画像の画像データＳ１は、第１の移動体検出手段２に入力され、第１の移動体検出手段２は、第一の移動体検出処理にて、移動体検出データＳ２を出力する。
第１の移動体検出手段２で移動体として検出された移動体検出データＳ２の領域が時系列に拡大され、複数フレームに亘って移動体が検出されたとする。この場合、第１の信頼度算出手段３は、連続したフレーム数に応じた第一の画像入力による信頼度Ｓ３を算出する。第１の信頼度算出手段３は、例えば、移動体の画像と周辺画像の画素値のヒストグラムの差と、前フレームの移動体検出情報を利用して信頼度を算出する。第１の信頼度算出手段３は、移動体として検出された領域を二値化して形状をパタンマッチングして、類似度を信頼度Ｓ３として算出してもよい。
第１の移動体座標算出手段４は、第一の移動体座標算出処理にて、第１の移動体検出手段２で移動体として検出された領域を取り囲むように、画面上における第一の画像入力による移動体の位置座標Ｓ４を算出する。
同様に、第２の画像入力手段５は、予め定めた第二の検出波長のカメラ画像を入力する。入力されたカメラ画像の画像データＳ５は、第２の移動体検出手段６に入力され、第２の移動体検出手段６は、移動体検出データＳ６を出力する。
第２の移動体検出手段６で移動体として検出された移動体検出データＳ６の領域が時系列に拡大され、複数フレームに亘って移動体が検出されたとする。この場合、第２の信頼度算出手段７は、連続したフレーム数に応じた第二の画像入力による信頼度Ｓ７を算出する。第２の信頼度算出手段７は、移動体として検出された領域を二値化して形状をパタンマッチングして、類似度を信頼度Ｓ７として算出してもよい。
第２の移動体座標算出手段８は、第２の移動体検出手段６で移動体として検出された移動体検出データＳ６の領域を取り囲むように、画面上における第二の画像入力による移動体の位置座標Ｓ８を算出する。
統合処理手段９は、第一の画像入力による移動体の信頼度Ｓ３および移動体の位置座標Ｓ４と、第二の画像入力による移動体の信頼度Ｓ７および移動体の位置座標Ｓ８とを入力する。統合処理手段９は、位置座標Ｓ４と位置座標Ｓ８とが略同一の場合、その座標の位置に移動体が存在するとして、移動体Ｓ９を検出する。
一方、位置座標Ｓ４に位置座標Ｓ８が一致しない場合であって、位置座標Ｓ４で検出された移動体の信頼度Ｓ３が予め定めておいた閾値αより大きな場合、統合処理手段９は、位置座標Ｓ４に移動体が存在するとして移動体Ｓ９を検出する。さらに、位置座標Ｓ８に位置座標Ｓ４が一致しない場合であって、位置座標Ｓ８で検出された移動体の信頼度Ｓ７が予め定めておいた閾値βより大きな場合、統合処理手段９は、座標位置Ｓ８に移動体が存在するとして移動体Ｓ９を検出する。
図４は、第１の実施形態の移動体検出装置１００の動作例を示すフローチャートである。第１の移動体座標算出手段４は、第一の移動体の位置を検出する（ステップＳ１０１）。また、第２の移動体座標算出手段８は、第二の移動体の位置を検出する（ステップＳ１０２）。本実施形態では、移動体の位置の検出には、性質の異なる２種類のセンサ（撮像手段）を用いてそれぞれ撮像された画像が用いられる。
具体的には、第一のセンサは、予め定めた第一の検出波長（例えば、可視光波長）の画像を撮像する第一の撮像手段であり、第二のセンサは、第一の検出波長とは異なる予め定めた第二の検出波長（例えば、近赤外線波長または遠赤外線波長）の画像を撮像する第二の撮像手段である。
第１の信頼度算出手段３は、第一の移動体の第一の信頼度を算出する（ステップＳ１０３）。同様に、第２の信頼度算出手段７は、第二の移動体の第二の信頼度を算出する（ステップＳ１０４）。統合処理手段９は、第一の移動体の位置と第二の移動体の位置が略同一であるか否か判断する（ステップＳ１０５）。
第一の移動体の位置と前記第二の移動体の位置とが略同一の場合（ステップＳ１０５におけるＹｅｓ）、統合処理手段９は、その位置において移動体を検出したと判定する（ステップＳ１０６）。一方、第一の移動体の位置と第二の移動体の位置とが異なる場合（ステップＳ１０５におけるＮｏ）、統合処理手段９は、第一の信頼度と第二の信頼度のうちのいずれか一方の信頼度が閾値を超えているか否か判断する（ステップＳ１０７）。信頼度が閾値を超えている場合（ステップＳ１０７におけるＹｅｓ）、統合処理手段９は、閾値を超えている信頼度に対応する移動体の位置において移動体を検出したと判定する（ステップＳ１０８）。一方、信頼度が閾値を超えていない場合（ステップＳ１０７におけるＮｏ）、統合処理手段９は、移動体を検出したと判定せずに、処理を終了する。
以上のように、本実施形態では、第１の移動体座標算出手段４が、第一の移動体の位置を検出し、第２の移動体座標算出手段８が、第二の移動体の位置を検出する。さらに、第１の信頼度算出手段３が、第一の移動体の第一の信頼度を算出し、第２の信頼度算出手段７が、第二の移動体の第二の信頼度を算出する。そして、統合処理手段９が、第一の移動体の位置と第二の移動体の位置に基づいて、移動体の検出を判定する。
具体的には、第一の移動体の位置と第二の移動体の位置とが略同一の場合、統合処理手段９は、その位置において移動体を検出したと判定する。一方、第一の移動体の位置と第二の移動体の位置とが異なる場合であって第一の信頼度と第二の信頼度のうちのいずれか一方の信頼度が閾値を超えている場合、統合処理手段９は、その閾値を超えている信頼度に対応する移動体の位置において移動体を検出したと判定する。
以上のような構成により、複数のセンサを用いて移動体を検出する場合に、移動体の検出精度を向上できるとともに移動体の検出漏れが発生することを抑制できる。
実施形態２．
次に、本発明による移動体検出装置の第２の実施形態を説明する。図５は、本発明による移動体検出装置の第２の実施形態の構成例を示すブロック図である。なお、第１の実施形態と同様の構成については、図１と同一の符号を付し、説明を省略する。
本実施形態の移動体検出装置２００は、第１の画像入力手段１と、第１の移動体検出手段２と、第１の信頼度算出手段３と、第１の移動体座標算出手段４と、センサ情報入力手段１０と、第２の移動体検出手段１１と、第２の信頼度算出手段１２と、第２の移動体座標算出手段１３と、統合処理手段９とを備えている。
すなわち、本実施形態の移動体検出装置２００は、第１の実施形態の移動体検出装置１００と比較し、第２の画像入力手段５、第２の移動体検出手段６、第２の信頼度算出手段７および第２の移動体座標算出手段８の代わりに、センサ情報入力手段１０、第２の移動体検出手段１１、第２の信頼度算出手段１２および第２の移動体座標算出手段１３を備えている点において異なる。
また、第１の実施形態では、性質の異なる２種類のセンサとして、感度波長が異なる２種類の撮像手段が用いられる場合について説明した。本実施形態では、性質の異なる２種類のセンサとして、画像を撮像する撮像手段と、音響センサとが用いられる場合について説明する。
すなわち、本実施形態の移動体検出装置２００（より具体的には、第１の画像入力手段１およびセンサ情報入力手段１０）は、撮像手段で撮像されたカメラ画像と、音響センサで検出された音響データとをそれぞれ入力する。なお、本実施形態では、音響センサを複数用いてマイクロホンアレイを構成する。マイクロホンアレイは、例えば、少なくとも４個以上のマイクロホンから構成される。
第１の画像入力手段１、第１の移動体検出手段２、第１の信頼度算出手段３および第１の移動体座標算出手段４の構成は、第１の実施形態と同様である。
本実施形態のカメラ画像は、一例としてＲＧＢカメラによるカラー可視画像であってもよいし、可視領域の波長をカバーする輝度によるモノクロ可視画像であってもよい。
センサ情報入力手段１０は、マイクロホンが複数配置されたマイクロホンアレイで検出された音響データを入力する。
第２の移動体検出手段１１は、センサ情報入力手段１０に入力された音響データから移動体を検出する。第２の移動体検出手段１１は、例えば、予め定めた数と配置のマイクロホンから入力される音響データを、フーリエ変換によって、ある単位時間毎に周波数分析を行い、音源方向とレベルなどの分析を行うことで、移動体を検出する。
他にも、第２の移動体検出手段１１は、入力された音響データを時系列に解析し、音響レベルの変化を用いて移動体を検出しても良い。
第２の信頼度算出手段１２は、第２の移動体検出手段１１が検出した第二の移動体の信頼度を算出する。具体的には、第２の信頼度算出手段１２は、音源の特徴に基づいて音源の移動を特定することにより、音源の信頼度を算出する。
例えば、第２の移動体検出手段１１が移動体を検出した領域を時系列に拡大し、複数のフレームに亘って移動体を検出したとする。この場合、第２の信頼度算出手段１２は、連続したフレーム数に応じた音響データから信頼度を算出してもよい。また、第２の信頼度算出手段１２は、移動体として検出された音響データの周波数パタンを予め移動体として登録しておいた音響パタンとパタンマッチングすることにより算出される類似度を信頼度としてもよい。
第２の移動体座標算出手段１３は、第二の移動体の位置を算出する。第２の移動体座標算出手段１３は、例えば、第２の移動体検出手段１１が第二の移動体の位置として検出した領域（音源の位置）を取り囲むように第一の入力画像（具体的には、第１の画像入力手段１が入力する画像）から移動体の位置（座標）を算出してもよい。
統合処理手段９は、第１の実施形態と同様、第一の移動体の位置と第二の移動体の位置に基づいて、移動体の検出を判定する。具体的には、統合処理手段９は、第一の移動体の位置と第二の移動体の位置とが略同一の場合、その位置において移動体を検出したと判定する。
さらに、統合処理手段９は、第一の移動体の位置と第二の移動体の位置とが異なる場合であっても、第一の信頼度が閾値を超えている場合、その第一の信頼度に対応する移動体の位置において移動体を検出したと判定する。
第１の画像入力手段１と、第１の移動体検出手段２と、第１の信頼度算出手段３と、第１の移動体座標算出手段４と、センサ情報入力手段１０と、第２の移動体検出手段１１と、第２の信頼度算出手段１２と、第２の移動体座標算出手段１３と、統合処理手段９とは、プログラム（移動体検出プログラム）に従って動作するコンピュータのＣＰＵによって実現される。
図６は、第２の実施形態の移動体検出装置２００の動作例を示す説明図である。第１の画像入力手段１、第１の移動体検出手段２、第１の信頼度算出手段３および第１の移動体座標算出手段４の内容は、図１に示す内容と同様である。
センサ情報入力手段１０は、マイクロホンを複数配置したマイクロホンアレイから音響データＳ１０を入力する。入力された音響データＳ１０は、第２の移動体検出手段１１に入力され、第２の移動体検出手段１１は、第二の移動体検出処理において、移動体検出データＳ１１を出力する。
第２の移動体検出手段１１で移動体として検出された移動体検出データＳ１１の領域が時系列に拡大され、複数フレームに亘って移動体が検出されたとする。この場合、第２の信頼度算出手段１２は、連続したフレーム数に応じた音響データの入力による信頼度Ｓ１２を算出する。第２の信頼度算出手段１２は、移動体として検出された音響データの周波数パタンをあらかじめ移動体として登録しておいた音響パタンとパタンマッチングして、類似度を信頼度Ｓ１２として算出しても良い。また、第２の信頼度算出手段１２は、周波数別音響レベルパタンと目的の移動体の音響パタンとを照合し、一致度を信頼度として算出してもよい。
第２の移動体座標算出手段１３は、移動体として検出された領域を取り囲むように、画像データの画面上での移動体の位置座標Ｓ１３を算出する。
統合処理手段９は、第一の画像入力による移動体の信頼度Ｓ３および移動体の位置座標Ｓ４と、音響入力による移動体の信頼度Ｓ１２および移動体の位置座標Ｓ１３とを入力する。統合処理手段９は、位置座標Ｓ４と位置座標Ｓ１３とが略同一の場合、その座標の位置に移動体が存在するとして、移動体Ｓ９を検出する。
一方、位置座標Ｓ４に位置座標Ｓ１３が一致しない場合であって、位置座標Ｓ４で検出された移動体の信頼度Ｓ３が予め定めておいた閾値αより大きな場合、統合処理手段９は、位置座標Ｓ４に移動体が存在するとして移動体Ｓ９を検出する。
図７は、第２の実施形態の移動体検出装置２００の動作例を示すフローチャートである。第１の移動体座標算出手段４は、第一の移動体の位置を検出する（ステップＳ１０１）。また、第２の移動体座標算出手段１３は、第二の移動体の位置を検出する（ステップＳ２０２）。
具体的には、第一の移動体の位置を検出する第一のセンサは、予め定めた第一の検出波長（例えば、可視光波長）の画像を撮像する撮像手段であり、第二の移動体の位置を検出する第二のセンサは、複数の音響センサを含むマイクロホンアレイである。すなわち、第１の移動体座標算出手段４は、撮像手段で撮像された画像から第一の移動体の位置を検出し、第２の移動体座標算出手段１３は、マイクロホンアレイで検出された音響データから音源の位置を第二の移動体の位置として検出する。
第１の信頼度算出手段３は、第一の移動体の第一の信頼度を算出する（ステップＳ１０３）。同様に、第２の信頼度算出手段１２は、第二の移動体の第二の信頼度を算出する（ステップＳ２０４）。具体的には、第２の信頼度算出手段１２は、音源の特徴に基づいて音源の移動を特定することにより、音源の第二の信頼度を算出する。
以下、統合処理手段９が移動体を検出する処理は、図４のステップＳ１０５からステップＳ１０８までの処理と同様である。
以上のように、本実施形態では、第１の移動体座標算出手段４が、予め定めた第一の検出波長の画像を撮像する撮像手段で撮像された画像から第一の移動体の位置を検出し、第２の移動体座標算出手段１３が、複数の音響センサを含むマイクロホンアレイで検出された音響データから音源の位置を第二の移動体の位置として検出する。そして、第２の信頼度算出手段１２が、音源の特徴に基づいて音源の移動を特定することにより、音源の第二の信頼度を算出する。
以上のような構成によっても、複数のセンサを用いて移動体を検出する場合に、移動体の検出精度を向上できるとともに移動体の検出漏れが発生することを抑制できる。
実施形態３．
次に、本発明による移動体検出装置の第３の実施形態を説明する。図８は、本発明による移動体検出装置の第３の実施形態の構成例を示すブロック図である。なお、第２の実施形態と同様の構成については、図５と同一の符号を付し、説明を省略する。
本実施形態の移動体検出装置３００は、第１の画像入力手段１と、第１の移動体検出手段２と、第１の信頼度算出手段３と、第１の移動体座標算出手段４と、センサ情報入力手段１０と、第２の移動体検出手段１１と、第２の信頼度算出手段１２と、第２の移動体座標算出手段１３と、基準信号生成手段１４と、統合処理手段９とを備えている。
すなわち、本実施形態の移動体検出装置３００は、第２の実施形態の移動体検出装置２００と比較し、基準信号生成手段１４をさらに備えている点において異なる。
また、第２の実施形態では、性質の異なる２種類のセンサとして、画像を撮像する撮像手段と、音響センサとが用いられる場合について説明した。本実施形態では、性質の異なる２種類のセンサとして、画像を撮像する撮像手段と、発信された電磁波の反射波を受信するレーダとが用いられる場合について説明する。すなわち、本実施形態では、レーダ方式による物体検出方法が用いられる。
すなわち、本実施形態の移動体検出装置３００（より具体的には、第１の画像入力手段１およびセンサ情報入力手段１０）は、撮像手段で撮像されたカメラ画像と、発信された予め定めた波長の電磁波に対する反射波を受信するレーダで検出された反射波が示す反射データとをそれぞれ入力する。
第１の画像入力手段１、第１の移動体検出手段２、第１の信頼度算出手段３および第１の移動体座標算出手段４の構成は、第１の実施形態と同様である。
本実施形態のカメラ画像は、一例としてＲＧＢカメラによるカラー可視画像であってもよいし、可視領域の波長をカバーする輝度によるモノクロ可視画像であってもよい。
基準信号生成手段１４は、基準となるあらかじめ定めた波長の信号（電磁波）を出力する。以下の説明では、この波長のことを第三の波長と記す。
本実施形態のセンサ情報入力手段１０は、レーダが受信した第二の移動体の反射波が示す反射データを入力する。本実施形態で用いられるレーダは、基準信号生成手段１４が出力した電磁波の反射波をレーダアンテナにより受信して、センサ情報入力手段１０に入力する。
第２の移動体検出手段１１は、センサ情報入力手段１０に入力された反射データから移動体を検出する。第２の移動体検出手段１１は、例えば、基準信号生成手段１４が出力した基準信号と、受信した反射データの位相差とにより、レーダアンテナからの距離と方向を検出してもよい。
また、第２の移動体検出手段１１は、入力された反射データを時系列に解析し、反射波の位相差に加え、信号レベルの変化を用いて移動体を検出してもよい。
第２の信頼度算出手段１２は、第２の移動体検出手段１１が検出した第二の移動体の信頼度を算出する。具体的には、第２の信頼度算出手段１２は、反射データの特徴に基づいて反射波の強度の遷移を特定することにより、第二の信頼度を算出する。
例えば、第２の移動体検出手段１１が移動体を検出した領域を時系列に拡大し、複数のフレームに亘って移動体を検出したとする。この場合、第２の信頼度算出手段１２は、連続したフレーム数に応じた反射データから信頼度を算出してもよい。
また、第２の信頼度算出手段１２は、移動体として検出された反射データの強度分布を予め移動体として登録しておいた反射パタンとパタンマッチングすることにより算出される類似度を信頼度としてもよい。
第２の移動体座標算出手段１３は、第二の移動体の位置を算出する。第２の移動体座標算出手段１３は、例えば、第２の移動体検出手段１１が第二の移動体の位置として検出した領域を取り囲むように第一の入力画像（具体的には、第１の画像入力手段１が入力する画像）から移動体の位置（座標）を算出してもよい。
統合処理手段９は、第１の実施形態と同様、第一の移動体の位置と第二の移動体の位置に基づいて、移動体の検出を判定する。具体的には、統合処理手段９は、第一の移動体の位置と第二の移動体の位置とが略同一の場合、その位置において移動体を検出したと判定する。
さらに、統合処理手段９は、第一の移動体の位置と第二の移動体の位置とが異なる場合であっても、第一の信頼度が閾値を超えている場合、その第一の信頼度に対応する移動体の位置において移動体を検出したと判定する。
図９は、第３の実施形態の移動体検出装置３００の動作例を示す説明図である。第１の画像入力手段１、第１の移動体検出手段２、第１の信頼度算出手段３および第１の移動体座標算出手段４の内容は、図１に示す内容と同様である。
基準信号生成手段１４は、基準となる信号を出力する。センサ情報入力手段１０は、レーダアンテナにより受信された電磁波の反射波が示す反射データＳ１５を入力する。入力された反射データＳ１５は、第２の移動体検出手段１１に入力され、第２の移動体検出手段１１は、第二の移動体検出処理において、移動体検出データＳ１６を出力する。第２の移動体検出手段１１は、例えば、基準信号と受信した反射データとの位相差によりレーダアンテナからの距離と方向を検出する。
第２の移動体検出手段１１で移動体として検出された移動体検出データＳ１６の領域が時系列に拡大され、複数フレームに亘って移動体が検出されたとする。この場合、第２の信頼度算出手段１２は、連続したフレーム数に応じた反射データの入力による信頼度Ｓ１７を算出する。第２の信頼度算出手段１２は、移動体として検出された反射データの強度分布をあらかじめ移動体として登録しておいた反射パタンとパタンマッチングして、類似度を信頼度Ｓ１７として算出しても良い。
第２の移動体座標算出手段１３は、移動体として検出された領域を取り囲むように、画像データの画面上での移動体の位置座標Ｓ１８を算出する。
統合処理手段９は、第一の画像入力による移動体の信頼度Ｓ３および移動体の位置座標Ｓ４と、反射波入力による移動体の信頼度Ｓ１７および移動体の位置座標Ｓ１８とを入力する。統合処理手段９は、位置座標Ｓ４と位置座標Ｓ１８とが略同一の場合、その座標の位置に移動体が存在するとして、移動体Ｓ９を検出する。
一方、位置座標Ｓ４に位置座標Ｓ１８が一致しない場合であって、位置座標Ｓ４で検出された移動体の信頼度Ｓ３が予め定めておいた閾値αより大きな場合、統合処理手段９は、位置座標Ｓ４に移動体が存在するとして移動体Ｓ９を検出する。
図１０は、第３の実施形態の移動体検出装置３００の動作例を示すフローチャートである。第１の移動体座標算出手段４は、第一の移動体の位置を検出する（ステップＳ１０１）。また、第２の移動体座標算出手段１３は、第二の移動体の位置を検出する（ステップＳ３０２）。
具体的には、第一の移動体の位置を検出する第一のセンサは、予め定めた第一の検出波長（例えば、可視光波長）の画像を撮像する撮像手段であり、第二の移動体の位置を検出する第二のセンサは、発信された予め定めた第三の波長の電磁波に対する反射波を受信するレーダである。
すなわち、第１の移動体座標算出手段４は、撮像手段で撮像された画像から第一の移動体の位置を検出し、第２の移動体座標算出手段１３は、第二の移動体の反射波が示す反射データから第二の移動体の位置を検出する。
第１の信頼度算出手段３は、第一の移動体の第一の信頼度を算出する（ステップＳ１０３）。同様に、第２の信頼度算出手段１２は、第二の移動体の第二の信頼度を算出する（ステップＳ３０４）。具体的には、第２の信頼度算出手段１２は、反射データの特徴に基づいて反射波の強度の遷移を特定することにより、第二の信頼度を算出する。
以下、統合処理手段９が移動体を検出する処理は、図４のステップＳ１０５からステップＳ１０８までの処理と同様である。
以上のように、本実施形態では、第１の移動体座標算出手段４が、予め定めた第一の検出波長の画像を撮像する撮像手段で撮像された画像から第一の移動体の位置を検出する。また、第２の移動体座標算出手段１３が、発信された予め定めた第三の波長の電磁波に対する反射波を受信するレーダで検出された第二の移動体の反射波が示す反射データから第二の移動体の位置を検出する。そして、第２の信頼度算出手段１２が、反射データの特徴に基づいて反射波の強度の遷移を特定することにより、第二の信頼度を算出する。
以上のような構成によっても、複数のセンサを用いて移動体を検出する場合に、移動体の検出精度を向上できるとともに移動体の検出漏れが発生することを抑制できる。
実施形態４．
次に、本発明による移動体検出装置の第４の実施形態を説明する。第１の実施形態から第３の実施形態では、各移動体検出装置が検出処理および信頼度算出処理を行う場合について説明した。なお、本発明による移動体検出装置が複数の装置で実現されてもよい。
図１１は、本発明による移動体検出装置の第４の実施形態の構成例を示すブロック図である。本実施形態の移動体検出装置４００は、検出装置４１０と、検出結果処理装置４２０とを備えている。なお、移動体検出装置４００は、複数の装置を含むことから、移動体検出装置４００を移動検出システムと言うこともできる。
検出装置４１０は、第１の画像入力手段１と、第１の移動体検出手段２と、第２の画像入力手段５と、第２の移動体検出手段６と、メモリ（図示せず）とを含む。第１の画像入力手段１と、第１の移動体検出手段２と、第２の画像入力手段５と、第２の移動体検出手段６とは、例えば、メモリに記憶されたプログラムに従って動作するＣＰＵにより実現される。
また、検出結果処理装置４２０は、第１の信頼度算出手段３と、第１の移動体座標算出手段４と、第２の信頼度算出手段７と、第２の移動体座標算出手段８と、統合処理手段９と、メモリ（図示せず）とを含む。検出結果処理装置４２０は、第１の信頼度算出手段３と、第１の移動体座標算出手段４と、第２の信頼度算出手段７と、第２の移動体座標算出手段８と、統合処理手段９とは、例えば、メモリに記憶されたプログラムに従って動作するＣＰＵにより実現される。
第１の画像入力手段１、第１の移動体検出手段２、第１の信頼度算出手段３、第１の移動体座標算出手段４、第２の画像入力手段５、第２の移動体検出手段６、第２の信頼度算出手段７、第２の移動体座標算出手段８および統合処理手段９の内容は、第１の実施形態と同様である。
ただし、第１の移動体検出手段２は、検出結果を検出結果処理装置４２０（より具体的には、第１の信頼度算出手段３および第１の移動体座標算出手段４）に送信する。また、第２の移動体検出手段６は、検出結果を検出結果処理装置４２０（より具体的には、第２の信頼度算出手段７および第２の移動体座標算出手段８）に送信する。
以下、本実施形態の具体例を説明する。検出装置４１０は、例えば、ＣＰＵ及びメモリを備える一つの筐体に可視カメラと赤外カメラを含む。検出装置４１０は、移動体の検出処理を実行し、移動体を検出したときに、検出結果をサーバに相当する検出結果処理装置４２０に送信する。このように、検出装置４１０が、いわゆるインテリジェントカメラとして機能してもよい。
また、本実施形態では、移動体検出装置４００が、第１の実施形態の各構成で実現される場合について説明した。ただし、移動体検出装置４００が、第２の実施形態または第３の実施形態の各構成で実現されてもよい。
この場合、検出装置４１０が、第１の画像入力手段１と、第１の移動体検出手段２と、センサ情報入力手段１０と、第２の移動体検出手段１１と、メモリを含む構成であってもよい。また、検出結果処理装置４２０が、第１の信頼度算出手段３と、第１の移動体座標算出手段４と、第２の信頼度算出手段１２と、第２の移動体座標算出手段１３と、統合処理手段９と、メモリとを含む構成であってもよい。
実施形態５．
次に、本発明による移動体検出装置の第５の実施形態を説明する。第４の実施形態では、複数のカメラと複数の検出手段が１つの筐体（装置）で実現されている場合について説明した。他にも、一方のカメラが画像データの取得のみを行い、他のカメラを備える装置に取得したデータを送信して、移動体を検出するようにしてもよい。
図１２は、本発明による移動体検出装置の第５の実施形態の構成例を示すブロック図である。本実施形態の移動体検出装置５００は、検出装置５１０と、検出結果処理装置５２０と、画像取得装置５３０とを備えている。なお、移動体検出装置５００は、複数の装置を含むことから、移動体検出装置５００を移動検出システムと言うこともできる。
検出装置５１０は、第１の画像入力手段１と、第１の移動体検出手段２と、第２の移動体検出手段６と、メモリ（図示せず）とを含む。すなわち、検出装置５１０は、第４の実施形態の検出装置５１０と比較し、第２の画像入力手段５を備えていない点において異なる。それ以外の内容は、第４の実施形態と同様である。また、検出結果処理装置５２０は、第４の実施形態の検出結果処理装置４２０と同様である。
画像取得装置５３０は、第２の画像入力手段５を含む。第２の画像入力手段５は、撮像された画像が入力されると、その画像を検出装置５１０（より具体的には、第２の移動体検出手段６）に送信する。
以下、本実施形態の具体例を説明する。検出装置５１０は、例えば、ＣＰＵ及びメモリを備える一つの筐体に可視カメラを含む。また、画像取得装置５３０は、赤外カメラを含む筐体により実現される。すなわち、可視カメラ（ＩＰカメラなど）と赤外カメラとは異なる筐体で実現される。画像取得装置５３０は、赤外カメラで撮像された画像を検出装置５１０に送信する。検出装置５１０は、移動体の検出処理を実行し、移動体を検出したときに、検出結果をサーバに相当する検出結果処理装置５２０に送信する。このように、検出装置５１０が、いわゆるインテリジェントカメラとして機能してもよい。
また、第４の実施形態と同様、移動体検出装置５００が、第２の実施形態または第３の実施形態の各構成で実現されてもよい。
次に、本発明の概要を説明する。図１３は、本発明による移動体検出装置の概要を示すブロック図である。本発明による移動体検出装置は、第一のセンサ（例えば、撮像手段）を用いて取得された情報（例えば、画像）から第一の移動体の位置を検出する第一移動体検出手段８１（例えば、第１の移動体検出手段２および第１の移動体座標算出手段４）と、第二のセンサ（例えば、撮像手段、音響センサ、レーダ）を用いて取得された情報（例えば、画像、音響データ、反射データ）から第二の移動体の位置を検出する第二移動体検出手段８２（例えば、第２の移動体検出手段６，１１および第２の移動体座標算出手段８，１３）と、第一の移動体の第一の信頼度を算出する第一信頼度算出手段８３（例えば、第１の信頼度算出手段３）と、第二の移動体の第二の信頼度を算出する第二信頼度算出手段８４（例えば、第２の信頼度算出手段７，１２）と、第一の移動体の位置と第二の移動体の位置に基づいて、移動体の検出を判定する移動体検出手段８５（例えば、統合処理手段９）とを備えている。
移動体検出手段８５は、第一の移動体の位置と第二の移動体の位置とが略同一の場合、その位置において移動体を検出したと判定し、第一の移動体の位置と第二の移動体の位置とが異なる場合であって第一の信頼度と第二の信頼度のうちのいずれか一方の信頼度が閾値を超えている場合、その閾値を超えている信頼度に対応する移動体の位置において移動体を検出したと判定する。
そのような構成により、複数のセンサを用いて移動体を検出する場合に、移動体の検出精度を向上できるとともに移動体の検出漏れが発生することを抑制できる。
また、第一のセンサと第二のセンサとは、性質の異なる２種類のセンサが用いられる。
具体的には、第一のセンサが、予め定めた第一の検出波長の画像を撮像する第一の撮像手段であり、第二のセンサが、第一の検出波長とは異なる予め定めた第二の検出波長の画像を撮像する第二の撮像手段であってもよい。このとき、第一移動体検出手段８１は、第一の撮像手段で撮像された画像から第一の移動体の位置を検出し、第二移動体検出手段８２は、第二の撮像手段で撮像された画像から第二の移動体の位置を検出してもよい。
例えば、第一の検出波長が可視光波長であり、第二の検出波長が近赤外線波長または遠赤外線波長である
また、具体的には、第一のセンサが、予め定めた第一の検出波長の画像を撮像する撮像手段であり、第二のセンサが、複数の音響センサを含むマイクロホンアレイであってもよい。このとき、第一移動体検出手段８１は、撮像手段で撮像された画像から第一の移動体の位置を検出し、第二移動体検出手段８２は、マイクロホンアレイで検出された音響データから音源の位置を第二の移動体の位置として検出し、第二信頼度算出手段８４は、音源の特徴に基づいて音源の移動を特定することにより、音源の第二の信頼度を算出してもよい。
また、具体的には、第一のセンサが、予め定めた第一の検出波長の画像を撮像する撮像手段であり、第二のセンサが、発信された予め定めた第三の波長の電磁波に対する反射波を受信するレーダであってもよい。このとき、第一移動体検出手段８１は、撮像手段で撮像された画像から第一の移動体の位置を検出し、第二移動体検出手段８２は、第二の移動体の反射波が示す反射データから第二の移動体の位置を検出し、第二信頼度算出手段８４は、反射データの特徴に基づいて反射波の強度の遷移を特定することにより、第二の信頼度を算出してもよい。
以上、実施形態及び実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、２０１７年３月１７日に出願された日本特許出願２０１７－５２１９５を基礎とする優先権を主張し、その開示の全てをここに取り込む。
本発明は、センサを用いて移動体を検出する移動体検出装置に好適に適用される。特に、本発明は、ドローンのように背景が大きく変化する中で移動する物体を検出するシステムに、より好適に適用される。
１ 第１の画像入力手段
２ 第１の移動体検出手段
３ 第１の信頼度算出手段
４ 第１の移動体座標算出手段
５ 第２の画像入力手段
６ 第２の移動体検出手段
７ 第２の信頼度算出手段
８ 第２の移動体座標算出手段
９ 統合処理手段
１０ センサ情報入力手段
１１ 第２の移動体検出手段
１２ 第２の信頼度算出手段
１３ 第２の移動体座標算出手段

Claims (10)

  1. 第一のセンサを用いて取得された情報から第一の移動体の位置を検出する第一移動体検出手段と、
    第二のセンサを用いて取得された情報から第二の移動体の位置を検出する第二移動体検出手段と、
    前記第一の移動体の第一の信頼度を算出する第一信頼度算出手段と、
    前記第二の移動体の第二の信頼度を算出する第二信頼度算出手段と、
    前記第一の移動体の位置と前記第二の移動体の位置に基づいて、移動体の検出を判定する移動体検出手段とを備え、
    前記移動体検出手段は、前記第一の移動体の位置と前記第二の移動体の位置とが略同一の場合、当該位置において移動体を検出したと判定し、前記第一の移動体の位置と前記第二の移動体の位置とが異なる場合であって前記第一の信頼度と前記第二の信頼度のうちのいずれか一方の信頼度が閾値を超えている場合、当該閾値を超えている信頼度に対応する移動体の位置において移動体を検出したと判定する
    ことを特徴とする移動体検出装置。
  2. 第一のセンサと第二のセンサとは、性質の異なる２種類のセンサが用いられる
    請求項１記載の移動体検出装置。
  3. 第一のセンサは、予め定めた第一の検出波長の画像を撮像する第一の撮像手段であり、
    第二のセンサは、前記第一の検出波長とは異なる予め定めた第二の検出波長の画像を撮像する第二の撮像手段であり、
    第一移動体検出手段は、前記第一の撮像手段で撮像された画像から第一の移動体の位置を検出し、
    第二移動体検出手段は、前記第二の撮像手段で撮像された画像から第二の移動体の位置を検出する
    請求項１または請求項２記載の移動体検出装置。
  4. 第一の検出波長が可視光波長であり、第二の検出波長が近赤外線波長または遠赤外線波長である
    請求項３記載の移動体検出装置。
  5. 第一のセンサは、予め定めた第一の検出波長の画像を撮像する撮像手段であり、
    第二のセンサは、複数の音響センサを含むマイクロホンアレイであり、
    第一移動体検出手段は、前記撮像手段で撮像された画像から第一の移動体の位置を検出し、
    第二移動体検出手段は、前記マイクロホンアレイで検出された音響データから音源の位置を第二の移動体の位置として検出し、
    第二信頼度算出手段は、前記音源の特徴に基づいて音源の移動を特定することにより、前記音源の第二の信頼度を算出する
    請求項１または請求項２記載の移動体検出装置。
  6. 第一のセンサは、予め定めた第一の検出波長の画像を撮像する撮像手段であり、
    第二のセンサは、発信された予め定めた第三の波長の電磁波に対する反射波を受信するレーダであり、
    第一移動体検出手段は、前記撮像手段で撮像された画像から第一の移動体の位置を検出し、
    第二移動体検出手段は、第二の移動体の前記反射波が示す反射データから第二の移動体の位置を検出し、
    第二信頼度算出手段は、前記反射データの特徴に基づいて前記反射波の強度の遷移を特定することにより、第二の信頼度を算出する
    請求項１または請求項２記載の移動体検出装置。
  7. 第一のセンサを用いて取得された情報から第一の移動体の位置を検出し、
    第二のセンサを用いて取得された情報から第二の移動体の位置を検出し、
    前記第一の移動体の第一の信頼度と前記第二の移動体の第二の信頼度とを算出し、
    前記第一の移動体の位置と前記第二の移動体の位置とが略同一の場合、当該位置において移動体を検出したと判定し、
    前記第一の移動体の位置と前記第二の移動体の位置とが異なる場合であって、前記第一の信頼度と前記第二の信頼度のうちのいずれか一方の信頼度が閾値を超えている場合、当該閾値を超えている信頼度に対応する移動体の位置において移動体を検出したと判定する
    ことを特徴とする移動体検知方法。
  8. 第一のセンサと第二のセンサとは、性質の異なる２種類のセンサが用いられる
    請求項７記載の移動体検出方法。
  9. コンピュータに、
    第一のセンサを用いて取得された情報から第一の移動体の位置を検出する第一移動体検出手処理、
    第二のセンサを用いて取得された情報から第二の移動体の位置を検出する第二移動体検出処理、
    前記第一の移動体の第一の信頼度を算出する第一信頼度算出処理、
    前記第二の移動体の第二の信頼度を算出する第二信頼度算出処理、および、
    前記第一の移動体の位置と前記第二の移動体の位置に基づいて、移動体の検出を判定する移動体検出処理を実行させ、
    前記移動体検出処理で、前記第一の移動体の位置と前記第二の移動体の位置とが略同一の場合、当該位置において移動体を検出したと判定させ、前記第一の移動体の位置と前記第二の移動体の位置とが異なる場合であって前記第一の信頼度と前記第二の信頼度のうちのいずれか一方の信頼度が閾値を超えている場合、当該閾値を超えている信頼度に対応する移動体の位置において移動体を検出したと判定させる
    ための移動体検出プログラム。
  10. 第一のセンサと第二のセンサとは、性質の異なる２種類のセンサが用いられる
    請求項９記載の移動体検出プログラム。
JP2019505728A 2017-03-17 2018-01-17 移動体検出装置、移動体検出方法および移動体検出プログラム Active JP7006678B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017052195 2017-03-17
JP2017052195 2017-03-17
PCT/JP2018/001189 WO2018168182A1 (ja) 2017-03-17 2018-01-17 移動体検出装置、移動体検出方法および移動体検出プログラム

Publications (2)

Publication Number Publication Date
JPWO2018168182A1 JPWO2018168182A1 (ja) 2020-06-18
JP7006678B2 true JP7006678B2 (ja) 2022-01-24

Family

ID=63522076

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019505728A Active JP7006678B2 (ja) 2017-03-17 2018-01-17 移動体検出装置、移動体検出方法および移動体検出プログラム

Country Status (3)

Country Link
US (2) US11209517B2 (ja)
JP (1) JP7006678B2 (ja)
WO (1) WO2018168182A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7006678B2 (ja) * 2017-03-17 2022-01-24 日本電気株式会社 移動体検出装置、移動体検出方法および移動体検出プログラム
EP4022494A1 (en) * 2019-08-28 2022-07-06 BAE SYSTEMS plc Detection of modulating elements

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002260167A (ja) 2001-03-05 2002-09-13 Natl Inst For Land & Infrastructure Management Mlit 赤外補完による可視車両検出システム
JP2005337954A (ja) 2004-05-28 2005-12-08 Secom Co Ltd センシング装置及び身長測定装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08156723A (ja) 1994-12-06 1996-06-18 Nissan Motor Co Ltd 車両用障害物検出装置
AU2009289008B2 (en) * 2008-09-03 2014-02-13 Bae Systems Plc Estimating a state of at least one target
JP5114514B2 (ja) * 2010-02-25 2013-01-09 株式会社日立製作所 位置推定装置
JP5720380B2 (ja) 2011-04-01 2015-05-20 日本電気株式会社 物体検出方法、物体検出装置および物体検出プログラム
JP5888117B2 (ja) 2012-05-25 2016-03-16 コニカミノルタ株式会社 物体検出装置
JP6451464B2 (ja) * 2015-04-02 2019-01-16 株式会社デンソー 衝突回避装置、及び衝突回避システム
US9772395B2 (en) * 2015-09-25 2017-09-26 Intel Corporation Vision and radio fusion based precise indoor localization
US20170186291A1 (en) * 2015-12-24 2017-06-29 Jakub Wenus Techniques for object acquisition and tracking
JP7006678B2 (ja) * 2017-03-17 2022-01-24 日本電気株式会社 移動体検出装置、移動体検出方法および移動体検出プログラム
WO2019165409A1 (en) * 2018-02-26 2019-08-29 Fedex Corporate Services, Inc. Systems and methods for enhanced collision avoidance on logistics ground support equipment using multi-sensor detection fusion
US20210033722A1 (en) * 2019-07-29 2021-02-04 Trackman A/S System and method for inter-sensor calibration
DE102020134968A1 (de) * 2019-12-30 2021-07-01 Subaru Corporation System zur lieferung von mobilitätsinformation, server und fahrzeug

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002260167A (ja) 2001-03-05 2002-09-13 Natl Inst For Land & Infrastructure Management Mlit 赤外補完による可視車両検出システム
JP2005337954A (ja) 2004-05-28 2005-12-08 Secom Co Ltd センシング装置及び身長測定装置

Also Published As

Publication number Publication date
US11740315B2 (en) 2023-08-29
US11209517B2 (en) 2021-12-28
US20200088831A1 (en) 2020-03-19
JPWO2018168182A1 (ja) 2020-06-18
US20220065976A1 (en) 2022-03-03
WO2018168182A1 (ja) 2018-09-20

Similar Documents

Publication Publication Date Title
US11915502B2 (en) Systems and methods for depth map sampling
CN103852754B (zh) 飞行时间(tof)测量系统中的干扰抑制的方法
US10956751B2 (en) Vessel monitoring apparatus
KR100879623B1 (ko) Ｐｔｚ 카메라를 이용한 자동화된 광역 감시 시스템 및 그방법
KR102151815B1 (ko) 카메라 및 라이다 센서 융합을 이용한 객체 검출 방법 및 그를 위한 장치
KR101948569B1 (ko) 라이다 센서 및 팬틸트줌 카메라를 활용한 비행체 식별 시스템 및 그 제어 방법
CN111753609A (zh) 一种目标识别的方法、装置及摄像机
KR101608889B1 (ko) 대기열 모니터링 장치 및 방법
KR20200133863A (ko) 첨단 운전자 지원 장치, 이의 캘리브레이션 방법 및 이의 객체를 검출하는 방법
KR102316960B1 (ko) 무인 항공기 영상 내 실시간 객체 검출 방법 및 장치
WO2014002534A1 (ja) 対象物認識装置
US11029150B2 (en) Object distance detection device
US11740315B2 (en) Mobile body detection device, mobile body detection method, and mobile body detection program
CN107122770A (zh) 多目相机系统、智能驾驶系统、汽车、方法和存储介质
KR20160125590A (ko) 소형 무인비행체를 이용한 비전 기반의 구조물 안정성 검사 방법
KR102514301B1 (ko) 이종 센서 융합을 이용한 행동 분석 장치
US10997734B2 (en) Gas detection-use image processing device, gas detection-use image processing method, and gas detection-use image processing program
JP7286406B2 (ja) 画像分析システムおよび画像分析方法
US20150071489A1 (en) Isotropic Feature Matching
CN111339840B (zh) 人脸检测方法和监控系统
KR100844640B1 (ko) 물체 인식 및 거리 계측 방법
JP2007281989A (ja) ステレオ式監視装置
JP2017027557A (ja) 移動体検出装置
KR101719127B1 (ko) 장애물 식별 장치 및 방법
JP6564682B2 (ja) 対象物検出装置、対象物検出方法、及び、対象物検出プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201204

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211220