JP7298708B2 - 対象物検出装置、対象物検出方法、及びプログラム - Google Patents

対象物検出装置、対象物検出方法、及びプログラム Download PDF

Info

Publication number
JP7298708B2
JP7298708B2 JP2021558072A JP2021558072A JP7298708B2 JP 7298708 B2 JP7298708 B2 JP 7298708B2 JP 2021558072 A JP2021558072 A JP 2021558072A JP 2021558072 A JP2021558072 A JP 2021558072A JP 7298708 B2 JP7298708 B2 JP 7298708B2
Authority
JP
Japan
Prior art keywords
detection
area
viewed
estimated
dimensional image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021558072A
Other languages
English (en)
Other versions
JPWO2021100115A5 (ja
JPWO2021100115A1 (ja
Inventor
俊之 野村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2021100115A1 publication Critical patent/JPWO2021100115A1/ja
Publication of JPWO2021100115A5 publication Critical patent/JPWO2021100115A5/ja
Application granted granted Critical
Publication of JP7298708B2 publication Critical patent/JP7298708B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/887Radar or analogous systems specially adapted for specific applications for detection of concealed objects, e.g. contraband or weapons
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/89Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08Feature extraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geophysics And Detection Of Objects (AREA)
  • Radar Systems Or Details Thereof (AREA)

Description

本発明は、対象物検出装置、対象物検出方法、及びプログラムに関する。
空港などの施設において、特定の物品の持ち込みを規制することがある。このような施設においては、施設への入場口又は施設に通じる通路において、人の所持品を検査する場合が多い。この検査に関連する技術として、特許文献1および特許文献2に記載の装置がある。特許文献1には、人から放射されるミリ波を受信することにより画像を生成することが記載されている。特許文献2には、人に対して3方向からマイクロ波を照射し、これらのマイクロ波の反射波を解析することにより、画像を生成することも記載されている。
特開2003-177175号公報 米国特許出願公開第2016/0216371号明細書
被検体に照射した電磁波の反射波を解析すると、人などの被検体及びその被検体の付随物(例えば人の所持物)の3次元形状を推定することができる。処理負荷の軽減のために、電磁波の反射波の3次元情報を2次元画像に変換した場合、規制されている物品を検出対象物として画像認識処理により検出しようとしても、検出できなかったり、誤検出されたりすることがある。このため、対象物の検出精度が低下する可能性が出てくる。
本発明の目的は、電磁波を照射してその反射波を解析することにより対象物を検出する場合において、その検出精度を高くし、検出効率を上げることにある。
本発明の各側面では、上述した課題を解決するために、それぞれ以下の構成を採用する。
第一の側面は、対象物検出装置に関する。
第一の側面に係る対象物検出装置は、
検査対象に向けて照射された電磁波の反射波を処理して得られた3次元情報から、前記検査対象を所定の方向から見た2次元画像を生成する画像生成手段と、
前記2次元画像から、少なくとも2つの認識手段を用いて認識された検出対象物の少なくとも2つの検出領域をそれぞれ検出する領域検出手段と、
検出された前記少なくとも2つの検出領域の位置関係に基づいて、当該検出対象物を判別する判別手段と、を有する。
第二の側面は、少なくとも1つのコンピュータにより実行される対象物検出方法に関する。
第二の側面に係る対象物検出方法は、
対象物検出装置が、
検査対象に向けて照射された電磁波の反射波を処理して得られた3次元情報から、前記検査対象を所定の方向から見た2次元画像を生成し、
前記2次元画像から、少なくとも2つの認識手段を用いて認識された検出対象物の少なくとも2つの検出領域をそれぞれ検出し、
検出された前記少なくとも2つの検出領域の位置関係に基づいて、当該検出対象物を判別する、ことを含む。
なお、本発明の他の側面としては、上記第二の側面の方法を少なくとも1つのコンピュータに実行させるプログラムであってもよいし、このようなプログラムを記録したコンピュータが読み取り可能な記録媒体であってもよい。この記録媒体は、非一時的な有形の媒体を含む。
このコンピュータプログラムは、コンピュータにより実行されたとき、コンピュータに、対象物検出装置上で、その対象物検出方法を実施させるコンピュータプログラムコードを含む。
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
また、本発明の各種の構成要素は、必ずしも個々に独立した存在である必要はなく、複数の構成要素が一個の部材として形成されていること、一つの構成要素が複数の部材で形成されていること、ある構成要素が他の構成要素の一部であること、ある構成要素の一部と他の構成要素の一部とが重複していること、等でもよい。
また、本発明の方法およびコンピュータプログラムには複数の手順を順番に記載してあるが、その記載の順番は複数の手順を実行する順番を限定するものではない。このため、本発明の方法およびコンピュータプログラムを実施するときには、その複数の手順の順番は内容的に支障のない範囲で変更することができる。
さらに、本発明の方法およびコンピュータプログラムの複数の手順は個々に相違するタイミングで実行されることに限定されない。このため、ある手順の実行中に他の手順が発生すること、ある手順の実行タイミングと他の手順の実行タイミングとの一部ないし全部が重複していること、等でもよい。
本発明によれば、電磁波を照射してその反射波を解析することにより対象物を検出する場合において、その検出精度を高くし、検出効率を上げることができる
上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
実施形態に係る対象物検出装置の使用環境を説明する図である。 照射装置の機能構成の一例を示す図である。 対象物検出装置の機能構成の一例を示す図である。 対象物検出装置のハードウエア構成を例示するブロック図である。 対象物検出装置の動作の一例を示すフローチャートである。 本実施形態の対象物検出装置の構成例を示す機能ブロック図である。 異なる方向から見た2次元画像から検出対象物を認識したときの検出領域の差を説明するための図である。 推定部により推定される推定領域を説明するための図である。 判別部の判別方法を説明するための図である。 判別部の判別処理の手順を示すフローチャートである。 判別部の判別処理の手順を示すフローチャートである。 第2実施形態の変形態様の対象物検出装置の構成例を示す機能ブロック図である。 本実施形態の対象物検出装置の構成例を示す機能ブロック図である。 対象物検出装置の動作例を示すフローチャートである。 本実施形態の対象物検出装置の構成例を示す機能ブロック図である。 対象物検出装置による第1の検出対象物と第2の検出対象物の判別方法を説明するための図である。 第5実施形態の変形態様の対象物検出装置の構成例を示す機能ブロック図である。 判別部の判別処理の手順を示すフローチャートである。 判別部の判別処理の手順を示すフローチャートである。 画像生成部における距離情報の算出方法の例を説明するための図である。 推定部における推定領域の推定方法の例を説明するための図である。
以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
実施形態において「取得」とは、自装置が他の装置や記憶媒体に格納されているデータまたは情報を取りに行くこと(能動的な取得)、および、自装置に他の装置から出力されるデータまたは情報を入力すること(受動的な取得)の少なくとも一方を含む。能動的な取得の例は、他の装置にリクエストまたは問い合わせしてその返信を受信すること、及び、他の装置や記憶媒体にアクセスして読み出すこと等がある。また、受動的な取得の例は、配信(または、送信、プッシュ通知等)される情報を受信すること等がある。さらに、「取得」とは、受信したデータまたは情報の中から選択して取得すること、または、配信されたデータまたは情報を選択して受信することであってもよい。
(第1実施形態)
図1は、実施形態に係る対象物検出装置20の使用環境を説明する図である。対象物検出装置20は、照射装置10及び表示装置30とともに使用される。
照射装置10は、通行人などの被検体に電磁波を照射し、この電磁波が被検体によって反射された反射波を受信する。さらに照射装置10は、受信した反射波を中間周波数帯に周波数変換する事で中間周波数信号(IF信号)を生成する。
照射装置10が照射する電磁波として、布(例えば衣服)を透過するが被検体そのもの(例えば人体)や被検体の付随物では反射される波長を有する電磁波を用いる事が望ましい。一例として、電磁波はマイクロ波やミリ波あるいはテラヘルツ波であり、波長が30マイクロメートル以上1メートル以下である。なお、図1において、照射装置10が電磁波を照射する面の水平方向がx方向、垂直方向(上下方向)がy方向であり、電磁波を照射する方向がz方向である。すなわち、被検体からみると移動する方向が概ねx方向であり、上下方向がy方向であり、被検体の移動方向に概ね直交する方向がz方向である。照射装置10は、上記したIF信号を生成する処理を、複数のタイミングで実行する。照射装置10は、例えば一秒あたり10回以上(好ましくは20回以上)上記したIF信号を生成する処理を行う。
なお、図1に示す例において、照射装置10は被検体の通路40に対して平行(180度)に配置されているが、照射装置10は通路40に対して180度以外の角度を有するように配置されていてもよい。
対象物検出装置20は、照射装置10からIF信号を取得し、このIF信号を処理することにより、被検体の少なくとも一部分の3次元形状を示す3次元位置情報を生成する。3次元位置情報は、被検体のうち電磁波が照射された部分(反射点)から照射装置10までの距離、及び、照射装置10(例えば受信部130が有するアンテナ(不図示))を基準とした時の反射点の角度、のそれぞれを特定するための情報を含んでいる。3次元位置情報によって特定される距離は、例えば後述する送信部110が有する送信アンテナ(不図示)から対象部分までの距離であってもよいし、受信部130が有する受信アンテナから対象部分までの距離であってもよいし、これらの平均値であってもよい。
なお、3次元位置情報は、各位置における反射波の強度の情報も含んでいるのが好ましい。被検体が付随物(例えば所持物)を有している場合、3次元位置情報は、付随物の少なくとも一部分の3次元形状を特定するための情報にもなる。
対象物検出装置20は付随物の有無を判断し、判断結果を示す情報を表示装置30に表示させる。なお、対象物検出装置20の検出対象は、上記した付随物に限定されない。
また対象物検出装置20は、必要に応じて被検体の2次元または3次元画像を生成して表示装置30に表示させる。被検体に付随物がある場合、この画像は付随物も含んでいる。
なお、照射装置10には、さらに、照射対象領域に入ってくる被検体を検知するセンサ(例えば人感センサ)、及び、その照射対象領域から退出する被検体を検知するセンサ(例えば人感センサ)が設けられている。照射装置10又は対象物検出装置20は、これらのセンサの検出結果を用いて、同一の被検体に対応した複数のIF信号を特定することができる。センサの代わりに、受信した反射波を用いて被検体の検知を行っても良い。
図2は、照射装置10の機能構成の一例を示す図である。本図に示す例において、照射装置10は、送信部110、制御部120、受信部130、及びデータ転送部140を有している。
送信部110は、被検体が通過する領域(以下、照射領域と記載)に向けて電磁波を照射する。送信部110は、例えば全方向性のアンテナを有している。送信部110は、電磁波の周波数を一定の範囲で変更することができる。送信部110は、制御部120によって制御されている。なお、制御部120は、受信部130も制御している。
受信部130は、被検体による反射波を受信する。受信部130は、受信した反射波を中間周波数帯に周波数変換する事で中間周波数信号(IF信号)を生成する。制御部120は、受信部130における中間周波数帯を適切な値に設定する制御を行う。
データ転送部140は、受信部130において生成されたIF信号を取得し対象物検出装置20に出力する。さらにデータ転送部140は、送信時の時刻又はIF信号を生成した時刻(以下、時刻情報と記載)も対象物検出装置20に出力する事が望ましい。
図3は、対象物検出装置20の機能構成の一例を示す図である。対象物検出装置20は、画像生成部220と、領域検出部230と、判別部240と、を備えている。
画像生成部220は、検査対象に向けて照射された電磁波の反射波を処理して得られた3次元情報から、検査対象を所定の方向から見た2次元画像を生成する。領域検出部230は、2次元画像から、少なくとも2つの認識手段を用いて認識された検出対象物の少なくとも2つの検出領域をそれぞれ検出する。判別部240は、検出された少なくとも2つの検出領域の位置関係に基づいて、当該検出対象物を判別する。
検査対象は、例えば、人または手荷物である。所定の方向は、ある1方向または2方向である。検出対象物は、例えば、凶器、危険物などの規制物品、および規制物品以外の物(例えば、身体、腕)を含む。
また、対象物検出装置20は、さらに、取得した3次元情報、生成した2次元画像、判別結果などを記憶する記憶装置250を備えてもよい。記憶装置250は、対象物検出装置20と同じ装置であってもよいし、対象物検出装置20とは別体の装置であってもよい。また、記憶装置250は、複数の記憶装置であってもよい。
少なくとも2つの認識手段については、後述する実施形態で詳細に説明するが、例えば、以下に例示される。
(a1)異なる方向から見た2つの2次元画像を生成してそれぞれ検出対象物を認識する認識手段であり、各2次元画像から2つの検出領域は領域検出部230によりそれぞれ検出される。
(a2)所定方向から見た一つの2次元画像から異なる2つの検出対象物をそれぞれ認識する認識手段であり、1つの2次元画像から2つの検出領域は領域検出部230により検出される。
領域検出部230の認識手段は、検出対象物として予め登録されている物体を所定方向から見た2次元画像と、画像生成部220で生成された2次元画像とを画像認識処理により照合を行うことで、検出対象物を認識する。また、画像認識処理として機械学習に基づく手法を用いる場合には、検出対象物を所定方向から見た2次元画像を教師データとして学習したモデルを用いて検出対象物を認識する。
また、判別部240による検出対象物の判別方法についても、後述する実施形態で説明するが、例えば、以下に例示される。
(b1)異なる2つの2次元画像から検出対象物をそれぞれ認識し、同じ検出対象物と認識された物体の位置が異なっている場合、誤検出と判定する。
(b2)異なる2つの2次元画像から検出対象物をそれぞれ認識し、同じ検出対象物と認識された物体の位置が同じ場合、検出対象物であると判定する。
(b3)一つの2次元画像から異なる2つの検出対象物を認識し、各検出対象物の位置関係が予め登録された関係にあるか否かで検出対象物を判別する。例えば、一方の検出対象物が凶器であり、他方の検出対象物が腕である場合、2つの検出対象物の位置関係を予め登録しておいて、認識された2つの物体の位置関係が登録されたものと一致した場合に各検出対象物を判別する。
(b4)一つの2次元画像から異なる2つの検出対象物を認識し、検出対象物と認識された2つの物体の位置が同じ場合、誤認識と判別する。
図4は、対象物検出装置20のハードウエア構成を例示するブロック図である。対象物検出装置20は、バス1010、プロセッサ1020、メモリ1030、ストレージデバイス1040、入出力インタフェース1050、及びネットワークインタフェース1060を有する。
バス1010は、プロセッサ1020、メモリ1030、ストレージデバイス1040、入出力インタフェース1050、及びネットワークインタフェース1060が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ1020などを互いに接続する方法は、バス接続に限定されない。
プロセッサ1020は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)などで実現されるプロセッサである。
メモリ1030は、RAM(Random Access Memory)などで実現される主記憶装置である。
ストレージデバイス1040は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、メモリカード、又はROM(Read Only Memory)などで実現される補助記憶装置である。ストレージデバイス1040は対象物検出装置20の各機能(例えば、取得部210、画像生成部220、領域検出部230、および判別部240、ならびに、後述する推定部260、および出力制御部280等)を実現するプログラムモジュールを記憶している。プロセッサ1020がこれら各プログラムモジュールをメモリ1030上に読み込んで実行することで、そのプログラムモジュールに対応する各機能が実現される。また、ストレージデバイス1040は各種記憶部としても機能する。
入出力インタフェース1050は、対象物検出装置20と各種入出力機器(例えば表示装置30)とを接続するためのインタフェースである。
ネットワークインタフェース1060は、対象物検出装置20をネットワーク上の他の装置(例えば照射装置10)に接続するためのインタフェースである。ただしネットワークインタフェース1060は用いられないことも有る。
図5は、対象物検出装置20の動作の一例を示すフローチャートである。まず、画像生成部220は、3次元情報から、検査対象を所定の方向から見た2次元画像を生成する(ステップS101)。そして、領域検出部230は、2次元画像から、少なくとも2つの認識手段を用いて検出対象物を検出する(ステップS103)。そして、領域検出部230は、検出された検出対象物の少なくとも2つの検出領域をそれぞれ検出する(ステップS105)。判別部240は、検出された少なくとも2つの検出領域の位置関係に基づいて、当該検出対象物を判別する(ステップS107)。
本実施形態によれば、領域検出部230により、少なくとも2つの認識手段を用いて認識された検出対象物の少なくとも2つの検出領域を検出し、判別部240により、検出された2つの検出領域の位置関係に基づいて検出対象物を判別する。これにより、1つの認識手段による検出対象物の誤検出や検出漏れなどの発生を抑制でき、検出対象物の検出精度を向上できる。また、画像生成部220により3次元情報を2次元画像に変換して検出処理を行うことから、処理負荷を低減でき、処理効率を向上することができる。
(第2実施形態)
図6は、本実施形態の対象物検出装置20の構成例を示す機能ブロック図である。本実施形態の対象物検出装置20は、前記した(a1)の認識手段を用いた検出対象物の領域検出を行う構成を有する。つまり、所定方向(アングルA)から見た2次元画像222aと、アングルAとは異なる方向(アングルB)から見た2次元画像222bを生成し、アングルBの2次元画像222bを用いて認識された検出対象物の位置(後述する第2の検出領域232b)と、アングルAの2次元画像222aを用いて推定されるアングルBから見た検出対象物の位置(後述する推定領域262)と、を用いて検出対象物を判別する構成を有する。アングルAの2次元画像222aを用いてアングルBから見た検出対象物の位置を推定する際、アングルAにおける検出対象物の深度情報(後述する距離情報224)を用いる。
本実施形態の対象物検出装置20は、取得部210と、画像生成部220aと、画像生成部220bと、領域検出部230aと、領域検出部230b、推定部260と、判別部240と、を備えている。
取得部210は、検査対象に向けて照射された電磁波の反射波を処理して得られた3次元情報212を取得し、画像生成部220aおよび画像生成部220bに出力する。画像生成部220aは、3次元情報212から、第1方向(アングルA)から検査対象を見たときの第1の2次元画像222aを生成する。さらに、画像生成部220aは、第1の2次元画像222aを構成する画素のそれぞれの反射点までの距離情報224を生成する。画像生成部220bは、3次元情報212から、第1方向(アングルA)とは異なる第2方向(アングルB)から検査対象を見たときの第2の2次元画像222bを生成する。
領域検出部230aは、第1の2次元画像222aから検出対象物が存在していると推定される第1の検出領域232aを検出する。領域検出部230bは、第2の2次元画像222bから検出対象物が存在していると推定される第2の検出領域232bを検出する。
推定部260は、第1方向(アングルA)から見た検出対象物について、領域検出部230aにより検出された検出領域および当該検出領域の各位置(画素)の距離情報224に基づいて、第2方向(アングルB)から見たときに当該検出対象物が存在している領域を推定して推定領域262とする。推定領域262の推定方法の詳細については後述する。
判別部240は、第1方向(アングルA)および第2方向(アングルB)のうちいずれか一方の方向(この例では、アングルB)から見たときの、推定部260により推定された推定領域262と、領域検出部230bにより検出された検出領域232bとの位置関係に基づいて、当該検出対象物か否かを判別する。判別部240の判別方法の詳細については後述する。
図7は、2次元画像222から異なる物体を認識した場合の検出結果を説明するための図である。図7(a)は、非検出対象64に検出対象物62が付随している例を示している。図7(b)は、非検出対象64にさらに、非検出対象である被検体66が付随している例を示している。また、図7の各図は、検出対象物62、非検出対象64、および被検体66の高さy1における断面図とする。本図にy軸は記載されていない。また、x-y方向およびz-y方向の各領域についても図示されていない。
図7(a)と図7(b)は、互いに異なる形状を有する検出対象物62と被検体66について、アングルA(この例では、z軸と平行な方向)を視線方向とした場合に検出される第1の検出領域232aの範囲をそれぞれ示している。図7(a)の検出対象物62をアングルAから見た場合に領域検出部230aにより検出される第1の検出領域232aの範囲は、OA1(x1,x2)である。図7(b)の被検体66をアングルAから見た場合に領域検出部230aにより検出される第1の検出領域232aの範囲は、OA2(x3,x4)である。ここでは、アングルAから見た場合の検出対象物62と被検体66の形状が似ているため、図7(a)の検出対象物62の領域OA1(x1,x2)と図7(b)の被検体66の領域OA2(x3,x4)は同じ範囲になっている。
このため、検出対象物62と被検体66は実際には異なる形状の物体であるにも関わらず、領域検出部230aで検出された第1の検出領域232aを用いて判別を行うと、被検体66が検出対象物62として検出されてしまう。このように、物体を一方向のみから見た形状で検出しようとすると、誤検出する可能性があり、検出対象物62の検出精度が低くなる可能性がある。
一方、図7(c)および図7(d)に示すように、アングルAとは異なるアングルB(この例では、x軸と平行な方向)を視線方向とした場合の被検体66の形状は、部分的に検出対象物62の形状と似ている。このため、実際は検出対象物62と被検体66の形状は異なっているにも関わらず、アングルBから見た場合の領域検出部230bにより検出される被検体66の領域OB2(z3,z4′)は、領域検出部230により検出される検出対象物62の領域OB1(z1,z2)と、同じ値になってしまうことがある。つまり、被検体66が実際の形状とは異なる形状に誤検出されてしまう。
その結果、この場合においても、2つの検出対象物62と被検体66は実際には異なる形状の物体であるにも関わらず、被検体66は検出対象物62として検出されてしまう。このように、物体を2方向から見た形状で検出しようとした場合であっても、誤検出する可能性があり、検出対象物62の検出精度が低くなる可能性が残る。
このように、被検体の形状によっては、検出精度が低下する可能性がある。そこで、本実施形態では、様々な手法を用いて検出対象物62の検出精度を向上させる。
図8は、推定部260により推定される推定領域262を説明するための図である。図8(a)に示すように、被検体66をアングルBから見た第2の2次元画像222bから領域検出部230bにより検出される第2の検出領域232bはOB2(z3,z4′)となる。これは、実物の被検体66の範囲のORB2(z3,z4)(図8(a))より狭くなっている。
推定部260は、領域検出部230aにより検出された第1の検出領域232aと、画像生成部220aが生成した、第1の検出領域232aの各画素(x3~x4)の距離情報224(D(x))から被検体66の推定領域262としてOEB2(z3,z4)の範囲を推定する。この推定領域262は、図8(a)のアングルBを視線方向とした第2の2次元画像222bから検出された第2の検出領域232bのOB2(z3,z4′)の範囲とは異なり、被検体66の実物の範囲のORB2(z3,z4)にほぼ等しい値が得られている。このように、推定部260により、被検体66の形状が正しく検出される。
次に、判別部240の判別方法の詳細について説明する。図9は、判別部240の判別方法を説明するための図であり、検出領域232と推定領域262の位置関係を示している。
検出領域232と、推定領域262との位置関係を、2つの領域が重なる領域270の面積AIと、2つの領域を合わせた領域272の面積AUとの比率Rで示す(式(1))。つまり、2つの領域の一致度を比率Rで示す。

R=AI/AU ・・・ 式(1)
図10および図11は、判別部240の判別処理の手順を示すフローチャートである。
まず、図10に示すように、判別部240は、比率Rを算出し(ステップS201)する。そして、判別部240は、比率Rが第1の閾値(例えば、0.7)よりも大きい場合は(ステップS203のYES)、検出された物体は、検出対象物62であると判別する(ステップS205)。
次に、図11に示すように、判別部240は、比率Rを算(ステップS201)する。そして、判別部240は、比率Rが第2の閾値(例えば、0.3)よりも小さい場合は(ステップS213のYES)、検出された物体は検出対象物62でない(言い換えると、誤検出である)と判別し、検出対象物62は判別されない(ステップS215)。
図10のフローチャートと、図11のフローチャートは、組み合わせることもできる。判別部240は、ステップS201で比率Rを算出した後、ステップS203で第1の閾値を用いて判定処理を行い、検出対象物62ではないと判別されたものについて(ステップS203のNO)、ステップS213で第2の閾値を用いて判定処理を行ってもよい。あるいは、ステップS213の判定をステップS203の判定より前に行ってもよい。
画像生成部220における距離情報224の算出方法、および推定部260によ推定領域262の推定方法は、様々考えられ、詳細については後述する。
本実施形態によれば、推定部260により所定方向(例えば、アングルA)を視線方向とした被検体66の第1の検出領域232aから、アングルAとは別の他の方向(例えば、アングルB)を視線方向とした推定領域262を推定し、判別部240により推定領域262と第2の検出領域232bとの位置関係に基づいて、被検体66が検出対象物62であるかを判別する。さらに、推定領域262と第2の検出領域232bの位置関係は、領域の一致度に基づいて判別部240により判別される。
このように、推定部260により、一方の視線方向の検出領域の距離情報を元に他方の領域を推定し、判別部240により検出された領域と推定された領域を元に総合的に判別することができるので、被検体66が部分的に検出対象物62と同じような形状であるような場合にも、検出対象物62の判別精度を上げることができる。また、各領域の位置関係は、領域の一致度に基づいて判別することができるので、効率よく検出対象物62を判別することができる。
(第2実施形態の変形態様)
図12は、第2実施形態の変形態様の対象物検出装置20の構成例を示す機能ブロック図である。この対象物検出装置20では、図6の対象物検出装置20の推定部260に替えて推定部260aと推定部260bとを備える。
推定部260aは、第1方向(アングルA)から見た検出対象物と認識された物体について、領域検出部230aにより検出された検出領域および当該検出領域の各位置の距離情報224に基づいて、当該検出対象物と認識された物体を第2方向(アングルB)から見た検出対象物62が存在していると推定される推定領域262aを推定する。
推定部260bは、第2方向(アングルB)から見た第2の2次元画像222bから検出された第2の検出領域232bから推定されるアングルAから見た検出対象物62が存在していると推定される推定領域262bを推定する。
判別部240は、推定部260aにより推定された推定領域262aと第2の検出領域232bの位置関係、および、推定部260bにより推定された推定領域262bと第1の検出領域232aの位置関係に基づいて、検出対象物62か否かを判定する。
第2実施形態と同様な効果を奏するとともに、さらに、検出対象物62を第1方向および第2方向を視線方向として2次元画像222からの検出領域232をそれぞれ検出し、さらに、両方の検出領域232からそれぞれ推定される他方の方向を視線方向とした検出対象物62が存在していると推定される推定領域262をそれぞれ推定し、判別部240により総合的に判別するので、検出対象物62の検出精度をより向上させることができる。
(第3実施形態)
本実施形態の対象物検出装置20は、検出対象物62の距離情報224を予め記憶しておき、この距離情報224を推定領域262の推定に用いる点以外は上記実施形態と同様である。本実施形態の対象物検出装置20は、図3の対象物検出装置20と同じ構成を有するので図3を用いて説明する。本実施形態の対象物検出装置20は、他の少なくともいずれか一つ構成と矛盾のない範囲で組み合わせることができる。
検出対象物62の距離情報224は記憶装置250に予め記憶されている。推定部260は、記憶装置250に記憶されている検出対象物62の距離情報224に基づき、検出対象物62を第2の方向から見たときの、検出対象物62が存在していると推定される推定領域262を推定する。
本実施形態によれば、推定部260により、予め記憶されている検出対象物62の距離情報224を用いて推定領域262を推定できるので、画像生成部220が生成した距離情報224を用いる必要がないため、推定部260による推定領域262の算出処理の負荷を低減でき、処理効率を向上できる。特に検出対象物62の検出領域232が誤検出されているような場合に、間違った検出領域232と間違った距離情報224を用いた推定領域262の推定処理を行わずに済むので無駄な処理を省くことができ、さらに、正しい距離情報224を用いて推定領域262を推定できるので、検出対象物62の検出精度を向上させることができる。
(第4実施形態)
図13は、本実施形態の対象物検出装置20の構成例を示す機能ブロック図である。
本実施形態の対象物検出装置20は、判別結果の出力を制御する構成を有する点以外は図3の対象物検出装置20と同じである。図3の対象物検出装置20の構成に加え、さらに、出力制御部280を有する。本実施形態の対象物検出装置20は、他の少なくともいずれか一つ構成と矛盾のない範囲で組み合わせることができる。
出力制御部280は、判別部240により検出対象物62であると判別された場合、当該判別結果を出力し、検出対象物62ではないと判別された場合、当該判別結果を出力しない。
出力制御部280が判別結果を出力する出力手段は、例えば、表示装置30である。あるいは、判別結果を記憶装置250に記憶してもよい。あるいは、スピーカから音声またはアラーム音を出力してもよい。出力される情報は、検出対象物62が検出されたことを示す情報と、検出された検出対象物62を示す情報と、検出された日時、検出された場所を示す情報のうち少なくともいずれか一つを含むことができる。
図14は、対象物検出装置20の動作例を示すフローチャートである。
本図のフローは、図5のステップS107の後に実行される。ステップS107における判別部240による判別結果において、認識された物体が検出対象物62であると判別された場合(ステップS301のYES)、検出された物体は検出対象物62であることを判別結果として出力させる(ステップS303)。一方、認識された物体が検出対象物62であると判別されなかった場合、あるいは、検出対象物62ではないと判別された場合(ステップS301のNO)、ステップS303をバイパスし、本処理を終了する。つまり、この場合、出力制御部280は、判別結果を出力させない。
さらに、他の例では、検出領域232は検出対象物62であると判別された場合に(ステップS301のYES)、出力制御部280は、2次元画像222内の当該検出領域232について色を変えて表示させたり、検出領域232を囲む描画を重畳表示させたりして、強調表示してもよい。
さらなる他の例では、認識された物体が検出対象物62であると判別されなかった場合、あるいは、検出対象物62ではないと判別された場合(ステップS301のNO)、2次元画像222内の当該検出領域232について、上記した検出対象物62の検出領域232とは別の色に変えて表示させたり、当該検出領域232を囲む上記した検出対象物62の検出領域232とは別の描画を重畳表示させたりして、強調表示してもよい。これにより検出対象物62ではないと判別された物体についても人が確認することができる。
本実施形態によれば、出力制御部280により、検出対象物62検出の判別結果を出力するか否かを制御できる。例えば、検出対象物62が検出されと判別された場合には通知するが、検出対象物62ではないと判別された場合には通知は行わないようにすることで、通知情報を適正な数に押さえることができる。これにより、監視者の作業負荷を低減できる。ただし、必要に応じて、検出対象物62でないと判別された場合であっても、人が目視で確認できるように通知を行ったり、後で確認できるようにしたりすることもできる。これにより、検出対象物62の検出漏れを防いだり、誤検出を低減できる。
(第5実施形態)
図15は、本実施形態の対象物検出装置20の構成例を示す機能ブロック図である。
対象物検出装置20は、上記した(a2)の認識手段を用いた検出対象物の領域検出を行う構成をする。すなわち、認識手段は、所定方向から見た1つの2次元画像から異なる2つの検出対象物をそれぞれ認識する。
対象物検出装置20は、取得部210と、画像生成部220と、領域検出部230aと、領域検出部230cと、判別部240と、を備える。
取得部210は、図6および図12の上記実施形態と同じである。画像生成部220は、3次元情報212から、検査対象を所定の方向(例えば、アングルA)から見た2次元画像222を生成する。領域検出部230aは、第1の検出対象物62aを検出する検出対象物検出部(不図示)を有する。領域検出部230cは、第1の検出対象物62aとは別の第2の検出対象物62bを検出する非検出対象物検出部(不図示)を有する。
第1の検出対象物62aは、例えば、検出対象の物体であり、例として、持ち込みが制限される物であり、凶器、危険物、違法な物などの規制物品などを含む。第2の検出対象物62bは、例えば、検出対象以外の物体であり、例として、規制物品以外の物(例えば、身体、腕)を含む。
第1の検出対象物62aと第2の検出対象物62bの組み合わせは、例えば、「銃」と「人の腕」などのように、互いの位置関係に関連性があるようなものが好ましい。あるいは、第1の検出対象物62aと第2の検出対象物62bの組み合わせは、例えば、「銃」と「人の腕」などのように、互いの形状が似ているものであってもよい。
領域検出部230aは、検出対象物検出部を用いて第1の検出対象物62aの第1の検出領域232aを検出する。領域検出部230cは、非検出対象物検出部を用いて第2の検出対象物62bの第3の検出領域232cを検出する。
判別部240は、検出された第1の検出対象物62aの第1の検出領域232aと第2の検出対象物62bの第3の検出領域232の位置関係に基づいて、第1の検出対象物62aか否かを判別する。
図16(a)は、本実施形態の対象物検出装置20による第1の検出対象物62aと第2の検出対象物62bの判別方法を説明するための図である。ここでは、第1の検出対象物62aは銃であり、第2の検出対象物62bは人の腕である。領域検出部230aにより、第1の検出対象物62a(銃)の第1の検出領域232aが検出される。一方、領域検出部230cからは、第2の検出対象物62b(人の腕)の第3の検出領域232c(図中、一点鎖線で示す)が検出される。
例えば、第1の検出対象物62a(銃)と、第2の検出対象物62b(人の腕)の位置関係は大きく変わることはないため、この位置関係を予め記憶装置250に登録しておく。こにより、判別部240は、検出された第1の検出領域232aと第3の検出領域232cの位置関係に基づいて、第1の検出対象物62a(銃)と、第2の検出対象物62b(人の腕)を判別する。ただし、判別部240は、少なくとも第1の検出対象物62a(銃)を判別できればよい。
本実施形態によれば、第1の検出対象物62a(例えば、銃など)と第2の検出対象物62bとの領域をそれぞれ検出し、検出された領域の位置関係に基づいて、検出対象物62をそれぞれ判別できるので、第1の検出対象物62a(例えば、銃など)のみを判別する場合に比較して、誤検出や検出漏れを低減できる可能性がある。よって、検出対象物の検出効率を向上できる。
(第5実施形態の変形態様)
図17は、第5実施形態の変形態様の対象物検出装置20の構成例を示す機能ブロック図である。この例では、図15の対象物検出装置20の構成に加え、推定部260を備える。また、推定部260は、図6および図12の対象物検出装置20の推定部260および推定部260aと同じである。
推定部260は、視線方向がアングルAの第1の2次元画像222aから検出された第1の検出領域232aについて、検出対象物62が存在していると推定される視線方向がアングルBの推定領域262を推定する。
図16(b)は、本変形態様の対象物検出装置20による第1の検出対象物62aと第2の検出対象物62bの判別方法を説明するための図である。ここでは、第1の検出対象物62aは銃であり、第2の検出対象物62bは人の腕である。領域検出部230cにより、第2の検出対象物62b(人の腕)が第1の検出対象物62a(銃)であると誤検出された場合、例えば、領域検出部230aから第1の検出領域232aとして、2つの領域R1(図中、破線で示す)と領域R2(図中、二点鎖線で示す)が検出される。一方、領域検出部230からは、第2の検出対象物62b(人の腕)の第3の検出領域232c(図中、一点鎖線で示す)が検出される。
そして、推定部260により、領域R1と領域R2について、アングルBを視線方向とした推定領域262(領域RE1と領域RE2(不図示))をそれぞれ推定する。そして、判別部240は、推定された2つの領域RE1と領域RE2と、第3の検出領域232cとの位置関係に基づいて、第1の検出対象物62a(銃)を判別する。
ここでは、領域RE2と第3の検出領域232cの位置が一致することから、第1の検出対象物62a(銃)として検出された領域R2は、検出対象物62b(人の腕)であると判別される。一方、領域RE1と第3の検出領域232cの位置は一致しないため、第1の検出対象物62a(銃)として検出された領域R1は検出対象物62b(人の腕)ではないと判別される。
以下、判別部240における二つの領域の位置関係に基づく判別方法の詳細について説明する。図18および図19のフローチャートを用いて説明する。図18および図19は、それぞれ図10および図11と同じ手順については同じ符号を付し、説明を省略する。
まず、図18に示すように、判別部240は、比率Rが第3の閾値(例えば、0.7)よりも大きい場合は(ステップS403のYES)、検出された物体は検出対象物62でない(言い換えると、誤検出である)と判別し、検出対象物62は検出されない(ステップS405)。
次に、図19に示すように、判別部240は、比率Rが第4の閾値(例えば、0.3)よりも小さい場合は(ステップS413のYES)、検出された物体は、検出対象物62であると判別する(ステップS415)。
図18のフローチャートと、図19のフローチャートは、組み合わせることもできる。判別部240は、ステップS201で比率Rを算出した後、ステップS403で第3の閾値を用いて判定処理を行い、検出対象物62であると判別されたものについて(ステップS403のNO)、ステップS413で第4の閾値を用いて判定処理を行ってもよい。あるいは、ステップS413の判定をステップS403の判定より前に行ってもよい。
変形態様によれば、上記第5実施形態と同様な効果を奏するとともに、さらに、検出対象物と検出対象物以外を検出することで、2つを組み合わせた判別を行うことができるので、検出漏れや誤検出を低減できる。さらに、推定部260により推定領域を検出できるので、さらに検出精度を向上できる。
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
<画像生成部220における距離情報224の算出方法>
図20は、画像生成部220における距離情報224の算出方法の例を説明するための図である。画像生成部220は、以下の(c1)~(c3)のいずれかの算出方法を用いて距離情報224を生成することができるが、これら限定されない。
以下、2次元画像222の視線方向(所定の方向)がz方向、すなわち、電磁波を照射する方向と平行である場合について説明する。
(c1)視線方向(z方向)においてレーダ画像(3次元情報212)の振幅が最大となるボクセルを選択し、その振幅値を2次元画像222の値I2D(x,y)とする。また、そのz座標を距離情報224のD(x,y)とする。以下の式(2)、式(3)によりそれぞれ求められる。
Figure 0007298708000001
(c2)視線方向(z方向)においてレーダ画像(3次元情報212)の振幅が予め定めた閾値を最初に超えるボクセルを選択し、その振幅値を2次元画像222の値I2D(x,y)とする。また、そのz座標を距離情報224のD(x,y)とする。
(c3)視線方向(z方向)においてレーダ画像(3次元情報212)の振幅の重心となるボクセルを選択し、その振幅値を2次元画像222の値I2D(x,y)とする。また、そのz座標を距離情報224のD(x,y)とする。以下の式(4)、式(5)によりそれぞれ求められる。
Figure 0007298708000002
<推定部260による推定領域262の推定方法>
図21は、推定部260における推定領域262の推定方法の例を説明するための図である。推定部260は、以下の(d1)~(d4)のいずれかの算出方法を用いて推定領域262を推定することができるが、これら限定されない
以下、図21(a)に示すように、第1の2次元画像222aの視線方向(所定の方向)がz方向(アングルA)、すなわち、電磁波を照射する方向と平行であり、推定部260により検出対象物62が存在すると推定する視線方向がx方向(アングルB)と平行でる場合について説明する。また、図21(c)は、高さy1~y2の間における断面図であり、同図において、y方向に関する記載は省略してある。
(d1) 領域検出部230aは、視線方向アングルAの第1の2次元画像222aから検出された検出対象物62の第1の検出領域232aを検出し、図21(b)のO(x1,y1,x2,y2)と、図21(c)の当該第1の検出領域232a内の距離情報224のD(x,y)を用いて、視線方向アングルBからみた対象物の推定領域262をOEB(z1,y1,z2,y2)と推定する。
ここで、z1は検出領域232a内の距離情報224の最小値であり、以下の式(6)により算出される。
Figure 0007298708000003
また、z2は第1の検出領域232a内の距離情報224の最大値であり、以下の式(7)により算出される。
Figure 0007298708000004
(d2) 上記(d1)の処理において、検出領域232aのO(x1,y1,x2,y2)は矩形であり、検出対象物62が存在していない領域も含まれるため、z1,z2が正しく算出されない場合がある。その場合は、第1の2次元画像222aの値I2D(x,y)が閾値より小さい場合は非対象物領域であるとみなして、上記(d1)の最大値または最小値の算出処理の対象外とすることで、z1,z2を正しく算出できる。上記の小ささの閾値としては、検出領域内でのI2D(x,y)の最大値をn倍したものを用いる。0≦n≦1であり、例えば0.1を用いる。
(d3) 非対象物領域に影響されず推定領域262のOEB(z1,y1,z2,y2)を推定する別の方法としては、検出対象物62の大きさを事前知識として利用する方法がある。例えば、検出領域232a内でI2D(x,y)が最大となる位置の距離情報224のD(x,y)を中心として、あらかじめ定めた検出対象物62の大きさLを用いて以下の式(8)から式(10)に従い算出する。
Figure 0007298708000005
(d4) 上記(d3)の処理において、検出領域232a内でI2D(x,y)が最大となる位置ではなく、検出領域232aの中心位置あるいは重心位置の距離情報224を用いてもよい。
<通知レベル>
判別部240は、第1の検出対象物62a(銃)と第2の検出対象物62b(人の腕)の組み合わせにおいて、2つの位置関係に応じて、第1の検出対象物62aの判別結果の通知の緊急レベルを変更してもよい。
例えば、第1の検出対象物62a(銃)が第2の検出対象物62b(人の腕)の延長線上に位置している場合、つまり、銃を手に持っている位置関係にある場合は、判別部240は、その他の位置関係にある場合と比較して、緊急性が高い最高レベルと判定してよい。例えば、図16の出力制御部280は、この判定結果に基づいて、通知レベルを変更して出力先や出力内容を選択することができる。
以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
なお、本発明において利用者に関する情報を取得、利用する場合は、これを適法に行うものとする。
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
1. 検査対象に向けて照射された電磁波の反射波を処理して得られた3次元情報から、前記検査対象を所定の方向から見た2次元画像を生成する画像生成手段と、
前記2次元画像から、少なくとも2つの認識手段を用いて認識された検出対象物の少なくとも2つの検出領域をそれぞれ検出する領域検出手段と、
検出された前記少なくとも2つの検出領域の位置関係に基づいて、当該検出対象物を判別する判別手段と、を備える、対象物検出装置。
2. 1.に記載の対象物検出装置において、
前記画像生成手段は、
前記3次元情報から、第1方向から前記検査対象を見たときの第1の2次元画像を生成するとともに、当該第1の2次元画像を構成する画素のそれぞれの反射点までの距離情報を生成し、
さらに、前記3次元情報から、前記第1方向とは異なる第2方向から前記検査対象を見たときの第2の2次元画像を生成するとともに、当該第2の2次元画像を構成する画素それぞれの反射点までの距離情報を生成し、
前記領域検出手段は、前記第1の2次元画像から前記検出対象物が存在していると推定される第1の検出領域と、前記第2の2次元画像から前記検出対象物が存在していると推定される第2の検出領域をそれぞれ検出し、
さらに、前記第1方向から見た前記検出対象物について、前記領域検出手段により検出された検出領域および当該検出領域の各位置の前記距離情報に基づいて、当該検出対象物を前記第2方向から見たときの領域を推定して推定領域とする推定手段を備え、
前記判別手段は、前記第2方から見たときの、前記推定手段により推定された前記推定領域と、前記領域検出手段により検出された前記検出領域との位置関係に基づいて、当該検出対象物か否かを判別する、対象物検出装置。
3. 2.に記載の対象物検出装置において、
前記推定手段は、
前記第2方向から見た前記検出対象物について、前記領域検出手段により検出された検出領域および当該検出領域の各位置の前記距離情報に基づいて、当該検出対象物を前記第1方向から見たときの領域を推定して推定領域とし、
前記判別手段は、前記第2方向から見たときの前記推定領域と前記検出領域の位置関係と、さらに、前記第1方から見たときの、前記推定手段により推定された前記推定領域と、前記領域検出手段により検出された前記検出領域との位置関係とに基づいて、当該検出対象物か否かを判別する、対象物検出装置。
4. 2.または3.に記載の対象物検出装置において、
前記判別手段は、前記推定領域と前記検出領域との一致度が第1の閾値以上の場合、前記検出対象物であるとする、対象物検出装置。
5. 2.から4.のいずれか一つに記載の対象物検出装置において、
前記判別手段は、前記推定領域と前記検出領域との一致度が第2の閾値以下の場合、前記検出対象物ではないとする、対象物検出装置。
6. 2.から5.のいずれか一つに記載の対象物検出装置において、
前記検出対象物の前記距離情報を予め記憶させる記憶手段をさらに備え、
前記推定手段は、前記記憶手段により予め記憶されている前記検出対象物の前記距離情報に基づいて、当該検出対象物を前記第2方向から見たときの、前記検出対象物が存在していると推定される推定領域を推定する、対象物検出装置。
7. 1.に記載の対象物検出装置において、
前記認識手段は、第1の検出対象物を検出する第1検出部と、前記第1の検出対象物とは別の第2の検出対象物を認識する第2検出部とを含み、
前記領域検出手段は、前記第1検出部および前記第2検出部を用いて前記第1の検出対象物の第1の検出領域および前記第2の検出対象物の第2の検出領域をそれぞれ検出し、
前記判別手段は、検出された前記第1の検出領域と前記第2の検出領域の位置関係に基づいて、前記第1の検出対象物か否かを判別する、対象物検出装置。
8. 7.に記載の対象物検出装置において、
前記画像生成手段は、前記3次元情報から、第1方向から前記検査対象を見たときの第1の2次元画像を生成するとともに、当該第1の2次元画像を構成する画素それぞれの反射点までの距離情報を生成し、さらに、前記3次元情報から、前記第1方向とは異なる第2方向から前記検査対象を見たときの第2の2次元画像を生成し、
前記領域検出手段は、前記第1の2次元画像から前記第1の検出対象物の前記第1の検出領域と、前記第2の2次元画像から前記第2の検出対象物の前記第2の検出領域をそれぞれ検出し、
さらに、前記第1方向から見た前記第1の検出対象物の前記第1の検出領域と、当該第1の検出領域の各位置の前記距離情報に基づいて、当該第1の検出対象物を前記第2方向から見たときの領域を推定して推定領域とする推定手段を備え、
前記判別手段は、前記第1の検出対象物の前記推定領域と、前記第2の検出対象物の前記検出領域との位置関係に基づいて、前記第1の検出対象物か否かを判別する、対象物検出装置。
9. 8.に記載の対象物検出装置において、
前記判別手段は、前記第1の検出対象物の前記推定領域と、前記第2の検出対象物の前記検出領域との一致度が第3の閾値以上の場合、前記第1の検出対象物ではないとする、対象物検出装置。
10. 8.または9.に記載の対象物検出装置において、
前記判別手段は、前記第1の検出対象物の前記推定領域と、前記第2の検出対象物の前記検出領域との一致度が第4の閾値以下の場合、前記第1の検出対象物であるとする、対象物検出装置。
11. 1.から10.のいずれか一つに記載の対象物検出装置において、
前記判別手段により前記検出対象物であると判別された場合、当該判別結果を出力し、前記検出対象物ではないと判別された場合、当該判別結果を出力しない出力制御手段をさらに備える、対象物検出装置。
12. 対象物検出装置が、
検査対象に向けて照射された電磁波の反射波を処理して得られた3次元情報から、前記検査対象を所定の方向から見た2次元画像を生成し、
前記2次元画像から、少なくとも2つの認識手段を用いて認識された検出対象物の少なくとも2つの検出領域をそれぞれ検出し、
検出された前記少なくとも2つの検出領域の位置関係に基づいて、当該検出対象物を判別する、対象物検出方法。
13. 12.に記載の対象物検出方法において、
前記対象物検出装置が、
前記3次元情報から、第1方向から前記検査対象を見たときの第1の2次元画像を生成するとともに、当該第1の2次元画像を構成する画素のそれぞれの反射点までの距離情報を生成し、
さらに、前記3次元情報から、前記第1方向とは異なる第2方向から前記検査対象を見たときの第2の2次元画像を生成するとともに、当該第2の2次元画像を構成する画素それぞれの反射点までの距離情報を生成し、
前記第1の2次元画像から前記検出対象物が存在していると推定される第1の検出領域と、前記第2の2次元画像から前記検出対象物が存在していると推定される第2の検出領域をそれぞれ検出し、
さらに、前記第1方向から見た前記検出対象物について、検出された検出領域および当該検出領域の各位置の前記距離情報に基づいて、当該検出対象物を前記第2方向から見たときの領域を推定して推定領域とし、
前記第2方から見たときの、推定された前記推定領域と、検出された前記検出領域との位置関係に基づいて、当該検出対象物か否かを判別する、対象物検出方法。
14. 13.に記載の対象物検出方法において、
前記対象物検出装置が、
前記第2方向から見た前記検出対象物について、検出された検出領域および当該検出領域の各位置の前記距離情報に基づいて、当該検出対象物を前記第1方向から見たときの領域を推定して推定領域とし、
前記第2方向から見たときの前記推定領域と前記検出領域の位置関係と、さらに、前記第1方から見たときの、推定された前記推定領域と、検出された前記検出領域との位置関係とに基づいて、当該検出対象物か否かを判別する、対象物検出方法。
15. 13.または14.に記載の対象物検出方法において、
前記対象物検出装置が、
前記推定領域と前記検出領域との一致度が第1の閾値以上の場合、前記検出対象物であるとする、対象物検出方法。
16. 13.から15.のいずれか一つに記載の対象物検出方法において、
前記対象物検出装置が、
前記推定領域と前記検出領域との一致度が第2の閾値以下の場合、前記検出対象物ではないとする、対象物検出方法。
17. 13.から16.のいずれか一つに記載の対象物検出方法において、
前記対象物検出装置が、
前記検出対象物の前記距離情報を記憶装置に予め記憶させ、
前記記憶装置に予め記憶されている前記検出対象物の前記距離情報に基づいて、当該検出対象物を前記第2方向から見たときの、前記検出対象物が存在していると推定される推定領域を推定する、対象物検出方法。
18. 12.に記載の対象物検出方法において、
前記認識手段は、第1の検出対象物を検出する第1検出部と、前記第1の検出対象物とは別の第2の検出対象物を認識する第2検出部とを含み、
前記対象物検出装置が、
前記第1検出部および前記第2検出部を用いて前記第1の検出対象物の第1の検出領域および前記第2の検出対象物の第2の検出領域をそれぞれ検出し、
検出された前記第1の検出領域と前記第2の検出領域の位置関係に基づいて、前記第1の検出対象物か否かを判別する、対象物検出方法。
19. 18.に記載の対象物検出方法において、
前記対象物検出装置が、
前記3次元情報から、第1方向から前記検査対象を見たときの第1の2次元画像を生成するとともに、当該第1の2次元画像を構成する画素それぞれの反射点までの距離情報を生成し、さらに、前記3次元情報から、前記第1方向とは異なる第2方向から前記検査対象を見たときの第2の2次元画像を生成し、
前記第1の2次元画像から前記第1の検出対象物の前記第1の検出領域と、前記第2の2次元画像から前記第2の検出対象物の前記第2の検出領域をそれぞれ検出し、
さらに、前記第1方向から見た前記第1の検出対象物の前記第1の検出領域と、当該第1の検出領域の各位置の前記距離情報に基づいて、当該第1の検出対象物を前記第2方向から見たときの領域を推定して推定領域とし、
前記第1の検出対象物の前記推定領域と、前記第2の検出対象物の前記検出領域との位置関係に基づいて、前記第1の検出対象物か否かを判別する、対象物検出方法。
20. 19.に記載の対象物検出方法において、
前記対象物検出装置が、
前記第1の検出対象物の前記推定領域と、前記第2の検出対象物の前記検出領域との一致度が第3の閾値以上の場合、前記第1の検出対象物ではないとする、対象物検出方法。
21. 19.または20.に記載の対象物検出方法において、
前記対象物検出装置が、
前記第1の検出対象物の前記推定領域と、前記第2の検出対象物の前記検出領域との一致度が第4の閾値以下の場合、前記第1の検出対象物であるとする、対象物検出方法。
22. 12.から21.のいずれか一つに記載の対象物検出方法において、
前記対象物検出装置が、
前記検出対象物であると判別された場合、当該判別結果を出力し、前記検出対象物ではないと判別された場合、当該判別結果を出力しない、対象物検出方法。
23. コンピュータに、
検査対象に向けて照射された電磁波の反射波を処理して得られた3次元情報から、前記検査対象を所定の方向から見た2次元画像を生成する手順、
前記2次元画像から、少なくとも2つの認識手段を用いて認識された検出対象物の少なくとも2つの検出領域をそれぞれ検出する手順、
検出された前記少なくとも2つの検出領域の位置関係に基づいて、当該検出対象物を判別する手順、を実行させるためのプログラム。
24. 23.に記載のプログラムにおいて、
前記3次元情報から、第1方向から前記検査対象を見たときの第1の2次元画像を生成するとともに、当該第1の2次元画像を構成する画素のそれぞれの反射点までの距離情報を生成する手順、
前記3次元情報から、前記第1方向とは異なる第2方向から前記検査対象を見たときの第2の2次元画像を生成するとともに、当該第2の2次元画像を構成する画素それぞれの反射点までの距離情報を生成する手順、
前記第1の2次元画像から前記検出対象物が存在していると推定される第1の検出領域と、前記第2の2次元画像から前記検出対象物が存在していると推定される第2の検出領域をそれぞれ検出する手順、
前記第1方向から見た前記検出対象物について、前記検出する手順により検出された検出領域および当該検出領域の各位置の前記距離情報に基づいて、当該検出対象物を前記第2方向から見たときの領域を推定して推定領域とする手順、
前記第2方から見たときの、推定された前記推定領域と、検出された前記検出領域との位置関係に基づいて、当該検出対象物か否かを判別する手順、をコンピュータに実行させるためのプログラム。
25. 24.に記載のプログラムにおいて、
前記第2方向から見た前記検出対象物について、前記検出する手順により検出された検出領域および当該検出領域の各位置の前記距離情報に基づいて、当該検出対象物を前記第1方向から見たときの領域を推定して推定領域とする手順、
前記第2方向から見たときの前記推定領域と前記検出領域の位置関係と、さらに、前記第1方から見たときの、推定された前記推定領域と、検出された前記検出領域との位置関係とに基づいて、当該検出対象物か否かを判別する手順、をコンピュータに実行させるためのプログラム。
26. 24.または25.に記載のプログラムにおいて、
前記推定領域と前記検出領域との一致度が第1の閾値以上の場合、前記検出対象物であるとする手順、をコンピュータに実行させるためのプログラム。
27. 24.から26.のいずれか一つに記載のプログラムにおいて、
前記推定領域と前記検出領域との一致度が第2の閾値以下の場合、前記検出対象物ではないとする手順、をコンピュータに実行させるためのプログラム。
28. 24.から27.のいずれか一つに記載のプログラムにおいて、
前記検出対象物の前記距離情報を予め記憶装置に記憶させる手順、
前記記憶装置に予め記憶されている前記検出対象物の前記距離情報に基づいて、当該検出対象物を前記第2方向から見たときの、前記検出対象物が存在していると推定される推定領域を推定する手順、をコンピュータに実行させるためのプログラム。
29. 23.に記載のプログラムにおいて、
前記認識手段は、第1の検出対象物を検出する第1検出部と、前記第1の検出対象物とは別の第2の検出対象物を認識する第2検出部とを含み、
前記第1検出部および前記第2検出部を用いて前記第1の検出対象物の第1の検出領域および前記第2の検出対象物の第2の検出領域をそれぞれ検出する手順、
検出された前記第1の検出領域と前記第2の検出領域の位置関係に基づいて、前記第1の検出対象物か否かを判別する手順、をコンピュータに実行させるためのプログラム。
30. 29.に記載のプログラムにおいて、
前記3次元情報から、第1方向から前記検査対象を見たときの第1の2次元画像を生成するとともに、当該第1の2次元画像を構成する画素それぞれの反射点までの距離情報を生成し、さらに、前記3次元情報から、前記第1方向とは異なる第2方向から前記検査対象を見たときの第2の2次元画像を生成する手順、
前記第1の2次元画像から前記第1の検出対象物の前記第1の検出領域と、前記第2の2次元画像から前記第2の検出対象物の前記第2の検出領域をそれぞれ検出する手順、
前記第1方向から見た前記第1の検出対象物の前記第1の検出領域と、当該第1の検出領域の各位置の前記距離情報に基づいて、当該第1の検出対象物を前記第2方向から見たときの領域を推定して推定領域とする手順、
前記第1の検出対象物の前記推定領域と、前記第2の検出対象物の前記検出領域との位置関係に基づいて、前記第1の検出対象物か否かを判別する手順、をコンピュータに実行させるためのプログラム。
31. 30.に記載のプログラムにおいて、
前記第1の検出対象物の前記推定領域と、前記第2の検出対象物の前記検出領域との一致度が第3の閾値以上の場合、前記第1の検出対象物ではないとする手順、をコンピュータに実行させるためのプログラム。
32. 30.または31.に記載のプログラムにおいて、
前記第1の検出対象物の前記推定領域と、前記第2の検出対象物の前記検出領域との一致度が第4の閾値以下の場合、前記第1の検出対象物であるとする手順、をコンピュータに実行させるためのプログラム。
33. 23.から32.のいずれか一つに記載のプログラムにおいて、
前記検出対象物であると判別された場合、当該判別結果を出力し、前記検出対象物ではないと判別された場合、当該判別結果を出力しない手順、をさらコンピュータに実行させるための、プログラム。

Claims (33)

  1. 検査対象に向けて照射された電磁波の反射波を処理して得られた3次元情報から、前記検査対象を所定の方向から見た2次元画像を生成する画像生成手段と、
    前記2次元画像から、少なくとも2つの認識手段を用いて認識された検出対象物の少なくとも2つの検出領域をそれぞれ検出する領域検出手段と、
    検出された前記少なくとも2つの検出領域の位置関係に基づいて、当該検出対象物を判別する判別手段と、を備える、対象物検出装置。
  2. 請求項1に記載の対象物検出装置において、
    前記画像生成手段は、
    前記3次元情報から、第1方向から前記検査対象を見たときの第1の2次元画像を生成するとともに、当該第1の2次元画像を構成する画素のそれぞれの反射点までの距離情報を生成し、
    さらに、前記3次元情報から、前記第1方向とは異なる第2方向から前記検査対象を見たときの第2の2次元画像を生成するとともに、当該第2の2次元画像を構成する画素それぞれの反射点までの距離情報を生成し、
    前記領域検出手段は、前記第1の2次元画像から前記検出対象物が存在していると推定される第1の検出領域と、前記第2の2次元画像から前記検出対象物が存在していると推定される第2の検出領域をそれぞれ検出し、
    さらに、前記第1方向から見た前記検出対象物について、前記領域検出手段により検出された検出領域および当該検出領域の各位置の前記距離情報に基づいて、当該検出対象物を前記第2方向から見たときの領域を推定して推定領域とする推定手段を備え、
    前記判別手段は、前記第2方から見たときの、前記推定手段により推定された前記推定領域と、前記領域検出手段により検出された前記検出領域との位置関係に基づいて、当該検出対象物か否かを判別する、対象物検出装置。
  3. 請求項2に記載の対象物検出装置において、
    前記推定手段は、
    前記第2方向から見た前記検出対象物について、前記領域検出手段により検出された検出領域および当該検出領域の各位置の前記距離情報に基づいて、当該検出対象物を前記第1方向から見たときの領域を推定して推定領域とし、
    前記判別手段は、前記第2方向から見たときの前記推定領域と前記検出領域の位置関係と、さらに、前記第1方から見たときの、前記推定手段により推定された前記推定領域と、前記領域検出手段により検出された前記検出領域との位置関係とに基づいて、当該検出対象物か否かを判別する、対象物検出装置。
  4. 請求項2または3に記載の対象物検出装置において、
    前記判別手段は、前記推定領域と前記検出領域との一致度が第1の閾値以上の場合、前記検出対象物であるとする、対象物検出装置。
  5. 請求項2から4のいずれか一項に記載の対象物検出装置において、
    前記判別手段は、前記推定領域と前記検出領域との一致度が第2の閾値以下の場合、前記検出対象物ではないとする、対象物検出装置。
  6. 請求項2から5のいずれか一項に記載の対象物検出装置において、
    前記検出対象物の前記距離情報を予め記憶させる記憶手段をさらに備え、
    前記推定手段は、前記記憶手段により予め記憶されている前記検出対象物の前記距離情報に基づいて、当該検出対象物を前記第2方向から見たときの、前記検出対象物が存在していると推定される推定領域を推定する、対象物検出装置。
  7. 請求項1に記載の対象物検出装置において、
    前記認識手段は、第1の検出対象物を検出する第1検出部と、前記第1の検出対象物とは別の第2の検出対象物を認識する第2検出部とを含み、
    前記領域検出手段は、前記第1検出部および前記第2検出部を用いて前記第1の検出対象物の第1の検出領域および前記第2の検出対象物の第2の検出領域をそれぞれ検出し、
    前記判別手段は、検出された前記第1の検出領域と前記第2の検出領域の位置関係に基づいて、前記第1の検出対象物か否かを判別する、対象物検出装置。
  8. 請求項7に記載の対象物検出装置において、
    前記画像生成手段は、前記3次元情報から、第1方向から前記検査対象を見たときの第1の2次元画像を生成するとともに、当該第1の2次元画像を構成する画素それぞれの反射点までの距離情報を生成し、さらに、前記3次元情報から、前記第1方向とは異なる第2方向から前記検査対象を見たときの第2の2次元画像を生成し、
    前記領域検出手段は、前記第1の2次元画像から前記第1の検出対象物の前記第1の検出領域と、前記第2の2次元画像から前記第2の検出対象物の前記第2の検出領域をそれぞれ検出し、
    さらに、前記第1方向から見た前記第1の検出対象物の前記第1の検出領域と、当該第1の検出領域の各位置の前記距離情報に基づいて、当該第1の検出対象物を前記第2方向から見たときの領域を推定して推定領域とする推定手段を備え、
    前記判別手段は、前記第1の検出対象物の前記推定領域と、前記第2の検出対象物の前記検出領域との位置関係に基づいて、前記第1の検出対象物か否かを判別する、対象物検出装置。
  9. 請求項8に記載の対象物検出装置において、
    前記判別手段は、前記第1の検出対象物の前記推定領域と、前記第2の検出対象物の前記検出領域との一致度が第3の閾値以上の場合、前記第1の検出対象物ではないとする、対象物検出装置。
  10. 請求項8または9に記載の対象物検出装置において、
    前記判別手段は、前記第1の検出対象物の前記推定領域と、前記第2の検出対象物の前記検出領域との一致度が第4の閾値以下の場合、前記第1の検出対象物であるとする、対象物検出装置。
  11. 請求項1から10のいずれか一項に記載の対象物検出装置において、
    前記判別手段により前記検出対象物であると判別された場合、当該判別結果を出力し、前記検出対象物ではないと判別された場合、当該判別結果を出力しない出力制御手段をさらに備える、対象物検出装置。
  12. 対象物検出装置が、
    検査対象に向けて照射された電磁波の反射波を処理して得られた3次元情報から、前記検査対象を所定の方向から見た2次元画像を生成し、
    前記2次元画像から、少なくとも2つの認識手段を用いて認識された検出対象物の少なくとも2つの検出領域をそれぞれ検出し、
    検出された前記少なくとも2つの検出領域の位置関係に基づいて、当該検出対象物を判別する、対象物検出方法。
  13. 請求項12に記載の対象物検出方法において、
    前記対象物検出装置が、
    前記3次元情報から、第1方向から前記検査対象を見たときの第1の2次元画像を生成するとともに、当該第1の2次元画像を構成する画素のそれぞれの反射点までの距離情報を生成し、
    さらに、前記3次元情報から、前記第1方向とは異なる第2方向から前記検査対象を見たときの第2の2次元画像を生成するとともに、当該第2の2次元画像を構成する画素それぞれの反射点までの距離情報を生成し、
    前記第1の2次元画像から前記検出対象物が存在していると推定される第1の検出領域と、前記第2の2次元画像から前記検出対象物が存在していると推定される第2の検出領域をそれぞれ検出し、
    さらに、前記第1方向から見た前記検出対象物について、検出された検出領域および当該検出領域の各位置の前記距離情報に基づいて、当該検出対象物を前記第2方向から見たときの領域を推定して推定領域とし、
    前記第2方から見たときの、推定された前記推定領域と、検出された前記検出領域との位置関係に基づいて、当該検出対象物か否かを判別する、対象物検出方法。
  14. 請求項13に記載の対象物検出方法において、
    前記対象物検出装置が、
    前記第2方向から見た前記検出対象物について、検出された検出領域および当該検出領域の各位置の前記距離情報に基づいて、当該検出対象物を前記第1方向から見たときの領域を推定して推定領域とし、
    前記第2方向から見たときの前記推定領域と前記検出領域の位置関係と、さらに、前記第1方から見たときの、推定された前記推定領域と、検出された前記検出領域との位置関係とに基づいて、当該検出対象物か否かを判別する、対象物検出方法。
  15. 請求項13または14に記載の対象物検出方法において、
    前記対象物検出装置が、
    前記推定領域と前記検出領域との一致度が第1の閾値以上の場合、前記検出対象物であるとする、対象物検出方法。
  16. 請求項13から15のいずれか一項に記載の対象物検出方法において、
    前記対象物検出装置が、
    前記推定領域と前記検出領域との一致度が第2の閾値以下の場合、前記検出対象物ではないとする、対象物検出方法。
  17. 請求項13から16のいずれか一項に記載の対象物検出方法において、
    前記対象物検出装置が、
    前記検出対象物の前記距離情報を記憶装置に予め記憶させ、
    前記記憶装置に予め記憶されている前記検出対象物の前記距離情報に基づいて、当該検出対象物を前記第2方向から見たときの、前記検出対象物が存在していると推定される推定領域を推定する、対象物検出方法。
  18. 請求項12に記載の対象物検出方法において、
    前記認識手段は、第1の検出対象物を検出する第1検出部と、前記第1の検出対象物とは別の第2の検出対象物を認識する第2検出部とを含み、
    前記対象物検出装置が、
    前記第1検出部および前記第2検出部を用いて前記第1の検出対象物の第1の検出領域および前記第2の検出対象物の第2の検出領域をそれぞれ検出し、
    検出された前記第1の検出領域と前記第2の検出領域の位置関係に基づいて、前記第1の検出対象物か否かを判別する、対象物検出方法。
  19. 請求項18に記載の対象物検出方法において、
    前記対象物検出装置が、
    前記3次元情報から、第1方向から前記検査対象を見たときの第1の2次元画像を生成するとともに、当該第1の2次元画像を構成する画素それぞれの反射点までの距離情報を生成し、さらに、前記3次元情報から、前記第1方向とは異なる第2方向から前記検査対象を見たときの第2の2次元画像を生成し、
    前記第1の2次元画像から前記第1の検出対象物の前記第1の検出領域と、前記第2の2次元画像から前記第2の検出対象物の前記第2の検出領域をそれぞれ検出し、
    さらに、前記第1方向から見た前記第1の検出対象物の前記第1の検出領域と、当該第1の検出領域の各位置の前記距離情報に基づいて、当該第1の検出対象物を前記第2方向から見たときの領域を推定して推定領域とし、
    前記第1の検出対象物の前記推定領域と、前記第2の検出対象物の前記検出領域との位置関係に基づいて、前記第1の検出対象物か否かを判別する、対象物検出方法。
  20. 請求項19に記載の対象物検出方法において、
    前記対象物検出装置が、
    前記第1の検出対象物の前記推定領域と、前記第2の検出対象物の前記検出領域との一致度が第3の閾値以上の場合、前記第1の検出対象物ではないとする、対象物検出方法。
  21. 請求項19または20に記載の対象物検出方法において、
    前記対象物検出装置が、
    前記第1の検出対象物の前記推定領域と、前記第2の検出対象物の前記検出領域との一致度が第4の閾値以下の場合、前記第1の検出対象物であるとする、対象物検出方法。
  22. 請求項12から21のいずれか一項に記載の対象物検出方法において、
    前記対象物検出装置が、
    前記検出対象物であると判別された場合、当該判別結果を出力し、前記検出対象物ではないと判別された場合、当該判別結果を出力しない、対象物検出方法。
  23. コンピュータに、
    検査対象に向けて照射された電磁波の反射波を処理して得られた3次元情報から、前記検査対象を所定の方向から見た2次元画像を生成する手順、
    前記2次元画像から、少なくとも2つの認識手段を用いて認識された検出対象物の少なくとも2つの検出領域をそれぞれ検出する手順、
    検出された前記少なくとも2つの検出領域の位置関係に基づいて、当該検出対象物を判別する手順、を実行させるためのプログラム。
  24. 請求項23に記載のプログラムにおいて、
    前記3次元情報から、第1方向から前記検査対象を見たときの第1の2次元画像を生成するとともに、当該第1の2次元画像を構成する画素のそれぞれの反射点までの距離情報を生成する手順、
    前記3次元情報から、前記第1方向とは異なる第2方向から前記検査対象を見たときの第2の2次元画像を生成するとともに、当該第2の2次元画像を構成する画素それぞれの反射点までの距離情報を生成する手順、
    前記第1の2次元画像から前記検出対象物が存在していると推定される第1の検出領域と、前記第2の2次元画像から前記検出対象物が存在していると推定される第2の検出領域をそれぞれ検出する手順、
    前記第1方向から見た前記検出対象物について、前記検出する手順により検出された検出領域および当該検出領域の各位置の前記距離情報に基づいて、当該検出対象物を前記第2方向から見たときの領域を推定して推定領域とする手順、
    前記第2方から見たときの、推定された前記推定領域と、検出された前記検出領域との位置関係に基づいて、当該検出対象物か否かを判別する手順、をコンピュータに実行させるためのプログラム。
  25. 請求項24に記載のプログラムにおいて、
    前記第2方向から見た前記検出対象物について、前記検出する手順により検出された検出領域および当該検出領域の各位置の前記距離情報に基づいて、当該検出対象物を前記第1方向から見たときの領域を推定して推定領域とする手順、
    前記第2方向から見たときの前記推定領域と前記検出領域の位置関係と、さらに、前記第1方から見たときの、推定された前記推定領域と、検出された前記検出領域との位置関係とに基づいて、当該検出対象物か否かを判別する手順、をコンピュータに実行させるためのプログラム。
  26. 請求項24または25に記載のプログラムにおいて、
    前記推定領域と前記検出領域との一致度が第1の閾値以上の場合、前記検出対象物であるとする手順、をコンピュータに実行させるためのプログラム。
  27. 請求項24から26のいずれか一項に記載のプログラムにおいて、
    前記推定領域と前記検出領域との一致度が第2の閾値以下の場合、前記検出対象物ではないとする手順、をコンピュータに実行させるためのプログラム。
  28. 請求項24から27のいずれか一項に記載のプログラムにおいて、
    前記検出対象物の前記距離情報を予め記憶装置に記憶させる手順、
    前記記憶装置に予め記憶されている前記検出対象物の前記距離情報に基づいて、当該検出対象物を前記第2方向から見たときの、前記検出対象物が存在していると推定される推定領域を推定する手順、をコンピュータに実行させるためのプログラム。
  29. 請求項23に記載のプログラムにおいて、
    前記認識手段は、第1の検出対象物を検出する第1検出部と、前記第1の検出対象物とは別の第2の検出対象物を認識する第2検出部とを含み、
    前記第1検出部および前記第2検出部を用いて前記第1の検出対象物の第1の検出領域および前記第2の検出対象物の第2の検出領域をそれぞれ検出する手順、
    検出された前記第1の検出領域と前記第2の検出領域の位置関係に基づいて、前記第1の検出対象物か否かを判別する手順、をコンピュータに実行させるためのプログラム。
  30. 請求項29に記載のプログラムにおいて、
    前記3次元情報から、第1方向から前記検査対象を見たときの第1の2次元画像を生成するとともに、当該第1の2次元画像を構成する画素それぞれの反射点までの距離情報を生成し、さらに、前記3次元情報から、前記第1方向とは異なる第2方向から前記検査対象を見たときの第2の2次元画像を生成する手順、
    前記第1の2次元画像から前記第1の検出対象物の前記第1の検出領域と、前記第2の2次元画像から前記第2の検出対象物の前記第2の検出領域をそれぞれ検出する手順、
    前記第1方向から見た前記第1の検出対象物の前記第1の検出領域と、当該第1の検出領域の各位置の前記距離情報に基づいて、当該第1の検出対象物を前記第2方向から見たときの領域を推定して推定領域とする手順、
    前記第1の検出対象物の前記推定領域と、前記第2の検出対象物の前記検出領域との位置関係に基づいて、前記第1の検出対象物か否かを判別する手順、をコンピュータに実行させるためのプログラム。
  31. 請求項30に記載のプログラムにおいて、
    前記第1の検出対象物の前記推定領域と、前記第2の検出対象物の前記検出領域との一致度が第3の閾値以上の場合、前記第1の検出対象物ではないとする手順、をコンピュータに実行させるためのプログラム。
  32. 請求項30または31に記載のプログラムにおいて、
    前記第1の検出対象物の前記推定領域と、前記第2の検出対象物の前記検出領域との一致度が第4の閾値以下の場合、前記第1の検出対象物であるとする手順、をコンピュータに実行させるためのプログラム。
  33. 請求項23から32のいずれか一項に記載のプログラムにおいて、
    前記検出対象物であると判別された場合、当該判別結果を出力し、前記検出対象物ではないと判別された場合、当該判別結果を出力しない手順、をさらにをコンピュータに実行させるための、プログラム。
JP2021558072A 2019-11-19 2019-11-19 対象物検出装置、対象物検出方法、及びプログラム Active JP7298708B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/045243 WO2021100115A1 (ja) 2019-11-19 2019-11-19 対象物検出装置、対象物検出方法、及びプログラム

Publications (3)

Publication Number Publication Date
JPWO2021100115A1 JPWO2021100115A1 (ja) 2021-05-27
JPWO2021100115A5 JPWO2021100115A5 (ja) 2022-07-12
JP7298708B2 true JP7298708B2 (ja) 2023-06-27

Family

ID=75981553

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021558072A Active JP7298708B2 (ja) 2019-11-19 2019-11-19 対象物検出装置、対象物検出方法、及びプログラム

Country Status (3)

Country Link
US (1) US20230003884A1 (ja)
JP (1) JP7298708B2 (ja)
WO (1) WO2021100115A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023218965A1 (ja) * 2022-05-11 2023-11-16 日本電気株式会社 レーダイメージング装置、レーダイメージング方法および記録媒体

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005024378A (ja) 2003-07-02 2005-01-27 Hitachi Ltd 電磁波画像処理装置
JP2005351811A (ja) 2004-06-11 2005-12-22 Mitsubishi Electric Corp 危険物探知装置
US20090041293A1 (en) 2007-08-08 2009-02-12 Brian Andrew Multiple camera imaging method and system for detecting concealed objects
JP2010197378A (ja) 2009-01-14 2010-09-09 Mitsubishi Electric Corp レーダ画像処理装置
WO2017158958A1 (ja) 2016-03-15 2017-09-21 株式会社リコー 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
US20190196004A1 (en) 2016-08-23 2019-06-27 China Communication Technology Co., Ltd. Millimeter-wave three-dimensional holographic imaging method and system

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6965340B1 (en) * 2004-11-24 2005-11-15 Agilent Technologies, Inc. System and method for security inspection using microwave imaging
US20060262902A1 (en) * 2005-05-19 2006-11-23 The Regents Of The University Of California Security X-ray screening system
US10572963B1 (en) * 2017-07-14 2020-02-25 Synapse Technology Corporation Detection of items

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005024378A (ja) 2003-07-02 2005-01-27 Hitachi Ltd 電磁波画像処理装置
JP2005351811A (ja) 2004-06-11 2005-12-22 Mitsubishi Electric Corp 危険物探知装置
US20090041293A1 (en) 2007-08-08 2009-02-12 Brian Andrew Multiple camera imaging method and system for detecting concealed objects
JP2010197378A (ja) 2009-01-14 2010-09-09 Mitsubishi Electric Corp レーダ画像処理装置
WO2017158958A1 (ja) 2016-03-15 2017-09-21 株式会社リコー 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
US20190196004A1 (en) 2016-08-23 2019-06-27 China Communication Technology Co., Ltd. Millimeter-wave three-dimensional holographic imaging method and system

Also Published As

Publication number Publication date
US20230003884A1 (en) 2023-01-05
WO2021100115A1 (ja) 2021-05-27
JPWO2021100115A1 (ja) 2021-05-27

Similar Documents

Publication Publication Date Title
Li et al. Detection of human breathing in non-line-of-sight region by using mmWave FMCW radar
JP7298708B2 (ja) 対象物検出装置、対象物検出方法、及びプログラム
KR20220068730A (ko) 실내 보안 응용을 위한 인체 감지 레이다 시스템 및 이를 이용한 인체 감지 방법
US20240310483A1 (en) Information processing method, radar apparatus, and recording medium
JP2013007578A (ja) 信号検出装置、信号検出方法及び信号検出プログラム
CN114581944A (zh) 一种毫米波图像处理方法、装置及电子设备
JP7388532B2 (ja) 処理システム、処理方法及びプログラム
US20200311436A1 (en) Processing apparatus, processing method, and non-transitory storage medium
CN116125466B (zh) 船舶人员隐藏威胁性物品携带检测方法、装置及电子设备
Mu et al. Human indoor positioning via passive spectrum monitoring
US11609307B2 (en) Object detection apparatus, vehicle, object detection method, and computer readable medium
CN114511489A (zh) Vcsel芯片的束散角检测方法、系统和电子设备
JP7351346B2 (ja) 対象物検出装置、対象物検出方法、及びプログラム
Liu et al. Mathematical design of a novel gesture-based instruction/input device using wave detection
US11371835B2 (en) Object detection device, object detection system, object detection method, and non-transitory computer-readable medium storing program
Shan et al. Recognitions of collision avoidance for unmanned surface vessels with visible light camera using broad learning system
JPWO2021100115A5 (ja)
TWI767601B (zh) 用於室內定位、成像、偵測、姿勢判別、形狀判別的電子裝置及方法
KR102361089B1 (ko) 레이더를 이용한 보안 검색 시스템
JP7351345B2 (ja) 画像生成装置、画像生成方法、及びプログラム
US20230417901A1 (en) Radar apparatus, imaging method, and non-transitory computer-readable medium
WO2023218965A1 (ja) レーダイメージング装置、レーダイメージング方法および記録媒体
KR102708882B1 (ko) 레이다 및 열화상 카메라를 이용한 사람수 카운팅 장치
WO2024128093A1 (ja) 対象物検出装置、対象物検出方法、及び記録媒体
WO2024224647A1 (ja) 変化検出方法、変化検出システム及び変化検出装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220512

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220512

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230516

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230529

R151 Written notification of patent or utility model registration

Ref document number: 7298708

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151