JP7396452B2 - 処理装置、推定装置、処理方法及び推定方法 - Google Patents

処理装置、推定装置、処理方法及び推定方法 Download PDF

Info

Publication number
JP7396452B2
JP7396452B2 JP2022501465A JP2022501465A JP7396452B2 JP 7396452 B2 JP7396452 B2 JP 7396452B2 JP 2022501465 A JP2022501465 A JP 2022501465A JP 2022501465 A JP2022501465 A JP 2022501465A JP 7396452 B2 JP7396452 B2 JP 7396452B2
Authority
JP
Japan
Prior art keywords
estimation
image
receiving
transmitting
generating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022501465A
Other languages
English (en)
Other versions
JPWO2021166104A5 (ja
JPWO2021166104A1 (ja
Inventor
一峰 小倉
正行 有吉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2021166104A1 publication Critical patent/JPWO2021166104A1/ja
Publication of JPWO2021166104A5 publication Critical patent/JPWO2021166104A5/ja
Application granted granted Critical
Publication of JP7396452B2 publication Critical patent/JP7396452B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V3/00—Electric or magnetic prospecting or detecting; Measuring magnetic field characteristics of the earth, e.g. declination, deviation
    • G01V3/12—Electric or magnetic prospecting or detecting; Measuring magnetic field characteristics of the earth, e.g. declination, deviation operating with electromagnetic waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Electromagnetism (AREA)
  • Environmental & Geological Engineering (AREA)
  • Geology (AREA)
  • Geophysics (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Geophysics And Detection Of Objects (AREA)
  • Radar Systems Or Details Thereof (AREA)

Description

本発明は、処理装置、推定装置、処理方法及び推定方法に関する。
非特許文献１は、セキュリティ強化のため、不審者をマーキングして追跡することや、マイクロ波レーダで不審物を探知することや、顔認証で人物を識別することや、透過画像で所持物検査をすること等を開示している。
特許文献１は、金属検出器、Ｘ線画像等の各種技術を用いて乗客の所持物検査を行い、検査結果に応じてゲートの開閉を制御し、乗客の進行方向をコントロールすること等を開示している。
特許文献２は、ミリ波センサで侵入者を検出すると、監視カメラの視線をその侵入者の検出位置に向け、その侵入者のズーム画像を得ること等を開示している。
特表２０１７－５３７３９９号 特開２００５－４５７１２号
"「先進的な空港保安」を我が国に広く根付かせるための処方箋 －空港保安の将来像研究会 調査報告書 概要版"、［online］、２０１７年７月１８日、空港保安の将来像研究会、［２０１９年９月１８日検索］、インターネット<URL: https://www.nttdata-strategy.com/aboutus/newsrelease/170718/report.pdf>
本発明者は、電磁波（例：マイクロ波、ミリ波、テラヘルツ波等）の画像に基づく物体検出において、次のような課題を見出した。
まず、本発明者は、ラベル付き画像（教師データ）で生成された推定モデルに基づき画像に含まれる物体を推定する技術において、十分な精度の推定結果が得られる範囲で画像生成に用いる電磁波の信号を減らす（データ量を減らす）ことにより、コンピュータの処理負担の軽減、送受信アンテナの削減によるセンサデバイスの小型化やコスト負担の軽減、送信アンテナの削減による照射時間の短縮や動きブラーの抑制等を実現する技術を想到した。
しかし、コンピュータが画像に含まれる物体を十分な精度で認識できるか否かを基準にデータ量を減らすと、人が画像に含まれる物体を認識できない程度まで画像の鮮明度が低下してしまう。この場合、教師データ生成場面において、「人が画像を閲覧し、画像に含まれる物体を認識し、認識結果に基づきその画像にラベルを付す」という人手でのラベル付け作業が困難になる。
本発明は、電磁波の信号に基づくラベル付き画像（教師データ）で生成された推定モデルに基づき画像に含まれる物体を推定する技術において、十分な精度の推定結果が得られる範囲で画像生成に用いる電磁波の信号を減らす（データ量を減らす）ことで生じるラベル付け作業の困難性を改善することを課題とする。
本発明によれば、
送信アンテナから電磁波を照射し、受信アンテナで反射波を受信する電磁波送受信手段と、
受信された前記反射波の信号に基づき、ラベル決定用画像を生成するラベル決定用画像生成手段と、
受信された前記反射波の信号の中の一部であって、前記ラベル決定用画像の生成に利用される信号よりも少ない信号に基づき、学習用画像を生成する学習用画像生成手段と、
前記ラベル決定用画像に基づきラベルを決定するラベル決定手段と、
前記学習用画像と前記ラベルとを紐付けた教師データを生成し、教師データ記憶手段に記憶させる教師データ生成手段と、
を有する処理装置が提供される。
また、本発明によれば、
送信アンテナから電磁波を照射し、受信アンテナで反射波を受信する電磁波送受信手段と、
受信された前記反射波の信号に基づき、ラベル決定用画像を生成するラベル決定用画像生成手段と、
受信された前記反射波の信号の中の一部であって、前記ラベル決定用画像の生成に利用される信号よりも少ない信号に基づき、学習用画像を生成する学習用画像生成手段と、
前記ラベル決定用画像に基づきラベルを決定するラベル決定手段と、
前記学習用画像と前記ラベルとを紐付けた教師データを生成し、教師データ記憶手段に記憶させる教師データ生成手段と、
前記教師データ記憶手段が記憶する前記教師データに基づく機械学習により、推定モデルを生成する推定モデル生成手段と、
を有する処理装置が生成した前記推定モデルを記憶する推定モデル記憶手段と、
推定用送信アンテナから電磁波を照射し、推定用受信アンテナで反射波を受信する推定用電磁波送受信手段と、
受信された前記反射波の信号に基づき、推定用画像を生成する推定用画像生成手段と、
前記推定用画像と、前記推定モデルとに基づき、前記推定用画像に含まれる物体を推定する推定手段と、
を有する推定装置が提供される。
また、本発明によれば、
コンピュータが、
送信アンテナから電磁波を照射し、受信アンテナで反射波を受信し、
受信された前記反射波の信号に基づき、ラベル決定用画像を生成し、
受信された前記反射波の信号の中の一部であって、前記ラベル決定用画像の生成に利用される信号よりも少ない信号に基づき、学習用画像を生成し、
前記ラベル決定用画像に基づきラベルを決定し、
前記学習用画像と前記ラベルとを紐付けた教師データを生成し、教師データ記憶手段に記憶させる処理方法が提供される。
また、本発明によれば、
コンピュータが、
送信アンテナから電磁波を照射し、受信アンテナで反射波を受信する電磁波送受信手段と、
受信された前記反射波の信号に基づき、ラベル決定用画像を生成するラベル決定用画像生成手段と、
受信された前記反射波の信号の中の一部であって、前記ラベル決定用画像の生成に利用される信号よりも少ない信号に基づき、学習用画像を生成する学習用画像生成手段と、
前記ラベル決定用画像に基づきラベルを決定するラベル決定手段と、
前記学習用画像と前記ラベルとを紐付けた教師データを生成し、教師データ記憶手段に記憶させる教師データ生成手段と、
前記教師データ記憶手段が記憶する前記教師データに基づく機械学習により、推定モデルを生成する推定モデル生成手段と、
を有する処理装置が生成した前記推定モデルを記憶しておき、
推定用送信アンテナから電磁波を照射し、推定用受信アンテナで反射波を受信し、
受信された前記反射波の信号に基づき、推定用画像を生成し、
前記推定用画像と、前記推定モデルとに基づき、前記推定用画像に含まれる物体を推定する推定方法が提供される。
本発明によれば、電磁波の信号に基づくラベル付き画像（教師データ）で生成された推定モデルに基づき画像に含まれる物体を推定する技術において、十分な精度の推定結果が得られる範囲で画像生成に用いる電磁波の信号を減らす（データ量を減らす）ことで生じるラベル付け作業の困難性が改善される。
本実施形態の推定用電磁波送受信部の構成の一例を示す図である。 本実施形態の推定用電磁波送受信部の構成の一例を示す図である。 本実施形態の推定装置が生成する画像の一例を示す図である。 本実施形態の電磁波送受信部の構成の一例を示す図である。 本実施形態の処理装置が生成する画像の一例を示す図である。 本実施形態の処理装置及び推定装置のハードウエア構成の一例を示す図である。 本実施形態の推定装置の機能ブロック図の一例である。 本実施形態の送信アンテナ及び受信アンテナの配置の仕方の一例を示す図である。 本実施形態の複数の送信アンテナからの電磁波の照射の仕方の一例を示す図である。 本実施形態の推定装置の処理の流れの一例を示すフローチャートである。 本実施形態の処理装置の機能ブロック図の一例である。 本実施形態の送信アンテナ及び受信アンテナの配置の仕方の一例を示す図である。 本実施形態の送信アンテナ及び受信アンテナの配置の仕方の一例を示す図である。 本実施形態の処理装置の処理の流れの一例を示すフローチャートである。 本実施形態の電磁波送受信部の構成の一例を示す図である。 本実施形態の推定用電磁波送受信部の構成の一例を示す図である。 本実施形態の推定装置の処理の流れの一例を示すフローチャートである。
＜第１の実施形態＞
「推定システムの概要」
まず、本実施形態の推定システムの概要を説明する。本実施形態の推定システムは、空港、駅等の任意の場所にいる人の所持物検査を行うための推定装置と、当該所持物検査で利用する推定モデルを機械学習で生成するための処理装置とを含む。
例えば、図１に示すような推定用電磁波送受信部２１（推定装置の一部）が空港等の任意の場所に設置される。推定用電磁波送受信部２１は、電磁波を送信する送信アンテナ、及び、電磁波を受信する受信アンテナを含む。推定用電磁波送受信部２１は、所定位置を通過する人１に向けて電磁波を照射するとともに、その反射波を受信する。推定装置は、当該反射波の信号に基づき画像を生成し、生成した画像と、予め生成された推定モデルとに基づき、その人１の所持物を推定する。このように、推定装置によれば、所定位置を通過する人１に対してウォークスルー型の所持物検査を行うことが可能となる。
図２に推定用電磁波送受信部２１の上面図の一例を示す。そして、図３に、当該推定用電磁波送受信部２１が受信した反射波の信号に基づき生成された画像の一例を示す。図３の枠の部分が、図２の人１が所持していた拳銃（所持物２）の存在箇所である。人の目では、図３の枠の部分における拳銃を認識することは困難である。しかし、コンピュータは、図３に示す画像から、枠の部分における拳銃を十分な精度で認識できる。すなわち、推定用電磁波送受信部２１が受信した反射波の信号に基づき生成される画像は、画像内の物体をコンピュータが十分な精度で認識できるが、画像内の物体を人が認識できない程度の鮮明度となり得る。換言すれば、推定用電磁波送受信部２１は、このような画像を生成可能な構成となっている。
次に、図４に、推定モデルを生成する場面において、教師データ（ラベル付き画像）を生成するために利用される電磁波送受信部１１の上面図の一例を示す。電磁波送受信部１１は、電磁波を送信する送信アンテナ、及び、電磁波を受信する受信アンテナを含む。図４と図２とを比較すると、電磁波送受信部１１は、追加部分３を有する点で、推定用電磁波送受信部２１と異なる。この追加部分３における送信アンテナ及び受信アンテナの存在により、所持物２の反射波をより漏らすことなく受信し、所持物２をより鮮明に表した画像を生成することが可能になる。
図５に、電磁波送受信部１１が受信した反射波の信号に基づき生成された画像の一例を示す。図５の枠の部分が、図４の人１が所持していた拳銃（所持物２）の存在箇所である。当該例の場合、人の目でも、その形状から、図５の枠の部分における拳銃を認識できる。当然、コンピュータは、図５に示す画像から、枠の部分における拳銃を十分な精度で認識できる。
処理装置１０は、このような電磁波送受信部１１が受信した反射波の信号に基づき、ラベル決定用画像と、学習用画像とを生成する。
具体的には、処理装置１０は、電磁波送受信部１１が受信した反射波の信号の全部又は大部分を用いて、ラベル決定用画像を生成する。このようにして生成されるラベル決定用画像は、図５に示すように、画像内の物体を人が認識できる程度の鮮明度の画像となる。
また、処理装置１０は、電磁波送受信部１１が受信した反射波の信号の一部を用いて、学習用画像を生成する。このようにして生成される学習用画像は、図４に示すように、画像内の物体をコンピュータが十分な精度で認識できるが、画像内の物体を人が認識できない程度の鮮明度となる。すなわち、学習用画像は、推定装置２０による推定処理で利用される画像と同程度の鮮明度となる。
そして、処理装置１０は、上記ラベル決定用画像に基づきラベルを決定すると、上記学習用画像と上記ラベルとを紐付けた教師データを生成し、記憶装置に記憶させる。
このように、本実施形態の推定システムは、人１の所持物を推定する処理に用いる画像の生成に利用するデータの量（推定装置２０が推定処理に利用する画像の生成に利用するデータの量、教師データとする画像の生成に利用するデータの量）を、コンピュータによる十分な精度の推定結果が得られる範囲で十分に減らす。結果、コンピュータの処理負担の軽減、送受信アンテナの削減によるセンサデバイスの小型化やコスト負担の軽減、送信アンテナの削減による照射時間の短縮や動きブラーの抑制等が実現される。
そして、本実施形態の推定システムは、推定モデルを生成する場面においては、実際に空港等に設置されて利用される推定用電磁波送受信部２１よりも多くの反射波のデータを取得可能な構成となった電磁波送受信部１１を利用し、物体への電磁波の照射及び反射波の受信を行う。そして、本実施形態の推定システムは、電磁波送受信部１１により受信された反射波の信号に基づき、画像内の物体を人が認識できる程度の鮮明度のラベル決定用画像と、推定装置２０による推定処理で利用される画像と同程度の鮮明度の学習用画像とを生成する。そして、当該ラベル決定用画像に基づき決定されたラベルと、当該学習用画像とを紐付けて、教師データを生成する。このような構成のため、上述のように人１の所持物を推定する処理に用いる画像の生成に利用するデータの量を減らしても、問題なくラベル付け作業を行うことができる。
「推定装置の構成」
次に、推定装置の構成を詳細に説明する。まず、推定装置のハードウエア構成の一例を説明する。推定装置が備える各機能部は、任意のコンピュータのＣＰＵ（Central Processing Unit）、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット（あらかじめ装置を出荷する段階から格納されているプログラムのほか、ＣＤ（Compact Disc）等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる）、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。
図６は、推定装置のハードウエア構成を例示するブロック図である。図６に示すように、推定装置は、プロセッサ１Ａ、メモリ２Ａ、入出力インターフェイス３Ａ、周辺回路４Ａ、バス５Ａ、電磁波送受信装置６Ａを有する。周辺回路４Ａには、様々なモジュールが含まれる。推定装置は周辺回路４Ａを有さなくてもよい。なお、推定装置は物理的及び／又は論理的に分かれた複数の装置で構成されてもよいし、物理的及び／又は論理的に一体となった１つの装置で構成されてもよい。推定装置が物理的及び／又は論理的に分かれた複数の装置で構成される場合、複数の装置各々が上記ハードウエア構成を備えてもよい。
バス５Ａは、プロセッサ１Ａ、メモリ２Ａ、周辺回路４Ａ及び入出力インターフェイス３Ａが相互にデータを送受信するためのデータ伝送路である。プロセッサ１Ａは、例えばＣＰＵ、ＧＰＵ（Graphics Processing Unit）などの演算処理装置である。メモリ２Ａは、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリである。入出力インターフェイス３Ａは、入力装置、外部装置、外部サーバ、外部センサ、カメラ等から情報を取得するためのインターフェイスや、出力装置、外部装置、外部サーバ等に情報を出力するためのインターフェイスなどを含む。外部センサの一例として、電磁波送受信装置６Ａが示されている。電磁波送受信装置６Ａは、電磁波を送信する送信アンテナ、及び、電磁波を受信する受信アンテナを含む。電磁波送受信装置６Ａは、例えばレーダである。入力装置は、例えばキーボード、マウス、マイク、物理ボタン、タッチパネル等である。出力装置は、例えばディスプレイ、スピーカ、プリンター、メーラ等である。プロセッサ１Ａは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。
次に、推定装置の機能構成を説明する。図７に、推定装置２０の機能ブロック図の一例を示す。図示するように、推定装置２０は、推定用電磁波送受信部２１と、推定用画像生成部２２と、推定部２３と、推定モデル記憶部２４と、推定用パラメータ設定部２５とを有する。
推定モデル記憶部２４は、処理装置１０が生成した推定モデルを記憶する。当該推定モデルの詳細は、以下の処理装置１０の構成の説明で明らかになる。
推定用電磁波送受信部２１は、推定用送信アンテナと推定用受信アンテナとを含んで構成される。そして、推定用電磁波送受信部２１は、推定用送信アンテナから電磁波を照射し、推定用受信アンテナで反射波を受信する。推定用電磁波送受信部２１は、例えばレーダである。推定用電磁波送受信部２１が送受信する電磁波は、例えば波長３０マイクロメートル以上１メートル以下の電磁波（例：マイクロ波、ミリ波、テラヘルツ波等）である。推定用電磁波送受信部２１は、あらゆる技術を採用して構成できる。例えば、推定用電磁波送受信部２１は、図８の例のように、複数の推定用送信アンテナ及び複数の推定用受信アンテナを並べたセンサパネルであってもよい。複数の推定用送信アンテナは互いにタイミングをずらして所定の順で電磁波を照射する。そして、複数の推定用受信アンテナすべてでその反射波を受信する。
なお、図１に示す例では、互いに対向した２つのセンサパネルで推定用電磁波送受信部２１を構成しているが、１つのセンサパネルで推定用電磁波送受信部２１を構成してもよいし、３つ以上のセンサパネルで推定用電磁波送受信部２１を構成してもよい。また、図１に示す例では、２つのセンサパネルでゲートを作成し、その間を人１が通過するようにしているが、例えば壁等にセンサパネルを埋め込み、人がセンサパネルの存在を認識できないようにしてもよい。
図７に戻り、推定用パラメータ設定部２５は、推定用電磁波送受信部２１による電磁波の送受信に関する各種パラメータの設定を行う。例えば、推定用パラメータ設定部２５は、複数の推定用送信アンテナの照射順番、各推定用送信アンテナが照射する電磁波の周波数、各推定用送信アンテナの照射時間等を設定する。例えば、図９に示すように、複数の推定用送信アンテナから照射する電磁波の周波数を時間に応じて変更させることができる。推定用パラメータ設定部２５は、ユーザ入力に基づき、上記各種パラメータの設定を行うことができる。推定用電磁波送受信部２１は、推定用パラメータ設定部２５により設定された各種パラメータに基づき、電磁波の送受信を行う。
推定用画像生成部２２は、推定用電磁波送受信部２１により受信された反射波の信号に基づき、推定用画像を生成する。推定用画像生成部２２は、例えば下記式（１）に基づき、推定用画像を生成することができる。
Figure 0007396452000001
なお、推定用画像は３次元であり、複数のvoxel各々の値の集合で構成される。ｖベクトルは、１つのvoxelの中心位置を示す。Ｒｍベクトルは、送信アンテナ（推定用送信アンテナ）の位置を示す。Ｒｎベクトルは、受信アンテナ（推定用受信アンテナ）の位置を示す。ｓｍ、ｎ、ｆは、送信アンテナｍが照射し、受信アンテナｎが受信した周波数ｆの電磁波（反射波）の信号を示す。Ｆ（ｆ）は、時間インデックスｆのときの周波数を示す。ｊは虚数であり、ｃは光の速度である。
図３に、推定用画像生成部２２が生成した推定用画像の一例を示す。図３の枠の部分は、拳銃の存在箇所である。図示するように、推定用画像は、画像内の物体をコンピュータが十分な精度で認識できるが、画像内の物体を人が認識できない程度の鮮明度となり得る。換言すれば、推定用電磁波送受信部２１は、このような画像が生成される構成（推定用送信アンテナの数、推定用受信アンテナの数、配置の仕方、使用する周波数及びその数等）となっている。
推定部２３は、推定用画像生成部２２が生成した推定用画像と、推定モデル記憶部２４に記憶されている推定モデルとに基づき、推定用画像に含まれる物体を推定する。
次に、図１０のフローチャートを用いて、推定装置２０の処理の流れの一例を説明する。
処理を開始すると、推定用電磁波送受信部２１は、波長３０マイクロメートル以上１メートル以下の電磁波の照射、及び、反射波の受信を予め定められた間隔で繰り返す。そして、推定用画像生成部２２は、推定用電磁波送受信部２１により出力された上記反射波の信号を取得すると（Ｓ１０）、当該信号に基づき推定用画像を生成する（Ｓ１１）。
次いで、推定部２３は、Ｓ１１で推定用画像生成部２２が生成した推定用画像と、予め推定モデル記憶部２４に記憶されている推定モデルとに基づき、推定用画像に含まれる物体を推定する（Ｓ１２）。
そして、推定装置２０は、推定結果を出力する（Ｓ１３）。例えば、推定装置２０は、ディスプレイ、投影装置、スピーカ、プリンター、メーラ等の任意の出力装置を介して、推定結果を出力してもよい。推定結果は、推定用画像に含まれると推定された物体に関する情報（名称等）を含む。
その他、推定装置２０は、予め定められた物体が推定用画像に含まれると推定された場合、警告処理を行ってもよい。警告処理は、警告ランプの点灯、警告音の出力、ディスプレイ等の出力装置を介した警告情報の出力等であるが、これらに限定されない。予め定められた物体は、その場所で所持することが許されていない物体であり、例えば拳銃やナイフ等の危険物が例示される。
「処理装置の構成」
処理装置の構成を詳細に説明する。処理装置のハードウエア構成の一例は、上述した推定装置２０のハードウエア構成の一例と同様である。
次に、処理装置の機能構成を説明する。図１１に、処理装置１０の機能ブロック図の一例を示す。図示するように、処理装置１０は、電磁波送受信部１１と、ラベル決定用画像生成部１２と、学習用画像生成部１３と、ラベル決定部１４と、教師データ生成部１５と、教師データ記憶部１６と、推定モデル生成部１７と、パラメータ設定部１８とを有する。
電磁波送受信部１１は、送信アンテナと受信アンテナとを含んで構成される。そして、電磁波送受信部１１は、送信アンテナから電磁波を照射し、受信アンテナで反射波を受信する。電磁波送受信部１１は、例えばレーダである。電磁波送受信部１１が送受信する電磁波は、例えば波長３０マイクロメートル以上１メートル以下の電磁波（例：マイクロ波、ミリ波、テラヘルツ波等）である。電磁波送受信部１１は、あらゆる技術を採用して構成できる。例えば、電磁波送受信部１１は、図８の例のように、複数の送信アンテナ及び複数の受信アンテナを並べたセンサパネルであってもよい。複数の送信アンテナは互いにタイミングをずらして所定の順で電磁波を照射する。そして、複数の受信アンテナすべてでその反射波を受信する。
なお、電磁波送受信部１１は、推定用電磁波送受信部２１に比べて、所持物２の反射波をより漏らすことなく受信する構成となっている。
例えば、電磁波送受信部１１は、推定用電磁波送受信部２１よりも多くの送信アンテナ及び受信アンテナを備えてもよい。すなわち、推定用電磁波送受信部２１の推定用送信アンテナの数は、電磁波送受信部１１の送信アンテナの数より少なく、推定用電磁波送受信部２１の推定用受信アンテナの数は、電磁波送受信部１１の受信アンテナの数より少なくてもよい。送信アンテナ（推定用送信アンテナ）及び受信アンテナ（推定用受信アンテナ）の数が少ないと、単純に、取得可能な反射波の信号が少なくなる（データ量が少なくなる）。結果、その信号から生成される画像の鮮明度が低下し得る。また、推定用電磁波送受信部２１が使用する周波数の数は、電磁波送受信部１１が使用する周波数の数より少なくてもよい。使用する周波数の数を減らした場合、生成される画像の鮮明度が低下し得る。
また、電磁波送受信部１１は、推定用電磁波送受信部２１よりも、開口長が長くてもよい。開口長は、複数の送信アンテナ（推定用送信アンテナ）の中の左右方向の両端に位置する送信アンテナ（推定用送信アンテナ）間の距離である。図１２のＷｔが当該開口長を示す。また、開口長は、複数の受信アンテナ（推定用受信アンテナ）の中の左右方向の両端に位置する受信アンテナ（推定用受信アンテナ）間の距離である。図１２のＷｒが当該開口長を示す。
なお、開口長は、複数の送信アンテナ（推定用送信アンテナ）の中の上下方向の両端に位置する送信アンテナ（推定用送信アンテナ）間の距離をも含む概念であってもよい。図１２のＨｔが当該開口長を示す。また、開口長は、複数の受信アンテナ（推定用受信アンテナ）の中の上下方向の両端に位置する受信アンテナ（推定用受信アンテナ）間の距離をも含む概念であってもよい。図１２のＨｒが当該開口長を示す。
開口長が短いと、反射波の受信漏れが発生し得る。例えば、図２に示すように所持物２がレーダ面に対して傾きがある状態だと、その所持物２で反射した反射波（図２の矢印）の受信漏れが発生し得る。これに対し、図４に示すように、開口長が長いと、図４に示すように所持物２がレーダ面に対して傾きがある状態であっても、その所持物２で反射した反射波（図４の矢印）を受信し得る。
また、電磁波送受信部１１は、推定用電磁波送受信部２１よりも多くの送信アンテナ及び受信アンテナを備えているが、電磁波送受信部１１及び推定用電磁波送受信部２１の上記開口長は同一であってもよい。この例を、図１２及び図１３に示す。図１２が電磁波送受信部１１の構成例であり、図１３が推定用電磁波送受信部２１の構成例である。図示する例の場合、電磁波送受信部１１は、推定用電磁波送受信部２１よりも多くの送信アンテナ及び受信アンテナを備えている。しかし、電磁波送受信部１１及び推定用電磁波送受信部２１の上記開口長は同程度となっている。
図１２及び図１３は、１つのセンサパネルにおける送信アンテナ及び受信アンテナの配置の仕方の工夫により、上述した「推定用電磁波送受信部２１よりも多くの送信アンテナ及び受信アンテナを備えているが、電磁波送受信部１１及び推定用電磁波送受信部２１の上記開口長は同一」を実現している。他の例として、図１５及び図１６に示すように、複数のセンサパネル全体での送信アンテナ及び受信アンテナの配置の仕方の工夫により、上述した「推定用電磁波送受信部２１よりも多くの送信アンテナ及び受信アンテナを備えているが、電磁波送受信部１１及び推定用電磁波送受信部２１の上記開口長は同一」を実現してもよい。
なお、図２及び図４の例のように、電磁波送受信部１１の構成は、推定用電磁波送受信部２１の構成に一部構成（追加部分３）を追加したものとしてもよい。このようにすれば、電磁波送受信部１１が受信する反射波の信号は、概ね、「推定用電磁波送受信部２１の構成を採用した場合に取得される反射波の信号」と、「追加した一部構成により取得される反射波の信号」との組み合わせと考えることが可能となる。この場合、例えば「追加した一部構成により取得される反射波の信号」を除去し、「推定用電磁波送受信部２１の構成を採用した場合に取得される反射波の信号」に基づき上述した学習用画像を生成することで、推定時に利用される画像と概ね同条件下（例：完全に同一条件下）で生成された画像（教師データ）に基づく機械学習で推定モデルを生成することが可能となる。すなわち、学習用画像生成部１３による学習用画像生成のためのデータの取得環境（送受信アンテナの数及び位置、使用する周波数及びその数等）と、推定用画像生成部２２による推定用画像生成のためのデータの取得環境（送受信アンテナの数及び位置、使用する周波数及びその数等）を完全に一致させることが可能となる。結果、推定精度の向上等が期待される。
図１１に戻り、パラメータ設定部１８は、電磁波送受信部１１による電磁波の送受信に関する各種パラメータの設定を行う。例えば、パラメータ設定部１８は、複数の送信アンテナの照射順番、各送信アンテナが照射する電磁波の周波数、各送信アンテナの照射時間等を設定する。例えば、図９に示すように、複数の送信アンテナから照射する電磁波の周波数を時間に応じて変更させることができる。パラメータ設定部１８は、ユーザ入力に基づき、上記各種パラメータの設定を行うことができる。電磁波送受信部１１は、パラメータ設定部１８により設定された各種パラメータに基づき、電磁波の送受信を行う。
図１１に戻り、ラベル決定用画像生成部１２は、電磁波送受信部１１により受信された反射波の信号に基づき、ラベル決定用画像を生成する。受信された反射波の信号に基づき画像を生成する処理は、推定用画像生成部２２で説明した画像生成処理と同様である。ラベル決定用画像生成部１２は、電磁波送受信部１１が受信した反射波の信号の全部又は大部分を用いて、ラベル決定用画像を生成する。このようにして生成されるラベル決定用画像は、図５に示すように、画像内の物体を人が認識できる程度の鮮明度の画像となる。
図１１に戻り、学習用画像生成部１３は、電磁波送受信部１１により受信された反射波の信号の中の一部であって、ラベル決定用画像生成部１２によるラベル決定用画像の生成に利用される信号よりも少ない信号に基づき、学習用画像を生成する。このようにして生成される学習用画像は、画像内の物体をコンピュータが十分な精度で認識できるが、画像内の物体を人が認識できない程度の鮮明度となり得る。すなわち、学習用画像は、上述した推定用画像生成部２２が生成する画像と同程度の鮮明度となり得る。なお、受信された反射波の信号に基づき画像を生成する処理は、推定用画像生成部２２で説明した画像生成処理と同様である。
ここで、電磁波送受信部１１により受信された反射波の信号の中から、学習用画像生成のために利用する一部を選択する方法を説明する。
例えば、学習用画像生成部１３は、電磁波送受信部１１により受信された反射波の信号の中から、ランダムに、学習用画像生成のために利用する一部を選択してもよい。選択するデータ数は、推定用画像生成部２２による画像の生成に利用されるデータ数と同数とすることが好ましい。
他の例として、学習用画像生成部１３は、複数の送信アンテナの中から一部を選択し、電磁波送受信部１１により受信された反射波の信号の中から、選択した送信アンテナが照射した電磁波の反射波の信号を除いた信号を、学習用画像生成のために利用する一部として選択してもよい。
ここで、一部の送信アンテナを選択する手法の一例を説明する。例えば、図２及び図４の例のように、電磁波送受信部１１の構成を、推定用電磁波送受信部２１の構成に一部構成（追加部分３）を追加したものとする場合、学習用画像生成部１３は、追加部分３の送信アンテナを選択してもよい。その他、学習用画像生成部１３は、複数の送信アンテナの中からランダムに所定数の送信アンテナを選択してもよい。選択されずに残った送信アンテナの位置または数またはその両方が、推定用電磁波送受信部２１が備える推定用送信アンテナの位置または数またはその両方で同じとなることが好ましい。
他の例として、学習用画像生成部１３は、複数の受信アンテナの中から一部を選択し、電磁波送受信部１１により受信された反射波の信号の中から、選択した受信アンテナが受信した反射波の信号を除いた信号を、学習用画像生成のために利用する一部として選択してもよい。
ここで、一部の受信アンテナを選択する手法の一例を説明する。例えば、図２及び図４の例のように、電磁波送受信部１１の構成を、推定用電磁波送受信部２１の構成に一部構成（追加部分３）を追加したものとする場合、学習用画像生成部１３は、追加部分３の受信アンテナを選択してもよい。その他、学習用画像生成部１３は、複数の受信アンテナの中からランダムに所定数の受信アンテナを選択してもよい。選択されずに残った受信アンテナの位置または数またはその両方が、推定用電磁波送受信部２１が備える推定用受信アンテナの位置または数またはその両方と同じとなることが好ましい。
他の例として、学習用画像生成部１３は、複数の送信アンテナの中から一部を選択するとともに、複数の受信アンテナの中から一部を選択してもよい。そして、学習用画像生成部１３は、電磁波送受信部１１により受信された反射波の信号の中から、選択した送信アンテナが照射した電磁波の反射波の信号、及び、選択した受信アンテナが受信した反射波の信号を除いた信号を、学習用画像生成のために利用する一部として選択してもよい。
ここで、一部の送信アンテナ及び受信アンテナを選択する手法の一例を説明する。例えば、図２及び図４の例のように、電磁波送受信部１１の構成を、推定用電磁波送受信部２１の構成に一部構成（追加部分３）を追加したものとする場合、学習用画像生成部１３は、追加部分３の送信アンテナ及び受信アンテナを選択してもよい。その他、学習用画像生成部１３は、複数の送信アンテナの中からランダムに所定数の送信アンテナ及び受信アンテナを除去する一部として選択してもよい。なお、選択されずに残った送信アンテナ及び受信アンテナの位置及び数またはその両方が、推定用電磁波送受信部２１が備える推定用送信アンテナ及び推定用受信アンテナの位置または数またはその両方と同じとなることが好ましい。
他の例として、上述のように、電磁波送受信部１１が周波数を変えながら、送信アンテナから電磁波を照射する場合、学習用画像生成部１３は、電磁波送受信部１１により受信された反射波の信号の中から、選択した周波数の信号を除いた信号を、学習用画像生成のために利用する一部として選択してもよい。
さらに、学習用画像生成部１３は、複数の送信アンテナの中から一部を選択し、複数の受信アンテナの中から一部を選択し、さらに、使用する周波数の中から一部を選択してもよい。そして、学習用画像生成部１３は、電磁波送受信部１１により受信された反射波の信号の中から、選択した送信アンテナが照射した電磁波の反射波の信号、選択した受信アンテナが受信した反射波の信号、及び、選択した周波数の信号を除いた信号を、学習用画像生成のために利用する一部として選択してもよい。
図１１に戻り、ラベル決定部１４は、ラベル決定用画像生成部１２が生成したラベル決定用画像に基づきラベルを決定する。
例えば、ラベル決定部１４は、ラベル決定用画像を出力する手段と、出力したラベル決定用画像のラベル（ラベル決定用画像に含まれる物体の名称及び位置など）のユーザ入力を受付ける手段とを有してもよい。ラベル決定用画像の出力は、ディスプレイ、投影装置、プリンター、メーラ等のあらゆる画像出力装置に基づき実現される。また、ラベルのユーザ入力は、キーボード、マウス、マイク、物理ボタン、タッチパネル等のあらゆる入力装置と、任意のＵＩ（user interface）画面とに基づき実現される。
他の例として、予め、ラベル決定用画像と同程度の鮮明度となったラベル付き画像（教師データ）に基づく機械学習により、ラベル決定用画像と同程度の鮮明度となった画像からその画像に含まれる物体の名称及び位置を推定する推定モデルが生成されていてもよい。そして、ラベル決定部１４は、ラベル決定用画像と、当該推定モデルとに基づき、そのラベル決定用画像に含まれる物体を推定し、推定結果（物体の名称及び位置等）をそのラベル決定用画像のラベルとして決定してもよい。
教師データ生成部１５は、学習用画像生成部１３が生成した学習用画像と、ラベル決定部１４が決定したラベルとを紐付けた教師データを生成し、教師データ記憶部１６に記憶させる。
推定モデル生成部１７は、教師データ記憶部１６が記憶する教師データに基づく機械学習により、電磁波の反射波の信号に基づき生成された画像から、その画像に含まれる物体を推定する推定モデルを生成する。
次に、図１４のフローチャートを用いて、処理装置１０の処理の流れの一例を説明する。
まず、電磁波送受信部１１が送信アンテナから電磁波を照射し、受信アンテナで反射波を受信する（Ｓ２０）。
次いで、ラベル決定用画像生成部１２は、Ｓ２０で受信された反射波の信号に基づきラベル決定用画像を生成する（Ｓ２３）。次いで、ラベル決定部１４は、ラベル決定用画像を例えばディスプレイに表示し（Ｓ２４）、表示したラベル決定用画像のラベルのユーザ入力を受付ける（Ｓ２５）。

また、Ｓ２０の後、学習用画像生成部１３は、Ｓ２０で受信された反射波の信号の中から学習用画像生成のために利用する一部を選択する（Ｓ２１）。そして、学習用画像生成部１３は、選択された一部の信号に基づき、学習用画像を生成する（Ｓ２２）。なお、学習用画像の生成に利用される信号（データ）は、ラベル決定用画像の生成に利用される信号（データ）よりも少ない。
次いで、教師データ生成部１５は、Ｓ２２で生成された学習用画像と、Ｓ２５で入力されたラベルとを紐付けた教師データを生成し、教師データ記憶部１６に記憶させる（Ｓ２６）。以降、同様の処理を繰り返すことで、教師データ記憶部１６に教師データが蓄積されていく。
なお、図１４の処理例では、反射波の信号が受信されるごとに、学習用画像の生成（Ｓ２１、Ｓ２２）、ラベル決定用画像の生成（Ｓ２３）、ラベルの決定（Ｓ２４、Ｓ２５）、及び、教師データの生成・蓄積（Ｓ２６）の一連の処理を行った。
変形例として、学習用画像の生成（Ｓ２１、Ｓ２２）及びラベル決定用画像の生成（Ｓ２３）を行う処理と、ラベルの決定（Ｓ２４、Ｓ２５）及び教師データの生成・蓄積（Ｓ２６）を行う処理とを切り離し、各々を独立して行ってもよい。
すなわち、反射波の信号が受信されるごとに（Ｓ２０）、学習用画像の生成（Ｓ２１、Ｓ２２）及びラベル決定用画像の生成（Ｓ２３）のみを行い学習用画像とラベル決定用画像とを生成し、それらを紐付けて記憶手段に記憶させてもよい。この処理を繰り返すことで、学習用画像とラベル決定用画像とを紐付けた情報が、記憶手段に蓄積されていく。
そして、その後の任意のタイミングで、記憶手段に蓄積された複数の学習用画像に対するラベル付け処理（ラベルの決定（Ｓ２４、Ｓ２５）、及び、教師データの生成・蓄積（Ｓ２６））がバッチ処理で行われてもよい。
「推定システムの作用効果」
以上説明した推定システムは、人１の所持物を推定する処理に用いる画像の生成に利用するデータの量（推定装置２０が推定処理に利用する画像の生成に利用するデータの量、教師データとする画像の生成に利用するデータの量）を、コンピュータによる十分な精度の推定結果が得られる範囲で十分に減らす。結果、コンピュータの処理負担の軽減、送受信アンテナの削減によるセンサデバイスの小型化やコスト負担の軽減、送信アンテナの削減による照射時間の短縮や動きブラーの抑制等が実現される。
そして、本実施形態の推定システムは、推定モデルを生成する場面においては、実際に空港等に設置されて利用される推定用電磁波送受信部２１よりも多くの反射波のデータを取得可能な構成となった電磁波送受信部１１を利用し、物体への電磁波の照射及び反射波の受信を行う。そして、本実施形態の推定システムは、電磁波送受信部１１により受信された反射波の信号に基づき、画像内の物体を人が認識できる程度の鮮明度のラベル決定用画像と、推定装置２０による推定処理で利用される画像と同程度の鮮明度の学習用画像とを生成する。そして、当該ラベル決定用画像に基づき決定されたラベルと、当該学習用画像とを紐付けて、教師データを生成する。このような構成のため、上述のように人１の所持物を推定する処理に用いる画像の生成に利用するデータの量を減らしても、問題なくラベル付け作業を行うことができる。
また、本実施形態の推定システムは、電磁波送受信部１１により受信された反射波の信号の中から、学習用画像生成のために利用する一部を特徴的な手法で選択することができる。例えば、一部の送信アンテナ及び受信アンテナを選択し、選択した送信アンテナが送信した電磁波による反射波の信号、及び、選択した受信アンテナが受信した反射波の信号を除去することができる。この場合、適切に一部の送信アンテナ及び受信アンテナを選択すると、学習用画像生成に利用する信号が、「推定用電磁波送受信部２１の構成を採用した場合に取得される反射波の信号」と同様なものとなる。そして、「推定用電磁波送受信部２１の構成を採用した場合に取得される反射波の信号」に基づき上述した学習用画像を生成することが可能となる。結果、推定時に利用される画像と概ね同条件下で生成された画像（教師データ）に基づく機械学習で推定モデルを生成することが可能となり、推定精度の向上等が期待される。
＜第２の実施形態＞
本実施形態の推定システムは、電磁波送受信部１１及び推定用電磁波送受信部２１が同じ構成となっている。すなわち、電磁波送受信部１１を構成する送信アンテナと推定用電磁波送受信部２１を構成する推定用送信アンテナの数は同数であり、その配置の仕方は同じである。また、電磁波送受信部１１を構成する受信アンテナと推定用電磁波送受信部２１を構成する推定用受信アンテナの数は同数であり、その配置の仕方は同じである。
本実施形態のパラメータ設定部１８と推定用パラメータ設定部２５とは、各種パラメータの値を互いに同じ値に設定する。すなわち、複数の送信アンテナ各々の照射順番は、複数の推定用送信アンテナの中の対応する（配置位置が同じ）推定用送信アンテナと同じである。また、複数の送信アンテナ各々が照射する電磁波の周波数は、複数の推定用送信アンテナの中の対応する（配置位置が同じ）推定用送信アンテナと同じである。また、複数の送信アンテナ各々の照射時間は、複数の推定用送信アンテナの中の対応する（配置位置が同じ）推定用送信アンテナの照射時間と同じである。
そして、推定用画像生成部２２は、推定用電磁波送受信部２１で受信された反射波の信号の中の一部の信号に基づき、推定用画像を生成する。
ここで、推定用電磁波送受信部２１により受信された反射波の信号の中から、推定用画像生成のために利用する一部を選択する方法を説明する。
例えば、推定用画像生成部２２は、推定用電磁波送受信部２１で受信された反射波の信号の中から、ランダムに、推定用画像の生成に利用する信号を選択してもよい。
また、推定用画像生成部２２は、推定用電磁波送受信部２１で受信された反射波の信号の中から、選択した推定用送信アンテナから照射された電磁波に基づく反射波の信号、及び、選択した推定用受信アンテナで受信した反射波の信号の少なくとも一方を除いた信号を、推定用画像の生成に利用する信号として選択してもよい。
また、推定用画像生成部２２は、推定用電磁波送受信部２１で受信された反射波の信号の中から、選択した周波数の信号を除いた信号を、推定用画像の生成に利用する信号として選択してもよい。
推定用画像生成部２２によるこれらの方法は、第１の実施形態で説明した学習用画像生成部１３による「電磁波送受信部１１により受信された反射波の信号の中から、学習用画像生成のために利用する一部を選択する方法」と同様である。
なお、推定用画像生成部２２と学習用画像生成部１３とは、同じ方法で、推定用電磁波送受信部２１及び電磁波送受信部１１により受信された反射波の信号の中から、推定用画像及び学習用画像生成のために利用する一部を選択することが好ましい。
次に、図１７のフローチャートを用いて、推定装置２０の処理の流れの一例を説明する。
処理を開始すると、推定用電磁波送受信部２１は、波長３０マイクロメートル以上１メートル以下の電磁波の照射、及び、反射波の受信を予め定められた間隔で繰り返す。そして、推定用画像生成部２２は、推定用電磁波送受信部２１により出力された上記反射波の信号を取得すると（Ｓ２０）、取得した信号の中から推定画像生成に利用する一部を選択する（Ｓ３１）。そして、推定用画像生成部２２は、選択した信号に基づき推定用画像を生成する（Ｓ３２）。
次いで、推定部２３は、Ｓ３２で推定用画像生成部２２が生成した推定用画像と、予め推定モデル記憶部２４に記憶されている推定モデルとに基づき、推定用画像に含まれる物体を推定する（Ｓ３３）。
そして、推定装置２０は、推定結果を出力する（Ｓ３４）。例えば、推定装置２０は、ディスプレイ、投影装置、スピーカ、プリンター、メーラ等の任意の出力装置を介して、推定結果を出力してもよい。推定結果は、推定用画像に含まれると推定された物体に関する情報（名称等）を含む。
その他、推定装置２０は、予め定められた物体が推定用画像に含まれると推定された場合、警告処理を行ってもよい。警告処理は、警告ランプの点灯、警告音の出力、ディスプレイ等の出力装置を介した警告情報の出力等であるが、これらに限定されない。予め定められた物体は、その場所で所持することが許されていない物体であり、例えば拳銃やナイフ等の危険物が例示される。
本実施形態の処理システムのその他の構成は、第１の実施形態の処理システムと同様である。
以上説明した本実施形態の推定システムによれば、電磁波の信号に基づくラベル付き画像（教師データ）で生成された推定モデルに基づき画像に含まれる物体を推定する技術において、十分な精度の推定結果が得られる範囲で画像生成に用いる電磁波の信号を減らす（データ量を減らす）ことで生じるラベル付け作業の困難性が改善される。
また、本実施形態の推定システムによれば、第１の実施形態の処理システムが実現した「送受信アンテナの削減によるセンサデバイスの小型化やコスト負担の軽減、送信アンテナの削減による照射時間の短縮や動きブラーの抑制等」は実現できないものの、人１の所持物を推定する処理に用いる画像の生成に利用するデータの量（推定装置２０が推定処理に利用する画像の生成に利用するデータの量、教師データとする画像の生成に利用するデータの量）を減らすことによるコンピュータの処理負担の軽減が実現される。
また、本実施形態の推定システムによれば、推定用画像生成部２２と学習用画像生成部１３とは、同じ方法で、推定用電磁波送受信部２１及び電磁波送受信部１１により受信された反射波の信号の中から、推定用画像及び学習用画像生成のために利用する一部を選択するようにできる。この場合、推定時に利用される画像と概ね同条件下で生成された画像（教師データ）に基づく機械学習で推定モデルを生成することが可能となり、推定精度の向上等が期待される。
以上、実施形態（及び実施例）を参照して本願発明を説明したが、本願発明は上記実施形態（及び実施例）に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限定されない。
１． 送信アンテナから電磁波を照射し、受信アンテナで反射波を受信する電磁波送受信手段と、
受信された前記反射波の信号に基づき、ラベル決定用画像を生成するラベル決定用画像生成手段と、
受信された前記反射波の信号の中の一部であって、前記ラベル決定用画像の生成に利用される信号よりも少ない信号に基づき、学習用画像を生成する学習用画像生成手段と、
前記ラベル決定用画像に基づきラベルを決定するラベル決定手段と、
前記学習用画像と前記ラベルとを紐付けた教師データを生成し、教師データ記憶手段に記憶させる教師データ生成手段と、
を有する処理装置。
２． 前記教師データ記憶手段が記憶する前記教師データに基づく機械学習により、推定モデルを生成する推定モデル生成手段をさらに有する１に記載の処理装置。
３． 前記ラベル決定用画像生成手段は、
前記ラベル決定用画像を出力する手段と、
出力した前記ラベル決定用画像の前記ラベルのユーザ入力を受付ける手段と、
を有する１又は２に記載の処理装置。
４． 前記学習用画像生成手段は、受信された前記反射波の信号の中から、ランダムに、前記学習用画像の生成に利用する信号を選択する１から３のいずれかに記載の処理装置。
５． 前記電磁波送受信手段は、複数の前記送信アンテナから電磁波を照射し、複数の前記受信アンテナで反射波を受信し、
前記学習用画像生成手段は、受信された前記反射波の信号の中から、選択した前記送信アンテナから照射された前記電磁波に基づく前記反射波の信号、及び、選択した前記受信アンテナで受信した前記反射波の信号の少なくとも一方を除いた信号を、前記学習用画像の生成に利用する信号として選択する１から３のいずれかに記載の処理装置。
６． 前記電磁波送受信手段は、周波数を変えながら、前記送信アンテナから前記電磁波を照射し、
前記学習用画像生成手段は、受信された前記反射波の信号の中から、選択した周波数の信号を除いた信号を、前記学習用画像の生成に利用する信号として選択する１から３および５のいずれかに記載の処理装置。
７． 送信アンテナから電磁波を照射し、受信アンテナで反射波を受信する電磁波送受信手段と、
受信された前記反射波の信号に基づき、ラベル決定用画像を生成するラベル決定用画像生成手段と、
受信された前記反射波の信号の中の一部であって、前記ラベル決定用画像の生成に利用される信号よりも少ない信号に基づき、学習用画像を生成する学習用画像生成手段と、
前記ラベル決定用画像に基づきラベルを決定するラベル決定手段と、
前記学習用画像と前記ラベルとを紐付けた教師データを生成し、教師データ記憶手段に記憶させる教師データ生成手段と、
前記教師データ記憶手段が記憶する前記教師データに基づく機械学習により、推定モデルを生成する推定モデル生成手段と、
を有する処理装置が生成した前記推定モデルを記憶する推定モデル記憶手段と、
推定用送信アンテナから電磁波を照射し、推定用受信アンテナで反射波を受信する推定用電磁波送受信手段と、
受信された前記反射波の信号に基づき、推定用画像を生成する推定用画像生成手段と、
前記推定用画像と、前記推定モデルとに基づき、前記推定用画像に含まれる物体を推定する推定手段と、
を有する推定装置。
８． 前記電磁波送受信手段は、複数の前記送信アンテナから電磁波を照射し、複数の前記受信アンテナで反射波を受信し、
前記推定用電磁波送受信手段は、複数の前記推定用送信アンテナから電磁波を照射し、複数の前記推定用受信アンテナで反射波を受信し、
前記電磁波送受信手段と前記推定用電磁波送受信手段とは、同じ構成となっており、
複数の前記推定用送信アンテナの照射順番及び照射時間を、複数の前記送信アンテナの照射順番及び照射時間と同じにするパラメータ設定手段をさらに有する７に記載の推定装置。
９． 前記推定用画像生成手段は、前記推定用電磁波送受信手段で受信された前記反射波の信号の中の一部の信号に基づき、前記推定用画像を生成する８に記載の推定装置。
１０． 前記推定用画像生成手段は、前記推定用電磁波送受信手段で受信された前記反射波の信号の中から、ランダムに、前記推定用画像の生成に利用する信号を選択する９に記載の推定装置。
１１． 前記推定用画像生成手段は、前記推定用電磁波送受信手段で受信された前記反射波の信号の中から、選択した前記推定用送信アンテナから照射された前記電磁波に基づく前記反射波の信号、及び、選択した前記推定用受信アンテナで受信した前記反射波の信号の少なくとも一方を除いた信号を、前記推定用画像の生成に利用する信号として選択する９に記載の推定装置。
１２． 前記推定用電磁波送受信手段は、周波数を変えながら、前記推定用送信アンテナから前記電磁波を照射し、
前記推定用画像生成手段は、前記推定用電磁波送受信手段で受信された前記反射波の信号の中から、選択した周波数の信号を除いた信号を、前記推定用画像の生成に利用する信号として選択する９または１１に記載の推定装置。
１３． 前記電磁波送受信手段は、複数の前記送信アンテナから電磁波を照射し、複数の前記受信アンテナで反射波を受信し、
前記推定用電磁波送受信手段は、複数の前記推定用送信アンテナから電磁波を照射し、複数の前記推定用受信アンテナで反射波を受信し、
電磁波を照射する前記推定用送信アンテナの数は、電磁波を照射する前記送信アンテナの数より少なく、
反射波を受信する前記推定用受信アンテナの数は、反射波を受信する前記受信アンテナの数より少ない７に記載の推定装置。
１４． 複数の前記推定用送信アンテナの中の左右方向の両端に位置する前記推定用送信アンテナ間の距離と、複数の前記送信アンテナの中の左右方向の両端に位置する前記送信アンテナ間の距離は、同一である１３に記載の推定装置。
１５． 複数の前記推定用受信アンテナの中の左右方向の両端に位置する前記推定用受信アンテナ間の距離と、複数の前記受信アンテナの中の左右方向の両端に位置する前記受信アンテナ間の距離は、同一である１３又は１４に記載の推定装置。
１６． コンピュータが、
送信アンテナから電磁波を照射し、受信アンテナで反射波を受信し、
受信された前記反射波の信号に基づき、ラベル決定用画像を生成し、
受信された前記反射波の信号の中の一部であって、前記ラベル決定用画像の生成に利用される信号よりも少ない信号に基づき、学習用画像を生成し、
前記ラベル決定用画像に基づきラベルを決定し、
前記学習用画像と前記ラベルとを紐付けた教師データを生成し、教師データ記憶手段に記憶させる処理方法。
１７． コンピュータが、
送信アンテナから電磁波を照射し、受信アンテナで反射波を受信する電磁波送受信手段と、
受信された前記反射波の信号に基づき、ラベル決定用画像を生成するラベル決定用画像生成手段と、
受信された前記反射波の信号の中の一部であって、前記ラベル決定用画像の生成に利用される信号よりも少ない信号に基づき、学習用画像を生成する学習用画像生成手段と、
前記ラベル決定用画像に基づきラベルを決定するラベル決定手段と、
前記学習用画像と前記ラベルとを紐付けた教師データを生成し、教師データ記憶手段に記憶させる教師データ生成手段と、
前記教師データ記憶手段が記憶する前記教師データに基づく機械学習により、推定モデルを生成する推定モデル生成手段と、
を有する処理装置が生成した前記推定モデルを記憶しておき、
推定用送信アンテナから電磁波を照射し、推定用受信アンテナで反射波を受信し、
受信された前記反射波の信号に基づき、推定用画像を生成し、
前記推定用画像と、前記推定モデルとに基づき、前記推定用画像に含まれる物体を推定する推定方法。

Claims (10)

  1. 送信アンテナから電磁波を照射し、受信アンテナで反射波を受信する電磁波送受信手段と、
    受信された前記反射波の信号に基づき、ラベル決定用画像を生成するラベル決定用画像生成手段と、
    受信された前記反射波の信号の中の一部であって、前記ラベル決定用画像の生成に利用される信号よりも少ない信号に基づき、学習用画像を生成する学習用画像生成手段と、
    前記ラベル決定用画像に基づきラベルを決定するラベル決定手段と、
    前記学習用画像と前記ラベルとを紐付けた教師データを生成し、教師データ記憶手段に記憶させる教師データ生成手段と、
    を有する処理装置。
  2. 前記学習用画像生成手段は、受信された前記反射波の信号の中から、ランダムに、前記学習用画像の生成に利用する信号を選択する請求項１に記載の処理装置。
  3. 前記電磁波送受信手段は、複数の前記送信アンテナから電磁波を照射し、複数の前記受信アンテナで反射波を受信し、
    前記学習用画像生成手段は、受信された前記反射波の信号の中から、選択した前記送信アンテナから照射された前記電磁波に基づく前記反射波の信号、及び、選択した前記受信アンテナで受信した前記反射波の信号の少なくとも一方を除いた信号を、前記学習用画像の生成に利用する信号として選択する請求項１に記載の処理装置。
  4. 前記電磁波送受信手段は、周波数を変えながら、前記送信アンテナから前記電磁波を照射し、
    前記学習用画像生成手段は、受信された前記反射波の信号の中から、選択した周波数の信号を除いた信号を、前記学習用画像の生成に利用する信号として選択する請求項１又は３に記載の処理装置。
  5. 送信アンテナから電磁波を照射し、受信アンテナで反射波を受信する電磁波送受信手段と、
    受信された前記反射波の信号に基づき、ラベル決定用画像を生成するラベル決定用画像生成手段と、
    受信された前記反射波の信号の中の一部であって、前記ラベル決定用画像の生成に利用される信号よりも少ない信号に基づき、学習用画像を生成する学習用画像生成手段と、
    前記ラベル決定用画像に基づきラベルを決定するラベル決定手段と、
    前記学習用画像と前記ラベルとを紐付けた教師データを生成し、教師データ記憶手段に記憶させる教師データ生成手段と、
    前記教師データ記憶手段が記憶する前記教師データに基づく機械学習により、推定モデルを生成する推定モデル生成手段と、
    を有する処理装置が生成した前記推定モデルを記憶する推定モデル記憶手段と、
    推定用送信アンテナから電磁波を照射し、推定用受信アンテナで反射波を受信する推定用電磁波送受信手段と、
    受信された前記反射波の信号に基づき、推定用画像を生成する推定用画像生成手段と、
    前記推定用画像と、前記推定モデルとに基づき、前記推定用画像に含まれる物体を推定する推定手段と、
    を有する推定装置。
  6. 前記電磁波送受信手段は、複数の前記送信アンテナから電磁波を照射し、複数の前記受信アンテナで反射波を受信し、
    前記推定用電磁波送受信手段は、複数の前記推定用送信アンテナから電磁波を照射し、複数の前記推定用受信アンテナで反射波を受信し、
    前記電磁波送受信手段と前記推定用電磁波送受信手段とは、同じ構成となっており、
    複数の前記推定用送信アンテナの照射順番及び照射時間を、複数の前記送信アンテナの照射順番及び照射時間と同じにするパラメータ設定手段をさらに有する請求項５に記載の推定装置。
  7. 前記推定用画像生成手段は、前記推定用電磁波送受信手段で受信された前記反射波の信号の中の一部の信号に基づき、前記推定用画像を生成する請求項６に記載の推定装置。
  8. 前記電磁波送受信手段は、複数の前記送信アンテナから電磁波を照射し、複数の前記受信アンテナで反射波を受信し、
    前記推定用電磁波送受信手段は、複数の前記推定用送信アンテナから電磁波を照射し、複数の前記推定用受信アンテナで反射波を受信し、
    電磁波を照射する前記推定用送信アンテナの数は、電磁波を照射する前記送信アンテナの数より少なく、
    反射波を受信する前記推定用受信アンテナの数は、反射波を受信する前記受信アンテナの数より少ない請求項５に記載の推定装置。
  9. コンピュータが、
    送信アンテナから電磁波を照射し、受信アンテナで反射波を受信し、
    受信された前記反射波の信号に基づき、ラベル決定用画像を生成し、
    受信された前記反射波の信号の中の一部であって、前記ラベル決定用画像の生成に利用される信号よりも少ない信号に基づき、学習用画像を生成し、
    前記ラベル決定用画像に基づきラベルを決定し、
    前記学習用画像と前記ラベルとを紐付けた教師データを生成し、教師データ記憶手段に記憶させる処理方法。
  10. コンピュータが、
    送信アンテナから電磁波を照射し、受信アンテナで反射波を受信する電磁波送受信手段と、
    受信された前記反射波の信号に基づき、ラベル決定用画像を生成するラベル決定用画像生成手段と、
    受信された前記反射波の信号の中の一部であって、前記ラベル決定用画像の生成に利用される信号よりも少ない信号に基づき、学習用画像を生成する学習用画像生成手段と、
    前記ラベル決定用画像に基づきラベルを決定するラベル決定手段と、
    前記学習用画像と前記ラベルとを紐付けた教師データを生成し、教師データ記憶手段に記憶させる教師データ生成手段と、
    前記教師データ記憶手段が記憶する前記教師データに基づく機械学習により、推定モデルを生成する推定モデル生成手段と、
    を有する処理装置が生成した前記推定モデルを記憶しておき、
    推定用送信アンテナから電磁波を照射し、推定用受信アンテナで反射波を受信し、
    受信された前記反射波の信号に基づき、推定用画像を生成し、
    前記推定用画像と、前記推定モデルとに基づき、前記推定用画像に含まれる物体を推定する推定方法。
JP2022501465A 2020-02-19 2020-02-19 処理装置、推定装置、処理方法及び推定方法 Active JP7396452B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/006445 WO2021166104A1 (ja) 2020-02-19 2020-02-19 処理装置、推定装置、処理方法及び推定方法

Publications (3)

Publication Number Publication Date
JPWO2021166104A1 JPWO2021166104A1 (ja) 2021-08-26
JPWO2021166104A5 JPWO2021166104A5 (ja) 2022-10-06
JP7396452B2 true JP7396452B2 (ja) 2023-12-12

Family

ID=77390768

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022501465A Active JP7396452B2 (ja) 2020-02-19 2020-02-19 処理装置、推定装置、処理方法及び推定方法

Country Status (3)

Country Link
US (1) US20230057701A1 (ja)
JP (1) JP7396452B2 (ja)
WO (1) WO2021166104A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010125916A1 (ja) 2009-04-28 2010-11-04 Ｎｅｃソフト株式会社 年齢推定装置、年齢推定方法及びプログラム
WO2019229910A1 (ja) 2018-05-30 2019-12-05 株式会社ウフル 顔認証を用いた入国審査システム、入国審査方法、プログラム、および認証装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4496954B2 (ja) * 2004-12-24 2010-07-07 日本電気株式会社 干渉型レーダー
JP7001069B2 (ja) * 2017-02-10 2022-01-19 日本電気株式会社 推論用知識生成装置、推論用知識生成方法、及びプログラム
JP6750600B2 (ja) * 2017-12-06 2020-09-02 株式会社豊田中央研究所 学習装置、電磁波反射特性推定装置、学習プログラム、および電磁波反射特性推定プログラム
US11391819B2 (en) * 2018-07-18 2022-07-19 Qualcomm Incorporate Object verification using radar images
US20200167689A1 (en) * 2018-11-28 2020-05-28 Here Global B.V. Method, apparatus, and system for providing data-driven selection of machine learning training observations
WO2020208684A1 (ja) * 2019-04-08 2020-10-15 三菱電機株式会社 反射点推定装置及び反射点推定方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010125916A1 (ja) 2009-04-28 2010-11-04 Ｎｅｃソフト株式会社 年齢推定装置、年齢推定方法及びプログラム
WO2019229910A1 (ja) 2018-05-30 2019-12-05 株式会社ウフル 顔認証を用いた入国審査システム、入国審査方法、プログラム、および認証装置

Also Published As

Publication number Publication date
US20230057701A1 (en) 2023-02-23
WO2021166104A1 (ja) 2021-08-26
JPWO2021166104A1 (ja) 2021-08-26

Similar Documents

Publication Publication Date Title
JP5085319B2 (ja) 複数の情報源を有する監視ポータル
CN103885088B (zh) 用于操作手持筛选设备的方法及手持筛选设备
WO2015067208A1 (zh) 检查方法和设备
US20090174554A1 (en) Method and system for screening luggage items, cargo containers or persons
US20050231421A1 (en) Enhanced surveilled subject imaging
CN108303747A (zh) 检查设备和检测枪支的方法
JP2007532907A (ja) 強化された監視被写体撮像
CN103885089B (zh) 用于生成图像的方法及手提式筛分装置
CN106529527A (zh) 物体检测方法和装置、数据处理装置和电子设备
US7961134B2 (en) Metric and self-calibration for an automatic, surveillance-based change detection system operating on noisy imagery
US9223018B2 (en) Method for displaying an active radar image and handheld screening device
JP7396452B2 (ja) 処理装置、推定装置、処理方法及び推定方法
JP7388532B2 (ja) 処理システム、処理方法及びプログラム
CN110045349B (zh) 一种鉴定方法、装置、设备及存储介质
US20100013920A1 (en) Surveillance imaging with upsampling
WO2024128093A1 (ja) 対象物検出装置、対象物検出方法、及び記録媒体
JP2018155658A (ja) 物体検出装置、物体検出方法、および物体検出プログラム
JP7351346B2 (ja) 対象物検出装置、対象物検出方法、及びプログラム
JP6908177B2 (ja) 物体検出装置、物体検出システム、物体検出方法及びプログラム
CN114286947A (zh) 适合于工厂自动化的基于学习的透视传感
JP5371237B2 (ja) レーダ画像処理装置
JP7351345B2 (ja) 画像生成装置、画像生成方法、及びプログラム
JP2024029155A (ja) 移動体検出装置
JP2024522367A (ja) 教師データ生成装置、教師データ生成方法、およびプログラム
Eidels et al. Measuring single-item identification efficiencies for letters and 3-D objects

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220810

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220810

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231031

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231113

R151 Written notification of patent or utility model registration

Ref document number: 7396452

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151