JP7515744B2

JP7515744B2 - ３ｄミリ波撮像による高スループット異常検出のためのシステム及び方法

Info

Publication number: JP7515744B2
Application number: JP2023562267A
Authority: JP
Inventors: エー．ガンセアンドリュー; マデンクリスティーヌ; エム．ワッツクレア; ペドロス－エンゲルアンドレアス; エス．レイノルズマシュー
Original assignee: スルーウェーブインコーポレイテッド
Priority date: 2021-04-09
Filing date: 2022-03-31
Publication date: 2024-07-12
Anticipated expiration: 2042-03-31
Also published as: US20240192148A1; EP4320548A4; JP2024514582A; WO2022216512A1; EP4320548A1

Description

本特許出願は、撮像システム、より具体的には、禁制物がないかどうか封筒および薄いパッケージをスキャンするために使用される高スループット撮像システムに関する。

関連出願の相互参照
本出願は、２０２１年４月９日に出願された米国仮特許出願第６３／１７３，３２２号の利益及び優先権を主張し、その開示は、その全体が参照により本明細書に組み込まれる。

非破壊的な方法による郵便物やパッケージの内容の選別と検証は、パスポート、クレジットカード、刃物、薬物などの禁制物品を検出するために、商業および政府のアプリケーションで長い間関心を集めてきた。過去数十年間、これらの目的のための高周波電磁イメージング技術の探索が増えており、関連するコンピュータビジョン検出の例は、空港セキュリティや産業検査などの分野で見られる。高周波電磁撮像技術の既存のアプリケーションであっても、精度を向上させた高スループットスクリーニングが依然として必要である。

いくつかの実施形態では、小包内の異常を検出するためのシステムは、小包を運ぶように動作するコンベヤと、コンベヤに近接して配置され、ミリ波データを生成するように動作するミリ波送受信アンテナのアレイと、ミリ波データを使用して３次元ミリ波画像を生成するように構成された画像再構成プロセッサと、ミリ波画像の少なくとも一部で動作するロジスティック回帰分類器を使用して小包が異常を含む確率を推定するように構成された分類プロセッサとを含むことができる。

本技術のいくつかの態様では、分類プロセッサは、小包が異常を含む確率が選択された閾値を超えると、小包を転換するトリガ信号を生成する。いくつかの態様では、ロジスティック回帰分類器は、３次元画像の１つ以上のボクセル厚スライスを利用して、小包が異常を含む確率を計算する。いくつかの態様では、異常は、小包内の紙以外の封入物を含む。本技術の様々な態様では、３次元ミリ波画像は、各々が関連するミリ波反射率を有するボクセルで構成される。いくつかの態様では、ミリ波反射率は、実数部分及び虚数部分を含む。いくつかの態様では、ロジスティック回帰分類器は、ミリ波画像を含む１つまたは複数のボクセル層の平均の大きさで動作する。

いくつかの実施形態では、小包内の異常を検出するための方法は、複数のミリ波撮像センサモジュールを用いてコンベヤに沿って移動する小包をスキャンすることと、センサモジュールから反射測定値を収集することと、小包の１つまたは複数のボクセル厚の水平３Ｄ画像を構築することとを含むことができる。小包の画像は、１つまたは複数のボクセル層の平均の大きさを含むように作成されることができる。いくつかの実施形態では、小包の画像は、ロジスティック回帰分類器に供給されることができる。方法はまた、分類器から小包が異常を含む確率を受信し、確率が選択された閾値よりも大きいときに小包をコンベヤから転換させることを含むことができる。本技術のいくつかの態様では、分類器は、ラベル付けされた画像のセットを使用して訓練される。

本明細書に記載のシステムおよび方法は、添付の図面と併せて以下の詳細な説明を参照することによってよりよく理解されるであろう。なお、同様の参照番号は、同一のまたは機能的に類似した要素を示している。

本明細書において提供される見出しは、便宜の為のみであり、必ずしも実施形態の範囲に影響を与えるものではない。さらに、図面は必ずしも縮尺通りに描かれているわけではない。例えば、図面中の要素のいくつかの寸法は、実施形態の理解を良くするのに役立つように拡大または縮小され得る。さらに、開示された技術は、様々な修正および代替形態に従うことが可能であるが、特定の実施形態が、例として図面に示されており、以下に詳細に説明されている。ただし、説明した実施形態に不必要に限定する意図はない。逆に、実施形態は、本開示の範囲内にあるすべての適切な変更、組み合わせ、等価物、および代替物を網羅することを意図している。

図１は、開示された技術のいくつかの実施形態による、高スループット異常検出システムを示す図である。図２は、開示された技術のいくつかの実施形態に従って導出された禁制物の様々なアイテムを含む封筒の画像プロットの例を含む図である。図３Ａは、開示された技術のいくつかの実施形態に従う、禁制物を有する封筒および禁制物を有さない封筒の画像についての画像強度分布を示す図である。図３Ｂは、開示された技術のいくつかの実施形態に従う、最大強度へのロジスティック回帰モデルの適合を示す、図３Ａに対応するプロットを示す図である。図４は、開示された技術のいくつかの実施形態に従う、６、３、および２個のセンサモジュールの性能を示すＲＯＣ曲線のプロットを示す図である。図５は、開示された技術のいくつかの実施形態に従う、封筒内の異常を検出するための方法を示すフロー図である。図６は、いくつかの実装形態が動作することができるデバイスの概要を示すブロック図である。図７は、いくつかの実装形態が動作することができる環境の概要を示すブロック図である。図８は、いくつかの実装態様において、開示された技術を採用したシステムで使用することができるコンポーネントを示すブロック図である。

ここで、上に紹介したシステムと方法のさまざまな例をさらに詳しく説明する。以下の説明は、これらの実施例を十分に理解し、説明できるようにするための具体的な詳細を提供するものである。しかしながら、関連技術分野の当業者であれば、本明細書で論じる技術および技法は、これらの細部の多くがなくても実施できることを理解するであろう。同様に、関連技術分野の当業者であれば、本技術が、本明細書には詳細に記載されていない他の多くの特徴を含むことができることも理解できるであろう。さらに、いくつかの周知の構造または機能は、関連する説明を不必要に不明瞭にすることを避けるため、以下に示されていない、または詳細に説明されていない場合がある。

以下で使用される用語は、実施形態のいくつかの具体例の詳細な説明とともに使用されるとはいえ、その最も広範で合理的な態様で解釈されるものとする。ただし、いくつかの用語は、以下で強調され得るが、何らかの限定的に解釈されることを意図したいずれかの用語は、そのように明確にかつ具体的に定義される。

コンベヤベルトを通過する封筒および薄いパッケージをスキャンするために使用される高スループットＫバンド（２４ＧＨｚ）ミリ波イメージングのための方法およびシステムが開示されている。この撮像システムは、高速コンベアをサポートし、密封された封筒内の非破壊イメージングを可能にする。また、ロジスティック回帰アプローチを使用して、予想される紙文書の中から異常を検出する自動スクリーニングアルゴリズムについても説明される。自動異常検出は、人的労働の必要性を排除し、二次スクリーニングのための疑わしい封筒の高スループット転換を可能にします。

紙、段ボール、およびTyvek封筒、ならびにパッド入りバブルパック内の紙文書の中から金属化されたプラスチックおよび金属アイテムなどの紙以外の異物のミリ波検出の例が提示される。封筒の平面における１ｃｍよりも優れた解像度が実証され、サブｃｍ３の異常の識別を可能にし、疑わしい封筒の自動ファーストパスフラグのための方法及びシステムが説明される。

ロジスティック回帰に基づく異常検出が静的教師あり学習モデルに基づいている例示的な画像及び初期分類結果が提示される。モデリングのシンプルさは、表１に見られるように、関心のある多くの禁制物品によく対応する特定のカテゴリの内容物（金属であり、したがってミリ波の反射率が高い）に範囲を絞ることによって支援される。表１は、様々な組み合わせで使用される封筒材料及び内容物の種類を列挙している。

図１を参照すると、ミリ波撮像システム１００は、適切な体積を撮像するように配置され得る送受信アンテナから構成されるミリ波センサモジュール１０２を使用する。モジュールは、Ｘ軸に沿って２列構成で積み重ねられてもよい。コンベヤ１０４は、Ｙ方向にほぼ一定の速度で移動し、ミリ波反射測定値によるシーンのサンプリングを可能にし、それらの測定値を３Ｄミリ波画像に再構築することを可能にする。この画像の各ボクセルは、シーンのその部分の複雑なミリ波反射率を表す。ボクセルは、３次元空間内の点を定義するグラフィック情報の単位である。

例示的なデータセットは、表１に示される材料及び内容物の組み合わせを有する封筒の１０１ミリ波３Ｄ画像を含むことができる。任意選択の禁制物の内容に加えて、すべての画像において、封筒は１２枚の標準的なプリンタ用紙を含んでいた。封筒１０６は、任意選択で、その内容物への応答がコンベヤからの反射と区別されることを確実にするために、フォームボックス１０８または反射しない材料で作られたトレイなどの別の支持材料の上に載ってもよい。これらの封筒の例示的なミリ波画像は、図２に示され、各封筒は、１２枚の紙およびそれらの中にテープで貼られた様々な禁制物品を含んでいる。これらの画像は、６つのミリ波センサモジュールで撮像されている。右下の封筒には紙のみが入っており、残りの封筒には紙に加えて禁制物品が入っている。

撮像再構成ドメインは、封筒のレベルで垂直に中央に配置された１つ以上のボクセル厚の水平シートである（図２のプロットは、これらの２つの層の平均の大きさを示す）。予測性能は、モジュールの数と予測の精度との間のトレードオフを調査するために、ミリ波センサモジュールのいくつかのグループ間で比較される。この例示的なデータセットの画像は、禁制物の有しているまたは有していないという正解でマークされ、分類器のトレーニングおよび評価に使用される。データセットは、禁制物を有していない画像より多くの禁制物を有している画像を有している。

スキャンの当初の測定値から、データセットは、ソフトウェアで有効または無効にすることができるミリ波センサモジュールの３つのサブセットを使用して、３回再撮像され得る。再び図１を参照すると、（ｘ軸を横切って取り付けられた）それぞれ６つ、３つ、及び２つのモジュールを有するモジュールの３つのサブセットは、水平の封筒の上からＺ軸の下を向いており、一方、封筒は、Ｙ軸に沿ってコンベヤ上を移動させられている。検出器の精度は、ハードウェアコストおよび複雑さと検出精度との間の重要なトレードオフを容易にするために、センサモジュールの３つのサブセットのそれぞれについて評価され得る。

二値分類器は、画像がデータセットに見られる禁制物のいずれかを含む確率を予測する。この予測は、撮像システムがコンベヤシステム上で転換をトリガし、異常の予測された確率が閾値よりも大きいときに、さらなる検査のためにアイテムをルーティングすることを可能にする。そのような転換は、分類器の出力に応答してトリガされるプログラマブル論理制御（ＰＬＣ）システムによって制御され得る。１つの例示的な分類器は、画像ボクセルにわたって最大画像強度に作用するロジスティック回帰である。本出願に関しては、撮像システムは、強度だけでなく、ボクセル当たりの複素値反射率を提供すること、強度のみに基づいて得られ得る性能よりも高い性能を得られ得ることを理解されたい。

図３Ａは、３つのモジュールによって画像化された１０１個の画像の例示的な強度分布を示す。これらの画像は、その強度に基づいて、反射性の禁制物の内容物を有する画像と有さない画像とが、強く分離可能である１つの例では、データセットには、異常を有する５７個の画像と、異常を有さない４４個の画像がある。ロジスティック回帰は、クラス不均衡によって引き起こされるバイアスの影響を受けやすい（一部のデータセットはこれよりも大きなクラス不均衡を有する）ため、ＳＭＯＴＥオーバーサンプリング法を使用してデータのバランスをとり、５ｆｏｌｄ交差検証を使用してデータセットの複数の訓練/テスト分割にわたって評価を一般化する。ロジスティック回帰は、交差検証で重み付けが推定されるＬ２項によって正規化することができ、最適化は、記憶制限Broyden-Fletcher-Goldfarb-Shanno（Ｌ－ＢＦＧＳ）法（準ニュートン法）によって解決することができる。交差検証フォールドでバランスの取れたデータで、モデルを平均精度に基づいて最適化し、最良の正規化パラメータを見つけることができる。図３Ｂに示されているように、モデルは、確率０．０及び１．０でプロットされた離散グラウンドトゥルース点にシグモイド確率曲線を適合させる。単に視覚化を助けるために、点はY軸において右にジッターで表示されている。このデータセットにおいて、ここでは、各クラスの最大強度にいくつかの重複が見られ、２つのモジュールにはより多くの重複があり、６つのモジュールにはまったく重複がない。

図４は、６つ、３つ、及び２つのモジュールを有するミリ波センサモジュールの３つのサブセットの受信機動作特性（receiver operating characteristic：ＲＯＣ）曲線を示している。また、図１の機器レイアウトを参照して、それぞれの場合にどのモジュールが使用されたかを強調している。表２は、上記の５ｆｏｌｄｓ交差検証の平均分類性能を列挙する。

表の値は、正規化パラメータの精度最適化解点に対応するＲＯＣ曲線に示される動作点を引用している。ＲＯＣ曲線上の黒い点は、表２の性能統計が報告される動作点を示す。これらは、モデルの正規化パラメータが解かれた最大精度の点である。この表は、ＲＯＣ曲線下面積（ＲＯＣＡＵＣ）、精度、真陽性率（ＴＰＲ）、偽陽性率（ＦＰＲ）、陽性予測値（ＰＰＶ）、及び陰性予測値（ＰＰＶ）の性能指標を含んでいる。ＲＯＣＡＵＣは、ここでは動作点の選択に依存しない１つの指標である。これは、モデルがランダムに選択された負のクラスよりもランダムに選択された正のクラスに高い確率スコアを割り当てる確率に相当する。ＴＰＲ、ＦＰＲ、ＰＰＶ、およびＮＰＶメトリックは、予測における偽陽性および偽陰性に関連しており、表２の０．０ＦＰＲおよび１．０ＰＰＶから、６つのモジュールおよび３つのモジュールの場合には全く偽陽性がないことがわかる。同様に、その０．０ＮＰＶより明らかなように、６つのモジュールの場合には偽陰性もない。

分類性能は、センサモジュールの数が減少するにつれて低下する。このデータセットでは、センサアーチの上部に沿って全６つのモジュールすべてが取り付けられている場合、２つのクラスの最大強度の間の分離はかなり広く、紙のみの画像の最大強度と紙に異常をプラスした画像の最大強度との間には大きなギャップがあり、この場合の性能は完全であった。センサモジュールの数が半分の場合、達成される性能は９４％の精度と９９％のＲＯＣＡＵＣである。２つのモジュールの場合の性能は、７６％の精度と８３％のＲＯＣＡＵＣで大幅に悪化した。これらの画像は、使用されているモジュールが限られているため、かなり間引かれ、不均一に照らされている。

本研究は、様々な一般的な〒封筒に含まれる禁制物品を検出する確率的二値分類器の例を提示し、それらのシナリオの典型的なミリ波画像の例を提示した。１０１個の画像の例示的なデータセットにおいて、表１あたりの様々なエンベロープ及び禁制品タイプを用いて、全てのミリ波センサモジュールを使用するときに完璧な性能が得られた。

禁制品内容物のさらなる検査のために迂回するための郵便封筒の選択の適用のために、図４のものとＲＯＣ曲線上の類似または異なる動作点は、利用可能な二次検査リソースに応じて選択され得る。リソースが制約されている場合、合理的な選択は、ある程度の量を放置することを犠牲にして、禁制品の流れをある程度減らすことを目的として、非常に限られた誤検知を許容することです（偽陰性）。しかし、追加の二次検査リソースが利用可能である場合には、通過する禁制品の数を最小限にするために、実際に禁制物を有している荷物よりも多くの荷物を転換して二次スクリーニングに送るコストを犠牲にして、偽陰性を最小限にする（真陽性率を最大限にする）ことが望ましい場合がある。

図５は、封筒内の異常を検出するための方法５００を示すフロー図である。いくつかの実施形態では、ステップ５０２で、方法は、複数のＫバンド撮像センサモジュールを用いてコンベヤに沿って移動する封筒をスキャンすることを含むことができる。ステップ５０４において、方法は、センサモジュールから反射測定値を収集することを含むことができる。ステップ５０６において、方法は、封筒の１つ以上のボクセル厚水平３Ｄ画像を構築することを含むことができる。ステップ５０８において、方法は、１つ以上のボクセル層の平均の大きさを含む封筒の画像を生成することを含むことができる。ステップ５１０において、方法は、封筒の画像を二値ロジスティック回帰分類器に供給することを含むことができる。ステップ５１２において、方法は、分類器から封筒が異常を含む確率を受信することを含むことができる。ステップ５１４において、方法は、確率が選択された閾値よりも大きいときに、封筒をコンベヤから転換させることを含むことができる。

適切なシステム
明細書に開示される技術は、専用ハードウェア（例えば、回路）として、ソフトウェア及び／またはファームウェアで適切にプログラムされたプログラマブル回路として、または専用回路とプログラマブル回路の組み合わせとして、具現化され得る。したがって、実施形態は、コンピュータ、マイクロプロセッサ、プロセッサ、及び／またはマイクロコントローラ（または他の電子デバイス）に処理を実行させるために使用され得る命令を格納した機械可読媒体を含み得る。機械可読媒体は、光ディスク、コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、磁気光ディスク、ＲＯＭ、ランダムアクセスメモリ（ＲＡＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、磁気または光カード、フラッシュメモリ、または電子命令を格納するのに適した他のタイプの媒体／機械可読媒体を含み得るが、これらに限定されない。

いくつかの実装は、図面を参照してより詳細に以下で説明する。図６は、開示された技術のいくつかの実装が動作することができるデバイスの概要を示すブロック図である。デバイスは、例えば、ミリ波画像をキャプチャするデバイス１０００のハードウェアコンポーントを備えることができる。デバイス１０００は、ＣＰＵ（プロセッサ）１０１０にアクションを通知する入力を提供する１つ以上の入力デバイス１０２０を含むことができる。アクションは、典型的には、入力デバイスから受信した信号を解釈し、通信プロトコルを使用して情報をＣＰＵ１０１０に通信するハードウェアコントローラによって媒介される。入力デバイス１０２０は、例えば、マウス、キーボード、タッチスクリーン、ミリ波撮像センサ（例えば、２４ＧＨｚまたはその付近で動作するＫバンドミリ波撮像センサ）、赤外線センサ、タッチパッド、ウェアラブル入力デバイス、カメラまたは画像ベースの入力デバイス、マイクロフォン、または他のユーザ入力デバイスを含む。

ＣＰＵ１０１０は、デバイス内の単一の処理ユニットまたは複数の処理ユニットであってもよく、または複数のデバイスにわたって分散されていてもよい。ＣＰＵ１０１０は、例えば、ＰＣＩバスまたはＳＣＳＩバスなどのバスを使用して、他のハードウェアデバイスに結合されることができる。ＣＰＵ１０１０は、ディスプレイ１０３０などのデバイスのためのハードウェアコントローラと通信することができる。ディスプレイ１０３０は、テキスト及びグラフィックを表示するために使用することができる。いくつかの例では、ディスプレイ１０３０は、グラフィカル及びテキストの視覚的フィードバックをユーザに提供する。いくつかの実装形態では、ディスプレイ１０３０は、入力デバイスがタッチスクリーンである場合、または視線方向監視システムが装備されている場合など、入力デバイスをディスプレイの一部として含む。いくつかの実装態様では、ディスプレイは、入力デバイスとは別個である。ディスプレイデバイスの例は、ＬＣＤディスプレイ画面、ＬＥＤディスプレイ画面、投影型、ホログラフィック、または拡張現実ディスプレイ（ヘッドアップディスプレイデバイスまたはヘッドマウントデバイスなど）などである。ネットワークカード、ビデオカード、オーディオカード、ＵＳＢ、ＦｉｒｅＷｉｒｅまたは他の外部デバイス、センサ、カメラ、プリンタ、スピーカー、ＣＤ－ＲＯＭドライブ、ＤＶＤドライブ、ディスクドライブ、またはブルーレイデバイスなど、他のＩ／Ｏデバイス１０４０も、プロセッサに結合されることができる。さらなるＩ／Ｏデバイス１０４０は、ＣＰＵ１０１０の制御下で物品を転換させるように構成された転換器を含み得る。

いくつかの実装形態では、デバイス１０００は、ネットワークノードと無線または有線ベースで通信することができる通信デバイスも含む。通信デバイスは、例えば、ＴＣＰ／ＩＰプロトコルを使用して、ネットワークを通じて別のデバイスまたはサーバと通信することができる。デバイス１０００は、通信デバイスを利用して、複数のネットワークデバイスにわたって動作を分散させることができる。

ＣＰＵ１０１０は、メモリ１０５０へのアクセスすることができる。メモリは、揮発性記憶及び不揮発性記憶のための様々なハードウェアデバイスのうちの１つ以上を含み、読み取り専用メモリ及び書き込み可能メモリの両方を含むことができる。例えば、メモリは、ランダムアクセスメモリ（ＲＡＭ）、ＣＰＵレジスタ、読み取り専用メモリ（ＲＯＭ）、及びフラッシュメモリ、ハードドライブ、フロッピーディスク、ＣＤ、ＤＶＤ、磁気記憶デバイス、テープドライブ、デバイスバッファなどの書き込み可能な不揮発性メモリを含むことができる。メモリは、基礎となるハードウェアから分離された伝搬信号ではなく、したがって、メモリは非一時的である。メモリ１０５０は、オペレーティングシステム１０６２、高スループット異常検出プラットフォーム１０６４、及び他のアプリケーションプログラム１０６６などのプログラム及びソフトウェアを格納するプログラムメモリ１０６０を含むことができる。メモリ１０５０は、プログラムメモリ１０６０またはデバイス１０００の任意の要素に提供されることが可能なデータベース情報などを含むことができるデータメモリ１０７０も含むことができる。

いくつかの実装形態は、多数の他の汎用または専用コンピューティングシステム環境または構成で動作可能であり得る。本技術と共に使用するのに適し得る周知のコンピューティングシステム、環境、及び／または構成の例は、限定されないが、パーソナルコンピュータ、サーバコンピュータ、ハンドヘルドまたはラップトップデバイス、セルラー電話、携帯電話、ウェアラブルエレクトロニクス、ゲームコンソール、タブレットデバイス、マルチプロセッサシステム、マイクロプロセッサベースのシステム、プログラマブルコンシューマエレクトロニクス、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、上記のシステムまたはデバイスのいずれかを含む分散コンピューティング環境などを含む。

図７は、開示された技術のいくつかの実装形態が動作することができる環境１１００の概要を示すブロック図である。環境１１００は、１つ以上のクライアントコンピューティングデバイス１１０５Ａ－Ｄを含むことができ、その例は、デバイス１０００を含むことができる。クライアントコンピューティングデバイス１１０５は、サーバコンピューティングデバイス１１１０などの１つ以上のリモートコンピュータへのネットワーク１１３０を通じた論理接続を使用してネットワーク環境で動作することができる。

いくつかの実装形態では、サーバコンピューティングデバイス１１１０は、クライアント要求を受信し、サーバ１１２０Ａ－Ｃなどの他のサーバを通じてそれらの要求の履行を調整するエッジサーバであることができる。サーバコンピューティングデバイス１１１０及び１１２０は、デバイス１０００などのコンピューティングシステムを含むことができる。各サーバコンピューティングデバイス１１１０及び１１２０は、単一のサーバとして論理的に表示されるが、サーバコンピューティングデバイスはそれぞれ、同じまたは地理的に異なる物理的位置に位置する複数のコンピューティングデバイスを包含する分散コンピューティング環境であり得る。いくつかの実施態様では、各サーバコンピューティングデバイス１１２０は、サーバのグループに対応する。

クライアントコンピューティングデバイス１１０５及びサーバコンピューティングデバイス１１１０及び１１２０はそれぞれ、他のサーバ／クライアントデバイスに対するサーバまたはクライアントとして動作することができる。サーバ１１１０は、データベース１１１５に接続することができる。サーバ１１２０Ａ－Ｃは、それぞれ、対応するデータベース１１２５Ａ－Ｃに接続することができる。上述したように、各サーバ１１２０は、サーバのグループに対応することができ、これらのサーバの各々は、データベースを共有することができ、または独自のデータベースを有することができる。データベース１１１５及び１１２５は、情報を保管（例えば、格納）することができる。データベース１１１５及び１１２５は、単一のユニットとして論理的に表示されるが、データベース１１１５及び１１２５は各々、複数のコンピューティングデバイスを包含する分散コンピューティング環境であることができ、それらの対応するサーバ内に配置されることができるか、または同じまたは地理的に異なる物理的位置に配置されることができる。

ネットワーク１１３０は、ローカルエリアネットワーク（ＬＡＮ）またはワイドエリアネットワーク（ＷＡＮ）でありことができるが、他の有線または無線ネットワークであることもできる。ネットワーク１１３０は、インターネットまたは何らかの他のパブリックまたはプライベートネットワークであり得る。クライアントコンピューティングデバイス１１０５は、有線または無線通信などのネットワークインターフェースを介してネットワーク１１３０に接続することができる。サーバ１１１０とサーバ１１２０との間の接続は、別個の接続として示されているが、これらの接続は、ネットワーク１１３０もしくは別個のパブリックネットワークまたはプライベートネットワークを含む、ローカルネットワーク、広域ネットワーク、有線ネットワーク、または無線ネットワークのいずれかとすることができる。

図８は、いくつかの実装態様において、開示された技術を採用したシステムで使用されることができるコンポーネント１２００を示すブロック図である。コンポーネント１２００は、ハードウェア１２０２、一般ソフトウェア１２２０、及び特殊コンポーネント１２４０を含む。上述したように、開示された技術を実装するシステムは、処理ユニット１２０４（例えば、ＣＰＵ、ＧＰＵ、ＡＰＵなど）、ワークメモリ１２０６、ストレージメモリ１２０８、及び入出力デバイス１２１０を含む様々なハードウェアを使用することができる。コンポーネント１２００は、クライアントコンピューティングデバイス１１０５などのクライアントコンピューティングデバイスに、またはサーバコンピューティングデバイス１１１０または１１２０などのサーバコンピューティングデバイスに実装されることができる。

一般ソフトウェア１２２０は、オペレーティングシステム１２２２、ローカルプログラム１２２４、及び基本入出力システム（ＢＩＯＳ）１２２６を含む様々なアプリケーションを含むことができる。専用コンポーネント１０４０は、ローカルプログラム１０２４などの一般ソフトウェアアプリケーション１０２０のサブコンポーネントであり得る。特殊コンポーネント１２４０は、撮像モジュール１２４４、分類器モジュール１２４６、モデル訓練モジュール１２４８、及びデータを転送し特殊コンポーネントを制御するために使用することができる、インターフェース１２４２などの、コンポーネントを含むことができる。いくつかの実装形態では、コンポーネント１２００は、複数のコンピューティングデバイスにわたって分散されるコンピューティングシステム内にあることができか、または１つ以上の特殊コンポーネント１２４０を実行するサーバベースアプリケーションへのインターフェースであることができる。

当業者であれば、上述した図６～図８、及び上述したフロー図の各々において示されたコンポーネントは、様々な方法で変更され得ることを理解するであろう。例えば、論理の順序が再配置されてもよく、サブステップが並列で実行されてもよく、図示された論理が省略されてもよく、他の論理が含まれてもよい、等。いくつかの実装形態では、上述した１つまたは複数のコンポーネントは、本明細書に記載の１つまたは複数の処理を実行することができる。

特定の実施形態は、例として図面に示されており、上記で詳細に説明されているが、他の実施形態も可能である。例えば、いくつかの実施形態では、封筒内の異常を検出するための方法は、複数のＫバンド撮像センサモジュールを用いてコンベヤに沿って移動する封筒をスキャンすること、及びセンサモジュールから反射測定値を収集することを含むことができる。この方法は、封筒の１つまたは複数のボクセル厚水平３Ｄ画像を構築すること、次いで、１つまたは複数のボクセル層の平均の大きさを含む封筒の画像を生成することをさらに含むことができる。封筒の画像は、分類子からの封筒が異常を含む確率を提供する二値ロジスティック回帰分類器に供給されることができる。方法は、確率が選択された閾値よりも大きいときに、封筒をコンベヤから転換させることを含むことができる。

備考
上記の説明および図面は例示的なものであり、限定するものとして解釈されるべきではない。本開示の完全な理解を提供するために、多数の具体的な詳細が記載されている。しかしながら、いくつかの例では、説明を不明瞭にすることを回避するために、周知の詳細は説明されない。さらに、実施形態の範囲から逸脱することなく、様々な変更を行うことができる。

本明細書全体における「一実施形態」または「ある実施形態」は、実施例に関して説明した特定の特徴、構造、または特徴が本開示の少なくとも１つの実施形態に含まれていることを意味する。明細書の様々な場所における「１つの実施形態において」文句の出現は、必ずしも全てが同一の実施形態に言及するものではなく、また、別個のまたは代替的な実施形態が相互に他の実施形態を除外するものでもない。さらに、いくつかの実施形態によって示されるが他の実施形態では示されなくてもよい様々な特徴が記載される。同様に、いくつかの実施形態のための要件であるが他の実施形態の要件でなくてもよいさまざまな要件が記載される。

本明細書で使用される用語は、概して、当該技術分野において、本開示の文脈内で、及び各用語が使用される特定の文脈において、それらの通常の意味を有する。同じことが複数の方法で言うことができることを理解するであろう。したがって、代替言語及び同義語は、本明細書で論じられる用語のうちのいずれか１つ以上に使用されてもよく、用語が本明細書で詳述または論じられるかどうかに任意の特別な意義はない。一部の用語の同義語が提供されている。１つ以上の同義語の記載は、他の同義語の使用を排除するものではない。本明細書で論じられる任意の用語の例を含む、本明細書の任意の場所での例の使用は、例示にすぎず、本開示または任意の例示的な用語の範囲および意味をさらに限定することを意図するものではない。同様に、本開示は、本明細書に示される様々な実施形態に限定されない。別段の定義がない限り、本明細書で使用されるすべての技術用語および科学用語は、本開示が属する技術分野の当業者によって一般的に理解されるものと同じ意味を有する。矛盾する場合には、定義を含めて本明細書が優先される。

Claims

小包内の異常を検出するためのシステムであって、
小包を運ぶように動作するコンベヤと、
前記コンベヤに近接して配置され、ミリ波データを生成するように動作するミリ波送受信アンテナのアレイと、
前記ミリ波データを使用して３次元ミリ波画像を生成するように構成された画像再構成プロセッサと、
前記３次元ミリ波画像の少なくとも一部で動作するロジスティック回帰分類器を使用して前記小包が異常を含む確率を推定するように構成された分類プロセッサと
を備え、
前記分類プロセッサは、前記小包が異常を含む前記確率が選択された閾値を超えると、前記小包を転換するトリガ信号を生成する、システム。
小包内の異常を検出するためのシステムであって、
小包を運ぶように動作するコンベヤと、
前記コンベヤに近接して配置され、ミリ波データを生成するように動作するミリ波送受信アンテナのアレイと、
前記ミリ波データを使用して３次元ミリ波画像を生成するように構成された画像再構成プロセッサと、
前記３次元ミリ波画像の少なくとも一部で動作するロジスティック回帰分類器を使用して前記小包が異常を含む確率を推定するように構成された分類プロセッサと
を備え、
前記ロジスティック回帰分類器は、前記３次元ミリ波画像の１つ以上のボクセル厚スライスを利用して、前記小包が異常を含む前記確率を計算する、システム。
小包内の異常を検出するためのシステムであって、
小包を運ぶように動作するコンベヤと、
前記コンベヤに近接して配置され、ミリ波データを生成するように動作するミリ波送受信アンテナのアレイと、
前記ミリ波データを使用して３次元ミリ波画像を生成するように構成された画像再構成プロセッサと、
前記３次元ミリ波画像の少なくとも一部で動作するロジスティック回帰分類器を使用して前記小包が異常を含む確率を推定するように構成された分類プロセッサと
を備え、
前記異常は、前記小包内の紙以外の封入物を含む、システム。
小包内の異常を検出するためのシステムであって、
小包を運ぶように動作するコンベヤと、
前記コンベヤに近接して配置され、ミリ波データを生成するように動作するミリ波送受信アンテナのアレイと、
前記ミリ波データを使用して３次元ミリ波画像を生成するように構成された画像再構成プロセッサと、
前記３次元ミリ波画像の少なくとも一部で動作するロジスティック回帰分類器を使用して前記小包が異常を含む確率を推定するように構成された分類プロセッサと
を備え、
前記３次元ミリ波画像は、各々が関連するミリ波反射率を有するボクセルで構成される、システム。
前記ミリ波反射率は、実数部分及び虚数部分を含む、請求項４に記載のシステム。
前記ロジスティック回帰分類器は、前記３次元ミリ波画像である１つまたは複数のボクセル層の平均の大きさで動作する、請求項４に記載のシステム。
小包内の異常を検出するための方法であって、
複数のミリ波撮像センサモジュールを用いてコンベヤに沿って移動する小包をスキャンすることと、
前記複数のミリ波撮像センサモジュールから反射測定値を収集することと、
前記小包の１つまたは複数のボクセル厚の水平３Ｄ画像を構築することと、
１つまたは複数のボクセル層の平均の大きさを含む、前記小包の画像を生成することと、
前記小包の前記画像をロジスティック回帰分類器に供給することと、
前記ロジスティック回帰分類器から前記小包が異常を含む確率を受信することと、
前記確率が選択された閾値よりも大きいときに前記小包を前記コンベヤから転換させるようにすることと
を含む、方法。
前記ロジスティック回帰分類器は、ラベル付けされた画像のセットを使用して訓練される、請求項７に記載の方法。