JP2024517652A - 画像ビートパターン緩和のためのシステム及び方法 - Google Patents

画像ビートパターン緩和のためのシステム及び方法 Download PDF

Info

Publication number
JP2024517652A
JP2024517652A JP2023564385A JP2023564385A JP2024517652A JP 2024517652 A JP2024517652 A JP 2024517652A JP 2023564385 A JP2023564385 A JP 2023564385A JP 2023564385 A JP2023564385 A JP 2023564385A JP 2024517652 A JP2024517652 A JP 2024517652A
Authority
JP
Japan
Prior art keywords
image
image data
plane
array
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2023564385A
Other languages
English (en)
Other versions
JP7572571B2 (ja
Inventor
ペドロス-エンゲル アンドレアス
エム.ワッツ クレア
エス.レイノルズ マシュー
Original Assignee
スルーウェーブ インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by スルーウェーブ インコーポレイテッド filed Critical スルーウェーブ インコーポレイテッド
Publication of JP2024517652A publication Critical patent/JP2024517652A/ja
Application granted granted Critical
Publication of JP7572571B2 publication Critical patent/JP7572571B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/89Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G01S13/90Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/74Systems using reradiation of radio waves, e.g. secondary radar systems; Analogous systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/87Combinations of radar systems, e.g. primary radar and secondary radar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/89Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867Combination of radar systems with cameras
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/0016Technical microscopes, e.g. for inspection or measuring in industrial production processes

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Multimedia (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本出願は、2面反射ベースの3次元ミリ波イメージングにおける画像ビートパターン緩和に向けられている。一実施例では、アクティブミリ波イメージングは、ミリ波エネルギー源でシーンを照明し、反射されたエネルギーに基づいて画像を形成する。2面反射イメージングを使用することで、透過イメージングアプローチを悩ませる不透明対象物による閉塞を克服することができる。このシステムは、光学的に不透明な段ボール輸送箱内の製品のビートパターンのない3D画像を生成することができ、さらに、画像のビートパターン較正を伴う2面反射イメージングアプローチは、シーンの一部が遮蔽されていても、画像ボリュームの増加を示す。

Description

本開示は、2面反射ベースの3次元ミリ波イメージングにおける画像ビートパターン緩和のためのシステムおよび方法に関する。
本出願は、2021年4月23日に出願された米国特許仮出願第63/178874号の利益および優先権を主張するものであり、その開示内容は参照によりその全体が本明細書に組み込まれる。
アクティブミリ波イメージングは、ミリ波エネルギー源でシーンを照明し、反射されたエネルギーに基づいて画像を形成する。不透明部分と半透明部分とが混在する対象物(例えば、商取引における包装商品)をイメージングする場合、2面反射イメージングの使用は、透過イメージングアプローチを悩ませることになる対象物の不透明部分による閉塞を克服することができる。しかしながら、2面反射イメージングアプローチは、各面からの画像をコヒーレントに結合する際に、波長依存ビートパターンに悩まされる可能性がある。好ましい実施形態は、この画像のビートパターンをうまく緩和する。一例として、2面Kバンド3次元(3D)ミリ波イメージングシステムは、δ=17.07mm、δ=4.62mm、δ=7.26mmのシステム分解能を達成し、yおよびz方向の精度は0.8mmである。このシステムは、光学的に不透明な段ボール輸送箱内の製品のビートパターンのない3D画像を生成することが可能であり、画像のビートパターン較正を伴う2面アプローチでは、シーンの一部が隠されている場合でも画像ボリュームが増加することを示す。
いくつかの実施形態では、対象物の3次元ミリ波画像を生成するためのシステムは、第1の平面に配置され、第1の画像データを提供するように動作するミリ波送受信アンテナの第1のアレイと、第2の平面に配置され、第2の画像データを提供するように動作するミリ波送受信アンテナの第2のアレイと、画像再構成プロセッサとを含むことができる。対象物は、第1のアレイと第2のアレイとの間に配置され、第1の画像データ及び第2の画像データは、対象物の複素値のミリ波反射率を含む。画像再構成プロセッサは、ビートパターン較正演算子を用いて第1の画像データと第2の画像データとを結合し、対象物の3次元画像を得るように構成(例えば、プログラム)されることができる。
開示された技術のいくつかの態様において、ビートパターン較正演算子は、第1の画像データと第2の画像データの共役との和を含み、第1の画像データは第1の位相較正項によって重み付けされ、第2の画像データは第2の位相較正項によって重み付けされる。いくつかの態様において、第1の位相較正項は和(1+j)を含み、第2の位相較正項は和(1-j)を含み、ここでjは虚数単位を表す。様々な態様において、第1の平面と第2の平面は互いにほぼ平行に配置され、コンベアの反対側に配置される。いくつかの態様において、対象物は非金属容器内に収容される。開示された技術のいくつかの態様において、画像再構成プロセッサは、ビートパターン較正演算子を用いて、第1の画像データと第2の画像データとを結合するためにマッチドフィルタ再構成アルゴリズムを用いる。いくつかの態様において、第1のアレイは、2列に編成され、第1の平面上に配置されたミリ波送受信アンテナを含み、第2のアレイは、2列に編成され第2の平面上に配置されたミリ波送受信アンテナを含む。いくつかの態様では、コンベアの動きは、第1の平面に平行であり、第2の平面に平行である。いくつかの態様では、対象物は、第1の平面と第2の平面の間を移動するロボットによって運ばれる。
いくつかの実施形態では、対象物の3次元ミリ波画像内の画像ビートパターンを較正する方法は、第1の平面に配置されたミリ波送受信アンテナの第1のアレイから第1の画像データを受信することと、第2の平面に配置されたミリ波送受信アンテナの第2のアレイから第2の画像データを受信することと、ビートパターン較正演算子を使用して第1の画像データと第2の画像データとを結合し、対象物の3次元画像を得ることとを含むことができる。対象物は、第1のアレイと第2のアレイとの間に配置される。いくつかの態様において、第1の画像データと第2の画像データの結合は、マッチドフィルタ再構成アルゴリズムを採用する画像再構成プロセッサによって実行される。
本明細書に開示された態様は、これらおよび他の一般的な考えに関してなされたものである。また、比較的具体的な問題が論じられることがあるが、実施例は、本明細書で特定された具体的な問題の解決に限定されるべきではないことが理解されるべきである。
2面反射ベースの3Dミリ波イメージングシステムの例である。 2面反射ベースのイメージングシステムの、2面画像ビートパターンの較正を適用した場合と適用しない場合における、シミュレーションされたレンジ点拡がり関数のグラフの例である。 x=0:4m、y=0m、z=0mで片面イメージングした模擬点ターゲットの(x/y)平面における2次元点拡がり関数の例を示している。 x=0:4m、y=0m、z=0mの模擬点ターゲットのの(x/y)平面における2次元点拡がり関数の例を、較正なしの両面イメージングで示したものである。 x=0:4m、y=0m、z=0mで提案された画像ビートパターン較正を使用した両面イメージングによる模擬点ターゲットの(x/y)平面における2次元点拡がり関数の例を示す。 コンベアベースの包装商品用高スループットミリ波イメージングシステムの一側面の例である。 ミリ波イメージングシステムのシステム構成例である。 点ターゲットをエミュレートするために使用される正20面体を示すミリ波イメージングシステムの測定された点拡がり関数の一例を示す図である。 ミリ波イメージングシステムの測定された点拡がり関数のグラフ例を示しており、x軸、y軸、z軸における片面の場合の結果としての点拡がり関数を示している。 ミリ波イメージングシステムの測定された点拡がり関数のグラフ例を示しており、x軸、y軸、z軸における未較正の2面の場合の結果としての点拡がり関数を示している。 ミリ波イメージングシステムの測定された点拡がり関数のグラフ例を示しており、x軸、y軸、z軸における較正された2面の場合の結果としての点拡がり関数を示している。 測定された画像精度のテストパターンの例を示す図であり、金属テープで作られた様々なサイズの5つの正方形で構成されるテストターゲットを示している。 ターゲットの高さに対する3次元再構成の一定の高さzにおける2次元スライスを示す画像精度テストパターンの測定シーンの例を示す図である。 片面の場合のターゲットの深さに対する3次元再構成の一定の深さxにおける2次元スライスを示す画像精度テストパターンの測定シーンの例を示す図である。 ターゲットの高さに対する3次元再構成の一定の高さzにおける2次元スライスを示す画像精度テストパターンの測定シーンの例を示す図である。 未較正の2面の場合について、ターゲットの深さに対する3次元再構成の一定の深さxにおける2次元スライスを示す画像精度テストパターンの測定シーンの例を示す図である。 ターゲットの高さに対する3次元再構成の一定の高さzにおける2次元スライスを示す画像精度テストパターンの測定シーンの例を示す図である。 較正された2面の場合について、ターゲットの深さに対する3次元再構成の一定の深さxにおける2次元スライスを示す画像精度テストパターンの測定シーンの例を示す図である。 輸送箱による包装商品の計量例を示す図である。 15フィート(406m)のHDMIケーブルが積み重ねられた4つの段ボール箱で梱包された輸送箱による梱包品の実測例を示す図である。 6本のボトルが積み重ねられた輸送箱による包装商品の計量例を示す図である。 深さx=0:675mの輸送箱の前面に置かれたHDMIケーブルの(y/z)平面におけるスライスを示すシーンの例である。 深さx=0:675mの輸送箱の前面に置かれたHDMIケーブルの(y/z)平面におけるスライスを示すシーンの例である。 深さx=0:675mの輸送箱の前面に置かれたHDMIケーブルの(y/z)平面におけるスライスを示すシーンの例である。 深さx=0:843mの輸送箱の奥に置かれたHDMIケーブルの(y/z)平面におけるスライスを示すシーンの例である。 深さx=0:843mの輸送箱の奥に置かれたHDMIケーブルの(y/z)平面におけるスライスを示すシーンの例である。 深さx=0:843mの輸送箱の奥に置かれたHDMIケーブルの(y/z)平面におけるスライスを示すシーンの例である。 x平面に沿った(y/z)平面における、図9A、図9B、および図9Cに示されるシーンの平均規格化反射率を示すグラフの例である。 x平面に沿った(y/z)平面における、図9A、図9B、および図9Cに示されるシーンの平均規格化反射率を示すグラフの例である。 x平面に沿った(y/z)平面における、図9A、図9B、および図9Cに示されるシーンの平均規格化反射率を示すグラフの例である。 深さx=0:614mの輸送箱の前面に置かれた3つのシャンプーボトルの(y/z)平面におけるスライスを示すシーンの例である。 深さx=0:614mの輸送箱の前面に置かれた3つのシャンプーボトルの(y/z)平面におけるスライスを示すシーンの例である。 深さx=0:614mの輸送箱の前面に置かれた3つのシャンプーボトルの(y/z)平面におけるスライスを示すシーンの例である。 深さx=0:787mの輸送箱の奥に置かれた1つのシャンプーボトルの(y/z)平面におけるスライスを示すシーンの例である。 深さx=0:787mの輸送箱の奥に置かれた1つのシャンプーボトルの(y/z)平面におけるスライスを示すシーンの例である。 深さx=0:787mの輸送箱の奥に置かれた1つのシャンプーボトルの(y/z)平面におけるスライスを示すシーンの例である。 図10A、10B、10Cに示されるシーンの平均規格化反射率をx平面に沿った(x/y)平面で描いたグラフの例である。 図10A、10B、10Cに示されるシーンの平均規格化反射率をx平面に沿った(x/y)平面で描いたグラフの例である。 図10A、10B、10Cに示されるシーンの平均規格化反射率をx平面に沿った(x/y)平面で描いたグラフの例である。 開示された技術のいくつかの実装が動作可能なデバイスの概要を示すブロック図である。 開示された技術のいくつかの実装が動作可能な環境の概要を示すブロック図である。 いくつかの実装において、開示された技術を採用するシステムで使用することができる構成要素を示すブロック図である。
ここで紹介される技術は、以下の詳細な説明を添付図面と併せて参照することにより、より良く理解されるであろう。
本開示の様々な態様が、本明細書の一部を構成し、特定の例示的な態様を示す添付の図面を参照して、以下により詳細に説明される。しかしながら、本開示の異なる態様は、多くの異なる形態で実施され得、本明細書に記載された態様に限定されると解釈されるべきではなく、むしろ、これらの態様は、本開示が徹底的かつ詳細であり、当業者に態様の範囲を十分に伝えるように提供される。態様は、方法、システム、または装置として実施され得る。したがって、態様は、ハードウェア実装、完全にソフトウェア実装、またはソフトウェアおよびハードウェアの態様を組み合わせた実装の形態をとり得る。したがって、以下の詳細な説明は、限定的な意味で捉えられるものではない。
ミリ波は、15~300GHzの周波数範囲にある電磁波で、波長は1~20mmである。建築材料や非金属包装材料(段ボール、紙、プラスチック、布地、木材など)のような多くの光学的に不透明な材料は、ミリ波の周波数帯域ではほとんど透明である。さらに、X線とは対照的に、ミリ波は非電離電磁波であるため、低パワー密度で使用すれば、人体に安全である。これらの特性はすべて、人員スクリーニングや隠し武器の検知に有用であり、空港のセキュリティスクリーニングなどで広く導入されている。これらの既存のシステムは非常に高価で、フレームレートも0.25Hzなど非常に低い。
しかしながら、アクティブコヒーレントミリ波イメージャーの設計における最近の進歩により、3次元ミリ波イメージングが、セキュリティ分野以外の高スループットな商用アプリケーションに開放されつつある。例えば、ミリ波イメージャーは、建築資材の検査や、梱包された商品を自動的に検査し、対象物を数えたり、欠品、破損、液漏れなどの異常を検出したり、梱包内の空隙を推定して、商業出荷を効率的に行うために使用されることができる。余分な遮蔽が必要なX線装置とは異なり、低出力のミリ波イメージングシステムは、大きくて重い遮蔽トンネルを必要とすることなく、人間の作業員の近くで動作させることが可能である。
異種高密度対象物のシーンを有するアプリケーション、例えば、商業における包装された商品のような対象物をイメージングする場合、完全な関心領域を通る可視性は制限されるため、透過ベースのイメージングシステムは望ましくない場合がある。シーン内の対象物による閉塞を克服するには、2面反射ベースのイメージングアプローチが有効である。図1は、2面反射ベースの3次元ミリ波イメージングシステムを示す図である。図1に示されるように、各イメージングアレイはシーンに向かってエネルギーを送出し、各側面からの反射を集めて画像を形成する。層状複合材料の非破壊検査システムでは、複合材料を2つの側面から検査することで、層状構造の推定が向上する。自動乳房画像診断のための両面システムは、異常の可視性を向上させる。人の全面に隠された武器や禁制品を検出するために、2面のミリ波イメージングアレイを有する人員セキュリティスクリーニングシステムでは、反射率の高い対象物をイメージングすることで、隠されていた対象物の視認性を向上させることができる。
しかしながら、通常の光学カメラなどのインコヒーレントイメージングモダリティとは対照的に、コヒーレントイメージングシステムによって得られる画像は、画像内の各画素/ボクセルについて、大きさ/強度情報だけでなく位相情報も含んでいる。大きさと位相情報の組み合わせは、シーンの複素値特徴を抽出するために使用されることができる。例えば、幾何学的特徴を抽出するために複素値の画像データが使用される。複素数値画像データの他の使用例としては、複素数値データから対象物の誘電率などの材料特性を推定する方法がある。
シーン内の位相特徴を活用しながら、画像の後処理にかかる計算時間およびモデルの複雑さを最小限に抑えるには、イメージャーの各側面からの独立した画像よりも単一の画像が好ましい。このことは、短い解析時間と反応時間が求められる高スループット用途ではさらに重要になる。したがって、シーンに存在するすべての大きさと位相情報を保持する単一の融合画像を生成することが望ましい場合が、しばしばある。
対面する2つの独立したイメージングシステムの画像のコヒーレントな和は、結合された3Dミリ波画像において、使用される質問信号の中心周波数の波長に依存するビートパターンをもたらす。このような画像のビートパターンのシミュレーション例が図2に示される。図2は、2面反射ベースのイメージングシステムのレンジ点拡がり関数を、2面画像ビートパターンの較正を適用した場合と適用しない場合のシミュレーションを示している。片側の返送が時間反転される2つの側面の時間領域減算に基づくアプローチは、1次元のシナリオに対してのみ示されており、高次元(3次元)画像に一般化することはできない。
2面3Dミリ波イメージングシステムにおけるこれらの波長依存性画像ビートパターンの起源について議論し、これらの影響を軽減するための、単純だが効率的な新規アルゴリズムが提案される。片面および2面のアプリケーションにおける点拡がり関数の位相挙動を簡単に説明し、比較できるようにする画像位相変調項が提示される。最後に、2つの異なるパッケージ商品の例を用いて、提案されたアプローチが実験的に検証される。
(例示的なイメージングシステム)
図1は、2面3次元ミリ波イメージングシステムの一例である。このシステムは、対象物が一定の速度vでイメージングシステム内を移動している間に、シーン内の対象物の一連の同期したミリ波周波数応答測定を得る2つのイメージングシステムで構成される。図1は、この研究で使用される右手座標系を定義していることに留意すべきである。
一般性を損なうことなく、シーン内の単一点ターゲットと単一静的ミリ波センサーを仮定する。システムは単一点ターゲットのN個の周波数応答測定値{hn(k)}のセットを得る。1つの周波数応答測定は次のように与えられる。
ここで、jは虚数単位であり、kは波数(k=ω/C)であり、ωはrad/Sの質問信号角周波数であり、Cは光速であり、αはn番目の測定位置から点ターゲットまでのアンテナ利得と経路損失の組み合わせであり、xは点ターゲットの位置、Rn(X)=||x-x||は、n番目のミリ波センサーの位置xから点ターゲットまでの距離、ρは点ターゲットの複素値の反射率、ν(k)は測定ノイズである。
マッチドフィルタ画像形成アルゴリズムを適用すると、得られる片面画像Iss(x)は次のように与えられる。
ここで、sinc(x)=(sin(x))/X、kとkは、k空間中心周波数kc=(k+k)/2と、k空間帯域幅Bk=k-kを持つk空間の最大上限周波数と最小下限周波数であり、v’(x)と測定ノイズ{ν(k)}による画像のノイズである。xにおける範囲Rn(x)≒e (x-x)について一次のテイラー級数展開を用い、ここで()は転置演算子、e=(x-x)/||x-x||はxからxを指す単位ベクトルであり、結果として得られる片側画像Iss(x)は次のように近似できる。
図3Aは、x=0.4m、y=0m、z=0mにおける模擬点ターゲットの(x/y)平面における2次元点拡がり関数(PSF)の例を片面イメージングで示している。図3Bは、x=0.4m、y=0m、z=0mの模擬点ターゲットの(x/y)面における2D点拡がり関数(PSF)の例を、較正なしの両面イメージングで示している。図3Cは、x=0.4m、y=0m、z=0mの模擬点ターゲットの(x/y)平面における2次元点拡がり関数(PSF)の例を、提案する画像ビートパターン較正を用いた両面イメージングで示している。なお、ここに示したミリ波画像はすべて大きさのみを示しているが、位相情報が画像データに含まれている。シミュレーションされたイメージングシステムは、y軸に沿った1次元単一静的ミリ波センサーアレイで構成され、y=-0.5mからy=0.5mまでΔy=5mmの間隔で等距離に配置されている。周波数応答{hn(k)}のシミュレーションは、帯域幅3.6GHz、中心周波数25GHz、x方向に向いた10dB WR-42標準利得ホーンアンテナの理想的な放射パターンを用いて計算された。
しかしながら、片面画像再構成について説明したのと同じ原理を、図1に描かれているような両面イメージングシステムに対して用いると、コヒーレントに結合された画像が得られる。
その結果、図3Bに示されるように、x軸に沿った周期的なビートパターンによって歪められたPSFが得られる。
この動作の原因をよりよく理解するためには、手元の問題を単純化する必要がある。2面イメージングシステムが、図1に描かれているように距離Dで向かい合った2つの単一静的ミリ波センサーのみで構成されていると仮定する。すると、I(x)は、最初の画像センサーがx軸に沿って見て得られる画像であり、片面画像((4)参照)と等価であるため、次式で与えられる。
さらに、I(x)は、距離Dで第1のイメージングアレイに対向する第2のイメージングアレイによって得られる画像であり、そのため、画像は次式で与えられる。
ここで、βは第2の撮像アレイのアンテナ利得と経路損失の合成を表し、f=-e=-[1,0,0]Tは、第2のイメージング系の測定位置からxを指す単位ベクトルである。
その結果、両面画像Its(x)は次のように与えられる。
ここで、γ=α+Δγ=β-Δγであり、(β-α)/2変調項は、次のように与えられる。
さらに、式(4)は位相変調項を示す。
大きさの変調項は、図2と図3Bに見られる周期的なビートパターンの原因である。ビートパターンは周期Δx=π/k=λ/2で周期的であり、ここでλは中心周波数の波長である。
ts(x)=I(x)+I(x)がx軸依存の周期的なビートパターンをもたらす理由は、I(x)がI(x)と比較して本質的に複素共役再構成カーネルを表し、したがってMts(x)にcos関数およびsin関数をもたらすという事実による。両側のPSFの大きさの変調を緩和するために、I(x)とI(x)のコヒーレント結合は、Mts(x)のcos関数とsin関数の形成を避けるためにわずかに変更する必要がある。ビートパターン較正された2面画像Icts(x)は次のように与えられる。
ここで、()演算子は複素共役演算子を表す。式(12)は、対応するPSF変調項を明らかにしている。
したがって、Mss(x)と同様に、x依存の位相変調項のみとなる。得られたPSFが図2と図3Cに示されるが、画像のビートパターンが成功的に緩和されていることが示されている。
(2面イメージングシステム)
本システムは、コンベア(図1参照)の両側にD=1.5mの距離で配置された2つのイメージングアレイに12個ずつ配置された24個の多入力多出力(MIMO)ミリ波センサーモジュールで構成され、シーンを含む対象物を照明するために周波数変調されたチャープ波形を使用してKバンド(23~26.6GHz)で動作する。センサーは2つの垂直1次元アレイで構成され、アレイの長さはL=650mmである。2つの列は、y方向に160mm、z方向に50mm、わずかにずれている。しかしながら、両列は1つの論理アレイを形成している。大小のシーンをイメージングするために、異なる数のセンサーモジュールで異なるアレイが構築されることもできる。イメージングされる対象物はコンベアベルトに沿って平行に移動し、ミリ波センサーアレイを通過する。一般的な商業用パッケージ商品のアプリケーションでは、コンベアやロボットによるマテリアルハンドリング装置によって、最大3m/s(600ft/min)の速度で移動する。光学トリガーセンサーは、対象物が通過したときに測定をトリガーするために使用される。光学カメラ、深度カメラ(例えば、構造化光カメラ)、またはバーコードリーダーも、光学プレビュー画像を得るため、或いは、対象物に関する追加情報を収集するために提供されることができる。ロボット式マテリアルハンドリング装置、自動保管・検索システム(ASRS)シャトルまたはボットなどの他の運動源、またはミリ波センサーモジュールに対するイメージング対象物の任意の他の運動源が採用され得ることが理解されるべきである。また、対象物が静止したセンサーに対して相対的に移動する場合もあれば、センサーが静止した対象物に対して相対的に移動する場合もあることが理解されるべきである。画像のビートパターンを緩和するために提示されたアプローチは、完全に一般的であり、ここで説明されたものとは異なる設計のイメージングシステムによって生成されたコヒーレントなミリ波画像を組み合わせるためにも機能する。
図4は、包装商品用のコンベアベースの高スループットミリ波イメージングシステムの一側面の例である。図5は、ミリ波イメージングシステムのシステムアーキテクチャを示している。24xMIMOミリ波センサーの各々は、4つの送信(TX)アンテナと4つの受信(RX)アンテナから構成される。アンテナは広帯域パッチアンテナで、22-27GHzの周波数帯域で60ビーム幅を実現するように設計されている。ミリ波センサー内のアンテナ構成は、スパース周期アレイアプローチを用いて計算で最適化されている。TXアンテナはSP4Tスイッチ(SWI)に接続され、レーダートランシーバー特定用途向け集積回路(ASIC)から給電される。トランシーバーASICの内蔵電圧制御発振器は、低ノイズPLL(位相ロックループ)によって駆動され、23~26.6GHz帯のB=3.6GHzのチャープを5MHz/μsのチャープレートで生成する。また、時分割多重アクセス(TDMA)により、センサーごとに4つのTXアンテナからの返送を分離し、各センサーを4x4MIMOレーダーとして動作させる。センサーごとに2つの2チャンネルレーダーレシーバーASICが使用され、受信信号をI/Qベースバンド信号にダウンコンバートする。I/Qベースバンド信号は、チャンネル分離のためにバンドパスフィルター(BP)処理され、ノイズや帯域外妨害波を軽減する。ベースバンド信号は16ビットのアナログデジタルコンバーター(ADC)でサンプリングされ、デジタル領域でさらに処理される。それぞれのミリ波センサーは、システムに搭載される前に、Kバンド標準ゲインホーンに基づく後方散乱フィデューシャルの複数の空間分布測定を使用して、無響室で校正される。各MIMOミリ波センサーは、PSFサイドローブの増加など画像の歪みを最小限に抑えるため、金属製の取り付けフレームを使用して0.5mm以下の位置誤差で慎重に取り付けられる。
個々のミリ波センサーモジュールは、低電圧差動信号(LVDS)を使用するマルチレーン高速デジタルバスを介してコンセントレータに接続される。コンセントレータは、フィールドプログラマブルゲートアレイ(FPGA)とデュアルコアARMプロセッサを組み合わせたシステムオンチップ(SOC)を介して、すべてのセンサーモジュールを制御(CTL)および同期する。SOCはまた、光トリガーセンサーを読み取り、サンプリングイベントごとにADCサンプルをフェッチし、センサーデータをギガビットイーサネットリンク経由でホストPCにストリーミングする。ホストPCはLinuxを実行し、取得した測定データを収集してディスクに保存する。また、画像再構成をホストする。高速な画像再構成のために、グラフィックプロセッシングユニット(GPU)に最適化された分割逆画像再構成法が使用される。
(結果および考察)
好ましい実施形態は、包装商品に対するシステム解像度、画像精度、および画像処理性能を達成する。これらの実験に使用されたコンベアは、表1に示されるシステム設定で、最大送り速度0.3m/sで運転された。画像処理システムは標準的な実験室/オフィス環境に設置されている。反射やマルチパスにつながる可能性のある表面(コンクリートの床や金属製の窓のブラインドなど)をカバーするための吸収体は使用しなかった。スキャンされる対象物はコンベアシステムのスタート地点に置かれ、通過する対象物は光トリガーセンサーの前を通過し、ミリ波イメージングシステムが測定データを保存し、対象物が通過するたびに再構成を開始するトリガーとなる。
図6Aは、点ターゲットをエミュレートするために使用された正20面体を示すミリ波イメージングシステムの測定された点拡がり関数の例を示す図である。図6Bは、ミリ波イメージングシステムの測定された点拡がり関数のグラフ例を示す図であり、x、y、z軸における片面の場合の結果としての点拡がり関数を示している。図6Cは、ミリ波イメージングシステムの測定された点拡がり関数の例を示すグラフであり、x、y、z軸における未較正の2面の場合について得られた点拡がり関数を示している。図6Dは、ミリ波イメージングシステムの測定された点拡がり関数の例を示すグラフであり、x、y、z軸における較正された2面の場合について、結果として得られる点拡がり関数を示している。点拡がり関数(PSF)とシステムの達成可能な解像度を実験的に検証するため、3Dプリントした1次正20面体を金属塗料でコーティングし、x=0.6mで全方向コーナー反射体として使用し、レーダー断面積が増加した点散乱体を近似した(図6A参照)。図6B、図6C、図6Dに、片面、較正なし2面、較正あり2面の3つのケースにおけるx、y、z方向の詳細なPSFを示す。PSFの不規則な形状は、正20面体からの後方散乱信号がノイズフロアに近いため、画像ノイズ(多重散乱を含む)に起因する可能性が高い。しかしながら、x次元の2面PSFは、周期3mmの波長依存ビートパターンによって歪んでいることが明瞭にわかる。図6Dは、波長依存ビートパターンが成功的に緩和された較正後の2面画像のPSFを示している。これらのプロットから、システム分解能を求めることができる。システム分解能は、PSFの半値全幅(FWHM、3dB幅)によって定義される。測定されたシステム分解能が表2に示される。見てわかるように、レンジ分解能δは片面の場合(16.81mm)が最も小さく、2面の場合(19.13mm)では13.8%増加し、画像ビートパターンを較正した2面の場合(17.07mm)では1.5%増加した。クロスレンジ分解能δは片面の場合(4.32mm)が最も小さく、2面の場合(4.93mm)で14.1%増加し、画像ビートパターンを較正した2面の場合(4.62mm)では6.9%増加した。しかしながら、クロスレンジ分解能δは、較正なしの2面の場合(7.17mm)が最も小さい。これは、片面の場合(7.26mm)と較正された2面の場合(7.26mm)の両方に比べて1.3%の改善である。一般に、測定値は、図3A、3B、3Cに示されたシミュレーション例を確認するものであり、δ、δ、δのすべてが3つの異なるシステム間で類似していると予想されることを示唆している。違いは画像ノイズによるものである。
図7Aは、金属テープから作られた様々なサイズの5つの正方形で構成される使用されたテストターゲットを示す測定画像精度テストパターンの例を示す図である。図7B-1は、ターゲットの高さに対する3次元再構成の一定の高さzにおける2次元スライスを示す測定画像精度テストパターンの例を示すシーンである。図7B-2は、片面の場合のターゲットの深さに対する3次元再構成の一定の深さxにおける2次元スライスを示す測定画像精度テストパターンの例を示すシーンである。図7C-1は、ターゲットの高さに対する3次元再構成の一定の高さzにおける2次元スライスを示す画像精度測定テストパターンのシーンの例を示す図である。図7C-2は、未較正の2面の場合について、ターゲットの深さにおける3次元再構成の一定の深さxにおける2次元スライスを示す測定画像精度テストパターンの例を示すシーンである。図7D-1は、ターゲットの高さにおける3次元再構成の一定の高さzにおける2次元スライスを示す測定画像精度テストパターンの例を示すシーンである。図7D-2は、較正された2面の場合について、ターゲットの深さにおける3次元再構成の一定の深さxにおける2次元スライスを示す測定画像精度テストパターンの例を示すシーンである。
イメージングシステムの精度を検証するために、金属テープで作られた一組のテスト正方形(図7A参照)測定がイメージングされた。図7B-1、図7B-2、図7C-1、図7C-2、図7D-1、図7D-2は、片面、2面、および画像ビートパターン較正された2面の場合について、得られたミリ波画像を示している。すべての正方形は、実際の金属テープの厚さ(1mm未満)よりもxの方が厚く見えることがある。これは、δx>0のレンジ分解能によるものである。しかしながら、この点に関しては、すべての正方形が同じ挙動を示している。これらのテスト正方形の測定サイズと実際のサイズを、それぞれの水平(H)yと垂直(V)zの寸法について、表3に示す。サイズは各正方形のローカル-10dB閾値で測定した。y方向のオフセットは、片面の場合で1.3mm、較正なしの2面の場合で1.1mm、較正ありの2面の場合で0.8mmの標準偏差を示している。z方向のオフセットは、3つのケース全てで0.8mmの標準偏差を示している。図7C-1および図7C-2と、図7D-1および図7D-2とを比較すると、波長依存の画像ビートパターンの緩和の効果が明らかであることに留意されたい。
図8A、図8B、および図8Cは、包装商品の例を示している。図8Aは、輸送箱による包装商品の測定例を示している。図8Bは、15ft(406m)のHDMIスタックケーブルの4つの段ボール箱で梱包された輸送箱で測定された梱包品の例を示す図である。図8Cは、6本のボトルが積み重ねられた輸送箱による梱包品の測定例を示している。第1の対象物例は、305x305x315mm(幅×奥行き×高さ)の段ボール製輸送箱(図8A参照)に、それぞれ個別の段ボール箱に個別に梱包された15ft(4.6m)の汎用高速HDMIケーブル4本を収納したものである。1本のHDMIケーブルは、輸送箱の底に水平に、奥に向かって敷かれた。他の3本のHDMIケーブルは、最初のHDMIケーブルの上に垂直に配置され、輸送箱の奥に向かって3つ奥に配置されていた。HDMIケーブルの箱の向きを図8Bに示す。
図9A-図9Iは、段ボール輸送箱に入ったHDMIケーブルのような包装商品の例の再構成画像を示している。図9A、図9D、および図9Gは片面のケースの画像を示しており、図9B、図9E、および図9Hは未較正の2面のケースを示しており、図9C、図9F、および図9Iは較正された2面のケースを示している。図9A、図9B、および図9Cは、輸送箱の前面に置かれたHDMIケーブルを示すx=0.675 mの(y/z)平面のスライスを示しており、図9D、図9E、および図9fは、輸送箱の背面に置かれたHDMIケーブルを示すx=0.843mの(y/z)平面のスライスを示している。すべてのケースで、輸送箱の前面に置かれたHDMIケーブルが成功的に表現されていることに留意されたい。しかしながら、2面反射の場合のみ、背面のHDMIケーブルから反射されるエネルギーが大きくなっている。図9G、図9H、および図9Iは、xに沿った(y/z)平面における平均規格化反射率を示している。図9Hに示されている画像のビートパターンと、図9Iにおけるその較正に注意されたい。また、図9Gはx=0.675m付近に強い反射を示す領域のみを示しており、これは前面のHDMIケーブルに起因するものである一方、図9Hと図9Iはx=0.843m付近に強い反射を示す第2の領域も示しており、これは背面のHDMIケーブルに起因するものであることに注意されたい。
図10A、図10B、および図10Cは、深さx=0:614mで輸送箱の前面に置かれた3つのシャンプーボトルの(y/z)平面におけるスライスを示す例示的なシーンを示している。図10D、図10E、および図10Fは、深さx=0:787mで輸送箱の背面に置かれた単一のシャンプーボトルの(y/z)平面におけるスライスを示す例示的なシーンを示している。図10G、図10H、および図10Iは、xに沿った(x/y)平面における平均規格化反射率を示すグラフの例である。第2の対象物例は、シャンプーの入った6本のボトルが入った305x305x315mm(幅×奥行き×高さ)の段ボール輸送箱(図10A参照)で構成される。ボトルは直立し、箱の前面の1列目に3本、2列目に2本、最後の列で撮像アレイ♯1から最も遠い位置に1本入っている。輸送箱内のシャンプーボトルの向きを図10Cに示す。図10A、図10D、および図10Gは片面のケースの画像を示しており、図10B、図10E、および図10hは未較正の2面のケースを示しており、図10C、図10F、および図10Iは較正された2面ケースを示している。図10A、図10B、および図10Cは、輸送箱の前面に置かれたシャンプーボトルの1列目を描いたx=0.614mの(y/z)面のスライスを示しており、図10D、図10E、および図10Fは、輸送箱の背面に置かれたシャンプーボトルを描いたx=0.787mの(y/z)面のスライスを示している。前述のHDMIケーブルの例と同様に、全てのケースで、輸送箱の前面に置かれたシャンプーボトルが成功的に表現されている。この場合も、2面反射の場合のみ、奥のシャンプーボトルのエネルギーが大きく反射している。図10G、図10H、及び図10Iは、xに沿った(y/z)平面における平均規格化反射率を示している。図10Hに示される画像のビートパターンと、図10Iにおけるその較正に注意されたい。また、図10Gはx=0.614m付近の強い反射を示す領域のみを示しており、これは前面のシャンプーボトルに起因する。一方、図10Hと図10Iはx=0.787m付近の強い反射を示す第2の領域も示しており、これは前面のボトルによってイメージングアレイ♯1から遮蔽されたボックスの背面のシャンプーボトルに起因する。
これらの例では、2つの2面のケースの画像は、片面のケースよりも大きなx値に対してより多くのシーン情報を描写していることが分かる。その理由は、片面イメージングアレイに最も近い対象物をイメージングすると、奥の対象物が隠れるからである。しかしながら、2面イメージングアプローチでは、2つ目のイメージングアレイが裏面の欠落したボクセルを埋めることができ、内容物を含むダンボール輸送箱の全体像をよりよく表現することができる。
2面反射ベースの3Dミリ波イメージングシステムにおいて、波長依存性の画像ビートパターンを緩和する方法を提示し、実験的に検証した。2面イメージングアプローチは、片面イメージャーの場合、対象物をイメージングする際の画像体積を増加させることに成功し、画像ビートパターン較正は、画像におけるこの影響をうまく緩和できることが示された。さらに、片面イメージングと2面イメージングの解像度は、2面イメージングの場合、δ=17.07mm、δ=4.62mm、δ=7.26mmと同程度であることが示された。画像精度の面では、yの標準偏差は、片面の場合の1.3mmに対し、2面の場合は0.8mmに改善されることが示され、zの標準偏差は、3つのケースすべてで0.8mmであることが示された。本イメージングシステムは、2面イメージングアプローチにより、高速で移動する(最大3m/s)コンベアベルト上を移動する包装商品を箱全体にわたって自動検査することが可能である。ミリ波センサーの出力密度は低いため、遮蔽物を追加することなく、作業者の近くで動作させることができる。
ミリ波センサーの位置xにおける周波数応答測定値h(k)は、次のように与えられる。
ここで、jは虚数単位、kは波数(k=ω/C)であり、ωはrad/sの質問信号角周波数、Cは光速、αはn番目のミリ波センサーから点ターゲットまでのアンテナ利得と経路損失、xは点ターゲットの位置、R(x)=||x-x||はn番目のミリ波センサーの位置から点ターゲットまでの距離、ρは点ターゲットの複素反射率、ν(k)は測定ノイズである。
片面画像Iss(x)は次のように与えられる。
ここで、kとkはそれぞれ、質問信号のk空間の最大上限周波数と最小下限周波数であり、ν’(x)は測定ノイズによる画像のノイズである。
式(14)を式(15)に代入し、並べ替えると次のようになる。
ここで、sinc(x)=(sin(x))/x、kはk空間の中心周波数、B=k-kはk空間の帯域幅である。
における範囲R(x)の一次のテイラー級数展開で、次のように与えられる。
ここで、()は転置演算子、e=(x-x)/||x-x||はxからxを指す単位ベクトルであり、画像I(x)は次のように近似できる。
2面イメージングシステムの画像Its(x)は、2つのサブシステムの個々の画像I(x)及びI(x)のコヒーレント結合として与えられる。
ここで、第2のシステムはM個の測定位置から構成され、{β}はアンテナ利得と経路損失を表し、fはm番目の測定位置からxを指す単位ベクトルである。
両面イメージングシステムは、図1に描かれているように、距離Dで互いに対向する2つの単一静的ミリ波センサーのみで構成されていると仮定する。その結果得られる2面画像Its(x)は次のように与えられる。
これは、f=-e=-[1,0,0]T、及び、sinc(-x)=sinc(x)による。アイデンティティγ=α+Δγ=β-Δγ、Δγ=(β-α)/2を代入すると、次のようになる。
再整理してオイラーの公式を用いると、最終的な結果は次のようになる。
ビートパターン較正された2面画像Icts(x)は次のように与えられる。
ここで、()演算子は複素共役演算子を表す。式(25)と(26)を(31)に代入すると、次のようになる。
複素アイデンティティR{x}=(x+x)/2、及び、T{x}=(x-x)/2(ここで、<{x}、及び、={x}は、それぞれ実部と虚部を表す)により、Icts(x)は次のように簡略化して書き直すことができる。
ρ/ρ=e-2∠ρであり、ここで、∠ρはρのフェザー角度であることに留意されたい。
(適切なシステム)
ここに開示された技術は、専用ハードウェア(例えば、回路)として、ソフトウェアおよび/またはファームウェアで適切にプログラムされたプログラマブル回路として、または専用回路とプログラマブル回路との組み合わせとして実施されることができる。したがって、実施形態は、コンピュータ、マイクロプロセッサ、プロセッサ、および/またはマイクロコントローラ(または他の電子デバイス)にプロセスを実行させるために使用され得る指令がその上に記憶された機械可読媒体を含み得る。機械可読媒体には、光ディスク、コンパクトディスク読み取り専用メモリ(CD-ROM)、光磁気ディスク、ROM、ランダムアクセスメモリ(RAM)、消去可能プログラマブル読み取り専用メモリ(EPROM)、電気的消去可能プログラマブル読み取り専用メモリ(EEPROM)、磁気カードまたは光カード、フラッシュメモリ、または電子指令を記憶するのに適した他のタイプの媒体/機械可読媒体が含まれるが、これらに限定されない。
いくつかの実装を、図を参照してより詳細に後述する。図11は、開示された技術のいくつかの実装が動作可能なデバイスの概要を示すブロック図である。デバイスは、例えば、ミリ波画像を取り込む装置1100のハードウェアコンポーネントを含むことができる。装置1100は、CPU(プロセッサ)1110に入力を提供し、アクションを通知する1つまたは複数の入力デバイス1120を含むことができる。アクションは、典型的には、入力デバイスから受信した信号を解釈し、通信プロトコルを使用してCPU1110に情報を伝達するハードウェアコントローラによって媒介される。入力デバイス1120は、例えば、マウス、キーボード、タッチスクリーン、ミリ波画像センサー(例えば、24GHzまたはその近傍で動作するKバンドミリ波画像センサー)、赤外線センサー、タッチパッド、ウェアラブル入力デバイス、カメラまたは画像ベースの入力デバイス、マイク、または他のユーザー入力デバイスを含む。
CPU1110は、単一の処理ユニット、またはデバイス内の複数の処理ユニット、または複数のデバイスにわたって分散された処理ユニットであることができる。CPU1110は、例えば、PCIバスまたはSCSIバスなどのバスを使用して、他のハードウェアデバイスに結合されることができる。CPU1110は、ディスプレイ1130などのデバイス用のハードウェアコントローラと通信することができる。ディスプレイ830は、テキストおよびグラフィックを表示するために使用されることができる。いくつかの実施例では、ディスプレイ1130は、グラフィカルおよびテキストの視覚的フィードバックをユーザーに提供する。いくつかの実施態様では、ディスプレイ1130は、入力デバイスがタッチスクリーンである場合、または視線方向監視システムを有する場合など、ディスプレイの一部として入力デバイスを含む。いくつかの実装では、ディスプレイは入力デバイスとは別である。ディスプレイデバイスの例としては、LCDディスプレイスクリーン、LEDディスプレイスクリーン、投影型、ホログラフィック、または拡張現実ディスプレイ(ヘッドアップディスプレイデバイスやヘッドマウントデバイスなど)などがある。他のI/Oデバイス1140も、ネットワークカード、動画カード、オーディオカード、USB、FireWire、または他の外部デバイス、センサー、カメラ、プリンタ、スピーカー、CD-ROMドライブ、DVDドライブ、ディスクドライブ、またはBlu-Rayデバイスなど、プロセッサに結合されることができる。いくつかの例では、I/Oデバイス1140はまた、ロボットマテリアルハンドリングシステムまたはコンベアベルトの速度の制御を含み得る。
いくつかの実施態様では、装置1100は、ネットワークノードと無線または有線ベースで通信可能な通信デバイスも含む。通信デバイスは、例えばTCP/IPプロトコルを使用して、ネットワークを介して他のデバイスまたはサーバと通信することができる。装置1100は、通信デバイスを利用して、複数のネットワークデバイスに動作を分散させることができる。
CPU1110は、メモリ1150へのアクセスを有することができる。メモリは、揮発性および不揮発性記憶用の様々なハードウェアデバイスのうちの1つまたは複数を含み、読み取り専用メモリおよび書き込み可能メモリの両方を含むことができる。例えば、メモリは、ランダムアクセスメモリ(RAM)、CPUレジスタ、読み取り専用メモリ(ROM)、およびフラッシュメモリ、ハードドライブ、フロッピーディスク、CD、DVD、磁気記憶装置、テープドライブ、デバイスバッファなどの書き込み可能な不揮発性メモリを含むことができる。メモリは、基礎となるハードウェアから切り離された伝播信号ではなく、そのため、メモリは非一時的である。メモリ1150は、動作システム1162、画像ビートパターン緩和プラットフォーム1164、および他のアプリケーションプログラム1166などのプログラムおよびソフトウェアを記憶するプログラムメモリ1160を含むことができる。メモリ1150は、プログラムメモリ1160または装置1100の任意の要素に提供されることができるデータベース情報などを含むことができるデータメモリ1170も含むことができる。
いくつかの実装は、多数の他の汎用または特殊目的のコンピューティングシステム環境または構成で動作可能である。本技術と共に使用するのに適した周知のコンピューティングシステム、環境、および/または構成の例としては、パーソナルコンピュータ、サーバコンピュータ、ハンドヘルドまたはラップトップデバイス、セルラー電話、携帯電話、ウェアラブル電子機器、ゲーム機、タブレットデバイス、マルチプロセッサシステム、マイクロプロセッサベースのシステム、プログラマブル家電、ネットワークPC、ミニコンピュータ、メインフレームコンピュータ、上記のシステムまたはデバイスのいずれかを含む分散コンピューティング環境などが挙げられるが、これらに限定されない。
図12は、開示された技術のいくつかの実装が動作することができる環境1200の概要を示すブロック図である。環境1200は、1つまたは複数のクライアントコンピューティングデバイス1205A-Dを含むことができ、その例はデバイス1200を含むことができる。クライアントコンピューティングデバイス1205は、サーバコンピューティングデバイス1210などの1つまたは複数のリモートコンピュータへのネットワーク1230を介したロジカル接続を使用して、ネットワーク環境で動作することができる。
いくつかの実装では、サーバコンピューティングデバイス1210は、クライアント要求を受信し、サーバ1220A-Cなどの他のサーバを介してそれらの要求の履行を調整するエッジサーバであることができる。サーバコンピューティングデバイス1210および1220は、装置1100などのコンピューティングシステムを構成することができる。各サーバコンピューティングデバイス1210および1220は、論理的には単一のサーバとして表示されるが、サーバコンピューティングデバイスはそれぞれ、同じまたは地理的に離れた物理的位置に配置された複数のコンピューティングデバイスを包含する分散コンピューティング環境であることができる。いくつかの実装では、各サーバコンピューティングデバイス1220は、サーバのグループに対応する。
クライアントコンピューティングデバイス1205およびサーバコンピューティングデバイス1210、1220は、それぞれ、他のサーバ/クライアントデバイスに対するサーバまたはクライアントとして動作することができる。サーバ1210は、データベース1215に接続することができる。サーバ1220A-Cはそれぞれ、対応するデータベース1225A-Cに接続することができる。上述したように、各サーバ1220は、サーバのグループに対応することができ、これらのサーバの各々は、データベースを共有することができ、または独自のデータベースを有することができる。データベース1215および1225は、情報をウェアハウス(例えば、格納)することができる。データベース1215および1225は、論理的には単一のユニットとして表示されるが、データベース1215および1225はそれぞれ、複数のコンピューティングデバイスを包含する分散コンピューティング環境であることができ、対応するサーバ内に配置されることができ、または同じもしくは地理的に異なる物理的位置に配置されることができる。
ネットワーク1230は、ローカルエリアネットワーク(LAN)またはワイドエリアネットワーク(WAN)であることができるが、他の有線または無線ネットワークであることもできる。ネットワーク1230は、インターネットまたは他のパブリックネットワークまたはプライベートネットワークであり得る。クライアントコンピューティングデバイス1205は、有線または無線通信などのネットワークインターフェースを介してネットワーク1230に接続されることができる。サーバ1210とサーバ1220との間の接続は、別個の接続として示されているが、これらの接続は、ネットワーク1230または別個の公衆または私設ネットワークを含む、あらゆる種類のローカル、広域、有線、または無線ネットワークであることができる。
図13は、いくつかの実装において、開示された技術を採用するシステムで使用されることができるコンポーネント1300を示すブロック図である。コンポーネント1000は、ハードウェア1302、一般的なソフトウェア1320、および特殊化されたコンポーネント1340を含む。上述したように、開示される技術を実装するシステムは、処理ユニット1304(例えば、CPU、GPU、APUなど)、ワーキングメモリ1306、ストレージメモリ1308、および入出力デバイス1310を含む、様々なハードウェアを使用することができる。コンポーネント1300は、クライアントコンピューティングデバイス1305のようなクライアントコンピューティングデバイス、またはサーバコンピューティングデバイス1210のようなサーバコンピューティングデバイス上に実装されることができる。
一般ソフトウェア1320は、動作システム1322、ローカルプログラム1324、および基本入力出力システム(BIOS)1326を含む、さまざまなアプリケーションを含むことができる。特化コンポーネント1340は、ローカルプログラム1324などの一般ソフトウェアアプリケーション1320のサブコンポーネントであることができる。特化コンポーネント1340は、イメージングモジュール1344、速度抽出モジュール1346、速度プロファイルモジュール1348、画像再構成モジュール1350、およびインターフェース1342のような特化されたコンポーネントをデータ転送および制御するために使用することができるコンポーネントを含むことができる。いくつかの実装において、コンポーネント1300は、複数のコンピューティングデバイスにわたって分散されるコンピューティングシステムにあることができ、または、特化されたコンポーネント1340の1つまたは複数を実行するサーバベースのアプリケーションへのインターフェースであることができる。
当業者であれば、上述した図11-図13に図示されたコンポーネント、および上述した各フロー図に図示されたコンポーネントは、様々な方法で変更されてよいことを理解するであろう。例えば、ロジックの順序を並べ替えたり、サブステップを並行して実行したり、図示したロジックを省略したり、他のロジックを含めたりされてよい。いくつかの実装では、上述したコンポーネントのうちの1つまたは複数が、本明細書に述べられるプロセスのうちの1つまたは複数を実行することができる。
(結論)
ここで示された結果は、画質は、ミリ波イメージングシステムの視野にわたってイメージングされる対象物の正確な動きの知識に依存する可能性があることを示している。総パワーやヒストグラム範囲などの画像焦点の定量的測定は、対象物をイメージングする際の動きプロファイルが考慮されると、たとえ対象物の速度が一定に近い場合であっても、改善を示す可能性がある。速度の大きな変動が存在する場合、改善の程度はさらに大きくなる可能性がある。
実際の商業用途や産業用途では、イメージングする対象物を様々な理由で一貫性のない速度で移動させることがあり、画像を生成するためにレーダーイメージングシステムで動きを説明することがある。イメージングアレイに隣接して設置された光学カメラから抽出された動きベクトルを使用することで、有益な結果が得られる可能性があり、様々な速度プロファイルをリアルタイムで較正することができる。動き推定とレーダーイメージングを組み合わせたシステムは、速度が一定でないシーンの高スループットスキャンアプリケーションに利用できる。
以上から、本発明の特定の実施形態が、例示の目的で本明細書に述べられたが、本発明の範囲から逸脱することなく様々な変更がなされ得ることが理解されるであろう。従って、本発明は、添付の特許請求の範囲による以外は限定されない。

Claims (15)

  1. 対象物の3次元ミリ波画像を生成するシステムであって、
    第1の平面に配置され、第1の画像データを提供するように動作するミリ波送受信アンテナの第1のアレイと、
    第2の平面に配置され、第2の画像データを提供するように動作するミリ波送受信アンテナの第2のアレイと、
    画像再構成プロセッサと、
    を備え、
    前記対象物は、前記第1のアレイと前記第2のアレイとの間に配置され、
    前記第1の画像データおよび前記第2の画像データは、前記対象物をイメージングする複素値のミリ波反射率を備え、
    前記画像再構成プロセッサは、ビートパターン較正演算子を用いて前記第1の画像データと前記第2の画像データとを結合し、前記対象物の3次元画像を得るように構成される、
    システム。
  2. 前記ビートパターン較正演算子は、前記第1の画像データと前記第2の画像データの共役との和を備え、前記第1の画像データは第1の位相較正項によって重み付けされ、前記第2の画像データは第2の位相較正項によって重み付けされる、請求項1に記載のシステム。
  3. 前記第1の位相較正項は和(1+j)を備え、前記第2の位相較正項は和(1-j)を含み、jは虚数単位を表す、請求項2に記載のシステム。
  4. 前記第1の平面と前記第2の平面とが互いにほぼ平行に、且つコンベアの反対側に配置される、請求項1に記載のシステム。
  5. 前記対象物が非金属容器内に収容される、請求項1に記載のシステム。
  6. 前記画像再構成プロセッサは、前記ビートパターン較正演算子を用いて前記第1の画像データと前記第2の画像データとを結合するために、マッチドフィルタ再構成アルゴリズムを用いる、請求項1に記載のシステム。
  7. 前記第1のアレイは、2列に編成され、前記第1の平面上に配置されたミリ波送受信アンテナを備え、前記第2のアレイは、2列に編成され、前記第2の平面上に配置されたミリ波送受信アンテナを備える、請求項1に記載のシステム。
  8. 前記コンベアの動きは、前記第1の平面に平行であり、前記第2の平面に平行である、請求項4に記載のシステム。
  9. 前記対象物は、前記第1の平面と前記第2の平面との間を移動するロボットによって運ばれる、請求項1に記載のシステム。
  10. 対象物の3次元ミリ波画像における画像ビートパターンを構成する方法であって、
    第1の平面に配置されたミリ波送受信アンテナの第1のアレイから第1の画像データを受信することと、
    第2の平面に配置されたミリ波送受信アンテナの第2のアレイから第2の画像データを受信することと、
    ビートパターン較正演算子を用いて前記第1の画像データと前記第2の画像データとを結合し、前記対象物の前記3次元画像を得ることと、
    を備え、
    前記対象物は、前記第1のアレイと前記第2のアレイとの間に配置される、
    方法。
  11. 前記ビートパターン較正演算子は、前記第1の画像データと前記第2の画像データの共役との和を備え、前記第1の画像データは第1の位相較正項によって重み付けされ、前記第2の画像データは第2の位相較正項によって重み付けされる、請求項10に記載の方法。
  12. 前記第1の位相較正項は和(1+j)を備え、前記第2の位相較正項は和(1-j)を含み、jは虚数単位を表す、請求項11に記載の方法。
  13. 前記第1の平面と前記第2の平面とが互いにほぼ平行に、且つコンベアの反対側に配置される、請求項10に記載の方法。
  14. 前記対象物が非金属容器内に収容される、請求項10に記載の方法。
  15. 前記第1の画像データと前記第2の画像データの結合は、マッチドフィルタ再構成アルゴリズムを用いて画像再構成プロセッサによって実行される、請求項10に記載の方法。
JP2023564385A 2021-04-23 2022-03-31 画像ビートパターン緩和のためのシステム及び方法 Active JP7572571B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202163178874P 2021-04-23 2021-04-23
US63/178,874 2021-04-23
PCT/US2022/022757 WO2022225666A1 (en) 2021-04-23 2022-03-31 Systems and methods for image beat pattern mitigation

Publications (2)

Publication Number Publication Date
JP2024517652A true JP2024517652A (ja) 2024-04-23
JP7572571B2 JP7572571B2 (ja) 2024-10-23

Family

ID=

Also Published As

Publication number Publication date
EP4327126A1 (en) 2024-02-28
US20240183976A1 (en) 2024-06-06
WO2022225666A1 (en) 2022-10-27

Similar Documents

Publication Publication Date Title
JP7379622B2 (ja) システム及び検査方法
CN107980101B (zh) 模块化成像系统
KR102635123B1 (ko) 보안 검사 장비 및 그 제어 방법
RU2515956C2 (ru) Идентификация потенциально опасных веществ с помощью активных электромагнитных волн
US10247809B2 (en) Method for operating a handheld screening device and a handheld screening device
Federici et al. Terahertz imaging using an interferometric array
US8957810B2 (en) Near-field millimeter wave imaging
JP2006267102A (ja) 輸送可能な物品をマイクロ波画像生成を使用して検査するシステム及び方法
EP3114464A1 (en) Ultra wide band detectors
US11385380B2 (en) System and method for debugging millimeter wave security inspection instrument
Nowok et al. Millimeter wave radar for high resolution 3D near field imaging for robotics and security scans
US10732276B2 (en) Security system, method and device
CA2787425C (en) Super-resolution imaging radar
CN109471197A (zh) 安检设备及其控制方法
Pedross-Engel et al. A two-sided, reflection-based K-Band 3-D millimeter-wave imaging system with image beat pattern mitigation
Pedross-Engel et al. High-throughput 3-D millimeter-wave imaging of packaged goods
JP7572571B2 (ja) 画像ビートパターン緩和のためのシステム及び方法
JP2024517652A (ja) 画像ビートパターン緩和のためのシステム及び方法
US10371813B2 (en) Systems and methods for using time of flight measurements for imaging target objects
Phippen et al. Height estimation for 3-D automotive scene reconstruction using 300-GHz multireceiver radar
Kahl et al. Stand-off real-time synthetic imaging at mm-wave frequencies
WO2021014536A1 (ja) 検査システム、及び、検査方法
Ginolhac et al. SAR processors based on signal or interference subspace detector
Lukin et al. Noise Waveform SAR for 2D and 3D imaging
Zhuravlev et al. Using captured data by RGB-D video sensor in numerical simulation environment for the development of new microwave personnel screening system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231220

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20231220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240319

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240618

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240813

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20240912

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20241010