JP2024514618A - Ｄｎｎ基盤の人の顔分類 - Google Patents

Ｄｎｎ基盤の人の顔分類 Download PDF

Info

Publication number
JP2024514618A
JP2024514618A JP2023562878A JP2023562878A JP2024514618A JP 2024514618 A JP2024514618 A JP 2024514618A JP 2023562878 A JP2023562878 A JP 2023562878A JP 2023562878 A JP2023562878 A JP 2023562878A JP 2024514618 A JP2024514618 A JP 2024514618A
Authority
JP
Japan
Prior art keywords
signal
radar
frequency
face
reflected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023562878A
Other languages
English (en)
Inventor
ウン イ，ジェ
スン イム，ヘ
ウク イ，ソン
Original Assignee
ビットセンシング インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ビットセンシング インコーポレイテッド filed Critical ビットセンシング インコーポレイテッド
Publication of JP2024514618A publication Critical patent/JP2024514618A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/08—Systems for measuring distance only
    • G01S13/32—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S13/34—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal
    • G01S13/342—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal using sinusoidal modulation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/08—Systems for measuring distance only
    • G01S13/32—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S13/34—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal
    • G01S13/343—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal using sawtooth modulation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/35—Details of non-pulse systems
    • G01S7/352—Receivers
    • G01S7/356—Receivers involving particularities of FFT processing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/411—Identification of targets based on measurements of radar reflectivity
    • G01S7/412—Identification of targets based on measurements of radar reflectivity based on a comparison between measured values and known or stored values
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G06F17/141—Discrete Fourier transforms
    • G06F17/142—Fast Fourier transforms, e.g. using a Cooley-Tukey type algorithm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03D—DEMODULATION OR TRANSFERENCE OF MODULATION FROM ONE CARRIER TO ANOTHER
    • H03D7/00—Transference of modulation from one carrier to another, e.g. frequency-changing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Electromagnetism (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Power Engineering (AREA)
  • Discrete Mathematics (AREA)
  • Algebra (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

レーダ信号及び測定環境から標的情報を抽出することは、レーダを利用して周波数変調連続波送信信号を送信するステップと、多重アンテナ素子において人の顔から反射した反射信号を受信するステップと、混合信号を生成するために、ミキサーを利用して送信信号と反射信号を乗じるステップと、正弦波信号を含む基底帯域信号を生成するために、低域通過フィルタを介して混合信号を通過させるステップと、抽出された周波数を生成するために、基底帯域信号からそれぞれの正弦波信号の周波数を抽出するステップと、抽出された周波数を利用して人の顔とレーダとの距離を測定するステップとを含む。

Description

本発明は、人の顔分類に関し、より詳しくは、ディープニューラルネットワーク（ＤＮＮ）基盤の人の顔分類に関する。
無線探知及び距離測定（即ち、レーダ）センサは、多様な分野において多様な目的で広く使用されている。近年は、レーダセンサによって使用される周波数帯域と帯域幅がミリ波（ｍｉｌｌｉｍｅｔｅｒ ｗａｖｅ）帯域に広がり、より小さいサイズと高い範囲の分解能（ｒｅｓｏｌｕｔｉｏｎ）を有するレーダへの関心が高くなっている。つまり、レーダセンサの小型化が進められており、レーダセンサは他の用途で活用されることが期待される。
本発明では、人の顔分類を説明する。
一実施例において、レーダ信号及び測定環境から標的情報を抽出する方法が開示される。前記方法は、レーダを利用して周波数変調連続波（ｆｒｅｑｕｅｎｃｙ－ｍｏｄｕｌａｔｅｄ ｃｏｎｔｉｎｕｏｕｓ ｗａｖｅ；ＦＭＣＷ）送信信号を送信するステップと、多重アンテナ素子において人の顔から反射した反射信号を受信するステップと、混合信号を生成するために、ミキサー（ｍｉｘｅｒ）を利用して送信信号と反射信号を乗じるステップと、正弦波信号を含む基底帯域信号を生成するために、低域通過フィルタ（ｌｏｗ ｐａｓｓ ｆｉｌｔｅｒ）を介して混合信号を通過させるステップと、抽出された周波数を生成するために、基底帯域信号からそれぞれの正弦波信号の周波数を抽出するステップと、抽出された周波数を利用して人の顔とレーダとの距離を測定するステップとを含む。
他の実施例において、方法が開示される。前記方法は、レーダの複数の受信アンテナ素子それぞれから入力信号を受信するステップと、前記入力信号は、顔から反射した信号であり、フィルタリングされた出力を生成するために、入力信号を低域通過フィルタリングするステップと、離散フィルタ出力を生成するために、フィルタリングされた出力をアナログ－デジタル変換器を介して通過させ、サンプリング周波数でサンプリングするステップと、顔とレーダとの距離を計算するために、離散フィルタ出力に変換を適用するステップと、距離に対応する周波数インデックスを生成するために、変換された出力に誤警報率検出技術を適用するステップとを含む。
他の実施例において、レーダ信号及び測定環境から標的情報を抽出するためのコンピュータプログラムを格納する非一時的なコンピュータ読み取り可能な格納媒体が開示される。前記コンピュータプログラムは、コンピュータに、レーダを利用して周波数変調連続波送信信号を送信し、多重アンテナ素子において人の顔から反射した反射信号を受信し、混合信号を生成するために、ミキサーを利用して送信信号と反射信号を乗じ、正弦波信号を含む基底帯域信号を生成するために、低域通過フィルタを介して混合信号を通過させ、抽出された周波数を生成するために、基底帯域信号からそれぞれの正弦波信号の周波数を抽出し、抽出された周波数を利用して人の顔とレーダとの距離を測定させる実行可能な命令を含む。
本発明の他の特徴及び長所は、例として、本発明の態様を例示する本願の説明から明らかになるはずである。
特許又は出願ファイルには、カラーで実行された図面が１つ以上含まれている。カラー図面が含まれたこの特許又は特許出願刊行物の写本は、要請及び必要な手数料を支払えば官庁から提供される。
構造及び作動の全て関する本発明の詳細事項は、添付された図面の研究によって部分的に収集されても良く、ここで、類似した参照番号は類似した部分を示す。
本発明の一実施例に係る、送信されたＦＭＣＷレーダ信号の時間－周波数の傾きを示す。 本発明の一実施例に係るミリ波ＦＭＣＷレーダである。 本発明の一実施例に係る、単一送信アンテナ及び３個の受信アンテナ素子を含むＦＭＣＷレーダの回路レイアウトを示す。 顔に対するレーダの方位角（ａｚｉｍｕｔｈ ａｎｇｌｅ）を示す。 顔に対するレーダの仰角（ｅｌｅｖａｔｉｏｎ ａｎｇｌｅ）を示す。 本発明の一実施例に係るＭＬＰネットワークの構造を示す。 本発明の一実施例に係る、レーダの中心から顔が約３０～５０ｃｍ離れている際の２０秒間における８人の人の顔の累積Ｆ（Ｌ３［ｎ］）を示す。 本発明の一実施例に係る、レーダの中心から顔が約３０～５０ｃｍ離れている際の２０秒間における８人の人の顔の累積Ｆ（Ｌ３［ｎ］）を示す。 本発明の一実施例に係る、レーダの中心から顔が約３０～５０ｃｍ離れている際の２０秒間における８人の人の顔の累積Ｆ（Ｌ３［ｎ］）を示す。 本発明の一実施例に係る、レーダの中心から顔が約３０～５０ｃｍ離れている際の２０秒間における８人の人の顔の累積Ｆ（Ｌ３［ｎ］）を示す。 本発明の一実施例に係る、レーダの中心から顔が約３０～５０ｃｍ離れている際の２０秒間における８人の人の顔の累積Ｆ（Ｌ３［ｎ］）を示す。 本発明の一実施例に係る、レーダの中心から顔が約３０～５０ｃｍ離れている際の２０秒間における８人の人の顔の累積Ｆ（Ｌ３［ｎ］）を示す。 本発明の一実施例に係る、レーダの中心から顔が約３０～５０ｃｍ離れている際の２０秒間における８人の人の顔の累積Ｆ（Ｌ３［ｎ］）を示す。 本発明の一実施例に係る、レーダの中心から顔が約３０～５０ｃｍ離れている際の２０秒間における８人の人の顔の累積Ｆ（Ｌ３［ｎ］）を示す。 人の顔がレーダから約４０ｃｍ離れている際の１つの被写体に対するＦ（Ｌ３［ｎ］）を示す。 本発明の一実施例に係る、ＤＮＮを訓練する（ｔｒａｉｎｉｎｇ）ためのデータベクトルを示す。 本発明の一実施例に係る、赤色の長方形のボックスで表示された信号部分のみを利用するプロセスを示す。 顔の周辺の距離に対応するＦＦＴインデックスの構成を示す。 本発明の一実施例に係る、８個の異なる被写体に対する平均顔分類性能を示す。 本発明の一実施例に係る分類性能を示す。 本発明の一実施例に係る、レーダ信号及び信号測定環境から標的情報を抽出するためのプロセスのフローチャートである。 本発明の一実施例に係る、得られたレーダ信号でディープニューラルネットワーク（ＤＮＮ）を訓練するためのプロセスのフローチャートである。
上述したように、レーダセンサは、多様な分野において多様な用途で広く使用されている。レーダセンサによって使用される周波数帯域と帯域幅がミリ波帯域に広がり、より小さいサイズと高い範囲の分解能を有するレーダへの関心が高くなっている。つまり、レーダセンサの小型化が進められており、レーダセンサは、既存の用途ではなく他の用途で活用されることが期待される。一例において、顔及びジェスチャ認識のために、レーダがスマートフォンに統合されている。他の例において、他のスマートフォンを見つけるために、超広帯域（ｕｌｔｒａ－ｗｉｄｅｂａｎｄ；ＵＷＢ）レーダがスマートフォンに統合されている。
本発明の特定の実施例は、小型ミリ波レーダセンサを利用して人の顔を分類することを提供する。一実施例において、レーダセンサは、（例えば、６１ＧＨｚ帯域で作動する）周波数変調連続波形（ｆｒｅｑｕｅｎｃｙ－ｍｏｄｕｌａｔｅｄ ｃｏｎｔｉｎｕｏｕｓ ｗａｖｅｆｏｒｍ）を送信し、空間的に分離された受信アンテナ素子を利用して反射信号を受信する。人の顔の形と構成は人それぞれ異なっているため、レーダ信号の反射特性も互いに区別される。多重アンテナ素子から受信された信号を利用し、ディープニューラルネットワーク（ＤＮＮ）を人の顔分類のために訓練することができる。実際のレーダ信号でＤＮＮを訓練する際、多くの人の顔を高い正確度で分類することができる。
このような説明を読めば、様々な実施例及びアプリケーションにおいて本発明を実施する方法が明らかになるはずである。しかし、本発明の様々な実施例が本明細書において説明されるが、このような実施例は単なる例示であり、限定されるものではないと理解されなければならない。よって、様々な実施例に対する詳細な説明は本開示の範囲又は幅を限定すると解釈されてはならない。
Ｉ．紹介
本発明においては、小型レーダセンサで人の顔を認識するだけでなく、他の人の顔も区別できるように提案する。マシンラーニング技術の急速な発展により、ここ数年間、レーダセンサを利用した標的（ｔａｒｇｅｔ）分類研究が活発に進行されている。例えば、レーダセンサデータにマシンラーニング技術を適用することで多様な人間行動が分類された。また、一部は自動車レーダセンサを利用して歩行者、自転車乗り、自動車のようなレーダ標的を識別することを提案した。最近でも反射したレーダ信号による無人航空機を区別する研究が進行されている。このような全ての対象分類研究は、被写体の反射属性が異なっているという事実に基づく。同様に、人の顔の形と構成も人それぞれ異なっているため、適切なマシンラーニング技術をレーダデータに適用すれば、人の顔は充分に区別されることができる。電波（ｒａｄｉｏ ｗａｖｅ）を利用した顔分類を通じて、カメラ基盤の顔認識方式の弱点は補完されることができる。
本発明の一実施例において、レーダセンサは、６１ＧＨｚの中心周波数で作動し、周波数変調連続波（ＦＭＣＷ）を送信する。その後、人の顔に反射した信号は多重受信アンテナ素子によって受信される。前記アンテナ素子は、高度及び方位角方向に配列されるため、受信された信号には人の空間的な顔特徴が含まれる。また、人それぞれ顔の構成成分が異なっているため、反射特性も人それぞれ異なる。よって、多重アンテナ素子から受信された信号を連結してディープニューラルネットワーク（ＤＮＮ）の入力として利用すれば、それぞれの人の顔を区別できる効果的な分類器を設計することができる。
本発明の一実施例において、提案されたＤＮＮ基盤の顔分類方法の分類性能を評価し、他の既存の特徴基盤マシンラーニング技術と比較する。提案されたＤＮＮ基盤方法の長所は、特徴抽出段階が不要という点である。レーダセンサデータに対するＤＮＮの適用可能性は既に確認されている。しかし、殆どのディープラーニング基盤の標的分類研究は、低周波帯域又は相対的に距離の遠い標的で作動する大規模レーダシステムに重点を置いたものである。
セクションＩＩに開示された実施例は、レーダ信号及び信号測定環境から標的情報を抽出するための信号処理方法を説明する。セクションＩＩＩに開示された実施例は、得られたレーダ信号及び当該分類結果でＤＮＮを訓練する方法を説明する。セクションＩＶは結論を含む。
ＩＩ．６１ＧＨｚのＦＭＣＷレーダを利用した標的測定
Ａ．ＦＭＣＷレーダにおける信号処理
ＦＭＣＷレーダシステムにおいて、送信信号の周波数は、時間と共に線形的に変わる。図１は、送信されたＦＭＣＷレーダ信号の時間－周波数の傾きを示す。ここで、１、２、・・・、Ｎは、各フレームのインデックスである。よって、フレームの送信信号Ｔ（ｔ）は、次のように表される。
ここで、ＡＴは、送信信号の振幅、ｆｃは、変調信号の中心周波数、ΔＢは、動作帯域幅、ΔＴは、スイープ時間である。前記送信信号は、周波数が急激に増加するため、アップチャープ（ｕｐ－ｃｈｉｒｐ）信号とも言う。前記アップチャープ信号がＬ標的から反射すれば、受信信号Ｒ（ｔ）は、次のように表されても良い。
ここで、ＡＲｌ（ｌ＝１、２、…、Ｌ）は、１番目の標的から反射した信号の振幅であり、ｆｄｌは、１番目の標的とレーダの間の相対速度によって発生するドップラー周波数であり、ｔｄｌは、１番目の標的とレーダの間の相対距離による時間遅延である。１番目の標的の情報を含む所望の信号はｄｌ（ｔ）と表される。また、ｎ（ｔ）は、受信アンテナにおいて追加されるノイズを表す。
前記送信信号Ｔ（ｔ）は、周波数ミキサーを介して通過することにより前記受信信号Ｒ（ｔ）と乗じられる。ミキサーＭ（ｔ）の出力は、次のように与えられる。
基底帯域信号を抽出するために、Ｍ（ｔ）は、低域通過フィルタを通過する。フィルタ出力は、次のように近似されても良い。
ここで、Ｌ（．）は、低域通過フィルタ出力を表す。
Ｌ（Ｍ（ｔ））は、正弦波信号の和であるので、フーリエ変換を適用して各信号の周波数を抽出する。抽出された周波数（ｆ＾ｌ）（ここで、ｌ＝１、２、．．．、Ｌ）は、次のように表される。
ここで、Ｒｌとｖｌは、それぞれ１番目の標的とレーダの間の相対距離と相対速度であり、ｃは、送信されたレーダ信号の伝播速度である。
人の顔から反射したレーダ信号を測定する際、ｆ＾ｌは、（ΔＢ／ΔＴ）ｔｄｌ（＝ΔＢ／ΔＴ×２Ｒｌ／ｃ）に近似されても良い。つまり、顔の多くの測定ポイントがレーダに対して固定されているため、標的速度によるｆｄｌは無視しても良い。よって、ビート周波数を利用して顔とレーダとの距離を推定することができ、これは、次のように計算される。
ここで、ΔＴ、ΔＢ、ｃは、既にレーダシステムに知られている。
Ｂ．測定環境
図２ａは、本発明の一実施例に係るミリ波ＦＭＣＷレーダである。図２ｂは、本発明の一実施例に係る、単一送信アンテナ及び３個の受信アンテナ素子を含むＦＭＣＷレーダの回路レイアウトを示す。
図２ａ及び図２ｂに示すように、ＦＭＣＷレーダは、単一送信アンテナと３個の受信アンテナ素子（方位方向に２個、高度方向に２個、各方向において１つは１つのアンテナ素子によって共有される）を利用する。隣接したアンテナ素子間の距離は０．５ｃ／ｆｃである。前記アンテナシステムにおいて、Ｔｘが信号、Ｒｘ１、Ｒｘ２、及びＲｘ３を送信すれば、同時に反射信号を受信する。たとえ図２ｂに示された実施例は３個の受信アンテナ素子（Ｒｘ１、Ｒｘ２、及びＲｘ３）のみを示しているが、他の実施例において任意の数（２個以上）のアンテナ素子が使用されても良い。また、数学式１のｆｃ、ΔＢ、ΔＴは、それぞれ６１ＧＨｚ、６ＧＨｚ、１２．５ｍｓに設定されている。また、ＦＭＣＷレーダ信号の１つのフレームは、１２．５ｍｓの信号送信時間（ｔｒａｎｓｍｉｓｓｉｏｎ ｔｉｍｅ）と３７．５ｍｓの信号処理時間とにより構成された５０ｍｓの長さである。
前記レーダを利用して図３ａ及び図３ｂに示すような実験環境を設定し、反射したレーダ信号を収集する。図３ａは、顔に対するレーダの方位角を示し、図３ｂは、顔に対するレーダの仰角を示す。
８人の被写体を有する１つの例示的な実施例において、レーダ信号は、レーダと顔との距離を３０ｃｍから５０ｃｍに変更することで測定される。また、顔とレーダの前面方向との方位角及び仰角（例えば、図３ａ及び図３ｂのθ及びΦ）によって反射信号が変わり得るので、受信されたレーダ信号は、θ及びΦを－５°から＋５°まで変更しながら得られる。
ＩＩＩ．ＤＮＮを利用した提案された顔分類
Ａ．ＤＮＮの基本原理
ＤＮＮ構造の最も代表的なタイプは、各層が隣接層と完全に連結されている多層パーセプトロン（Ｍｕｌｔｉｌａｙｅｒ Ｐｅｒｃｅｐｔｒｏｎ；ＭＬＰ）である。図４は、前記ＭＬＰネットワークの１つの例示的な構造を示す。上記例示的な構造には、入力層、多重隠れ層及び出力層が含まれる。また、各層は多数のノードにより構成され、各ノードは、隣接した層のノードと連結される。図４に示されたネットワークは、順伝播（ｆｏｒｗａｒｄ ｐｒｏｐａｇａｔｉｏｎ）と逆伝播（ｂａｃｋｗａｒｄ ｐｒｏｐａｇａｔｉｏｎ）の繰り返し過程を通じて訓練される。順伝播において、各層は、重みと活性化関数を利用することによって値を次の層に伝達する。Ｘｉ （ｋ）及びＹｏ （ｋ）は、ｋ層目の入力及び出力ベクトルと言い、Ｗ（ｋ）をｋ層目と（ｋ＋１）層目との重み行列と言う。してみると、（ｋ＋１）層目の入力ベクトルは、次のように表されても良い。
ここで、ｆａは、ネットワークにおいて非線形性を生成する活性化関数を表す。それに対し、重み値は、逆伝播において各重みに対する費用関数の傾きを計算することによりアップデートされる。逆伝播前の重み値をＷｂとすると、逆伝播後にアップデートされた重みＷａは、次の通りである。
ここで、αは、学習の速度を決定する学習率を表し、Ｊは、訓練された値と実際の値との誤差を示す費用関数を表す。エポック（ｅｐｏｃｈ）と呼ばれる順伝播及び逆伝播の何れも、重み行列Ｗ（ｋ）を適切に訓練するために数回繰り返される。
Ｂ．データ学習（ｌｅａｒｎｉｎｇ）のためのレーダ信号の前処理
ＤＮＮを利用して分類器を訓練するためには、入力形式を適切に決定しなければならない。よって、適切な入力はレーダ信号の特性によって公式化される。各受信アンテナ素子から受信された信号をＲｑ（ｔ）（ｑ＝１、２、３）と表すとすると、各受信信号に対する低域通過フィルタ出力は、Ｌ（Ｔ（ｔ）Ｒｑ（ｔ））＝Ｌ（Ｍｑ（ｔ））とする。前記低域通過フィルタ出力がアナログ－デジタル変換器を通過し、ｆｓ（＝１／Ｔｓ）のサンプリング周波数でサンプリングされれば、離散フィルタ出力は、次のように表されても良い。
ここで、Ｎｓは、サンプリングされたポイントの数を表す。セクションＩＩ－Ａで言及した通り、顔とレーダとの距離は、サンプリングされた信号に高速フーリエ変換（ＦＦＴ）を適用することで抽出されることができ、Ｆ（Ｌｑ［ｎ］）と表されても良い。
例えば、図６は、人の顔がレーダから約４０ｃｍ離れている際に１つの被写体に対するＦ（Ｌ３［ｎ］）を示す。よって、ＦＦＴポイント（ＮＦ）の数はＮｓと同一に設定される。順序付き統計定数誤警報率（ｏｒｄｅｒｅｄ ｓｔａｔｉｓｔｉｃ ｃｏｎｓｔａｎｔ ｆａｌｓｅ ａｌａｒｍ ｒａｔｅ；ＯＳ－ＣＦＡＲ）検出アルゴリズムをＦ（Ｌ３［ｎ］）に適用すれば、顔の位置に対応するＦＦＴインデックスを抽出することができる。数学式６から、本発明のレーダシステムにおいて、１つのＦＦＴインデックスは２．５ｃｍと計算されることができる。上記したステップにおいて、ＦＦＴインデックスを抽出することは、顔とレーダとの距離を中心に出力を適切にバウンディングする（ｂｏｕｎｄｉｎｇ）ことを含む（図８を参照）。上述した出力が直列に使用される場合（即ち、連結される場合）、利用されるネットワークはＤＮＮに分類されるという点に留意しなければならない。その他には、上述した出力を並列に使用すると、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ；ＣＮＮ）というまた別のディープラーニング技術に分類される。
図５ａ乃至図５ｈは、８人の人の顔がレーダの中心から約３０～５０ｃｍ離れている際に２０秒間累積したＦ（Ｌ３［ｎ］）を示す。ＦＦＴインデックスを数学式６で変換することで、レーダと人の顔との距離を推定することができる。図５ａ乃至図５ｈに示すように、反射信号の強度は、４０ｃｍ付近で強い。図５ａ乃至図５ｈは、同じ距離に位置した互いに異なる顔に対する受信信号の差を示す。また、方位軸に位置したアンテナ素子の間には位相差ｅｊπｓｉｎθが存在し、高度軸に位置したアンテナ素子の間には位相差ｅｊπｓｉｎφが存在する。よって、Ｆ（Ｌ１［ｎ］）、Ｆ（Ｌ２［ｎ］）、及びＦ（Ｌ３［ｎ］）も同じ顔に対して互いに異なるパターンを有する。
一般的に、レーダデータに対するＤＮＮの入力として、抽出された信号の特徴ベクトルが使用されるか、時間領域又は周波数領域の信号が全体的に使用されることができる。本発明において全てのアンテナ素子から受信された信号は、１つの信号ベクトルに合成され、ＤＮＮの入力として使用される。つまり、上記した観察を基に、ＤＮＮを訓練するためのデータ入力の形態は、次のように表現される。
図７に示すように、３個の受信アンテナ素子があるので、Ｘｉ［ｋ］は１×３Ｎｓベクトルとなる。前記データベクトルは、各アップチャープ信号から抽出される（図１を参照）。入力データは、セクションＩＩ－Ｂで言及したフレーム単位で生成される。各被写体に対し、測定条件（例えば、距離及び角度）を変更することで、２，０００個の入力データポイント（即ち、Ｎ＝２０００）が得られる。しかし、全体信号を利用する際に計算量が増加し、Ｘｉ［ｋ］には標的情報を含まない不要な信号が含まれているので、前記ベクトルは直接使用されない。従って、標的近傍の信号が使用される。
図８に示す一例において、赤色の長方形のボックスで表示された信号部分のみが使用される。その後、前記ＯＳ－ＣＦＡＲ検出アルゴリズムは各フレームに適用され、顔の位置に対応するＦＦＴインデックスが抽出される。抽出されたＦＦＴインデックス近傍の信号は切断されてネットワークに対する入力として使用され、次のように表されても良い。
ここで、ｋｔｇｔは、顔までの距離に対応するＦＦＴインデックスであり、ｋｃｕｔは、顔の周辺の距離が考慮された距離のインデックスである。この場合、顔から前後に約１０ｃｍ程度がカバーされることのできるよう、ｋｃｕｔは４に設定される。よって、精製された入力Ｘｉ［ｋ］は、図９に示すように構成されても良い。
Ｃ．ＤＮＮからの顔分類結果
セクションＩＩＩ－Ｂで言及した通り、８人に対して１６，０００個のデータポイントが得られた。また、全体データの７０％、１５％及び１５％は、それぞれ訓練、検証及びテストセットとして使用された。本発明において利用されるＤＮＮの構造は図４に示されている。上述したように、Ｘｉ［ｋ］は、ネットワークに対する入力ベクトルとして使用される。また、前記ネットワークの出力層は、顔１～顔８として表される。
一般的に、ＤＮＮ構造の分類性能に最大の影響を及ぼす要因は、隠れ層の数（Ｎｌ）、各層のノード数（Ｎｎ）、及び活性化関数の種類である。よって、我々のレーダシステムに適したネットワーク構造を見つけるために、上述した媒介変数を変更して分類正確度を比較する。前記分類性能は、先ず、隠れ層の数を１（Ｎｌ＝１）に設定し、隠れ層のノード数を増加させることによって確認した。
図１０は、８個の互いに異なる被写体に対する平均顔分類性能を示す。Ｎｎが２０以上であれば、分類性能にそれ以上の増加がないことが確認された。よって、Ｎｎを２０に固定し、Ｎｌを変更することで分類性能を確認した。図１１に示すように、Ｎｌが５以上の際に前記分類性能は略収束した。よって、このようなネットワークにおいて、ＮｌとＮｎの値はそれぞれ５と２０に設定される。ＮｌとＮｎを推定する順番を変えて同じ演算を行った際、２つの因子の値は略類似のものと計算された。表１は、ＮｌとＮｎがそれぞれ５と２０である際の混同行列（ｃｏｎｆｕｓｉｏｎ ｍａｔｒｉｘ）を示す。８人の被写体に対する平均分類正確度は、平均９２％以上であった。
ＤＮＮの他にも、分類性能は、レーダ標的分類に広く利用されるサポートベクターマシン（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ；ＳＶＭ）及びツリー基盤の方法を利用して評価される。前記ＳＶＭ、バギングツリー（ｂａｇｇｉｎｇ ｔｒｅｅ）、ブースティングツリー（ｂｏｏｓｔｉｎｇ ｔｒｅｅ）を通じて分類器を訓練するためには、データベクトル（Ｘｉ［ｋ］）から特徴を抽出する過程が必要である。一部の実施例において、振幅及びドップラー周波数のような特徴が、分類器を訓練するために反射信号から抽出された。また、平均、分散、歪度（ｓｋｅｗｎｅｓｓ）、尖度（ｋｕｒｔｏｓｉｓ）のように分布の統計的特性を示す特徴は、他の物品で使用された。このようなマシンラーニング技術の性能は、抽出された特徴によって大きく変わる。よって、本発明において、数学式１１の信号は、同じ入力データに対する分類性能を判断するために、２つのマシンラーニング技術の全てに対して入力データとして使用される。つまり、Ｘｉ［ｋ］の各サンプルポイントは、２つの分類器の何れにおいても特徴として作用する。
表２は、次のような分類結果を示す。これらの方法の平均分類正確度は、提案された方法の平均分類正確度よりも低かった。このような特徴基盤マシンラーニング方法の場合、適切な特徴が抽出され、分類器の訓練に使用されれば、平均分類正確度が向上され得る。しかし、本発明において提案する方法の長所は、このような特徴を抽出することなく高い分類性能を示すということである。
また、３個の受信アンテナ素子ではなく１つのアンテナ素子のみで受信された信号が使用された際も分類性能が確認された。つまり、入力形式は、次のように表されても良い。
ここで、
上記の場合、受信アンテナ素子インデックスｑは、１、２、３であることができる。Ｘｉ’［ｋ］が使用されれば、入力データの大きさは１／３に減る。ＤＮＮの構造（例えば、ノード数、隠れ層数、及び活性化関数）を維持しつつ、分類性能はＸｉ’［ｋ］を利用して評価される。この場合、平均分類正確度は７３．７％であった。ＮｌとＮｎが変わったものの、８０％以上の分類正確度を得ることは難しかった。１つのアンテナ素子のみを使用すれば、受信されたレーダ信号から標的の方位角又は仰角情報を抽出することができず、アンテナの多様性も減少する。よって、より多くの受信アンテナ素子から受信されたレーダ信号を使用すれば、平均分類性能は向上されることができる。
図１２は、本発明の一実施例に係る、レーダ信号及び信号測定環境から標的情報を抽出するためのプロセス１２００のフローチャートである。図１２に示すように、ブロック１２１０において、周波数変調連続波（ＦＭＣＷ）信号が、レーダを利用して送信される。ブロック１２２０において、人の顔から反射した信号は、多重受信アンテナ素子により受信される。アンテナ素子は高度及び方位角方向に配列されるため、受信された信号には人の空間的な顔特徴が含まれる。また、人それぞれ顔の構成成分が異なっているため、反射特性も人それぞれ異なる。
ブロック１２３０において、送信信号は、混合信号を生成するために、ミキサーを利用して受信信号と乗じられる。その後、ブロック１２４０において、正弦波信号を含む基底帯域信号を生成するために、混合信号が低域通過フィルタを介して通過される。ブロック１２５０において、それぞれの正弦波信号の周波数は、基底帯域信号から抽出される。一実施例において、それぞれの正弦波信号の周波数は、フーリエ変換を適用することで抽出される。次いで、ブロック１２６０において、顔とレーダとの距離が、抽出された周波数を利用して測定される。多重アンテナ素子から受信された信号が連結され、その後、連結された信号は、ディープニューラルネットワーク（ＤＮＮ）への入力として利用され、それぞれの人の顔を区別及び／又は認識する。
一実施例において、レーダ信号及び測定環境から標的情報を抽出するための方法が開示される。前記方法は、レーダを利用して周波数変調連続波送信信号を送信するステップと、多重アンテナ素子において人の顔から反射した反射信号を受信するステップと、混合信号を生成するために、ミキサーを利用して前記送信信号と前記反射信号を乗じるステップと、正弦波信号を含む基底帯域信号を生成するために、低域通過フィルタを介して前記混合信号を通過させるステップと、抽出された周波数を生成するために、前記基底帯域信号からそれぞれの正弦波信号の周波数を抽出するステップと、前記抽出された周波数を利用して前記人の顔と前記レーダとの距離を測定するステップとを含む。
一実施例において、前記方法は、多重アンテナ素子から信号を受信するステップと、信号を連結するステップとを含む。一実施例において、前記方法は、人の顔を区別して認識するために、ディープニューラルネットワークに連結された信号を入力するステップをさらに含む。一実施例において、ディープニューラルネットワークは、多層パーセプトロンを含む。一実施例において、多重アンテナ素子は、前記反射信号が人の顔の空間的な顔特徴を含むように高度及び方位角方向に配列される。一実施例において、それぞれの正弦波信号の周波数を抽出するステップは、フーリエ変換（Ｆｏｕｒｉｅｒ ｔｒａｎｓｆｏｒｍ）を適用するステップを含む。一実施例において、送信信号は、周波数を急速に増加させるアップチャープ（ｕｐ－ｃｈｉｒｐ）信号である。一実施例において、ミキサーは、周波数ミキサーである。一実施例において、レーダは、ミリ波周波数変調連続波レーダである。一実施例において、それぞれの正弦波信号の周波数を抽出するステップは、距離周辺のそれぞれの正弦波信号を適切にバウンディングするステップを含む。
他の実施例において、レーダ信号及び測定環境から標的情報を抽出するためのコンピュータプログラムを格納する非一時的なコンピュータ読み取り可能な格納媒体が開示される。前記コンピュータプログラムは、コンピュータに、前記レーダを利用して周波数変調連続波送信信号を送信し、多重アンテナ素子において人の顔から反射した反射信号を受信し、混合信号を生成するために、ミキサーを利用して前記送信信号と前記反射信号を乗じ、正弦波信号を含む基底帯域信号を生成するために、低域通過フィルタを介して前記混合信号を通過させ、抽出された周波数を生成するために、前記基底帯域信号からそれぞれの正弦波信号の周波数を抽出し、前記抽出された周波数を利用して前記人の顔と前記レーダとの距離を測定させる実行可能な命令を含む。
一実施例において、前記格納媒体は、前記コンピュータに、多重アンテナ素子から信号を受信し、前記信号を連結させる実行可能な命令をさらに含む。一実施例において、前記格納媒体は、前記コンピュータに、人の顔を区別して認識するために連結された信号をディープニューラルネットワークに入力させる実行可能な命令をさらに含む。一実施例において、前記ディープニューラルネットワークは、多層パーセプトロンを含む。一実施例において、前記コンピュータにそれぞれの正弦波信号の周波数を抽出させる実行可能な命令は、前記コンピュータにフーリエ変換を適用させる実行可能な命令を含む。
図１３は、本発明の一実施例に係る、得られたレーダ信号でディープニューラルネットワーク（ＤＮＮ）を訓練するためのプロセス１３００のフローチャートである。図１３に示すように、ブロック１３１０において、それぞれの受信アンテナ素子から入力信号が受信される。ブロック１３２０において、フィルタリングされた出力を生成するために、それぞれの受信された信号は、低域通過フィルタリングされる。その後、ブロック１３３０において、離散フィルタ出力を生成するために、フィルタリングされた出力は、アナログ－デジタル変換器（ＡＤＣ）を介して通過され、サンプリング周波数でサンプリングされる。ブロック１３４０において、変換された出力を生成し、顔とレーダとの距離を計算するために、変換が離散フィルタ出力に適用される。その後、ブロック１３５０において、顔の位置に対応する周波数インデックスを生成するために、誤警報率検出技術が前記変換された出力に適用される。一実施例において、前記変換は、高速フーリエ変換（ＦＦＴ）であり、前記周波数インデックスは、ＦＦＴインデックスである。
一実施例において、方法が開示される。前記方法は、レーダの複数の受信アンテナ素子それぞれから入力信号を受信するステップと－前記入力信号は、顔からの反射信号である－、フィルタリングされた出力を生成するために、前記入力信号を低域通過フィルタリングするステップと、離散フィルタ出力を生成するために、フィルタリングされた出力をアナログ－デジタル変換器を介して通過させ、サンプリング周波数でサンプリングするステップと、前記顔と前記レーダとの距離を計算するために、前記離散フィルタ出力に変換を適用するステップと、前記距離に対応する周波数インデックスを生成するために、変換された出力に誤警報率検出技術を適用するステップとを含む。
一実施例において、前記方法は、訓練のためにディープニューラルネットワークに前記周波数インデックスを入力するステップをさらに含む。一実施例において、前記ディープニューラルネットワークは、複数の層を含む多層パーセプトロンを含み、各層は、隣接層に完全に連結されている。一実施例において、前記変換は、高速フーリエ変換である。一実施例において、前記周波数インデックスは、高速フーリエ変換インデックスである。
ＩＶ．結論
本発明においては、小型６１ＧＨｚのＦＭＣＷレーダセンサから得られたデータを利用して多重被写体の顔を区分する。先ず、レーダと被写体の顔との距離と角度を変更することによってレーダ信号が得られる。１つのフレームにおいて空間的に独立した受信アンテナ素子から受信された連結信号は、ＤＮＮの入力として共に配置される。本発明において提案する方法により、被写体の顔は９２％以上の正確度で分類された。その後、提案された方法の性能は、ＳＶＭ又はツリー基盤の方法のような特徴基盤マシンラーニング方法と比較される。上記提案された方法は、さらに良い分類正確度を示した。また、多重アンテナ素子を使用した際に顔分類性能がさらに良いことが確認された。小型レーダセンサを利用した提案された顔分類を通じて、カメラ基盤の顔認識方式の弱点は相当補完された。
開示された実施例に関する説明は、当業者であれば、上記に提示された明細書に説明されたように本発明を製造あるいは使用できるように提供される。このような実施例に対する様々な変形は、当業者にとって容易であることが明白であり、ここに説明された一般的な原理は、本開示の思想又は範囲を超えるものではなく、他の実施例に適用されても良い。よって、技術は上述した特定例に限定されるものではない。従って、ここに提示された説明及び図面は、本発明の現在可能な実施例を示しており、よって、本発明によって広範囲に考慮される請求対象を示していると理解されるべきである。また、本開示の範囲は、当業者にとって明白となり得る他の実施例を完全に含んでおり、従って、本開示の範囲は、添付された請求の範囲以外の何によっても限定されないということを理解すべきである。

Claims (20)

  1. レーダの信号及び測定環境から標的情報を抽出する方法において、当該方法は、
    前記レーダを利用して周波数変調連続波（ｆｒｅｑｕｅｎｃｙ－ｍｏｄｕｌａｔｅｄ ｃｏｎｔｉｎｕｏｕｓ ｗａｖｅ）の送信信号を送信するステップと、
    多重アンテナ素子において人の顔から反射した反射信号を受信するステップと、
    混合信号を生成するために、ミキサー（ｍｉｘｅｒ）を利用して前記送信信号と前記反射信号を乗じるステップと、
    正弦波信号を含む基底帯域（ｂａｓｅｂａｎｄ）信号を生成するために、低域通過フィルタ（ｌｏｗ ｐａｓｓ ｆｉｌｔｅｒ）を介して前記混合信号を通過させるステップと、
    前記基底帯域信号からそれぞれの正弦波信号の周波数を抽出するステップと、
    前記抽出された周波数を利用して前記人の顔と前記レーダとの距離を測定するステップとを含む、標的情報を抽出する方法。
  2. 前記多重アンテナ素子から信号を受信するステップと、
    前記信号を連結する（ｃｏｎｃａｔｅｎａｔｅ）ステップとをさらに含む、請求項１に記載の標的情報を抽出する方法。
  3. 人の顔を区別して認識するために、前記連結された信号をディープニューラルネットワークに入力するステップをさらに含む、請求項２に記載の標的情報を抽出する方法。
  4. 前記ディープニューラルネットワークは、多層パーセプトロン（ｐｅｒｃｅｐｔｒｏｎ）を含む、請求項３に記載の標的情報を抽出する方法。
  5. 前記多重アンテナ素子は、前記反射信号が前記人の顔の空間的な顔特徴を含むように高度及び方位角方向に配列される、請求項１に記載の標的情報を抽出する方法。
  6. それぞれの前記正弦波信号の周波数を抽出するステップは、フーリエ変換（Ｆｏｕｒｉｅｒ ｔｒａｎｓｆｏｒｍ）を適用するステップを含む、請求項１に記載の標的情報を抽出する方法。
  7. 前記送信信号は、周波数を急速に増加させるアップチャープ（ｕｐ－ｃｈｉｒｐ）信号である、請求項１に記載の標的情報を抽出する方法。
  8. 前記ミキサーは、周波数ミキサーである、請求項１に記載の標的情報を抽出する方法。
  9. 前記レーダは、ミリ波（ｍｉｌｌｉｍｅｔｅｒ－ｗａｖｅ）周波数変調連続波レーダである、請求項１に記載の標的情報を抽出する方法。
  10. それぞれの前記正弦波信号の周波数を抽出するステップは、前記距離の周辺のそれぞれの前記正弦波信号をバウンディングするステップを含む、請求項１に記載の標的情報を抽出する方法。
  11. レーダの複数の受信アンテナ素子それぞれから入力信号を受信するステップであって、前記入力信号は、顔から反射した信号である、当該ステップと、
    フィルタリングされた出力を生成するために、前記入力信号を低域通過フィルタリングするステップと、
    離散フィルタ出力を生成するために、フィルタリングされた出力をアナログ－デジタル変換器を介して通過させ、サンプリング周波数でサンプリングするステップと、
    前記顔と前記レーダとの距離を計算するために、前記離散フィルタ出力に変換を適用するステップと、
    前記距離に対応する周波数インデックスを生成するために、前記変換された出力に誤警報率（ｆａｌｓｅ ａｌａｒｍ ｒａｔｅ）検出技術を適用するステップとを含む、方法。
  12. 訓練のためにディープニューラルネットワークに前記周波数インデックスを入力するステップをさらに含む、請求項１１に記載の方法。
  13. 前記ディープニューラルネットワークは、複数の層を含む多層パーセプトロンを含み、各層は、隣接層に連結されている、請求項１２に記載の方法。
  14. 前記変換は、高速フーリエ変換である、請求項１１に記載の方法。
  15. 前記周波数インデックスは、高速フーリエ変換インデックスである、請求項１１に記載の方法。
  16. レーダ信号及び測定環境から標的情報を抽出するためのコンピュータプログラムを格納する非一時的なコンピュータ読み取り可能な格納媒体であって、前記コンピュータプログラムは、コンピュータに、
    前記レーダを利用して周波数変調連続波の送信信号を送信し、
    多重アンテナ素子において人の顔から反射した反射信号を受信し、
    混合信号を生成するために、ミキサーを利用して前記送信信号と前記反射信号を乗じ、
    正弦波信号を含む基底帯域信号を生成するために、低域通過フィルタを介して前記混合信号を通過させ、
    前記基底帯域信号からそれぞれの正弦波信号の周波数を抽出し、
    前記抽出された周波数を利用して前記人の顔と前記レーダとの距離を測定させる
    実行可能な命令を含む、非一時的なコンピュータ読み取り可能な格納媒体。
  17. 前記コンピュータプログラムは、前記コンピュータに、
    前記多重アンテナ素子から信号を受信し、
    前記信号を連結させる
    実行可能な命令をさらに含む、請求項１６に記載の非一時的なコンピュータ読み取り可能な格納媒体。
  18. 前記コンピュータプログラムは、前記コンピュータに、
    人の顔を区別して認識するために前記連結された信号をディープニューラルネットワークに入力させる
    実行可能な命令をさらに含む、請求項１６に記載の非一時的なコンピュータ読み取り可能な格納媒体。
  19. 前記ディープニューラルネットワークは、多層パーセプトロンを含む、請求項１８に記載の非一時的なコンピュータ読み取り可能な格納媒体。
  20. 前記コンピュータにそれぞれの前記正弦波信号の周波数を抽出させる実行可能な命令は、前記コンピュータにフーリエ変換を適用させる実行可能な命令を含む、請求項１６に記載の非一時的なコンピュータ読み取り可能な格納媒体。
JP2023562878A 2020-04-14 2022-04-05 Ｄｎｎ基盤の人の顔分類 Pending JP2024514618A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202063009643P 2020-04-14 2020-04-14
US17/229,529 US20210326581A1 (en) 2020-04-14 2021-04-13 DNN-Based Human Face Classification
US17/229,529 2021-04-13
PCT/KR2022/004860 WO2022220464A1 (en) 2020-04-14 2022-04-05 Dnn-based human face classificati0n

Publications (1)

Publication Number Publication Date
JP2024514618A true JP2024514618A (ja) 2024-04-02

Family

ID=78082672

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023562878A Pending JP2024514618A (ja) 2020-04-14 2022-04-05 Ｄｎｎ基盤の人の顔分類

Country Status (5)

Country Link
US (1) US20210326581A1 (ja)
EP (1) EP4291925A1 (ja)
JP (1) JP2024514618A (ja)
KR (1) KR20220141748A (ja)
WO (1) WO2022220464A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210326581A1 (en) * 2020-04-14 2021-10-21 Bitsensing Inc. DNN-Based Human Face Classification
KR102529179B1 (ko) * 2022-11-24 2023-05-08 (주)디지탈엣지 승객 탐지 레이더 시스템 및 그에서 수행되는 레이더 신호처리방법

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5376777B2 (ja) * 2007-06-13 2013-12-25 三菱電機株式会社 レーダ装置
US20130001422A1 (en) * 2011-06-29 2013-01-03 The Procter & Gamble Company Apparatus And Method For Monitoring The Condition Of A Living Subject
KR20150134126A (ko) * 2014-05-21 2015-12-01 재단법인대구경북과학기술원 레이더 신호 처리 방법 및 장치
US10102419B2 (en) * 2015-10-30 2018-10-16 Intel Corporation Progressive radar assisted facial recognition
US10591586B2 (en) * 2017-07-07 2020-03-17 Infineon Technologies Ag System and method for identifying a target using radar sensors
WO2019119223A1 (zh) * 2017-12-18 2019-06-27 深圳市大疆创新科技有限公司 基于雷达的测距处理方法、装置及无人飞行器
DE102018105875A1 (de) * 2018-03-14 2019-09-19 Infineon Technologies Ag Verarbeitung von Radarsignalen
US10775482B2 (en) * 2018-04-11 2020-09-15 Infineon Technologies Ag Human detection and identification in a setting using millimeter-wave radar
US11372086B2 (en) * 2018-05-11 2022-06-28 Qualcomm Incorporated Radio frequency (RF) object detection using radar and machine learning
US10921436B2 (en) * 2018-08-13 2021-02-16 Nxp B.V. MIMO radar coding for resolving velocity ambiguity
US11087115B2 (en) * 2019-01-22 2021-08-10 Infineon Technologies Ag User authentication using mm-Wave sensor for automotive radar systems
US11017209B2 (en) * 2019-03-15 2021-05-25 Samsung Electronics Co., Ltd. Millimeter wave radar and camera fusion based face authentication system
US11609301B2 (en) * 2019-03-15 2023-03-21 Teledyne Flir Commercial Systems, Inc. Radar data processing systems and methods
US11550031B2 (en) * 2019-03-18 2023-01-10 Samsung Electronics Co., Ltd. Method and apparatus for biometric authentication using face radar signal
US11391814B2 (en) * 2019-06-14 2022-07-19 Intel Corporation Software defined radar architectures
TWI734252B (zh) * 2019-11-08 2021-07-21 立積電子股份有限公司 雷達及雷達回波訊號的背景成分更新方法
US11636609B2 (en) * 2019-12-16 2023-04-25 Nvidia Corporation Gaze determination machine learning system having adaptive weighting of inputs
US20210320825A1 (en) * 2020-04-09 2021-10-14 Nvidia Corporation Fifth generation (5g) new radio channel equalization
US20210326581A1 (en) * 2020-04-14 2021-10-21 Bitsensing Inc. DNN-Based Human Face Classification

Also Published As

Publication number Publication date
US20210326581A1 (en) 2021-10-21
EP4291925A1 (en) 2023-12-20
KR20220141748A (ko) 2022-10-20
WO2022220464A1 (en) 2022-10-20

Similar Documents

Publication Publication Date Title
CN109557535B (zh) 用于使用毫米波雷达传感器的占用检测的系统和方法
Alizadeh et al. Low-cost low-power in-vehicle occupant detection with mm-wave FMCW radar
US11506776B2 (en) Method and device with improved radar resolution
JP5468304B2 (ja) レーダ装置
CN109387814A (zh) 分布式雷达传感器系统
JP2024514618A (ja) Ｄｎｎ基盤の人の顔分類
Molchanov Radar target classification by micro-Doppler contributions
Kizhakkel Pulsed radar target recognition based on micro-Doppler signatures using wavelet analysis
Lim et al. DNN-based human face classification using 61 GHz FMCW radar sensor
US20220260702A1 (en) Radar-Based Target Tracker
Pallotta et al. Classification of micro-Doppler radar hand-gesture signatures by means of Chebyshev moments
Qu et al. Dynamic hand gesture classification based on multichannel radar using multistream fusion 1-D convolutional neural network
Liang et al. A posture recognition based fall detection system using a 24GHz CMOS FMCW radar SoC
Xie et al. Lightweight midrange arm-gesture recognition system from MmWave radar point clouds
CN209496136U (zh) 基于mimo的毫米波雷达有轨电车防碰撞预警系统
CN110554439B (zh) 物品检测方法和装置
Kang et al. Body gesture recognition based on polarimetric micro-Doppler signature and using deep convolutional neural network
JP7377494B2 (ja) 属性の識別装置および識別方法
Huang et al. A rd-t network for hand gesture recognition based on millimeter-wave sensor
Hayashi et al. In corporation of Super-resolution Doppler Analysis and Compressed Sensing Filter for UWB Human Body Imaging Radar
CN110967763B (zh) 物品检测方法和装置
Hayashi et al. Iterative data clustering algorithm of Doppler-associated RPM imaging for UWB human body imaging radar
Wang et al. Research on hand gesture recognition based on millimeter wave radar
Garry et al. Practical implementation of stripmap Doppler imaging
Zhou et al. Interferometric radar for activity recognition and benchmarking in different radar geometries

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231013