JP7484492B2 - レーダーに基づく姿勢認識装置、方法及び電子機器 - Google Patents

レーダーに基づく姿勢認識装置、方法及び電子機器 Download PDF

Info

Publication number
JP7484492B2
JP7484492B2 JP2020109968A JP2020109968A JP7484492B2 JP 7484492 B2 JP7484492 B2 JP 7484492B2 JP 2020109968 A JP2020109968 A JP 2020109968A JP 2020109968 A JP2020109968 A JP 2020109968A JP 7484492 B2 JP7484492 B2 JP 7484492B2
Authority
JP
Japan
Prior art keywords
feature
range
conditions
period
condition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020109968A
Other languages
English (en)
Other versions
JP2021032879A (ja
Inventor
シエ・リリ
ティアン・ジュン
リ・ホォンチュヌ
ジャオ・チエヌ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JP2021032879A publication Critical patent/JP2021032879A/ja
Application granted granted Critical
Publication of JP7484492B2 publication Critical patent/JP7484492B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415Identification of targets based on measurements of movement associated with the target
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • G06V40/25Recognition of walking or running movements, e.g. gait recognition
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/87Combinations of radar systems, e.g. primary radar and secondary radar
    • G01S13/874Combination of several systems for attitude determination
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/411Identification of targets based on measurements of radar reflectivity
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/418Theoretical aspects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Social Psychology (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Radar Systems Or Details Thereof (AREA)

Description

本発明は、レーダー監視技術分野に関する。
レーダーが、送信アンテナにより電磁波を送信し、異なる物体の反射後に、対応する反射波を受信し、そして、その受信した結果を分析することで、物体からレーダーまでの位置、径方向移動速度などの情報を有効に抽出することができる。これらの情報は、多くの応用シーンのニーズを満たすことができる。
よって、レーダーに関する技術の進歩により、多くの室内応用、例えば、人員追跡、転倒検出、動作検出、生理指標検出などに新しいソリューションをもたらしている。センサに基づくソリューションに比べ、レーダーの取り付けが簡単であり、カバレッジが大きい。また、ビデオに基づくソリューションに比べ、レーダーによるプライバシー侵害が小さく、且つ光線などの環境要因からの影響を受けることがない。
今のところ、レーダーに基づくターゲット検出(例えば、人員追跡)のソリューションでは、主に、レーダーエコー信号に対して分析及び処理を行って有効なターゲット反射点を取得し、そして、反射点に対してクラスタリングを行ってターゲットの位置などの情報を得るのである。
発明者が次のようなことを発見した。即ち、今のところ、監視ターゲットの姿勢を認識する必要があるが、実際のシーンにおいて、環境が複雑であり、反射点のうちのノイズが多いから、姿勢認識の正確さは高くなく、又は、計算量は莫大である。
上述の技術問題のうちの少なくとも1つに鑑み、本発明の目的は、比較的少ない計算量で日常の複数の行為(behavior)・姿勢(gesture)をより正確に認識することができる、レーダーに基づく姿勢認識装置、方法及び電子機器を提供することにある。
本発明の実施例の一側面によれば、レーダーに基づく姿勢認識装置が提供され、それは、
検出ターゲットから反射されてきたレーダーエコー信号に基づいてレーダー反射点情報を取得し、前記レーダー反射点情報に対してクラスタリングを行う取得ユニット;
第一期間で、クラスタリングにより得られたターゲット点セットについて、空間形態特徴情報及び/又は移動特徴情報を計算する計算ユニット;
第二期間で、複数の前記第一期間の前記空間形態特徴情報及び/又は前記移動特徴情報に対して統計を行い、前記第二期間内の移動過程特徴情報を得る統計ユニット;及び
判定ユニットを含み、
前記判定ユニットは、
現在の時刻の所在する第二期間内の移動過程特徴情報及び前記現在の時刻の所在する第一期間の前記空間形態特徴情報及び/又は前記移動特徴情報を特徴集合とし、前記特徴集合が第一条件集合を満足するかを判断し、
前記特徴集合が第一条件集合を満足する場合、前記検出ターゲットの姿勢を「床に横たわる」と判定し、
前記特徴集合が前記第一条件集合を満足しない場合、前記特徴集合が第二条件集合を満足するかを判断し、前記特徴集合が前記第二条件集合を満足するときに、前記特徴集合が第三条件集合を満足するかを判断し、前記特徴集合が前記第三条件集合を満足すれば、前記検出ターゲットの姿勢を「ベッドに横たわる」と判定し、
前記特徴集合が前記第二条件集合又は前記第三条件集合を満足しない場合、前記特徴集合が第四条件集合を満足するかを判断し、前記特徴集合が前記第四条件集合を満足するときに、前記特徴集合が第五条件集合を満足するかを判断し、前記特徴集合が前記第五条件集合を満足すれば、前記検出ターゲットの姿勢を「歩く」と判定する。
本発明の実施例の他の側面によれば、レーダーに基づく姿勢認識方法が提供され、それは、
検出ターゲットから反射されてきたレーダーエコー信号に基づいてレーダー反射点情報を取得し、前記レーダー反射点情報に対してクラスタリングを行い;
第一期間で、クラスタリングにより得られたターゲット点セットについて、空間形態特徴情報及び/又は移動特徴情報を計算し;
第二期間で、複数の前記第一期間の前記空間形態特徴情報及び/又は前記移動特徴情報に対して統計を行い、前記第二期間内の移動過程特徴情報を取得し;及び
現在の時刻の所在する第二期間内の移動過程特徴情報及び前記現在の時刻の所在する第一期間の前記空間形態特徴情報及び/又は前記移動特徴情報を特徴集合とし、前記特徴集合が第一条件集合を満足するかを判断し、
前記特徴集合が第一条件集合を満足する場合、前記検出ターゲットの姿勢を「床に横たわる」と判定し、
前記特徴集合が前記第一条件集合を満足しない場合、前記特徴集合が第二条件集合を満足するかを判断し、前記特徴集合が前記第二条件集合を満足するときに、前記特徴集合が第三条件集合を満足するかを判断し、前記特徴集合が前記第三条件集合を満足すれば、前記検出ターゲットの姿勢を「ベッドに横たわる」と判定し、
前記特徴集合が前記第二条件集合又は前記第三条件集合を満足しない場合、前記特徴集合が第四条件集合を満足するかを判断し、前記特徴集合が前記第四条件集合を満足するときに、前記特徴集合が第五条件集合を満足するかを判断し、前記特徴集合が前記第五条件集合を満足すれば、前記検出ターゲットの姿勢を「歩く」と判定する。
本発明の実施例の他の側面によれば、記憶器及び処理器を含む電子機器が提供され、前記記憶器には、コンピュータプログラムが記憶されており、前記処理器は、前述のレーダーに基づく姿勢認識方法を実行するように構成される。
本発明の実施例の有益な効果のうちの少なくとも1つは、次の通りであり、即ち、第二期間内の過程特徴と第一期間内のトランジェント(transient)特徴を組み合わせて特徴集合とし、まず、検出ターゲットの姿勢が「床に横たわる」の条件を満足するかを判断し、次に、検出ターゲットの姿勢が「ベッドに横たわる」の条件を満足するかを判断し、その後、検出ターゲットの姿勢が「歩く」の条件を満足するかを判断することで、レーダーに基づいて検出ターゲットの姿勢を判断することができるだけでなく、比較的少ない計算量で日常の複数の行為・姿勢をより正確に認識することもできる。
本発明の実施例中のレーダーに基づく姿勢認識方法を示す図である。 本発明の実施例中のレーダーに基づく姿勢認識方法の一例を示す図である。 本発明の実施例中のレーダーに基づく姿勢認識方法の他の例を示す図である。 本発明の実施例中のレーダーに基づく姿勢認識装置を示す図である。 本発明の実施例中の電子機器を示す図である。
以下、添付した図面を参照しながら、本発明を実施するための好ましい実施例について詳細に説明する。
本発明の実施例では、密度に基づくクラスタリングアルゴリズムDBSCAN(Density-Based Spatial Clustering of Applications with Noise)を用いてクラスタリングを行うことができるが、本発明は、これに限定されず、例えば、他のクラスタリングアルゴリズムを使用しても良い。
<第一側面の実施例>
本発明の実施例は、レーダーに基づく姿勢認識方法を提供し、図1は、本発明の実施例中のレーダーに基づく姿勢認識方法を示す図である。図1に示すように、該方法は、以下の操作(ステップ)を含む。
101:検出ターゲットから反射されてきたレーダーエコー信号に基づいてレーダー反射点情報を取得し、そして、レーダー反射点情報に対してクラスタリングを行い;
102:第一期間で、クラスタリングにより得られたターゲット点セット(point set)について空間形態特徴情報(spatial morphological feature information)及び/又は移動特徴情報(motion feature information)を計算し;
103:第二期間で、複数の第一期間の空間形態特徴情報及び/又は移動特徴情報に対して統計を行い、第二期間内の移動過程特徴情報(motion process feature
information)を取得し;及び
104:現在の時刻の所在する第二期間内の移動過程特徴情報及び現在の時刻の所在する第一期間の空間形態特徴情報及び/又は移動特徴情報を特徴集合とし、特徴集合が第一条件集合を満足するかを判断し;
105:特徴集合が第一条件集合を満足する場合、検出ターゲットの姿勢を「床に横たわる」と判定し、例えば、lie(floor)とマーキング(ラベル付け)し;
106:特徴集合が第一条件集合を満足しない場合、特徴集合が第二条件集合を満足するかを判断し、特徴集合が第二条件集合を満足するときに、特徴集合が第三条件集合を満足するかを判断し、特徴集合が第三条件集合を満足すれば、検出ターゲットの姿勢を「ベッドに横たわる」と判定し、例えば、lie(bed)とマーキングし;
107:特徴集合が第二条件集合又は第三条件集合を満足しない場合、特徴集合が第四条件集合を満足するかを判断し、特徴集合が第四条件集合を満足するときに、特徴集合が第五条件集合を満足するかを判断し、特徴集合が第五条件集合を満足すれば、検出ターゲットの姿勢を「歩く」と判定し、例えば、walkとマーキングする。
なお、図1は、本発明の実施例を説明するためのものに過ぎず、本発明は、これに限定されない。例えば、各操作間の実行順序を適切に調整したり、幾つかの操作を増減したりしても良い。即ち、当業者は、図1の記載に限られず、上述の内容を基に適切に変形を行っても良い。
幾つかの実施例において、第一期間は、例えば、0.2sであり、102では、0.2s毎にターゲット点セットの空間形態特徴情報及び/又は移動特徴情報を計算することができ、これらの特徴情報は、トランジェント特徴を表すことができる。第二期間は、例えば、2sであり、102で0.2s毎に計算した特徴情報(例えば、2s内で計10回)に対して統計を行い、第二期間内の移動過程特徴情報を得ることができ、これらの特徴情報は、過程特徴を表すことができる。
本発明の実施例では、トランジェント特徴と過程特徴を組み合わせて特徴集合とし、まず、検出ターゲットの姿勢が「床に横たわる」の条件を満足するかを判断し、次に、検出ターゲットの姿勢が「ベッドに横たわる」の条件を満足するかを判断し、その後、検出ターゲットの姿勢が「歩く」の条件を満足するかを判断することで、レーダーに基づいて検出ターゲットの姿勢を判断することができるだけでなく、比較的少ない計算量で日常の複数の行為・姿勢、例えば、「床に横たわる」、「ベッドに横たわる」、又は「歩く」をより正確に認識することもできる。
幾つかの実施例において、(x、y、z)が3次元空間座標であり、dopplerが反射点の速度であり、
Figure 0007484492000001

であり、x及びyは、反射される平面座標であり、zは、地面までの高さである。なお、如何に検出ターゲットの空間情報及び速度情報を得るか、如何にクラスタリングを行うかなどについては、関連技術を参照することができる。
幾つかの実施例において、空間形態特徴情報は、ターゲット点セットの高さ平均値z_mid、ターゲット点セットの高さ最大値z_max、ターゲット点セットの長さx_range、ターゲット点セットの幅y_range、及びターゲット点セットの高さz_rangeを含む。
移動過程特徴情報は、第二期間内でx_range又はy_rangeがz_rangeよりも大きい数xy_z、第二期間内でx_range又はy_rangeが第一特徴閾値(例えば、1m)よりも大きい数xy_1、第一期間内のx_range及びy_rangeの最大値とz_rangeとの比shape_ratio、第二期間内のx_rangeとy_rangeとの標準偏差の最大値xy_range_var、第二期間内でz_rangeが第二特徴閾値(例えば、1m)よりも大きい数z_1、及び第二期間内でターゲット点セットが連続して空である数Lost_frame_numを含む。
上述の特徴情報を組み合わせることで、条件の判断を行うことができる。
幾つかの実施例において、第一条件集合は、z_midが第一条件閾値(例えば、0.3m)よりも小さく、且つz_maxが第二条件閾値(例えば、0.8m)よりも低く、且つxy_zとxy_1との和がゼロよりも大きく、且つshape_ratioが1よりも大きい。第二条件集合は、xy_1がゼロより大きい。第三条件集合は、xy_zがゼロよりも大きく、且つz_midが第三条件閾値(例えば、1m)よりも小さく、且つz_rangeが第四条件閾値(例えば、1m)よりも小さく、且つxy_range_varが第五条件閾値(例えば、0.2)よりも大きい。第四条件集合は、z_1が第六条件閾値(例えば、6)よりも大きい。第五条件集合は、Lost_frame_numが第七条件閾値(例えば、Nは正整数であり、例えば、3である)よりも小さい。
上述の第一条件集合乃至第五条件集合により、「床に横たわる」、「ベッドに横たわる」、又は「歩く」の姿勢を認識することができる。以上の判断では、順に検出ターゲットに対して判断を行うことで、姿勢認識の正確さを向上させることができる。
幾つかの実施例において、上述の方法はさらに、次のようなことを含んでも良く、即ち、特徴集合が第五条件集合を満足しない場合、特徴集合が第六条件集合を満足するかを判断し、特徴集合が第六条件集合を満足するときに、検出ターゲットの姿勢を「座る」と判定し、例えば、sitとマーキングし、例えば、椅子、ベッド、ソファーなどに座る姿勢であり、特徴集合が第六条件集合を満足しない場合、検出ターゲットの姿勢を「立つ」と判定し、例えば、standとマーキングし;特徴集合が第四条件集合を満足しない場合、特徴集合が第七条件集合を満足するかを判断し、特徴集合が第七条件集合を満足する場合、検出ターゲットの姿勢を「床に座る」と判定し、例えば、sit on floorとマーキングする。
幾つかの実施例において、移動特徴情報は、ターゲット点セットにおける反射点の最大速度target.doppleを含み、移動過程特徴情報はさらに、第二期間内でrが第三特徴閾値(例えば、0.5m)よりも大きい数r_range_2s(ここで、
Figure 0007484492000002

である)、第二期間の開始の第三期間(例えば、1s)内でrが第三特徴閾値(例えば、0.5m)よりも大きい数r_range_1s、第二期間内でtarget.dopplerが第四特徴閾値(例えば、0.2m/s)よりも大きい数doppler_2s、第二期間の開始の第三期間(例えば、1s)内でtarget.dopplerが第四特徴閾値(例えば、0.2m/s)より大きい数doppler_1s、及び第二期間内でx_range及びy_rangeがすべてz_rangeの半分よりも大きい数x_y_05zを含む。
上述の特徴情報を組み合わせることで、条件の判断を行うことができる。
幾つかの実施例において、第六条件集合は、r_range_2sが第八条件閾値(例えば、5)以上であり、且つdoppler_2sが第九条件閾値(例えば、4)以上であり、或いは、r_range_1sが第十条件閾値(例えば、3)以上であり、且つdoppler_1sが第十一条件閾値(例えば、3)以上である。第七条件集合は、z_midが第十五条件閾値(例えば、0.6m)よりも小さく、且つz_maxが第十六条件閾値(例えば1m)よりも低く、且つx_y_05zがゼロよりも大きい。
上述の第六条件集合乃至第七条件集合により、「座る」、「立つ」、又は「床に座る」の姿勢をさらに認識することができる。以上の判断では、順に検出ターゲットに対して判断を行うことで、姿勢認識の正確さを向上させることができる。
図2は、本発明の実施例中のレーダーに基づく姿勢認識方法の一例を示す図であり、第一条件集合乃至第七条件集合に基づいて姿勢認識を行うケースを示している。そのうち、target_point_clouds_2sは、102及び103で計算した特徴集合を示し、t.labelは、姿勢のラベルを示し、図2では、201乃至207でそれぞれ第一条件集合乃至第七条件集合を表す。図2に示すように、姿勢を認識した後にさらに後処理を行っても良く、例えば、後述の修正を行った後にt.label_finalを得ることで、認識の正確さをより一層向上させることができる。
他の幾つかの実施例において、前記方法はさらに、次のようなことを含んでも良く、即ち、特徴集合が第五条件集合を満足しない場合、特徴集合が第八条件集合を満足するかを判断し、特徴集合が第八条件集合を満足する場合、前記検出ターゲットの姿勢を「立つ」と判定し、例えば、standとマーキングし;特徴集合が第八条件集合を満足しない場合、特徴集合が第九条件集合を満足するかを判断し、特徴集合が第九条件集合を満足する場合、検出ターゲットの姿勢を「座る」と判定し、例えば、sitとマーキングし;特徴集合が第九条件集合を満足しない場合、特徴集合が第十条件集合を満足するかを判断し、特徴集合が第十条件集合を満足する場合、検出ターゲットの姿勢を「座る」と判定し、例えば、sitとマーキングし、特徴集合が第十条件集合を満足しない場合、検出ターゲットの姿勢を「立つ」と判定し、例えば、standとマーキングし;特徴集合が第四条件集合を満足しない場合、特徴集合が第七条件集合を満足するかを判断し、特徴集合が第七条件集合を満足するときに、検出ターゲットの姿勢を「床に座る」と判定し、例えば、sit on floorとマーキングする。
幾つかの実施例において、移動特徴情報はさらに、ターゲット点セットにおける高さが第五特徴閾値(例えば、z0)より大きい反射点の速度平均値v_upper_mean、ターゲット点セットにおける高さが第五特徴閾値(例えば、z0)以下の反射点の速度平均値v_lower_mean、ターゲット点セットの高さが第六特徴閾値(例えば、z1)より大きい平面中心位置xy_upper、及びターゲット点セットの高さが第六特徴閾値(例えば、z1)以下の平面中心位置xy_lowerを含む。
移動過程特徴情報はさらに、第二期間内の後ろの半分(例えば、2sのうちの後ろの1s)の複数のターゲット点セットのxy_upperと第二期間の開始時刻のxy_upperとの間の距離の平均値d_upper_mean、第二期間内の期間全体(例えば、2s)の複数のターゲット点セットのxy_upperと第二期間の開始時刻のxy_upperとの間の距離の標準偏差d_upper_var、第二期間内の後ろの半分(例えば、2sのうちの後ろの1s)の複数のターゲット点セットのxy_lowerと第二期間の開始時刻のxy_lowerとの間の距離の平均値d_lower_mean、第二期間内の期間全体(例えば、2s)の複数のターゲット点セットのxy_lowerと第二期間の開始時刻のxy_lowerとの間距離の標準偏差d_lower_var、第二期間内でv_upper_meanがv_lower_meanより大きい数v_mask、及び第二期間内でx_range及びy_rangeがともにz_rangeの半分よりも大きい数x_y_05zを含む。
上述の特徴情報を組み合わせることで、条件の判断を行うことができる。
幾つかの実施例において、第七条件集合は、z_midが第十五条件閾値(例えば、0.6m)よりも小さく、且つz_maxが第十六条件閾値(例えば、1m)よりも低く、且つx_y_05zがゼロよりも大きい。第八条件集合は、r_range_2sが第十二条件閾値(例えば、3)よりも小さい。第九条件集合は、d_upper_varがd_lower_varよりも大きく、且つd_upper_meanとd_lower_meanとの差が第十三条件閾値(例えば、0.15m)以上である。第十条件集合は、v_maskが第十四条件閾値(例えば、5)以上である。
上述の第七条件集合乃至第十条件集合により、「座る」、「立つ」、又は「床に座る」の姿勢をさらに認識することができる。以上の判断では、順に検出ターゲットに対して判断を行うことで、姿勢認識の正確さを向上させることができる。
図3は、本発明の実施例中のレーダーに基づく姿勢認識方法のもう1つの例を示す図であり、第一条件集合乃至第五条件集合及び第七条件集合乃至第十条件集合に基づいて姿勢認識を行うケースを示している。そのうち、target_point_clouds_2sは、102及び103で計算した特徴集合を示し、t.labelは、姿勢のラベルを示し、図3では、301乃至305及び307乃至310でそれぞれ第一条件集合乃至第五条件集合及び第七条件集合乃至第十条件集合を示す。図3に示すように、姿勢を認識した後にさらに後処理を行っても良く、例えば、後述の修正を行った後にt.label_finalを得ることで、認識の正確さをより一層向上させることができる。
幾つかの実施例において、さらに、複数の連続した第二期間内で検出したターゲットの姿勢に基づいて、そのうちの1つの第二期間内の検出ターゲットの姿勢に対して修正を行っても良い。
例えば、時間ウィンドウを2sと設定しても良く、即ち、各第二期間が1つの時間ウィンドウであり、連続した2つの時間ウィンドウの間の間隔が0.2sである場合、連続した2つの時間ウィンドウは1.8sオーバーラップする。連続した5つの連続時間ウィンドウにより判定された姿勢が「歩く」、「歩く」、「床に横たわる」、「歩く」、及び「歩く」であるときに、0.2s内で検出ターゲットが「歩く」、「床に横たわる」、そして、「歩く」の一連の動作を完成することができないので、第3個目の時間ウィンドウの姿勢を「歩く」に修正しても良い。以上、如何に修正を行うかを例示的に説明したが、本発明は、これに限定されない。
以上、本発明に関連する各ステップ又はプロセスのみについて説明したが、本発明は、これに限定されない。認識方法はさらに、他のステップ又はプロセスを含んでも良い。なお、これらのステップ又はプロセスの具体的な内容については、従来技術を参照することができる。また、上述の特徴情報のみを例として本発明の実施例について例示的に説明したが、本発明は、これらの情報に限られず、さらにこれらの情報に対して適切な変形を行っても良いが、これらの変形の実施方式も、本発明の実施例の範囲に含まれる。
また、上述の各実施例は、本発明を例示的に説明するためのものに過ぎず、本発明は、これに限定されず、さらに以上の各実施例をもとに適切な変形を行っても良い。例えば、上述の各実施例を単独で使用しても良く、以上の各実施例のうちの複数のものを組み合わせて実施しても良い。
上述の実施例から分かるように、第二期間内の過程特徴と第一期間内のトランジェント特徴を組み合わせて特徴集合とし、まず、検出ターゲットの姿勢が「床に横たわる」の条件を満足するかを判断し、次に、検出ターゲットの姿勢が「ベッドに横たわる」の条件を満足するかを判断し、その後、検出ターゲットの姿勢が「歩く」の条件を満足するかを判断することで、レーダーに基づいて検出ターゲットの姿勢を判断することができるだけでなく、比較的少ない計算量で日常の複数の行為・姿勢をより正確に認識することもできる。
<第二側面の実施例>
本発明の実施例は、レーダーに基づく姿勢認識装置を提供する。ここでは、第一側面の実施例と同じ内容の記載が省略される。
図4は、本発明の実施例中のレーダーに基づく姿勢認識装置を示す図であり、図4に示すように、レーダーに基づく姿勢認識装置400は、以下のものを含む。
取得ユニット401:検出ターゲットから反射されてきたレーダーエコー信号に基づいてレーダー反射点情報を取得し、そして、レーダー反射点情報に対してクラスタリングを行い;
計算ユニット402:第一期間で、クラスタリングにより得られたターゲット点セットについて空間形態特徴情報及び/又は移動特徴情報を計算し;
統計ユニット403:第二期間で、複数の第一期間の空間形態特徴情報及び/又は移動特徴情報に対して統計を行い、第二期間内の移動過程特徴情報を取得し;及び
判定ユニット404:現在の時刻の所在する第二期間内の移動過程特徴情報及び現在の時刻の所在する第一期間の空間形態特徴情報及び/又は移動特徴情報を特徴集合とし、特徴集合が第一条件集合を満足するかを判断し;特徴集合が第一条件集合を満足する場合、検出ターゲットの姿勢を「床に横たわる」と判定し;特徴集合が第一条件集合を満足しない場合、特徴集合が第二条件集合を満足するかを判断し、特徴集合が第二条件集合を満足するときに、特徴集合が第三条件集合を満足するかを判断し、特徴集合が第三条件集合を満足すれば、検出ターゲットの姿勢を「ベッドに横たわる」と判定し;及び、特徴集合が第二条件集合又は第三条件集合を満足しない場合、特徴集合が第四条件集合を満足するかを判断し、特徴集合が第四条件集合を満足するときに、特徴集合が第五条件集合を満足するかを判断し、特徴集合が第五条件集合を満足すれば、検出ターゲットの姿勢を「歩く」と判定する。
幾つかの実施例において、判定ユニット404はさらに、特徴集合が第五条件集合を満足しない場合、特徴集合が第六条件集合を満足するかを判断し、特徴集合が第六条件集合を満足するときに、検出ターゲットの姿勢を「座る」と判定し、特徴集合が第六条件集合を満足しない場合、検出ターゲットの姿勢を「立つ」と判定する。
幾つかの実施例において、判定ユニット404はさらに、特徴集合が第五条件集合を満足しない場合、特徴集合が第八条件集合を満足するかを判断し、特徴集合が第八条件集合を満足する場合、検出ターゲットの姿勢を「立つ」と判定し;特徴集合が第八条件集合を満足しない場合、特徴集合が第九条件集合を満足するかを判断し、特徴集合が第九条件集合を満足する場合、検出ターゲットの姿勢を「座る」と判定し;特徴集合が第九条件集合を満足しない場合、特徴集合が第十条件集合を満足するかを判断し、特徴集合が第十条件集合を満足する場合、検出ターゲットの姿勢を「座る」と判定し;及び、特徴集合が第十条件集合を満足しない場合、検出ターゲットの姿勢を「立つ」と判定する。
幾つかの実施例において、判定ユニット404はさらに、特徴集合が第四条件集合を満足しない場合、特徴集合が第七条件集合を満足するかを判断し、特徴集合が第七条件集合を満足する場合、検出ターゲットの姿勢を「床に座る」と判定する。
幾つかの実施例において、空間形態特徴情報は、ターゲット点セットの高さ平均値z_mid、ターゲット点セットの高さ最大値z_max、ターゲット点セットの長さx_range、ターゲット点セットの幅y_range、及びターゲット点セットの高さz_rangeを含む。
移動過程特徴情報は、第二期間内でx_range又はy_rangeがz_rangeよりも大きい数xy_z、第二期間内でx_range又はy_rangeが第一特徴閾値(例えば、1m)よりも大きい数xy_1、第一期間内のx_range及びy_rangeの最大値とz_rangeとの比shape_ratio、第二期間内のx_rangeとy_rangeとの標準偏差の最大値xy_range_var、第二期間内でz_rangeが第二特徴閾値(例えば、1m)よりも大きい数z_1、及び第二期間内でターゲット点セットが連続して空である数Lost_frame_numを含む。
第一条件集合は、z_midが第一条件閾値(例えば、0.3m)よりも小さく、且つz_maxが第二条件閾値(例えば、0.8m)よりも低く、且つxy_zとxy_1との和がゼロよりも大きく、且つshape_ratioが1よりも大きい。
第二条件集合は、xy_1がゼロより大きい。
第三条件集合は、xy_zがゼロよりも大きく、且つz_midが第三条件閾値(例えば、1m)よりも小さく、且つz_rangeが第四条件閾値(例えば、1m)よりも小さく、且つxy_range_varが第五条件閾値(例えば、0.2)よりも大きい。
第四条件集合は、z_1が第六条件閾値(例えば、6)よりも大きい。
第五条件集合は、Lost_frame_numが第七条件閾値(例えば、Nである)よりも小さい。
幾つかの実施例において、移動特徴情報は、ターゲット点セットにおける反射点の最大速度target.dopplerを含む。
移動過程特徴情報はさらに、第二期間内でrが第三特徴閾値(例えば、0.5m)よりも大きい数r_range_2s(ここで、
Figure 0007484492000003

である)、第二期間の開始の第三期間(例えば、1s)内でrが第三特徴閾値(例えば、0.5m)よりも大きい数r_range_1s、第二期間内でtarget.dopplerが第四特徴閾値(例えば、0.2m/s)よりも大きい数doppler_2s、第二期間の開始の第三期間(例えば、1s)内でtarget.dopplerが第四特徴閾値(例えば、0.2m/s)より大きい数doppler_1s、及び第二期間内でx_range及びy_rangeがすべてz_rangeの半分よりも大きい数x_y_05zを含む。
第六条件集合は、r_range_2sが第八条件閾値(例えば、5)以上であり、且つdoppler_2sが第九条件閾値(例えば、4)以上であり、或いは、r_range_1sが第十条件閾値(例えば、3)以上であり、且つdoppler_1sが第十一条件閾値(例えば、3)以上である。
第七条件集合は、z_midが第十五条件閾値(例えば、0.6m)よりも小さく、且つz_maxが第十六条件閾値(例えば1m)よりも低く、且つx_y_05zがゼロよりも大きい。
幾つかの実施例において、移動特徴情報はさらに、ターゲット点セットにおける高さが第五特徴閾値(例えば、z0)より大きい反射点の速度平均値v_upper_mean、ターゲット点セットにおける高さが第五特徴閾値(例えば、z0)以下の反射点の速度平均値v_lower_mean、ターゲット点セットの高さが第六特徴閾値(例えば、z1)より大きい平面中心位置xy_upper、及びターゲット点セットの高さが第六特徴閾値(例えば、z1)以下の平面中心位置xy_lowerを含む。
移動過程特徴情報はさらに、第二期間内の後ろの半分(例えば、2sのうちの後ろの1s)の複数のターゲット点セットのxy_upperと第二期間の開始時刻のxy_upperとの間の距離の平均値d_upper_mean、第二期間内の期間全体(例えば、2s)の複数のターゲット点セットのxy_upperと第二期間の開始時刻のxy_upperとの間の距離の標準偏差d_upper_var、第二期間内の後ろの半分(例えば、2sのうちの後ろの1s)の複数のターゲット点セットのxy_lowerと第二期間の開始時刻のxy_lowerとの間の距離の平均値d_lower_mean、第二期間内の期間全体(例えば、2s)の複数のターゲット点セットのxy_lowerと第二期間の開始時刻のxy_lowerとの間距離の標準偏差d_lower_var、第二期間内でv_upper_meanがv_lower_meanより大きい数v_mask、及び第二期間内でx_range及びy_rangeがともにz_rangeの半分よりも大きい数x_y_05zを含む。
第八条件集合は、r_range_2sが第十二条件閾値(例えば、3)よりも小さい。
第九条件集合は、d_upper_varがd_lower_varよりも大きく、且つd_upper_meanとd_lower_meanとの差が第十三条件閾値(例えば、0.15m)以上である。
第十条件集合は、v_maskが第十四条件閾値(例えば、5)以上である。
幾つかの実施例において、移動過程特徴情報はさらに、前記第二期間内でx_range及びy_rangeがともにz_rangeの半分よりも大きい数x_y_05z含む。
第七条件集合は、z_midが第十五条件閾値(例えば、0.6m)よりも小さく、且つz_maxが第十六条件閾値(例えば、1m)よりも低く、且つx_y_05zがゼロよりも大きい。
幾つかの実施例において、図4に示すように、レーダーに基づく姿勢認識装置400はさらに、以下のものを含んでも良い。
修正ユニット405:複数の連続した第二期間内で検出したターゲットの姿勢に基づいて、そのうちの1つの第二期間内の検出ターゲットの姿勢に対して修正を行う。
なお、以上、本発明に関連する各部品のみについて説明したが、本発明は、これに限定されない。レーダーに基づく姿勢認識装置400はさらに、他の部品又はモジュールを含んでも良く、これらの部品又はモジュールの具体的な内容については、従来技術を参照することができる。
なお、便宜のため、図4では、各部品又はモジュール間の接続関係を示しているが、当業者が理解すべきは、バス接続などの各種の関連技術を採用しても良いということである。また、上述の各部品又はモジュールは、例えば、処理器、記憶器などのハードウェアにより実現されても良いが、本発明の実施例は、これについて限定しない。
以上の各実施例は、本発明を例示的に説明するためのものに過ぎず、本発明は、これに限定されず、さらに以上の各実施例を基に適切な変形を行っても良い。例えば、単独で上述の各実施例を使用しても良く、以上の各実施例のうちの複数のものを組み合わせて実施しても良い。
上述の実施例から分かるように、第二期間内の過程特徴と第一期間内のトランジェント特徴を組み合わせて特徴集合とし、まず、検出ターゲットの姿勢が「床に横たわる」の条件を満足するかを判断し、次に、検出ターゲットの姿勢が「ベッドに横たわる」の条件を満足するかを判断し、その後、検出ターゲットの姿勢が「歩く」の条件を満足するかを判断することで、レーダーに基づいて検出ターゲットの姿勢を判断することができるだけでなく、比較的少ない計算量で日常の複数の行為・姿勢をより正確に認識することもできる。
<第三側面の実施例>
本発明の実施例は、電子機器を提供し、それは、第二側面の実施例に記載のレーダーに基づく姿勢認識装置を含む。なお、ここでは、その内容の記載を省略する。該電子機器は、例えば、コンピュータ、サーバ、ワークステーション、ノートパソコン、スマートフォンなどであっても良いが、本発明の実施例は、これに限られない。
図5は、本発明の実施例中の電子機器を示す図である。図5に示すように、電子機器500は、処理器(例えば、中央処理装置CPU)510及び記憶器520を含んでも良く、記憶器520は、中央処理装置510に接続される。そのうち、該記憶器520は、各種のデータを記憶することができ、また、情報処理用のプログラム521をさらに記憶することができ、且つ処理器510の制御下で該プログラム521を実現することができる。
幾つかの実施例において、レーダーに基づく姿勢認識装置400の機能が処理器510に統合されても良い。そのうち、処理器510は、第一側面の実施例に記載のレーダーに基づく姿勢認識方法を実行するように構成される。
幾つかの実施例において、レーダーに基づく姿勢認識装置400が処理器510と別々で配置されても良く、例えば、レーダーに基づく姿勢認識装置400を、処理器510に接続されるチップ(chip)として構成し、処理器510の制御によりレーダーに基づく姿勢認識装置400の機能を実現しても良い。
また、図5に示すように、電子機器500はさらに、入出力(I/O)装置530、表示器540などを含んでも良い。そのうち、これらの部品の機能が従来技術と同様であるため、ここでは、その詳しい説明を省略する。なお、電子機器500は、図5に示す全ての部品を含む必要がない。また、電子機器500はさらに、図5に無い部品を含んでも良く、これについては、関連技術を参照することができる。
本発明の実施例はさらに、コンピュータ可読プログラムを提供し、そのうち、電子機器中で前記プログラムを実行するときに、前記プログラムは、コンピュータに、前記電子機器中で第一側面の実施例に記載のレーダーに基づく姿勢認識方法を実行させる。
本発明の実施例はさらに、コンピュータ可読プログラムを記憶した記憶媒体を提供し、そのうち、前記コンピュータ可読プログラムは、コンピュータに、電子機器中で第一側面の実施例に記載のレーダーに基づく姿勢認識方法を実行させる。
また、本発明の実施例において説明した前記方法、装置などは、ハードウェア、処理器により実行されるソフトウェアモジュール、又は両者の組み合わせにより実現することができる。例えば、或る図面に示す機能ブロック図における1つ又は複数の機能及び/又は機能ブロック図における1つ又は複数の機能の組み合わせは、コンピュータプログラムにおける各ソフトウェアモジュールに対応しても良く、各ハードウェアモジュールに対応しても良い。また、これらのソフトウェアモジュールは、それぞれ、他の図面に示す各ステップに対応することができる。これらのハードウェアモジュールは、例えば、FPGA(field-programmable gate array)を用いてこれらのソフトウェアモジュールを固化して実現することができる。
また、本発明の実施例による装置、方法などは、ソフトウェアにより実現されても良く、ハードェアにより実現されてもよく、ハードェア及びソフトウェアの組み合わせにより実現されても良い。本発明は、このようなコンピュータ可読プログラムにも関し、即ち、前記プログラムは、ロジック部品により実行される時に、前記ロジック部品に、上述の装置又は構成要素を実現させることができ、又は、前記ロジック部品に、上述の方法又はそのステップを実現させることができる。さらに、本発明は、上述のプログラムを記憶した記憶媒体、例えば、ハードディスク、磁気ディスク、光ディスク、DVD、フレッシュメモリなどにも関する。
また、以上の実施例などに関し、さらに以下の付記を開示する。
(付記1)
レーダーに基づく姿勢認識方法であって、
検出ターゲットから反射されてきたレーダーエコー信号に基づいてレーダー反射点情報を取得し、前記レーダー反射点情報に対してクラスタリングを行い;
第一期間(例えば、0.2s)で、クラスタリングにより得られたターゲット点セットについて空間形態特徴情報及び/又は移動特徴情報を計算し;
第二期間(例えば、2s)で、複数の前記第一期間(例えば、10個)の前記空間形態特徴情報及び/又は前記移動特徴情報に対して統計を行い、前記第二期間内の移動過程特徴情報を取得し;及び
現在の時刻の所在する第二期間内の移動過程特徴情報及び前記現在の時刻の所在する第一期間の前記空間形態特徴情報及び/又は前記移動特徴情報を特徴集合とし、前記特徴集合が第一条件集合を満足するかを判断し;前記特徴集合が第一条件集合を満足する場合、前記検出ターゲットの姿勢を「床に横たわる」と判定し;前記特徴集合が前記第一条件集合を満足しない場合、前記特徴集合が第二条件集合を満足するかを判断し、前記特徴集合が前記第二条件集合を満足するときに、前記特徴集合が第三条件集合を満足するかを判断し、前記特徴集合が前記第三条件集合を満足すれば、前記検出ターゲットの姿勢を「床に横たわる」と判定し;前記特徴集合が前記第二条件集合又は前記第三条件集合を満足しない場合、前記特徴集合が第四条件集合を満足するかを判断し、前記特徴集合が前記第四条件集合を満足するときに、前記特徴集合が第五条件集合を満足するかを判断し、前記特徴集合が前記第五条件集合を満足すれば、前記検出ターゲットの姿勢を「歩く」と判定することを含む、方法。
(付記2)
付記1に記載の方法であって、さらに、
前記特徴集合が前記第五条件集合を満足しない場合、前記特徴集合が第六条件集合を満足するかを判断し、前記特徴集合が前記第六条件集合を満足する場合、前記検出ターゲットの姿勢を「座る」と判定し、前記特徴集合が前記第六条件集合を満足しない場合、前記検出ターゲットの姿勢を「立つ」と判定することを含む、方法。
(付記3)
付記1に記載の方法であって、さらに、
前記特徴集合が前記第五条件集合を満足しない場合前記特徴集合が第八条件集合を満足するかを判断し、前記特徴集合が前記第八条件集合を満足する場合、前記検出ターゲットの姿勢を「立つ」と判定し;
前記特徴集合が前記第八条件集合を満足しない場合、前記特徴集合が第九条件集合を満足するかを判断し、前記特徴集合が前記第九条件集合を満足する場合、前記検出ターゲットの姿勢を「座る」と判定し;及び
前記特徴集合が前記第九条件集合を満足しない場合、前記特徴集合が第十条件集合を満足するかを判断し、前記特徴集合が前記第十条件集合を満足する場合、前記検出ターゲットの姿勢を「座る」と判定し、前記特徴集合が前記第十条件集合を満足しない場合、前記検出ターゲットの姿勢を「立つ」と判定することを含む、方法。
(付記4)
付記1乃至3の任意の1項に記載の方法であって、さらに、
前記特徴集合が前記第四条件集合を満足しない場合、前記特徴集合が第七条件集合を満足するかを判断し、前記特徴集合が前記第七条件集合を満足する場合、前記検出ターゲットの姿勢を「床に座る」と判定することを含む、方法。
(付記5)
付記1乃至4の任意の1項に記載の方法であって、
前記空間形態特徴情報は、前記ターゲット点セットの高さ平均値z_mid、前記ターゲット点セットの高さ最大値z_max、前記ターゲット点セットの長さx_range、前記ターゲット点セットの幅y_range、及び前記ターゲット点セットの高さz_rangeを含み、
前記移動過程特徴情報は、前記第二期間内でx_range又はy_rangeがz_rangeよりも大きい数xy_z、前記第二期間内でx_range又はy_rangeが第一特徴閾値(例えば、1m)よりも大きい数xy_1、前記第一期間内のx_range及びy_rangeの最大値とz_rangeとの比shape_ratio、前記第二期間内のx_rangeとy_rangeとの標準偏差の最大値xy_range_var、前記第二期間内でz_rangeが第二特徴閾値(例えば、1m)よりも大きい数z_1、及び前記第二期間内でターゲット点セットが連続して空である数Lost_frame_numを含み、
前記第一条件集合は、z_midが第一条件閾値(例えば、0.3m)よりも小さく、且つz_maxが第二条件閾値(例えば、0.8m)よりも低く、且つxy_zとxy_1との和がゼロよりも大きく、且つshape_ratioが1よりも大きく、
前記第二条件集合は、xy_1がゼロより大きく、
前記第三条件集合は、xy_zがゼロよりも大きく、且つz_midが第三条件閾値(例えば、1m)よりも小さく、且つz_rangeが第四条件閾値(例えば、1m)よりも小さく、且つxy_range_varが第五条件閾値(例えば、0.2)よりも大きく、
前記第四条件集合は、z_1が第六条件閾値(例えば、6)よりも大きく、
前記第五条件集合は、Lost_frame_numが第七条件閾値(例えば、Nである)よりも小さい、方法
(付記6)
付記5に記載の方法であって、
前記移動特徴情報は、前記ターゲット点セットにおける反射点の最大速度target.dopplerを含み、
前記移動過程特徴情報はさらに、前記第二期間内でrが第三特徴閾値(例えば、0.5m)よりも大きい数r_range_2s(ここで、
Figure 0007484492000004

である)、前記第二期間の開始の第三期間(例えば、1s)内でrが第三特徴閾値(例えば、0.5m)よりも大きい数r_range_1s、前記第二期間内でtarget.dopplerが第四特徴閾値(例えば、0.2m/s)よりも大きい数doppler_2s、及び前記第二期間の開始の第三期間(例えば、1s)内でtarget.dopplerが第四特徴閾値(例えば、0.2m/s)より大きい数doppler_1sを含み、
前記第六条件集合は、r_range_2sが第八条件閾値(例えば、5)以上であり、且つdoppler_2sが第九条件閾値(例えば、4)以上であり、或いは、r_range_1sが第十条件閾値(例えば、3)以上であり、且つdoppler_1sが第十一条件閾値(例えば、3)以上である。
(付記7)
付記5に記載の方法であって、
前記移動特徴情報はさらに、前記ターゲット点セットにおける高さが第五特徴閾値(例えば、z0)より大きい反射点の速度平均値v_upper_mean、前記ターゲット点セットにおける高さが第五特徴閾値(例えば、z0)以下の反射点の速度平均値v_lower_mean、前記ターゲット点セットの高さが第六特徴閾値(例えば、z1)より大きい平面中心位置xy_upper、及び前記ターゲット点セットの高さが第六特徴閾値(例えば、z1)以下の平面中心位置xy_lowerを含み、
前記移動過程特徴情報はさらに、前記第二期間内の後ろの半分(例えば、2sのうちの後ろの1s)の複数のターゲット点セットのxy_upperと前記第二期間の開始時刻のxy_upperとの間の距離の平均値d_upper_mean、前記第二期間内の期間全体(例えば、2s)の複数のターゲット点セットのxy_upperと前記第二期間の開始時刻のxy_upperとの間の距離の標準偏差d_upper_var、前記第二期間内の後ろの半分(例えば、2sのうちの後ろの1s)の複数のターゲット点セットのxy_lowerと前記第二期間の開始時刻のxy_lowerとの間の距離の平均値d_lower_mean、前記第二期間内の期間全体(例えば、2s)の複数のターゲット点セットのxy_lowerと前記第二期間の開始時刻のxy_lowerとの間距離の標準偏差d_lower_var、及び前記第二期間内でv_upper_meanがv_lower_meanより大きい数v_maskを含み、
前記第八条件集合は、r_range_2sが第十二条件閾値(例えば、3)よりも小さく、
前記第九条件集合は、d_upper_varがd_lower_varよりも大きく、且つd_upper_meanとd_lower_meanとの差が第十三条件閾値(例えば、0.15m)以上であり、
前記第十条件集合は、v_maskが第十四条件閾値(例えば、5)以上である、方法。
(付記8)
付記6又は7に記載の方法であって、
前記移動過程特徴情報はさらに、前記第二期間内でx_range及びy_rangeがともにz_rangeの半分よりも大きい数x_y_05z含み、
前記第七条件集合は、z_midが第十五条件閾値(例えば、0.6m)よりも小さく、且つz_maxが第十六条件閾値(例えば、1m)よりも低く、且つx_y_05zがゼロよりも大きい、方法。
以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は本発明の技術的範囲に属する。

Claims (8)

  1. レーダーに基づく、姿勢を認識する装置であって、
    検出ターゲットから反射されてきたレーダーエコー信号に基づいてレーダー反射点情報を取得し、前記レーダー反射点情報に対してクラスタリングを行う取得ユニット;
    第一期間で、クラスタリングにより得られたターゲット点セットについて空間形態特徴情報及び/又は移動特徴情報を計算する計算ユニット;
    第二期間で、複数の前記第一期間の前記空間形態特徴情報及び/又は前記移動特徴情報に対して統計を行い、前記第二期間内の移動過程特徴情報を得る統計ユニット;及び
    判定ユニットを含み、
    前記判定ユニットは、
    現在の時刻の所在する第二期間内の移動過程特徴情報及び前記現在の時刻の所在する第一期間の前記空間形態特徴情報及び/又は前記移動特徴情報を特徴集合とし、前記特徴集合が第一条件集合を満足するかを判断し、
    前記特徴集合が第一条件集合を満足する場合、前記検出ターゲットの姿勢を「床に横たわる」と判定し、
    前記特徴集合が前記第一条件集合を満足しない場合、前記特徴集合が第二条件集合を満足するかを判断し、前記特徴集合が前記第二条件集合を満足する場合、前記特徴集合が第三条件集合を満足するかを判断し、前記特徴集合が前記第三条件集合を満足する場合、前記検出ターゲットの姿勢を「ベッドに横たわる」と判定し、
    前記特徴集合が前記第二条件集合又は前記第三条件集合を満足しない場合、前記特徴集合が第四条件集合を満足するかを判断し、前記特徴集合が前記第四条件集合を満足する場合、前記特徴集合が第五条件集合を満足するかを判断し、前記特徴集合が前記第五条件集合を満足する場合、前記検出ターゲットの姿勢を「歩く」と判定し、
    前記空間形態特徴情報は、前記ターゲット点セットの高さ平均値z_mid、前記ターゲット点セットの高さ最大値z_max、前記ターゲット点セットの長さx_range、前記ターゲット点セットの幅y_range、及び前記ターゲット点セットの高さz_rangeを含み、
    前記移動過程特徴情報は、前記第二期間内でx_range又はy_rangeがz_rangeよりも大きい数xy_z、前記第二期間内でx_range又はy_rangeが第一特徴閾値よりも大きい数xy_1、前記第一期間内のx_range及びy_rangeの最大値とz_rangeとの比shape_ratio、前記第二期間内のx_rangeとy_rangeとの標準偏差の最大値xy_range_var、前記第二期間内でz_rangeが第二特徴閾値よりも大きい数z_1、及び前記第二期間内でターゲット点セットが連続して空である数Lost_frame_numを含み、
    前記第一条件集合は、z_midが第一条件閾値よりも小さく、且つz_maxが第二条件閾値よりも低く、且つxy_zとxy_1との和がゼロよりも大きく、且つshape_ratioが1よりも大きく、
    前記第二条件集合は、xy_1がゼロより大きく、
    前記第三条件集合は、xy_zがゼロよりも大きく、且つz_midが第三条件閾値よりも小さく、且つz_rangeが第四条件閾値よりも小さく、且つxy_range_varが第五条件閾値よりも大きく、
    前記第四条件集合は、z_1が第六条件閾値よりも大きく、
    前記第五条件集合は、Lost_frame_numが第七条件閾値よりも小さく、
    前記移動特徴情報は、前記ターゲット点セットにおける反射点の最大速度target.dopplerを含み、
    前記移動過程特徴情報はさらに、前記第二期間内でrが第三特徴閾値よりも大きい数r_range_2s(ここで、

    である)、前記第二期間の開始の第三期間内でrが前記第三特徴閾値よりも大きい数r_range_1s、前記第二期間内でtarget.dopplerが第四特徴閾値よりも大きい数doppler_2s、前記第二期間の開始の第三期間内でtarget.dopplerが第四特徴閾値より大きい数doppler_1s、及び前記第二期間内でx_range及びy_rangeがともにz_rangeの半分よりも大きい数x_y_05zを含む、装置。
  2. 請求項1に記載の装置であって、
    前記判定ユニットは、さらに、
    前記特徴集合が前記第五条件集合を満足しない場合、前記特徴集合が第六条件集合を満足するかを判断し、前記特徴集合が前記第六条件集合を満足する場合、前記検出ターゲットの姿勢を「座る」と判定し、前記特徴集合が前記第六条件集合を満足しない場合、前記検出ターゲットの姿勢を「立つ」と判定し、
    前記第六条件集合は、r_range_2sが第八条件閾値以上であり、且つdoppler_2sが第九条件閾値以上であり、或いは、r_range_1sが第十条件閾値以上であり、且つdoppler_1sが第十一条件閾値以上である、装置。
  3. 請求項1に記載の装置であって、
    前記判定ユニットは、さらに、
    前記特徴集合が前記第五条件集合を満足しない場合、前記特徴集合が第八条件集合を満足するかを判断し、前記特徴集合が前記第八条件集合を満足する場合、前記検出ターゲットの姿勢を「立つ」と判定し、
    前記特徴集合が前記第八条件集合を満足しない場合、前記特徴集合が第九条件集合を満足するかを判断し、前記特徴集合が前記第九条件集合を満足する場合、前記検出ターゲットの姿勢を「座る」と判定し、
    前記特徴集合が前記第九条件集合を満足しない場合、前記特徴集合が第十条件集合を満足するかを判断し、前記特徴集合が前記第十条件集合を満足する場合、前記検出ターゲットの姿勢を「座る」と判定し、前記特徴集合が前記第十条件集合を満足しない場合、前記検出ターゲットの姿勢を「立つ」と判定し、
    前記第八条件集合は、r_range_2sが第十二条件閾値よりも小さく、
    前記第九条件集合は、d_upper_varがd_lower_varよりも大きく、且つd_upper_meanとd_lower_meanとの差が第十三条件閾値以上であり、
    前記第十条件集合は、v_maskが第十四条件閾値以上である、装置。
  4. 請求項1に記載の装置であって、
    前記判定ユニットは、さらに、
    前記特徴集合が前記第四条件集合を満足しない場合、前記特徴集合が第七条件集合を満足するかを判断し、前記特徴集合が前記第七条件集合を満足する場合、前記検出ターゲットの姿勢を「床に座る」と判定し、
    前記第七条件集合は、z_midが第十五条件閾値よりも小さく、且つz_maxが第十六条件閾値よりも低く、且つx_y_05zがゼロよりも大きい、装置。
  5. 請求項1に記載の装置であって、
    前記移動特徴情報はさらに、前記ターゲット点セットにおける高さが第五特徴閾値より大きい反射点の速度平均値v_upper_mean、前記ターゲット点セットにおける高さが前記第五特徴閾値以下の反射点の速度平均値v_lower_mean、前記ターゲット点セットの高さが第六特徴閾値より大きい平面中心位置xy_upper、及び前記ターゲット点セットの高さが前記第六特徴閾値以下の平面中心位置xy_lowerを含み、
    前記移動過程特徴情報はさらに、前記第二期間内の後ろの半分の複数のターゲット点セットのxy_upperと前記第二期間の開始時刻のxy_upperとの間の距離の平均値d_upper_mean、前記第二期間内の期間全体の複数のターゲット点セットのxy_upperと前記第二期間の開始時刻のxy_upperとの間の距離の標準偏差d_upper_var、前記第二期間内の後ろの半分の複数のターゲット点セットのxy_lowerと前記第二期間の開始時刻のxy_lowerとの間の距離の平均値d_lower_mean、前記第二期間内の期間全体の複数のターゲット点セットのxy_lowerと前記第二期間の開始時刻のxy_lowerとの間距離の標準偏差d_lower_var、前記第二期間内でv_upper_meanがv_lower_meanより大きい数v_mask、及び前記第二期間内でx_range及びy_rangeがともにz_rangeの半分よりも大きい数x_y_05zを含む、装置。
  6. 請求項1に記載の装置であって、
    複数の連続した第二期間内で検出したターゲットの姿勢に基づいて、そのうちの1つの第二期間内の検出ターゲットの姿勢に対して修正を行う修正ユニットをさらに含む、装置。
  7. レーダーに基づく、姿勢を認識する方法であって、
    検出ターゲットから反射されてきたレーダーエコー信号に基づいてレーダー反射点情報を取得し、前記レーダー反射点情報に対してクラスタリングを行い;
    第一期間で、クラスタリングにより得られたターゲット点セットについて空間形態特徴情報及び/又は移動特徴情報を計算し;
    第二期間で、複数の前記第一期間の前記空間形態特徴情報及び/又は前記移動特徴情報に対して統計を行い、前記第二期間内の移動過程特徴情報を取得し;及び
    現在の時刻の所在する第二期間内の移動過程特徴情報及び前記現在の時刻の所在する第一期間の前記空間形態特徴情報及び/又は前記移動特徴情報を特徴集合とし、前記特徴集合が第一条件集合を満足するかを判断し、
    前記特徴集合が第一条件集合を満足する場合、前記検出ターゲットの姿勢を「床に横たわる」と判定し、
    前記特徴集合が前記第一条件集合を満足しない場合、前記特徴集合が第二条件集合を満足するかを判断し、前記特徴集合が前記第二条件集合を満足する場合、前記特徴集合が第三条件集合を満足するかを判断し、前記特徴集合が前記第三条件集合を満足する場合、前記検出ターゲットの姿勢を「ベッドに横たわる」と判定し、
    前記特徴集合が前記第二条件集合又は前記第三条件集合を満足しない場合、前記特徴集合が第四条件集合を満足するかを判断し、前記特徴集合が前記第四条件集合を満足する場合、前記特徴集合が第五条件集合を満足するかを判断し、前記特徴集合が前記第五条件集合を満足する場合、前記検出ターゲットの姿勢を「歩く」と判定することを含み、
    前記空間形態特徴情報は、前記ターゲット点セットの高さ平均値z_mid、前記ターゲット点セットの高さ最大値z_max、前記ターゲット点セットの長さx_range、前記ターゲット点セットの幅y_range、及び前記ターゲット点セットの高さz_rangeを含み、
    前記移動過程特徴情報は、前記第二期間内でx_range又はy_rangeがz_rangeよりも大きい数xy_z、前記第二期間内でx_range又はy_rangeが第一特徴閾値よりも大きい数xy_1、前記第一期間内のx_range及びy_rangeの最大値とz_rangeとの比shape_ratio、前記第二期間内のx_rangeとy_rangeとの標準偏差の最大値xy_range_var、前記第二期間内でz_rangeが第二特徴閾値よりも大きい数z_1、及び前記第二期間内でターゲット点セットが連続して空である数Lost_frame_numを含み、
    前記第一条件集合は、z_midが第一条件閾値よりも小さく、且つz_maxが第二条件閾値よりも低く、且つxy_zとxy_1との和がゼロよりも大きく、且つshape_ratioが1よりも大きく、
    前記第二条件集合は、xy_1がゼロより大きく、
    前記第三条件集合は、xy_zがゼロよりも大きく、且つz_midが第三条件閾値よりも小さく、且つz_rangeが第四条件閾値よりも小さく、且つxy_range_varが第五条件閾値よりも大きく、
    前記第四条件集合は、z_1が第六条件閾値よりも大きく、
    前記第五条件集合は、Lost_frame_numが第七条件閾値よりも小さく、
    前記移動特徴情報は、前記ターゲット点セットにおける反射点の最大速度target.dopplerを含み、
    前記移動過程特徴情報はさらに、前記第二期間内でrが第三特徴閾値よりも大きい数r_range_2s(ここで、

    である)、前記第二期間の開始の第三期間内でrが前記第三特徴閾値よりも大きい数r_range_1s、前記第二期間内でtarget.dopplerが第四特徴閾値よりも大きい数doppler_2s、前記第二期間の開始の第三期間内でtarget.dopplerが第四特徴閾値より大きい数doppler_1s、及び前記第二期間内でx_range及びy_rangeがともにz_rangeの半分よりも大きい数x_y_05zを含む、方法。
  8. 記憶器及び処理器を含む電子機器であって、
    前記記憶器には、コンピュータプログラムが記憶されており、前記処理器は、請求項7に記載の方法を実行するように構成される、電子機器。
JP2020109968A 2019-08-16 2020-06-25 レーダーに基づく姿勢認識装置、方法及び電子機器 Active JP7484492B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910758029.9A CN112395920B (zh) 2019-08-16 2019-08-16 基于雷达的姿态识别装置、方法以及电子设备
CN201910758029.9 2019-08-16

Publications (2)

Publication Number Publication Date
JP2021032879A JP2021032879A (ja) 2021-03-01
JP7484492B2 true JP7484492B2 (ja) 2024-05-16

Family

ID=74568339

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020109968A Active JP7484492B2 (ja) 2019-08-16 2020-06-25 レーダーに基づく姿勢認識装置、方法及び電子機器

Country Status (3)

Country Link
US (1) US11604254B2 (ja)
JP (1) JP7484492B2 (ja)
CN (1) CN112395920B (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022188651A (ja) 2021-06-09 2022-12-21 株式会社アイシン 乗員検知装置、方法、およびプログラム
CN113822241B (zh) * 2021-11-22 2022-07-01 江苏邦邦智能科技有限公司 步态数据的获取方法、助行设备和计算机可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011086286A (ja) 2009-09-17 2011-04-28 Shimizu Corp ベッド上及び室内の見守りシステム
JP2018029671A (ja) 2016-08-22 2018-03-01 学校法人慶應義塾 行動検知システム、情報処理装置、プログラム
JP2018059884A (ja) 2016-10-07 2018-04-12 日本無線株式会社 物標識別装置、プログラム及び方法
JP2018112540A (ja) 2017-01-06 2018-07-19 パナソニックIpマネジメント株式会社 センサーおよび方法
WO2019070651A1 (en) 2017-10-06 2019-04-11 Tellus You Care, Inc. VITAL SIGNS WITH NON-CONTACT ACTIVITY DETECTION NETWORK FOR CARE OF OLDER PEOPLE
JP2019158862A (ja) 2018-03-12 2019-09-19 パナソニックIpマネジメント株式会社 追尾装置および追尾方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG150527A1 (en) 2006-07-11 2009-03-30 Agency Science Tech & Res Method and system for multi-object tracking
US8306273B1 (en) * 2009-12-28 2012-11-06 Ball Aerospace & Technologies Corp. Method and apparatus for LIDAR target identification and pose estimation
US10206610B2 (en) * 2012-10-05 2019-02-19 TransRobotics, Inc. Systems and methods for high resolution distance sensing and applications
US9921660B2 (en) * 2014-08-07 2018-03-20 Google Llc Radar-based gesture recognition
US10912493B2 (en) * 2017-01-06 2021-02-09 Panasonic Intellectual Property Management Co., Ltd. Sensor and method
CN107749143B (zh) 2017-10-30 2023-09-19 安徽工业大学 一种基于WiFi信号的穿墙室内人员跌倒探测系统及方法
US20190277947A1 (en) * 2018-03-12 2019-09-12 Panasonic Intellectual Property Management Co., Ltd. Tracking apparatus and tracking method
CN108510710A (zh) 2018-04-03 2018-09-07 广州市燧烽电子有限公司 室内看护求助方法及系统
CN108805021A (zh) 2018-04-27 2018-11-13 西安理工大学 基于特征算子的实时个体跌倒行为检测报警方法
US11226408B2 (en) * 2018-07-03 2022-01-18 Panasonic Intellectual Property Management Co., Ltd. Sensor, estimating device, estimating method, and recording medium
CN109507653A (zh) * 2018-10-22 2019-03-22 中国人民解放军第四军医大学 一种基于uwb的多信息感知生物雷达系统及其获取目标信息的方法
CN109961058B (zh) 2019-04-03 2021-06-04 长沙军民先进技术研究有限公司 一种非接触式跌倒检测方法及装置
CN110118966B (zh) * 2019-05-28 2020-10-13 长沙莫之比智能科技有限公司 基于毫米波雷达的人员检测与计数系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011086286A (ja) 2009-09-17 2011-04-28 Shimizu Corp ベッド上及び室内の見守りシステム
JP2018029671A (ja) 2016-08-22 2018-03-01 学校法人慶應義塾 行動検知システム、情報処理装置、プログラム
JP2018059884A (ja) 2016-10-07 2018-04-12 日本無線株式会社 物標識別装置、プログラム及び方法
JP2018112540A (ja) 2017-01-06 2018-07-19 パナソニックIpマネジメント株式会社 センサーおよび方法
WO2019070651A1 (en) 2017-10-06 2019-04-11 Tellus You Care, Inc. VITAL SIGNS WITH NON-CONTACT ACTIVITY DETECTION NETWORK FOR CARE OF OLDER PEOPLE
JP2019158862A (ja) 2018-03-12 2019-09-19 パナソニックIpマネジメント株式会社 追尾装置および追尾方法

Also Published As

Publication number Publication date
JP2021032879A (ja) 2021-03-01
CN112395920B (zh) 2024-03-19
CN112395920A (zh) 2021-02-23
US20210048511A1 (en) 2021-02-18
US11604254B2 (en) 2023-03-14

Similar Documents

Publication Publication Date Title
Yu et al. Noninvasive human activity recognition using millimeter-wave radar
US11989861B2 (en) Deep learning-based real-time detection and correction of compromised sensors in autonomous machines
JP7447700B2 (ja) レーダ反射点のクラスタリング装置、方法及び電子機器
JP2020071226A (ja) 転倒検出方法及び装置
CN108875533B (zh) 人脸识别的方法、装置、系统及计算机存储介质
US10255673B2 (en) Apparatus and method for detecting object in image, and apparatus and method for computer-aided diagnosis
CN103514432A (zh) 人脸特征提取方法、设备和计算机程序产品
CN109559330A (zh) 运动目标的视觉跟踪方法、装置、电子设备及存储介质
JP7484492B2 (ja) レーダーに基づく姿勢認識装置、方法及び電子機器
WO2021098802A1 (en) Object detection device, method, and systerm
CN113486961A (zh) 基于深度学习的低信噪比下雷达rd图像目标检测方法、系统及计算机设备
US20220277581A1 (en) Hand pose estimation method, device and storage medium
US20240104744A1 (en) Real-time multi-view detection of objects in multi-camera environments
EP4264319A1 (en) Radar detection and tracking
CN117953581A (zh) 动作识别的方法、装置、电子设备及可读存储介质
KR20240058752A (ko) 레이더 데이터에 기반한 낙상 감지 모델의 학습 방법
CN114972492A (zh) 一种基于鸟瞰图的位姿确定方法、设备和计算机存储介质
CN113466851A (zh) 人体姿态检测方法、装置和数据处理设备
Wang et al. Research on an effective human action recognition model based on 3D CNN
Yen et al. Adaptive Indoor People-Counting System Based on Edge AI Computing
Pandit et al. Generalized method to validate social distancing using median angle proximity methodology
WO2022254644A1 (ja) 姿勢推定装置、姿勢推定方法、及びコンピュータ読み取り可能な記録媒体
US20240153274A1 (en) Artificial intelligence enabled distance event detection using image analysis
US20240285100A1 (en) Methods and systems for detecting and tracking objects
Bennet et al. Performance Evalution of Video Surveillance Using Mete, Melt and Nidc Technique

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230309

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240415

R150 Certificate of patent or registration of utility model

Ref document number: 7484492

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150