JP7096904B2 - 運動軌跡の特徴処理方法、装置、および、コンピュータ記憶媒体 - Google Patents

運動軌跡の特徴処理方法、装置、および、コンピュータ記憶媒体 Download PDF

Info

Publication number
JP7096904B2
JP7096904B2 JP2020554890A JP2020554890A JP7096904B2 JP 7096904 B2 JP7096904 B2 JP 7096904B2 JP 2020554890 A JP2020554890 A JP 2020554890A JP 2020554890 A JP2020554890 A JP 2020554890A JP 7096904 B2 JP7096904 B2 JP 7096904B2
Authority
JP
Japan
Prior art keywords
locus
motion
image
time
motion locus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020554890A
Other languages
English (en)
Other versions
JP2021512432A (ja
Inventor
蒋丹▲に▼
何東杰
Original Assignee
中国▲銀▼▲聯▼股▲ふん▼有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中国▲銀▼▲聯▼股▲ふん▼有限公司 filed Critical 中国▲銀▼▲聯▼股▲ふん▼有限公司
Publication of JP2021512432A publication Critical patent/JP2021512432A/ja
Application granted granted Critical
Publication of JP7096904B2 publication Critical patent/JP7096904B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/316—User authentication by observing the pattern of computer usage, e.g. typical user behaviour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03543—Mice or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink

Description

本発明は、コンピュータデータ処理分野に関し、特に、運動軌跡の特徴処理方法、装置、および、コンピュータ記憶媒体に関する。
人間がマウスを使ったり、スライダーをドラッグしたりするなどの行為による運動軌跡は、固有の生体特性を有し、機械による自動的な操作とは区別されており、マンマシン検証やリスク認識の面での応用価値を有する。
従来技術では、特に、マンマシン認識、スライドモジュール検証の分野では、現在の方法は通常、経験に基づいて運動軌跡の特徴抽出ルールを人為的に設定する、または、運動軌跡に対する関数接近や曲線フィッティングを行う。しかし、このような技術案では、以下の問題点が存在する。（1）運動軌跡の特徴抽出ルールが人為的に設定されたので、特徴選定の良し悪しが人間の先行知識に大きく依存し、かつ、ルールが場面との強い関連性を有するため、普及適応性がないこと。（2）運動軌跡が複雑な構造特徴を有するため、従来の方法では、運動学変数（速度、加速度、変位など）の平均値、分散などの離散統計量を用いたことにより、軌跡の特徴が片面で記述されることしかできず、豊かな暗黙情報が表現されにくくなり、モデリングの過程で失われてしまうこと。（3）数近似と曲線フィッティングの方法による効果が不安定であること。適切な曲線タイプをどのように選択するかは定義されにくくなり、フィッティングによる誤差は、異常点の存在により、大きくなる。また、運動軌跡は、必ずしも適切な関数で抽象化されるとは限らず、過剰フィッティングの現象が起こりやすい。
本発明の背景部分に開示の上記情報は、本発明の全体的な背景への理解を深めるためのものに過ぎず、当該情報の構成が当業者によって公知された従来技術であることを、認めるもの、または、如何なる形式で暗示するものとして見なされてはならない。
従来技術に存在した1つまたは複数の不備を解消するために、本発明の一態様によれば、クライアント端末は、ユーザ行為による運動軌跡を収集して一連の順序付きポイントセットを取得し、前記順序付きポイントセットにおける各軌跡ポイントには、位置要素と時間要素が含まれ、前記位置要素と前記時間要素における情報を利用して、前記運動軌跡を画像に変換し、前記画像に対して画像処理を行うことで、前記運動軌跡における1つまたは複数の特徴ベクトルを取得することを含む運動軌跡の特徴処理方法を提供する。
上記方法では、前記ユーザ行為による運動軌跡は、マウス運動軌跡、又は、タッチスクリーンによる運動軌跡を含む。
上記方法では、前記順序付きポイントセットにおけるn番目のポイントは、[xn, yn, tn]で示され、ただし、xnが横座標であり、ynが縦座標であり、tnが時間である。
上記方法では、前記位置要素と前記時間要素における情報を利用して、前記運動軌跡を画像に変換することは、前記順序付きポイントセットにおける各軌跡ポイントの位置要素と時間要素に基づき、前記運動軌跡を描き、描かれた運動軌跡を、少なくとも1つの画像チャネル値で示された画像にマッピングすることを含む。
上記方法では、前記位置要素に基づき、所定の座標軸の領域内に軌跡ポイントを描くとともに、前記時間要素の順序に従って前記軌跡ポイント間の結び線を描くことによって、前記運動軌跡が描かれる。
上記方法では、前記位置要素と前記時間要素における情報を利用して、前記運動軌跡を画像に変換することは、さらに、マッピングする前に、描かれた運動軌跡を平滑化して補強することにより、特徴情報を豊かにすることを含む。
上記方法では、描かれた運動軌跡のx方向の速度、y方向の速度、及び時間を抽出して、それらを[0,255]の値の区間にマッピングして変換することにより、画像を表すためのRGB画像チャネル値を取得する。
上記方法では、運動軌跡が通らないポイントのRGB画像チャネル値を、全部ゼロに設定する。
上記方法では、前記1つまたは複数の特徴ベクトルに基づき、マンマシン認識または検証を行うことをさらに含んでもよい。
上記方法では、操作環境データを取得し、前記1つまたは複数の特徴ベクトル及び前記操作環境データに基づき、マンマシン認識または検証を行うことをさらに含んでもよい。
本発明の別の態様によれば、ユーザ行為による運動軌跡を収集して一連の順序付きポイントセットを取得するための収集ユニットであって、前記順序付きポイントセットにおける各軌跡ポイントには、位置要素と時間要素が含まれる収集ユニットと、前記位置要素と前記時間要素における情報を利用して、前記運動軌跡を画像に変換する変換ユニットと、前記画像に対して画像処理を行うことで、前記運動軌跡における1つまたは複数の特徴ベクトルを取得する処理ユニットとを備えた運動軌跡の特徴処理装置を提供する。
上記装置では、前記ユーザ行為による運動軌跡は、マウス運動軌跡、又は、タッチスクリーンによる運動軌跡を含む。
上記装置では、前記順序付きポイントセットにおけるn番目のポイントは、[xn, yn, tn]で示され、ただし、xnが横座標であり、ynが縦座標であり、tnが時間である。
上記装置では、前記変換ユニットは、前記順序付きポイントセットにおける各軌跡ポイントの位置要素と時間要素に基づき、前記運動軌跡を描き、描かれた運動軌跡を、少なくとも1つの画像チャネル値で示された画像にマッピングするように構成される。
上記装置では、前記変換ユニットは、前記位置要素に基づき、所定の座標軸の領域内に軌跡ポイントを描くとともに、前記時間要素の順序に従って前記軌跡ポイント間の結び線を描くことによって、前記運動軌跡を描くように構成される。
上記装置では、前記変換ユニットは、マッピングする前に、描かれた運動軌跡を平滑化して補強することにより、特徴情報を豊かにするように構成される。
上記装置では、前記変換ユニットは、描かれた運動軌跡のx方向の速度、y方向の速度、及び時間を抽出して、それらを[0,255]の値の区間にマッピングして変換することにより、画像を表すためのRGB画像チャネル値を取得するように構成される。
上記装置では、前記変換ユニットは、さらに、運動軌跡が通らないポイントのRGB画像チャネル値を、全部ゼロに設定するように構成される。
上記装置では、前記1つまたは複数の特徴ベクトルに基づき、マンマシン認識または検証を行うための第1の認識ユニットをさらに備えてもよい。
上記装置では、操作環境データを取得する取得ユニットと、前記1つまたは複数の特徴ベクトル及び前記操作環境データに基づき、マンマシン認識または検証を行う第2の認識ユニットとをさらに備えてもよい。
本発明のさらに別の態様によれば、コンピュータ記憶媒体であって、前記媒体がコマンドを含み、前記コマンドが実行されたときに、上述した方法をプロセッサに実行させる、コンピュータ記憶媒体を提供する。
本発明における特徴処理方案は、人間の先行知識に依存しないので、普及適応性が強い。運動軌跡を画像に変換して入力とすることは、運動特徴の抽出ルールを、例えば、ジッタや変位などの特徴を抽出するように、人為的に設定する必要がないので、特徴モデリングの不適切さ、考慮不完全などの問題を回避した。また、本発明における画像に基づく特徴モデリング方法では、運動軌跡のオリジナルな構造情報及び他のルールで記述されにくい非明示な情報が保留されるようになる。従来の機械学習アルゴリズム以外、処理後の特徴は、様々なハイレベル画像処理、深度学習アルゴリズム（例えば、畳み込みニューラルネットワークCNN）に適用できるようになり、軌跡特徴のモデルの適用範囲が拡大された。しかも、本発明における特徴処理方案が採用されたことにより、マンマシン認識または検証を行うときに、攻撃者が規則を発見することが困難となり、ウィンドコントロールエンジンを欺く正常な人間による操作を一括してシミュレートすることができなくなる。
本明細書に添付された図面、および、添付図面と共に本発明のいくつかの原理を説明するための後述する具体的な実施の形態によれば、本発明における方法および装置が有する他の特徴や利点は、より具体的で明らかになるか、または理解されやすくなるであろう。
本発明の一実施例における移動軌跡の特徴処理方法を示す。 本発明の一実施例における移動軌跡の特徴処理装置を示す。
以下の説明では、本発明の最適なモードをどのように作り、使用するかを当業者に教示するために、本発明の特定の実施の形態が記述される。発明の原理を教示するために、一般的な方面での内容を簡素化し、または、省略する。当業者が理解すべきなのは、これらの実施の形態からの変形は、本発明の範囲内にある。また、当業者が理解すべきなのは、以下の構成要件が種々の方式で組み合わせられて、本発明の複数の変形を形成することが可能である。それにより、本発明は、以下の特定の実施の形態に限らず、請求項及びこれら請求項の同等物によって限定される。
図1は、本発明の一実施例における移動軌跡の特徴処理方法1000を示す。図1に示されるように、ステップ1000は以下のステップを含む。
ステップ110：クライアント端末は、ユーザ行為による運動軌跡を収集して一連の順序付きポイントセットを取得し、前記順序付きポイントセットにおける各軌跡ポイントには、位置要素と時間要素が含まれること、
ステップ120：前記位置要素と前記時間要素における情報を利用して、前記運動軌跡を画像に変換すること、および、
ステップ130：前記画像に対して画像処理を行うことで、前記運動軌跡における1つまたは複数の特徴ベクトルを取得すること。
本発明に関する上下文脈では、用語である「ユーザ行為による運動軌跡」は、マウス運動軌跡、又は、タッチスクリーンによる運動軌跡を含んでもよい。
一実施例では、クライアント端末によって収集された運動軌跡サンプルは、一連の順序付きポイントセットで示される。例えば、[[x,y1,t1],[x2,y2,t2],…,[xn,yn,tn]]で示され、ただし、n番目のポイントが[xn,yn,tn]であり、xnが横座標で、ynが縦座標で、tnが時間である。そのうち、時間が処理された相対的な値であり、t1=0、ti=ti-1+Δt(i>1)、Δtがサンプリングされた時間間隔である。軌跡の横座標と縦座標における最大値と最小値を用いて画像の大きさを決定すると、画像の長さがxmax-xminで、幅がymax-yminであり、t1 t2…tnの順に従って各軌跡ポイントを接続する。
上記実施例では、軌跡の横座標と縦座標における最大値と最小値を用いて画像の境界を決定するが、他の実施例では、クライアント端末の解像度の大きさに応じて画像の境界を決定し、軌跡の座標値は座標系の設定によって決められてもよい。例えば、ユーザスクリーンの解像度が1600*900であり、画素行列の行と列の割合が4：3の要件に適合したものである。座標系の原点がスクリーンの中心にあるとすると、運動軌跡の座標境界がX[-800,800]、Y[-450,450]となる。また、当業者であれば容易に理解できるように、異なる場面での検証精度の要求またはクライアント端末のハードウェア機器の条件による制限に応じて、軌跡サンプリングの密度を適応的に増加したり、低減したりすることができる。
一実施例では、前記位置要素と前記時間要素における情報を利用して、前記運動軌跡を画像に変換することは、前記順序付きポイントセットにおける各軌跡ポイントの位置要素と時間要素に基づき、前記運動軌跡を描き、描かれた運動軌跡を、少なくとも1つの画像チャネル値で示された画像にマッピングする。例えば、所定の座標軸の領域において、運動軌跡サンプリングセットのポイント座標の位置に応じて軌跡ポイントを描くとともに、時間順に従ってポイント間の結び線を描くことによって運動軌跡を描くことができる。最も簡単な場合として、0、1からなる画素点行列を構築し、軌跡が通る画素点が1であり、さもなければ、0となることが考えられる。
一実施例では、前記位置要素と前記時間要素における情報を利用して、前記運動軌跡を画像に変換することは、さらに、マッピングする前に、描かれた運動軌跡を平滑化して補強することにより、特徴情報を豊かにする。例えば、簡単な平均化処理、メディアンフィルタ処理、および、ガウス平滑化処理などの方法により、運動軌跡を平滑化して補強することで、特徴情報を豊かにすることが考えられる。処理が行われると、各運動軌跡は、軌跡構造特徴、運動特徴が記憶された一画素行列に変換され、当該行列が各種類のハイレベルアルゴリズムモデルに適用できる。
一実施例では、画像チャネルの方式により、運動軌跡を基礎として他の情報を追加する。水平方向と垂直方向における軌跡ポイントの速度、時間を、[0,255]の区間内の整数にマッピングし、各次元の情報が1つの画像チャネル値を示す。必要に応じて、単一チャネルまたは複数チャネル画像を作成し、単一チャネル画像における各画素点が一次元の情報のみを必要とし、すなわち、グレースケール画像となり、3チャネル画像がRGBモデルのもので、すなわち、カラー画像となる。
例えば、x方向の速度、y方向の速度、および、時間をRGBチャネル情報として選択する。x方向におけるi番目のポイントの速度近似値は、
vxi=(xi+1 -xi-1)／(ti+1-ti-1 )となる。
同じ理由により、y方向におけるi番目のポイントの速度近似値は、
vyi=(yi+1-yi-1)／(ti+1-ti-1 )となる。
min-max標準化の方法により、x方向の速度、y方向の速度、および、時間の値の区間を、[0,1]の区間内にマッピングしてから、正規化された数値に255を乗算して、値の範囲を[0,255]に変換することで、各軌跡ポイントのRGBチャネル値が得られる。軌跡が通らないポイントは、R=G=B=0に設定される。
勿論、当業者であれば理解できるように、他の情報をチャネル情報として用いてもよい。上記実施例では、x方向の速度、y方向の速度、および、時間が、RGBチャネル情報として使用される。他の実施例では、x方向の加速度、y方向の加速度、時間（axi, ayi, ti）、または、速度、加速度、時間（vi, ai, ti）などの他の組み合わせを用い、それを変換処理してからRGBチャネル情報としてもよい。そのうち、x方向におけるi番目のポイントの加速度は、
axi=(vxi-vx(i-1))／(ti-ti-1 )となる。
y方向におけるi番目のポイントの加速度は、
ayi=(vyi-vy(i-1))／(ti-ti-1)となる。
i番目のポイントの加速度は、
ai=√(axi 2+ayi 2)となる。
また、正規化の方法は、min-max標準化アルゴリズム以外、Z-scoreなどの他の標準化方法が用いられてもよい。
一実施例では、上記特徴処理方法1000は、前記1つまたは複数の特徴ベクトルに基づき、マンマシン認識または検証を行うことをさらに含んでもよい。別の実施例では、上記特徴処理方法1000は、操作環境データを取得し、前記1つまたは複数の特徴ベクトル及び前記操作環境データに基づき、マンマシン認識または検証を行うことをさらに含んでもよい。
マンマシン認識、検証の過程において、ユーザ操作による運動軌跡などの行為特徴以外、操作環境データも一定の価値があるものである。操作環境などの属性情報を符号化してマッピングし、類別情報を数値の形式に符号化して変換して、サンプルの追加特徴とする。一実施例では、種類ごとに1つの数字を与え、例えば、属性操作システムWindows7に0を与え、Ubuntuに1を与えることなどが考えられる。しかし、そのような処理方法では、類別情報を無意識的に順序付けることがある。例えば、上記例では、Ubuntu>Windows7として認識される可能性がある。
一実施例では、one-hotの符号化方法を用い、1つの属性をn個の類別特徴に変化してもよい。ただし、nが種類の数である。例えば、操作システムとして、Windows7、Ubuntu、IOS、Androidという4種類があると仮定すると、相応な番号は、x1[Windows7]=1000、x2[Ubuntu]=0100、x3[IOS]=0010、x4[Android]=0001となってもよい。
図2は、本発明の一実施例における運動軌跡の特徴処理装置2000を示す。図2に示すように、装置2000は、収集ユニット210、変換ユニット220、および、処理ユニット230を備える。そのうち、収集ユニット210は、ユーザ行為による運動軌跡を収集して一連の順序付きポイントセットを取得するためのものであって、前記順序付きポイントセットにおける各軌跡ポイントには、位置要素と時間要素が含まれる。変換ユニット220は、前記位置要素と前記時間要素における情報を利用して、前記運動軌跡を画像に変換するためのものである。処理ユニット230は、前記画像に対して画像処理を行うことで、前記運動軌跡における1つまたは複数の特徴ベクトルを取得するためのものである。
一実施例では、前記変換ユニット230は、前記順序付きポイントセットにおける各軌跡ポイントの位置要素と時間要素に基づき、前記運動軌跡を描き、描かれた運動軌跡を、少なくとも1つの画像チャネル値で示された画像にマッピングするように構成される。別の実施例では、前記変換ユニット220は、前記位置要素に基づき、所定の座標軸の領域内に軌跡ポイントを描くとともに、前記時間要素の順序に従って前記軌跡ポイント間の結び線を描くことによって、前記運動軌跡を描くように構成される。さらに別の実施例では、前記変換ユニット230は、マッピングする前に、描かれた運動軌跡を平滑化して補強することにより、特徴情報を豊かにするように構成される。さらに別の実施例では、前記変換ユニット220は、描かれた運動軌跡のx方向の速度、y方向の速度、及び時間を抽出して、それらを[0,255]の値の区間にマッピングして変換することにより、画像を表すためのRGB画像チャネル値を取得するように構成される。さらに別の実施例では、前記変換ユニットは、さらに、運動軌跡が通らないポイントのRGB画像チャネル値を、全部ゼロに設定するように構成される。
一実施例では、上記装置2000では、前記1つまたは複数の特徴ベクトルに基づき、マンマシン認識または検証を行うための第1の認識ユニット（図示されず）をさらに備えてもよい。別の実施例では、上記装置2000では、操作環境データを取得する取得ユニットと、前記1つまたは複数の特徴ベクトル及び前記操作環境データに基づき、マンマシン認識または検証を行う第2の認識ユニットとをさらに備えてもよい。
ここに指摘したいのは、以上は、運動軌跡の特徴処理方法及び装置に対し、マンマシン認識または検証を応用場面として、具体的に記述している。当業者であれば理解できるように、上記方法及び装置は、実質的な変化が生じることなく、他のマンマシンインタラクション場面に適用できるものである。
当業者であれば分かるように、本発明の実施例は、方法、システム、または、コンピュータプログラム製品として提供されてもよい。そのため、本発明は、ハードウェア、ソフトウェア、または、ハードウェアとソフトウェアの組み合わせの形式が用いられてもよい。しかも、本発明は、1つまたは複数の、コンピュータ利用可能なプログラムコードを含むコンピュータ利用可能な記憶媒体（ディスクメモリと光学メモリなどを含むが、それらに限られないもの）に実施されるコンピュータプログラム製品の形式が用いられてもよい。例えば、それらのコンピュータプログラムコマンドを、汎用的なコンピュータ、専用的なコンピュータ、埋込型プロセッサ、または、他の処理機器を編集可能なプロセッサに提供することにより、指定された操作を実行するコマンドシーケンスを発生させてもよい。
以上により、本発明における特徴処理方案は、人間の先行知識に依存しないので、普及適応性が強い。運動軌跡を画像に変換して入力とすることは、運動特徴の抽出ルールを、例えば、ジッタや変位などの特徴を抽出するように、人為的に設定する必要がないので、特徴モデリングの不適切さ、考慮不完全などの問題を回避した。また、本発明における画像に基づく特徴モデリング方法では、運動軌跡のオリジナルな構造情報及び他のルールで記述されにくい非明示な情報が保留されるようになる。従来の機械学習アルゴリズム以外、処理後の特徴は、様々なハイレベル画像処理、深度学習アルゴリズム（例えば、畳み込みニューラルネットワークCNN）に適用できるようになり、軌跡特徴のモデルの適用範囲が拡大された。しかも、本発明における特徴処理方案が採用されたことにより、マンマシン認識または検証を行うときに、攻撃者が規則を発見することが困難となり、ウィンドコントロールエンジンを欺く正常な人間による操作を一括してシミュレートすることができなくなる。
上記例では、主に、本発明における運動軌跡の特徴処理方法、装置、および、コンピュータ記憶媒体が説明されている。本発明の幾つかの具体的な実施の形態のみを記述しているが、しかし、当業者であれば分かるように、本発明は、その趣旨や範囲から逸脱しない限り、他の形式で実施されてもよい。そのため、開示の例と実施の形態は、限定的なものではなく、例示的なものとして見なされる。添付の各請求項で定義された本発明の精神や範囲から逸脱しない限り、本発明は、種々の修正や置き換えをカバーできる。

Claims (17)

  1. クライアント端末は、ユーザ行為による運動軌跡を収集して一連の順序付きポイントセットを取得し、前記順序付きポイントセットにおける各軌跡ポイントには、位置要素と時間要素が含まれ、
    前記クライアント端末は、前記位置要素と前記時間要素における情報を利用して、前記運動軌跡を画像に変換し、
    前記クライアント端末は、前記画像に対して画像処理を行うことで、前記運動軌跡における１つまたは複数の特徴ベクトルを取得することを含み、
    前記位置要素と前記時間要素における情報を利用して、前記運動軌跡を画像に変換することは、
    前記順序付きポイントセットにおける各軌跡ポイントの位置要素と時間要素に基づき、前記運動軌跡を描き、描かれた運動軌跡を、少なくとも１つの画像チャネル値で示された画像にマッピングすることを含み、
    描かれた運動軌跡のｘ方向の速度、ｙ方向の速度、及び時間を抽出して、［０，２５５］の値の範囲にマッピングして変換することにより、画像を表すためのＲＧＢ画像チャネル値を取得し、
    前記画像に対して画像処理を行うことで、前記運動軌跡における１つまたは複数の特徴ベクトルを取得することは、前記画像における各画素のＲＧＢの画像チャネル値を参照し、前記運動軌跡における１つまたは複数の特徴ベクトルを取得することを含む
    ことを特徴とする運動軌跡の特徴処理方法。
  2. 前記ユーザ行為による運動軌跡は、マウス運動軌跡、又は、タッチスクリーンによる運動軌跡を含む、ことを特徴とする請求項１に記載の方法。
  3. 前記順序付きポイントセットにおけるn番目のポイントは、［ｘｎ，ｙｎ，ｔｎ］で示され、ただし、ｘｎが横座標であり、ｙｎが縦座標であり、ｔｎが時間である、ことを特徴とする請求項１に記載の方法。
  4. 前記位置要素に基づき、所定の座標軸の領域内に軌跡ポイントを描くとともに、前記時間要素の順序に従って前記軌跡ポイント間の結び線を描くことによって、前記運動軌跡が描かれる、ことを特徴とする請求項１に記載の方法。
  5. 前記位置要素と前記時間要素における情報を利用して、前記運動軌跡を画像に変換することは、
    マッピングする前に、描かれた運動軌跡を平滑化して補強することにより、特徴情報を豊かにすることをさらに含む、ことを特徴とする請求項１に記載の方法。
  6. 運動軌跡が通らないポイントのＲＧＢ画像チャネル値を、全部ゼロに設定する、ことを特徴とする請求項１に記載の方法。
  7. 前記１つまたは複数の特徴ベクトルに基づき、マンマシン認識または検証を行うことをさらに含む、ことを特徴とする請求項１に記載の方法。
  8. 操作環境データを取得し、
    前記1つまたは複数の特徴ベクトル及び前記操作環境データに基づき、マンマシン認識または検証を行うことをさらに含み、
    前記操作環境データは、動作環境に対応する属性情報を符号化してマッピングするためのデータである、ことを特徴とする請求項１に記載の方法。
  9. ユーザ行為による運動軌跡を収集して一連の順序付きポイントセットを取得するための収集ユニットであって、前記順序付きポイントセットにおける各軌跡ポイントには、位置要素と時間要素が含まれる収集ユニットと、
    前記位置要素と前記時間要素における情報を利用して、前記運動軌跡を画像に変換する変換ユニットと、
    前記画像に対して画像処理を行うことで、前記運動軌跡における１つまたは複数の特徴ベクトルを取得する処理ユニットとを備え、
    前記変換ユニットは、前記順序付きポイントセットにおける各軌跡ポイントの位置要素と時間要素に基づき、前記運動軌跡を描き、描かれた運動軌跡を、少なくとも１つの画像チャネル値で示された画像にマッピングするように構成され、
    前記変換ユニットは、描かれた運動軌跡のｘ方向の速度、ｙ方向の速度、及び時間を抽出して、［０，２５５］の値の区間にマッピングして変換することにより、画像を表すためのＲＧＢ画像チャネル値を取得するように構成され、
    前記処理ユニットは、前記画像処理において前記画像における各画素のＲＧＢの画像チャネル値を参照し、前記運動軌跡における１つまたは複数の特徴ベクトルを取得するように構成される、
    ことを特徴とする運動軌跡の特徴処理装置。
  10. 前記ユーザ行為による運動軌跡は、マウス運動軌跡、又は、タッチスクリーンによる運動軌跡を含む、ことを特徴とする請求項９に記載の装置。
  11. 前記順序付きポイントセットにおけるn番目のポイントは、［ｘｎ，ｙｎ，ｔｎ］で示され、ただし、ｘｎが横座標であり、ｙｎが縦座標であり、ｔｎが時間である、ことを特徴とする請求項９に記載の装置。
  12. 前記変換ユニットは、前記位置要素に基づき、所定の座標軸の領域内に軌跡ポイントを描くとともに、前記時間要素の順序に従って前記軌跡ポイント間の結び線を描くことによって、前記運動軌跡を描くように構成される、ことを特徴とする請求項９に記載の装置。
  13. 前記変換ユニットは、マッピングする前に、描かれた運動軌跡を平滑化して補強することにより、特徴情報を豊かにするように構成される、ことを特徴とする請求項９に記載の装置。
  14. 前記変換ユニットは、さらに、運動軌跡が通らないポイントのＲＧＢ画像チャネル値を、全部ゼロに設定するように構成される、ことを特徴とする請求項９に記載の装置。
  15. 前記１つまたは複数の特徴ベクトルに基づき、マンマシン認識または検証を行うための第1の認識ユニットをさらに備える、ことを特徴とする請求項９に記載の装置。
  16. 操作環境データを取得する取得ユニットと、
    前記１つまたは複数の特徴ベクトル及び前記操作環境データに基づき、マンマシン認識または検証を行う第２の認識ユニットとをさらに備え、
    前記操作環境データは、動作環境に対応する属性情報を符号化してマッピングするためのデータである、ことを特徴とする請求項９に記載の装置。
  17. コンピュータ記憶媒体であって、前記媒体がコマンドを含み、前記コマンドが実行されたときに、請求項１～８のいずれか１項に記載の方法をプロセッサに実行させる、コンピュータ記憶媒体。
JP2020554890A 2018-07-11 2019-07-03 運動軌跡の特徴処理方法、装置、および、コンピュータ記憶媒体 Active JP7096904B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201810756730.2A CN110717154A (zh) 2018-07-11 2018-07-11 运动轨迹的特征处理方法、设备以及计算机存储介质
CN201810756730.2 2018-07-11
PCT/CN2019/094475 WO2020011069A1 (zh) 2018-07-11 2019-07-03 运动轨迹的特征处理方法、设备以及计算机存储介质

Publications (2)

Publication Number Publication Date
JP2021512432A JP2021512432A (ja) 2021-05-13
JP7096904B2 true JP7096904B2 (ja) 2022-07-06

Family

ID=69142026

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020554890A Active JP7096904B2 (ja) 2018-07-11 2019-07-03 運動軌跡の特徴処理方法、装置、および、コンピュータ記憶媒体

Country Status (6)

Country Link
US (1) US11222431B2 (ja)
EP (1) EP3822830B1 (ja)
JP (1) JP7096904B2 (ja)
KR (1) KR102343849B1 (ja)
CN (1) CN110717154A (ja)
WO (1) WO2020011069A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108960139A (zh) * 2018-07-03 2018-12-07 百度在线网络技术（北京）有限公司 人物行为识别方法、装置及存储介质
CN111862144A (zh) * 2020-07-01 2020-10-30 睿视智觉（厦门）科技有限公司 一种确定物体移动轨迹分数的方法及装置
CN112364722A (zh) * 2020-10-23 2021-02-12 岭东核电有限公司 核电作业人员监控处理方法、装置和计算机设备
CN112686941B (zh) * 2020-12-24 2023-09-19 北京英泰智科技股份有限公司 一种车辆运动轨迹合理性识别方法、装置及电子设备
CN113658225A (zh) * 2021-08-19 2021-11-16 天之翼(苏州)科技有限公司 基于航拍监控的运动对象识别方法及系统
CN115392407B (zh) * 2022-10-28 2023-03-24 中建五局第三建设有限公司 基于无监督学习的危险源预警方法、装置、设备及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007334467A (ja) 2006-06-13 2007-12-27 Cyber Sign Japan Inc 手書署名認証方法
CN104463084A (zh) 2013-09-24 2015-03-25 江南大学 一种基于非负矩阵分解的离线手写签名识别
JP2015135537A (ja) 2014-01-16 2015-07-27 株式会社リコー 座標検出システム、情報処理装置、座標検出方法およびプログラム
JP2016071777A (ja) 2014-10-01 2016-05-09 株式会社東芝 電子機器、処理方法およびプログラム
JP2017004298A (ja) 2015-06-11 2017-01-05 シャープ株式会社 文字入力システム、文字入力方法、及び、コンピュータプログラム
WO2017061758A1 (ko) 2015-10-05 2017-04-13 주식회사 시큐브 세그먼트 블록 기반 수기서명 인증 시스템 및 방법
CN107507286A (zh) 2017-08-02 2017-12-22 五邑大学 一种基于人脸和手写签名的双模态生物特征签到系统

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5281957A (en) * 1984-11-14 1994-01-25 Schoolman Scientific Corp. Portable computer and head mounted display
US5298919A (en) * 1991-08-02 1994-03-29 Multipoint Technology Corporation Multi-dimensional input device
JP2009020897A (ja) * 2002-09-26 2009-01-29 Toshiba Corp 画像解析方法、画像解析装置、画像解析プログラム
US7971543B2 (en) * 2007-03-06 2011-07-05 Brother Kogyo Kabushiki Kaisha Sewing machine and computer-readable recording medium storing sewing machine operation program
JP5154558B2 (ja) * 2007-08-31 2013-02-27 公益財団法人東京都医学総合研究所 定量的運動機能評価システム及び運動機能評価用プログラム
KR101053411B1 (ko) * 2009-02-04 2011-08-01 허성민 문자 입력 방법 및 그 단말기
TW201312422A (zh) 2011-09-07 2013-03-16 Pixart Imaging Inc 具軌跡偵測功能之光學觸控系統及方法
CN103093183A (zh) 2011-10-27 2013-05-08 索尼公司 分类器生成装置和方法、视频检测装置和方法及视频监控系统
US9285895B1 (en) 2012-03-28 2016-03-15 Amazon Technologies, Inc. Integrated near field sensor for display devices
US9280281B2 (en) * 2012-09-12 2016-03-08 Insyde Software Corp. System and method for providing gesture-based user identification
EP2911089B1 (en) * 2014-02-25 2018-04-04 Karlsruher Institut für Technologie Method and system for handwriting and gesture recognition
EP3158553B1 (en) * 2015-03-31 2018-11-28 SZ DJI Technology Co., Ltd. Authentication systems and methods for identification of authorized participants
CN106569613A (zh) * 2016-11-14 2017-04-19 中国电子科技集团公司第二十八研究所 一种多模态人机交互系统及其控制方法
CN108121906A (zh) * 2016-11-28 2018-06-05 阿里巴巴集团控股有限公司 一种验证方法、装置以及计算设备
CN107038462B (zh) * 2017-04-14 2020-12-15 广州机智云物联网科技有限公司 设备控制操作方法及系统
CN107133511A (zh) 2017-04-28 2017-09-05 成都新橙北斗智联有限公司 一种滑动验证的验证方法及装置
CN107463878A (zh) 2017-07-05 2017-12-12 成都数联铭品科技有限公司 基于深度学习的人体行为识别系统
CN109858211B (zh) * 2017-08-23 2021-02-19 北京三快在线科技有限公司 一种基于滑动轨迹的人机识别方法及装置，电子设备
CN108229130B (zh) * 2018-01-30 2021-04-16 中国银联股份有限公司 一种验证方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007334467A (ja) 2006-06-13 2007-12-27 Cyber Sign Japan Inc 手書署名認証方法
CN104463084A (zh) 2013-09-24 2015-03-25 江南大学 一种基于非负矩阵分解的离线手写签名识别
JP2015135537A (ja) 2014-01-16 2015-07-27 株式会社リコー 座標検出システム、情報処理装置、座標検出方法およびプログラム
JP2016071777A (ja) 2014-10-01 2016-05-09 株式会社東芝 電子機器、処理方法およびプログラム
JP2017004298A (ja) 2015-06-11 2017-01-05 シャープ株式会社 文字入力システム、文字入力方法、及び、コンピュータプログラム
WO2017061758A1 (ko) 2015-10-05 2017-04-13 주식회사 시큐브 세그먼트 블록 기반 수기서명 인증 시스템 및 방법
CN107507286A (zh) 2017-08-02 2017-12-22 五邑大学 一种基于人脸和手写签名的双模态生物特征签到系统

Also Published As

Publication number Publication date
EP3822830B1 (en) 2023-08-30
EP3822830A4 (en) 2022-04-06
WO2020011069A1 (zh) 2020-01-16
JP2021512432A (ja) 2021-05-13
KR102343849B1 (ko) 2021-12-27
US11222431B2 (en) 2022-01-11
KR20200140869A (ko) 2020-12-16
CN110717154A (zh) 2020-01-21
US20210248760A1 (en) 2021-08-12
EP3822830A1 (en) 2021-05-19

Similar Documents

Publication Publication Date Title
JP7096904B2 (ja) 運動軌跡の特徴処理方法、装置、および、コンピュータ記憶媒体
CN110059694B (zh) 电力行业复杂场景下的文字数据的智能识别方法
CN108171104B (zh) 一种文字检测方法及装置
CN108550259B (zh) 道路拥堵判断方法、终端设备及计算机可读存储介质
US10275653B2 (en) Primary video objects with neighborhood reversibility
US11281897B2 (en) Gesture shaking recognition method and apparatus, and gesture recognition method
CN106648078B (zh) 应用于智能机器人的多模态交互方法及系统
CN107103326A (zh) 基于超像素聚类的协同显著性检测方法
CN111523447B (zh) 车辆跟踪方法、装置、电子设备及存储介质
CN110582783B (zh) 训练装置、图像识别装置、训练方法和计算机可读信息存储介质
CN112232371B (zh) 一种基于YOLOv3与文本识别的美式车牌识别方法
CN110738132B (zh) 一种具备判别性感知能力的目标检测质量盲评价方法
WO2008139399A2 (en) Method of determining motion-related features and method of performing motion classification
EP2423850B1 (en) Object recognition system and method
KR101931271B1 (ko) 싱글 포워드 패스를 이용한 얼굴 인식 방법 및 이를 위한 장치
CN109697409B (zh) 一种运动图像的特征提取方法及起立动作图像的识别方法
DE102009034939A1 (de) System und Verfahren zur Erkennung von Ein-Strich-Zeichen
US20200005467A1 (en) Image processing device, image recognition device, image processing program, and image recognition program
CN112699836A (zh) 低空水田图像的分割方法、装置和电子设备
CN113544735A (zh) 人认证设备、控制方法和程序
CN113688810B (zh) 一种边缘设备的目标捕获方法、系统及相关设备
JPWO2018143277A1 (ja) 画像特徴量出力装置、画像認識装置、画像特徴量出力プログラム、及び画像認識プログラム
KR20190093726A (ko) 영상으로부터 손을 검출하는 장치, 방법 및 컴퓨터 프로그램
KR102513456B1 (ko) 그림파일 형태의 그래프 데이터 인식 및 추출하는 시스템 및 그 방법
JP7128578B2 (ja) 物体検出装置、物体検出プログラム、物体検出方法、及び学習装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201006

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20201029

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20210419

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210427

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210727

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20211019

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220218

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220218

C11 Written invitation by the commissioner to file amendments

Free format text: JAPANESE INTERMEDIATE CODE: C11

Effective date: 20220301

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220323

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220329

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220531

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220624

R150 Certificate of patent or registration of utility model

Ref document number: 7096904

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150