JP6705907B2 - 可変グリッドのインデックスを利用した入力認識方法およびシステム - Google Patents

可変グリッドのインデックスを利用した入力認識方法およびシステム Download PDF

Info

Publication number
JP6705907B2
JP6705907B2 JP2018546895A JP2018546895A JP6705907B2 JP 6705907 B2 JP6705907 B2 JP 6705907B2 JP 2018546895 A JP2018546895 A JP 2018546895A JP 2018546895 A JP2018546895 A JP 2018546895A JP 6705907 B2 JP6705907 B2 JP 6705907B2
Authority
JP
Japan
Prior art keywords
input
virtual grid
pattern
user
electronic device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018546895A
Other languages
English (en)
Other versions
JP2019512787A (ja
Inventor
カン,ジョンミン
カン,テギュ
オ,セチュン
イ,ホジン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Naver Cloud Corp
Original Assignee
Naver Cloud Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Naver Cloud Corp filed Critical Naver Cloud Corp
Publication of JP2019512787A publication Critical patent/JP2019512787A/ja
Application granted granted Critical
Publication of JP6705907B2 publication Critical patent/JP6705907B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/316User authentication by observing the pattern of computer usage, e.g. typical user behaviour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/36User authentication by graphic or iconic representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/45Structures or tools for the administration of authentication
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547Touch pads, in which fingers can move on a surface
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Input From Keyboards Or The Like (AREA)

Description

以下の説明は、可変グリッドのインデックスを利用した入力認識方法およびシステムに関する。
電子機器においては、ユーザが入力した入力信号からハッキングツールを使って個人情報の流出が狙われるという動きがある。このような動きを防ぐために、キーが任意的に再配列された仮想キーボードを活用する従来技術が存在する。例えば、特許文献1(韓国公開特許第10−2007−0010557号公報)は、キー入力ハッキング防止方法に関するものであって、安全性の高いウェブページまたはこれと同じような機能を提供する応用プログラム上で、任意的に再配列された仮想キーボードを利用してユーザからIDまたはパスワードなどのデータが入力されると、これをウェブページまたは前記応用プログラムに送信することで、キーロガーのようなハッキングプログラムによる個人情報の流出を防ぐための技術を開示している。
しかし、このような仮想キーボードのレイアウトが知られてしまい、電子機器の座標系でユーザが選択した位置が知られてしまった場合には、ユーザが仮想キーボードで選択したキーは、簡単に流出してしまうようになる。
韓国公開特許第10−2007−0010557号公報
電子機器で使用する座標系の座標ではなく、線間の距離が可変の仮想グリッドのインデックスを座標として活用して、ユーザが選択した位置を認識することにより、ユーザが選択した位置が類推されるのを防ぐことができる、入力認識方法およびシステムを提供する。
入力セッションごとに仮想グリッドの線間の距離を変化させて仮想グリッドを生成することにより、ユーザが同じ位置を選択したとしても、異なる仮想グリッドのインデックスが認識されるようにする、入力認識方法およびシステムを提供する。
ユーザが入力したパスワードやパターンのうちの一部に予め設定されたタッチパターンが含まれるようにすることにより、ユーザが選択した位置から得られるユーザのパスワードやパターンだけではなく、一部の番号や一部のパターンと関連付けられたタッチパターンまでが一致しなければ、ユーザを認証できないようにする、入力認識方法およびシステムを提供する。
コンピュータによって実現された電子機器が実行する入力認識方法であって、線間の距離が可変の仮想グリッドを、前記電子機器に含まれるか前記電子機器と連結されるディスプレイの少なくとも一部の領域に対応させて生成する段階、および前記仮想グリッドを対応させた前記ディスプレイ領域のうち、前記電子機器のユーザによって選択された位置を、前記仮想グリッドのインデックスを利用して認識する段階を含むことを特徴とする、入力認識方法を提供する。
コンピュータによって実現されたサーバが実行する入力認識方法であって、線間の距離が可変の仮想グリッドを利用して電子機器で認識された前記仮想グリッドのインデックスを、ネットワークを介して受信する段階(ただし、前記仮想グリッドは、前記電子機器のディスプレイに表示される仮想キーボードの領域に対応する)、および前記受信したインデックス、前記仮想キーボードのレイアウト、および前記仮想グリッドのインデックス情報に基づいて、前記受信したインデックスに対応する前記仮想キーボードのキーを決定する段階を含み、前記仮想グリッドのインデックス情報は、前記仮想グリッドの線間の距離に関する情報と前記仮想グリッドの線の位置に関する情報のうちの少なくとも一方の情報を含むことを特徴とする、入力認識方法を提供する。
コンピュータによって実現された電子機器の入力認識システムであって、前記コンピュータで読み取り可能な命令を格納するメモリ、および前記命令を実行するように実現される少なくとも1つのプロセッサを含み、前記少なくとも1つのプロセッサは、線間の距離が可変の仮想グリッドを、前記電子機器にさらに含まれるか前記電子機器と連結されるディスプレイの少なくとも一部の領域に対応させて生成する仮想グリッド生成部、および前記仮想グリッドを対応させた前記ディスプレイ領域のうち、前記電子機器のユーザによって選択された位置を、前記仮想グリッドのインデックスを利用して認識する選択位置認識部を備えることを特徴とする、入力認識システムを提供する。
コンピュータによって実現されたサーバの入力認識システムであって、前記コンピュータで読み取り可能な命令を格納するメモリ、および前記命令を実行するように実現される少なくとも1つのプロセッサを含み、前記少なくとも1つのプロセッサは、線間の距離が可変の仮想グリッドを利用して電子機器で認識された前記仮想グリッドのインデックスを、ネットワークを介して受信するように前記サーバを制御する受信制御部(ただし、前記仮想グリッドは、前記電子機器のディスプレイに表示される仮想キーボードの領域に対応する)、および前記受信したインデックス、前記仮想キーボードのレイアウト、および前記仮想グリッドのインデックス情報に基づいて、前記受信したインデックスに対応する前記仮想キーボードのキーを決定するキー決定部を備え、前記仮想グリッドのインデックス情報は、前記仮想グリッドの線間の距離に関する情報と前記仮想グリッドの線の位置に関する情報のうちの少なくとも一方の情報を含むことを特徴とする、入力認識システムを提供する。
電子機器で使用する座標系の座標ではなく、線間の距離が可変の仮想グリッドのインデックスを座標として活用して、ユーザが選択した位置を認識することにより、ユーザが選択した位置が類推されることを防ぐことができる。
入力セッションごとに仮想グリッドの線間の距離を変化させて仮想グリッドを生成することにより、ユーザが同じ位置を選択したとしても、互いに異なる仮想グリッドのインデックスが認識されるようにすることができる。
ユーザが入力したパスワードやパターンのうちの一部に予め設定されたタッチパターンが含まれるようにすることにより、ユーザが選択した位置から得られるユーザのパスワードやパターンだけではなく、一部の番号や一部のパターンと関連付けられたタッチパターンまでが一致しなければ、ユーザを認証できないようにすることができる。
本発明の一実施形態における、ネットワーク環境の例を示した図である。 本発明の一実施形態における、電子機器およびサーバの内部構成を説明するためのブロック図である。 本発明の一実施形態における、電子機器のプロセッサが含むことができる構成要素の例を示したブロック図である。 本発明の一実施形態における、電子機器が実行することができる方法の例を示したフローチャートである。 本発明の一実施形態における、ディスプレイの一部の領域に対応させた仮想グリッドの例を示した図である。 本発明の一実施形態における、仮想グリッドのインデックスを説明するための図である。 本発明の一実施形態における、線間の距離が変化した仮想グリッドを示した図である。 本発明の一実施形態における、仮想キーボードに対応する仮想グリッドの例を示した図である。 本発明の一実施形態における、仮想キーボードに対応する仮想グリッドの例を示した図である。 本発明の一実施形態における、仮想キーボードに対応する他の仮想グリッドの例を示した図である。 本発明の一実施形態における、電子機器のプロセッサがさらに含むことができる構成要素の例を示したブロック図である。 本発明の一実施形態における、電子機器が実行することができる方法の例を示したフローチャートである。 本発明の一実施形態における、インデックス情報、および認識されたインデックスをサーバに送信する過程の例を示した図である。 本発明の一実施形態における、電子機器のプロセッサが含むことができる構成要素の他の例を示したブロック図である。 本発明の一実施形態における、電子機器が実行することができる他の方法の例を示したフローチャートである。 本発明の一実施形態における、3Dタッチを利用してユーザを認証する過程の例を示した図である。 本発明の一実施形態における、3Dタッチを利用してユーザを認証する過程の他の例を示した図である。 本発明の一実施形態における、タッチ時間ディレイを利用してユーザを認証する過程の例を示した図である。 本発明の一実施形態における、タッチ時間ディレイを利用してユーザを認証する過程の他の例を示した図である。 本発明の一実施形態における、タッチ入力速度の変更を利用してユーザを認証する過程の例を示した図である。 本発明の一実施形態における、タッチ入力速度の変更を利用してユーザを認証する過程の他の例を示した図である。 本発明の一実施形態における、サーバのプロセッサがさらに含むことができる構成要素の例を示したブロック図である。 本発明の一実施形態における、サーバが実行することができる方法の例を示したフローチャートである。
以下、実施形態について、添付の図面を参照しながら詳しく説明する。
図1は、本発明の一実施形態における、ネットワーク環境の例を示した図である。図1のネットワーク環境は、複数の電子機器110、120、130、140、複数のサーバ150、160、およびネットワーク170を含む例を示している。このような図1は、本発明の説明のための一例に過ぎず、電子機器の数やサーバの数が図1のように限定されることはない。
複数の電子機器110、120、130、140は、コンピュータ装置によって実現される固定端末や移動端末であってよい。複数の電子機器110、120、130、140の例としては、スマートフォン、携帯電話、ナビゲーション、PC(personal computer)、ノート型パンコン、デジタル放送用端末、PDA(Personal Digital Assistant)、PMP(Portable Multimedia Player)、タブレットなどがある。一例として、電子機器1(110)は、無線または有線通信方式を利用し、ネットワーク170を介して他の電子機器120、130、140および/またはサーバ150、160と通信してよい。
通信方式が限定されることはなく、ネットワーク170が含むことができる通信網(一例として、移動通信網、有線インターネット、無線インターネット、放送網)を活用する通信方式だけではなく、機器間の近距離無線通信が含まれてもよい。例えば、ネットワーク170は、PAN(personal area network)、LAN(local area network)、CAN(campus area network)、MAN(metropolitan area network)、WAN(wide area network)、BBN(broadband network)、インターネットなどのネットワークのうちの1つ以上の任意のネットワークを含んでよい。さらに、ネットワーク170は、バスネットワーク、スターネットワーク、リングネットワーク、メッシュネットワーク、スター−バスネットワーク、ツリーまたは階層的(hierarchical)ネットワークなどを含むネットワークトポロジのうちの任意の1つ以上を含んでもよいが、これらに限定されることはない。
サーバ150、160のそれぞれは、電子機器110、120、130、140とネットワーク170を介して通信して命令、コード、ファイル、コンテンツ、サービスなどを提供するコンピュータ装置または複数のコンピュータ装置によって実現されてよい。一例として、電子機器1(110)は、該電子機器1(110)にインストールされたアプリケーションを介してサーバ150にアクセスし、予め設定されたサービス(一例として、ゲームサービス、チャットサービス、SNS(Social Network Service)サービス、金融サービスなど)の提供を受けてよい。
このとき、電子機器1(110)のユーザは、電子機器1(110)を利用してIDやパスワード、口座番号やクレジットカード番号、パターンなどのような個人情報を入力することがある。この場合、電子機器1(110)は、本発明の実施形態に係る入力認識方法によってユーザが入力した情報を認識することができる。他の実施形態において、電子機器1(110)は、認識した情報を、ネットワーク170を介してサーバ150に伝達してもよい。この場合、電子機器1(110)は、本発明の実施形態に係る入力認識方法によって認識された仮想グリッドのインデックスを基盤とした情報をサーバ150に伝達してよく、サーバは、伝達された仮想グリッドのインデックスを基盤として、ユーザによって入力された情報を認識することができる。
図2は、本発明の一実施形態における、電子機器およびサーバの内部構成を説明するためのブロック図である。図2では、1つの電子機器に対する例として電子機器1(110)の内部構成を、1つのサーバに対する例としてサーバ150の内部構成を説明する。他の電子機器120、130、140やサーバ160も、同一または類似の内部構成を備えてよい。
電子機器1(110)およびサーバ150は、それぞれ、メモリ211、221、プロセッサ212、222、通信モジュール213、223、および入力/出力インタフェース214、224を含んでよい。メモリ211、221は、コンピュータ読取可能な記録媒体であって、RAM(random access memory)、ROM(read only memory)、およびディスクドライブのような永久大容量記憶装置(permanent mass storage device)を含んでよい。ここで、ROMと永久大容量記憶装置は、メモリ211、221とは分離された別の永久格納装置として含まれてもよい。また、メモリ211、221には、オペレーティングシステムと、少なくとも1つのプログラムコード(一例として、電子機器1(110)にインストールされて駆動するブラウザや特定のサービスの提供のためのアプリケーションなどのためのコード)が格納されてよい。このようなソフトウェア構成要素は、メモリ211、221とは別のコンピュータ読取可能な記録媒体からロードされてよい。このような別のコンピュータ読取可能な記録媒体は、フロッピードライブ、ディスク、テープ、DVD/CD−ROMドライブ、メモリカードなどのコンピュータ読取可能な記録媒体を含んでよい。他の実施形態において、ソフトウェア構成要素は、コンピュータ読取可能な記録媒体ではない通信モジュール213、223を通じてメモリ211、221にロードされてもよい。例えば、少なくとも1つのプログラムは、開発者またはアプリケーションのインストールファイルを配布するファイル配布システム(一例として、上述したサーバ160)がネットワーク170を介して提供するファイルによってインストールされるプログラム(一例として、上述したアプリケーション)に基づいてメモリ211、221にロードされてよい。
プロセッサ212、222は、基本的な算術、ロジック、および入出力演算を実行することにより、コンピュータプログラムの命令を処理するように構成されてよい。命令は、メモリ211、221または通信モジュール213、223によって、プロセッサ212、222に提供されてよい。例えば、プロセッサ212、222は、メモリ211、221のような記録装置に格納されたプログラムコードに従って受信される命令を実行するように構成されてよい。
通信モジュール213、223は、ネットワーク170を介して電子機器1(110)とサーバ150とが互いに通信するための機能を提供してもよいし、他の電子機器(一例として、電子機器2(120))または他のサーバ(一例として、サーバ160)と通信するための機能を提供してもよい。一例として、電子機器1(110)のプロセッサ212がメモリ211のような記録装置に格納されたプログラムコードに従って生成した要求(一例として、映像通話サービスのための要求)が、通信モジュール213の制御に従ってネットワーク170を介してサーバ150に伝達されてよい。これとは逆に、サーバ150のプロセッサ222の制御に従って提供される制御信号や命令、コンテンツ、ファイルなどが、通信モジュール223とネットワーク170を経て電子機器1(110)の通信モジュール213を通じて電子機器1(110)に受信されてもよい。例えば、通信モジュール213を通じて受信したサーバ150の制御信号や命令などは、プロセッサ212やメモリ211に伝達されてよく、コンテンツやファイルなどは、電子機器1(110)がさらに含むことができる格納媒体に格納されてよい。
入力/出力インタフェース214、224は、入力/出力装置215とのインタフェースのための手段であってよい。例えば、入力装置は、キーボードまたはマウスなどの装置を含んでよく、出力装置は、アプリケーションの通信セッションを表示するためのディスプレイのような装置を含んでよい。他の例として、入力/出力インタフェース214は、タッチスクリーンのように入力と出力のための機能が1つに統合された装置とのインタフェースのための手段であってもよい。より具体的な例として、電子機器1(110)のプロセッサ212は、メモリ211にロードされたコンピュータプログラムの命令を処理する際に、サーバ150や電子機器2(120)によって提供されるデータを利用して構成されるサービス画面やコンテンツを、入力/出力インタフェース214を経てディスプレイに表示してよい。
また、他の実施形態において、電子機器1(110)およびサーバ150は、図2の構成要素よりも多くの構成要素を含んでもよい。しかし、大部分の従来技術的構成要素を明確に図に示す必要はない。例えば、電子機器1(110)は、上述した入力/出力装置215のうちの少なくとも一部を含むように実現されてよく、トランシーバ、GPS(Global Positioning System)モジュール、カメラ、各種センサ、データベースなどのような他の構成要素をさらに含んでもよい。より具体的な例として、電子機器1(110)がスマートフォンである場合、一般的にスマートフォンに含まれる加速度センサやジャイロセンサ、カメラ、物理的な各種ボタン、タッチパネルを利用したボタン、入力/出力ポート、振動のための振動器などのような多様な構成要素が、電子機器1(110)にさらに含まれるように実現されてもよいことが理解できるであろう。
図3は、本発明の一実施形態における、電子機器のプロセッサが含むことができる構成要素の例を示したブロック図であり、図4は、本発明の一実施形態における、電子機器が実行することができる方法の例を示したフローチャートである。
電子機器1(110)は、本発明の一実施形態に係る入力認識システムを実現してよく、図3に示すように、電子機器1(110)に含まれるプロセッサ212は、構成要素として、仮想グリッド生成部310および選択位置認識部320を備えてよい。このようなプロセッサ212およびプロセッサ212の構成要素は、図4の入力認識方法に含まれる段階410〜段階430を実行するように電子機器1(110)を制御することができる。このとき、プロセッサ212およびプロセッサ212の構成要素は、メモリ211に含まれるオペレーティングシステムのコードと、少なくとも1つのプログラムのコードによる命令(instruction)を実行するように実現されてよい。ここで、プロセッサ212の構成要素は、電子機器1(110)に格納されたプログラムコードが提供する制御命令に従ってプロセッサ212によって実行される、プロセッサ212の互いに異なる機能(different functions)の表現であってよい。例えば、プロセッサ212が上述した制御命令に従って仮想グリッドを生成するように電子機器1(110)を制御するプロセッサ212の機能的表現として、仮想グリッド生成部310が使用されてよい。
段階410において、プロセッサ212は、電子機器1(110)の制御と関連する命令がロードされたメモリ211から、命令を読み取ることができる。この場合、読み取られた命令は、以下で説明される段階420および段階430をプロセッサ212が実行するように制御するための命令のうちの少なくとも一部を含んでよい。
段階420において、仮想グリッド生成部310は、線間の距離が可変の仮想グリッドを、電子機器1(110)にさらに含まれるか電子機器1(110)と連結されるディスプレイの少なくとも一部の領域に対応させて生成することができる。例えば、仮想グリッドは、該仮想グリッドを構成する線で囲まれた領域のうちの一部の領域の大きさが互いに異なるように生成されてよく、仮想グリッドが生成されるたびに線間の距離を変化させることができる。このような仮想グリッドは、ディスプレイに表示されるのではなく、ディスプレイの領域全体または一部の領域に対応させて生成されてよい。
段階430において、選択位置認識部320は、仮想グリッドに対応するディスプレイ領域のうち、電子機器1(110)のユーザによって選択された位置を、仮想グリッドのインデックスを利用して認識することができる。例えば、仮想グリッドのインデックスは、仮想グリッドに対応する行列によって認識されてよい。言い換えれば、ユーザが選択した位置が仮想グリッドの1行目の1列目の領域に含まれる場合には、(1,1)のインデックスが認識されるようになる。あるいは、左側から右側への順に、さらに上から下への順に増加するインデックスが利用されてもよい。この場合、仮想グリッドの1行目の1列目の領域は「1」のインデックスを、1行目の2列目の領域は「2」のインデックスを有するようになる。このように、仮想グリッドのインデックスは、多様な構造の中から選択された構造を用いてよい。以下では、説明の便宜のために、左側から右側への順に、さらに上から下への順に増加するインデックスの構造を利用して、本発明の実施形態を説明する。
このように、本実施形態では、電子機器1(110)自体の座標系は使用せず、線間の距離が可変の仮想グリッドのインデックスを利用して、ユーザが選択した位置を指示することにより、攻撃者が仮想グリッドのインデックスを取得したとしても、インデックスだけではユーザによって選択された位置を類推できないようにすることができる。
図5は、本発明の一実施形態における、ディスプレイの一部の領域に対応させた仮想グリッドの例を示した図である。図5は、電子機器1(110)の例を現示しており、電子機器1(110)のディスプレイ510の一部に仮想グリッド520を対応させた例を示している。上述したように、仮想グリッド520はディスプレイ510上に表示されないが、理解を容易にするために、仮想グリッド520を示している。
図5では、電子機器1(110)がスマートフォンのようにタッチスクリーンを含む実施形態を示している。この場合、ユーザによって選択された位置は、タッチスクリーンでタッチが認識された位置を含むことができる。他の実施形態において、電子機器1(110)はPC環境を含んでもよい。この場合、ユーザによって選択された位置は、マウスクリックされた位置を含むことができる。このように、電子機器1(110)の種類やユーザが位置を選択する方式がタッチスクリーンに限定されることはなく、仮想キーボードのようなユーザインタフェースを表示することができ、ユーザインタフェースを介してユーザがディスプレイ上の特定の位置を選択することができる機器であれば、本発明の実施形態を適用することができる。
図6は、本発明の一実施形態における、仮想グリッドのインデックスを説明するための図である。図6は、1から100までのインデックスによって100個の領域がそれぞれ区分されている仮想グリッド610を示している。例えば、仮想グリッド610を対応させたディスプレイにおいて、ユーザによって選択された位置が仮想グリッド610のインデックス「47」に対応する場合、図4の段階430において、選択位置認識部320は、インデックス「47」に基づいて、ユーザが選択した位置を認識してよい。
本発明の実施形態に係る仮想グリッドは、1つの入力セッションの間だけ維持されてよい。また、仮想グリッド生成部310は、段階420において、互いに異なる入力セッションごとに線間の距離が変化した仮想グリッドを生成することができる。
図7は、本発明の一実施形態における、線間の距離が変化した仮想グリッドを示した図である。図7の仮想グリッド710を図6の仮想グリッド610と比べてみると、全体の大きさは同じであるが、線間の距離は異なることを確認することができる。この場合、ユーザが選択した同じ位置に対応する仮想グリッド610および710のインデックスは異なることが分かる。例えば、仮想グリッド610のインデックス47に対応する領域の大きさが、仮想グリッド710では小さくなっていることが分かる。
一方、1つの入力セッションは、ユーザが仮想キーボードのような1つの仮想画面から特定の位置を選択して、ユーザによって選択された位置を認識する間だけ維持されてよい。仮想画面が終了した場合に1つの入力セッションも終了してよい。仮想画面が変わる場合にも1つの入力セッションは終了してよい。例えば、モバイルデバイスの仮想画面において、大文字を入力するための仮想キーボードが、小文字を入力するための仮想キーボードに変わった場合、1つの入力セッションは終了し、新たな入力セッションが始まってよい。この場合、仮想グリッドの線間の距離が変化した仮想グリッドを再生成することができる。言い換えれば、アルファベットの大文字、アルファベットの小文字、ハングル、特殊文字などのような多様な仮想キーボードのレイアウトが存在する中、このようなレイアウトが変化することが仮想画面の変化を意味してよい。このような変化ごとに新たな入力セッションが始まってよく、仮想グリッドが再生成されてよい。したがって、ディスプレイ上の少なくとも1つの同一位置について、第1入力セッションで生成された仮想グリッドのインデックスと第2入力セッションで生成された仮想グリッドのインデックスは互いに異なる。
本発明の実施形態に係る仮想グリッドは、ディスプレイで仮想キーボードが表示される領域に対応させることができる。このとき、図4の段階430において、選択位置認識部320は、仮想キーボードが表示される領域のうち、ユーザによって選択された位置に対応する仮想グリッドのインデックスを、選択された位置として認識することができる。この場合、電子機器1(110)で仮想キーボードのレイアウトとして認識されたインデックスに基づき、ユーザによって選択された仮想キーボードのキーが認識されてよい。
図8は、本発明の一実施形態における、仮想キーボードの例を示した図であり、図9は、本発明の一実施形態における、仮想キーボードに対応させた仮想グリッドの例を示した図である。仮想キーボード810に対応させた仮想グリッド910によると、ユーザが仮想キーボード810の「y」キーを押したとしても、押す位置に応じて仮想グリッド910の異なるインデックスが認識され得ることが分かる。
電子機器1(110)は、仮想キーボード810のレイアウトに基づいて位置別キーを認識してよく、ユーザが選択した位置について認識された仮想グリッド910のインデックスがどのキーに対応するかを決定することができる。このとき、仮想グリッド910が含むそれぞれの領域は、1つの領域が複数のキーにまたがらないように構成されることが好ましい。
図10は、本発明の一実施形態における、仮想キーボードに対応させた他の仮想グリッドの例を示した図である。図10の仮想グリッド1010は、図9の仮想グリッド910と比べてみると、線間の距離が変化した様子を示している。特に、「y」キーを詳しくみると、同じ位置に対する仮想グリッド1010のインデックスは、仮想グリッド910のインデックスとは異なることが分かる。
本発明の実施形態において、仮想キーボードのキーは電子機器1(110)で認識されてよいが、個人情報などのより安全な保護のために、サーバ150で認識されてもよい。
図11は、本発明の一実施形態における、電子機器のプロセッサがさらに含むことができる構成要素の例を示したブロック図であり、図12は、本発明の一実施形態における、電子機器が実行することができる方法の例を示したフローチャートである。
プロセッサ212は、図3を参照しながら説明した仮想グリッド生成部310および選択位置認識部320の他に、送信制御部1110をさらに備えてよく、送信制御部1110は、図12の段階1210を実行してよい。送信制御部1110も、プロセッサ212の機能的表現であってよい。
段階1210において、送信制御部1110は、生成された仮想グリッドのインデックス情報および認識されたインデックスを、サーバ150に送信してよい。ここで、仮想グリッドのインデックス情報は、仮想グリッドの線間の距離に関する情報と仮想グリッドの線の位置に関する情報のうちの少なくとも一方を含んでよい。この場合、サーバ150は、仮想グリッドのインデックス情報に基づいて仮想グリッドを生成してよい。したがって、サーバ150は、仮想グリッドインデックス情報、仮想キーボードのレイアウト、および認識されたインデックスに基づき、電子機器1(110)でユーザによって選択された仮想キーボードのキーを認識することができるようになる。
図13は、本発明の一実施形態における、インデックス情報および認識されたインデックスをサーバに送信する過程の例を示した図である。
過程1(1310)は、可変インデックス情報を設定する過程の例であって、可変インデックス情報に対する16進数データ1311の例を示している。上述したように、仮想グリッドに関するインデックス情報は、仮想グリッドの線間の距離に関する情報と仮想グリッドの線の位置に関する情報のうちの少なくとも一方を含んでよい。
過程2(1320)は、認識されたインデックスを設定する過程の例であって、認識されたインデックスに対する16進数データ1321の例を示している。ユーザが入力した4桁のパスワードとして4つのインデックスが認識されたとする。このとき、ユーザが仮想キーボードから同じキーおよび同じ位置を選択したとしても、認識されたインデックスは異なってよい。選択的には、同じキーおよび/または同じ位置に対して常に異なるインデックスが認識されるように仮想グリッドを生成することも可能である。
過程3(1330)は、インデックス情報および認識されたインデックスの再使用および偽造・変造防止のための防止情報を設定する過程の例であって、再使用および偽造・変造防止のための防止情報に対する16進数データ1331の例を示している。このとき、再使用防止のための情報は、時刻に基づいて生成されてよい。例えば、仮想グリッドが生成された時刻および/またはインデックスが認識された時刻に基づき、一定の時間後には認識されたインデックスが使用不可能となるように制限するために再使用防止のための情報が生成されてよい。また、偽造・変造防止のための情報は、可変インデックス情報および認識されたインデックスに対するハッシュ値や署名(signature)を含んでよい。
過程4(1340)は、サーバ150の公開キーによって可変インデックス情報、認識されたインデックス、および再使用および偽造・変造防止のための防止情報を暗号化する過程の例であって、暗号化された16進数データ1341の値が変調されることを示している。例えば、電子機器1(110)は、インデックス情報、認識されたインデックス、および防止情報を含む入力情報を生成し、生成された入力情報をサーバ150の公開キーによって暗号化してよい。
過程5(1350)は、暗号化された16進数データ1341をサーバ150に伝達する過程の例を示している。サーバ150は、暗号化された16進数データ1341を受信して復号し、再使用および偽造・変造防止のための防止情報に基づき、可変インデックス情報および認識されたインデックスの再使用や偽造・変造を防ぐことができる。また、サーバ150は、上述したように、仮想グリッドインデックス情報、仮想キーボードのレイアウト、および認識されたインデックスに基づき、電子機器1(110)でユーザによって選択された仮想キーボードのキーを認識することができるようになる。
他の実施形態において、選択位置認識部320は、サーバ150から仮想グリッドの線間の距離に関する情報と仮想グリッドの線の位置に関する情報のうちの少なくとも一方の情報を受信し、受信した少なくとも一方の情報を利用して仮想グリッドを生成してもよい。この場合、サーバ150は、生成された仮想グリッドのインデックス情報を既に知っているため、電子機器1(110)で認識されたインデックスだけが伝達され、既知のインデックス情報、電子機器1(110)で認識されたインデックス、および仮想キーボードのレイアウトに基づき、ユーザによって選択された仮想キーボードのキーを認識することもできる。
図14は、本発明の一実施形態における、電子機器のプロセッサが含むことができる構成要素の他の例を示したブロック図であり、図15は、本発明の一実施形態における、電子機器が実行することができる他の方法の例を示したフローチャートである。以下の実施形態は、上述した実施形態と結合して実現されてもよいし、個別の独立した形態で実現されてもよい。
図14に示すように、電子機器1(110)に含まれるプロセッサ212は、構成要素として、表示制御部1410、選択部1420、タッチアクション認識部1430、およびユーザ認証部1440を備えてよい。一実施形態において、プロセッサ212は、図3を参照しながら説明した仮想グリッド生成部310および選択位置認識部320を備えた上で、表示制御部1410、選択部1420、タッチアクション認識部1430、およびユーザ認証部1440をさらに備えてよい。他の実施形態において、プロセッサ212は、図14に示すように、表示制御部1410、選択部1420、タッチアクション認識部1430、およびユーザ認証部1440だけを備えてもよい。
表示制御部1410、選択部1420、タッチアクション認識部1430、およびユーザ認証部1440は、図15の入力認識方法に含まれる段階1510〜段階1550を実行するように実現されてよい。表示制御部1410、選択部1420、およびタッチアクション認識部1430も、プロセッサ212の機能的表現であってよい。
段階1510において、表示制御部1410は、ユーザによって設定されたパスワードまたはパターンを入力するためのユーザインタフェースをタッチスクリーンに表示するように電子機器1(110)を制御することができる。
段階1520において、選択部1420は、パスワードまたはパターンのうちの一部の番号または一部のパターンを選択することができる。例えば、選択部1420は、パスワードが「1、2、3、4」である場合、一部の番号である「2」または「2、3」を選択してよい。パターンは、一例として、パターンの入力を補助するための指示子のうちの少なくとも1つの指示子と関連して選択されてよい。
段階1530において、表示制御部1410は、選択された一部の番号または一部のパターンの入力時に、予め設定されたタッチアクションも共に入力することを要求するための情報をタッチスクリーンに表示するように電子機器1(110)を制御することができる。例えば、選択された一部の番号である「2」を入力するときに、予め設定されたタッチアクションも共に入力することを要求するための情報がタッチスクリーンに表示されてよい。また、選択された特定の指示子と関連する一部のパターンを入力するときに、予め設定されたタッチアクションも共に入力することを要求するための情報がタッチスクリーンに表示されてよい。
段階1540において、タッチアクション認識部1430は、ユーザインタフェースを利用して入力されたパスワードとタッチアクション、またはパターンとタッチアクションを認識することができる。タッチアクションの認識については、以下でさらに詳しく説明する。
段階1550において、ユーザ認証部1440は、認識されたパスワードまたはパターンが、ユーザによって設定されたパスワードまたはパターンと等しく、選択された一部の番号または一部のパターンの入力時に認識されたタッチアクションが、設定されたパスワードまたはパターンと関連するタッチアクションと等しい場合に、ユーザを認証することができる。
他の実施形態において、プロセッサ212は、認識されたパスワードとタッチアクション、または認識されたパターンとタッチアクションを、ネットワークを介してサーバ150に送信するように電子機器1(110)を制御することができる。この場合、サーバ150は、認識されたパスワードまたはパターンが、ユーザによって設定されたパスワードまたはパターンと等しく、選択された一部の番号または一部のパターンの入力時に認識されたタッチアクションが、予め設定されたタッチアクションと等しい場合に、ユーザを認証してよい。
また他の実施形態では、パスワードとタッチアクション、またはパターンとタッチアクションが共に入力されてユーザのパスワードやパターンとして予め設定されてもよい。この場合には、予め設定されたタッチアクションを共に入力することを要求するための情報を表示する必要なく、ユーザはパスワードとタッチアクション、またはパターンとタッチアクションを入力する。例えば、プロセッサ212は、ユーザからパスワードまたはパターンが入力されている最中に、パスワードまたはパターンのうちの一部の番号または一部のパターンに対する予め設定されたタッチアクションを認識してよい。また、プロセッサ212は、入力されたパスワードと、パスワードの一部の番号に対して認識されたタッチアクションとを互いに関連付けてユーザのパスワードとして設定するか、または入力されたパターンと一部のパターンに対して認識されたタッチアクションを互いに関連付けてユーザのパターンとして設定することができる。実施形態によっては、パスワードとパターンは、サーバ150によって設定されてもよい。このとき、プロセッサ212は、ユーザによって設定されたパスワードまたはパターンを入力するためのユーザインタフェースをタッチスクリーンに表示するように電子機器1(110)を制御してよく、ユーザインタフェースを利用して入力されたパスワードとタッチアクション、またはパターンとタッチアクションを認識することができる。この場合にも、ユーザの認証は、パスワードまたはパターンの一致とタッチアクションの一致の両者を利用して行われてよい。
予め設定されたタッチアクションは、選択された一部の番号または一部のパターンの入力時に、タッチスクリーンに表示されたユーザインタフェースの対応する領域に圧力を加える3Dタッチ(3D touch)アクションを含んでよい。
図16は、本発明の一実施形態における、3Dタッチを利用してユーザを認証する過程の例を示した図である。第1画面1600は、ユーザにパスワードの入力を要求しながら、パスワードの入力が可能なユーザインタフェースをタッチスクリーンに表示した例を示している。このとき、第1点線ボックス1610は、パスワードと共に、一部の番号に対する3Dタッチアクションを予め設定されたタッチアクションとして入力することをユーザに要求するための情報が表示された例を示している。ユーザは2番目と5番目のパスワードを3Dタッチアクションによって入力することで、パスワードとタッチアクションを共に入力することができる。タッチアクションがパスワードと共にユーザのパスワードとして予め設定されている場合には、要求情報は表示されなくてもよい。
図17は、本発明の一実施形態における、3Dタッチを利用してユーザを認証する過程の他の例を示した図である。第2画面1700は、ユーザにパターンの入力を要求しながら、パターンの入力が可能なユーザインタフェースとして9つの指示子をタッチスクリーンに表示した例を示している。このとき、第2点線ボックス1710は、パターンと共に、一部のパターンに対する3Dタッチアクションを予め設定されたタッチアクションとして入力することをユーザに要求するための情報が表示された例を示している。ユーザは3番目の指示子と関連するパターンを3Dタッチアクションによって入力することで、パターンとタッチアクションを共に入力することができる。この場合も、タッチアクションがパターンと共にユーザのパスワードとして予め設定されている場合には、要求情報は表示されなくてもよい。
また、予め設定されたタッチアクションは、選択された一部の番号または一部のパターンの入力時に、タッチスクリーンに表示されたユーザインタフェースの対応する領域に予め設定された時間以上のタッチを行うアクションを含んでもよい。
図18は、本発明の一実施形態における、タッチ時間ディレイを利用してユーザを認証する過程の例を示した図である。第3画面1800は、ユーザにパスワードの入力を要求しながら、パスワードの入力が可能なユーザインタフェースをタッチスクリーンに表示した例を示している。このとき、第3点線ボックス1810は、パスワードと共に、一部の番号に対して一定時間以上のタッチを維持することをユーザに要求するための情報が表示された例を示している。ユーザは2番目のパスワードを入力するときに、該当のキーに対するタッチを1秒以上維持することで、パスワードとタッチアクションを共に入力することができる。タッチアクションがパスワードと共にユーザのパスワードとして予め設定されている場合には、要求情報は表示されなくてもよい。
図19は、本発明の一実施形態における、タッチ時間ディレイを利用してユーザを認証する過程の他の例を示した図である。第4画面1900は、ユーザにパターンの入力を要求しながら、パターンの入力が可能なユーザインタフェースとして9つの指示子をタッチスクリーンに表示した例を示している。このとき、第4点線ボックス1910は、パターンと共に、一部のパターンに対して一定時間以上のタッチ入力を維持することをユーザに要求するための情報が表示された例を示している。ユーザは3番目の指示子と関連するパターンを入力するときに、1秒以上のタッチを維持することで、パターンとタッチアクションを共に入力することができる。この場合も、タッチアクションがパターンと共にユーザのパスワードとして予め設定されている場合には、要求情報は表示されなくてもよい。
また、予め設定されたタッチアクションは、選択された一部の番号の入力速度、または選択された一部のパターンの入力速度を変更するアクションを含んでもよい。
図20は、本発明の一実施形態における、タッチ入力速度の変更を利用してユーザを認証する過程の例を示した図である。第5画面2000は、ユーザにパスワードの入力を要求しながら、パスワードの入力が可能なユーザインタフェースをタッチスクリーンに表示した例を示している。このとき、第5点線ボックス2010は、パスワードと共に、一部の番号に対する入力速度の変更をユーザに要求するための情報が表示された例を示している。ユーザは、2番目と3番目のパスワードは他よりも相対的に速い速度で入力し、5番目と6番目のパスワードは相対的に遅い速度で入力することで、パスワードとタッチアクションを共に入力することができる。タッチアクションがパスワードと共にユーザのパスワードとして予め設定されている場合には、要求情報は表示されなくてもよい。
図21は、本発明の一実施形態における、タッチ入力速度の変更を利用してユーザを認証する過程の他の例を示した図である。第6画面2100は、ユーザにパターンの入力を要求しながら、パターンの入力が可能なユーザインタフェースとして9つの指示子をタッチスクリーンに表示した例を示している。このとき、第6点線ボックス2110は、パターンと共に、特定の指示子と関連するパターンの入力速度を変更することをユーザに要求するための情報が表示された例を示している。ユーザは4番目の指示子と関連するパターンを入力するときに、指を相対的にゆっくり動かすことで、パターンとタッチアクションを共に入力することができる。この場合も、タッチアクションがパターンと共にユーザのパスワードとして予め設定されている場合には、要求情報は表示されなくてもよい。
図22は、本発明の一実施形態における、サーバのプロセッサがさらに含むことができる構成要素の例を示したブロック図であり、図23は、本発明の一実施形態における、サーバが実行することができる方法の例を示したフローチャートである。
サーバ150は、本発明の一実施形態に係る入力認識システムを実現してよく、図22に示すように、サーバ150に含まれるプロセッサ222は、構成要素として、受信制御部2210およびキー決定部2220を備えてよい。このようなプロセッサ222およびプロセッサ222の構成要素は、図23の入力認識方法に含まれる段階2310〜段階2330を実行するようにサーバ150を制御することができる。このとき、プロセッサ222およびプロセッサ222の構成要素は、メモリ221に含まれるオペレーティングシステムのコードと、少なくとも1つのプログラムのコードによる命令を実行するように実現されてよい。ここで、プロセッサ222の構成要素は、サーバ150に格納されたプログラムコードが提供する制御命令に従ってプロセッサ222によって実行される、プロセッサ222の互いに異なる機能の表現であってよい。例えば、プロセッサ222が上述した制御命令に従って仮想グリッドのインデックスを受信するようにサーバ150を制御するプロセッサ222の機能的表現として、受信制御部2210が使用されてよい。
段階2310において、プロセッサ222は、サーバ150の制御と関連する命令がロードされたメモリ221から、必要な命令を読み取ることができる。この場合、読み取った命令は、以下で説明される段階2320および段階2330をプロセッサ222が実行するように制御するための命令のうちの少なくとも一部を含んでよい。
段階2320において、受信制御部2210は、線間の距離が可変の仮想グリッドを利用して電子機器1(110)で認識された仮想グリッドのインデックスを、ネットワークを介して受信することができる。ここで、仮想グリッドは、電子機器1(110)のディスプレイに表示される仮想キーボードの領域に対応してよい。
段階2330において、キー決定部2220は、受信したインデックス、仮想キーボードのレイアウト、および仮想グリッドのインデックス情報に基づき、受信したインデックスに対応する仮想キーボードのキーを決定することができる。ここで、仮想グリッドのインデックス情報は、上述したように、仮想グリッドの線間の距離に関する情報と仮想グリッドの線の位置に関する情報のうちの少なくとも一方の情報を含んでよい。
仮想グリッドは、1つの入力セッションの間だけ維持されてよく、互いに異なる入力セッションごとに線間の距離が変化した仮想グリッドが電子機器1(110)で生成されてよい。
図22および図23で省略された内容は、図1〜図21の内容を参照すると理解できるであろう。
このように、本発明の実施形態によると、電子機器で使用する座標系の座標ではなく、線間の距離が可変の仮想グリッドのインデックスを座標として活用してユーザが選択した位置を認識することにより、ユーザが選択した位置が類推されることを防ぐことができ、入力セッションごとに仮想グリッドの線間の距離を変化させて仮想グリッドを生成することにより、ユーザが同じ位置を選択したとしても、異なる仮想グリッドのインデックスが認識されるようにすることができる。さらに、ユーザが入力したパスワードやパターンの一部に予め設定されたタッチパターンが含まれるようにすることにより、ユーザが選択した位置から得られるユーザのパスワードやパターンの一致だけではなく、一部の番号や一部のパターンと関連付けられたタッチパターンまで一致しなければ、ユーザを認証できないようにすることができる。
上述したシステムまたは装置は、ハードウェア構成要素、ソフトウェア構成要素、またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、例えば、プロセッサ、コントローラ、ALU(arithmetic logic unit)、デジタル信号プロセッサ、マイクロコンピュータ、FPGA(field programmable gate array)、PLU(programmable logic unit)、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、1つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム(OS)およびOS上で実行される1つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答して、データにアクセスし、データを格納、操作、処理、および生成してもよい。理解の容易性のために、1つの処理装置が使用されるとして説明される場合もあるが、当業者は、処理装置が複数個の処理要素および/または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは1つのプロセッサおよび1つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。
ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの1つ以上の組み合わせを含んでもよく、所望のとおりに動作するように処理装置を構成してもよく、独立的または集合的に処理装置に命令してもよい。ソフトウェアおよび/またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、仮想装置、コンピュータ格納媒体または装置に具現化されてもよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で格納されても実行されてもよい。ソフトウェアおよびデータは、1つ以上のコンピュータ読取可能な記録媒体に格納されてよい。
実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータ読取可能な媒体に記録されてよい。コンピュータ読取可能な媒体は、プログラム命令、データファイル、データ構造などを単独でまたは組み合わせて含んでよい。その媒体に記録されるプログラム命令は、実施形態のために特別に設計されて構成されたものであってもよく、コンピュータソフトウェアの当業者に公知で使用可能なものであってもよい。媒体は、コンピュータによって実行可能なプログラムを継続して格納するものであってもよく、実行またはダウンロードのために一時格納するものであってもよい。また、媒体は、単一または複数のハードウェアが結合した形態の多様な記録手段または格納手段であってよいが、あるコンピュータシステムに直接接続される媒体に限定されることはなく、ネットワーク上に分散して存在するものであってもよい。媒体の例としては、ハードディスク、フロッピーディスク、および磁気テープのような磁気媒体、CD−ROM、DVDのような光媒体、フロプティカルディスク(floptical disk)のような光磁気媒体、およびROM、RAM、フラッシュメモリなどを含め、プログラム命令が格納されるように構成されたものであってよい。また、媒体の他の例として、アプリケーションを流通するアプリストアや他の多様なソフトウェアを供給あるいは流通するサイト、サーバなどで管理する記録媒体あるいは格納媒体が含まれてもよい。プログラム命令の例は、コンパイラによって生成されるような機械語コードだけではなく、インタプリタなどを使用してコンピュータによって実行される高級言語コードを含む。
以上のように、実施形態を、限定された実施形態と図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変形が可能であろう。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ/あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合または組み合わされたり、他の構成要素または均等物によって代替または置換されたとしても、適切な結果を達成することができる。
したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付される特許請求の範囲に属する。

Claims (30)

  1. コンピュータによって実現された電子機器が実行する入力認識方法であって、
    線間の距離が可変の仮想グリッドを、前記電子機器に含まれるか前記電子機器と連結されるディスプレイの少なくとも一部の領域に対応させて生成する段階、および
    前記仮想グリッドを対応させた前記ディスプレイの領域のうち、前記電子機器のユーザによって選択された位置を、前記仮想グリッドのインデックスを利用して認識する段階
    を含むことを特徴とする、入力認識方法。
  2. 前記仮想グリッドは、1つの入力セッションの間だけ維持され、
    前記生成する段階は、
    互いに異なる入力セッションごとに線間の距離が変化した仮想グリッドを生成することを特徴とする、請求項1に記載の入力認識方法。
  3. 前記ディスプレイ上の少なくとも1つの同じ位置について、第1入力セッションで生成された仮想グリッドのインデックスと、第2入力セッションで生成された仮想グリッドのインデックスが、互いに異なることを特徴とする、請求項2に記載の入力認識方法。
  4. 前記ディスプレイの前記少なくとも一部の領域は、仮想キーボードが表示される領域を含み、
    前記認識する段階は、
    前記仮想キーボードが表示される領域のうち前記ユーザによって選択された位置に対応する前記仮想グリッドのインデックスを、前記選択された位置として認識することを特徴とする、請求項1に記載の入力認識方法。
  5. 前記仮想キーボードのレイアウトと前記認識されたインデックスに基づき、前記ユーザによって選択された前記仮想キーボードのキーが認識されることを特徴とする、請求項4に記載の入力認識方法。
  6. 前記仮想グリッドのインデックス情報と前記認識されたインデックスをサーバに送信する段階
    をさらに含み、
    前記仮想グリッドの前記インデックス情報は、前記仮想グリッドの線間の距離に関する情報と前記仮想グリッドの線の位置に関する情報のうちの少なくとも一方を含み、
    前記サーバにおいて、前記仮想グリッドの前記インデックス情報、前記仮想キーボードのレイアウト、および前記認識されたインデックスに基づき、前記電子機器で前記ユーザによって選択された前記仮想キーボードのキーが認識されることを特徴とする、請求項4に記載の入力認識方法。
  7. 前記サーバに送信する段階は、
    前記インデックス情報と前記認識されたインデックスの再使用および偽造・変造防止のための防止情報を生成する段階、および
    前記インデックス情報、前記認識されたインデックス、および前記防止情報を含む入力情報を生成する段階
    を含み、
    前記サーバにおいて、前記防止情報を利用して前記インデックス情報と前記認識されたインデックスの再使用および偽造・変造が防止されることを特徴とする、請求項6に記載の入力認識方法。
  8. 前記生成する段階は、
    サーバから前記仮想グリッドの線間の距離に関する情報と前記仮想グリッドの線の位置に関する情報のうちの少なくとも一方の情報を受信し、該受信した少なくとも一方の情報を利用して前記仮想グリッドを生成し、
    当該入力認識方法は、前記認識されたインデックスを前記サーバに送信する段階
    をさらに含み、
    前記サーバにおいて、前記少なくとも一方の情報、前記仮想キーボードのレイアウト、および前記認識されたインデックスに基づき、前記電子機器で前記ユーザによって選択された前記仮想キーボードのキーが認識されることを特徴とする、請求項4に記載の入力認識方法。
  9. 前記線間の距離が変化することにより、前記仮想キーボードの同じキーについて認識されるインデックスが異なることを特徴とする、請求項5〜8のうちのいずれか一項に記載の入力認識方法。
  10. 前記ディスプレイは、タッチスクリーンを含み、
    前記ユーザによって選択された位置は、前記タッチスクリーンのうちタッチが認識された位置を含むことを特徴とする、請求項1に記載の入力認識方法。
  11. 前記ユーザによって設定されたパスワードまたはパターンを入力するためのユーザインタフェースを前記タッチスクリーンに表示する段階、
    前記パスワードまたはパターンのうちの一部の番号または一部のパターンを選択する段階、
    前記選択された一部の番号または一部のパターンの入力時に予め設定されたタッチアクションを共に入力することを要求するための情報を、前記タッチスクリーンに表示する段階、および
    前記ユーザインタフェースを利用して入力されたパスワードとタッチアクション、またはパターンとタッチアクションを認識する段階
    をさらに含むことを特徴とする、請求項10に記載の入力認識方法。
  12. 前記認識されたパスワードまたはパターンが前記ユーザによって設定されたパスワードまたはパターンと等しく、前記選択された一部の番号または一部のパターンの入力時に認識されたタッチアクションが、前記設定されたパスワードまたはパターンと関連するタッチアクションと等しい場合、前記ユーザを認証する段階
    をさらに含むことを特徴とする、請求項11に記載の入力認識方法。
  13. 前記認識されたパスワードとタッチアクションまたは前記認識されたパターンとタッチアクションを、ネットワークを介してサーバに送信する段階
    をさらに含み、
    前記認識されたパスワードまたはパターンが前記ユーザによって設定されたパスワードまたはパターンと等しく、前記選択された一部の番号または一部のパターンの入力時に認識されたタッチアクションが前記予め設定されたタッチアクションと等しい場合、前記サーバによって前記ユーザが認証されることを特徴とする、請求項11に記載の入力認識方法。
  14. 前記ユーザからパスワードまたはパターンが入力されている最中に、前記パスワードまたはパターンの一部の番号または一部のパターンに対する予め設定されたタッチアクションを認識する段階、
    前記入力されたパスワードと前記一部の番号に対して認識されたタッチアクションとを互いに関連付けて前記ユーザのパスワードとして設定するか、または前記入力されたパターンと前記一部のパターンに対して認識されたタッチアクションとを互いに関連付けて前記ユーザのパターンとして設定する段階、
    前記ユーザによって設定されたパスワードまたはパターンを入力するためのユーザインタフェースを前記タッチスクリーンに表示する段階、および
    前記ユーザインタフェースを利用して入力されたパスワードとタッチアクション、またはパターンとタッチアクションを認識する段階
    をさらに含むことを特徴とする、請求項10に記載の入力認識方法。
  15. 前記予め設定されたタッチアクションは、前記選択された一部の番号または一部のパターンの入力時に、前記タッチスクリーンに表示されたユーザインタフェースの対応する領域に圧力を加える3Dタッチアクションを含むことを特徴とする、請求項11または14に記載の入力認識方法。
  16. 前記予め設定されたタッチアクションは、前記選択された一部の番号または一部のパターンの入力時に、前記タッチスクリーンに表示されたユーザインタフェースの対応する領域に予め設定された時間以上のタッチを行うアクションを含むことを特徴とする、請求項11または14に記載の入力認識方法。
  17. 前記予め設定されたタッチアクションは、前記選択された一部の番号の入力速度または前記選択された一部のパターンの入力速度を変更するアクションを含むことを特徴とする、請求項11または14に記載の入力認識方法。
  18. コンピュータによって実現されるサーバが実行する入力認識方法であって、
    線間の距離が可変の仮想グリッドを利用して電子機器で認識された前記仮想グリッドのインデックスを、ネットワークを介して受信する段階であって、前記仮想グリッドは、前記電子機器のディスプレイに表示される仮想キーボードの領域に対応する段階、および
    前記受信したインデックス、前記仮想キーボードのレイアウト、および前記仮想グリッドのインデックス情報に基づき、前記受信したインデックスに対応する前記仮想キーボードのキーを決定する段階
    を含み、
    前記仮想グリッドのインデックス情報は、前記仮想グリッドの線間の距離に関する情報と前記仮想グリッドの線の位置に関する情報のうちの少なくとも一方の情報を含むことを特徴とする、入力認識方法。
  19. 前記仮想グリッドは、1つの入力セッションの間だけ維持され、
    互いに異なる入力セッションごとに線間の距離が変化した仮想グリッドが、前記電子機器で生成されることを特徴とする、請求項18に記載の入力認識方法。
  20. 前記仮想グリッドは、前記仮想キーボードの領域に対応するように前記電子機器で生成され、
    前記受信する段階は、
    前記電子機器で生成された前記仮想グリッドのインデックス情報をさらに受信することを特徴とする、請求項18に記載の入力認識方法。
  21. 前記仮想グリッドのインデックス情報を生成し、ネットワークを介して前記電子機器に送信する段階
    をさらに含み、
    前記電子機器において、前記仮想グリッドのインデックス情報に基づいて前記仮想グリッドが生成されることを特徴とする、請求項18に記載の入力認識方法。
  22. 前記電子機器のユーザによって設定されたパスワードまたはパターンを格納する段階、
    前記パスワードまたはパターンのうちの一部の番号または一部のパターンを選択する段階、
    前記選択された一部の番号または一部のパターンの入力時に予め設定されたタッチアクションを共に入力することを要求するための情報を、ネットワークを介して前記電子機器に送信する段階、
    前記電子機器で認識されたパスワードとタッチアクション、またはパターンとタッチアクションを受信する段階、および
    前記認識されたパスワードまたはパターンが前記ユーザによって設定されたパスワードまたはパターンと等しく、前記選択された一部の番号または一部のパターンの入力時に認識されたタッチアクションが前記予め設定されたタッチアクションと等しい場合、前記ユーザを認証する段階
    を含むことを特徴とする、請求項18に記載の入力認識方法。
  23. 前記電子機器のユーザによって設定されたパスワードとタッチアクション、またはパターンとタッチアクションを互いに関連付けて格納する段階
    をさらに含み、
    前記タッチアクションは、前記電子機器で前記ユーザからパスワードまたはパターンが入力されている最中に、前記パスワードまたはパターンのうちの一部の番号または一部のパターンに対して認識された、予め設定されたタッチアクションを含むことを特徴とする、請求項18に記載の入力認識方法。
  24. 請求項1〜17のうちのいずれか一項に記載の方法をコンピュータに実行させるためのプログラム。
  25. 請求項18〜23のうちのいずれか一項に記載の方法をコンピュータに実行させるためのプログラム。
  26. コンピュータによって実現された電子機器の入力認識システムであって、
    前記コンピュータで読み取り可能な命令を格納するメモリ、および
    前記命令を実行するように実現される少なくとも1つのプロセッサ
    を含み、
    前記少なくとも1つのプロセッサは、
    線間の距離が可変の仮想グリッドを、前記電子機器にさらに含まれるか前記電子機器と連結されるディスプレイの少なくとも一部の領域に対応させて生成する仮想グリッド生成部、および
    前記仮想グリッドを対応させた前記ディスプレイの領域のうち、前記電子機器のユーザによって選択された位置を、前記仮想グリッドのインデックスを利用して認識する選択位置認識部
    を備えることを特徴とする、入力認識システム。
  27. 前記仮想グリッドは、1つの入力セッションの間だけ維持され、
    前記仮想グリッド生成部は、
    互いに異なる入力セッションごとに線間の距離が変化した仮想グリッドを生成することを特徴とする、請求項26に記載の入力認識システム。
  28. 前記ディスプレイは、タッチスクリーンを含み、
    前記少なくとも1つのプロセッサは、
    前記ユーザによって設定されたパスワードまたはパターンを入力するためのユーザインタフェースを前記タッチスクリーンに表示するユーザインタフェース表示制御部、
    前記パスワードまたはパターンのうちの一部の番号または一部のパターンを選択する選択部、
    前記選択された一部の番号または一部のパターンの入力時に予め設定されたタッチアクションを共に入力することを要求するための情報を、前記タッチスクリーンに表示する情報表示制御部、および
    前記ユーザインタフェースを利用して入力されたパスワードとタッチアクションまたはパターンとタッチアクションを認識する認識部
    をさらに備えることを特徴とする、請求項26に記載の入力認識システム。
  29. コンピュータによって実現されたサーバの入力認識システムであって、
    前記コンピュータで読み取り可能な命令を格納するメモリ、および
    前記命令を実行するように実現される少なくとも1つのプロセッサ
    を含み、
    前記少なくとも1つのプロセッサは、
    線間の距離が可変の仮想グリッドを利用して電子機器で認識された前記仮想グリッドのインデックスを、ネットワークを介して受信するように前記サーバを制御する受信制御部であって、前記仮想グリッドは、前記電子機器のディスプレイに表示される仮想キーボードの領域に対応する、前記受信制御部、および
    前記受信したインデックス、前記仮想キーボードのレイアウト、および前記仮想グリッドのインデックス情報に基づき、前記受信したインデックスに対応する前記仮想キーボードのキーを決定するキー決定部
    を備え、
    前記仮想グリッドのインデックス情報は、前記仮想グリッドの線間の距離に関する情報と前記仮想グリッドの線の位置に関する情報のうちの少なくとも一方の情報を含むことを特徴とする、入力認識システム。
  30. 前記仮想グリッドは、1つの入力セッションの間だけ維持され、
    互いに異なる入力セッションごとに線間の距離が変化した仮想グリッドが、前記電子機器で生成されることを特徴とする、請求項29に記載の入力認識システム。
JP2018546895A 2016-03-08 2017-02-23 可変グリッドのインデックスを利用した入力認識方法およびシステム Active JP6705907B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2016-0027629 2016-03-08
KR1020160027629A KR101759827B1 (ko) 2016-03-08 2016-03-08 가변 그리드의 인덱스를 이용한 입력 인식 방법 및 시스템
PCT/KR2017/001995 WO2017155230A1 (ko) 2016-03-08 2017-02-23 가변 그리드의 인덱스를 이용한 입력 인식 방법 및 시스템

Publications (2)

Publication Number Publication Date
JP2019512787A JP2019512787A (ja) 2019-05-16
JP6705907B2 true JP6705907B2 (ja) 2020-06-03

Family

ID=59419123

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018546895A Active JP6705907B2 (ja) 2016-03-08 2017-02-23 可変グリッドのインデックスを利用した入力認識方法およびシステム

Country Status (4)

Country Link
US (2) US10754937B2 (ja)
JP (1) JP6705907B2 (ja)
KR (1) KR101759827B1 (ja)
WO (1) WO2017155230A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020227468A1 (en) * 2019-05-07 2020-11-12 Nestmarket Inc System and method for managing distributed ownership of tangible assets
US11882439B2 (en) * 2019-11-19 2024-01-23 International Business Machines Corporation Authentication of devices using touch interface

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060033724A1 (en) * 2004-07-30 2006-02-16 Apple Computer, Inc. Virtual input device placement on a touch screen user interface
JP2002251624A (ja) 2001-02-23 2002-09-06 Toppan Printing Co Ltd オブジェクト配置システム、オブジェクト配置方法、オブジェクト配置プログラム、及びオブジェクト配置プログラムを記録した記録媒体
US7136081B2 (en) 2001-05-25 2006-11-14 Nvidia Corporation System and method of line sampling object scene information
US7199786B2 (en) * 2002-11-29 2007-04-03 Daniel Suraqui Reduced keyboards system using unistroke input and having automatic disambiguating and a recognition method using said system
US20050237321A1 (en) * 2004-03-31 2005-10-27 Young Kenneth L Grid canvas
JP4029410B2 (ja) * 2006-05-05 2008-01-09 治幸 岩田 指先装着センサによる入力装置
US8191126B2 (en) * 2009-05-04 2012-05-29 Indian Institute Of Technology Madras Methods and devices for pattern-based user authentication
EP2462537A1 (en) * 2009-08-04 2012-06-13 Eyecue Vision Technologies Ltd. System and method for object extraction
JP5348147B2 (ja) * 2011-01-11 2013-11-20 信越化学工業株式会社 仮接着材組成物、及び薄型ウエハの製造方法
KR20140055663A (ko) * 2012-11-01 2014-05-09 네이버비즈니스플랫폼 주식회사 위치 기반 정보의 디스플레이를 위한 데이터 클러스터링 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
US9535603B2 (en) * 2013-03-14 2017-01-03 Carl F. Andersen Columnar fitted virtual keyboard
KR101509495B1 (ko) 2013-10-18 2015-04-09 한국전자통신연구원 키패드의 이동을 통한 보안 키패드 입력 장치 및 방법
US9111076B2 (en) * 2013-11-20 2015-08-18 Lg Electronics Inc. Mobile terminal and control method thereof
US20150310199A1 (en) * 2014-04-24 2015-10-29 Echostar Technologies L.L.C. Secure data entry
US10628037B2 (en) * 2014-10-16 2020-04-21 Griffin Innovation Mobile device systems and methods

Also Published As

Publication number Publication date
US11386188B2 (en) 2022-07-12
US20200342077A1 (en) 2020-10-29
US10754937B2 (en) 2020-08-25
US20190018940A1 (en) 2019-01-17
KR101759827B1 (ko) 2017-07-31
WO2017155230A1 (ko) 2017-09-14
JP2019512787A (ja) 2019-05-16

Similar Documents

Publication Publication Date Title
KR102451109B1 (ko) 디바이스 익명성을 제공하는 키 증명문 생성
KR102459199B1 (ko) 멀티-테넌트 컴퓨팅 시스템의 보안 및 허가 아키텍처
KR102454203B1 (ko) 멀티-테넌트 컴퓨팅 시스템의 보안 및 허가 아키텍처
CN109076072B (zh) Web服务图片密码
JP6887421B2 (ja) コンテナ間における信頼性の確立
CN1752887B (zh) 计算机安全系统和方法
CN107431924B (zh) 将设备标识符和用户标识符相关联的设备盗窃防护
KR101556599B1 (ko) 패턴 입력 장치 및 방법과 이를 이용한 기록 매체
CN110178136A (zh) 现场可编程门阵列程序的签名验证
US10476870B2 (en) Local claim-based security service with cross-browser compatibility
US20140098141A1 (en) Method and Apparatus for Securing Input of Information via Software Keyboards
KR101746279B1 (ko) 컨텍 리스트를 이용하여 사용자를 인증하는 시스템 및 방법
US11240230B2 (en) Automatic authentication processing method and system using dividing function
KR102273093B1 (ko) 단말기 상에서 기밀 데이터를 입력하는 방법
JP6705907B2 (ja) 可変グリッドのインデックスを利用した入力認識方法およびシステム
CN107077571A (zh) 在可信平台模块中的操作系统上下文的表示
KR102095114B1 (ko) 기능확장을 위한 신뢰실행환경들의 결합 방법 및 비즈니스 프로세스 지원을 위한 fido u2f 활용 방법
US10263972B1 (en) Authenticating by labeling
US20160103989A1 (en) Device authentication
US20230291724A1 (en) Method and system for authenticating a user in a session initiated on a computing device
JP2018116698A (ja) データ入力方法及びデータ入力方法を実施するための電子装置及びシステム
JP2007183931A (ja) セキュアデバイス、情報処理端末、サーバ、および認証方法
EP2953048B1 (en) Mobile device, method of authenticating a user and computer program
KR102428409B1 (ko) 사용자 인증 장치, 보안 코드를 이용한 사용자 인증 방법 및 컴퓨터 프로그램
JP2014075034A (ja) 認証装置、認証方法および認証プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180905

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190830

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190917

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191210

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200414

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200514

R150 Certificate of patent or registration of utility model

Ref document number: 6705907

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250