JP7250107B1 - 先制的及び反応的入力数量化基盤のユーザインターフェース装置及び方法 - Google Patents
先制的及び反応的入力数量化基盤のユーザインターフェース装置及び方法 Download PDFInfo
- Publication number
- JP7250107B1 JP7250107B1 JP2021215054A JP2021215054A JP7250107B1 JP 7250107 B1 JP7250107 B1 JP 7250107B1 JP 2021215054 A JP2021215054 A JP 2021215054A JP 2021215054 A JP2021215054 A JP 2021215054A JP 7250107 B1 JP7250107 B1 JP 7250107B1
- Authority
- JP
- Japan
- Prior art keywords
- input
- output
- user
- distribution
- screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
- G06F3/04897—Special input arrangements or commands for improving display capability
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
- Debugging And Monitoring (AREA)
- Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
- Indicating And Signalling Devices For Elevators (AREA)
- Ticket-Dispensing Machines (AREA)
Abstract
【課題】ユーザの入力行動がどれくらい反応的または予測的であったかが定量化できる先制的及び反応的入力数量化基盤のユーザインターフェース装置及び方法を提供する。
【解決手段】装置は、ユーザの入力及び画面の出力を記録するデータ獲得部、ユーザの入力に対する入力タイミングを抽出する入力フィルタリング部、画面の出力に対する特定基準以上の視覚的変更を開示する出力タイミングを抽出する出力フィルタリング部、ユーザの入力及び前記画面の出力に対するタイミングを通じて入出力間隔の分布を生成する入出力間隔処理部、及び入出力間隔の分布を先制的分布及び反応的分布に調節して先制性及び反応性を推定するモデルフィッティング部を含む。
【選択図】図2
【解決手段】装置は、ユーザの入力及び画面の出力を記録するデータ獲得部、ユーザの入力に対する入力タイミングを抽出する入力フィルタリング部、画面の出力に対する特定基準以上の視覚的変更を開示する出力タイミングを抽出する出力フィルタリング部、ユーザの入力及び前記画面の出力に対するタイミングを通じて入出力間隔の分布を生成する入出力間隔処理部、及び入出力間隔の分布を先制的分布及び反応的分布に調節して先制性及び反応性を推定するモデルフィッティング部を含む。
【選択図】図2
Description
本発明はユーザインターフェース技術に係り、より詳しくは、コンピュータ画面ビデオとユーザの入力ログデータを分析してユーザの入力行動がどれくらい反応的(reactive)または予測的(proactive)であったかが定量化できる先制的及び反応的入力数量化基盤のユーザインターフェース装置及び方法に関する。
HCI(Human-Computer Interaction)は人間(ユーザ)とコンピュータとの間の相互作用を意味し、ここで、相互作用はユーザとコンピュータとの間にあるユーザインターフェースで発現される作動を意味する。
日常的な相互作用でコンピュータの数多い出力がユーザに提供され、ユーザも多数のボタン入力を生成する。この過程で、ユーザはコンピュータの出力に反応するか、またはコンピュータの出力を予想して能動的に行動する2つの戦略のうちの1つに従う。ユーザが反応または事前ボタン入力戦略に依存する程度を各々ユーザ反応及びユーザ事前対応により統計的に定量化する場合に、反応性の定量化は相互作用技術の効率性を示すことができる。時間経過に従う反応性の変化は習慣形成及び学習を示す役割をする。同様に、先制性は一般的な予測可能性と一貫性を示す。時間経過に従う主導性の変化は習慣形成及び学習を示す。この2つの構成に対する定量的分析方法は存在しないが、HCIの多くの質問と関連がある。例えば、インタラクションデザイナーはアニメーション転換が実際にユーザの今後の入力を計画し実行することに助けになるか気にすることがある。また、ゲームデザイナーはゲームの視覚的デザインがプレーヤーの性能にどんな影響を及ぼすか気にすることがある。
本発明の一実施形態はコンピュータ画面ビデオとユーザの入力ログデータを分析してユーザの入力行動がどれくらい反応的(reactive)または予測的(proactive)であったかが定量化できる先制的及び反応的入力数量化基盤のユーザインターフェース装置及び方法を提供しようとする。
実施形態のうち、先制的及び反応的入力数量化基盤のユーザインターフェース装置はユーザの入力及び画面の出力を記録するデータ獲得部;前記ユーザの入力に対する入力タイミングを抽出する入力フィルタリング部;前記画面の出力に対する特定基準以上の視覚的変更を開始する出力タイミングを抽出する出力フィルタリング部;前記ユーザの入力及び前記画面の出力に対するタイミングを通じて入出力間隔の分布を生成する入出力間隔処理部;及び前記入出力間隔の分布を先制的分布及び反応的分布に調節して先制性及び反応性を推定するモデルフィッティング部を含む。
前記データ獲得部は、特定区間に対して前記ユーザの時系列入力アクションを入力エンティティー別に記録し、前記画面の時系列出力をフレームイメージ別に記録することができる。
前記入力フィルタリング部は、前記ユーザの入力が入力イベントの生成を基にして離散的タイミングを抽出することができる。
前記出力フィルタリング部は、(1)前記ユーザの入力により触発された画面上の視覚的変化、(2)ユーザの反応的入力を触発させる画面上の視覚的変化、(3)前記ユーザの先制的入力を触発させる画面上の視覚的変化、(4)前記ユーザの入力と全く関係のない画面上の視覚的変化を通じての前記画面の出力を基にして前記出力タイミングを抽出することができる。
前記出力フィルタリング部は、前記出力タイミングの抽出の前に前記画面の出力を記録するフレームイメージの解像度またはフレームレートをダウンスケールすることができる。
前記出力フィルタリング部は、前記ユーザの入力に対する平均間隔を基にして前記ダウンスケールの因子を設定することができる。
前記出力フィルタリング部は、前記画面の出力を構成するフレームイメージ同士の間の差に対するユーザ視覚認知性を基にして特定基準を設定することができる。
前記入出力間隔処理部は、前記ユーザの入力及び前記画面の出力に対するタイミング同士の間の差を算出し、前記差を基にして複数の棒から構成された分布を生成することができる。
前記入出力間隔処理部は、前記分布で陰の領域に存在する最頻度の棒を除去することができる。
前記モデルフィッティング部は、前記入出力間隔の分布をガウシアン分布で生成して前記先制性を算出し、前記入出力間隔の分布をエックス-ガウシアン分布を含む反応的分布で生成して前記反応性を算出することができる。
前記モデルフィッティング部は、前記先制性及び前記反応性を基にしてユーザインターフェースの特性を調節することができる。
前記モデルフィッティング部は、前記ユーザインターフェースの視覚的レイアウト及び動作機能を調節することができる。
実施形態のうち、先制的及び反応的入力数量化基盤のユーザインターフェース方法は、ユーザの入力及び画面の出力を記録するデータ獲得ステップ;前記ユーザの入力に対する入力タイミングを抽出する入力フィルタリングステップ;前記画面の出力に対する特定基準以上の視覚的変更を開始する出力タイミングを抽出する出力フィルタリングステップ;前記ユーザの入力及び前記画面の出力に対するタイミングを通じて入出力間隔の分布を生成する入出力間隔処理ステップ;及び前記入出力間隔の分布を先制的分布及び反応的分布に調節して先制性及び反応性を推定するモデルフィッティングステップを含む。
前記データ獲得ステップは、特定区間に対して前記ユーザの時系列入力アクションを入力エンティティー別に記録し、前記画面の時系列出力をフレームイメージ別に記録することができる。
前記入力フィルタリングステップは、前記ユーザの入力が入力イベントの生成を基にして離散的タイミングを抽出することができる。
前記出力フィルタリングステップは、前記出力タイミングの抽出の前に前記画面の出力を記録するフレームイメージの解像度またはフレームレートをダウンスケールすることができる。
開示する技術は、次の効果を有することができる。但し、特定の実施形態が次の効果を全部含まなければならないか、または次の効果のみを含まなければならないという意味ではないので、開示する技術の権利範囲はこれによって制限されるものとして理解されてはならない。
本発明に従う先制的及び反応的入力数量化基盤のユーザインターフェース装置及び方法は、ユーザの入力タイミングと画面上の視覚的変化の間の時間間隔分布を測定し、該当分布を反応的分布、予測的分布、そして非相関分布の和としてどのように構成することができるかを推定して、ユーザの入力がどれくらい反応的であったか、または予測的であったかを知ることができ、それが画面の特定位置に対してどのように測定されるかも知ることができる。
[この発明を支援した国家研究開発事業]
[課題固有番号] 1711126082
[課題番号] 2020-0-01361-002
[省庁名] 科学技術情報通信部
[課題管理(専門)機関名] 情報通信企画評価院
[研究事業名] 情報通信放送革新人材養成 (R&D)
[研究課題名] 人工知能大学院支援(延世大学校)
[寄与率] 1/3
[課題実行機関名] 延世大学校産学協力団
[研究期間] 2021.01.01~2021.12.31
[この発明を支援した国家研究開発事業]
[課題固有番号] 1375027292
[課題番号] R2021040105-0001
[省庁名] 文化体育観光部
[課題管理(専門)機関名] 韓国コンテンツ振興院
[研究事業名] 文化技術研究開発 (R&D)
[研究課題名] Game Now:e-スポーツサービスのための人工知能ベースのリアルタイムゲーム分析技術の開発
[寄与率] 1/3
[課題実行機関名] 韓国電子通信研究院
[研究期間] 2021.06.01~2021.12.31
[この発明を支援した国家研究開発事業]
[課題固有番号] 1375027277
[課題番号] R2019020010-0003
[省庁名] 文化体育観光部
[課題管理(専門)機関名] 韓国コンテンツ振興院
[研究事業名] 文化技術研究開発 (R&D)
[研究課題名] シニアゲームプレイ支援技術とゲームサービスモデルの開発
[寄与率] 1/3
[課題実行機関名] 延世大学校産学協力団
[研究期間] 2021.01.01~2021.12.31
本発明に関する説明は構造的または機能的説明のための実施形態に過ぎないので、本発明の権利範囲は本文に説明した実施形態によって制限的に解析されてはならない。即ち、実施形態は多様な変更が可能であり、多様な形態を有することができるので、本発明の権利範囲は技術的思想を実現することができる均等物を含むものとして理解されなければならない。また、本発明で提示した目的または効果は、特定の実施形態がこれを全部含まなければならないとか、そのような効果のみを含まなければならないという意味ではないので、本発明の権利範囲はこれによって制限されるものとして理解されてはならない。
[課題固有番号] 1711126082
[課題番号] 2020-0-01361-002
[省庁名] 科学技術情報通信部
[課題管理(専門)機関名] 情報通信企画評価院
[研究事業名] 情報通信放送革新人材養成 (R&D)
[研究課題名] 人工知能大学院支援(延世大学校)
[寄与率] 1/3
[課題実行機関名] 延世大学校産学協力団
[研究期間] 2021.01.01~2021.12.31
[この発明を支援した国家研究開発事業]
[課題固有番号] 1375027292
[課題番号] R2021040105-0001
[省庁名] 文化体育観光部
[課題管理(専門)機関名] 韓国コンテンツ振興院
[研究事業名] 文化技術研究開発 (R&D)
[研究課題名] Game Now:e-スポーツサービスのための人工知能ベースのリアルタイムゲーム分析技術の開発
[寄与率] 1/3
[課題実行機関名] 韓国電子通信研究院
[研究期間] 2021.06.01~2021.12.31
[この発明を支援した国家研究開発事業]
[課題固有番号] 1375027277
[課題番号] R2019020010-0003
[省庁名] 文化体育観光部
[課題管理(専門)機関名] 韓国コンテンツ振興院
[研究事業名] 文化技術研究開発 (R&D)
[研究課題名] シニアゲームプレイ支援技術とゲームサービスモデルの開発
[寄与率] 1/3
[課題実行機関名] 延世大学校産学協力団
[研究期間] 2021.01.01~2021.12.31
本発明に関する説明は構造的または機能的説明のための実施形態に過ぎないので、本発明の権利範囲は本文に説明した実施形態によって制限的に解析されてはならない。即ち、実施形態は多様な変更が可能であり、多様な形態を有することができるので、本発明の権利範囲は技術的思想を実現することができる均等物を含むものとして理解されなければならない。また、本発明で提示した目的または効果は、特定の実施形態がこれを全部含まなければならないとか、そのような効果のみを含まなければならないという意味ではないので、本発明の権利範囲はこれによって制限されるものとして理解されてはならない。
一方、本出願で使用する用語の意味は、次のように理解されるべきである。
“第1”、“第2”などの用語は1つの構成要素を他の構成要素から区別するためのものであって、これら用語により権利範囲が限定されてはならない。例えば、第1構成要素は第2構成要素として命名されることができ、同様に第2構成要素も第1構成要素として命名できる。
ある構成要素が他の構成要素に“連結されて”いると言及された時には、該他の構成要素に直接的に連結されることもあるが、中間に他の構成要素が存在することもあると理解されるべきである。一方、ある構成要素が他の構成要素に“直接連結されて”いると言及された時には、中間に他の構成要素が存在しないことと理解されるべきである。一方、構成要素の間の関係を説明する他の表現、即ち“~間に”と“直ぐ~間に”または“~に隣り合う”と“~に直接隣り合う”なども同様に解析されるべきである。
単数の表現は文脈上の明白に異なる意味を有しない限り、複数の表現を含むと理解されるべきであり、“含む”または“有する”などの用語は実施された特徴、数字、ステップ、動作、構成要素、部分品、またはこれらを組み合わせたものが存在することを指定しようとするものであり、1つまたはその以上の他の特徴や数字、ステップ、動作、構成要素、部分品、またはこれらを組み合わせたものの存在または付加可能性を予め排除しないものとして理解されるべきである。
各ステップにおいて、識別符号(例えば、a、b、cなど)は説明の便宜のために使われるものであって、識別符号は各ステップの順序を説明するものでなく、各ステップは文脈上の明白に特定順序を記載しない以上、明記した順序と異なるように起こることがある。即ち、各ステップは明記した順序と同一に起こることもあり、実質的に同時に遂行されることもあり、反対の順に遂行されることもある。
本発明はコンピュータにより読取できる記録媒体にコンピュータにより読取できるコードとして具現されることができ、コンピュータにより読取できる記録媒体はコンピュータシステムにより読取できるデータが格納される全ての種類の記録装置を含む。コンピュータにより読取できる記録媒体の例には、ROM、RAM、CD-ROM、磁気テープ、フロッピーディスク、光データ格納装置などがある。また、コンピュータにより読取できる記録媒体はネットワークにより連結されたコンピュータシステムに分散されて、分散方式でコンピュータにより読取できるコードが格納及び実行できる。
ここに使う全ての用語は特に定義されない限り、本発明が属する分野で通常の知識を有する者により一般的に理解されるものと同一の意味を有する。一般的に使われる辞典に定義されている用語は、関連技術の文脈上の意味と一致するものとして解析されなければならず、本出願で明白に定義しない限り、理想的であるか、または過度に形式的な意味を有するものとして解析できない。
本発明は5ステップに遂行できる。最初のステップは、ユーザの入力ログとコンピュータ画面を記録するデータ収集である。第2のステップは、入力フィルタリングで与えられた入力ログからユーザが意図したボタン入力タイミングを抽出する。第3のステップは、記録された画面ビデオの各フレームに対してユーザが感知可能な視覚的変化を識別する出力フィルタリングである。第4のステップは、ボタン入力及び出力対でIOI分布を得るIOI抽出である。最後のステップは、獲得したIOI分布に事後的分布と事前的分布をフィッティングして反応性と先制性を推定するモデルフィッティングである。
図1は、本発明に従うユーザインターフェース装置の物理的構成を説明する図である。
図1を参照すると、ユーザインターフェース装置100は、データ獲得部110、入力フィルタリング部120、出力フィルタリング部130、入出力間隔処理部140、モデルフィッティング部150、及び制御部(図1に図示せず)を含むことができる。
データ獲得部110は、ユーザの入力及び画面の出力を記録することができる。データ獲得部110は、特定区間に対してユーザの時系列入力アクションを入力エンティティー別に記録し、画面の時系列出力をフレームイメージ別に記録することができる。ここで、入力エンティティーはボタンに該当できる。
一実施形態で、データ獲得部110はユーザの入力及び画面の出力を特定区間(T)の間記録することができる。記録された入力動作はボタン入力btype(押した場合は1、押していない場合は0)とカーソル座標x及びy(使用可能な場合、ピクセル単位)の時系列である。ユーザが他のボタンを押すと、データが各ボタンに対して別途に記録できる。例えば、マウスの左側ボタンの場合はbml、キー“a”の場合はbaとして記録できる。ロギングされたコンピュータの出力はロギング期間の間、視覚的ディスプレイでユーザに表示される全てのフレームイメージ(v)(ここでは、24ビットRGB)でありえる。フレームイメージ(v)のピクセル解像度は対象アプリケーション及びハードウェアによって異なることがある。
入力ロギングのフレーム速度をf、ロギングされたフレーム数Nをf・Tとすると、最終ロギングデータは次の数式1として表現できる。
ここで、tはタイムスタンプである。
本実施形態では、OBS(Open Bradcaster Software)(f=60Hz)を用いて画面映像を記録しており、pyuputライブラリを用いてOBSコールバック関数が実行される瞬間、ボタン入力とカーソル座標を共に記録した。全体スクリプトはPythonで具現され、ビデオはmp4形式で記録され、ボタン入力及びカーソル座標はcsv形式で記録される。一般的な解像度、即ち、1680×1050で30分間記録すると、原始データファイルは約3GBとなる。
入力フィルタリング部120はユーザの入力に対する入力タイミングを抽出することができる。入力フィルタリング部120はユーザが発生させた全ての入力イベントの生成を基にして離散的タイミングを抽出することができる。ここで、入力イベントの生成は特定アイコンをクリックして実行する行為を含み、空いている空間をクリックして何の入力イベントが発生しないことを除外することができる。
一実施形態で、入力フィルタリング部120は特定類型のボタンbtypeの入力ログデータでユーザがボタン入力イベントを生成しようと意図した個別タイミングを抽出することができる。ユーザがボタンを押した瞬間から手を離す瞬間まで約数十msが必要とされ、その間ユーザが意図した入力タイミングに最も近い瞬間がある。ここでは、ボタン入力ログが0から1に変更される瞬間、即ちボタンを押し始める瞬間をユーザが意図したボタン入力活性化瞬間と仮定することができる。即ち、ユーザが意図したボタン入力タイミングは次の数式2のように決定できる。
結果的に、特定類型のボタンbtypeを使用するユーザが意図した入力タイミングのタイムスタンプは次の数式3のように定義できる。
ここで、ttype
inpitは特定類型のボタンを使用するユーザが意図した入力タイミングであり、Btypeは該当ボタンにより感知された入力イベントの数である。
出力フィルタリング部130は、画面の出力に対する特定基準以上の視覚的変更を開示する出力タイミングを抽出することができる。出力フィルタリング部130は、ユーザの入力により触発された画面上の視覚的変化、ユーザの反応的入力を触発させる画面上の視覚的変化、ユーザの先制的入力を触発させる画面上の視覚的変化、ユーザの入力と全く関係のない画面上の視覚的変化を通じての画面の出力を基にして出力タイミングを抽出することができる。出力フィルタリング部130は、出力タイミングの抽出前に画面の出力を記録するフレームイメージの解像度またはフレームレートをダウンスケールすることができる。出力フィルタリング部130は、ユーザの入力に対する平均間隔を基にしてダウンスケールの因子を設定することができる。例えば、出力フィルタリング部130は平均間隔が狭いと高解像度に、平均間隔が広いと低解像度にフレームイメージの解像度をダウンスケールすることができる。出力フィルタリング部130は、画面の出力を構成するフレームイメージの間の差に対するユーザ視覚認知性を基にして特定基準を設定することができる。
記録した画面の解像度がW×Hであれば、総W・Hピクセルがユーザに情報を伝達する。出力フィルタリング部130は、より効率のよい分析のためにスケール因子Kを使用して画面の出力を記録するフレームイメージの解像度をダウンスケールして解像度を縮小することができる。この際、イメージの解像度はW/K×H/Kとなる。ダウンスケール因子Kは縮小後にも画面で重要な視覚的イベントが完全に認知できる値に設定することができ、ここでは32と決定することができる。
入出力間隔処理部140は、ユーザの入力及び画面の出力に対するタイミングを通じて入出力間隔の分布を生成することができる。入出力間隔処理部140はユーザの入力及び画面の出力に対するタイミングの間の差を算出し、差を基にして複数の棒から構成された分布を生成することができる。分布で、陰の領域に存在する最頻度の棒は一定で、短いレイテンシを有するユーザ入力により単純にトリガーされる視覚的出力に該当するので、入出力間隔処理部140は分布で陰の領域に存在する最頻度の棒を除去することができる。
モデルフィッティング部150は、入出力間隔の分布を先制的分布及び反応的分布に調節して先制性及び反応性を推定することができる。モデルフィッティング部150は、入出力間隔の分布をガウシアン分布で生成して先制性を算出し、入出力間隔の分布をエックス-ガウシアン分布を含む反応的分布で生成して反応性を算出することができる。モデルフィッティング部150は、先制性及び反応性を基にしてユーザインターフェースの特性を調節することができる。ここで、モデルフィッティング部150はユーザインターフェースの視覚的レイアウト及び動作機能を調節することができる。
制御部(図1に図示せず)はユーザインターフェース装置100の全体的な動作を制御し、データ獲得部110、入力フィルタリング部120、出力フィルタリング部130、入出力間隔処理部140、及びモデルフィッティング部150の間の制御の流れ、またはデータの流れを管理することができる。
図2は、本発明に従う先制的及び反応的入力数量化基盤のユーザインターフェース方法を説明する順序図である。
図2を参照すると、ユーザインターフェース装置100は、データ獲得部110をユーザの入力及び画面の出力を記録することができる(ステップS210)。ユーザインターフェース装置100は、入力フィルタリング部120を通じてユーザの入力に対する入力タイミングを抽出することができる(ステップS220)。
また、ユーザインターフェース装置100は、出力フィルタリング部130を通じて画面の出力に対する特定基準以上の視覚的変更を開示する出力タイミングを抽出することができる(ステップS230)。ユーザインターフェース装置100は、入出力間隔処理部140を通じてユーザの入力及び画面の出力に対するタイミングを通じて入出力間隔の分布を生成することができる(ステップS240)。
ユーザインターフェース装置100は、モデルフィッティング部150を通じて入出力間隔の分布を先制的分布及び反応的分布に調節して先制性及び反応性を推定することができる(ステップS250)。
以下、図3乃至図13を参照して、本発明に従う先制的及び反応的入力数量化基盤のユーザインターフェース装置及び方法をより詳細に説明する。
本発明に従うユーザインターフェース方法は、相互作用で得たユーザの入力及び画面の出力間時間間隔(IOI)を分析してユーザ反応性及び先制性を評価することができる。
ボタンはユーザの持続的な動きを不連続的な信号に変換してコンピュータに転送する入力装置である。ユーザがボタンを押す目的はコンピュータに自身の意思を伝達することである。ボタンを押すためにはユーザが先にコンピュータの現在状態を認知し、ボタンを押す時期を決定しなければならない。ボタンを何時押すのかを決定した後、ボタン押し動作が実行される。コンピュータの状態を認知した後、決定を下す一連の過程に比べてボタンを押す動作自体は非常に短く、ユーザ性能にほとんど影響を及ぼさないので、一般的に無視することがある。
コンピュータで予想していなかったフィードバックを受けた後、最大限速くボタンを押す作業を反応という。反応作業のIOIは伝統的に応答時間または反応時間といい、IOIの分布は幾何級数的に修正されたガウシアン(ex-Gaussian)またはログ正規(log-normal)のように長い右側の尾を有する短棒分布に従うことと知られている。Hick-Hymann法則によれば、人間の情報処理能力は一定であるので、反応課題でIOIの平均は押すことができる代替ボタン数のログに比例して増加する。一方、ドリフト-拡散モデルは反応を順次的サンプリングプロセスとして説明する。
このモデルによれば、ユーザはリアルタイムに意思決定のための証拠を蓄積する。途中に蓄積された証拠の量が予め定まった決定境界を超過すれば、ユーザは該当ボタンを押す。Hick-Hymann法則とは異なり、ドリフト-拡散は反応IOIの分布をシミュレーションすることができる。
ユーザにボタンを押す正確なタイミングを問うメッセージが表示されれば、作業を予想(事前ボタン入力)という。予想にはちらつく標的獲得及び動く標的獲得作業が含まれる。前者の作業はちらつく対象がまた表れる時を予想して、その瞬間にボタンを押すものである。後者の作業は動く標的が照準領域に入る時を予想して、その瞬間にボタンを押すものである。
反応作業でユーザの目標は与えられた刺激にできる限り速く反応するものである。したがって、反応作業の主要性能マトリックはIOIの平均であり、一般的に良いインターフェースは低い平均を可能にするインターフェース、即ち、ユーザが目標をより速く達成可能に助けるインターフェースである。ドリフト-拡散モデルによれば、ユーザの平均IOIが低いためには意思決定の証拠が蓄積される比率、即ち、ドリフト比率が高くなければならない。一方、予測作業でユーザのボタン入力タイミングは平均的な作業で必要とするボタン入力タイミングに近いので、IOI分布の平均はこれ以上重要な性能マトリックでない。代わりに、ユーザは自分のボタン入力タイミングが作業で要求されるボタン入力タイミングに対して低い変動性を有することを希望する。即ち、予測作業の主要性能マトリックはIOI分布の分散(または、標準偏差)である。
IOI分布の分散が大きければ、ユーザはコンピュータが要求するボタン入力タイミングを推定し難い。例えば、ちらつく標的獲得でちらつき反復周期が長いほどユーザが次のボタン入力のタイミングを推定し難くなり、これをユーザ内部時計のスカラー属性という。一方、動く標的獲得作業では標的が観察できる時間、即ち、キュー視聴時間が短いほどユーザのボタン入力タイミング推定性能が低くなる。特に、システム待機時間が長いと、ユーザが終わりまで目標移動を観察しなくてボタンを押さなければならないので、キュー視聴時間が更に短縮できる。
ユーザの2つの代表的なボタン入力戦略(反応型及び先制型)、数学的モデル及び各々の性能に影響を及ぼす要素は、次の表1として整理することができる。
本発明では制御されていない刺激及び無制限ユーザボタン押しと関連した日常的な相互作用でユーザのボタン押し性能を定量化する技術を提案及び具現する。
このための最初のステップはデータ獲得ステップで、ユーザの入力ログとコンピュータ画面を記録する。
データ収集ステップで、ユーザ入力作業及びコンピュータ出力は特定期間の間記録される。記録された入力動作はボタン入力btype(押した場合は1、押していない場合は0)とカーソル座標及び(使用可能な場合、ピクセル単位)の時系列である。ユーザが他のボタンを押すと、データが各ボタンに対して別途に記録されなければならない(例:マウス左側ボタンの場合はbml、キー“a”の場合はbn)。ロギングされたコンピュータの出力はロギング期間の間視覚的ディスプレイでユーザに表示される全てのフレームイメージ(この研究では24ビットRGB)である。ピクセル解像度は対象アプリケーション及びハードウェアによって異なることがある。
入力ロギングのフレーム速度をf、ロギングされたフレーム数Nをf・Tとし、最終ロギングデータは次の通りである。
ここで、tはタイムスタンプである。本研究ではOBS(Open Broadcaster Software)(f=60Hz)を用いて画面映像を記録しており、pynputライブラリを用いてOBSコールバック関数が実行される瞬間、ボタン入力とカーソル座標を共に記録した。全体スクリプトはPythonで具現される。ビデオはmp4形式で記録され、ボタン入力及びカーソル軌跡はcsv形式で記録される。一般的な解像度(即ち、1680×1050)でこの方法により30分間記録すれば原始データファイルは約3GBとなる。
第2のステップは、入力フィルタリングで与えられた入力ログからユーザが意図したボタン入力タイミングを抽出する。
入力フィルタリングステップは、特定類型のボタンbtypeの入力ログデータでユーザがボタン入力イベントを生成しようと意図した個別タイミングを抽出しなければならない。先行研究によれば、ボタンを押した瞬間から手を離す瞬間まで約数十msが必要とされ、その間ユーザが意図した入力タイミングに最も近い瞬間がある。本研究ではボタン入力ログが0から1に変更される瞬間、即ちボタンを押し始める瞬間をユーザが意図したボタン入力活性化瞬間と仮定した。即ち、ユーザが意図したボタン入力タイミングは、次の通り決定される。
結果的に、ボタンを使用するユーザが意図した入力タイミングttype
inpit
のタイムスタンプは、次の通り書くことができる。
のタイムスタンプは、次の通り書くことができる。
ここで、Btypeは該当ボタンで感知された入力イベントの数である。
第3のステップは、記録された画面ビデオの各フレームに対してユーザが感知することができる視覚的変化を識別する出力フィルタリングである。
図3及び図4を参照すると、記録したディスプレイの解像度がW×Hであれば、総W・Hピクセルがユーザに情報を伝達する。より効率のよい分析のためにスケールファクターKを使用してビデオの解像度を縮小した。すると、動映像の解像度はW/K×H/Kとなる。Kは縮小後にも画面で重要な視覚的イベントを完全に感知することができる値に設定しなければならない。この研究でKの値は全ての後続研究で32と決定された。次に、各フレームの各ピクセルの(R、G、B)値をCIELAB型式(L、a、b)に変換する。CIELAB空間で色相ベクトルの間の距離は人間が実際に認知する色相差に一層近いので、画面で発生する重要な視覚的イベントをよりよく感知することができる。本研究ではcolormathライブラリのconvert_color関数を用いてCIELAB型式に変換した。
今までM(=W/K・H/K)ピクセルの各々に対する(L、a、b)値の時系列がある。i番目の時間ステップでj番目ピクセルの色相値を(Lj
i、aj
i 、bj
i )。次に、隣接したフレーム間の色相差に対する時系列を次の数式4のように得る。
この時系列ではL、a及びbのうち、少なくとも1つのチャンネルで色相値が特定しきい値δ以上に変更される全ての瞬間を感知する。図3の場合、感知された各瞬間(i/f)でユーザのボタン押しが誘発できる重要な視覚的イベントが該当ピクセルからユーザに伝達される。本研究ではCIELAB空間で約5ユークリッド距離の色差を人間が十分に認知することができるといって、δを5に設定した。結果的に、各j番目のピクセルに対して得た重要な視覚的出力toutputのタイムスタンプは、次の数式5のように表現できる。
ここで、pjはj番目ピクセルで感知された視覚的イベントの数である。
前記数式4及び数式5は、ディスプレイの特定(絶対)位置で発生する視覚的イベントがユーザのボタン入力をトリガーすることができるという前提を基盤とする。しかしながら、この仮定が成立しない特別な状況がありえる。例えば、ユーザがコンピュータマウスを使用してディスプレイの左下段隅でカーソルを移動し、右上段隅に表れた対象をクリックする状況である。この際、ユーザのボタン入力が画面の右上段に対象が表れたイベントにより発生したと見ることは困難である。むしろ、カーソルがターゲットに到達するか、または相対的にターゲットがカーソルに近くなったので、ユーザのボタン入力が発生したと見ることがより自然である。したがって、マウスボタン入力をトリガーすることができる出力を抽出する過程でカーソル固定座標系を参照として使用した。より具体的に、これは前記数式4及び数式5の過程を遂行する前に、図4のように、スクリーンビデオの各フレームviの中心をカーソル位置(xi、yi)に移すことによりなされる。変換により空いているピクセルの(L、a、b)値は全て(0、0、0)で詰められる。
第4のステップは、ボタン入力及び出力対でIOI分布を得る入出力間隔処理ステップである。
本研究で、IOIは出力が発生した時間toutとユーザが該当ボタン入力tinputを遂行した時間の差と定義できる。一般的に、多重入力と多重出力が観察され、これらの組み合わせにより多重IOI、即ちIOI分布を定義することができる。しかしながら、特定ピクセルで観察される視覚的出力の数があまりに少なければIOI分布を得ることの意味がないので、ピクセルに対する分析を飛び越えることがある。より具体的に、本研究では全てのピクセルで視覚的出力数がPjの最大値の1/10未満であるピクセルを飛び越えた。
次に、飛び越えていないピクセルの場合、各ボタンtype-ピクセル番号j組み合わせを見ると、図5を参照して、1つのボタンtype-ピクセル組み合わせの場合、ボタン入力タイミングttype
inpit
と視覚的出力タイミングtj outpit
軸に沿って整列することができる。この際、IOIはttypeとtj
(数式3及び数式5参照)の各組み合わせによって計算することができるが、人間のボタン入力過程に対して1つの仮定をしてサンプリングされたIOIの数を減らした。結果的に、各q番目の視覚的出力は時間軸に最も近いボタン入力ttype K*
と結合できる。IOIは次の数式6のように計算できる。
と視覚的出力タイミングtj outpit
軸に沿って整列することができる。この際、IOIはttypeとtj
(数式3及び数式5参照)の各組み合わせによって計算することができるが、人間のボタン入力過程に対して1つの仮定をしてサンプリングされたIOIの数を減らした。結果的に、各q番目の視覚的出力は時間軸に最も近いボタン入力ttype K*
と結合できる。IOIは次の数式6のように計算できる。
次に、次の数式7のように1つのボタンtype-ピクセル組み合わせに対する総(視覚的出力数)IOIから構成されたIOI分布を得ることができる。
前記数式7を通じて図4の(b)のように、確率質量関数に変化するように正規化できる。
最後のステップは、獲得したIOI分布に事後的分布と事前的分布をフィッティングして反応性と先制性を推定するモデルフィッティングステップである。
前記数式7で求めたIOI分布は多数の下位分布の和で表現できる。図6を参照すると、(a)はユーザが視覚的出力に対する応答としてボタンを能動的に押す時に観察されるIOI分布である。人間の能動的なボタン入力性能に対する以前の研究を参照すると、以下の数式8のようにガウス分布として仮定することができる。
ここで、μpは分布の平均であり、σpは分布の標準偏差である。この2つは共にグループ化されて事前配布の媒介変数θpとして定義できる。
図6の(b)は、ユーザが視覚的出力に対する応答としてボタンを反応的に押す時に観察されるIOI分布である。人間の反応時間に対する以前の研究を参照すると、以下の数式9のex-Gaussian分布として仮定できる。
ここで、μR、σR、KR、は分布の形態を決定する母数である。この3種類は共にグループ化されて反応分布の母数θRとして定義できる。反応分布の平均はμRでなく、(μR+σRKR )である。以下、反応分布の実際平均を
として表示する。
として表示する。
図7は、ユーザのボタン入力と関係のない視覚的出力から得たIOIの分布を示す。ユーザのボタン入力と関係のない視覚的出力は時間軸に均一に分布していると仮定することができる。ユーザのボタン入力タイミングを既に知っているのでMonte Carlo方法を使用して均一に分布した関連のない出力からIOI分布を得る方法をシミュレーションすることができる。このように得た分布を正規化し、Iirrelevant
として仮定した。
として仮定した。
最後に、一部の出力はユーザ入力をトリガーしないが、単純にユーザ入力によりトリガーできる。例えば、ユーザが閉じボタンを押すと、アプリケーション窓が閉まり、シューティングゲームでユーザが敵を射てば敵が消える。分析を単純化するために、この研究ではユーザによりトリガーされたコンピュータ出力が短く、一定の待機時間に生成されると仮定する。これは、数式7で求めたIOI分布で陰の領域で最も高いピークとして観察できる。これは、ユーザの反応性及び先制性を推定することとは関係gaないので、分布からピークを除去し、後続分析を遂行する(図5参照)。
本発明の最終の目標は次の数式10のように、Iirrelevant,
Ireactives及びIirrelevantの和でピーク除去IOI分布を表現するものである。
Ireactives及びIirrelevantの和でピーク除去IOI分布を表現するものである。
ここで、WR、WP,WIは各下位分布の加重値を示す。
前記数式10で、各分布の加重値(WR、WP,WI)と反応及び事前分布の媒介変数(θR、θP)を探さなければならない。これは、混合分布モデルを経験的分布に最適に合せる問題であり、EM(expectation-maximization)方式を通じて遂行することができる。より具体的に、EMを通じて与えられたIOI分布を観察する可能性を最大化する媒介変数と加重値を得ることができる。これは、次の数式11として表現できる。
この際、特定IOItype,jインスタンスがどの部分から由来するかを知らないので、前記の数式11で可能度(likelihood)を計算することができない。EM体系で私達は各IOIインスタンスが特定分布で潜在的な変数Zとして来たものと信じられる確率を定義する。3個の下位分布があるのでZはサイズが3×Pjの行列である。EM技法は、θR、θP及びZを推定するために交互に遂行される期待ステップと、最大化ステップの2つのステップで構成できる。各下位分布に対して推定されたZを平均すると、該当下位分布の加重値である(即ちWR、WP,WI)。飛び越えていない全てのボタンtype-ピクセル組み合わせに対してこのプロセスを繰り返す。
最後のモデルフィッティングステップまで完了すれば、手にある各ボタン類型ピクセルに対して次の情報がありえる。
WRは、ピクセルが他の類型の関連と比較してユーザの反応入力プロセスとどれくらい強く関連されているかを示す。
WPは、ピクセルが他の類型の連結と比較してユーザの事前入力プロセスとどれくらい強く連結されているかを示す。
WIは、ピクセルが他の類型の関連と比較してユーザの入力プロセスとどれくらい関連のないかを示す。
θRは、ユーザが試みた反応性入力の特性と性能を説明し、ユーザの反応性能を最もよく説明する値はIreactives分布の平均であるので
である。
が高いほどユーザが予想してなかったコンピュータ出力に速く反応することがより難しかった。
である。
が高いほどユーザが予想してなかったコンピュータ出力に速く反応することがより難しかった。
Pは、ユーザが試みる能動的入力の特性と性能を説明し、σP に属する2つのパラメータ(μP、σP)のうち、σPが最も重要である。σPが高いほどユーザがコンピュータの出力を予想することがより難しかった。
前記の解析によれば、WRとWPはユーザの反応性と先制性を示すことができる。しかしながら、WR、WPはWR+WP+WI=1、即ち、関連のない出力が多い時、WIが増加するほど減少する。しかしながら、反応性及び先制性はユーザ性能を特性化することを目標とするので、関連のない出力の有無に関わらず計算できなければならない。したがって、対応するボタン類型-ピクセル組み合わせに対する反応性R及び先制性Pを次の数式12のように定義し計算することができる。
ここで、R及びPは各ピクセルに対して得られるので、特定ボタン類型に対してR及びPのヒットマップ(heatmap)を描くことができる。ヒットマップで参加者が更に反応的であるか、または能動的に反応した画面のピクセルを理解することができる。また、全てのピクセルで求めたRとPを平均して特定のボタン種類に対するRとPの代表値を求めることも可能である。
研究(STUDY)1:リアルタイムビデオゲーム
研究1で参加者らは2つのリアルタイムビデオゲームをする。そのゲームはボタン入力により行うリズムゲームジャンルに属する。この際、本発明により提案された技法を通じて記録された画面映像とボタン入力ログを分析する。次に、推定した反応性R、先制性P、IOI分布の媒介変数(θR及びθP)が各参加者のゲーム点数とどのように相関するかを調べる。
研究1で参加者らは2つのリアルタイムビデオゲームをする。そのゲームはボタン入力により行うリズムゲームジャンルに属する。この際、本発明により提案された技法を通じて記録された画面映像とボタン入力ログを分析する。次に、推定した反応性R、先制性P、IOI分布の媒介変数(θR及びθP)が各参加者のゲーム点数とどのように相関するかを調べる。
1.1 データ獲得
参加者20人(女子7人、男子13人)を募集した。これらの平均年齢は23.9才(σ=3.16であった)。この中で、18人の参加者はリズムゲームをした経験があった。
参加者20人(女子7人、男子13人)を募集した。これらの平均年齢は23.9才(σ=3.16であった)。この中で、18人の参加者はリズムゲームをした経験があった。
実験は単一独立変数であるゲーム類型を使用して被験者内設計に従った。独立変数の3種類の水準は、次の通りである。
ゲーム類型:Dino、Tabsonic 1(サウンド付き)、Tabsonic 2(サウンド消し)
参加者らはダイノ条件でグーグルクロムブラウザに基本に設置されるゲームであるクロムダイノをプレイした。ゲームで恐竜キャラクターは左側に配置される(図8参照)。障害物は右側から左側に来て、ゲームが進行されるにつれて、より速くなる。恐竜が障害物にぶつかると、ゲームが終わる。参加者がボタン(空白または上方の矢印)を押すと、恐竜がジャンプして障害物を避ける。実験で参加者らに単純性のためにスペースキーのみ使用してプレイするようにした。
Tabsonic 1及びTabsonic 2の条件で参加者らはNeowizで開発したリズムゲームであるTabsonic Boldをプレイした。ゲームでプレイヤーは対象領域に落ちる音符がある時、該当ボタンを押さなければならない(図8参照)。プレイヤーが特定しきい値より多い音符を逃せば、ゲームが終了する。プレイヤーが終わりまで生きていればゲーム点数が提供される。音符が飛び立つことができる6個のレーンがあり、各々s、d、f、j、k、及びlキーにマッピングされる。音符の順序はゲームデザイナーが背景音楽と相和すように設計された。各参加者は実験者が選択した5曲(“Jelly Fish”、“Do It!”、“Emoji Love”、“This is You”、“Iridescent”)を全て演奏した。しかしながら、参加者らはTabsonic 2条件で背景音楽を消した状態で演奏した。全ての参加者はDino条件を先にプレイした後、Tabsonic条件をプレイした。Tabsonic 1とTabsonic 2が与えられる順序と各条件内で5曲が与えられる順序はラテン方格を通じて均衡をなした。統計分析はα水準0.05で反復測定ANOVAを通じて遂行された。球形度の仮定を違反した場合、Greenhouse-Geisser補正を適用した。
参加者らはゲーム用椅子に座っており、モニターは参加者の目線に設置された。参加者らは事前設問紙を作成し、同意書に署名した。本実験の前に実験者は参加者らに課題を簡略に紹介した。私達は参加者らにできる限り高い点数を受けるために最善を尽くすことを要請した。最初に、参加者らは10分以上ダイノ条件を行った。次に、参加者らは公式Tabsonicチュートリアルをプレイした。次に、参加者らはTabsonicの各条件で5曲を演奏した。条件間の転換は実験者が手動で遂行した。再生前後に実験者は画面記録及び入力ロギングを実行し、中止した。各個人に対する実験は約60分が必要とされた。
全ての実験は単一Windowsデスクトップコンピュータ(3.6GHz Intel Core i9-9900k, 32GB RAM, NVIDIA RTX2060)で遂行された。24インチモニター(Dell)を使用しており、解像度は1680×1050ピクセルであった。一般的な有線物理的キーボードが使われた。参加者らはTapsonic 1条件で声を聞くためにヘッドホン( EPOS Sennheiser GSP 600)を着用した。
1.2 分析
研究1の実験でボタン入力ログ(Dinoの場合bspaceは、Tabsonic 1及び2の場合は、bs,bd,bf,bj,bk,bI)、及び3つのゲーム条件で参加者の画面記録(v)を得る。この研究の目的は多様なボタンに対する反応性と事前対応性を推定するものでないので、各Tabsonic条件に対する6個の独立的なボタン入力ログを1つに集計した
()。
研究1の実験でボタン入力ログ(Dinoの場合bspaceは、Tabsonic 1及び2の場合は、bs,bd,bf,bj,bk,bI)、及び3つのゲーム条件で参加者の画面記録(v)を得る。この研究の目的は多様なボタンに対する反応性と事前対応性を推定するものでないので、各Tabsonic条件に対する6個の独立的なボタン入力ログを1つに集計した
()。
先に、実験者は全てのビデオを1つずつ視聴し、各参加者が経験したゲームオーバー数と各参加者が得た点数を記録した。次に、本発明に提示されたステップを通じて反応性及び先制性を分析した。分析のためのDino条件の縮小されたビデオは53×33解像度であり、分析のためのTabsonic条件のビデオは53×33解像度であった。
分析結果、各ゲーム類型条件に対する各ピクセルに対し、WR、WP、WI、θR及びθPを得た。この値は参加者のボタン押しと該当ピクセルの視覚的刺激の間の連関性を示す。また、このような値は各参加者に対して得られる。
全ての分析は単一Windowsワークステーションコンピュータ(2.90GHz 64コア AMD Ryzen Threadripper 3990X, 128GB RAM, NVIDIA Quadro RTX4000)で遂行された。参加者がダイノ条件とタブソニック条件で10分間再生したデータの分析には約10分、50分が必要とされた。Dino条件では充分の数の視覚的イベントが観察されない飛び越えたピクセルが多いので、少ない分析時間が必要とされた。
1.3 結果
ダイノ条件で参加者らは平均10.1(σ=4.994)ゲームオーバーを経験しており、平均1102.75(σ=618.415)ポイントを記録した。Tabsonic 1の条件と Tabsonic 2の条件で参加者は各々平均370,178(σ=32,389)及び352,963(σ=23,316)の点数を得た(5曲全て考慮)。ゲーム類型がゲーム点数に及ぼす影響は留意した(F2.38= 2397.705, p<0.001,
= 0.992)。特に、Tabsonic 1とTabsonic 2との差はpost-hoc分析で有意味なことと表れた(p<0.01)。
ダイノ条件で参加者らは平均10.1(σ=4.994)ゲームオーバーを経験しており、平均1102.75(σ=618.415)ポイントを記録した。Tabsonic 1の条件と Tabsonic 2の条件で参加者は各々平均370,178(σ=32,389)及び352,963(σ=23,316)の点数を得た(5曲全て考慮)。ゲーム類型がゲーム点数に及ぼす影響は留意した(F2.38= 2397.705, p<0.001,
= 0.992)。特に、Tabsonic 1とTabsonic 2との差はpost-hoc分析で有意味なことと表れた(p<0.01)。
ゲーム類型が平均wl(全てのピクセルに対して)に及ぼす影響は統計的に有意であった(F2.38=2397.705、p<0.001、
=0.992)。平均wlはDino条件の場合は0.328(σ=0.027)、Tabsonic 1の条件の場合は0.768(σ=0.023)、Tabsonic 2の条件の場合は0.783(σ=0.022)であった。事後の分析でDinoのWIはTabsonic 1及びTabsonic 2と格段に異なる(p=0.001)。
=0.992)。平均wlはDino条件の場合は0.328(σ=0.027)、Tabsonic 1の条件の場合は0.768(σ=0.023)、Tabsonic 2の条件の場合は0.783(σ=0.022)であった。事後の分析でDinoのWIはTabsonic 1及びTabsonic 2と格段に異なる(p=0.001)。
ゲーム類型が平均反応性R(全てのピクセル及びボタン類型に対して)に及ぼす影響は統計的に有意であった(F2.38=61.493、p<0.001、
=0.765)。平均Rの平均はDino条件の場合0.459(σ=0.021)、Tabsonic 1の条件の場合は0.589(σ=0.050)、 Tabsonic 2の条件の場合は0.578(σ=0.058)であった。 事後の分析でDinoのRはTabsonic 1及びTabsonic 2と格段に異なる(p=0.001)。
=0.765)。平均Rの平均はDino条件の場合0.459(σ=0.021)、Tabsonic 1の条件の場合は0.589(σ=0.050)、 Tabsonic 2の条件の場合は0.578(σ=0.058)であった。 事後の分析でDinoのRはTabsonic 1及びTabsonic 2と格段に異なる(p=0.001)。
次に、各ピクセルに対して得たθR媒介変数を分析した。特に、リアクティブボタン入力でユーザの性能を説明することに最も重要な値である
を分析した。ゲーム類型が平均
(全てのピクセルに対して)に及ぼす影響は統計的に有意であった(F2.38=54.148、p<0.001、
=0.740)。平均
の平均はDino条件の場合は0.357(σ=0.022)、Tabsonic 1の条件の場合は0.835(σ=0.199)、 Tabsonic 2の条件の場合は0.847(σ=0.204)であった。事後の分析でDinoの
はTabsonic 1及びTabsonic 2と格段に異なる(p<0.001)。
を分析した。ゲーム類型が平均
(全てのピクセルに対して)に及ぼす影響は統計的に有意であった(F2.38=54.148、p<0.001、
=0.740)。平均
の平均はDino条件の場合は0.357(σ=0.022)、Tabsonic 1の条件の場合は0.835(σ=0.199)、 Tabsonic 2の条件の場合は0.847(σ=0.204)であった。事後の分析でDinoの
はTabsonic 1及びTabsonic 2と格段に異なる(p<0.001)。
ピクセルに対して測定された反応性Rと積極性Pの和は常に1であるので、独立変数が積極性に及ぼす影響に対する追加統計分析を遂行する必要がない(反応性検定であれば充分である)。能動的なヒットマップも1から反応性値を引いて求めるので、別に描く必要がない。代わりに、各ピクセルに対して得たθp媒介変数を分析した。特に、能動的なボタン入力でユーザの性能を説明することに最も重要な媒介変数であるσPを分析した。ゲーム類型が平均σP(全てのピクセルに対して)に及ぼす影響は統計的に有意であった(F2.38=8.577、p<0.01、
=0.333)。Dino、Tabsonic 1、Tabsonic 2の平均σPは0.088(σ=0.004)、0.101(σ=0.016)、0.106(σ=0.019)であった。事後の分析でDinoのσPはTabsonic 1及びTabsonic 2と格段に異なる(p<0.01)。
=0.333)。Dino、Tabsonic 1、Tabsonic 2の平均σPは0.088(σ=0.004)、0.101(σ=0.016)、0.106(σ=0.019)であった。事後の分析でDinoのσPはTabsonic 1及びTabsonic 2と格段に異なる(p<0.01)。
各参加者の認知特性媒介変数θR及びθPが参加者のゲーム点数をどれくらいよく説明するかの線形回帰分析を遂行した。先に、各ゲーム類型参加者の組み合わせで全てのピクセルのθR及びθPを平均化した。次に、scikit-learnライブラリを使用して結果5種類の媒介変数(μR、σR、KR、μP、σP)と参加者の点数の間の線形回帰分析を遂行した。その結果、参加者らのゲーム点数はDino(R2=0.52)、Tabsonic 1(R2=0.70)、Tabsonic 2(R2=0.65)の高い決定係数として5種類の媒介変数で予測された。各回帰方程式とプロットは図9に示す通りである。
1.4 討論
リアルタイムゲームを行う時、プレイヤーは多様な方法によりボタンを押すように要請を受ける。例えば、Dinoの場合、プレイヤーはボタンを押して恐竜が動く障害物にぶつかることを防止する。Tabsonicの場合、プレイヤーは動く標的が特定獲得領域内に位置する時、ボタンを押さなければならない。しかしながら、決定的な事件(障害物が恐竜に触れるか、または標的が獲得領域にあること)が実際に発生する瞬間にプレイヤーが計画を立てて実行し始めればあまりに遅い場合が多い。したがって、プレイヤーはイベントが発生する前にプレイヤーに提供される感覚信号に依存しながらボタン押しをトリガーしなければならない。研究1では画面のピクセルで発生した視覚的イベントがDino及びTabsonic条件で参加者のボタン入力をどのようにトリガーしたかを知ることに成功した。
リアルタイムゲームを行う時、プレイヤーは多様な方法によりボタンを押すように要請を受ける。例えば、Dinoの場合、プレイヤーはボタンを押して恐竜が動く障害物にぶつかることを防止する。Tabsonicの場合、プレイヤーは動く標的が特定獲得領域内に位置する時、ボタンを押さなければならない。しかしながら、決定的な事件(障害物が恐竜に触れるか、または標的が獲得領域にあること)が実際に発生する瞬間にプレイヤーが計画を立てて実行し始めればあまりに遅い場合が多い。したがって、プレイヤーはイベントが発生する前にプレイヤーに提供される感覚信号に依存しながらボタン押しをトリガーしなければならない。研究1では画面のピクセルで発生した視覚的イベントがDino及びTabsonic条件で参加者のボタン入力をどのようにトリガーしたかを知ることに成功した。
先に、ダイノ状態のWIヒットマップを見ると(図8参照)、恐竜が上下に動く領域と画面の右側の終わり領域で発生した視覚的イベントはボタン入力とあまり関連のないことと見える。このような結果を得た理由は、次の通りである。(1)恐竜のジャンプ動作は参加者がボタン押しを計画し実行するようにする感覚キューでなく、参加者のボタン押しにより引き起こされるイベントである。(2)最右側領域に障害物が表れれば、恐竜と衝突するか、またはボタンを押すかを心配する程度の緊急な状況ではない。
次に、ダイノ条件で反応性(または、能動的)のヒットマップを見ると、恐竜の前のピクセルで発生した視覚的イベントは参加者の能動的なボタン入力を引き起こし、もう少し離れたピクセルで発生した視覚的イベントは参加者の反応ボタン入力、障害物が恐竜に近づくほど参加者が障害物の接近のみに反応すれば、恐竜が障害物にぶつかることが防止できないためである。
基本的に、TabsonicとDinoは全て動く標的(または、障害物)があるゲームであるので、TabsonicのWIヒットマップとRヒットマップでも類似している傾向が観察された。目標物が移動するレーンの外の領域ではWIの値が高かった。獲得領域の直ぐ前で発生した視覚的イベントは参加者の事前ボタン入力を引き起こし、もう少し離れた領域で発生した視覚的イベントは参加者の反応ボタン入力を引き起こした。
一方、Tabsonic 1条件とは異なり、Tabsonic 2条件は背景音楽が消えた。一般に、Tabsonicのようなリズムゲームで背景音楽のビットは目標物が獲得領域に到達する瞬間と同期化される。したがって、背景音楽は参加者がボタン入力タイミングを推定することができる追加感覚信号を提供する。キュー統合理論によれば、追加感覚キューは常に参加者のボタン押し性能の信頼性を向上させる。実際に、Tabsonic 1条件の参加者の点数はTabsonic 2条件参加者の点数より格段に高かった。σPの場合、本発明の技法で推定した能動的ボタン入力の品質を示す分布媒介変数であるTabsonic 2がTabsonic 1より高い値を得たが、その差は統計的に有意でなかった。
本発明の分析技法により推定された各参加者に対して総5個の分布媒介変数(KR、μR、σR、μP、及びσP)がある。各参加者の分布媒介変数は高い決定係数で参加者のゲーム点数と相関関係があった(図9参照)。
図10は、研究1及び研究2で一部の代表ピクセルに対するモデルフィッティング結果を示す図である。
研究2:自己拡張目標を指す
研究2で、参加者は自らサイズが大きくなる対象をクリックし指す作業を遂行する。ここで、参加者らはトラックパッドでカーソルを制御する。カーソルの位置が中央になるようにビデオフレームを移動させた後、提案された技法を使用して参加者の反応性と主導性を分析する。ターゲット拡張の多様なパターンを与えて、参加者らの反応性と主導性、各ボタン入力の品質がどのように変わったかを探求する。
研究2で、参加者は自らサイズが大きくなる対象をクリックし指す作業を遂行する。ここで、参加者らはトラックパッドでカーソルを制御する。カーソルの位置が中央になるようにビデオフレームを移動させた後、提案された技法を使用して参加者の反応性と主導性を分析する。ターゲット拡張の多様なパターンを与えて、参加者らの反応性と主導性、各ボタン入力の品質がどのように変わったかを探求する。
2.1 方法
12人の参加者(男子8人、女子4人)を募集しており、これらの平均年齢は24.83才(σ=3.24才)であり、この中で、9人の参加者は毎日トラックパッドを使用すると報告した。
12人の参加者(男子8人、女子4人)を募集しており、これらの平均年齢は24.83才(σ=3.24才)であり、この中で、9人の参加者は毎日トラックパッドを使用すると報告した。
研究2で、参加者らはトラックパッドでカーソルを制御して帯状の標的をクリックするようにした。参加者が予め定義された開始位置にカーソルを移動し、一定時間(0.5秒)の間留まれば、対象が一定の距離(900ピクセル)に表れる。対象の初期幅は1ピクセルである。対象が表れる時t=0と仮定すると、対象がt=t1から幅方向に拡張され始める。t=t2まで拡張が続いてから止める。参加者が目標物の内部または外部をクリックすると、試みが終了し、目標物が消える。対象が完全に拡張されると、幅は50ピクセルである。
対象拡張が終了する時間t2は参加者毎に異なるように設定した。より具体的に、t2は参加者が900ピクセル距離で50ピクセル幅で0.8を掛けた(即ち、t2=0.8
)一般対象を獲得することにかかる平均時間(
)に設定した。このために、各参加者に本実験前に目標物(50ピクセル幅、900ピクセル距離)を最大限速くて正確に60回クリックするように要請した。本実験の課題と同様に、開始位置にカーソルが0.5秒間とどまった時のみに試みの対象が表れた。平均時間(
)を計算する時、失敗した試みと成功した試みを全て考慮した。
)一般対象を獲得することにかかる平均時間(
)に設定した。このために、各参加者に本実験前に目標物(50ピクセル幅、900ピクセル距離)を最大限速くて正確に60回クリックするように要請した。本実験の課題と同様に、開始位置にカーソルが0.5秒間とどまった時のみに試みの対象が表れた。平均時間(
)を計算する時、失敗した試みと成功した試みを全て考慮した。
主要実験は対象が拡張されるパターンと関連した2つの独立変数であるEasing及びDurationがある3×4個体内の設計に従った。水準は、次の通りである。
・Easing:In、Out、Pop
・Duration:0.2、0.4、0.6、0.8
・Easing:In、Out、Pop
・Duration:0.2、0.4、0.6、0.8
ここで、Durationはt1=Duration
のように対象が拡張され始める時間であるt1を決定する。即ち、対象が拡張されることに必要とされる時間は(t2-t1)=(0.8-Duration)
である。緩和は対象が拡張されるパターンを示す。各Easing条件に対して時間関数としての目標幅Wは次の通り表現できる。
のように対象が拡張され始める時間であるt1を決定する。即ち、対象が拡張されることに必要とされる時間は(t2-t1)=(0.8-Duration)
である。緩和は対象が拡張されるパターンを示す。各Easing条件に対して時間関数としての目標幅Wは次の通り表現できる。
tがt1より小さければ対象の幅は全ての条件で1ピクセルであり、tがt2 より大きければ、対象の幅は全ての条件で50ピクセルである。各条件も図12に視角化されている。
実験設計に関わらず全ての参加者にBaseline条件が与えられた。Baseline条件はEasing変数がPopに設定され、Duration変数が0に設定されることを意味する。Baseline条件の場合、時間の関数で対象幅Wは次の通り表現することができる。
Baseline条件を含んで各々の固有なEasing-Duration組み合わせに対して参加者は60個の標的獲得試みを遂行した。全ての作業組み合わせはランダムに参加者に与えられた。統計分析はα水準0.05で反復測定ANOVAを通じて遂行された。
全ての実験は単一Windowsデスクトップコンピュータ(3.6GHz Intel Core i9-9900k, 32GB RAM, NVIDIA RTX2060)で遂行された。24インチモニター(Dell)を使用しており、解像度は1680×1050ピクセルであった。Appleトラックパッド(Magic Trackpad)をポインティング装置に使用した。作業応用プログラムはPython言語(約60Hzで実行)で作成された。
2.2 分析
研究2の実験で基準条件を含んで各Easing-Duration組み合わせに対する参加者のマウスボタン入力ログ(bclick)、画面記録(v)、及びカーソル座標(x及びy)を得た。全体データセットの大きさは約852MBであった。
研究2の実験で基準条件を含んで各Easing-Duration組み合わせに対する参加者のマウスボタン入力ログ(bclick)、画面記録(v)、及びカーソル座標(x及びy)を得た。全体データセットの大きさは約852MBであった。
研究1のように、本発明に説明されたステップに従ってデータセットの反応性と先制性を分析した。縮小された画面ビデオはピクセル単位で55×33解像度を有する。分析結果、各Easing-Duration組み合わせの各ピクセルに対し、WR、WP、WI、θR及びθPを得た。この値は参加者のマウスボタン押しと該当ピクセルの視覚的刺激との間の連関性を示す。
2.3 結果
作業完了時間は対象が表れた時点とボタンをクリックした時点の時間差である。作業完了時間に対する緩和の効果は統計的に有意であった(F2.22=15.515、p<0.001、
=0.585)。In、Out、Popの試み完了時間平均は1.07(F3.33=20.690、p<0.001、
=0.653)。0.2、0.4、0.6、0.8に対する試み完了時間の平均は1.104(σ=0.138)、1.021(σ=0.135)、1.002(σ=0.143)、0.969(σ=0.110)。作業時間完了に対するEasing及びDurationの相互作用効果は統計的に有意でなかった(F6.66=1.135、p=0.347、
=0.094)。
作業完了時間は対象が表れた時点とボタンをクリックした時点の時間差である。作業完了時間に対する緩和の効果は統計的に有意であった(F2.22=15.515、p<0.001、
=0.585)。In、Out、Popの試み完了時間平均は1.07(F3.33=20.690、p<0.001、
=0.653)。0.2、0.4、0.6、0.8に対する試み完了時間の平均は1.104(σ=0.138)、1.021(σ=0.135)、1.002(σ=0.143)、0.969(σ=0.110)。作業時間完了に対するEasing及びDurationの相互作用効果は統計的に有意でなかった(F6.66=1.135、p=0.347、
=0.094)。
誤り率は失敗した試み回数を総試み回数で割った値である。誤り率に対する緩和の効果は統計的に有意でなかった(F2.22=2.333、p=0.121、
=0)。また、Durationが誤り率に及ぼす影響は統計的に有意でなかった(F3.33=2.112、p=0.118、
=0.25)。誤り率に対するEasing及びDurationの相互作用効果は統計的に有意でなかった(F6.66=1.369、p=0.240、
=0)。
=0)。また、Durationが誤り率に及ぼす影響は統計的に有意でなかった(F3.33=2.112、p=0.118、
=0.25)。誤り率に対するEasing及びDurationの相互作用効果は統計的に有意でなかった(F6.66=1.369、p=0.240、
=0)。
関連性無しWIに対するEasing効果は統計的に有意であった(F2.22=7.497、p<0.01、
=0.406)。平均Irrelevanceの平均はIn状態の場合は0.134(σ=0.048)、Out状態の場合は0.103(σ=0.054)、Pop状態の場合は0.108(σ=0.050)であった。DurationがWIに及ぼす影響は統計的に有意であった(F3.33=10.032、p<0.001、
=0.480)。0.2、0.4、0.6、0.8の平均は0.141(σ=0.054)、0.122(σ=0.045)、0.106(σ=0.054)、(σ=0.054)、(σ=0.49)WI(F6.66=1.222、p=0.306、
=0.099)でEasingとDurationとの間には有意味な相互作用効果がなかった。
=0.406)。平均Irrelevanceの平均はIn状態の場合は0.134(σ=0.048)、Out状態の場合は0.103(σ=0.054)、Pop状態の場合は0.108(σ=0.050)であった。DurationがWIに及ぼす影響は統計的に有意であった(F3.33=10.032、p<0.001、
=0.480)。0.2、0.4、0.6、0.8の平均は0.141(σ=0.054)、0.122(σ=0.045)、0.106(σ=0.054)、(σ=0.054)、(σ=0.49)WI(F6.66=1.222、p=0.306、
=0.099)でEasingとDurationとの間には有意味な相互作用効果がなかった。
反応性Rに対するEasingの効果は統計的に有意であった(F2.22=54.403、p<0.001、
=0.832)。In、Out、Popの平均Rは0.690(σ=0.072)、0.776(σ=0.096)、0.802(σ=0.090)であった。DurationがRに及ぼす影響は統計的に有意であった(F3.33=29.777、p<0.001、
=0.731)。0.2、0.4、0.6、0.8の平均Rは0.690(σ=0.071)、0.715(σ=0.088)、0.791(σ=0.082)、0.829(σ=0.084)。Rに対する緩和及び持続時間の相互作用効果は統計的に有意であった(F6.66=3.373、p<0.01、
=0.236)。Post-hoc分析はDurationが0.4、0.6、0.8の時、InとOutの間に相当な差(p<0.01)、全てのDuration条件でInとPopの間に有意差(p<0.05)、期間は0.6(p<0.05)であった。
=0.832)。In、Out、Popの平均Rは0.690(σ=0.072)、0.776(σ=0.096)、0.802(σ=0.090)であった。DurationがRに及ぼす影響は統計的に有意であった(F3.33=29.777、p<0.001、
=0.731)。0.2、0.4、0.6、0.8の平均Rは0.690(σ=0.071)、0.715(σ=0.088)、0.791(σ=0.082)、0.829(σ=0.084)。Rに対する緩和及び持続時間の相互作用効果は統計的に有意であった(F6.66=3.373、p<0.01、
=0.236)。Post-hoc分析はDurationが0.4、0.6、0.8の時、InとOutの間に相当な差(p<0.01)、全てのDuration条件でInとPopの間に有意差(p<0.05)、期間は0.6(p<0.05)であった。
次に、各ピクセルに対して得たθR媒介変数を分析した。特に、リアクティブボタン入力でユーザの性能を説明することに最も重要な値である
を分析した。
に対するEasing効果は統計的に有意であった(F2.22=22.796、p<0.001、
=0.675)。イン、アウト、ポップの平均
は0.442(σ=0.099)、0.5(σ=0.092)、0.51(σ=0.105)であった。Durationが
に及ぼす影響は統計的に有意であった(F1,585,17.433=14.569、p<0.001、
=0.570)。0.2、0.4、0.6、0.8に対する平均
の平均は0.451(σ=0.117)、0.450(σ=0.076)、0.498(σ=0.095)=7、0.0(σ=0.095)、そして、0.0
に対する緩和及び持続時間の相互作用効果は統計的に有意であった(F6.66=0.073、p<0.01、
=0.236)。Post-hoc分析はDurationが0.6と0.8(p<0.001)の時、InとPopの間に有意差があり、Durationが0.6と0.8の時(p<0.01)InとOutの間に有意差があることと表れた。
を分析した。
に対するEasing効果は統計的に有意であった(F2.22=22.796、p<0.001、
=0.675)。イン、アウト、ポップの平均
は0.442(σ=0.099)、0.5(σ=0.092)、0.51(σ=0.105)であった。Durationが
に及ぼす影響は統計的に有意であった(F1,585,17.433=14.569、p<0.001、
=0.570)。0.2、0.4、0.6、0.8に対する平均
の平均は0.451(σ=0.117)、0.450(σ=0.076)、0.498(σ=0.095)=7、0.0(σ=0.095)、そして、0.0
に対する緩和及び持続時間の相互作用効果は統計的に有意であった(F6.66=0.073、p<0.01、
=0.236)。Post-hoc分析はDurationが0.6と0.8(p<0.001)の時、InとPopの間に有意差があり、Durationが0.6と0.8の時(p<0.01)InとOutの間に有意差があることと表れた。
ピクセルに対して測定された反応性Rと積極性Pの和は常に1であるので、独立変数が積極性に及ぼす影響に対する追加統計分析を遂行する必要がない(反応性テストで充分である)。能動的なヒットマップも1から反応性値を引いて求めるので、別に描く必要がない。代わりに、各ピクセルに対して得たθP媒介変数を分析した。特に、事前ボタン入力でユーザの性能を説明することに最も重要な媒介変数であるσPを分析した。σPに対するEasingの効果は統計的に有意であった(F2.22、p<0.05、
=0.25)。In、Out、Popの平均σPは0.043(σ=0.012)、0.045(σ=0.014)、0.038(σ=0.013)であった。このσPに及ぼす影響は統計的に有意でなかった(F3.33=8.841、p=0.73、
=0.5)。0.2、0.4、0.6、0.8の平均σPは0.040(σ=0.009)、0.043(σ=0.014)、0.046(σ=0.013)、0.013)、0.010である。 σPに対するEasing及びDurationの相互作用効果は統計的に有意であった(F6.66=3.348、p<0.05、
=0.25)。Post-hoc分析ではDurationが0.8(p<0.05)の時、InとPopの間に有意差があり、Durationが0.6の時、(p<0.01)InとOutの間に有意差があり、Durationが0.6の時、OutとPopの間に有意差があった。0.8(p<0.05)。
=0.25)。In、Out、Popの平均σPは0.043(σ=0.012)、0.045(σ=0.014)、0.038(σ=0.013)であった。このσPに及ぼす影響は統計的に有意でなかった(F3.33=8.841、p=0.73、
=0.5)。0.2、0.4、0.6、0.8の平均σPは0.040(σ=0.009)、0.043(σ=0.014)、0.046(σ=0.013)、0.013)、0.010である。 σPに対するEasing及びDurationの相互作用効果は統計的に有意であった(F6.66=3.348、p<0.05、
=0.25)。Post-hoc分析ではDurationが0.8(p<0.05)の時、InとPopの間に有意差があり、Durationが0.6の時、(p<0.01)InとOutの間に有意差があり、Durationが0.6の時、OutとPopの間に有意差があった。0.8(p<0.05)。
本発明に従うユーザインターフェース方法は、画面映像と入力ログのみを分析してユーザボタン入力の反応性と先制性を定量化することができる。ここで、反応性と先制性はコンピュータの与えられた出力によってユーザがボタン入力をどれくらい能動的に、または能動的に計画し実行するかを意味することができる。本発明は、ユーザのIOI(Input-to-Output)分布が多様なボタン入力戦略によって固有に決定されるということを考慮して、ユーザの反応性と先制性だけでなく、各戦略に対するユーザの実行品質が測定できるようにする。
図14は、本発明に従うユーザインターフェース装置のシステム構成を説明する図である。
図14を参照すると、ユーザインターフェース装置100は、プロセッサ1410、メモリ1430、ユーザ入出力部1450、及びネットワーク入出力部1470を含むことができる。
プロセッサ1410は、本発明の実施形態に従う先制的及び反応的入力数量化基盤のユーザインターフェースプロシージャを実行することができ、このような過程で読取りまたは書込みされるメモリ1430を管理することができ、メモリ1430にある揮発性メモリと不揮発性メモリとの間の同期化時間をスケジュールすることができる。プロセッサ1410は、ユーザインターフェース装置100の動作の全般を制御することができ、メモリ1430、ユーザ入出力部1450、及びネットワーク入出力部1470と電気的に連結されて、これらの間のデータの流れを制御することができる。プロセッサ1410は、ユーザインターフェース装置100のCPU(Central Processing Unit)で具現できる。
メモリ1430は、SSD(Solid State Disk)またはHDD(Hard Disk Drive)のような不揮発性メモリで具現されてユーザインターフェース装置100に必要とするデータ全般を格納することに使われる補助記憶装置を含むことができ、RAM(Random Access Memory)のような揮発性メモリで具現された主記憶装置を含むことができる。また、メモリ1430は電気的に連結されたプロセッサ1410により実行されることによって、本発明に従うユーザインターフェース方法を実行する命令の集合を格納することができる。
ユーザ入出力部1450は、ユーザの入力を受信するための環境及びユーザに特定の情報を出力するための環境を含み、例えば、タッチパッド、タッチスクリーン、画像キーボード、またはポインティング装置のようなアダプタを含む入力装置及びモニターまたはタッチスクリーンのようなアダプタを含む出力装置を含むことができる。一実施形態で、ユーザ入出力部1450は遠隔接続を通じて接続されるコンピューティング装置に該当することができ、そのような場合、ユーザインターフェース装置100は独立的なサーバとして遂行できる。
ネットワーク入出力部1470は、ネットワークを介してユーザ端末1510と連結されるための通信環境を提供し、例えば、LAN(Local Area Network)、MAN(Metropolitan Area Network)、WAN(Wide Area Network)、及びVAN(Value Added Network)などの通信のためのアダプタを含むことができる。また、ネットワーク入出力部1470はデータの無線転送のためにWiFi、ブルートゥース(登録商標)などの近距離通信機能や4G以上の無線通信機能を提供するように具現できる。
図15は、本発明に従うユーザインターフェースシステムを説明する図である。
図15を参照すると、ユーザインターフェースシステム1500は、ユーザ端末1510、ユーザインターフェース装置100、及びデータベース1530を含むことができる。
ユーザ端末1510は、ユーザにより運用される端末装置に該当できる。本発明の実施形態で、ユーザは1つ以上のユーザとして理解されることができ、複数のユーザは1つ以上のユーザグループに区分できる。また、ユーザ端末1510はユーザインターフェースシステム1500を構成する1つの装置としてユーザインターフェース装置100と連動して動作するコンピューティング装置に該当することができる。例えば、ユーザ端末1510はユーザインターフェース装置100と連結されて動作可能なスマートフォン、ノートブック、またはコンピュータで具現されることができ、必ずこれに限定されず、タブレットPCなどを含んで多様なディバイスでも具現できる。また、ユーザ端末1510はユーザインターフェース装置100と連動するための専用プログラムまたはアプリケーション(または、アプリ、app)を設置して実行することができる。
ユーザインターフェース装置100は、本発明にユーザインターフェース方法を遂行するコンピュータまたはプログラムに該当するサーバで具現できる。また、ユーザインターフェース装置100はユーザ端末1510と有線ネットワークまたはブルートゥース(登録商標)、WiFi、LTEなどの無線ネットワークにより連結されることができ、ネットワークを介してユーザ端末1510とデータを送受信することができる。
また、ユーザインターフェース装置100は関連動作を遂行するために独立した外部システム(図1に図示せず)と連結されて動作するように具現できる。例えば、ユーザインターフェース装置100はポータルシステム、SNSシステム、クラウドシステムなどと連動して多様なサービスを提供するように具現できる。
データベース1530は、ユーザインターフェース装置100の動作過程で必要とする多様な情報を格納する格納装置に該当することができる。例えば、データベース1530はビデオに関する情報を格納することができ、学習データとモデルに関する情報を格納することができ、必ずこれに限定されず、ユーザインターフェース装置100が本発明に従うユーザインターフェース方法を遂行する過程で多様な形態に収集または加工された情報を格納することができる。
また、図15で、データベース1530はユーザインターフェース装置100と独立的な装置として図示されているが、必ずこれに限定されず、論理的な格納装置としてユーザインターフェース装置100に含まれて具現できることは勿論である。
前記では本発明の好ましい実施形態を参照して説明したが、該当技術分野の熟練した当業者は以下の特許請求範囲に記載された本発明の思想及び領域から逸脱しない範囲内で本発明を多様に修正及び変更させることができることを理解することができる。
100 ユーザインターフェース装置
110 データ獲得部
120 入力フィルタリング部
130 出力フィルタリング部
140 入出力間隔処理部
150 モデルフィッティング部
1500 ユーザインターフェースシステム
110 データ獲得部
120 入力フィルタリング部
130 出力フィルタリング部
140 入出力間隔処理部
150 モデルフィッティング部
1500 ユーザインターフェースシステム
Claims (16)
- ユーザの入力及び画面の出力を記録するデータ獲得部と、
前記ユーザの入力に対する入力タイミングを抽出する入力フィルタリング部と、
前記画面の出力に対する特定基準以上の視覚的変更を開示する出力タイミングを抽出する出力フィルタリング部と、
前記ユーザの入力及び前記画面の出力に対するタイミングを通じて入出力間隔の分布を生成する入出力間隔処理部と、
前記入出力間隔の分布を先制的分布及び反応的分布に調節して先制性及び反応性を推定するモデルフィッティング部と、を含むことを特徴とする先制的及び反応的入力数量化基盤のユーザインターフェース装置。 - 前記データ獲得部は、
特定区間に対して前記ユーザの時系列入力アクションを入力エンティティー別に記録し、前記画面の時系列出力をフレームイメージ別に記録することを特徴とする、請求項1に記載の先制的及び反応的入力数量化基盤のユーザインターフェース装置。 - 前記入力フィルタリング部は、
前記ユーザの入力が入力イベントの生成を基にして離散的タイミングを抽出することを特徴とする、請求項1に記載の先制的及び反応的入力数量化基盤のユーザインターフェース装置。 - 前記出力フィルタリング部は、
(1)前記ユーザの入力により触発された画面上の視覚的変化、(2)前記ユーザの反応的入力を触発させる画面上の視覚的変化、(3)前記ユーザの先制的入力を触発させる画面上の視覚的変化、(4)前記ユーザの入力と全く関係のない画面上の視覚的変化を通じての前記画面の出力を基にして前記出力タイミングを抽出することを特徴とする、請求項1に記載の先制的及び反応的入力数量化基盤のユーザインターフェース装置。 - 前記出力フィルタリング部は、
前記出力タイミングの抽出前に前記画面の出力を記録するフレームイメージの解像度またはフレームレートをダウンスケールすることを特徴とする、請求項1に記載の先制的及び反応的入力数量化基盤のユーザインターフェース装置。 - 前記出力フィルタリング部は、
前記ユーザの入力に対する平均間隔を基にして前記ダウンスケールの因子を設定することを特徴とする、請求項5に記載の先制的及び反応的入力数量化基盤のユーザインターフェース装置。 - 前記出力フィルタリング部は、
前記画面の出力を構成するフレームイメージ同士間の差に対するユーザ視覚認知性を基にして特定基準を設定することを特徴とする、請求項6に記載の先制的及び反応的入力数量化基盤のユーザインターフェース装置。 - 前記入出力間隔処理部は、
前記ユーザの入力及び前記画面の出力に対するタイミング同士間の差を算出し、前記差を基にして複数の棒から構成された分布を生成することを特徴とする、請求項1に記載の先制的及び反応的入力数量化基盤のユーザインターフェース装置。 - 前記入出力間隔処理部は、
前記分布から陰の領域に存在する最頻度の棒を除去することを特徴とする、請求項8に記載の先制的及び反応的入力数量化基盤のユーザインターフェース装置。 - 前記モデルフィッティング部は、
前記入出力間隔の分布をガウシアン分布で生成して前記先制性を算出し、前記入出力間隔の分布をエックス-ガウシアン分布を含む反応的分布で生成して前記反応性を算出することを特徴とする、請求項1に記載の先制的及び反応的入力数量化基盤のユーザインターフェース装置。 - 前記モデルフィッティング部は、
前記先制性及び前記反応性を基にしてユーザインターフェースの特性を調節することを特徴とする、請求項10に記載の先制的及び反応的入力数量化基盤のユーザインターフェース装置。 - 前記モデルフィッティング部は、
前記ユーザインターフェースの視覚的レイアウト及び動作機能を調節することを特徴とする、請求項11に記載の先制的及び反応的入力数量化基盤のユーザインターフェース装置。 - ユーザの入力及び画面の出力を記録するデータ獲得ステップと、
前記ユーザの入力に対する入力タイミングを抽出する入力フィルタリングステップと、
前記画面の出力に対する特定基準以上の視覚的変更を開示する出力タイミングを抽出する出力フィルタリングステップと、
前記ユーザの入力及び前記画面の出力に対するタイミングを通じて入出力間隔の分布を生成する入出力間隔処理ステップと、
前記入出力間隔の分布を先制的分布及び反応的分布に調節して先制性及び反応性を推定するモデルフィッティングステップと、を含むことを特徴とする先制的及び反応的入力数量化基盤のユーザインターフェース方法。 - 前記データ獲得ステップは、
特定区間に対して前記ユーザの時系列入力アクションを入力エンティティー別に記録し、前記画面の時系列出力をフレームイメージ別に記録することを特徴とする、請求項13に記載の先制的及び反応的入力数量化基盤のユーザインターフェース方法。 - 前記入力フィルタリングステップは、
前記ユーザの入力が入力イベントの生成を基にして離散的タイミングを抽出することを特徴とする、請求項13に記載の先制的及び反応的入力数量化基盤のユーザインターフェース方法。 - 前記出力フィルタリングステップは、
前記出力タイミングの抽出前に前記画面の出力を記録するフレームイメージの解像度またはフレームレートをダウンスケールすることを特徴とする、請求項13に記載の先制的及び反応的入力数量化基盤のユーザインターフェース方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2021-0177277 | 2021-12-13 | ||
KR1020210177277A KR102662966B1 (ko) | 2021-12-13 | 2021-12-13 | 선제적 및 반응적 입력 수량화 기반의 사용자 인터페이스 장치 및 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP7250107B1 true JP7250107B1 (ja) | 2023-03-31 |
JP2023087608A JP2023087608A (ja) | 2023-06-23 |
Family
ID=84536121
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021215054A Active JP7250107B1 (ja) | 2021-12-13 | 2021-12-28 | 先制的及び反応的入力数量化基盤のユーザインターフェース装置及び方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11803302B2 (ja) |
EP (1) | EP4195012A1 (ja) |
JP (1) | JP7250107B1 (ja) |
KR (1) | KR102662966B1 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009075937A (ja) | 2007-09-21 | 2009-04-09 | Victor Co Of Japan Ltd | 機器動作設定装置 |
JP2012181750A (ja) | 2011-03-02 | 2012-09-20 | Jvc Kenwood Corp | オブジェクト情報表示装置 |
EP3336656A1 (en) | 2016-12-19 | 2018-06-20 | OFFIS e.V. | Model based detection of user reaction times and further effects as well as systems therefore |
Family Cites Families (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2002086736A1 (fr) * | 2001-04-19 | 2002-10-31 | International Business Machines Corporation | Serveur, systeme informatique, procede de gestion d'objet, procede de commande de serveur, programme informatique |
US20050177403A1 (en) * | 2004-02-06 | 2005-08-11 | Johnson Thomas D. | System and method for measuring and controlling the quality of medical consulting reports |
JP4320363B2 (ja) * | 2006-05-25 | 2009-08-26 | 豪洋 石崎 | 作業ロボット |
US9094685B2 (en) * | 2010-09-21 | 2015-07-28 | Dialogic Corporation | Efficient coding complexity estimation for video transcoding systems |
US8862498B2 (en) * | 2010-11-08 | 2014-10-14 | International Business Machines Corporation | Response attribution valuation |
GB201111543D0 (en) * | 2011-07-06 | 2011-08-17 | Croda Int Plc | Personal care compositions |
WO2013071285A1 (en) * | 2011-11-11 | 2013-05-16 | Rutgers, The State University Of New Jersey | Methods for the diagnosis and treatment of neurological disorders |
US9275601B2 (en) * | 2012-12-12 | 2016-03-01 | Intel Corporation | Techniques to control frame display rate |
US10395350B2 (en) * | 2013-07-26 | 2019-08-27 | Li-Cor, Inc. | Adaptive background detection and signal quantification systems and methods |
GB201319271D0 (en) * | 2013-10-31 | 2013-12-18 | Microsoft Corp | Sharing network resources |
GB201319619D0 (en) * | 2013-11-06 | 2013-12-18 | Diamentech Ltd | System for assessing a mental health disorder |
EP3155426B1 (en) * | 2014-06-13 | 2023-07-19 | Immudex ApS | General detection and isolation of specific cells by binding of labeled molecules |
EP3229678A1 (en) * | 2014-12-14 | 2017-10-18 | Universität Zürich | Brain activity prediction |
US9396702B2 (en) * | 2014-12-23 | 2016-07-19 | Sony Interactive Entertainment America Llc | Latency tester |
US10303654B2 (en) * | 2015-02-23 | 2019-05-28 | Futurewei Technologies, Inc. | Hybrid data distribution in a massively parallel processing architecture |
US10725627B2 (en) * | 2016-07-15 | 2020-07-28 | International Business Machines Corporation | Managing inputs to a user interface with system latency |
JP2018022305A (ja) * | 2016-08-03 | 2018-02-08 | 富士通株式会社 | 境界値特定プログラム、境界値特定方法および境界値特定装置 |
JP2018028783A (ja) * | 2016-08-17 | 2018-02-22 | 富士通株式会社 | システム状態可視化プログラム、システム状態可視化方法及びシステム状態可視化装置 |
US10003768B2 (en) * | 2016-09-28 | 2018-06-19 | Gopro, Inc. | Apparatus and methods for frame interpolation based on spatial considerations |
US10698876B2 (en) * | 2017-08-11 | 2020-06-30 | Micro Focus Llc | Distinguish phrases in displayed content |
US10504536B2 (en) * | 2017-11-30 | 2019-12-10 | Logmein, Inc. | Audio quality in real-time communications over a network |
US10852934B2 (en) * | 2017-12-21 | 2020-12-01 | The Boeing Company | Latency compensation in coupled processor systems |
DK201870334A1 (en) | 2018-05-07 | 2019-12-05 | Apple Inc. | DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR PROACTIVE MANAGEMENT OF NOTIFICATIONS |
EP3844506A4 (en) * | 2018-08-28 | 2022-10-26 | Nanjing University | PROTEIN NANOPORES FOR IDENTIFICATION OF AN ANALYTE |
US20210086089A1 (en) * | 2019-09-25 | 2021-03-25 | Nvidia Corporation | Player analysis using one or more neural networks |
US11338199B2 (en) * | 2020-02-18 | 2022-05-24 | At&T Intellectual Property I, L.P. | Interactive latency measurement |
US11200441B2 (en) * | 2020-05-01 | 2021-12-14 | UiPath, Inc. | Text detection, caret tracking, and active element detection |
US20220035710A1 (en) * | 2020-07-30 | 2022-02-03 | Hewlett-Packard Development Company, L.P. | Operating system recovery actions |
US11614824B2 (en) * | 2021-07-29 | 2023-03-28 | Talent Unlimited Online Services Pvt. Ltd. | System and method to measure latency in displaying a key tap event |
-
2021
- 2021-12-13 KR KR1020210177277A patent/KR102662966B1/ko active IP Right Grant
- 2021-12-28 JP JP2021215054A patent/JP7250107B1/ja active Active
- 2021-12-29 US US17/564,971 patent/US11803302B2/en active Active
-
2022
- 2022-12-09 EP EP22210417.6A patent/EP4195012A1/en not_active Withdrawn
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009075937A (ja) | 2007-09-21 | 2009-04-09 | Victor Co Of Japan Ltd | 機器動作設定装置 |
JP2012181750A (ja) | 2011-03-02 | 2012-09-20 | Jvc Kenwood Corp | オブジェクト情報表示装置 |
EP3336656A1 (en) | 2016-12-19 | 2018-06-20 | OFFIS e.V. | Model based detection of user reaction times and further effects as well as systems therefore |
Also Published As
Publication number | Publication date |
---|---|
US11803302B2 (en) | 2023-10-31 |
KR102662966B1 (ko) | 2024-05-03 |
JP2023087608A (ja) | 2023-06-23 |
KR20230088982A (ko) | 2023-06-20 |
EP4195012A1 (en) | 2023-06-14 |
US20230195307A1 (en) | 2023-06-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Herold et al. | Machine learning in men’s professional football: Current applications and future directions for improving attacking play | |
US11058957B2 (en) | Method, device and system for game difficulty assessment | |
US11593659B2 (en) | Method, system, and computer program product for implementing reinforcement learning | |
Lee et al. | Moving target selection: A cue integration model | |
US9448636B2 (en) | Identifying gestures using gesture data compressed by PCA, principal joint variable analysis, and compressed feature matrices | |
Huynh et al. | Engagemon: Multi-modal engagement sensing for mobile games | |
Yannakakis et al. | Modeling players | |
Liu et al. | Reinforcement online learning for emotion prediction by using physiological signals | |
JP5676112B2 (ja) | ディストラクションの影響を測定するための方法、コンピュータ化された試験システム、ディストラクションの影響を測定するためのシステム、ヒトの被験者の行動を測定するための方法、および刺激の影響を測定するためのシステム | |
JP6807389B2 (ja) | メディアコンテンツのパフォーマンスの即時予測のための方法及び装置 | |
CN110531849A (zh) | 一种基于5g通信的增强现实的智能教学系统 | |
Martínez et al. | Genetic search feature selection for affective modeling: a case study on reported preferences | |
JP7250107B1 (ja) | 先制的及び反応的入力数量化基盤のユーザインターフェース装置及び方法 | |
Chen et al. | Stochastic modeling of neurobiological time series: power, coherence, Granger causality, and separation of evoked responses from ongoing activity | |
Kim et al. | Quantifying Proactive and Reactive Button Input | |
US20190197415A1 (en) | User state modeling | |
CN115484465B (zh) | 弹幕生成方法及装置、电子设备和存储介质 | |
US20230256318A1 (en) | System and Method for Live Counter-Factual Analysis in Tennis | |
US20230049168A1 (en) | Systems and methods for automated social synchrony measurements | |
Mortensen | Statistical methods for tracking data in sports | |
Kristensen et al. | Difficulty Modelling in Mobile Puzzle Games: An Empirical Study on Different Methods to Combine Player Analytics and Simulated Data | |
Cicognini et al. | Making the Cut: Forecasting Non-Impact Injury in Professional Soccer | |
Cicognini | Making the cut: forecasting non impact injuries in professional soccer | |
Gupta et al. | Game Play Evaluation Metrics | |
SEHGAL et al. | Mobile Sleep Health Analysis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211229 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230221 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230320 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7250107 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |