JP6904354B2 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
JP6904354B2
JP6904354B2 JP2018531764A JP2018531764A JP6904354B2 JP 6904354 B2 JP6904354 B2 JP 6904354B2 JP 2018531764 A JP2018531764 A JP 2018531764A JP 2018531764 A JP2018531764 A JP 2018531764A JP 6904354 B2 JP6904354 B2 JP 6904354B2
Authority
JP
Japan
Prior art keywords
input
processing unit
tactile
display
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018531764A
Other languages
English (en)
Other versions
JPWO2018025513A1 (ja
Inventor
諒 横山
諒 横山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2018025513A1 publication Critical patent/JPWO2018025513A1/ja
Application granted granted Critical
Publication of JP6904354B2 publication Critical patent/JP6904354B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0237—Character input methods using prediction or retrieval techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/22—Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/70—Details of telephonic subscriber devices methods for entering alphabetical characters, e.g. multi-tap or dictionary disambiguation

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Description

本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
近年、スマートフォンやタブレット、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）やカーナビゲーションシステムなどにおいては、入力手段としてタッチパネルやタッチパッドを採用する装置が普及している。上記のような装置では、ユーザインタフェース上に配置される仮想ボタンやダイヤルなどの表示オブジェクトに対しタッチ操作やドラッグ操作を行うことで、アプリケーションの様態に応じた入力を行うことが可能である。
また、上記のような表示オブジェクトに対する操作の効率化を図るための技術が多く開発されている。例えば、特許文献１には、操作体の押圧に応じてソフトウェアキーボードにおける入力文字を制御する入力装置が開示されている。
特開２０１１−５９８２１号公報
しかし、特許文献１に記載の入力装置は、操作体の押圧が検出されなくなったタイミングで入力を確定することを特徴とする。このため、特許文献１に記載の入力装置では、ユーザが誤って画面に触れてしまった場合でも入力処理が行われてしまい、誤操作を防止することが困難である。
また、上記のような表示オブジェクトは、ハードウェアとして具備されるボタンやダイヤルなどとは異なり、操作する際の物理的な感覚が欠落している。このため、ユーザは、表示オブジェクトを操作している実感を得ることが困難である。
そこで、本開示では、誤操作を防止しながら、表示オブジェクトに対するより直観的な操作を行うことが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提案する。
本開示によれば、検出された入力操作に基づいて入力処理を行う入力処理部と、前記入力操作に基づいて、触覚フィードバックを制御する制御信号を生成する触覚信号処理部と、前記入力操作に係る入力強度に基づいて、ユーザインタフェースに配置される表示オブジェクトを制御する表示制御部と、を備える、情報処理装置が提供される。
また、本開示によれば、プロセッサが、検出された入力操作に基づいて入力処理を行うことと、前記入力操作に基づいて、触覚フィードバックを制御する制御信号を生成することと、前記入力操作に係る入力強度に基づいて、ユーザインタフェースに配置される表示オブジェクトを制御することと、を含む、情報処理方法が提供される。
また、本開示によれば、コンピュータを、検出された入力操作に基づいて入力処理を行う入力処理部と、前記入力操作に基づいて、触覚フィードバックを制御する制御信号を生成する触覚信号処理部と、前記入力操作に係る入力強度に基づいて、ユーザインタフェースに配置される表示オブジェクトを制御する表示制御部と、を備える、情報処理装置、として機能させるためのプログラムが提供される。
以上説明したように本開示によれば、誤操作を防止しながら、表示オブジェクトに対するより直観的な操作を行うことが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の第１の実施形態に係る情報処理装置１０の機能ブロック図である。 同実施形態に係るソフトウェアキーボートにおけるフリック操作について説明するための図である。 同実施形態に係るフリック操作に基づく触覚フィードバックについて説明するための図である。 同実施形態に係る判定値と閾値との差に応じた触覚フィードバックについて説明するための図である。 同実施形態に係る力操作の終了予測について説明するための図である。 同実施形態に係る入力強度に基づく文字入力モードの変更について説明するための図である。 同実施形態に係る入力強度に基づく入力文字の変更について説明するための図である。 同実施形態に係る入力強度に基づく入力文字の変更について説明するための図である。 同実施形態に係る入力強度に基づく入力処理速度の変更について説明するための図である。 同実施形態に係るキー配列の境界における触覚フィードバックについて説明するための図である。 同実施形態に係るキー配列形状に応じた触覚フィードバックの別の例を示す図である。 同実施形態に係るソフトウェアキーボード上の基本位置に応じた触覚フィードバックについて説明するための図である。 同実施形態に係るキー配列上の位置に応じた触覚フィードバックについて説明するための図である。 同実施形態に係る本実施形態に係る情報処理装置１０による処理の流れを示すフローチャートである。 本開示の第２の実施形態に係る弱い入力強度に基づく表示オブジェクトの制御および触覚フィードバックの例を示す図である。 同実施形態に係る強い入力強度に基づく表示オブジェクトの制御および触覚フィードバックの例を示す図である。 同実施形態に係る弱い入力強度に基づく表示オブジェクトの非アクティブ化について説明するための図である。 同実施形態に係る表示部に表示されるユーザインタフェースの一例である。 同実施形態に係る同実施形態に係る表示部に表示されるユーザインタフェースの一例である。 同実施形態に係る同実施形態に係る表示部に表示されるユーザインタフェースの一例である。 同実施形態に係る入力強度が閾値を超えるまでの変化時間に基づく触覚フィードバックについて説明するための図である。 同実施形態に係る入力強度が閾値を超えるまでの変化時間に基づく触覚フィードバックについて説明するための図である。 同実施形態に係る入力強度と閾値との差に応じた触覚フィードバックについて説明するための図である。 同実施形態に係る入力強度に基づく選択範囲の制御について説明するための図である。 同実施形態に係る入力強度に基づく選択範囲の制御について説明するための図である。 同実施形態に係る入力強度に基づく選択範囲の制御について説明するための図である。 同実施形態に係る入力強度に基づく選択範囲の制御について説明するための図である。 同実施形態に係る情報処理装置１０による処理の流れを示すフローチャートである。 本開示に係る情報処理装置のハードウェア構成例である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
１．第１の実施形態
１．１．情報処理装置１０の機能構成例
１．２．入力操作に基づく触覚フィードバックの例
１．３．情報処理装置１０による処理の流れ
２．第２の実施形態
２．１．第２の実施形態の概要
２．２．入力強度に応じた表示オブジェクトの制御と触覚フィードバック
２．３．情報処理装置１０による処理の流れ
３．ハードウェア構成例
４．まとめ
＜１．第１の実施形態＞
［１．１．情報処理装置１０の機能構成例］
まず、本開示の第１の実施形態に係る情報処理装置１０の機能構成例について説明する。本実施形態に係る情報処理装置１０は、ソフトウェアキーボードにおいて検出された入力操作に基づく触覚フィードバックを提示すること、を特徴の一つとする。本実施形態に係る情報処理装置１０は、例えば、スマートフォン、タブレット、ＰＣ、カーナビゲーションシステムなどであり得る。
図１は、本実施形態に係る情報処理装置１０の機能ブロック図である。図１を参照すると、本実施形態に係る情報処理装置１０は、表示部１１０、入力部１２０、触覚提示部１３０、表示制御部１４０、入力処理部１５０、および触覚信号処理部１６０を備える。以下、上記に示す各構成について、当該構成が有する特徴を中心に詳細に説明する。
（表示部１１０）
表示部１１０は、情報処理装置１０が提供する各種のユーザインタフェースを表示する機能を有する。上記のユーザインタフェースには、例えば、ソフトウェアキーボードを含む種々の表示オブジェクトが配置されてよい。上記の表示オブジェクトには、ソフトウェアキーボードの他、例えば、仮想ボタンや仮想ダイヤルなどの被操作グラフィックが含まれる。上記の機能は、例えば、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置により実現されてもよい。
（入力部１２０）
入力部１２０は、ユーザによる入力操作を検出する機能を有する。ここで、上記の入力操作には、入力主体（例えば、ユーザの指、など）によるタッチ操作、フリック操作、ドラッグ操作、スワイプ操作、タップ動作などが含まれてよい。また、入力部１２０は、上記の入力操作に係る入力強度や入力主体の位置などを検出する機能を有する。ここで、上記の入力強度には、例えば、入力操作に係る押圧や、入力部１２０と入力主体との接触面積などが含まれてよい。入力部１２０が有する上記の機能は、例えば、タッチパネルやタッチパッドにより実現され得る。なお、入力部１２０は、表示部１１０と一体に形成されてもよい。
（触覚提示部１３０）
触覚提示部１３０は、後述する触覚信号処理部１６０が生成する制御信号に基づいて、ユーザによる入力操作に基づく触覚フィードバックを提示する機能を有する。上記の触覚フィードバックには、例えば、偏心モーター、リニア・バイブレータ、ピエゾ（圧電）素子などにより生成される振動が含まれる。また、上記の触覚フィードバックには、電気刺激や熱刺激などが含まれてもよい。
（表示制御部１４０）
表示制御部１４０は、表示部１１０による表示を制御する機能を有する。本実施形態に係る表示制御部１４０は、ソフトウェアキーボードを含む各種の表示オブジェクトの制御を行う。この際、本実施形態に係る表示制御部１４０は、入力操作や入力操作に係る入力強度に基づいて、表示オブジェクトの表示を制御することができる。また、本実施形態に係る表示制御部１４０は、検出された入力操作の移動量や入力強度に基づいて、ユーザインタフェースに配置される表示オブジェクトの色や大きさなどを制御してもよい。
（入力処理部１５０）
入力処理部１５０は、入力部１２０により検出された各種の入力操作に基づいて入力処理を行う機能を有する。本実施形態に係る入力処理部１５０は、特に、ソフトウェアキーボードにおいて検出された文字指定に伴う入力操作に基づく処理を行ってよい。本実施形態に係る入力処理部１５０の有する機能の詳細については後述する。
（触覚信号処理部１６０）
触覚信号処理部１６０は、入力操作に基づく触覚フィードバックを制御する制御信号を生成する機能を有する。この際、触覚信号処理部１６０は、入力操作に係る入力強度に基づいて、上記の制御信号を生成してもよい。本実施形態に係る触覚信号処理部１６０が有する機能の詳細については後述する。
以上、本実施形態に係る情報処理装置１０の機能構成例について説明した。なお、上記の説明では、情報処理装置１０が表示部１１０、入力部１２０、触覚提示部１３０、表示制御部１４０、入力処理部１５０、および触覚信号処理部１６０をすべて備える場合を例に説明した。
一方、本実施形態に係る情報処理装置１０の構成は、係る例に限定されない。上記の各構成は、複数の装置より分散して実現されてもよい。例えば、表示部１１０の有する機能は、情報処理装置１０とは異なる別の表示装置により実現されてもよい。この場合、上記の表示装置は、例えば、各種のディスプレイ、スマートフォン、タブレット、ＰＣ、カーナビゲーションシステムなどであり得る。
また、例えば、入力部１２０の有する機能は、情報処理装置１０とは異なる別の入力装置により実現されてもよい。この場合、上記の入力装置は、例えば、タッチパネルやタッチパッドを備える各種の装置であり得る。
また、例えば、触覚提示部１３０の有する機能は、情報処理装置１０とは異なる別の触覚提示装置により実現されてもよい。この場合、上記の触覚提示装置は、例えば、スマートフォン、タブレット、ＰＣ、カーナビゲーションシステムの他、各種のゲームコントローラ、グローブ型などの触覚提示デバイスであり得る。
本実施形態に係る情報処理装置１０は、上記のような各装置とネットワークを介して通信することで、本開示に示す種々の作用効果を奏することが可能である。また、本実施形態に係る情報処理装置１０は、図１に示す以外の構成をさらに含んでもよい。本実施形態に係る情報処理装置１０は、例えば、各種のアプリケーションを制御する制御部や外部装置との通信を行う通信部を備えてよい。本実施形態に係る情報処理装置１０の機能構成は、仕様や運用に応じて柔軟に変形され得る。
［１．２．入力操作に基づく触覚フィードバックの例］
次に、本実施形態に係る入力操作に基づく触覚フィードバックの例について説明する。上述した通り、本実施形態に係る情報処理装置１０は、種々の入力操作に基づく触覚フィードバックを提示する機能を有する。本実施形態に係る情報処理装置１０が有する上記の機能によれば、ユーザが表示部１１０を注視していない場合でも、入力操作の正当性を直観的に知覚することが可能となる。以下、本実施形態に係る触覚フィードバックの例について具体例を挙げながら詳細に説明する。
（フリック操作に基づく触覚フィードバック）
本実施形態に係る情報処理装置１０は、フリック操作に基づく触覚フィードバックを提示する機能を有する。すなわち、本実施形態に係る触覚信号処理部１６０は、入力部１２０により検出されたフリック操作に基づいて、触覚フィードバックを制御する制御信号を生成してよい。
図２は、ソフトウェアキーボートにおけるフリック操作について説明するための図である。図２は、フリック操作により変更されるキーの状態遷移を示している。図２に示す一例では、基本状態であるキーＫ１０と、キーＫ１０に対するフリック操作により変更されるキーＫ１１〜Ｋ１４が示されている。また、図２における矢印は、入力主体Ｆ１によるフリック操作の方向を示している。
図２を参照すると、基本状態であるキーＫ１０は、文字「あ」を入力するためのキーであるが、入力主体Ｆ１が左方向にフリック操作を行うことで、文字「い」を入力するためのキーＫ１１に遷移する。また、同様に、キーＫ１０は、上方向にフリックされることでキーＫ１２に、右方向にフリックされることでキーＫ１３に、下方向にフリックされることでキーＫ１４にそれぞれ遷移する。
このように、ソフトウェアキーボードでは、フリック操作に基づく入力文字の切り替えを行うことで、より少ないキー構成で文字入力を可能とするものがある。しかし、ソフトウェアキーボードは、キーを押下した際やフリックした際の物理的な感覚が欠落しているため操作性に乏しく、ユーザは、キー位置や必要なフリック量を確認しながら入力操作を行うことが求められる。また、ソフトウェアキーボードは、上記の物理的な感覚が欠落しているため、表示された入力結果を確認する前に、ユーザが誤入力に気付くことが困難である。
上記の点に対応するため、本実施形態に係る情報処理装置１０は、入力主体のフリック操作に基づく触覚フィードバックを提示することができる。本実施形態に係る情報処理装置１０が有する上記の機能によれば、フリック操作による文字指定において、ユーザが入力操作の正当性を直観的に知覚することが可能となる。
図３は、本実施形態に係るフリック操作に基づく触覚フィードバックについて説明するための図である。図３には、図２と同様に、基本状態であるキーＫ１０と、キーＫ１０に対するフリック操作により変更されるキーＫ１１〜Ｋ１４が示されている。また、図３には、フリック操作を示す矢印と当該フリック操作に基づく触覚フィードバックＦＢ１〜４が示されている。
図３に示すように、本実施形態に係る触覚提示部１３０は、検出されたフリック操作に基づいて、対応する触覚フィードバックを提示することができる。この際、触覚信号処理部１６０は、入力部１２０により検出されたフリック操作に基づく触覚フィードバックを制御するための制御信号を生成する。
例えば、本実施形態に係る触覚信号処理部１６０は、キーＫ１０が左方向にフリックされたことに基づいて、対応する触覚フィードバックＦＢ１を制御する制御信号を生成してよい。同様に、触覚信号処理部１６０は、キーＫ１０が上方向にフリックされたことに基づいて対応する触覚フィードバックＦＢ２を制御する制御信号を、右方向にフリックされたことに基づいて対応する触覚フィードバックＦＢ３を制御する制御信号を生成してよい。また、触覚信号処理部１６０は、キーＫ１０が下方向にフリックされたことに基づいて対応する触覚フィードバックＦＢ４を制御する制御信号を生成してよい。
また、この際、本実施形態に係る触覚信号処理部１６０は、フリック操作により指定文字が変更されたことに基づいて上記の制御信号を生成してもよい。触覚信号処理部１６０が上記のタイミングで制御信号を生成することで、ユーザはフリック操作により入力される指定文字が切り替わったことを知覚することが可能となる。
また、本実施形態に係る触覚信号処理部１６０は、前記フリック操作から検出される判定値が閾値を超えたことに基づいて上記の制御信号を生成することもできる。ここで、上記の判定値には、フリック操作の移動量やフリック操作の速度などが含まれてよい。すなわち、本実施形態に係る触覚信号処理部１６０は、フリック操作の移動量が閾値を超えたことに基づいて制御信号を生成してもよいし、フリック操作の速度が閾値を超えたことに基づいて制御信号を生成してもよい。触覚信号処理部１６０が上記の判定値に基づく制御信号の生成を行うことで、ユーザは文字指定のために必要な操作量が満たされたことを直観的に知覚することができる。
また、本実施形態に係る触覚信号処理部１６０は、上記の判定値の大きさに応じた制御信号を生成してよい。触覚信号処理部１６０は、例えば、上記の判定値の大きさに応じて触覚フィードバックの大きさや周波数を制御することができる。触覚信号処理部１６０は、判定値が小さい場合、振動の弱い触覚フィードバックや周波数の低い触覚フィードバックを制御する制御信号を生成してもよいし、判定値が大きい場合には、振動の強い触覚フィードバックや周波数の高い触覚フィードバックを制御する制御信号を生成してもよい。
本実施形態に係る触覚信号処理部１６０が有する上記の機能によれば、ユーザのフリック操作に応じた柔軟な触覚フィードバックを提示することが可能となり、ユーザがより感覚的な入力操作を行うことが可能となる。
また、本実施形態に係る触覚信号処理部１６０は、図３に示すように、フリック操作の方向に応じた触覚フィードバックを制御する制御信号を生成してもよい。図３を参照すると、矢印で示されるフリック操作の方向に応じて、異なる触覚フィードバックＦＢ１〜４が提示されていることがわかる。ここで、触覚フィードバックＦＢ１〜４は、互いに大きさや周波数の異なる触覚フィードバックとして実現されてもよい。本実施形態に係る触覚信号処理部１６０がフリック操作の方向に応じた制御信号を生成することにより、ユーザが、フリック操作が所望の方向に行われたか否かを直観的に知覚することが可能となる。
また、本実施形態に係る触覚信号処理部１６０は、上記の判定値と閾値との差に応じた制御信号を生成してもよい。図４は、本実施形態に係る判定値と閾値との差に応じた触覚フィードバックについて説明するための図である。図４には、キーＫ１０を右方向にフリックし、キーＫ１３に遷移させる場合に提示される触覚フィードバックＦＢ５が示されている。図４を参照すると、触覚フィードバックＦＢ５は、フリック量に応じて変動し、キーＫ１０がキーＫ１３に遷移する際に最大になることがわかる。
このように、本実施形態に係る触覚信号処理部１６０は、上記の閾値またはキーの境界に近づくほど大きくなるように制御信号を生成してもよい。なお、触覚フィードバックＦＢ５の大きさは、上述したとおり、振動の強弱や周波数の高低により制御され得る。本実施形態に係る触覚信号処理部１６０が有する上記の機能によれば、ユーザがキー遷移に必要なフリック量を直観的に知覚することが可能となる。
（入力強度に基づく触覚フィードバック）
次に、本実施形態に係る入力強度に基づく触覚フィードバックについて説明する。上記では、本実施形態に係るフリック操作に基づく触覚フィードバックの例について説明したが、本実施形態に係る触覚信号処理部１６０は、入力操作に係る入力強度に基づいて制御信号を生成することも可能である。ここで、本実施形態に係る入力強度は、入力操作に係る押圧、または入力部１２０と入力主体との接触面積のうち少なくともいずれかに基づく強度であってよい。
本実施形態に係る触覚信号処理部１６０は、例えば、上記の入力強度が閾値を下回ったことに基づいて、制御信号を生成してよい。具体的には、本実施形態に係る触覚信号処理部１６０は、入力強度が閾値を下回ったことに基づいて、入力主体Ｆ１が入力部１２０から離れること、すなわち、入力操作の終了を予測し、制御信号を生成することができる。
図５は、本実施形態に係る入力操作の終了予測について説明するための図である。図５には、入力強度の異なる２つの状態が示されており、左側には強い入力強度ＰｈでキーＫ１０を操作する例が、右側には弱い入力強度ＰｌでキーＫ１０を操作する例がそれぞれ示されている。
この際、本実施形態に係る触覚信号処理部１６０は、図５に示すように、上記の入力強度が強い入力強度Ｐｈから弱い入力強度Ｐｌに変化したことに基づいて、触覚フィードバックＦＢ６を制御する制御信号を生成してもよい。すなわち、本実施形態に係る触覚信号処理部１６０は、入力操作に係る入力強度が閾値を下回ったことに基づいて、入力主体Ｆ１が入力部１２０から離れること、すなわち入力操作の終了を予測することができる。
本実施形態に係る触覚信号処理部１６０が有する上記の機能によれば、入力主体Ｆ１が入力部１２０から完全に離れる前に触覚フィードバックを提示することができ、ユーザが確実に触覚フィードバックを受けることが可能となる。
また、本実施形態に係る触覚信号処理部１６０は、入力強度が閾値を超えたことに基づいて、制御信号を生成してもよい。また、同時に本実施形態に係る入力処理部１５０は、入力強度に基づいて入力操作に係る文字入力モードを変更することができる。図６は、本実施形態に係る入力強度に基づく文字入力モードの変更について説明するための図である。
図６の下部には、キーＫ１０に対する入力操作に係る入力強度の変化が時系列に示されている。また、図６の上部には、上記の入力操作に係る入力強度に基づいて変更される文字入力モードを示している。ここで、上記の文字入力モードは、例えば、図６に示すように、入力操作により入力される文字種別のセットであってもよい。すなわち、本実施形態に係る入力処理部１５０は、入力強度に基づいて、入力される文字種別のセットを変更することができる。
図６に示す一例では、まず入力主体Ｆ１が弱い入力強度Ｐｌ１でキーＫ１０を操作している。この際、入力処理部１５０は、文字種別のセットをＫＳ１として設定している。次に、入力主体Ｆ１は、強い入力強度Ｐｈ１でキーＫ１０を操作する。この際、本実施形態に係る触覚信号処理部１６０は、入力強度が閾値を超えたことに基づいて、触覚フィードバックＦＢ７を制御する制御信号を生成してよい。また、同時に、入力処理部１５０は、入力強度が閾値を超えたことに基づいて、文字種別のセットをＫＳ１からＫＳ２に変更してよい。
また、図６に示す一例では、続いて入力主体Ｆ１が弱い入力強度Ｐｌ２でキーＫ１０を操作しており、この際、設定される文字種別のセットはＫＳ２のままであってよい。一方、入力主体Ｆ１が強い入力強度Ｐｈ２でキーＫ１０を操作すると、触覚信号処理部１６０は、再び触覚フィードバックＦＢ７を制御する制御信号を生成し、入力処理部１５０は、文字種別のセットをＫＳ２からＫＳ３へと変更する。
このように、本実施形態に係る触覚信号処理部１６０は、入力強度が閾値を超えたことに基づいて、制御信号を生成することができる。また、本実施形態に係る入力処理部１５０は、入力強度が閾値を超えたことに基づいて、入力される文字種別のセットを変更することができる。触覚信号処理部１６０および入力処理部１５０が有する上記の機能によれば、簡易な操作により文字入力モードを変更することが可能となり、ソフトウェアキーボードによる文字入力の効率を大きく向上させることができる。
また、本実施形態に係る入力処理部１５０は、入力強度に基づいて、入力される入力文字を変更してもよい。図７Ａおよび図７Ｂは、本実施形態に係る入力強度に基づく入力文字の変更について説明するための図である。
図７Ａは、入力主体Ｆ１によるキーＫ４０に対するタップ操作を示す図である。図７Ａを参照すると、図７Ａの左側には、弱い入力強度Ｐｌによるタップ動作の例が示されている。この際、入力処理部１５０は、キーＫ４０に設定される基本文字「た」を出力してよい。また、触覚信号処理部１６０は、この際、弱い入力強度Ｐｌに対応する触覚フィードバックＦ８を制御する制御信号を生成する。
一方、図７Ａの右側には、強い入力強度Ｐｈによるタップ動作の例が示されている。この際、入力処理部１５０は、入力強度が閾値を超えたことに基づいて、入力文字を変更してよい。図７Ａに示す一例では、入力処理部１５０は、入力強度が閾値を超えたことに基づいて、キーＫ４０に設定される基本文字「た」から派生する入力文字「だ」を出力している。また、触覚信号処理部１６０は、この際、強い入力強度Ｐｈに対応する触覚フィードバックＦ９を制御する制御信号を生成する。
続いて、図７Ｂを参照して、入力強度に基づく入力文字の変更に係る別の例について説明する。図７Ｂは、入力主体Ｆ１によるキーＫ１０に対するタップ操作を占めす図である。図７Ｂを参照すると、図７Ｂの左側には、弱い入力強度Ｐｌによるタップ動作の例が示されている。この際、入力処理部１５０は、キーＫ１０に設定される基本文字「ａ」を出力してよい。また、触覚信号処理部１６０は、この際、弱い入力強度Ｐｌに対応する触覚フィードバックＦ８を制御する制御信号を生成する。
一方、図７Ｂの右側には、強い入力強度Ｐｈによるタップ動作の例が示されている。この際、入力処理部１５０は、入力強度が閾値を超えたことに基づいて、入力文字を変更してよい。図７Ｂに示す一例では、入力処理部１５０は、入力強度が閾値を超えたことに基づいて、キーＫ１０に設定される基本文字「ａ」から派生する入力文字「Ａ」を出力している。また、触覚信号処理部１６０は、この際、強い入力強度Ｐｈに対応する触覚フィードバックＦ９を制御する制御信号を生成する。
以上、図７Ａおよび図７Ｂを用いて説明したように、本実施形態に係る入力処理部１５０は、入力強度に基づいて、入力文字を変更することが可能である。本実施形態に係る入力処理部１５０が有する上記の機能によれば、簡易な操作により入力文字を変更することが可能となり、ソフトウェアキーボードによる文字入力の効率を一層に向上させることができる。
次に、本実施形態に係る入力強度に基づく入力処理速度の変更について説明する。本実施形態に係る入力処理部１５０は、入力強度に応じて入力操作に係る入力処理速度を変更することが可能である。また、本実施形態に係る触覚信号処理部１６０は、上記の入力処理速度に応じた制御信号を生成することができる。
図８は、本実施形態に係る入力強度に基づく入力処理速度の変更について説明するための図である。図８には、キーＫ９０に対する入力主体Ｆ１の入力操作に係る入力強度の変化が時間軸ｔに沿って示されている。ここで、キーＫ９０は、例えば、文字入力に係るカーソルを１文字分だけ前方に進めるためのキーであってよい。また、図８に示される入力主体Ｆ１の入力操作は、キーＫ９０に対する長押し操作であってよい。
図８を参照すると、時刻Ｔ１において、入力主体Ｆ１によるＫ９０に対する入力操作が開始されている。この際、時刻Ｔ１における入力主体Ｆ１の入力操作は、弱い入力強度Ｐｌにより行われている。ここで、時刻Ｔ１において、入力処理部１５０は、入力主体Ｆ１による入力操作に基づき、文字入力に係るカーソルを１文字分だけ前方に進める入力処理を行う。
続く時刻Ｔ２においては、入力主体Ｆ１の入力操作は、中間の入力強度Ｐｍにより行われており、入力主体Ｆ１による長押し操作に係る入力強度が増したことを示している。この際、入力処理部１５０は、入力主体Ｆ１による入力操作に基づき、文字入力に係るカーソルを１文字分だけ前方に進める入力処理を行う。
続く時刻Ｔ３を参照すると、入力主体Ｆ１の入力操作は、強い入力強度Ｐｈにより行われており、入力主体Ｆ１による長押し操作に係る入力強度が時刻Ｔ２からさらに増加したことを示している。この際、入力処理部１５０は、入力主体Ｆ１による入力操作に基づき、文字入力に係るカーソルを１文字分だけ前方に進める入力処理を行う。
また、続く時刻Ｔ４では、入力主体Ｆ１の入力操作は、引き続き強い入力強度Ｐｈにより行われており、入力主体Ｆ１による長押し操作に係る入力強度が時刻Ｔ３から継続していることを示している。この際、入力処理部１５０は、入力主体Ｆ１による入力操作に基づき、文字入力に係るカーソルを１文字分だけ前方に進める入力処理を行う。
ここで、時刻Ｔ１〜Ｔ４における各時刻の間隔について着目すると、当該間隔は、時刻が進むにつれて短くなっていることがわかる。すなわち、図８に示す一例では、間隔Ｔ１〜Ｔ２＞間隔Ｔ２〜Ｔ３＞間隔Ｔ３〜Ｔ４が成り立つことがわかる。このように、本実施形態に係る入力処理部１５０は、入力強度が強いほど入力操作に係る入力処理速度を速めることができる。また、この際、次の入力処理までの間隔Ｔｎ−Ｔｎ−１は、Ｔｎ−Ｔｎ −１＝ａ／（ｂ＊Ｐ＋１）＋ｃ、により決定されてもよい。ここで、上記の数式中におけるＰは、入力強度を示す値であってよい。また、上記の数式中におけるａ、ｂ、およびｃは、任意の定数であってよい。
また、図８を参照すると、本実施形態に係る触覚信号処理部１６０は、入力処理が行われる各時刻において、触覚フィードバックＦＢ１０を制御する制御信号を生成している。このように、本実施形態に係る触覚信号処理部１６０は、入力強度に基づく入力処理にあわせて、制御信号を生成することができる。また、この際、触覚信号処理部１６０は、入力強度や入力処理速度に応じた触覚フィードバックＦＢ１０を制御する制御信号を生成してもよい。
以上、本実施形態に係る入力強度に基づく入力処理速度の変更について説明した。本実施形態に係る入力処理部１５０が有する上記の機能によれば、ユーザが直観的な操作で連続入力の速度調整を行うことができ、ソフトウェアキーボードにおける文字入力の効率を大きく向上させることが可能となる。
また、本実施形態に係る触覚提示部１３０が偏心モーターを備える場合、入力処理が速い速度で連続して行われる場合おいても、入力処理の際の触覚フィードバックを互いに独立して提示することが可能となる。このため、ユーザは連続入力に伴う入力処理のタイミングを正確に把握することができ、文字入力の効率を一層に高めることが可能となる。
なお、図８を用いた上記の説明では、カーソル位置を変更するための入力処理が行われる場合を例に述べたが、本実施形態に係る連続入力の処理は、係る例に限定されない。本実施形態に係る連続入力の処理は、例えば、文字の連続入力や削除の連続処理にも同様に適用され得る。
また、上記の説明では、次の入力処理までの間隔Ｔｎ−Ｔｎ−１が、入力強度に応じて連続的に変化される場合を例に述べたが、間隔Ｔｎ−Ｔｎ−１は、入力強度の閾値に基づいて、段階的に変化してもよい。
（ソフトウェアキーボードの表示形状に応じた触覚フィードバック）
次に、本実施形態に係るソフトウェアキーボードの表示形状に応じた触覚フィードバックについて説明する。本実施形態に係る触覚信号処理部１６０は、ソフトウェアキーボードの表示形状に応じた触覚フィードバックを制御する制御信号を生成することができる。
本実施形態に係る触覚信号処理部１６０は、例えば、ソフトウェアキーボードのキー配列形状に応じた触覚フィードバックを制御する制御信号を生成してもよい。この際、触覚信号処理部１６０は、上記のキー配列の境界において触覚フィードバックを制御する制御信号を生成してもよい。
図９は、キー配列の境界における触覚フィードバックについて説明するための図である。図９には、ソフトウェアキーボードＳＫと、ソフトウェアキーボードＳＫに対する入力主体Ｆ１の入力操作が示されている。図９を参照すると、入力主体Ｆ１は、ソフトウェアキーボードＳＫの左側から右側に向かってスワイプ操作を行っていることがわかる。
この際、本実施形態に係る触覚信号処理部１６０は、ソフトウェアキーボードＳＫのキー配列の境界に入力主体Ｆ１が差し掛かった際、触覚フィードバックＦＢ１１を制御する制御信号を生成してよい。より具体的には、本実施形態に係る触覚信号処理部１６０は、入力主体Ｆ１の検出位置とキー配列の境界位置との差が閾値を下回ることに基づいて、当該境界位置に応じた触覚フィードバックを制御する制御信号を生成することができる。
本実施形態に係る触覚信号処理部１６０が有する上記の機能によれば、表示部１１０を注視しなくても、ユーザがソフトウェアキーボードのキー配列形状を直観的に知覚することができ、文字入力に係る操作性を大きく向上させることが可能となる。
また、図１０は、本実施形態に係るキー配列形状に応じた触覚フィードバックの別の例を示す図である。図９を用いた説明では、入力主体Ｆ１がスワイプ操作を行う際の触覚フィードバックについて述べた。一方、本実施形態に係るキー配列の境界における触覚フィードバックは、入力主体の位置変化を伴わない操作の場合にも提示可能である
図１０には、ソフトウェアキーボードＳＫと、ソフトウェアキーボードＳＫに対する入力主体Ｆ１の入力操作が示されている。ここで、図１０における入力操作は、図９の一例とは異なり、位置変化を伴わないタッチ操作などであってよい。
この際、本実施形態に係る触覚信号処理部１６０は、図９の一例とは異なり、入力主体Ｆ１がキー配列に接触している位置において触覚フィードバックＦ１２を制御する制御信号を生成してよい。図１０を参照すると、触覚フィードバックＦ１２は、キー配列の境界を除く位置、かつ入力主体Ｆ１がキー配列に接触している位置においてのみ提示されていることがわかる。
本実施形態に係る触覚信号処理部１６０が有する上記の機能によれば、位置変化を伴わない入力操作が行われる場合においても、ユーザがソフトウェアキーボードのキー配列形状を直観的に知覚することができ、文字入力に係る操作性を一層に向上させることが可能となる。
また、本実施形態に係る触覚信号処理部１６０は、ソフトウェアキーボード上の基本位置に応じた触覚フィードバックを制御する制御信号を生成することも可能である。より具体的には、本実施形態に係る触覚信号処理部１６０は、入力操作の検出位置とソフトウェアキーボードにおける基本位置との差が閾値を下回ることに基づいて、上記の基本位置に応じた触覚フィードバックを制御する制御信号を生成してよい。なお、上記の基本位置は、例えば、ソフトウェアキーボードにおけるホームキーに該当する位置や、ソフトウェアキーボードにおける中心位置などであってよい。
図１１は、本実施系形態に係るソフトウェアキーボード上の基本位置に応じた触覚フィードバックについて説明するための図である。図１１には、ソフトウェアキーボードＳＫと、ソフトウェアキーボードＳＫに対する入力主体Ｆ１の入力操作が示されている。ここで、図１１における入力操作は、スワイプ操作であってもよいし、位置変化を伴わないタッチ操作などであってもよい。
図１１を参照すると、触覚フィードバックＦ１３は、ソフトウェアキーボードＳＫにおけるホームキー上で提示されていることがわかる。このように、本実施形態に係る触覚信号処理部１６０は、入力主体Ｆ１がソフトウェアキーボードＳＫにおける基本位置に差し掛かった際に、触覚フィードバックＦ１３を制御する制御信号を生成することができる。
本実施形態に係る触覚信号処理部１６０が有する上記の機能によれば、ユーザが表示部１１０を注視していなくても、ソフトウェアキーボードにおける入力主体Ｆ１の位置を直観的に把握することができ、文字入力の効率をより高めることが可能となる。
また、本実施形態に係る触覚信号処理部１６０は、キー配列上の位置に応じた触覚フィードバックを制御する制御信号を生成してもよい。より具体的には、本実施形態に係る触覚信号処理部１６０は、キー配列上における入力操作の位置に応じた触覚フィードバックを制御する制御信号を生成してよい。
図１２は、本実施系形態に係るキー配列上の位置に応じた触覚フィードバックについて説明するための図である。図１２には、ソフトウェアキーボードにおけるキーＫ８０が示されている。ここで、本実施形態に係る触覚信号処理部１６０は、キーＫ８０の入力主体（図示しない）の位置に応じて異なる触覚フィードバックを制御する制御信号を生成することができる。
図１２を参照すると、触覚フィードバックＦＢ１４は、キーＫ８０の中心位置（あるいは、キー種別を示す表示に係る位置）において提示されており、触覚フィードバックＦＢ１４は、キーＫ８０における辺縁部において提示されていることがわかる。このように、本実施形態に係る触覚信号処理部１６０は、キー配列上における入力主体の位置に応じた触覚フィードバックを制御する制御信号を生成することができる。
さらに、本実施形態に係る触覚信号処理部１６０は、キー配列に応じて触覚フィードバックＦＢ１４やＦ１５の強さや周波数が異なるように制御することもできる。本実施形態に係る触覚信号処理部１６０が有する上記の機能によれば、ユーザが表示部１１０を注視していなくても、入力主体が接触しているキー配列の種別や当該キー配列における入力主体の位置を直観的に知覚することができ、文字入力の効率を一層に高めることが可能となる。
［１．３．情報処理装置１０による処理の流れ］
次に本実施形態に係る情報処理装置１０による処理の流れについて説明する。図１３は、本実施形態に係る情報処理装置１０による処理の流れを示すフローチャートである。
図１３を参照すると、まず、本実施形態に係る情報処理装置１０の入力部１２０は、入力主体のタッチ操作を検出する（Ｓ１１０１）。
次に、本実施形態に係る入力処理部１５０は、ステップＳ１１０１において検出されたタッチ操作が解除されたか否かを判定する（Ｓ１１０２）。すなわち、入力処理部１５０は、入力主体による入力操作が終了したか否かを判定してよい。
ここで、入力処理部１５０が、入力操作が終了したと判定した場合（Ｓ１１０２：ＹＥＳ）、本実施形態に係る触覚信号処理部１６０は、タッチ解除に係る触覚フィードバック、すなわち入力操作の終了に係る触覚フィードバックを制御する制御信号を生成する。また、本実施形態に係る触覚提示部１３０は、上記で生成された制御信号に基づいて触覚フィードバックの提示を行う（Ｓ１１０３）。
ステップＳ１１０３の処理が完了した後、情報処理装置１０は、触覚フィードバックの提示に係る一連の処理を終了する。
一方、入力処理部１５０が、入力操作が終了していないと判定した場合（Ｓ１１０２：ＮＯ）、続いて、入力処理部１５０は、入力主体によるフリック操作が検出されたか否かを判定する（Ｓ１１０４）。
ここで、入力処理部１５０が、フリック操作が検出されたと判定した場合（Ｓ１１０４：ＹＥＳ）、続いて入力処理部１５０は、検出されたフリック操作のフリック量が閾値以上であるか否かを判定する（Ｓ１１０５）。
ここで、入力処理部１５０が、検出されたフリック操作のフリック量が閾値以上であると判定した場合（Ｓ１１０５：ＹＥＳ）、本実実施形態に係る触覚信号処理部１６０は、検出されたフリック操作に応じた触覚フィードバックを制御する制御信号を生成する。また、この際、触覚信号処理部１６０は、フリック操作の移動量、速度、方向などに応じた制御信号を生成することができる。また、本実施形態に係る触覚提示部１３０は、上記で生成された制御信号に基づいて触覚フィードバックの提示を行う（Ｓ１１０６）。
一方、入力処理部１５０が、検出されたフリック操作のフリック量が閾値未満であると判定した場合（Ｓ１１０５：ＮＯ）、本実実施形態に係る触覚信号処理部１６０は、上記の閾値までの距離に応じた触覚フィードバックを制御する制御信号を生成する。また、本実施形態に係る触覚提示部１３０は、上記で生成された制御信号に基づいて触覚フィードバックの提示を行う（Ｓ１１０７）。
なお、ステップＳ１１０６またはＳ１１０７の処理が終了した後、本実施形態に係る情報処理装置１０は、ステップＳ１１０２に復帰し、以降の処理を繰り返し実行してよい。
一方、入力処理部１５０が入力主体によるフリック操作が検出されていないと判定した場合（Ｓ１１０４：ＮＯ）、続いて入力処理部１５０は、ステップＳ１１０１で検出されたタッチ操作に係る入力強度が変化したか否かを判定する（Ｓ１１０８）。
ここで、入力処理部１５０が、ステップＳ１１０１で検出されたタッチ操作に係る入力強度が変化していないと判定した場合（Ｓ１１０８：ＮＯ）、情報処理装置１０は、触覚フィードバックの提示に係る一連の処理を終了する。
一方、入力処理部１５０が、ステップＳ１１０１で検出されたタッチ操作に係る入力強度が変化したと判定した場合（Ｓ１１０８：ＹＥＳ）、続いて入力処理部１５０は、検出された入力強度が閾値を超えているか否かを判定する（Ｓ１１０９）。
ここで、入力処理部１５０が、検出された入力強度が閾値未満であると判定した場合（Ｓ１１０９：ＮＯ）、情報処理装置１０は、触覚フィードバックの提示に係る一連の処理を終了する。
一方、入力処理部１５０が、検出された入力強度が閾値以上であると判定した場合（Ｓ１１０９：ＹＥＳ）、本実施形態に係る触覚信号処理部１６０は、検出された入力強度に応じた触覚フィードバックを制御する制御信号を生成する。この際、触覚信号処理部１６０は、検出された入力強度の強さや変化速度などに応じた制御信号を生成することができる。また、本実施形態に係る触覚提示部１３０は、上記で生成された制御信号に基づいて触覚フィードバックの提示を行う（Ｓ１１１０）。
なお、ステップＳ１１１０の処理が終了した後、本実施形態に係る情報処理装置１０は、ステップＳ１１０２に復帰し、以降の処理を繰り返し実行してよい。
＜２．第２の実施形態＞
［２．１．第２の実施形態の概要］
次に、本開示に係る第２の実施形態の概要について説明する。上記における第１の実施形態の説明では、ソフトウェアキーボードにおける入力操作を効率化する情報処理装置１０の特徴について主に説明した。一方、本開示の第２の実施形態に係る情報処理装置１０は、ソフトウェアキーボード以外の種々の表示オブジェクトに対する入力操作を効率化することが可能である。
近年、インターフェースに配置される表示オブジェクトに対する入力操作を検出し、種々の処理を実行する装置が多く開発されている。しかし、上記のような装置では、表示オブジェクトに対する単純なタッチ操作に基づいて、入力処理を実行する場合が多い。このため、ユーザが意図せずにタッチパネル等の入力部に触れてしまった場合でも、入力処理が実行されてしまい、誤操作の要因となっている。
また、上記のような装置では、他領域（例えば、他の表示オブジェクトや表示オブジェクトが配置されない領域）からのフリック、スワイプ、ドラッグ操作などにより、入力主体が表示オブジェクトに接触した際、当該表示オブジェクトに対する入力操作とは判定しない場合が多い。このため、ユーザは、目的の表示オブジェクトを操作するために、入力主体を入力部から一旦離す必要がある。また、手探りで目的の表示オブジェクトの位置を把握することが困難であり、操作性に欠けている。
さらには、上記のような装置における表示オブジェクトは、ハードウェアとして具備されるボタンやダイヤルなどとは異なり、操作する際の物理的な感覚が欠落している。このため、ユーザは、表示オブジェクトを操作している実感を得ることが困難である。
本開示の第２の実施形態に係る情報処理装置１０は、上記のような点に着目して発想されたものであり、表示オブジェクトに対するより直観的な入力操作を実現する。また、本実施形態に係る情報処理装置１０は、入力操作に係る入力強度に基づいて表示オブジェクトを制御することで、ユーザの意図と外れた誤操作を防止することが可能である。ここで、上記の入力強度は、上述したとおり、入力操作に係る押圧、または入力部１２０と入力主体との接触面積のうち少なくともいずれかに基づく強度であってよい。
以下、本実施形態に係る情報処理装置１０の有する機能、および当該機能が奏する効果について詳細に説明する。なお、以下における本開示に係る第２の実施形態の説明では、第１の実施形態との差異について中心に述べ、第１の実施形態と共通する構成、機能、効果については、省略を説明する。
［２．２．入力強度に応じた表示オブジェクトの制御と触覚フィードバック］
まず、本実施形態に係る入力強度に応じた表示オブジェクトの制御と触覚フィードバックについて説明する。本実施形態に係る表示制御部１４０は、入力操作に係る入力強度に基づいて、ユーザインタフェースに配置される表示オブジェクトを制御する機能を有する。特に、本実施形態に係る表示制御部１４０は、入力強度に基づいて表示オブジェクトの有効性を制御してよい。
より具体的には、本実施形態に係る表示制御部１４０は、入力強度が閾値を超えたことに基づいて、表示オブジェクトをアクティブ化する機能を有する。また、本実施形態に係る表示制御部１４０は、入力強度が閾値を下回ることに基づいて、表示オブジェクトを非アクティブ化する機能を有する。なお、上述したとおり、上記の表示オブジェクトには、仮想ボタン、仮想ダイヤル、ソフトウェアキーボードなどの被操作グラフィックが含まれてよい。
図１４は、本実施形態に係る弱い入力強度に基づく表示オブジェクトの制御および触覚フィードバックの例を示す図である。図１４には、２つの表示オブジェクトＯ１およびＯ２と、入力主体Ｆ１が示されている。また、図１４を参照すると、入力主体Ｆ１は、弱い入力強度Ｐｌで、入力部１２０を右方向にスワイプ操作していることがわかる。この際、入力主体Ｆ１は、表示オブジェクトＯ１およびＯ２を通過している。なお、ここで、表示オブジェクトは、カメラアプリケーションの撮影モードを指定するための仮想ダイヤルであり、表示オブジェクトＯ２は、写真を撮像するための仮想シャッターボタンであってよい。
図１４に示すように、本実施形態に係る表示制御部１４０は、入力主体Ｆの入力強度が閾値を下回ることに基づいて、表示オブジェクトＯ１およびＯ２を非アクティブ化してよい。図１４に示す一例では、表示制御部１４０により非アクティブ化された表示オブジェクトＯ１およびＯ２が点線により示されている。このように、本実施形態に係る表示制御部１４０が入力強度に基づいて表示オブジェクトを非アクティブ化することで、ユーザの意図から外れた誤操作を防止することが可能となる。
また、図１４に示す一例では、非アクティブ化された表示オブジェクトＯ１およびＯ２が点線で示されているが、本実施形態に係る表示制御部１４０は、入力強度が閾値を下回ることに基づいて、表示オブジェクトを半透明化または透明化してよい。本実施形態に係る表示制御部１４０が上記の処理を行うことで、表示オブジェクトの有効性を直観的に知覚することが可能となる。また、後述するように、アプリケーション上の表示要素を最小化し、ユーザの入力操作を効率化することが可能となる。
また、本実施形態に係る触覚信号処理部１６０は、入力主体の検出位置と表示オブジェクトの境界位置との差が下回ることに基づいて、上記境界位置に応じた触覚フィードバックを制御する制御信号を生成する機能を有する。
図１４を参照すると、本実施形態に係る触覚信号処理部１６０は、入力主体Ｆ１が表示オブジェクトＯ１およびＯ２の境界に差し掛かった際に、触覚フィードバックＦＢ１６を制御する制御信号を生成していることがわかる。本実施形態に係る触覚信号処理部１６０が有する上記の機能によれば、ユーザが表示部１１０を注視していなくても、表示オブジェクトの位置を直観的に知覚することでき、表示オブジェクトに対する操作効率を大きく向上させることが可能となる。
また、本実施形態に係る触覚信号処理部１６０は、入力強度が閾値を下回る場合に、上記の境界位置に応じた触覚フィードバックを制御する制御信号を生成してもよい。触覚信号処理部１６０が非アクティブ化された表示オブジェクトの境界でのみ触覚フィードバックを発生させることで、アクティブ化された表示オブジェクトに対する入力操作の妨げとなる可能性を防ぐことができる。
次に、本実施形態に係る入力強度に基づく表示オブジェクトのアクティブ化について説明する。図１５Ａは、本実施形態に係る強い入力強度に基づく表示オブジェクトの制御および触覚フィードバックの例を示す図である。図１５Ａには、図１４と同様に２つの表示オブジェクトＯ１およびＯ２と、入力主体Ｆ１が示されている。
ここで、表示オブジェクトＯ１に着目すると、入力主体Ｆ１は、強い入力強度Ｐｈで表示オブジェクトＯ１に対する入力操作を行っていることがわかる。ここで、上記の入力操作は、ダイヤルを回すようなドラッグ操作であってよい。この際、本実施形態に係る表示制御部１４０は、入力強度が閾値を超えたことに基づいて、表示オブジェクトＯ１をアクティブ化してよい。本実施形態に係る表示制御部１４０が、入力強度に基づいて表示オブジェクトをアクティブ化することで、ユーザの意図から外れた誤操作を防止することが可能となる。
また、本実施形態に係る表示制御部１４０は、入力強度が閾値を超えたことに基づいて、表示オブジェクトＯ１に係る表示効果を解除してよい。すなわち、本実施形態に係る表示制御部１４０は、表示オブジェクトＯ１の半透明状態または透明状態を解除することができる。本実施形態に係る表示制御部１４０が有する上記の機能によれば、表示オブジェクトの有効性を直観的に知覚することが可能となる。
また、本実施形態に係る触覚信号処理部１６０は、表示オブジェクト上で入力操作が検出されたことに基づいて、当該入力操作に応じた触覚フィードバックを制御する制御信号を生成する機能を有する。
図１５Ａを参照すると、本実施形態に係る触覚信号処理部１６０は、入力主体Ｆ１が表示オブジェクトＯ１上における入力主体Ｆ１の入力操作が検出されたことに基づいて、当該入力操作に応じた触覚フィードバックＦＢ１７を制御する制御信号を生成していることがわかる。
ここでは、触覚信号処理部１６０は、入力主体Ｆ１のダイヤルを回る操作に応じた触覚フィードバックＦＢ１７を制御してよい。具体的には、触覚信号処理部１６０は、入力操作が閾値を超え、ダイヤルが回るタイミング（撮影モードが変更されるタイミング）で制御信号を生成することができる。本実施形態に係る触覚信号処理部１６０が有する上記の機能によれば、ユーザが表示オブジェクトを操作する現実感を高めることが可能となり、また、入力操作に応じた処理が実行されたことを直観的に知覚することができる。
また、本実施形態に係る触覚信号処理部１６０は、入力強度が閾値を超える場合に、上記の入力操作に応じた触覚フィードバックを制御する制御信号を生成してもよい。触覚信号処理部１６０がアクティブ化された表示オブジェクト上における入力操作にのみ触覚フィードバックを発生させることで、ユーザが表示部１１０を注視していなくても、表示オブジェクトの有効性を直観的に知覚することが可能となる。
以上、ダイヤル型の表示オブジェクトＯ１に対する入力操作に基づく、表示制御部１４０および触覚信号処理部１６０の制御について説明した。一方、本実施形態に係る表示制御部１４０および触覚信号処理部１６０は、表示オブジェクトのタイプに依らず、同様の処理を実行してよい。
図１５Ａにおける表示オブジェクトＯ２に着目すると、表示制御部１４０は、入力強度が閾値を超えたことに基づいて、表示オブジェクトＯ２をアクティブ化し、また、表示オブジェクトＯ２に係る表示効果を解除していることがわかる。
また、本実施形態に係る触覚信号処理部１６０は、入力強度が閾値を超えたことに基づいて、入力操作に基づく触覚フィードバックＦＢ１７を発生させている。ここで、上記の入力操作は、シャッターボタンを押下するような押し込み操作であってよい。本実施形態に係る触覚信号処理部１６０によれば、入力操作、入力強度、および表示オブジェクトの特性に応じた触覚フィードバックを制御することが可能となる。
また、図１５Ｂは、弱い入力強度に基づく表示オブジェクトの非アクティブ化について説明するための図である。図１５Ｂには、図１５Ａと同様に、表示オブジェクトＯ１およびＯ２と、入力主体Ｆ１が示されている。一方、図１５Ｂでは、図１５Ａとは異なり入力主体Ｆ１による入力操作が弱い入力強度Ｐｌで行われている。
このため、図１５Ｂに示される表示オブジェクトＯ１およびＯ２は、非アクティブ状態を維持しており、また、表示オブジェクトＯ１およびＯ２における入力操作は、有効な操作として処理されていない。このように、本実施形態に係る情報処理装置１０によれば、入力強度に応じて表示オブジェクトを制御することが可能となり、誤操作や幼児などによるいたずらを防止することができる。
以上、本実施形態に係る入力強度に応じた表示オブジェクトの制御と触覚フィードバックについて説明した。続いて、図１６Ａ〜１６Ｃを参照し、上記の制御が行われるユーザインタフェースの具体例について説明する。なお、図１６Ａ〜１６Ｃを用いた以下の説明では、表示部１１０および入力部１２０が一体に形成される場合を例に述べる。
図１６Ａは、表示部１１０に表示されるユーザインタフェースの一例である。ここで、上記のユーザインタフェースは、カメラアプリケーションのユーザインタフェースであってよい。なお、図１６Ａの状態は、入力主体Ｆ１が入力部１２０に接触していない状態を示している。このため、ユーザインタフェース上に表示される表示オブジェクトＯ１およびＯ２は非アクティブ化されており、また、半透明化されている状態である。
このように、本実施形態に係る表示制御部１４０が非アクティブ状態の表示オブジェクトの透過度を制御することで、ユーザが被写体を決定する際に、表示オブジェクトが視界を妨げることを防ぐ効果が期待できる。
また、図１６Ｂは、入力主体Ｆ１が弱い入力強度Ｐｌで入力部１２０に対する入力操作を行っている状態を示している。このため、図１６Ｂに示す表示オブジェクトＯ１およびＯ２は、図１６Ａに引き続き非アクティブの状態であってよい。この際、本実施形態に係る触覚信号処理部１６０は、図１６Ｂに示すように、入力主体Ｆ１が表示オブジェクトの境界位置に差し掛かった際に、当該境界位置に応じた触覚フィードバックＦＢ１６を発生させることができる。
このように、本実施形態に係る触覚信号処理部１６０が、表示オブジェクトの境界位置に応じた触覚フィードバックを制御することで、ユーザは手探りで表示オブジェクトの位置を知覚することができ、被写体に注視しながら、撮像を行うことが可能となる。
また、図１６Ｃは、入力主体Ｆ１が表示オブジェクトＯ１に対し、強い入力強度Ｐｈで入力操作を行っている状態を示している。このため、図１６Ｃに示す表示オブジェクトＯ１は、アクティブ化された状態となっている。また、この際、触覚信号処理部１６０は、入力主体Ｆ１による入力操作に応じた触覚フィードバックＦＢ１７を発生させている。
このように、本実施形態に係る触覚信号処理部１６０が、表示オブジェクト上の入力操作に応じた触覚フィードバックを制御することで、ユーザが表示部１１０を注視していなくても、入力操作の正当性を直観的に知覚することが可能となり、表示オブジェクトに対する操作効率を大きく向上させることができる。
なお、図１６Ｃに示す一例では、表示オブジェクトＯ２は非アクティブ状態を維持しているが、本実施形態に係る表示制御部１４０は、表示オブジェクトＯ１に対する入力強度が閾値を超えたことに基づいて、関連する表示オブジェクトＯ２を同時にアクティブ状態とさせてもよい。
（入力強度の変化に応じた触覚フィードバック）
以上、本実施形態に係る入力強度に応じた表示オブジェクトの制御と触覚フィードバックについて説明した。上記における説明では、触覚信号処理部１６０が入力強度の強弱に基づいて、制御信号を生成する場合を主に述べたが、本実施形態に係る触覚信号処理部１６０の機能は、係る例に限定されない。本実施形態に係る触覚信号処理部１６０は、入力強度の変化に応じた触覚フィードバックを制御する制御信号を生成してもよい。
本実施形態に係る触覚信号処理部１６０は、例えば、入力強度が閾値を超えるまでの変化時間に基づく触覚フィードバックを制御する制御信号を生成してもよい。図１７Ａおよび図１７Ｂは、本実施形態に係る入力強度が閾値を超えるまでの変化時間に基づく触覚フィードバックについて説明するための図である。
図１７Ａおよび図１７Ｂは、入力主体Ｆ１による入力操作に係る入力強度の変化を時系列に示した図である。また、図１７Ａおよび図１７Ｂには、入力強度に対する閾値Ｔｈが点線で示されている。
ここで、図１７Ａを参照すると、時刻Ｔ１において、入力主体Ｆ１による入力操作が開始されている。この際、時刻Ｔ１において入力主体Ｆ１は、弱い入力強度Ｐｌによる入力操作を行っている。
続く時刻Ｔ２および時刻Ｔ３に着目すると、入力主体Ｆ１は、中間の入力強度Ｐｍ１およびＰｍ２でそれぞれ入力操作を行っており、入力操作に係る入力強度が時間経過と共に強まっていることがわかる。
続いて、時刻Ｔ４に着目すると、入力主体Ｆ１は、強い入力強度Ｐｈにより入力操作を行っている。また、強い入力強度Ｐｈは、入力強度の閾値Ｔｈを超えていることがわかる。この際、本実施形態に係る触覚信号処理部１６０は、入力強度Ｐｈが閾値Ｔｈを超えたことに基づいて、触覚フィードバックＦＢ１８を制御する制御信号を生成してよい。
また、この際、本実実施形態に係る触覚信号処理部１６０は、入力強度が閾値Ｔｈを超えるまでの変化時間に基づく制御信号を生成することができる。すなわち、本実施形態に係る触覚信号処理部１６０は、時刻Ｔ１から時刻Ｔ４までの経過時間に応じた触覚フィードバックＦＢ１８を制御する制御信号を生成する。
次に、図１７Ｂを参照して説明を続ける。図１７Ｂでは、図１７Ａの場合と同様に、時刻Ｔ１において、入力主体Ｆ１による入力操作が開始されている。この際、時刻Ｔ１において入力主体Ｆ１は、図１７Ａの場合と同様に、弱い入力強度Ｐｌによる入力操作を行っている。
続く時刻Ｔ２に着目すると、入力主体Ｆ１は、中間の入力強度Ｐｍ入力操作を行っており、入力操作に係る入力強度が時刻Ｔ１よりも強まっていることがわかる。
続いて、時刻Ｔ３に着目すると、入力主体Ｆ１は、強い入力強度Ｐｈにより入力操作を行っており、また、強い入力強度Ｐｈは、入力強度の閾値Ｔｈを超えていることがわかる。この際、本実施形態に係る触覚信号処理部１６０は、入力強度Ｐｈが閾値Ｔｈを超えたことに基づいて、触覚フィードバックＦＢ１９を制御する制御信号を生成してよい。
また、この際、本実実施形態に係る触覚信号処理部１６０は、図１７Ａの場合と同様に、入力強度が閾値Ｔｈを超えるまでの変化時間に基づく制御信号を生成することができる。すなわち、本実施形態に係る触覚信号処理部１６０は、時刻Ｔ１から時刻Ｔ３までの経過時間に応じた触覚フィードバックＦＢ１９を制御する制御信号を生成する。この際、触覚フィードバックＦＢ１９は、図１７Ａに示す触覚フィードバックＦＢ１８とは強さまたは周波数が異なる触覚フィードバックであってよい。
このように、本実施形態に係る触覚信号処理部１６０は、入力強度の強弱のみではなく、入力強度の変化に基づく制御信号を生成することが可能である。本実施形態に係る触覚信号処理部１６０が有する上記の機能によれば、入力操作に対する触覚フィードバックをより多様に設定することが可能となり、アプリケーションの様態に応じた制御を実現することができる。
また、本実施形態に係る触覚信号処理部１６０は、入力強度と閾値との差に応じた触覚フィードバックを制御する制御信号を生成することも可能である。図１８は、本実施形態に係る入力強度と閾値との差に応じた触覚フィードバックについて説明するための図である。
図１８には、入力主体Ｆ１による入力操作に係る入力強度の変化が時系列に示されている。また、図１８には、入力強度に対する閾値Ｔｈが点線で示されている。図１８に示す一例では、時刻Ｔ１において、入力主体Ｆ１による入力操作が開始されており、この際、時刻Ｔ１において入力主体Ｆ１は、弱い入力強度Ｐｌによる入力操作を行っている。
次に、時刻Ｔ２に着目すると、入力主体Ｆ１は、強い入力強度Ｐｈにより入力操作を行っている。また、強い入力強度Ｐｈは、入力強度の閾値Ｔｈを超えていることがわかる。
ここで、本実施形態に係る触覚信号処理部１６０は、図１７Ａおよび図１７Ｂに示した例とは異なり、時刻Ｔ１から時刻Ｔ２にかけて継続的に触覚フィードバックＦＢ２０を発生させてよい。また、この際、本実施形態に係る触覚信号処理部１６０は、入力強度と閾値との差に応じた触覚フィードバックを制御することができる。より具体的には、本実施形態に係る触覚信号処理部１６０は、入力強度が閾値に近づくにつれ、触覚フィードバックの強度を強め（あるいは、周波数を高め）、入力強度が閾値を超えた際に、当該触覚フィードバックの強度または周波数が最大となるように、制御を行うこともできる。
本実施形態に係る触覚信号処理部１６０が有する上記の機能によれば、ユーザが、入力操作が閾値に達するまでの入力強度を直観的に把握することができ、表示オブジェクトに対する操作効率を一層に高めることが可能となる。
（入力強度に基づく選択範囲の制御）
次に、本実施形態に係る入力強度に基づく選択範囲の制御について説明する。本実施形態に係る入力処理部１５０は、入力操作に係る入力強度に基づいて、選択される表示オブジェクトの範囲を制御する機能を有する。図１９Ａ〜図１９Ｄは、本実施形態に係る入力強度に基づく選択範囲の制御について説明するための図である。
図１９Ａには、本実施形態に係る情報処理装置１０の表示部１１０に表示される複数のアイコン型表示オブジェクトＩ１〜Ｉ９、および入力主体Ｆ１が示されている。図１９Ａを参照すると、入力主体Ｆ１は、中間の入力強度Ｐｍで表示オブジェクトＩ５に対する入力操作を行っている。ここで、上記の入力操作は、表示オブジェクトＩ５上での押し込み操作であってよい。また、この際、本実施形態に係る触覚信号処理部１６０は、上記の入力操作および入力強度に応じた触覚フィードバックＦＢ２１を制御する制御信号を生成してよい。
続いて、図１９Ｂを参照すると、入力主体Ｆ１は、表示オブジェクトＩ５に対し、ドラッグ操作を行っている。なお、ここで、上記のドラッグ操作は、図１９Ａに示す押し込み操作に続いて行われる入力操作であってよい。
この際、本実施形態に係る入力処理部１５０は、図１９Ａに示した中間の入力強度Ｐｍに基づいて、表示オブジェクトＩ５が選択された状態となるよう処理を行ってよい。また、入力処理部１５０は、上記のように選択された表示オブジェクトＩ５に対し、その後のドラッグ操作に基づく移動処理を行う。この際、本実施形態に係る表示制御部１４０は、入力処理部１５０の移動処理に応じた表示制御を行う。
このように、本実施形態に係る入力処理部１５０は、入力強度に基づいて、処理対象となる表示オブジェクトの範囲を制御することが可能である。図１９Ａおよび図１９Ｂに示す一例においては、入力処理部１５０は、中間の入力強度Ｐｍが、単一の表示オブジェクトのドラッグ操作に必要な閾値を超えていることに基づいて、表示オブジェクトＩ５が選択された状態となる処理を行うことができる。
次に、図１９Ｃを参照して説明を続ける。図１９Ｃには、図１９Ａと同様に、本実施形態に係る情報処理装置１０の表示部１１０に表示される複数のアイコン型表示オブジェクトＩ１〜Ｉ９、および入力主体Ｆ１が示されている。図１９Ｃを参照すると、入力主体Ｆ１は、強い入力強度Ｐｈで表示オブジェクトＩ５に対する入力操作を行っている。ここで、上記の入力操作は、表示オブジェクトＩ５上での押し込み操作であってよい。また、この際、本実施形態に係る触覚信号処理部１６０は、上記の入力操作および入力強度に応じた触覚フィードバックＦＢ２２を制御する制御信号を生成してよい。
続いて、図１９Ｄを参照すると、入力主体Ｆ１は、表示部１１０の下方向に向かってドラッグ操作を行っている。なお、ここで、上記のドラッグ操作は、図１９Ｃに示す押し込み操作に続いて行われる入力操作であってよい。
この際、本実施形態に係る入力処理部１５０は、図１９Ｃに示した強い入力強度Ｐｈに基づいて、表示オブジェクトＩ１〜Ｉ９を含むセットＩＳ１が選択された状態となるよう処理を行ってよい。また、入力処理部１５０は、上記のように選択されたセットＩＳ１に対し、その後のドラッグ操作に基づく移動処理を行う。この際、本実施形態に係る表示制御部１４０は、入力処理部１５０の移動処理に応じた表示制御を行う。
このように、本実施形態に係る入力処理部１５０は、入力強度が閾値を超えることに基づいて、処理対象となる表示オブジェクトの範囲を拡大することができる。図１９Ｃおよび図１９Ｄに示す一例においては、入力処理部１５０は、強い入力強度Ｐｈが、表示オブジェクトのセットＩＳ１に対するドラッグ操作に必要な閾値を超えていることに基づいて、表示オブジェクトＩ１〜Ｉ９が選択された状態となる処理を行うことができる。
以上、図１９Ａ〜図１９Ｄを用いて説明したように、本実施形態に係る入力処理部１５０は、入力強度に基づいて、処理対象となる表示オブジェクトの範囲を制御することが可能である。本実施形態に係る入力処理部１５０が有する上記の機能によれば、ユーザによる入力操作の負担を軽減し、表示オブジェクトに対するより効率的な処理を実現することが可能となる。
なお、図１９Ａ〜図１９Ｄを用いた上記の説明では、入力処理部１５０が２段階の選択範囲を制御する場合を例に説明したが、本実施形態に係る選択範囲の制御は、係る例に限定されない。本実施形態に係る入力処理部１５０は、複数の閾値に基づいて、段階的に選択範囲を制御することも可能である。
［２．３．情報処理装置１０による処理の流れ］
次に、本実施形態に係る情報処理装置１０による処理の流れについて説明する。図２０は、本実施形態に係る情報処理装置１０による処理の流れを示すフローチャートである。
図２０を参照すると、まず、本実施形態に係る情報処理装置１０の入力部１２０は、入力主体によるタッチ操作を検出する（Ｓ２１０１）。
次に、本実施形態に係る入力処理部１５０は、ステップＳ２１０１において検出されたタッチ操作が解除されたか否かを判定する（Ｓ２１０２）。すなわち、入力処理部１５０は、入力主体による入力操作が終了したか否かを判定してよい。
ここで、入力処理部１５０が、入力操作が終了したと判定した場合（Ｓ２１０２：ＹＥＳ）、本実施形態に係る表示制御部１４０は、ユーザインタフェースに配置される表示オブジェクトを半透明化または透明化し、また、上記の表示オブジェクトを非アクティブ化する（Ｓ２１０３）。また、この際、本実施形態に係る触覚信号処理部１６０は、タッチ解除に係る触覚フィードバック、すなわち入力操作の終了に係る触覚フィードバックを制御する制御信号を生成してよい。また、本実施形態に係る触覚提示部１３０は、上記で生成された制御信号に基づいて触覚フィードバックの提示を行ってよい。
また、ステップＳ２１０３の処理が完了した後、情報処理装置１０は、表示オブジェクトの制御および触覚フィードバックの提示に係る一連の処理を終了する。
一方、入力処理部１５０が、入力操作が終了していないと判定した場合（Ｓ２１０２：ＮＯ）、続いて、入力処理部１５０は、入力操作に係る入力強度が閾値以上であるか否かを判定する（Ｓ２１０４）。
ここで、入力処理部１５０が、入力強度が閾値以上であると判定した場合（Ｓ２１０４：ＹＥＳ）、本実施形態に係る表示制御部１４０は、入力操作に係る表示オブジェクトの表示効果を解除し、また、上記の表示オブジェクトをアクティブ化する（Ｓ２１０５）。また、この際、入力処理部１５０は、入力強度に基づいて上記の処理対象となる表示オブジェクトの範囲を設定してもよい。
次に、入力処理部１５０は、入力強度またはフリック量が閾値以上であるか否かを判定する（Ｓ２１０６）。
ここで、入力処理部１５０が、入力強度またはフリック量が閾値未満であると判定した場合（Ｓ２１０６：ＮＯ）、本実施形態に係る情報処理装置１０は、ステップＳ２１０２に復帰し、以降の処理を繰り返し実行してよい。
一方、入力処理部１５０が、入力強度またはフリック量が閾値以上であると判定した場合（Ｓ２１０６：ＹＥＳ）、本実施形態に係る触覚信号処理部１６０は、入力強度またはフリック量に応じた触覚フィードバックを制御する制御信号を生成する。また、本実施形態に係る触覚提示部１３０は、上記で生成された信号に基づいて触覚フィードバックの提示を行う（Ｓ２１０７）。
なお、ステップＳ２１０７の処理が終了した後、本実施形態に係る情報処理装置１０は、ステップＳ２１０２に復帰し、以降の処理を繰り返し実行してよい。
一方、ステップＳ２１０４において、入力処理部１５０が、入力強度が閾値以上ではないと判定した場合（Ｓ２１０４：ＮＯ）、続いて、入力処理部１５０は、入力操作の検出位置と表示オブジェクトの境界位置との差が閾値以上か否かを判定する（Ｓ２１０８）。
ここで、入力処理部１５０が、入力操作の検出位置と表示オブジェクトの境界位置との差が閾値以上であると判定した場合（Ｓ２１０８：ＮＯ）、本実施形態に係る情報処理装置１０は、表示オブジェクトの制御および触覚フィードバックの提示に係る一連の処理を終了する。
ここで、入力処理部１５０が、入力操作の検出位置と表示オブジェクトの境界位置との差が閾値以上であると判定した場合（Ｓ２１０８：ＹＥＳ）、本実施形態に係る触覚信号処理部１６０は、上記の境界位置に応じた触覚フィードバックを制御する制御信号を生成する。この際、触覚信号処理部１６０は、検出された入力強度やフリック量などに応じた触覚フィードバックを制御する制御信号を生成することもできる。また、本実施形態に係る触覚提示部１３０は、上記で生成された制御信号に基づいて触覚フィードバックの提示を行う（Ｓ２１０９）。
ステップＳ２１０９における処理が終了した場合、本実施形態に係る情報処理装置１０は、表示オブジェクトの制御および触覚フィードバックの提示に係る一連の処理を終了する。
＜３．ハードウェア構成例＞
次に、本開示に係る情報処理装置１０のハードウェア構成例について説明する。図２１は、本開示に係る情報処理装置１０のハードウェア構成例を示すブロック図である。図２１を参照すると、本開示に係る情報処理装置１０は、例えば、ＣＰＵ８７１と、ＲＯＭ８７２と、ＲＡＭ８７３と、ホストバス８７４と、ブリッジ８７５と、外部バス８７６と、インターフェース８７７と、入力装置８７８と、出力装置８７９と、ストレージ８８０と、ドライブ８８１と、接続ポート８８２と、通信装置８８３と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。
（ＣＰＵ８７１）
ＣＰＵ８７１は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ８７２、ＲＡＭ８７３、ストレージ８８０、又はリムーバブル記録媒体９０１に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。
（ＲＯＭ８７２、ＲＡＭ８７３）
ＲＯＭ８７２は、ＣＰＵ８７１に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。ＲＡＭ８７３には、例えば、ＣＰＵ８７１に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
（ホストバス８７４、ブリッジ８７５、外部バス８７６、インターフェース８７７）
ＣＰＵ８７１、ＲＯＭ８７２、ＲＡＭ８７３は、例えば、高速なデータ伝送が可能なホストバス８７４を介して相互に接続される。一方、ホストバス８７４は、例えば、ブリッジ８７５を介して比較的データ伝送速度が低速な外部バス８７６に接続される。また、外部バス８７６は、インターフェース８７７を介して種々の構成要素と接続される。
（入力装置８７８）
入力装置８７８には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力装置８７８としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ（以下、リモコン）が用いられることもある。また、本開示に係る入力装置８７８には、タッチパネルやタッチパッドなどが含まれる。
（出力装置８７９）
出力装置８７９は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）、ＬＣＤ、又は有機ＥＬ等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。また、本開示に係る出力装置８７９には、触覚フィードバックを提示する機能を有する種々の装置が含まれる。
（ストレージ８８０）
ストレージ８８０は、各種のデータを格納するための装置である。ストレージ８８０としては、例えば、ハードディスクドライブ（ＨＤＤ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。
（ドライブ８８１）
ドライブ８８１は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９０１に記録された情報を読み出し、又はリムーバブル記録媒体９０１に情報を書き込む装置である。
（リムーバブル記録媒体９０１）
リムーバブル記録媒体９０１は、例えば、ＤＶＤメディア、Ｂｌｕ−ｒａｙ（登録商標）メディア、ＨＤ ＤＶＤメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体９０１は、例えば、非接触型ＩＣチップを搭載したＩＣカード、又は電子機器等であってもよい。
（接続ポート８８２）
接続ポート８８２は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）、ＲＳ−２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９０２を接続するためのポートである。
（外部接続機器９０２）
外部接続機器９０２は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。
（通信装置８８３）
通信装置８８３は、ネットワークに接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ、又は各種通信用のモデム等である。
＜４．まとめ＞
以上説明したように、本開示に係る情報処理装置１０は、入力操作に係る入力強度に基づいて、表示オブジェクトの有効性や表示形式を制御することが可能である。また、本開示に係る情報処理装置１０は、上記の入力強度に応じた触覚フィードバックを制御することができる。係る構成によれば、誤操作を防止しながら、表示オブジェクトに対するより直観的な操作を行うことが可能となる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記実施形態では、入力操作および当該入力操作に応じた触覚フィードバックのみが提示される場合を例に説明したが、本技術はかかる例に限定されない。本開示に係る情報処理装置１０は、上記の触覚フィードバックに加え、例えば、音声によるフィードバックを併せて提示することも可能である。この場合、本開示に係る情報処理装置は、上記の実施形態で説明した構成に加え、音声出力部や音声出力制御部をさらに備えてもよい。
また、本明細書の情報処理装置１０の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、情報処理装置１０の処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
検出された入力操作に基づいて入力処理を行う入力処理部と、
前記入力操作に基づいて、触覚フィードバックを制御する制御信号を生成する触覚信号処理部と、
前記入力操作に係る入力強度に基づいて、ユーザインタフェースに配置される表示オブジェクトを制御する表示制御部と、
を備える、
情報処理装置。
（２）
前記表示制御部は、前記入力強度に基づいて前記表示オブジェクトの有効性を制御する、
前記（１）に記載の情報処理装置。
（３）
前記表示制御部は、前記入力強度が閾値を超えたことに基づいて、前記表示オブジェクトをアクティブ化する、
前記（２）に記載の情報処理装置。
（４）
前記表示制御部は、前記入力強度が閾値を下回ることに基づいて、前記表示オブジェクトを非アクティブ化する、
前記（２）または（３）に記載の情報処理装置。
（５）
前記表示制御部は、前記入力強度が閾値を超えたことに基づいて、前記表示オブジェクトに係る表示効果を解除する、
前記（２）〜（４）のいずれかに記載の情報処理装置。
（６）
前記表示制御部は、前記入力強度が閾値を下回ることに基づいて、前記表示オブジェクトを半透明化または透明化する、
前記（２）〜（５）のいずれかに記載の情報処理装置。
（７）
前記触覚信号処理部は、前記入力操作の検出位置と前記表示オブジェクトの境界位置との差が閾値を下回ることに基づいて、前記境界位置に応じた触覚フィードバックを制御する制御信号を生成する、
前記（１）〜（６）のいずれかに記載の情報処理装置。
（８）
前記触覚信号処理部は、前記入力強度が閾値を下回る場合に、前記境界位置に応じた触覚フィードバックを制御する制御信号を生成する、
前記（７）に記載の情報処理装置。
（９）
前記触覚信号処理部は、前記表示オブジェクト上で前記入力操作が検出されたことに基づいて、前記入力操作に応じた触覚フィードバックを制御する制御信号を生成する、
前記（１）〜（８）のいずれかに記載の情報処理装置。
（１０）
前記触覚信号処理部は、前記入力強度が閾値を超える場合に、前記入力操作に応じた触覚フィードバックを制御する制御信号を生成する、
前記（９）に記載の情報処理装置。
（１１）
前記入力処理部は、前記入力強度に基づいて、処理対象となる前記表示オブジェクトの範囲を制御する、
前記（１）〜（１０）のいずれかに記載の情報処理装置。
（１２）
前記入力処理部は、前記入力強度が閾値を超えることに基づいて、前記処理対象となる前記表示オブジェクトの範囲を拡大する、
前記（１１）に記載の情報処理装置。
（１３）
前記触覚信号処理部は、前記入力操作の検出位置と前記表示オブジェクトにおける基本位置との差が閾値を下回ることに基づいて、前記基本位置に応じた触覚フィードバックを制御する制御信号を生成する、
前記（１）〜（１２）のいずれかに記載の情報処理装置。
（１４）
前記触覚信号処理部は、前記表示オブジェクト上における前記入力操作の検出位置に応じた触覚フィードバックを制御する制御信号を生成する、
前記（１）〜（１３）のいずれかに記載の情報処理装置。
（１５）
前記表示オブジェクトは、ソフトウェアキーボードを含む、
前記（１）〜（１４）のいずれかに記載の情報処理装置。
（１６）
前記触覚フィードバックを提示する触覚提示部、
をさらに備える、
前記（１）〜（１５）のいずれかに記載の情報処理装置。
（１７）
前記入力操作を検出する入力部、
をさらに備える、
前記（１）〜（１６）のいずれかに記載の情報処理装置。
（１８）
前記表示オブジェクトを表示する表示部、
をさらに備える、
前記（１）〜（１７）のいずれかに記載の情報処理装置。
（１９）
プロセッサが、
検出された入力操作に基づいて入力処理を行うことと、
前記入力操作に基づいて、触覚フィードバックを制御する制御信号を生成することと、
前記入力操作に係る入力強度に基づいて、ユーザインタフェースに配置される表示オブジェクトを制御することと、
を含む、
情報処理方法。
（２０）
コンピュータを、
検出された入力操作に基づいて入力処理を行う入力処理部と、
前記入力操作に基づいて、触覚フィードバックを制御する制御信号を生成する触覚信号処理部と、
前記入力操作に係る入力強度に基づいて、ユーザインタフェースに配置される表示オブジェクトを制御する表示制御部と、
を備える、
情報処理装置、
として機能させるためのプログラム。
１０ 情報処理装置
１１０ 表示部
１２０ 入力部
１３０ 触覚提示部
１４０ 表示制御部
１５０ 入力処理部
１６０ 触覚信号処理部

Claims (15)

  1. 検出された入力操作に基づいて入力処理を行う入力処理部と、
    前記入力操作に基づいて、触覚フィードバックを制御する制御信号を生成する触覚信号処理部と、
    前記入力操作に係る入力強度に基づいて、ユーザインタフェースに配置される表示オブジェクトの有効性を制御する表示制御部と、
    を備え、
    前記表示制御部は、前記入力強度が閾値を下回ることに基づいて、前記表示オブジェクトを非アクティブ化し、
    前記触覚信号処理部は、前記入力操作の検出位置と非アクティブ化された前記表示オブジェクトの境界位置との差が閾値を下回ることと、前記入力強度が閾値を下回ることに基づいて、前記境界位置に応じた触覚フィードバックを制御する制御信号を生成する、
    情報処理装置。
  2. 前記表示制御部は、前記入力強度が閾値を超えたことに基づいて、前記表示オブジェクトをアクティブ化する、
    請求項１に記載の情報処理装置。
  3. 前記表示制御部は、前記入力強度が閾値を超えたことに基づいて、前記表示オブジェクトに係る表示効果を解除する、
    請求項１又は２に記載の情報処理装置。
  4. 前記表示制御部は、前記入力強度が閾値を下回ることに基づいて、前記表示オブジェクトを半透明化または透明化する、
    請求項１〜３のいずれか１項に記載の情報処理装置。
  5. 前記触覚信号処理部は、前記表示オブジェクト上で前記入力操作が検出されたことに基づいて、前記入力操作に応じた触覚フィードバックを制御する制御信号を生成する、
    請求項１〜４のいずれか１項に記載の情報処理装置。
  6. 前記触覚信号処理部は、前記表示オブジェクト上で前記入力操作の前記入力強度が閾値を超える場合に、前記入力操作に応じた触覚フィードバックを制御する制御信号を生成する、
    請求項５に記載の情報処理装置。
  7. 検出された入力操作に基づいて入力処理を行う入力処理部と、
    前記入力操作に基づいて、触覚フィードバックを制御する制御信号を生成する触覚信号処理部と、
    前記入力操作に係る入力強度に基づいて、ユーザインタフェースに配置される表示オブジェクトを制御する表示制御部と、
    を備え、
    前記入力処理部は、前記入力強度に基づいて、処理対象となる前記表示オブジェクトの範囲を段階的に拡大する、
    情報処理装置。
  8. 前記触覚信号処理部は、前記入力操作の検出位置と前記表示オブジェクトにおける基本位置との差が閾値を下回ることに基づいて、前記基本位置に応じた触覚フィードバックを制御する制御信号を生成する、
    請求項７に記載の情報処理装置。
  9. 前記触覚信号処理部は、前記表示オブジェクト上における前記入力操作の検出位置に応じた触覚フィードバックを制御する制御信号を生成する、
    請求項７又は８に記載の情報処理装置。
  10. 前記表示オブジェクトは、ソフトウェアキーボードを含む、
    請求項１〜９のいずれか１項に記載の情報処理装置。
  11. 前記触覚フィードバックを提示する触覚提示部、
    をさらに備える、
    請求項１〜１０のいずれか１項に記載の情報処理装置。
  12. 前記入力操作を検出する入力部、
    をさらに備える、
    請求項１〜１１のいずれか１項に記載の情報処理装置。
  13. 前記表示オブジェクトを表示する表示部、
    をさらに備える、
    請求項１〜１２のいずれか１項に記載の情報処理装置。
  14. プロセッサが、
    検出された入力操作に基づいて入力処理を行うことと、
    前記入力操作に基づいて、触覚フィードバックを制御する制御信号を生成することと、
    前記入力操作に係る入力強度に基づいて、ユーザインタフェースに配置される表示オブジェクトの有効性を制御することと、
    を含む、
    情報処理方法であって、
    前記入力強度が閾値を下回ることに基づいて、前記表示オブジェクトを非アクティブ化し、
    前記入力操作の検出位置と非アクティブ化された前記表示オブジェクトの境界位置との差が閾値を下回ることと、前記入力強度が閾値を下回ることに基づいて、前記境界位置に応じた触覚フィードバックを制御する制御信号を生成する、
    情報処理方法。
  15. コンピュータを、
    検出された入力操作に基づいて入力処理を行う入力処理部と、
    前記入力操作に基づいて、触覚フィードバックを制御する制御信号を生成する触覚信号処理部と、
    前記入力操作に係る入力強度に基づいて、ユーザインタフェースに配置される表示オブジェクトの有効性を制御する表示制御部と、
    を備える、
    情報処理装置、
    として機能させるためのプログラムであって、
    前記表示制御部は、前記入力強度が閾値を下回ることに基づいて、前記表示オブジェクトを非アクティブ化し、
    前記触覚信号処理部は、前記入力操作の検出位置と非アクティブ化された前記表示オブジェクトの境界位置との差が閾値を下回ることと、前記入力強度が閾値を下回ることに基づいて、前記境界位置に応じた触覚フィードバックを制御する制御信号を生成する、
    プログラム。
JP2018531764A 2016-08-05 2017-06-15 情報処理装置、情報処理方法、およびプログラム Active JP6904354B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016154936 2016-08-05
JP2016154936 2016-08-05
PCT/JP2017/022036 WO2018025513A1 (ja) 2016-08-05 2017-06-15 情報処理装置、情報処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2018025513A1 JPWO2018025513A1 (ja) 2019-05-30
JP6904354B2 true JP6904354B2 (ja) 2021-07-14

Family

ID=61073669

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018531764A Active JP6904354B2 (ja) 2016-08-05 2017-06-15 情報処理装置、情報処理方法、およびプログラム

Country Status (5)

Country Link
US (1) US20200319711A1 (ja)
EP (1) EP3495937A4 (ja)
JP (1) JP6904354B2 (ja)
CN (1) CN109564497A (ja)
WO (1) WO2018025513A1 (ja)

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090096559A (ko) * 2001-11-01 2009-09-10 임머숀 코퍼레이션 촉각을 제공하기 위한 방법 및 장치
JP2003288158A (ja) * 2002-01-28 2003-10-10 Sony Corp タクタイル・フィードバック機能を持つ携帯型機器
JP4500485B2 (ja) * 2002-08-28 2010-07-14 株式会社日立製作所 タッチパネルを備えた表示装置
JP2007536669A (ja) * 2004-05-05 2007-12-13 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ メディアアイテムの閲覧
JP2008033739A (ja) 2006-07-31 2008-02-14 Sony Corp 力覚フィードバックおよび圧力測定に基づくタッチスクリーンインターラクション方法および装置
CN101211235A (zh) * 2006-12-27 2008-07-02 深圳市顶星数码网络技术有限公司 智能化触摸板的输入控制方法
JP2009003716A (ja) * 2007-06-21 2009-01-08 Kyocera Corp 入力装置
US9740340B1 (en) * 2009-07-31 2017-08-22 Amazon Technologies, Inc. Visually consistent arrays including conductive mesh
JP5278259B2 (ja) 2009-09-07 2013-09-04 ソニー株式会社 入力装置、入力方法及びプログラム
JP2011238125A (ja) * 2010-05-12 2011-11-24 Sony Corp 画像処理装置および方法、並びにプログラム
JP5539788B2 (ja) * 2010-05-27 2014-07-02 京セラ株式会社 触感呈示装置
JP5551278B2 (ja) * 2011-02-08 2014-07-16 シャープ株式会社 入力装置
US9417754B2 (en) * 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
US9330544B2 (en) * 2012-11-20 2016-05-03 Immersion Corporation System and method for simulated physical interactions with haptic effects
KR20160019468A (ko) * 2013-06-11 2016-02-19 임머숀 코퍼레이션 압력 기반 햅틱 효과들을 위한 시스템들 및 방법들
US9990107B2 (en) * 2015-03-08 2018-06-05 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus

Also Published As

Publication number Publication date
EP3495937A4 (en) 2019-07-24
US20200319711A1 (en) 2020-10-08
JPWO2018025513A1 (ja) 2019-05-30
CN109564497A (zh) 2019-04-02
EP3495937A1 (en) 2019-06-12
WO2018025513A1 (ja) 2018-02-08

Similar Documents

Publication Publication Date Title
US11321041B2 (en) Systems, devices, and methods for dynamically providing user interface controls at a touch-sensitive secondary display
US10156967B2 (en) Device, method, and graphical user interface for tabbed and private browsing
JP5718042B2 (ja) タッチ入力処理装置、情報処理装置およびタッチ入力制御方法
US20120174044A1 (en) Information processing apparatus, information processing method, and computer program
WO2013181881A1 (zh) 触摸屏幕的控制方法及装置
US10908797B2 (en) Systems and methods for enabling low-vision users to interact with a touch-sensitive secondary display
US9405370B2 (en) Electronic device and control method thereof
JP2015127872A (ja) 制御装置、制御方法、及び、プログラム
WO2019060191A1 (en) DYNAMIC ADJUSTMENT OF HAPTIC / AUDIO FEEDBACK DURING SCROLL OPERATIONS
US20150193139A1 (en) Touchscreen device operation
US11237709B2 (en) Systems and methods for enabling low-vision users to interact with a touch-sensitive secondary display
WO2019060162A1 (en) DYNAMIC ADJUSTMENT OF MINIATURE MULTIMEDIA IMAGE SIZE BASED ON TOUCH SCREEN PRESSURE
WO2018025510A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP6904354B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2010061493A (ja) 情報処理装置、明滅制御方法およびコンピュータプログラム
AU2017101426A4 (en) Systems and methods for enabling low-vision users to interact with a touch-sensitive secondary display
JP2009223532A (ja) アイコンインタフェースの操作制御方法
WO2019060185A1 (en) DYNAMICALLY ADJUSTING SCROLLING OR DISPLACING GRANULARITY BASED ON TOUCHSCREEN PRESSURE
TW201535239A (zh) 電子裝置以及使用者介面控制方法
TWI529606B (zh) 一種行動裝置上快速切換頁面的方法
JP2013127689A (ja) 情報処理装置および情報処理装置を制御するためのプログラム

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190214

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190515

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200521

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200521

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210419

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210525

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210607

R151 Written notification of patent or utility model registration

Ref document number: 6904354

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151