JP5702296B2 - ソフトウェアキーボード制御方法 - Google Patents

ソフトウェアキーボード制御方法 Download PDF

Info

Publication number
JP5702296B2
JP5702296B2 JP2011540741A JP2011540741A JP5702296B2 JP 5702296 B2 JP5702296 B2 JP 5702296B2 JP 2011540741 A JP2011540741 A JP 2011540741A JP 2011540741 A JP2011540741 A JP 2011540741A JP 5702296 B2 JP5702296 B2 JP 5702296B2
Authority
JP
Japan
Prior art keywords
keyboard
user
preview
touch
gesture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011540741A
Other languages
English (en)
Other versions
JP2012511774A (ja
JP2012511774A5 (ja
Inventor
マーキエヴィチ，ジャン−クリスチャン
タウンゼンド，リード
マシューズ，デヴィッド
シヴァージ，ヴィシュヌ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2012511774A publication Critical patent/JP2012511774A/ja
Publication of JP2012511774A5 publication Critical patent/JP2012511774A5/ja
Application granted granted Critical
Publication of JP5702296B2 publication Critical patent/JP5702296B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04804—Transparency, e.g. transparent or translucent windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Input From Keyboards Or The Like (AREA)
  • Position Input By Displaying (AREA)

Description

本発明は、ユーザーインターフェースに関し、具体的には、スクリーン上のソフトウェアキーボードに関する。
[0001]計算装置は、ノートブックコンピューター、携帯情報端末（ＰＤＡ）携帯電話／スマートフォンのような異なる構成に変化し進化し続けている。これら機器の多くは、可能な限り小さくするように市場圧力が、かけられている。サイジングの圧力にもかかわらず、機器のグラフィカルユーザーインターフェース（ＧＵＩ）は、機器の重要な焦点のままであって、ユーザーは、可能な限り大きなＧＵＩを望みがちである。多くの機器は、この目的に向かって入力及び出力機能の双方を実行し得るタッチセンサー式スクリーンを採用している。これらの構成は、ソフトウェアキーボード（すなわち、従来のキーボードを置換又は補強した、タッチセンサー式スクリーンに提示される視覚的なキーボード）を利用し得る。従って、キーボードのような従来の入力装置は、タッチセンサー式スクリーンが利用可能な空間を作り出すため、サイズを縮小されるか又は取り除かれる。ソフトウェアキーボードは、いくつかの利点を提示しているが、ソフトウェアキーボードを起動し、ソフトウェアキーボードを制御するためにユーザーが出来る事は未発達なままである。本概念は、改善されたソフトウェアキーボードの有用性及び制御可能性をユーザーに提示する。
本発明の目的は、タッチスクリーン上のジェスチャーに応答可能なソフトウェアキーボードを提供することである。
[0002]本明細書は、ソフトウェアキーボード制御機能に関連するツールを説明している。実装の中には、本ツールが、タッチセンサー式スクリーン上のキーボード開始ジェスチャーを認識し、開始ジェスチャーに応答してタッチセンサー式スクリーン上にキーボードプレビューを提示するものがある。本ツールは、開始ジェスチャーの停止に応答し、タッチセンサー式スクリーン上にキーボードを表示する事も出来る。
[0003]この「課題を解決するための手段」は更に、「発明を実施するための形態」に後述される概念のいくつかを簡易化した形式で紹介するために提供される。この「課題を解決するための手段」は、請求対象項目の重要な機能も本質的な特徴も特定するように意図されておらず、請求対象項目の範囲を決定する際の支援として利用されることも意図されていない。用語「ツール」は、例えば、本明細書中の文脈によって可能とされるシステム（単数又は複数）、方法（単数又は複数）、計算機可読命令（例えば、実行可能命令を有する１つ以上の計算機可読媒体）、コンポーネント、及び／又は技法（単数又は複数）を参照し得る。
[0004]添付の図面を参照し詳細な説明を説明する。図面において参照番号の最上位の桁は、参照番号が最初に出現する図面を識別している。説明において、別の事例における同様の参照番号の使用は、同等又は同一の項目を示し得る。
[0005]いくつかの実装によるソフトウェアキーボード制御の概念を示す例示的なスクリーンショットである。 [0005]いくつかの実装によるソフトウェアキーボード制御の概念を示す例示的なスクリーンショットである。 [0005]いくつかの実装によるソフトウェアキーボード制御の概念を示す例示的なスクリーンショットである。 [0005]いくつかの実装によるソフトウェアキーボード制御の概念を示す例示的なスクリーンショットである。 [0005]いくつかの実装によるソフトウェアキーボード制御の概念を示す例示的なスクリーンショットである。 [0005]いくつかの実装によるソフトウェアキーボード制御の概念を示す例示的なスクリーンショットである。 [0005]いくつかの実装によるソフトウェアキーボード制御の概念を示す例示的なスクリーンショットである。 [0005]いくつかの実装によるソフトウェアキーボード制御の概念を示す例示的なスクリーンショットである。 [0005]いくつかの実装によるソフトウェアキーボード制御の概念を示す例示的なスクリーンショットである。 [0005]いくつかの実装によるソフトウェアキーボード制御の概念を示す例示的なスクリーンショットである。 [0005]いくつかの実装によるソフトウェアキーボード制御の概念を示す例示的なスクリーンショットである。 [0005]いくつかの実装によるソフトウェアキーボード制御の概念を示す例示的なスクリーンショットである。 [0005]いくつかの実装によるソフトウェアキーボード制御の概念を示す例示的なスクリーンショットである。 [0005]いくつかの実装によるソフトウェアキーボード制御の概念を示す例示的なスクリーンショットである。 [0006]ソフトウェアキーボード制御装置を使用した環境例の例示である。 [0006]ソフトウェアキーボード制御装置を使用した環境例の例示である。 [0007]いくつかの実装に従ったソフトウェアキーボード制御方法の流れ図である。 [0007]いくつかの実装に従ったソフトウェアキーボード制御方法の流れ図である。 [0007]いくつかの実装に従ったソフトウェアキーボード制御方法の流れ図である。
[0008]概要
タッチスクリーンを有するますます多くの計算システムが、販売されている。タッチスクリーンは、タッチスクリーンに含まれている１つ以上の接触検知器を用いて、１つ以上のスタイラス又は指の接触から触覚感知可能な接触のような物理的接触に基づいたユーザー入力を受け入れる。しかしながら、流通しているタッチスクリーンは、ユーザーがタッチスクリーン上でソフトウェアキーボードを容易に起動することを可能としない。例えば、ソフトウェアキーボードを起動するための既存技術のいくつかは、ユーザーに面倒な複数の段階を実行させる。別の既存技術は、ユーザーが、タッチスクリーン上で容易にソフトウェアキーボードのサイズ及び／又は位置を制御することを可能としない。
[0009]本明細書は、直感的な方法でソフトウェアキーボードを起動し、ユーザーが、タッチスクリーン上のサイズ及び／又は相対位置のようなソフトウェアキーボードの様相の多くを容易に制御することを可能にするツールを説明する。例えば、一実装において、ユーザーがタイピングジェスチャーを用いてタッチスクリーンに単に触れただけでソフトウェアキーボードが、直接起動され、真下にユーザーの指と一緒に並べられる。そのような構成は、ユーザーが、ソフトウェアキーボードを見ないでタイピングを開始することを可能とし得る。
[0010]スクリーンショット例
図１〜図１４は、本書に説明されるソフトウェアキーボード制御の概念を例示的に具現化したものを示している。
[0011]図１〜図３は、連続した３つのタッチスクリーン（１０４）のスクリーンショット１０２（１）、１０２（２）、及び１０２（３）を介し、第１のソフトウェアキーボード制御の実装を集合的に例示している。図１において、ユーザーの手（１０６）は接近しているが、タッチスクリーン（１０４）に触れていない。図２において、ユーザーの４つの指２０２（１）、２０２（２）、２０２（３）、２０２（４）が、キーボードプレビュー（２０４）を指２０２（１）〜２０２（４）の最も近くに表示させる方法でタッチスクリーンに触れている。この場合、キーボードプレビュー（２０４）は、輪郭形式である。別の構成が、図４〜図６に関連し以下に紹介されている。この実装において、キーボードプレビューは、ユーザーが、説明した接触を維持する限り、維持される。
[0012]図３は、ユーザーが図２の接触を停止し、彼／彼女の手を移動し、ソフトウェアキーボード（３０２）が、図２のキーボードプレビュー（２０４）に取って代わる事例を示している。この点において、ユーザーは、従来の方法でタッチスクリーン（１０４）上のソフトウェアキーボード（３０２）のタイピングに従事できる。
[0013]図４〜図６は、図１〜図３と同様であって、簡潔のために本明細書に再紹介されない類似した多くのコンポーネントを含む。この実装において、キーボードプレビュー（２０４）（１）は、半透明のキーボード（３０２）表現である。半透明の（すなわち、比較的高透明度を有する）キーボードプレビューは、キーボードプレビューの背後に位置付けられるようなキー画像及びアイコン画像オブジェクト双方をユーザーが見ることを可能にし得る。この構成は、ユーザーが、彼／彼女のキーボードの位置及び／又はサイズに満足しているか否か決定することを可能にし得る。ユーザーがキーボードの位置及び／又はサイズに満足していない場合、ユーザーがアクセスしたいアイコン画像上にキーボードが位置付けられるように、ユーザーはキーボードプレビュー（２０４）（１）を移動し得る。ユーザーがソフトウェアキーボード及び／又はキーボードプレビューを移動/リサイズし得る方法の例を図７〜図１２と関連し以下に説明する。
[0014]図７〜図９は、タッチスクリーン（７０４）の連続した３つのスクリーンショット７０２（１）、７０２（２）、及び７０２（３）を介した別のソフトウェアキーボード制御の実装を集合的に例示している。図７において、ユーザーの左手（７０６）及び右手（７０８）は接近しているが、タッチスクリーン（７０４）に触れていない。
[0015]図８において、ユーザーは、両手を用いたタイピングジェスチャーでタッチスクリーン（７０４）に触れている。この場合、ユーザーは、１０指すべてを用いたタイピングジェスチャーでタッチスクリーンに触れている。キーボードプレビュー（８０４）は、応答可能なようにユーザーの手の下に生成される。更に、この場合、プレビューは、キーボードプレビューのキーが、タイピングジェスチャーのユーザーの指の下に適切に位置付けられるような大きさに形成され、位置付けられる。例えば、「ａ」、「ｓ」、「ｄ」、及び「ｆ」キーがユーザーの左手の指の下に位置付けられ、「ｊ」、「ｋ」、「ｌ」、及び「；」キーがユーザーの右手の指の下に位置付けられる。かくして「ｆ」キーが左手の一番右の指（すなわち左の人差し指）か又はその１部の指の下に位置付けられる。「ｊ」キーが右手の一番左の指（すなわち右の人差し指）の下に位置付けられる。この構成は、ユーザーが、適切なキーと彼／彼女の指とを調整する必要がある別の構成よりも、ユーザーがタイピングを開始することを容易にし得る。（図８において、タッチスクリーンの背景の一部が見えないようにされ、ユーザーが、キーボード表示をより容易に見ることが可能になることに留意されたい。）
[0016]図８及び図９を比較することによって証明されるように、本実装は、ユーザーが、単に彼／彼女の手を別方向にスライドするだけでキーボードプレビューをリサイズすることを可能にし得る。この場合、ユーザーは、右手をｘ軸に沿って左手の別方向にスライドすると、それに従ってキーボードプレビュー（９０４）がリサイズされる。更に、この構成は、キーボードプレビューをリサイズ（この場合、拡大）し、図８のように一般に、指とキーとの同一関係を維持する。言い方を変えると、指とキーとの関係は、リサイズ動作の間、維持され、ユーザーが一旦、キーボードに満足すると、彼らはタイピングすることを開始できる。
[0017]図１０〜図１３は、ユーザーが、ソフトウェアキーボードを移動可能な方法例を示している。この一連のものは、ユーザーの手がタッチスクリーン（１００４）に触れているスクリーンショット１００２（１）で始まる。キーボードプレビュー（１００６）が、応答可能なようにユーザーの手の下に提示される。
[0018]図１１は、スクリーンショット１００２（２）上において矢印（１１０２）によって示したように、ユーザーが彼／彼女の手を右上にスライドすることを示している。キーボードプレビュー（１００６）が、応答可能なようにユーザーの手の下でスライドする（か又は少なくともユーザーの手の下に現われ、ユーザーがスライドできる）。ユーザーが、一旦、キーボードの位置に満足すると、ユーザーは、彼／彼女の手を移動し得、キーボードプレビューは、図１２のスクリーンショット１００２（３）によって示したようにキーボード（１２０２）に置換される。
[0019]図１３〜図１４は、別のキーボード制御の実装を示している。これらの図は、タッチスクリーン（１３０４）の連続したスクリーンショット１３０２（１）及び１３０２（２）を示している。図１３において、ユーザーの手は接近しているが、タッチスクリーン（１３０４）に触れていない。図１４において、ユーザーは、キーボードプレビュー（１４０２）がユーザーの手の下に生成されことをもたらす方法である、彼／彼女の手の１０指すべてをタッチスクリーン上に置いている。この場合、キーボードプレビューは人間工学的構成を有する。更に、ユーザーの指の位置によって決定されるキーの相対位置を用いた人間工学的構成が確立される。
[0020]この事例において、ユーザーの指の位置に基づいて、キーボードプレビュー（１４０２）は、最上部（１４０４）に向かって比較的広く区切られたキーと、最下部（１４０６）に向かって比較的密に区切られたキーと、を有する。ユーザーの指の位置に従った別の構成は、キーボードプレビュー（１４０２）の最下部（１４０６）において比較的広い空間及び／又はキー間の隙間と、キーボードプレビューの最上部（１４０４）に向かって比較的狭い空間と、を有し得る。実装の中には、ユーザーが彼／彼女の指の位置を調整し、それに従ってキーボードプレビュー（１４０２）の更新を可能にし得るものもある。ユーザーが、一旦、キーボードプレビューの人間工学的構成に満足すると、ユーザーは、彼／彼女の指を移動することができ、対応するソフトウェアキーボードが、キーボードプレビューの代わりに表示され得る。
[0021]動作環境例
図１５〜図１６は、接触検知装置（１５０２）を含む計算システム（１５００）を参照している。接触検知装置は、タッチセンサー式ディスプレイ画面（例えばタッチセンサー式スクリーン）（１５０４）を含み得る。タッチスクリーン（１５０４）は、その上に点在するいくつかのタイプの接触検知器（１５０６）を含み得る。代表的な５つの接触検知器だけを簡潔にするために１５０６（１）、１５０６（２）、１５０６（３）、１５０６（４）、及び１５０６（５）が例示されている。この場合、接触探知器１５０６（１）〜１５０６（５）は、（図１６に示されていない）ユーザーの手（１５０８）の指によって作動されている。
[0022]形状トラッキングモジュール（１５１０）は、タッチスクリーン（１５０４）上において接触検知器（１５０６）及びそれらの相対的状態（すなわち作動されたか又は作動されていないか）をトラッキングし得る。形状トラッキングモジュール（１５１０）は、代わりとして又は加えて、タッチスクリーン上に表示されるグラフィックウィンドウ、アイコン画像など、様々なコンテンツをトラッキングし得る。例えば、形状トラッキングモジュールは、例示したｘ及びｙ軸によって定義される平面を介し、接触検知器又はコンテンツをトラッキングし得る。
[0023]作動接触検知器（１５０６）（１）〜１５０６（５）によって検知されたユーザー入力は、直接か又は形状トラッキングモジュール（１５１０）を介し、キーボードジェスチャー識別子モジュール（１５１２）へ送信され得る。キーボードジェスチャー識別子モジュール（１５１２）は、入力がキーボード開始ジェスチャーであるか否か識別し得る様々なパラメーターを利用し、ユーザー入力を解析し得る。キーボードジェスチャー識別子モジュール（１５１２）は、以下に説明されている解析された接触ジェスチャーに基づいて、アプリケーション（１５１４）と通信可能である。
[0024]キーボードジェスチャー識別子モジュール（１５１２）によって利用され得るパラメーター例は、特に、作動接触検知器（１５０６）（１）〜１５０６（５）、作動接触検知器（１５０６）（１）〜１５０６（５）の数、作動接触検知器（１５０６）（１）〜１５０６（５）を接続した線の形状及び相対距離、及び起動持続期間を含み得る。これら２つのパラメーターの例が、図１６に例示されていて、線（１６０２）が作動接触検知器（１５０６）（１）〜１５０６（５）の間に描かれている。この場合、ユーザーの接触がキーボード開始ジェスチャーを構成するか否か決定するための線形パラメーターが利用され得る。例えば、接触点１５０６（１）〜１５０６（５）の間に描かれる線が一般的なアーチ形である場合、パラメーターはタイピングジェスチャーを示し得る。対照的に、波線又は直線は、タイピングジェスチャーを示し得ない。この例において、線（１６０２）は、弓状の線の例を提供している。
[0025]この実装は、片手の５つの作動接触検知器（すなわち五指すべてからの）すべてを使用する。別の実装は、直線（１６０２）を描くとき、指からの接触（すなわち、作動接触検知器（１５０６）（２）〜１５０６（５））を強調し得るアルゴリズムのパラメーターを使用し得、親指（すなわち作動接触検知器１５０６（１））からの接触を除外し得る。ある事例においては、片方の手の指からの接触は、どちらかといえば、それらが集まって一団となるある点において区別され得る。対照的に、親指からの接触は、どちらかといえば、一団となったものというよりも比較的、より末梢部である。別の実装は、両手からの接触を検知し得る。ユーザーの両手からの接触は、一緒に解析され得るか又は左手に対する設定と右手に対する設定と、に分割され得る。
[0026]接触点の間の相対距離は、例示した第２のパラメーターであって、キーボード開始ジェスチャーを検知するためのキーボードジェスチャー識別子モジュール（１５１２）によって解析され得る。相対距離が、図１６の１６０４（１）、１６０４（２）、１６０４（３）、及び１６０４（４）に例示されている。一例において、このパラメーターは、１／４インチから１インチの範囲のように関連付けられ得る。このような場合、５つの接触のうち、より隣接している個々の３つの接触が、少なくとも１／４インチ以上１インチ以下に離れている場合、パラメーターは、受信した接触がキーボード開始ジェスチャーと関連していることを示している。更に、別の実装は、タイピングジェスチャーを識別するための多重パラメーターを背景に接触点を解析し得る。例えば、例示した構成において、実装の中には、接触点が、タイピングジェスチャーとして認識されるラインパラメーター及び相対距離パラメーター双方を満足することを要求し得るものもある。当業者は、本明細書に提供された例以外に、いくつかの実装を用いて利用され得る別の距離を認めるに違いない。
[0027]実装の中には、ユーザーの同時（すなわち瞬時にすべての指を下ろす）接触だけを解析をし得るものもある。別の実装は、ユーザーが指を親指から小指又は小指から親指の順序で回転する回転動作を解析可能である。後者の実装は、ユーザーの別の接触とモーションキーボード開始ジェスチャーとを区別するための時間パラメーターを利用し得る。例えば、これらの実装は、連続した接触が１秒など、所定の時間以内に生じたか否か、及び／又は連続した接触がｘ軸に沿って左から右又は右から左の方法で連続し入力されたか否か、を解析し得る。更に別の実装は、同時的及び回転したキーボード開始ジェスチャー双方を受け入れ得る。ユーザーの手からの４つ又は５つの接触に関連するキーボード開始ジェスチャーが、上記詳細に説明されているが、別の実装は、キーボード開始ジェスチャーとしてより少ない接触を識別できる。実装の中には、更に、どのような接触パターンが、キーボード開始ジェスチャーとして認識される必要があるか、ユーザーが事前に定義可能にし得るものもある。
[0028]キーボード開始ジェスチャーを識別すると、キーボードジェスチャー識別子モジュール（１５１２）は、ジェスチャーにマッピングされた関連の（例えば、キーボードを生成し、キーボードの位置を変更又は移動し、キーボードをリサイズする）機能を提供するアプリケーション（１５１４）を起動し得る。
[0029]メディアプレーヤー、リモートコントローラー、スマートフォン、携帯情報端末、パーソナルオーディオ機器、全地球側位システム、インターネット接続専用端末、無線接続装置、操縦制御システム、操縦エンターテインメントシステム、タブレットコンピューター、ラップトップコンピューター、スタンドアロン入力及び／又は出力装置などのような様々なシステム及び機器は、接触検知装置（１５０２）から利益を得ることができる。接触検知装置（１５０２）は、計算機可読媒体に対するアクセス手段を含むか又は有し得、その上で様々なアプリケーション、ソフトウェア、又はその他の実行可能命令がストアされ得ることに留意されたい。
[0030]実施形態の中には、接触検知装置（１５０２）がオペレーティングシステム（ＯＳ）専用であるものもある。多重入力システムがＯＳ特有であるとき、接触検知装置（１５０２）は、ＯＳ特有の機能及びＯＳを用いて使用するために構成された様々なアプリケーション（例えばアプリケーション（１５１４））を提供する。別の実施形態において、接触検知装置（１５０２）は、特定のアプリケーション用に構成される。ＯＳ又はＯＳ内部のモジュールが、接触検知装置（１５０２）とアプリケーション（１５１４）との間の仲介者として作用する。
[0031]一般に、本明細書に説明された任意の機能は、ソフトウェア、ファームウェア、ハードウェア（例えば固定論理回路）、手動処理、又はこれらの実装の組み合わせを使用し、実装され得る。本明細書に使用されている用語「ツール」又は「複数のツール」、及び「モジュール」又は「複数のモジュール」は、一般に、ソフトウェア、ファームウェア、ハードウェア、機器全体、又はネットワーク、又はその組み合わせを示している。例えば、ソフトウェアの実装の場合、これらは、プロセッサー（例えばＣＰＵ又は複数のＣＰＵ）上で実行されるとき、指定されたタスクを実行するプログラムコードを示し得る。プログラムコードは、計算機可読記憶媒体のような１つ以上の計算機可読記憶装置にストアされ得る。本ツール及びモジュールの特性及び技法は、それらが、様々なプロセッサーを有する様々な商用計算プラットフォーム上に実装され得ることを意味しているプラットフォーム独立である。
[0032]技法例
以下の論述は、ハードウェア、ファームウェア、ソフトウェア、又はその組み合わせによって実装される様々なソフトウェアキーボード起動技法、方法、及び手順を説明する。本方法は、それぞれのブロックによって動作を実行するための順番に必ずしも限定されない指定された一連のブロックとして示されていて、図１５〜図１６のキーボードジェスチャー識別子モジュール（１５１２）のように、１つ以上のエンティティ、機器、モジュール、及び／又はツールによって実行される動作を指定している。更に、本方法は、説明した機器／システムのエンティティ以外のエンティティによっても完成され得る。別の様々な例及び部分的な技法も想定される。
[0033]図１７は、第１のソフトウェアキーボードの起動方法（１７００）を示している。
[0034]ブロック（１７０２）は、第１のキーボード起動パラメーターを背景にタッチスクリーンから触覚感知可能な複数の接触を評価する。第１のキーボードの起動パラメーターの例は、特にタッチスクリーンにおける触覚感知可能な複数の接触と接触を介し描かれた線の形状との空間的な関係と、を含み得る。
[0035]ブロック（１７０４）は、第１のキーボードの起動パラメーターが満足したとき、タッチスクリーン上にキーボードプレビューを提示する。１つの場合として、プレビューが輪郭形式で提示され得る。別の事例において、プレビューが高透明度で提示され得る。
[0036]ブロック（１７０６）は、第２のキーボードの起動パラメーターを背景に触覚感知可能な複数の接触を比較する。１つの場合として、第２のキーボードの起動パラメーターは、継続時間に関連している。例えば、少なくとも所定の期間、１秒など、彼／彼女の指（すなわち、接触を維持する）の下側へユーザーが維持している場合、パラメーターが満足される。
[0037]ブロック（１７０８）は、第２のキーボードの所定の起動パラメーターが満足したとき、タッチスクリーン上にキーボードを表示する。場合によって、キーボードがタッチスクリーン上の所定の位置に表示され得るものもある。別の実装は、触覚感知可能な複数の接触の下にキーボードを表示し得る。これらの場合の中には、キーボードサイズが接触間隔によって定義され得、キーボードがユーザーの手（単数又は複数）の下に適切に位置付けられるものもある。
[0038]図１８は、第２のソフトウェアキーボードの起動方法（１８００）を示している。
[0039]ブロック（１８０２）が、タッチセンサー式スクリーン上のキーボード開始ジェスチャーを認識する。キーボード開始ジェスチャーを認識するための様々な技法が前述及び後述される。
[0040]ブロック（１８０４）は、開始ジェスチャーに応答し、タッチセンサー式スクリーン上にキーボードプレビューを提示する。キーボードプレビューの非限定的な例が、上の図１〜図１４に例示されている。一実装において、キーボード開始ジェスチャーの認識時、プレビューが、ユーザーの手の下に位置付けられたタッチスクリーン上に提示される。プレビューが、ユーザーが接触を維持する限り、提示される。これは、ユーザーにキーボードの要望通りの位置変更及び／又はリサイズをするための機会を与え得る。
[0041]ブロック（１８０６）は、開始ジェスチャーの停止に応答し、タッチセンサー式スクリーン上にキーボードを表示する。上記の例に続いてプレビューがユーザーに提示され、ユーザーが満足するように彼／彼女はプレビューの位置を変更及び／又はリサイズし得る。ユーザーが、一旦、キーボードのサイズ及び／又は位置に満足すると、ユーザーは、彼／彼女の手を移動し得、それらに関するキーボードが表示される。
[0042]図１９は、第３のソフトウェアキーボードの起動方法（１９００）を示している。本方法は、キーボードがクローズド（すなわちタッチスクリーン上に表示されない）状態で開始する（１９０２）。
[0043]本方法は、（１９０４）において、キーボード開始ジェスチャーを検知する（すなわちユーザーは、キーボード開始ジェスチャーとして認識される方法でタッチスクリーンに触れる）。
[0044]本方法は、（１９０６）において、ジェスチャーがタイムアウト前（すなわち所定時間）に解除されているか否か決定する。ユーザーがジェスチャーを解除した（すなわち（１９０６）において肯定の）事例において、本方法は、ブロック（１９０８）へ進み、キーボードをオープン（すなわち起動）する。さもなければ（すなわち（１９０６）において否定の場合）、本方法はブロック（１９１０）へ進む。
[0045]ブロック（１９１０）は、輪郭又は透明のプレビュー状態のキーボードを示す。ジェスチャーが解除された場合、プロセスは、ブロック（１９０８）へ進む。従って、例えば、シーケンス（１９０４）、（１９０６）、及び（１９０８）は、ユーザーがキーボード開始ジェスチャーを用いて、すばやく画面をタップしたとき、生じ得る。キーボードが表示され、ユーザーはタイピングを開始できる。シーケンス（１９０４）、（１９０６）、（１９１０）、（１９０８）は、ユーザーが触れ、開始ジェスチャーの接触を維持しているとき、遭遇し得る。その場合、ユーザーが一旦０．５秒間など、所定の時間、接触を維持すると、ユーザーに対するキーボードプレビューが生成され得る。ユーザーは、その後、プレビューを移動及び／又はリサイズし得る。（１９０８）において、ユーザーが一旦、満足すると接触を解除し、対応するキーボードが、オープン又は起動され得る。
[0046]その後、（１９１２）において、ユーザーがジェスチャーが検知される方法で再びタッチスクリーンに接触し得る。本方法は、（１９１４）において、ユーザーが所定の期間、ジェスチャーを維持しているか否かクエリーし得る。ユーザーがジェスチャタップするように、ユーザーがジェスチャーを維持していない（すなわち（１９１４）において否定した）場合、本方法は、ブロック（１９０２）へ進み得、キーボードをクローズする。ユーザーがジェスチャーを維持している（すなわち（１９１４）において肯定した）場合、本方法は、（１９１０）へ進み得、キーボードをキーボードプレビューへ変換し得る。例えば、ユーザーがオープンしたキーボードを移動及び／又はリサイズすることを所望した場合、彼／彼女は、もう一度、キーボード開始ジェスチャーを作成し、維持し得、ブロック（１９１０）へ進み得る。ブロック（１９１０）は、キーボードプレビューを生成する。この場合、キーボードは、オープンしたキーボードからキーボードプレビューへ戻る。ユーザーは、その後、キーボードプレビューを移動／リサイズし得、その後、（１９０８）において、キーボードを再度オープンする準備をしたとき解除し得る。
[0047]結論
対象項目が、構造上の特徴及び／又は方法論的な作用に対し特定の言語で説明されているが、添付した請求項に定義された対象項目が、前述した特定の特徴又は作用に必ずしも限定されるわけではないことを理解されよう。もっと具体的に言えば、上記説明した請求項を実装する特定の機能及び作用は、例形式として開示されている。
１０２（１） スクリーンショット
１０２（２） スクリーンショット
１０２（３） スクリーンショット
１０４ タッチスクリーン
２０２（１） ユーザーの指
２０２（２） ユーザーの指
２０２（３） ユーザーの指
２０２（４） ユーザーの指
２０４ キーボードプレビュー
３０２ ソフトウェアキーボード
７０２（１） スクリーンショット
７０２（２） スクリーンショット
７０２（３） スクリーンショット
７０４ タッチスクリーン
７０６ ユーザーの左手
７０８ ユーザーの右手
８０４ キーボードプレビュー
９０４ キーボードプレビュー
１００２（１） スクリーンショット
１００２（２） スクリーンショット
１００２（３） スクリーンショット
１００４ タッチスクリーン
１００６ キーボードプレビュー
１１０２ 矢印
１２０２ キーボード
１３０２（１） スクリーンショット
１３０２（２） スクリーンショット
１３０４ タッチスクリーン
１４０２ キーボードプレビュー
１４０４ キーボードプレビューの最上部
１４０６ キーボードプレビューの最下部
１５００ 計算システム
１５０２ 接触検知装置
１５０４ タッチスクリーン
１５０６（１） 作動接触検知器
１５０６（２） 作動接触検知器
１５０６（３） 作動接触検知器
１５０６（４） 作動接触検知器
１５０６（５） 作動接触検知器
１５０８ ユーザーの手
１５１０ 形状トラッキングモジュール
１５１２ キーボードジェスチャー識別子モジュール
１５１４ アプリケーション
１６０２ 線
１６０４（１） 相対距離
１６０４（２） 相対距離
１６０４（３） 相対距離
１６０４（４） 相対距離

Claims (9)

  1. 計算装置によって実行されるとき、動作を実行させる計算機実行可能命令を有する１つ以上の計算機可読記憶媒体であって、前記動作が、
    第１のキーボード起動パラメーターに対してタッチスクリーンからの左設定及び右設定を含む触覚感知可能な複数の接触を評価するステップと、
    前記第１のキーボード起動パラメーターが満足されたとき、前記タッチスクリーン上にキーボードのプレビューを提示するステップと、
    前記触覚感知可能な複数の接触を第２のキーボード起動パラメーターに対して比較するステップと、
    前記第２の所定のキーボード起動パラメーターが満足されたとき、前記タッチスクリーン上の前記触覚感知可能な複数の接触の下に前記キーボードを表示するステップであってキーボードのキーが、タイピングジェスチャーのユーザーの指の下に適切に位置付けられるような大きさに形成され、位置付けられるものと、を含む計算機可読記憶媒体。
  2. 前記第１のキーボード起動パラメーターが、前記タッチスクリーン上の前記触覚感知可能な複数の接触の空間的関係と関連していることを特徴とする請求項１記載の媒体。
  3. 前記空間的関係が、前記複数の個々の接触の間の相対距離、及び前記複数の個々の接触を接続する線の形状、の１つと関連していることを特徴とする請求項２記載の媒体。
  4. 前記提示するステップが、高透明度を用いた前記プレビューを提示するステップを含むことを特徴とする請求項１記載の媒体。
  5. 前記提示するステップが、輪郭形式の前記プレビューを提示するステップを含むことを特徴とする請求項１記載の媒体。
  6. 前記第２のキーボード起動パラメーターが、継続時間に関連していることを特徴とする請求項１記載の媒体。
  7. タッチセンサー式スクリーン上のキーボード開始ジェスチャーを認識するステップと、
    前記キーボード開始ジェスチャーに応答し、前記タッチセンサー式スクリーン上の前記キーボード開始ジェスチャーが受信された位置にキーボードのプレビューを提示するステップと、
    前記キーボード開始ジェスチャーの停止に応答し、前記タッチセンサー式スクリーン上に前記キーボードを表示するステップと、を含み、
    前記認識するステップが、タイピング位置における一方の手の３つの指、タイピング位置における一方の手の４つの指、タイピング位置における一方の手の４つの指及び親指、タイピング位置における両手のそれぞれの手から４つの指、タイピング位置における両手のそれぞれの手から４つの指及び親指、の１つを認識するステップを含むことを特徴とする方法。
  8. 前記提示するステップが、前記キーボードの輪郭として前記プレビューを提示するステップを含む請求項７記載の方法。
  9. 更に、前記キーボード開始ジェスチャーが繰り返されたとき、前記キーボードを削除するステップを含む請求項７記載の方法。
JP2011540741A 2008-12-09 2009-11-03 ソフトウェアキーボード制御方法 Active JP5702296B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/330,529 2008-12-09
US12/330,529 US9041660B2 (en) 2008-12-09 2008-12-09 Soft keyboard control
PCT/US2009/063042 WO2010077430A1 (en) 2008-12-09 2009-11-03 Soft keyboard control

Publications (3)

Publication Number Publication Date
JP2012511774A JP2012511774A (ja) 2012-05-24
JP2012511774A5 JP2012511774A5 (ja) 2012-11-08
JP5702296B2 true JP5702296B2 (ja) 2015-04-15

Family

ID=42230518

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011540741A Active JP5702296B2 (ja) 2008-12-09 2009-11-03 ソフトウェアキーボード制御方法

Country Status (8)

Country Link
US (1) US9041660B2 (ja)
EP (1) EP2356556A4 (ja)
JP (1) JP5702296B2 (ja)
KR (1) KR101691238B1 (ja)
CN (1) CN102246134B (ja)
BR (1) BRPI0921968A2 (ja)
RU (1) RU2541099C2 (ja)
WO (1) WO2010077430A1 (ja)

Families Citing this family (87)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8368667B2 (en) * 2008-06-26 2013-02-05 Cirque Corporation Method for reducing latency when using multi-touch gesture on touchpad
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
CN102073434A (zh) * 2009-11-19 2011-05-25 宏碁股份有限公司 电子装置与触碰面板的显示方法
US8621380B2 (en) * 2010-01-06 2013-12-31 Apple Inc. Apparatus and method for conditionally enabling or disabling soft buttons
JP4950321B2 (ja) * 2010-04-26 2012-06-13 京セラ株式会社 文字入力装置、文字入力方法および文字入力プログラム
JP5959797B2 (ja) * 2010-09-28 2016-08-02 京セラ株式会社 入力装置及び入力装置の制御方法
US8587547B2 (en) 2010-11-05 2013-11-19 Apple Inc. Device, method, and graphical user interface for manipulating soft keyboards
US8659562B2 (en) 2010-11-05 2014-02-25 Apple Inc. Device, method, and graphical user interface for manipulating soft keyboards
US20120131490A1 (en) * 2010-11-22 2012-05-24 Shao-Chieh Lin Touch-controlled device and method for displaying a virtual keyboard on the touch-controlled device thereof
TW201222396A (en) * 2010-11-22 2012-06-01 Acer Inc Touch-controlled apparatus and method for displaying a virtual keyboard on the touch-controlled apparatus thereof
US20120192118A1 (en) 2011-01-24 2012-07-26 Migos Charles J Device, Method, and Graphical User Interface for Navigating through an Electronic Document
US9250798B2 (en) 2011-01-24 2016-02-02 Apple Inc. Device, method, and graphical user interface with a dynamic gesture disambiguation threshold
US9436381B2 (en) 2011-01-24 2016-09-06 Apple Inc. Device, method, and graphical user interface for navigating and annotating an electronic document
WO2012105158A1 (ja) * 2011-02-04 2012-08-09 パナソニック株式会社 電子機器
JP2012185647A (ja) * 2011-03-04 2012-09-27 Sony Corp 表示制御装置、表示制御方法、およびプログラム
CN102750044B (zh) * 2011-04-19 2016-05-11 北京三星通信技术研究有限公司 一种虚拟键盘装置及其实现方法
TWI467463B (zh) 2011-05-27 2015-01-01 Asustek Comp Inc 具觸控式螢幕的電腦系統及其手勢的處理方法
US9176608B1 (en) 2011-06-27 2015-11-03 Amazon Technologies, Inc. Camera based sensor for motion detection
US9262076B2 (en) 2011-09-12 2016-02-16 Microsoft Technology Licensing, Llc Soft keyboard interface
WO2013093906A1 (en) * 2011-09-19 2013-06-27 Eyesight Mobile Technologies Ltd. Touch free interface for augmented reality systems
TWI524218B (zh) * 2011-10-05 2016-03-01 廣達電腦股份有限公司 觸覺回饋式虛擬鍵盤之提供方法及其電子裝置
US8490008B2 (en) 2011-11-10 2013-07-16 Research In Motion Limited Touchscreen keyboard predictive display and generation of a set of characters
US9652448B2 (en) 2011-11-10 2017-05-16 Blackberry Limited Methods and systems for removing or replacing on-keyboard prediction candidates
US9310889B2 (en) 2011-11-10 2016-04-12 Blackberry Limited Touchscreen keyboard predictive display and generation of a set of characters
US9715489B2 (en) 2011-11-10 2017-07-25 Blackberry Limited Displaying a prediction candidate after a typing mistake
US9122672B2 (en) 2011-11-10 2015-09-01 Blackberry Limited In-letter word prediction for virtual keyboard
US9207852B1 (en) * 2011-12-20 2015-12-08 Amazon Technologies, Inc. Input mechanisms for electronic devices
US9557913B2 (en) 2012-01-19 2017-01-31 Blackberry Limited Virtual keyboard display having a ticker proximate to the virtual keyboard
CA2789827C (en) 2012-01-19 2017-06-13 Research In Motion Limited Virtual keyboard providing an indication of received input
US20130222255A1 (en) 2012-02-24 2013-08-29 Research In Motion Limited Portable electronic device including touch-sensitive display and method of controlling same
EP2631758B1 (en) 2012-02-24 2016-11-02 BlackBerry Limited Touchscreen keyboard providing word predictions in partitions of the touchscreen keyboard in proximate association with candidate letters
CN102629164B (zh) * 2012-02-28 2017-06-27 南京中兴软件有限责任公司 一种多点触摸设备及信息显示方法及应用处理装置
US9019218B2 (en) * 2012-04-02 2015-04-28 Lenovo (Singapore) Pte. Ltd. Establishing an input region for sensor input
CN102662585A (zh) * 2012-04-06 2012-09-12 潘晓雷 一种自适应调整屏幕触控输入范围的方法和移动终端
US9201510B2 (en) 2012-04-16 2015-12-01 Blackberry Limited Method and device having touchscreen keyboard with visual cues
CN102650909B (zh) * 2012-04-16 2015-01-21 杨林 字符输入装置及字符输入方法
US9354805B2 (en) 2012-04-30 2016-05-31 Blackberry Limited Method and apparatus for text selection
US9292192B2 (en) 2012-04-30 2016-03-22 Blackberry Limited Method and apparatus for text selection
US9207860B2 (en) 2012-05-25 2015-12-08 Blackberry Limited Method and apparatus for detecting a gesture
US9116552B2 (en) 2012-06-27 2015-08-25 Blackberry Limited Touchscreen keyboard providing selection of word predictions in partitions of the touchscreen keyboard
KR101983290B1 (ko) 2012-07-17 2019-05-29 삼성전자주식회사 다양한 제스처를 이용하여 키패드를 표시하는 방법 및 장치
US9063653B2 (en) 2012-08-31 2015-06-23 Blackberry Limited Ranking predictions based on typing speed and typing confidence
US9524290B2 (en) 2012-08-31 2016-12-20 Blackberry Limited Scoring predictions based on prediction length and typing speed
US9280656B2 (en) 2012-11-16 2016-03-08 University-Industry Foundation, Yonsei University Device and method for providing security channel interface
KR101430199B1 (ko) * 2012-11-16 2014-09-23 세종대학교산학협력단 비밀 채널 인터페이스 제공 장치 및 방법
DE212014000045U1 (de) 2013-02-07 2015-09-24 Apple Inc. Sprach-Trigger für einen digitalen Assistenten
GB2524442A (en) * 2013-02-08 2015-09-23 Motorola Solutions Inc Method and apparatus for managing user interface elements on a touch-screen device
KR102086799B1 (ko) 2013-02-21 2020-03-09 삼성전자주식회사 가상 키 패드를 디스플레이하기 위한 방법 및 그 전자 장치
CN104077065A (zh) * 2013-03-27 2014-10-01 百度在线网络技术（北京）有限公司 触摸屏终端显示虚拟键盘的方法及触摸屏终端
US20140365946A1 (en) * 2013-06-10 2014-12-11 Pugazhenthi Sankaralingham Systems and methods for operating and managing enterprise systems on a mobile electronic device
JP6154690B2 (ja) * 2013-07-22 2017-06-28 ローム株式会社 ソフトウェアキーボード型入力装置、入力方法、電子機器
DE102013016851A1 (de) * 2013-10-10 2015-04-16 Giesecke & Devrient Gmbh System und Verfahren zur Bearbeitung von Wertdokumenten
KR102206053B1 (ko) * 2013-11-18 2021-01-21 삼성전자주식회사 입력 도구에 따라 입력 모드를 변경하는 전자 장치 및 방법
CN104834457A (zh) * 2014-02-11 2015-08-12 中兴通讯股份有限公司 一种触摸屏键盘的自动调节方法和装置
DE102014208222A1 (de) * 2014-04-30 2015-11-05 Siemens Aktiengesellschaft Verfahren zum Abrufen von Anwendungsbefehlen, Recheneinheit und medizinisches Bildgebungssystem
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
CN104156148B (zh) * 2014-07-18 2018-05-08 百度在线网络技术（北京）有限公司 一种用于提供移动设备中的虚拟键盘的方法和设备
CN104199589B (zh) * 2014-08-27 2017-11-17 宇龙计算机通信科技(深圳)有限公司 一种文字输入方法及内置该文字输入法的移动终端
US9940016B2 (en) 2014-09-13 2018-04-10 Microsoft Technology Licensing, Llc Disambiguation of keyboard input
CN104281385B (zh) * 2014-09-17 2017-03-15 北京搜狗科技发展有限公司 输入法虚拟键盘的调整方法和输入法装置
US10061509B2 (en) * 2014-10-09 2018-08-28 Lenovo (Singapore) Pte. Ltd. Keypad control
US10248192B2 (en) * 2014-12-03 2019-04-02 Microsoft Technology Licensing, Llc Gaze target application launcher
WO2016161556A1 (en) * 2015-04-07 2016-10-13 Intel Corporation Avatar keyboard
US10275436B2 (en) * 2015-06-01 2019-04-30 Apple Inc. Zoom enhancements to facilitate the use of touch screen devices
US10331312B2 (en) * 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
DK201770427A1 (en) 2017-05-12 2018-12-20 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DE102018100197A1 (de) * 2018-01-05 2019-07-11 Bcs Automotive Interface Solutions Gmbh Verfahren zum Betreiben einer Mensch-Maschinen-Schnittstelle sowie Mensch-Maschinen-Schnittstelle
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11829591B2 (en) * 2019-06-01 2023-11-28 Apple Inc. User interface for managing input techniques
US11468890B2 (en) 2019-06-01 2022-10-11 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
CN110531872A (zh) * 2019-08-20 2019-12-03 北京小米移动软件有限公司 输入法窗口展示方法、装置、设备及存储介质
CN110515510B (zh) * 2019-08-20 2021-03-02 北京小米移动软件有限公司 数据处理方法、装置、设备及存储介质
CN112788436B (zh) * 2019-11-04 2022-10-04 腾讯科技（深圳）有限公司 电视平台软键盘显示方法及装置、智能电视以及存储介质
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5252951A (en) 1989-04-28 1993-10-12 International Business Machines Corporation Graphical user interface with gesture recognition in a multiapplication environment
JP4484255B2 (ja) 1996-06-11 2010-06-16 株式会社日立製作所 タッチパネルを備えた情報処理装置および情報処理方法
EP0922275A4 (en) 1996-08-28 2002-08-21 Via Inc SYSTEMS AND METHODS RELATING TO A TOUCH SCREEN
RU2127019C1 (ru) 1997-08-01 1999-02-27 Рыжов Владимир Александрович Пульт дистанционного управления устройствами бытовой техники и компьютерными системами
US20060033724A1 (en) 2004-07-30 2006-02-16 Apple Computer, Inc. Virtual input device placement on a touch screen user interface
US7663607B2 (en) 2004-05-06 2010-02-16 Apple Inc. Multipoint touchscreen
US7844914B2 (en) 2004-07-30 2010-11-30 Apple Inc. Activating virtual keys of a touch-screen virtual keyboard
US7768501B1 (en) * 1998-05-01 2010-08-03 International Business Machines Corporation Method and system for touch screen keyboard and display space sharing
US6501464B1 (en) * 2000-10-31 2002-12-31 Intel Corporation On-screen transparent keyboard interface
US20030038821A1 (en) * 2001-08-27 2003-02-27 Kraft Joshua Dickinson Computer controlled interactive touch display pad with transparent full character keyboard overlaying displayed text and graphics
US6882337B2 (en) * 2002-04-18 2005-04-19 Microsoft Corporation Virtual keyboard for touch-typing using audio feedback
CN1280700C (zh) 2002-07-04 2006-10-18 皇家飞利浦电子股份有限公司 自适应虚拟键盘
JP3630153B2 (ja) 2002-07-19 2005-03-16 ソニー株式会社 情報表示入力装置及び情報表示入力方法、並びに情報処理装置
US7081887B2 (en) * 2002-12-19 2006-07-25 Intel Corporation Method and apparatus for positioning a software keyboard
TW589577B (en) 2003-01-03 2004-06-01 Tatung Co Method to display software keyboard
US7382358B2 (en) * 2003-01-16 2008-06-03 Forword Input, Inc. System and method for continuous stroke word-based text input
US20050162402A1 (en) * 2004-01-27 2005-07-28 Watanachote Susornpol J. Methods of interacting with a computer using a finger(s) touch sensing input device with visual feedback
WO2005106637A2 (en) 2004-05-05 2005-11-10 Koninklijke Philips Electronics N.V. Browsing media items organised using a ring based structure
US7515135B2 (en) * 2004-06-15 2009-04-07 Research In Motion Limited Virtual keypad for touchscreen display
CN101292217B (zh) 2005-10-15 2012-02-22 诺基亚公司 到电子设备的改进的文本录入的方法和设备
AU2006332488A1 (en) * 2005-12-30 2007-07-12 Apple Inc. Portable electronic device with multi-touch input
JP2007183787A (ja) 2006-01-06 2007-07-19 Hitachi High-Technologies Corp ソフトウェアキーボード表示装置
JP2007219966A (ja) 2006-02-20 2007-08-30 Sharp Corp 投影入力装置、投影入力装置を備えた情報端末及び充電器
US7777728B2 (en) * 2006-03-17 2010-08-17 Nokia Corporation Mobile communication terminal
US9063647B2 (en) 2006-05-12 2015-06-23 Microsoft Technology Licensing, Llc Multi-touch uses, gestures, and implementation
US7941760B2 (en) 2006-09-06 2011-05-10 Apple Inc. Soft keyboard display for a portable multifunction device
KR100764652B1 (ko) * 2006-10-25 2007-10-08 삼성전자주식회사 터치스크린을 가지는 단말기의 키 입력 장치 및 방법
US7956847B2 (en) * 2007-01-05 2011-06-07 Apple Inc. Gestures for controlling, manipulating, and editing of media files using touch sensitive devices
US8525792B1 (en) * 2007-11-06 2013-09-03 Sprint Communications Company L.P. Adjustable keyboard or touch screen in a handheld device
KR101352994B1 (ko) * 2007-12-10 2014-01-21 삼성전자 주식회사 적응형 온 스크린 키보드 제공 장치 및 그 제공 방법
US20090183098A1 (en) * 2008-01-14 2009-07-16 Dell Products, Lp Configurable Keyboard
CN101634929B (zh) * 2008-07-23 2012-06-20 鸿富锦精密工业（深圳）有限公司 在数码相框上实现可控媒体变换的方法
US20100156793A1 (en) * 2008-12-19 2010-06-24 Ozias Orin M System and Method For An Information Handling System Touchscreen Keyboard
US9864513B2 (en) * 2008-12-26 2018-01-09 Hewlett-Packard Development Company, L.P. Rendering a virtual input device upon detection of a finger movement across a touch-sensitive display
US8384683B2 (en) * 2010-04-23 2013-02-26 Tong Luo Method for user input from the back panel of a handheld computerized device

Also Published As

Publication number Publication date
KR101691238B1 (ko) 2016-12-29
JP2012511774A (ja) 2012-05-24
KR20110098729A (ko) 2011-09-01
WO2010077430A1 (en) 2010-07-08
CN102246134B (zh) 2015-04-01
EP2356556A4 (en) 2013-06-05
US20100141590A1 (en) 2010-06-10
US9041660B2 (en) 2015-05-26
CN102246134A (zh) 2011-11-16
BRPI0921968A2 (pt) 2018-06-05
RU2011123404A (ru) 2012-12-20
RU2541099C2 (ru) 2015-02-10
EP2356556A1 (en) 2011-08-17

Similar Documents

Publication Publication Date Title
JP5702296B2 (ja) ソフトウェアキーボード制御方法
KR101270847B1 (ko) 터치 감지 입력 장치용 제스처
US9851809B2 (en) User interface control using a keyboard
US8479122B2 (en) Gestures for touch sensitive input devices
KR101072762B1 (ko) 다점 감지 장치를 이용한 제스처링
US20110221666A1 (en) Methods and Apparatus For Gesture Recognition Mode Control
US20120262386A1 (en) Touch based user interface device and method
US20120188164A1 (en) Gesture processing
JP7233109B2 (ja) タッチ感知面－ディスプレイによる入力方法、電子装置、触覚－視覚技術による入力制御方法及びシステム
GB2509599A (en) Identification and use of gestures in proximity to a sensor
WO2022267760A1 (zh) 按键功能执行方法、装置、设备及存储介质
KR20140086805A (ko) 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록매체

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120924

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120924

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131120

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140217

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140417

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140930

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150121

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150219

R150 Certificate of patent or registration of utility model

Ref document number: 5702296

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250