JP5584802B2 - 情報処理装置、情報処理装置の制御方法、制御プログラム、コンピュータ読み取り可能な記録媒体 - Google Patents

情報処理装置、情報処理装置の制御方法、制御プログラム、コンピュータ読み取り可能な記録媒体 Download PDF

Info

Publication number
JP5584802B2
JP5584802B2 JP2013141112A JP2013141112A JP5584802B2 JP 5584802 B2 JP5584802 B2 JP 5584802B2 JP 2013141112 A JP2013141112 A JP 2013141112A JP 2013141112 A JP2013141112 A JP 2013141112A JP 5584802 B2 JP5584802 B2 JP 5584802B2
Authority
JP
Japan
Prior art keywords
virtual
touch screen
input device
screen display
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013141112A
Other languages
English (en)
Other versions
JP2014029686A (ja
Inventor
英樹 金谷
良彦 芝
典明 遊佐
憲一 石飛
威 鑓田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2013141112A priority Critical patent/JP5584802B2/ja
Priority to CN201380035983.6A priority patent/CN104428746A/zh
Priority to US14/412,299 priority patent/US20150186037A1/en
Priority to PCT/JP2013/068550 priority patent/WO2014007381A1/ja
Publication of JP2014029686A publication Critical patent/JP2014029686A/ja
Application granted granted Critical
Publication of JP5584802B2 publication Critical patent/JP5584802B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04808Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Input From Keyboards Or The Like (AREA)
  • Position Input By Displaying (AREA)

Description

本発明は、仮想入力装置を表示することが可能なタッチスクリーンディスプレイを搭載した情報処理装置、情報処理装置の制御方法、制御プログラム、コンピュータ読み取り可能な記録媒体に関する。
スマートホンなど、タッチパネルで操作する電子機器が増えてきており、電子黒板やTV会議システムなどタッチパネルが搭載された大型の表示装置も導入されている。特に近年、80インチを超える大型サイズのタッチスクリーンディスプレイを備えたテレビ受像機やデジタルサイネージも商品化されてきている。一方で、タッチスクリーンディスプレイ上に置かれた使用者の手の大きさに対応した大きさで、複数の仮想キーを含み、仮想キーのコードデータを出力する仮想キーボードをタッチスクリーンディスプレイに表示できる技術が開発されている。
例えば、特許文献1には、タッチスクリーンディスプレイ上に置かれた使用者の手の大きさを検出し、検出された大きさに応じた大きさの仮想キーボードを表示する情報処理装置が開示されている。詳細には、上記情報処理装置は、タッチスクリーンディスプレイと、前記タッチスクリーンディスプレイからの検出信号に応じて、前記タッチスクリーンディスプレイ上に置かれた使用者の手の大きさを検出する検出手段と、キーコードをそれぞれ入力するための複数の仮想キーを含む仮想キーボードを前記タッチスクリーンディスプレイ上に表示する仮想キーボード表示手段であって、前記検出手段によって検出された大きさに応じた大きさの前記仮想キーボードを表示する表示手段と、前記仮想キーボードの内の操作された仮想キーに対応するコードデータを出力する出力手段を具備する。
特開2011−159089号公報(2011年8月18日公開)
しかしながら、上記従来の構成では、入力を開始するまでに、キーボードを「表示させる」、「移動する」、「大きさを調整する」といった数段階の動作を必要とするので、作業効率が損なわれてしまうという問題を生じる。具体的には、特許文献1の情報処理装置では、使用者の手の大きさを検出するために両手を使用する必要があり、合わせて10か所のポイントをタッチパネルで認識しなければならない。
また、近時、タッチパネルを複数人で四方から同時に操作する場面も想定され、操作性の向上が必要である。しかしながら、上記従来の構成では、そのような課題は考慮されていない。
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、タッチスクリーンディスプレイ画面に簡便な操作で、使用者の使いやすい形状で仮想入力装置を表示することができる情報処理装置、情報処理装置の制御方法、制御プログラム、コンピュータ読み取り可能な記録媒体を実現することにある。
上記の課題を解決するために、本発明に係る情報処理装置は、タッチスクリーンディスプレイを備え、使用者が操作入力を行うための仮想入力装置を上記タッチスクリーンディスプレイに表示する情報処理装置において、上記タッチスクリーンディスプレイ上で指定された2つの指定点を取得する指定点取得手段と、上記指定点取得手段が取得した上記2つの指定点のそれぞれに、上記仮想入力装置にあらかじめ設定されている2つの基準点のそれぞれが一致するように、上記タッチスクリーンディスプレイにおける上記仮想入力装置の大きさおよび位置を決定する形状決定手段と、上記形状決定手段が決定した大きさおよび位置で上記仮想入力装置を上記タッチスクリーンディスプレイに表示する仮想入力装置表示手段と、を備えることを特徴としている。
また、本発明に係る情報処理装置の制御方法は、タッチスクリーンディスプレイを備え、使用者が操作入力を行うための仮想入力装置を上記タッチスクリーンディスプレイに表示する情報処理装置の制御方法において、上記タッチスクリーンディスプレイ上で指定された2つの指定点を取得する指定点取得ステップと、上記指定点取得ステップにて取得した上記2つの指定点のそれぞれに、上記仮想入力装置にあらかじめ設定されている2つの基準点のそれぞれが一致するように、上記タッチスクリーンディスプレイにおける上記仮想入力装置の大きさおよび位置を決定する形状決定ステップと、上記形状決定ステップにて決定した大きさおよび位置で上記仮想入力装置を上記タッチスクリーンディスプレイに表示する仮想入力装置表示ステップと、を含むことを特徴としている。
上記の構成によれば、情報処理装置は、タッチスクリーンディスプレイ上で指定された2つの指定点を取得し、上記2つの指定点のそれぞれに、仮想入力装置にあらかじめ設定されている2つの基準点のそれぞれが一致するように、タッチスクリーンディスプレイにおける仮想入力装置の大きさおよび位置を決定する。そして、決定した大きさおよび位置に従って、仮想入力装置をタッチスクリーンディスプレイに表示する。
したがって、表示する仮想入力装置の位置を、指定点の位置に決定することができる。また、2つの指定点の距離が、仮想入力装置の2つの基準点の距離と一致するように、仮想入力装置の拡縮の程度を決定することによって、表示する仮想入力装置の大きさを決定することができる。
それゆえ、使用者が2つの指定点をタッチスクリーンディスプレイ上に、仮想入力装置を表示したい位置に、表示したい仮想入力装置の大きさを指定するように入力することにより、使用者の所望の位置および大きさで仮想入力装置を表示することができる。
よって、タッチスクリーンディスプレイ上に2つの指定点を入力するという簡便な操作により、使用者の使いやすい位置および大きさで仮想入力装置をタッチディスプレイに表示することができる。
さらに、本発明に係る情報処理装置は、上記指定点取得手段は、1つ目に指定された第1指定点と2つ目に指定された第2指定点とを区別して取得するものであり、上記形状決定手段は、上記第1指定点と上記第2指定点との相対的位置関係に応じて、上記タッチスクリーンディスプレイにおける上記仮想入力装置の向きを決定するものである、ことを特徴としている。
上記の構成によれば、さらに、情報処理装置は、上記2つの指定点を、1つ目に指定された第1指定点と2つ目に指定された第2指定点とを区別して取得し、第1指定点と第2指定点との相対的位置関係に応じて、タッチスクリーンディスプレイにおける仮想入力装置の向きを決定する。ここで、2つの指定点を区別することにより、2つの指定点の相対的位置関係を一つに決定することができる。その結果、タッチスクリーンディスプレイにおける仮想入力装置の向きを決定することが可能となる。
それゆえ、使用者が2つの指定点をタッチスクリーンディスプレイ上に入力する際、例えば、1つ目の指定点を入力後に2つ目の指定点を入力することにより、使用者はタッチスクリーンディスプレイに表示する仮想入力装置の向きを指定することができる。
よって、タッチスクリーンディスプレイ上に2つの指定点を区別して入力するという簡便な操作により、使用者の使いやすい向きで仮想入力装置をタッチディスプレイに表示することができる。
さらに、本発明に係る情報処理装置は、上記指定点取得手段は、上記第1指定点の取得後、該第1指定点を基準とする上記タッチスクリーンディスプレイの所定範囲内において、所定時間、同じ位置が指定されたとき、当該位置を上記第2指定点として取得するものであることを特徴としている。
上記の構成によれば、さらに、情報処理装置は、第1指定点の取得後、該第1指定点を基準とするタッチスクリーンディスプレイの所定範囲内において、所定時間、同じ位置が指定されたとき、当該位置を第2指定点として取得する。すなわち、第2指定点を、限られた範囲内での長押し操作として検出する。ここで、「所定範囲」は、タッチスクリーンディスプレイに2つの指定点を入力している使用者のみが操作可能な位置および形状に設定することが望ましい。また、「所定時間」は、2つの指定点を入力している使用者が、第2指定点を入力する意図を明示するのに過不足のない時間に設定することが望ましい。
これにより、仮想入力装置を表示するために2つの指定点を入力している使用者による操作のみを、2つの指定点の入力として取得することができる。
よって、他人の偶発的な操作入力を検出し、誤作動により、仮想入力装置の表示することを防止できる。
さらに、本発明に係る情報処理装置は、上記タッチスクリーンディスプレイにおける上記仮想入力装置の表示に応じて、当該仮想入力装置と同時に上記タッチスクリーンディスプレイに表示する画像の全部または一部の配置を変更することを特徴としている。
上記の構成によれば、仮想入力装置と同時に表示する画像を、入力を行う使用者が見やすいように表示させることができる。また、入力時において、入力を行っていない使用者の画面の確認を容易にすることもできる。
さらに、本発明に係る情報処理装置は、複数の上記仮想入力装置を上記タッチスクリーンディスプレイに表示しているとき、1つの上記仮想入力装置を用いて使用者が操作入力を行っている期間、他の上記仮想入力装置からは使用者が操作入力を行えないようにすることを特徴としている。
上記の構成によれば、入力を開始した使用者が、入力中に、独占的に入力することができる。すなわち、他者の入力の介入を受けることなく安心して入力できる。
さらに、本発明に係る情報処理装置は、上記タッチスクリーンディスプレイに表示する上記仮想入力装置を、あらかじめ設定された複数種から選択する使用者の操作を取得する装置選択手段をさらに備えることを特徴としている。
上記の構成によれば、さらに、情報処理装置は、タッチスクリーンディスプレイに表示する仮想入力装置を、あらかじめ設定された複数種から選択する使用者の操作を取得する。
これにより、使用者の選択に応じて、仮想入力装置を表示することができる。複数種の仮想入力装置としては、例えば、仮想キーボード、仮想テンキーパッド、仮想タッチパッドが考えられる。ただし、これに限定されず、大きさ等の形状を変更可能なものであれば、任意に適用できる。
よって、使用者は複数種の仮想入力装置から表示したい仮想入力装置を選択して表示することができる。
また、本発明に係る電子白板は、上記の情報処理装置を備えていることを特徴としている。
よって、電子白板の画面(タッチスクリーンディスプレイ)に簡便な操作で、使用者の使いやすい形状で仮想入力装置を表示することが可能となる。
また、本発明に係るテレビ受像機は、上記の情報処理装置を備えていることを特徴としている。
よって、テレビ受像機の画面(タッチスクリーンディスプレイ)に簡便な操作で、使用者の使いやすい形状で仮想入力装置を表示することが可能となる。
また、本発明に係るデジタルサイネージは、上記の情報処理装置を備えていることを特徴としている。
よって、デジタルサイネージの画面(タッチスクリーンディスプレイ)に簡便な操作で、使用者の使いやすい形状で仮想入力装置を表示することが可能となる。
なお、上記情報処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより上記情報処理装置をコンピュータにて実現させる情報処理装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
以上より、本発明に係る情報処理装置は、タッチスクリーンディスプレイ上で指定された2つの指定点を取得する指定点取得手段と、上記指定点取得手段が取得した上記2つの指定点のそれぞれに、仮想入力装置にあらかじめ設定されている2つの基準点のそれぞれが一致するように、上記タッチスクリーンディスプレイにおける上記仮想入力装置の大きさおよび位置を決定する形状決定手段と、上記形状決定手段が決定した大きさおよび位置で上記仮想入力装置を上記タッチスクリーンディスプレイに表示する仮想入力装置表示手段と、を備える構成である。
また、本発明に係る情報処理装置の制御方法は、タッチスクリーンディスプレイ上で指定された2つの指定点を取得する指定点取得ステップと、上記指定点取得ステップにて取得した上記2つの指定点のそれぞれに、仮想入力装置にあらかじめ設定されている2つの基準点のそれぞれが一致するように、上記タッチスクリーンディスプレイにおける上記仮想入力装置の大きさおよび位置を決定する形状決定ステップと、上記形状決定ステップにて決定した大きさおよび位置で上記仮想入力装置を上記タッチスクリーンディスプレイに表示する仮想入力装置表示ステップと、を含む方法である。
それゆえ、使用者が2つの指定点をタッチスクリーンディスプレイ上に、仮想入力装置を表示したい位置に、表示したい仮想入力装置の大きさを指定するように入力することにより、使用者の所望の位置および大きさで仮想入力装置を表示することができる。
よって、タッチスクリーンディスプレイ上に2つの指定点を入力するという簡便な操作により、使用者の使いやすい位置および大きさで仮想入力装置をタッチディスプレイに表示することができるという効果を奏する。
本発明の一実施の形態に係る情報処理装置の構成の概略を示す機能ブロック図である。 図1に示した情報処理装置が備えるタッチスクリーンディスプレイの外観の一例を示す説明図である。 (a)〜(c)は、図1に示した情報処理装置が表示する仮想キーボードの設定方法の概要を示す説明図である。 図1に示した情報処理装置が表示する仮想キーボードに設定された2つの基準点を示す説明図である。 図1に示した情報処理装置が備える設定テーブル記憶部に記憶される設定テーブルの一例を示すテーブルである。 図1に示した情報処理装置における仮想入力装置の表示処理の流れを示すフローチャートである。 図1に示した情報処理装置が表示する仮想キーボード以外の仮想入力装置の例を示す説明図であり、(a)は仮想テンキーパッド、(b)は仮想タッチパッドを示す。 図1に示した情報処理装置において、複数種の仮想入力装置から表示する仮想入力装置を選択する方法を示す説明図である。 図1に示した情報処理装置において、複数種の仮想入力装置から表示する仮想入力装置を選択する処理の流れを示すフローチャートである。 (a)〜(c)は、図1に示した情報処理装置が仮想キーボードを表示する際のアプリケーション画面のパターンの例を示す説明図である。 (a)〜(c)は、図1に示した情報処理装置が表示する仮想キーボードの形態の例を示す説明図である。 本発明の変形例1に係るタッチスクリーンディスプレイに表示される仮想キーボードの表示例を示す説明図である。 (a)および(b)は、本発明の変形例3に係るタッチスクリーンディスプレイに表示される仮想キーボードの表示例を示す説明図である。 (a)〜(c)は、本発明の変形例3に係るタッチスクリーンディスプレイに表示される仮想キーボードの表示例を示す説明図である。 (a)および(b)は、本発明の変形例3に係るタッチスクリーンディスプレイに表示される仮想キーボードの表示例を示す説明図である。 (a)および(b)は、本発明の変形例3に係るタッチスクリーンディスプレイに表示される仮想キーボードの表示例を示す説明図である。 特定の仮想キーボードから入力している時のタッチスクリーンディスプレイに表示される画像の表示例を示す説明図である。 特定の仮想キーボードから入力している時のタッチスクリーンディスプレイに表示される画像の表示例を示す説明図である。
〔実施形態〕
以下、図1〜図18を参照しながら、本発明の一実施の形態について詳細に説明する。
〔情報処理装置の概要〕
図2に、本発明の一実施形態に係る情報処理装置1が備えるタッチスクリーンディスプレイ2の外観の一例を示す。
情報処理装置1は、タッチスクリーンディスプレイ2を少なくとも備え、使用者が操作入力を行うための仮想キーボード31、32等の仮想入力装置をタッチスクリーンディスプレイ2に表示する装置である。なお、本実施の形態においては、タッチスクリーンディスプレイ2に表示する仮想キーボードのうち、作成済みのものを仮想キーボード31、新規に作成するものを仮想キーボード32として区別して示すことがある。
情報処理装置1のタッチスクリーンディスプレイ2は、LCD(液晶表示装置)2D(図1)の表示面に、透明のタッチパネル2T(図1)が配置されており、LCD2Dとタッチパネル2Tとによって実現されている。なお、タッチパネル2Tには、例えば、抵抗膜方式または静電容量方式等を用いることができる。また、タッチパネル2Tには、複数のタッチ位置を同時に検知可能なマルチタッチパネルを使用してもよい。
タッチスクリーンディスプレイ2は、使用者がペンまたは指によってタッチしたLCD2Dの表示画面上のタッチ位置を、タッチパネル2Tが検知可能に構成されている。タッチスクリーンディスプレイ2の表示画面上のタッチ位置を示す座標データは、タッチスクリーンディスプレイ2から情報処理装置1内の後述する処理部に入力される。これにより、使用者は、LCD2Dの表示画面上に表示された各種オブジェクト(例えば、フォルダやファイルを表すアイコン、メニュー、ボタン、等)を指先やペンなどを用いて選択することができる。
本実施の形態では、図2に示すように、タッチスクリーンディスプレイ2は、仮想キーボード31(ソフトウェアキーボードとも言う)の表示が可能である。この仮想キーボード31は、複数のキーコードをそれぞれ入力するための複数の仮想キー(ソフトウェアボタンとも言う)を含む。より詳しくは、仮想キーは、数字キー、アルファベットキー、矢印キー、ファンクションキー、その他の補助キー等である。使用者は、LCD2Dに表示される仮想キーボード31の仮想キーを、タッチパネル2Tを介してタッチ操作することにより、LCD2Dに表示されるアプリケーションウィンドウ等に対して各種コードデータ(キーコード、文字コード、コマンド等)を入力することができる。
また、情報処理装置1は、タッチスクリーンディスプレイ2を複数人が異なる方向から同時に操作することが可能である。すなわち、情報処理装置1のタッチスクリーンディスプレイ2には、複数の使用者がそれぞれ、自分の手の大きさおよび向きに合わせて、仮想キーボード31、32を生成し、表示することができる。具体的には、1人目の使用者がタッチスクリーンディスプレイ2に自分の仮想キーボード31を表示させて使用しているとき、2人目の使用者がタッチスクリーンディスプレイ2に自分の仮想キーボード32を生成して、表示することができる。そして、仮想キーボード31、32は、一度表示された後に、異なる大きさ、向きおよび位置に変更することができる。
なお、タッチスクリーンディスプレイ2に表示する仮想入力装置としては、仮想キーボードの他、仮想テンキーパッド、仮想タッチパッドが考えられるが、これに限定されず、タッチスクリーンディスプレイ2上における大きさ等の形状を使用者毎に変更可能なものであれば、任意に適用できる。また、タッチスクリーンディスプレイ2に表示する仮想入力装置の形態は、アプリケーションを限定しない汎用の形態であってもよいが、特定のアプリケーションで用いられるように専用の形態であってもよい。専用の形態の仮想入力装置としては、テレビのリモコンキー(図11の(a))、スマートホンのタッチパネル(図11の(b))、BDレコーダの操作キー(図11の(c))などが具体例として挙げられるが、これらに限られるものではない。
次に、図1を参照して、タッチスクリーンディスプレイ2に仮想入力装置を表示させるためのシステムの構成について説明する。図1は、情報処理装置1の構成の概略を示す機能ブロック図である。
〔仮想入力装置表示のための情報処理装置の構成〕
図1に示すように、情報処理装置1は、タッチスクリーンディスプレイ2、タッチパネルドライバ3、仮想入力装置制御部4、アプリケーション部5、表示ドライバ6を備えて構成されている。
タッチスクリーンディスプレイ2は、上述のように、LCD(液晶表示装置)2Dと、LCD2Dの上面に配置されている透明のタッチパネル2Tから構成される。タッチパネル2Tは、使用者がタッチした位置を検出したタッチ検出信号をタッチパネルドライバ3に出力する。LCD2Dは、表示ドライバ6を介して、アプリケーション画面や仮想キーボード31、32等の仮想入力装置を表示する。
タッチパネルドライバ3は、タッチパネル2Tからのタッチ検出信号から、タッチスクリーンディスプレイ2上のタッチ位置を示す座標データ(タッチ位置検出情報)を生成して、仮想入力装置制御部4に出力する。
アプリケーション部5は、仮想入力装置制御部4から出力されたコードデータを受信し、所定のアプリケーションによって処理する。
表示ドライバ6は、仮想入力装置制御部4の制御に従って、仮想キーボード31、32等の仮想入力装置をタッチスクリーンディスプレイ2のLCD2Dに表示する。また、表示ドライバ6は、アプリケーション部5の制御に従って、アプリケーション画面をタッチスクリーンディスプレイ2のLCD2Dに表示する。
仮想入力装置制御部4は、仮想入力装置の種別、大きさ、向き、位置等の形状を決定して、表示ドライバ6を介して、タッチスクリーンディスプレイ2のLCD2Dに表示する。
そのため、仮想入力装置制御部4は、モード切り換え部11、仮想キー選択部12、キー割り当て情報記憶部13、コード出力部14、仮想入力装置設定部15、タイマー16、設定テーブル記憶部17、仮想入力装置表示部(仮想入力装置表示手段)18を備えて構成されている。
モード切り換え部11は、仮想入力装置制御部4の処理のモード切り換えを行う。モード切り換え部11は、後述する所定のタッチ操作が行われたとき、通常モードから機能作成モードに遷移する。モード切り換え部11は、通常モードのとき、タッチパネルドライバ3からのタッチ位置検出情報を仮想キー選択部12に出力する。一方、機能作成モードにおいては、タッチ位置検出情報を仮想入力装置設定部15に出力する。
仮想キー選択部12は、仮想キーボード31の複数の仮想キーから使用者によってタッチされた仮想キーを選択する。仮想キーの選択は、タッチ位置を示すタッチ位置検出情報に基づき、キー割当て情報記憶部13に記憶されているキー割当て情報を参照することにより行われる。
キー割当て情報記憶部13は、キー割り当て情報13を記憶している。キー割り当て情報には、複数の仮想キーそれぞれが表示されるタッチスクリーンディスプレイ2上の領域、つまり仮想キーそれぞれの表示領域の位置と、出力すべきコードデータとの対応関係があらかじめ設定されている。
コード出力部14は、仮想キー選択部12によって選択された仮想キーに対応するコードデータをアプリケーション部5に出力する。
仮想入力装置設定部15は、仮想キーボード32等の仮想入力装置の新規生成および位置や形状等の変更を行う。なお、仮想入力装置設定部15は、仮想入力装置の位置や形状等を示す設定情報を、その仮想入力装置を生成あるいは設定を変更した使用者のID等と対応付けて、使用者毎に記憶しておいてもよい。
具体的には、仮想入力装置設定部15は、タッチパネル2Tで指定された2つの指定点P1、P2を取得し、2つの指定点P1、P2のそれぞれに、仮想キーボード32等の仮想入力装置にあらかじめ設定されている2つの基準点K1、K2のそれぞれが一致するように、仮想入力装置の大きさ、位置、および向き決定する。すなわち、仮想入力装置設定部15は、2つの指定点P1、P2の距離に合わせて、仮想入力装置の基準点K1、K2の距離を拡縮させて仮想入力装置の大きさを決定する。これにより、簡便な操作で、使用者の使いやすい形状で仮想キーボード32等の仮想入力装置をタッチスクリーンディスプレイ2に表示することができる。
そのために、仮想入力装置設定部15は、指定点取得部(指定点取得手段)21、形状決定部(形状決定手段)22、装置選択部(装置選択手段)23を備える。
指定点取得部21は、タッチスクリーンディスプレイ2上で指定された2つの指定点P1、P2を、1つ目に指定された第1指定点P1と2つ目に指定された第2指定点P2とで区別して取得する。具体的には、指定点取得部21は、第1指定点P1の取得後、所定時間(入力可能時間t2)の間に、該第1指定点P1を基準とするタッチスクリーンディスプレイ2の所定範囲(第2指定点入力領域33(図3の(a)))内において、所定時間(長押し時間t3)、同じ位置が指定されたとき、当該位置を第2指定点P2として取得する。
形状決定部22は、指定点取得部21が取得した2つの指定点P1、P2のそれぞれに、仮想キーボードにあらかじめ設定されている2つの基準点K1、K2のそれぞれが一致するように、タッチスクリーンディスプレイ2における仮想キーボード32の大きさおよび位置を決定する。また、形状決定部22は、第1指定点P1と第2指定点P2との相対的位置関係に応じて、タッチスクリーンディスプレイ2における仮想キーボード32の向きを決定する。
具体的には、2つの指定点P1、P2を、入力操作の先後に応じて、1つ目に指定された第1指定点P1と2つ目に指定された第2指定点P2とに区別するとともに、2つの基準点K1、K2を、第1指定点P1に対応する第1基準点K1と第2指定点P2に対応する第2基準点K2とに区別しておく。そして、形状決定部22は、第1指定点P1に第1基準点K1を対応させ、第2指定点P2に第2基準点K2を対応させることにより、仮想キーボード32の大きさおよび位置と同時に、向きを決定する。
装置選択部23は、タッチスクリーンディスプレイ2に表示する仮想入力装置を、あらかじめ設定された複数種(仮想キーボード32、仮想テンキーパッド41、仮想タッチパッド42)から選択する使用者の操作を取得する。
さらに、タイマー16は、モード切り換え部11および仮想入力装置設定部15に入力された、タッチスクリーンディスプレイ2上で検出されたタッチ信号のタッチ時間を検出する。具体的には、タイマー16は、第1長押し時間t1、入力可能時間t2、第2長押し時間t3の計時に利用される。なお、第1長押し時間t1、入力可能時間t2、第2長押し時間t3は任意に設定できる。
設定テーブル記憶部17は、仮想入力装置設定部15が参照するための設定テーブルを記憶する。設定テーブルには、仮想入力装置の種別毎に、第1基準点K1および第2基準点K2の位置が対応付けて、あらかじめ設定されている。
仮想入力装置表示部18は、形状決定部22が決定した大きさおよび位置で仮想キーボード32をタッチスクリーンディスプレイ2に表示する。
上記の構成により、仮想入力装置制御部4は、通常モードのとき、タッチ位置検出情報を受信し、そのタッチ位置検出情報に基づいて、仮想キーボード31内の複数の仮想キーから使用者によってタッチされた仮想キーを選択し、キー割当て情報13に基づいて、当該タッチ位置検出情報に対応するコードデータをアプリケーション部5に出力する。また一方で、仮想入力装置制御部4は、機能作成モードのとき、タッチ位置検出情報を受信し、そのタッチ位置検出情報に基づいて、表示する仮想キーボード32の種類、大きさ、向き、位置等の形状を決定し、決定された形状で仮想キーボード32を表示ドライバ6を介して、LCD2Dに表示させる。
〔仮想キーボードの設定方法の概要〕
図3から5を参照して、使用者が使用しやすい大きさ、向きおよび位置に仮想キーボードを表示する方法の概要について説明する。図3は、仮想キーボードの設定方法の概要を示す説明図である。図4は、仮想キーボードに設定された2つの基準点を示す説明図である。図5は、設定テーブル記憶部17に記憶される設定テーブルの一例を示すテーブルである。
図3の(a)に示すように、タッチスクリーンディスプレイ2上のある位置に、使用者の指等により、所定時間(第1長押し時間t1)以上のタッチ操作が行われると、当該位置を第1指定点P1として決定するとともに、タッチスクリーンディスプレイ2上に、そのタッチ位置を中心とした円である第2指定点入力領域33を表示する。
次に、図3の(b)に示すように、表示された第2指定点入力領域33内に、使用者の別の指等により、所定時間(第2長押し時間t3)以上のタッチ操作が行われると、当該位置を第2指定点P2として決定する。そして、第1指定点P1および第2指定点P2の間の距離cを演算する。そして、距離cが、仮想キーボードにあらかじめ設定されている2つの基準点K1、第2基準点(例えば、2つのキーKey1、Key2のそれぞれの中心座標)間の距離dとなるように、仮想キーボード32の大きさを決定する(図3の(c))。
ここで、第2指定点P2の入力は、第1指定点P1の入力後の所定時間(入力可能時間t2)の間だけ、第2指定点入力領域33内に限って行えるようにする。これにより、仮想キーボード32を設定しようとしている使用者以外の者による操作によって、誤作動することを防止することができる。
図3の(b)(c)および図4に示されているように、第1指定点P1の位置座標(xP1,yP1)は仮想キーボードのKey1の中心座標である第1基準点K1(x1,y1)に対応し、第2指定点P2の位置座標(xP2,yP2)はKey2の中心座標である第2基準点K2(x2,y2)に対応する。ここで、図3の(c)および図5に示されているように、例えば、第1基準点K1および第2基準点K2は、使用者が右手親指によって第1指定点P1を入力し、右手小指によって第2指定点P2を入力するものとして設定することができる。また、第1基準点K1はスペースキー(Key1)の中心座標に、第2基準点K2はエンターキー(Key2)の中心座標に割り当てることができる。ただし、2つの基準点K1、K2の仮想キーボードにおける位置や、2つの指定点P1、P2の入力方法については、上記に限定されず任意に選択することができる。
〔仮想キーボードの設定変更方法の概要〕
次に、タッチスクリーンディスプレイ2上に表示された仮想キーボード31の向き、大きさおよび位置の変更方法について説明する。
使用者が、タッチスクリーンディスプレイ2上に表示された仮想キーボード31のKey1およびKey2の領域を同時に所定時間(変更開始長押し時間ts)以上タッチ操作すると、Key1およびKey2にタッチ操作を行っている指(操作体)等の中心座標を、第1指定点P1および第2指定点P2として取得する。このとき、図5に基づき、Key1にタッチ操作を行っている指等の中心座標を第1指定点P1とし、Key2にタッチ操作を行っている指等の中心座標を第2指定点P2とする。その後、使用者がタッチ操作を行っている指等をタッチスクリーンディスプレイ2上で移動させると、それに連動して指定点P1、P2を移動させる。そして、指定点P1、P2が所定時間(変更決定長押し時間td)以上停止したとき、〔仮想キーボードの設定方法の概要〕において上述したように、指定点P1、P2の位置に基づいて、仮想キーボード31の向き、大きさおよび位置を決定する。なお、変更開始長押し時間ts、変更決定長押し時間tdは、任意に設定できる。
〔仮想キーボードの表示方法の詳細な流れ〕
図6を参照して、使用者が使用しやすい大きさ、向きおよび位置の仮想キーボードをタッチスクリーンディスプレイ2上に表示する処理の流れについて説明する。図6は、仮想入力装置の表示処理の流れを示すフローチャートである。
まず、モード切り換え部11が、タッチスクリーンディスプレイ2上で検出されたタッチ位置P1の位置座標(xP1,yP1)を示すタッチ位置検出情報を取得する(S1)。そして、モード切り換え部11がタッチ位置検出情報を取得したとき(S1においてYes)、タイマー16がタッチ位置P1におけるタッチ操作の持続時間を計測し、タッチ操作が第1長押し時間t1以上であった場合(S2においてYes)、当該位置を第1指定点P1として決定するとともに、タッチスクリーンディスプレイ2上に、そのタッチ位置を中心とした所定半径の円である第2指定点入力領域33を表示する(S3)。一方、タッチ操作の持続時間が第1長押し時間t1未満であった場合(S2においてNo)、ステップS1に移行する。
このように、タッチ操作の第1長押し時間t1以上の持続を検出することによって、誤作動による仮想入力装置表示を防止することができる。また、第2指定点入力領域33を円画像としてタッチスクリーンディスプレイ2に表示することにより、通常モードから機能作成モードに移行したこと、第1指定点P1の入力が完了したこと、第2指定点P2の入力が可能であることと、第2指定点P2の入力可能な範囲を使用者に知らせることができる。
ここで、モード切り換え部11は、タッチ操作を長押し操作として検出したとき、通常モードから機能作成モードに移行し、タッチ位置検出情報を仮想入力装置設定部15に出力する。すなわち、上記のように、タッチ位置P1の位置座標(xP1,yP1)を指定取得部21に出力する。そして、指定点取得部21は、タッチ位置P1を第1指定点P1とし、仮想入力装置表示部18に、第1指定点P1の位置座標(xP1,yP1)を中心とした所定半径の第2指定点入力領域33を、表示ドライバ6を介しタッチスクリーンディスプレイ2に表示させる。その後、第2指定点入力領域33内へのタッチ操作が検出されると、そのタッチ位置検出情報もモード切り換え部11から指定取得部21に出力される。
次に、仮想入力装置表示部18が第2指定点入力領域33を表示した後、タイマー16が第2指定点入力領域33の表示からの経過時間を計測する。そして、第2指定点入力領域33の表示から入力可能時間t2以内に、指定点取得部21がタッチスクリーンディスプレイ2上で検出されたタッチ位置P2の位置座標(xP2,yP2)を示すタッチ位置検出情報を取得し(S4においてYes)、かつ、該タッチ位置P2が第2指定点入力領域33内であった場合(S5においてYes)、タイマー16がタッチ位置P2におけるタッチ操作の持続時間の計測を開始する(S6)。そして、タッチ位置P2におけるタッチ操作の持続時間が第2長押し時間t3となったとき(S6においてYes)、当該位置を第2指定点P2として決定するとともに、第1指定点P1および第2指定点P2に基づいて、仮想キーボード32の形状等を決定する(S7;形状決定ステップ)。詳細には、上述したように、形状決定部22が、2つの指定点P1、P2のそれぞれに、仮想キーボードにあらかじめ設定されている2つの基準点K1、K2のそれぞれが一致するように、タッチスクリーンディスプレイ2における仮想キーボード32の大きさおよび位置を決定する。そして、仮想入力装置表示部18が、決定された大きさ、向きおよび位置にしたがって仮想キーボード32をタッチスクリーンディスプレイ2に表示する(S8;仮想入力装置表示ステップ)。なお、上記のステップS1〜S6が、指定点取得ステップに対応する。
一方、第2指定点入力領域33の表示から入力可能時間t2以内に、タッチスクリーンディスプレイ2上でタッチ操作が検出されなかった場合(S4においてNo)、指定点取得部21は、仮想入力装置表示部18にスクリーンディスプレイ2に表示していた第2指定点入力領域33の表示を止めさせ、ステップS1に移行する。また、タッチ操作が検出されなかった場合でも、タッチ位置P2が第2指定点入力領域33外であった場合(S5においてNo)、および、タッチ位置P2におけるタッチ操作の持続時間が第2長押し時間t3未満の場合(S6においてNo)には、ステップS4に移行して、新たなタッチ位置P2の検出を待つ。
このように、第2指定点入力領域33の表示時間を入力可能時間t2に限定することにより、誤作動による仮想入力装置の表示を防止することができる。また、第2指定点P2の入力を第2指定点入力領域33に限定することにより、誤作動による仮想入力装置の表示を防止することができる。
〔仮想キーボード以外の仮想入力装置の例〕
タッチスクリーンディスプレイ2に表示する仮想入力装置は、仮想キーボードに限られない。以下、仮想キーボード以外の仮想入力装置の例として、仮想テンキーパッド、仮想タッチパッドについて説明する。図7は、仮想キーボード以外の仮想入力装置の例を示す説明図であり、(a)は仮想テンキーパッド、(b)は仮想タッチパッドを示す。
図7の(a)および図5に示すように、仮想テンキーパッド41では、第1基準点K1および第2基準点K2は、使用者が右手親指によって第1指定点P1を入力し、右手人指し指によって第2指定点P2を入力するものとして設定されている。そして、第1基準点K1は“0”キー(Key1)の中心座標に、第2基準点K2は“−”キー(Key2)の中心座標に割り当てられている。
また、図7の(b)および図5に示すように、仮想タッチパッド42では、第1基準点K1および第2基準点K2は、使用者が右手親指によって第1指定点P1を入力し、右手人指し指によって第2指定点P2を入力するものとして設定されている。そして、第1基準点K1はタッチ領域の左下すみに、タッチ領域の右上すみに割り当てられている。
ただし、タッチスクリーンディスプレイ2に表示する仮想入力装置としては、仮想キーボード、仮想テンキーパッド、仮想タッチパッドに限定されず、タッチスクリーンディスプレイ2上における大きさ等の形状を使用者毎に変更可能なものであれば、任意に適用できる。また、2つの基準点K1、K2の各仮想入力装置における位置や、2つの指定点P1、P2の入力方法については、上記に限定されず任意に選択することができる。
〔複数種の仮想入力装置から表示する仮想入力装置を選択する方法〕
次に、図8、図9を参照して、複数種の仮想入力装置から表示する仮想入力装置を選択する方法の概要について説明する。図8は、情報処理装置1において、複数種の仮想入力装置から表示する仮想入力装置を選択する方法を示す説明図である。図9は、情報処理装置1において、複数種の仮想入力装置から表示する仮想入力装置を選択する処理の流れを示すフローチャートである。
図9に示すフローチャートにおけるステップS1〜S6、S7〜S8は、〔仮想キーボードの表示方法の詳細な流れ〕で前述した図6に示されたフローチャートのステップS1〜S6、S7〜S8と同様であるため、ここでは繰り返し説明を記述しない。
図9に示すように、ステップS6までの条件が満たされると、装置選択部23は、第2指定点入力領域33に代えて、装置選択サークル34を仮想入力装置表示部18を介してタッチスクリーンディスプレイ2に表示する(S9)。
ここで、図8に示すように、装置選択サークル34は、例えば、第1指定点P1を中心とする円形状である。装置選択サークル34は、全円周が、選択可能な仮想入力装置の数の円弧に分割されており、各円弧上に、選択可能な仮想入力装置がそれぞれ割り当てられている。そして、使用者が第1指定点P1のタッチをいずれかの円弧に近づけることによって、第1指定点P1が近づいた円弧に割り当てられた仮想入力装置を選択することができる。あるいは、使用者が装置選択サークル34のいずれかの円弧あるいは円弧に割り当てられた仮想入力装置のアイコンを選択することにより、仮想入力装置を選択することができる。すなわち、装置選択サークル34を用いて仮想入力装置の種類を選択する方法としては、選択したい仮想入力装置の方向に第1指定点P1のタッチを移動させる、もしくは、いったん指等をタッチスクリーンディスプレイ2から離し、選択したい仮想入力装置のアイコンにタッチ操作する。
詳細には、装置選択部23は、タイマー16により、装置選択サークル34の表示からの経過時間を計測する。装置選択サークル34の表示から所定時間(第1装置選択時間t4)以内に、装置選択部23が、タッチスクリーンディスプレイ2上から第1指定点P1のタッチが離れたことを検出した場合(S10においてYes)、第1指定点P1のタッチが離れたときの位置座標が、第1指定点P1の装置選択サークル34の表示開示時の位置座標と同じであるかを判定する(S11)。
そして、タッチが離れたとき、第1指定点P1の位置座標が変化している場合(S11においてNo)、タッチ位置の移動方向を計算し、第1指定点P1が装置選択サークル34のいずれの円弧に近づいたかを判定して、選択された仮想入力装置を決定する(S12−1)。図8の例では、第1指定点P1が装置選択サークル34の図面下方向へ移動したため、移動方向の先に位置する円弧に割り当てられている仮想キーボードが選択されたと決定する。
また、タッチが離れたとき、第1指定点P1の位置座標が変化していない場合(S11においてYes)、タッチが離れてから所定時間(第2装置選択時間t5)以内に、装置選択サークル34のいずれかの円弧あるいは円弧に割り当てられた仮想入力装置のアイコンに対する選択操作を取得し、選択された仮想入力装置を決定する(S12−2)。
その後、形状決定部22は、ステップS2において取得した第1指定点P1およびステップS6に基づいて、仮想キーボード32等の仮想入力装置の形状等を決定する(S7;形状決定ステップ)。そして、仮想入力装置表示部18が、選択された種別の仮想入力装置を、決定された大きさ、向きおよび位置にしたがってタッチスクリーンディスプレイ2に表示する(S8;仮想入力装置表示ステップ)。
一方、装置選択サークル34の表示から第1装置選択時間t4以内に、装置選択部23が、タッチスクリーンディスプレイ2上から第1指定点P1のタッチが離れたことを検出しなかった場合(S10においてNo)、および、装置選択サークル34に対して仮想入力装置のアイコンの選択操作が、第2装置選択時間t5以内に行われなかった場合(S12−2においてNo)、ステップS1に移行する。
なお、第1装置選択時間t4、第2装置選択時間t5は、任意に設定できる。
〔仮想キーボードの表示パターン〕
次に、図10を参照して、仮想キーボードの表示パターンの例について説明する。図10の(a)〜(c)は、仮想キーボードを表示する際のアプリケーション画面のパターンの例を示す説明図である。なお、以下で説明する例では、アプリケーション画面に対する入力が複数の仮想キーボード51、52に対して排他的に管理されているものとする。すなわち、仮想キーボード52から入力を開始したとき、それまで入力可能であった仮想入力キーボード51からは入力ができなくなる。そして、既存の仮想キーボード51が入力中であったときには、新規の仮想キーボード52を作成できないようにしてもよい。
図10の(a)に示すように、仮想入力装置表示部18は、仮想キーボード52から入力を開始したとき、アプリケーション部5の表示画面をタッチスクリーンディスプレイ2に固定したまま、変更しなくてもよい。図10の(a)では、仮想キーボード51の向きに合わせて、アプリケーション部5の表示画面が表示されている。
また、図10の(b)に示すように、仮想入力装置表示部18は、仮想キーボード52から入力を開始したとき、アプリケーション部5の表示画面を、仮想キーボード52の位置や向きに合わせて、仮想キーボード52の使用者が見やすいように表示してもよい。図10の(b)では、アプリケーション部5の表示画面53が回転、縮小あるいは拡大され、仮想キーボード52の近傍に表示されている。
また、図10の(c)に示すように、仮想入力装置表示部18は、仮想キーボード52から入力を開始したとき、仮想キーボード52から入力された文字列等がアプリケーション部5の表示画面内に表示される様子を示す表示をしてもよい。図10の(c)では、仮想キーボード52の位置や向きに合わせて、仮想キーボード52の使用者が見やすいように入力ウインドウ54が表示されている。この入力ウインドウ54は、入力ウインドウ54に入力された文字列等がアプリケーション部5の入力ボックス55に入力されることが分かるように吹き出しの形状で表示されている。
(変形例1)複数表示された仮想キーボードの排他的制御
〔排他的制御の規定〕
次に、図12を参照して、複数表示された仮想キーボードの排他的制御の一例について説明する。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
図12は本変形例におけるタッチスクリーンディスプレイ2に表示される仮想キーボード51および仮想キーボード52を示している。図12においては、2つの仮想キーボードが示されているが、仮想キーボードの数は特に限定されない。
本変形例において、「入力の開始」とは、アプリケーション部5の表示画面の入力ボックス55にフォーカスがあり、確定した文字が入力ボックス55に1文字以上入力されている、または、確定前の仮文字が入力ボックス55に表示されている状態をいう。特定の仮想キーボードから入力ボックス55へ入力された文字列などが、DELキーおよびBSキーなどによってすべて削除された場合は、入力状態ではない。
入力ボックス55にフォーカスがある状態では、例えば、図10の(a)に示すような仮想キーボード51および仮想キーボード52は、ともに入力が可能である。本変形例においては、仮想キーボード52から1文字を入力した時点において、仮想キーボード51からの入力が不可能になる。すなわち、仮想キーボード51は排他的制御を受ける。その後、仮想キーボード52が入力ボックス55において入力文字列を確定し、ENTERキー等で入力ボックス55への入力を確定した時点で、入力が不可能であった仮想キーボード51の入力が可能となってもよい。
例えば、検索サイト等では、文字の入力が完了し、検索が完了後、フォーカスは入力ボックス55からはずれる。再度、入力ボックス55に入力する場合において、使用者は各自のマウスや、キーボードのTABキーによって入力ボックス55にフォーカスする。フォーカス後は、最も早く入力を開始した仮想キーボード以外の仮想キーボードは入力できなくなる。
〔排他的制御を受けた仮想キーボードの表示〕
また、図12に示すように、排他的制御を受けた時点で、排他的制御を受けた仮想キーボード51の表示を変更してもよい。図12においては、排他的制御を受けた仮想キーボード51を点線で表示しているが、排他的制御を受けた仮想キーボードの表示としては、例えば、グレー表示としてもよいし、入力が可能である仮想キーボードよりも低い輝度で表示してもよい。なお、排他的制御を受けた仮想キーボードが、入力可能である仮想キーボードと区別可能であれば、表示の形態は特に限定されない。
なお、他の変形例の説明をする図においても排他的制御を受けている仮想キーボードを点線で表示しているが、入力中でない仮想キーボードも排他制御せず、入力可能な状態としておき、実線で表示しても良い。
また、上記排他的制御を受けている仮想キーボードにおいては、一部のキーのみが入力できない状態となっていてもよい。例えば、上記の一部のキーとしては、文字入力に関与するキーなどが挙げられる。一方で、文字入力に関与しないファンクションキーなどの特殊キーについては、入力が可能であってもよい。該仮想キーボードにおいては、一部の入力が不可能になったキーのみの表示を、入力が可能なキーと区別できるように、上述したように変更してもよい。
また、特定の仮想キーボード52の入力が終了すると、他の仮想キーボード51の排他的制御は解除される。排他的制御が解除されると、排他的制御を受けていた仮想キーボード51の表示が、排他的制御を受ける前の表示に戻る。
上記の構成によると、入力を開始した使用者が入力中に、他者の入力の介入を受けることなく安心して入力できる。また、排他的制御を受けていた仮想キーボード51の表示を変更することによって、排他的制御を受けていた仮想キーボード51の使用者が、排他的制御の解除を認識できる。よって、使用者の入力を促すことがスムーズにできる。
また、特定の仮想キーボード52の入力中も、他の仮想キーボード51の排他的制御を行わない構成であってもよい。上記の構成によると、特定の使用者の文字入力を、他者が途中でサポートすることができる。また、同一タッチパネル上で、相手に配慮することで混乱なく入力することができる。
(変形例2)仮想キーボードによる文字入力中の新規仮想キーボード作成の制御
次に、仮想キーボードによる文字入力中の新規仮想キーボード作成の制御の一例について説明する。なお、説明の便宜上、前記実施形態および変形例1にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
例えば、特定の仮想キーボードによって文字が入力中の状態で、他の仮想キーボードを作成すると、一般的なアプリケーションおよびOperating System(OS)の構成上、一時的にフォーカスが入力ボックス以外に移る。そのため、使用者にとって、フォーカスを入力ボックスに戻す操作が煩雑となる。
本変形例においては、上述したように、既存の仮想キーボードが入力中であった場合、新規の仮想キーボードを作成できないようにする。上記の構成によると、仮想キーボードによる入力中において、新規の仮想キーボードができない。したがって、新規の仮想キーボードの作成時に、フォーカスが入力ボックス以外へ移動することを防止できる。よって、使用者による操作性が向上する。
(変形例3)仮想キーボードの入力時における画像表示例
次に、図13〜16を参照して、仮想キーボードからの入力の入力時における仮想入力装置表示部18による画像表示例について説明する。なお、説明の便宜上、前記実施形態、変形例1および変形例2にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
〔表示例1〕
仮想キーボードからの入力時における画像表示の一例について図13を参照して説明する。なお、説明の便宜上、前記実施形態、変形例1および変形例2にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
図13は本表示例における、タッチスクリーンディスプレイ2に表示される表示画面を示す。
図13の(a)は、入力中の仮想キーボードがない時のタッチスクリーンディスプレイ2に表示される画像の表示例である。すなわち、すべての仮想キーボードが入力待ちの状態である。
図13の(a)に示すように、タッチスクリーンディスプレイ2には、仮想キーボード51、仮想キーボード52および仮想キーボード以外の表示画面Qが表示される。表示画面Qは、アプリケーション部5によって表示される入力ボックス55を備えるウインドウ61およびその他のウインドウ62等を含む。なお、入力ボックス55を備えていないウインドウ62の数は特に限定されない。
図13の(b)は、特定の仮想キーボードからの入力時のタッチスクリーンディスプレイ2に表示される画像の表示例である。
図13の(b)に示すように、特定の仮想キーボード52が入力を開始すると、仮想キーボード52の位置や向きに合わせて表示画面のサイズを変えずに表示画面Qを回転させ、表示画面を表示画面Q1とする。
表示画面Q1は、ウインドウ61およびウインドウ62を表示画面Q1と同様に回転させたウインドウ61aおよびウインドウ62aを含む。ウインドウ61aにおいては、入力ボックス55の全領域がタッチスクリーンディスプレイ2に表示される。仮想キーボードによる入力は一時的なものであり、入力ボックス55の全領域が表示できれば、ウインドウ61aを含む表示画面Qの一部が、タッチスクリーンディスプレイ2の表示領域外にはみ出したり、仮想キーボード51、52に重畳されて見えない状態となっても問題ではない。
上記の構成によると、入力を行う使用者が見やすいように入力ボックス55を表示させることができる。
〔表示例2〕
次に、仮想キーボードからの入力時における画像表示の他の一例について図14を参照して説明する。
図14は本表示例における、タッチスクリーンディスプレイ2に表示される表示画面を示す。
図14の(a)は、入力を行う仮想キーボードが確定していない時のタッチスクリーンディスプレイ2に表示される画像の表示例である。
図14の(a)に示すように、タッチスクリーンディスプレイ2には、仮想キーボード51、仮想キーボード52および仮想キーボード以外の表示画面Qが表示される。表示画面Qは、アプリケーション部5によって表示される入力ボックス55を備えるウインドウ61およびその他のウインドウ62等を含む。
図14の(b)は、特定の仮想キーボードが入力を開始した時のタッチスクリーンディスプレイ2に表示される画像の表示例である。
図14の(b)に示すように、特定の仮想キーボード52が入力を開始すると、表示画面Qが回転、縮小され、表示画面Q2として表示画面Qの全体が仮想キーボード52の近傍に表示される。
表示画面Q2は、ウインドウ61およびウインドウ62を表示画面Q1と同様に回転、縮小されたウインドウ61およびウインドウ62を含む。
上記の構成によると、仮想キーボード52の使用者は、継続して、文字入力とそれに続く作業を見やすく行うことができる。
また、図14の(c)は、特定の仮想キーボードの入力時のタッチスクリーンディスプレイ2に表示される他の画像の表示例である。
図14の(c)に示す表示例においては、特定の仮想キーボード52の入力時に、表示画面Qが回転、縮小され、表示画面Q3として表示される。表示画面Q3は、少なくとも入力ボックス55が仮想キーボード51および仮想キーボード52の両方の使用者が見やすい位置に表示される。例えば、表示画面Q3の画面の傾きおよび位置を、仮想キーボード51と仮想キーボード52との中間になるように表示する。上記の構成によると、入力時において、文字入力を行っている使用者と共に、文字入力を行っていない使用者にも画面の確認が容易となる。
〔表示例3〕
次に、仮想キーボードからの入力時における画像表示の他の一例について図15を参照して説明する。
図15は本表示例における、タッチスクリーンディスプレイ2に表示される表示画面を示す。
図15の(a)は、入力を行う仮想キーボードが確定していない時のタッチスクリーンディスプレイ2に表示される画像の表示例を示す。
図15の(a)に示すように、タッチスクリーンディスプレイ2には、仮想キーボード51、仮想キーボード52および仮想キーボード以外の表示画面Qが表示される。表示画面Qは、アプリケーション部5によって表示される入力ボックス55を備えるウインドウ61およびその他のウインドウ62等を含む。
図15の(b)は、特定の仮想キーボードが入力を開始した時のタッチスクリーンディスプレイ2に表示される画像の表示例を示す。
図15の(b)に示すように、特定の仮想キーボード52が入力を開始すると、文字入力を行うアクティブウインドウであるウインドウ61のみを回転させ、仮想キーボード52の正面にウインドウ61bとして表示する。なお、ウインドウ61を縮小したものを回転させ、ウインドウ61bとして表示してもよく、入力ボックス55の全領域が表示できれば、ウインドウ61aを含む表示画面Qの一部が、タッチスクリーンディスプレイ2の表示領域外にはみ出したり、仮想キーボード51、52に重畳されて見えない状態となっても問題ではない。
上記の構成によると、タッチスクリーンディスプレイ2上に複数のウインドウが表示されている場合において、文字入力を行うウインドウのみが位置を変更し、文字入力と無関係なウインドウの表示は変更されない。よって、特定の使用者が文字入力を行う時、使用者全員が文字入力を行うアクティブウインドウ以外のアプリケーションについて問題なく見続けることができる。
〔表示例4〕
次に、仮想キーボードからの入力時における画像表示の他の一例について図16を参照して説明する。
図16は本表示例における、特定の仮想キーボードの入力時のタッチスクリーンディスプレイ2に表示される画像の表示例を示す。
タッチスクリーンディスプレイ2には、仮想キーボード51、仮想キーボード52、アプリケーション部5によって表示される入力ボックス55を備えるウインドウ61およびその他のウインドウ62等が表示される。
図16の(a)に示すように、特定の仮想キーボード52の入力時に、入力ウインドウ64が、入力中の仮想キーボード52の近傍に隣接して表示される。
上記の構成によると、画面全体のレイアウトを変更されず、使用者全員が文字入力の対象である入力ウインドウを問題なく見続けることができる。さらに、文字入力を行う使用者が、入力ウインドウに入力される文字を参照しながら、快適に入力作業を行うことができる。
また、図16の(b)に示すように、仮想キーボード51および52の両方の仮想キーボードの隣接した領域に入力ウインドウ64aおよび64bを表示してもよい。なお、複数の仮想キーボードのそれぞれに隣接した各領域に入力ウインドウをそれぞれ表示する構成においては、入力を行っている仮想キーボード以外の仮想キーボードにおいても、排他的制御を受けないようにしてもよい。この場合、仮想キーボード51および52から、入力ウインドウ64aおよび64bに独立に入力することができる。次に、ENTERキー等を押すことで、入力ウインドウ64aおよび64bの文字列が本来の入力ウインドウに転送される。
(変形例4)仮想キーボードから文字列等を入力可能な入力ボックスがアプリケーションの表示画面内に複数ある場合の表示例
次に、図17および図18を参照して、仮想入力装置表示部18による、仮想キーボードから入力される文字列等がアプリケーション部5の表示画面内に表示される様子を示す表示例について説明する。なお、説明の便宜上、前記実施形態、変形例1、変形例2および変形例3にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
図17は、特定の仮想キーボードが入力を開始した時のタッチスクリーンディスプレイ2に表示される画像の表示例を示す。
図17に示すように、タッチスクリーンディスプレイ2には、仮想キーボード51、仮想キーボード52、アプリケーション部5によって表示される入力ボックス73を含む複数の入力ボックスを備えるウインドウ71およびその他のウインドウ72等が表示される。なお、入力ボックスを備えていないウインドウ72の数は特に限定されない。特定の仮想キーボード52が入力を開始すると、仮想キーボード52の使用者が見やすいように入力ウインドウ64cが表示される。この入力ウインドウ64cは、入力ウインドウ64cに入力された文字列等がアプリケーション部5の複数の入力ウインドウのうちのある入力ウインドウ73に入力されることが分かるように吹き出しの形状で表示される。ここで、図17に示すように、入力ウインドウ64cの吹き出しの先端は、入力文字列における最終文字の後部を指していることが望ましい。
上記の構成によると、アプリケーション部5によって表示される入力ボックスへの入力の様子を、仮想キーボードと対応づけて明確に示すことができる。よって、入力ボックスが複数あるようなアプリの場合でも、的確に文字入力を行うことができる。
図18は、特定の仮想キーボードが入力を開始した時のタッチスクリーンディスプレイ2に表示される画像の他の表示例を示す。
図18に示すように、タッチスクリーンディスプレイ2には、仮想キーボード51、仮想キーボード52、アプリケーション部5によって表示される入力ボックス74を含む複数の入力ボックスを備えるウインドウ76およびその他のウインドウ77等が表示される。特定の仮想キーボード52の入力時に、仮想キーボード52の隣接領域に入力ウインドウ64dが表示される。
そして、この入力ウインドウ64dに入力された文字列等がアプリケーション部5の複数の入力ボックスのうち入力ボックス74に入力されることが分かるように、入力ボックス74の周りには枠75が表示される。ここで、枠75と入力ウインドウ64dとは、図17に示した入力ウインドウ64cの吹き出しのような、画像表示上連続した領域を持っていない。
上記の構成によると、仮想キーボードの前に表示された入力ウインドウから、アプリケーション部5によって表示されるウインドウ内の入力先の入力ウインドウを、吹き出しなどによって指し示す必要がなくなる。よって、上記吹き出しなどによって隠れてしまい、使用者が見ることができなくなる表示画像の箇所をなくすことができる。
〔適用例〕
上述した情報処理装置1は、テレビ受像機、パソコン、電子白板、デジタルサイネージや、リモコン装置、スマートホン、携帯電話、その他携帯端末等のタッチスクリーンディスプレイを備えた情報機器に広く適用することができる。また、情報処理装置1を備えるこれらの情報機器も本明細書に記載された発明の範疇に含まれる。
〔補足〕
情報処理装置1のタッチスクリーンディスプレイは、上述のように、LCD(液晶表示装置)の表示面に、透明のタッチパネル部材を配置した構成によって実現できる。しかし、これに限定されず、タッチセンサ機能の一部をLCDの画素内部に設けた構成、またはLCD本体のカラーフィルター基板に一体に設けた構成によって実現してもよい。
最後に、情報処理装置1の各ブロック、特に仮想入力装置制御部4は、ハードウェアロジックによって構成してもよいし、次のようにCPUを用いてソフトウェアによって実現してもよい。
後者の場合、情報処理装置1は、各機能を実現するプログラムの命令を実行するCPU(central processing unit)、上記プログラムを格納したROM(read only memory)、上記プログラムを展開するRAM(random access memory)、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである情報処理装置1の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、上記情報処理装置1に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM/EEPROM(登録商標)/フラッシュROM等の半導体メモリ系などを用いることができる。
また、情報処理装置1を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(virtual private network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、802.11無線、HDR、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
本発明は、タッチスクリーンディスプレイに仮想キーボード等の仮想入力装置を、簡便な操作で、使用者の使いやすい形状で表示することができるため、テレビ、パソコン、電子白板、デジタルサイネージや、リモコン装置、スマートホン、携帯電話、その他携帯端末等のタッチスクリーンディスプレイを備えた情報機器において広く利用することができる。
1 情報処理装置
2 タッチスクリーンディスプレイ
18 仮想入力装置表示部(仮想入力装置表示手段)
21 指定点取得部(指定点取得手段)
22 形状決定部(形状決定手段)
23 装置選択部(装置選択手段)
32 仮想キーボード(仮想入力装置)
33 第2指定点入力領域
41 仮想テンキーパッド(仮想入力装置)
42 仮想タッチパッド(仮想入力装置)
P1、P2 指定点
K1、K2 基準点
S1〜S6 指定点取得ステップ
S7 形状決定ステップ
S8 仮想入力装置表示ステップ

Claims (10)

  1. タッチスクリーンディスプレイを備え、使用者が操作入力を行うための仮想入力装置を上記タッチスクリーンディスプレイに表示する情報処理装置において、
    上記タッチスクリーンディスプレイ上で指定された2つの指定点を取得する指定点取得手段と、
    上記指定点取得手段が取得した上記2つの指定点のそれぞれに、上記仮想入力装置にあらかじめ設定されている2つの基準点のそれぞれが一致するように、上記タッチスクリーンディスプレイにおける上記仮想入力装置の大きさおよび位置を決定する形状決定手段と、
    上記形状決定手段が決定した大きさおよび位置で上記仮想入力装置を上記タッチスクリーンディスプレイに表示する仮想入力装置表示手段と、を備えており、
    上記指定点取得手段は、1つ目に指定された第1指定点と2つ目に指定された第2指定点とを区別して取得するものであり、
    上記形状決定手段は、上記第1指定点と上記第2指定点との相対的位置関係に応じて、上記タッチスクリーンディスプレイにおける上記仮想入力装置の向きを決定するものであり、
    上記指定点取得手段は、上記第1指定点の取得後、該第1指定点を基準とする上記タッチスクリーンディスプレイの所定範囲内において、所定時間、同じ位置が指定されたとき、当該位置を上記第2指定点として取得するものであることを特徴とする情報処理装置。
  2. 上記タッチスクリーンディスプレイにおける上記仮想入力装置の表示に応じて、当該仮想入力装置と同時に上記タッチスクリーンディスプレイに表示する画像の全部または一部の配置を変更することを特徴とする請求項に記載の情報処理装置。
  3. 複数の上記仮想入力装置を上記タッチスクリーンディスプレイに表示しているとき、1つの上記仮想入力装置を用いて使用者が操作入力を行っている期間、他の上記仮想入力装置からは使用者が操作入力を行えないようにすることを特徴とする請求項1または2に記載の情報処理装置。
  4. 上記タッチスクリーンディスプレイに表示する上記仮想入力装置を、あらかじめ設定された複数種から選択する使用者の操作を取得する装置選択手段をさらに備えることを特徴とする請求項1に記載の情報処理装置。
  5. 請求項1からのいずれか1項に記載の情報処理装置を備えていることを特徴とする電子白板。
  6. 請求項1からのいずれか1項に記載の情報処理装置を備えていることを特徴とするテレビ受像機。
  7. 請求項1からのいずれか1項に記載の情報処理装置を備えていることを特徴とするデジタルサイネージ。
  8. タッチスクリーンディスプレイを備え、使用者が操作入力を行うための仮想入力装置を上記タッチスクリーンディスプレイに表示する情報処理装置の制御方法において、
    上記タッチスクリーンディスプレイ上で指定された2つの指定点を取得する指定点取得ステップと、
    上記指定点取得ステップにて取得した上記2つの指定点のそれぞれに、上記仮想入力装置にあらかじめ設定されている2つの基準点のそれぞれが一致するように、上記タッチスクリーンディスプレイにおける上記仮想入力装置の大きさおよび位置を決定する形状決定ステップと、
    上記形状決定ステップにて決定した大きさおよび位置で上記仮想入力装置を上記タッチスクリーンディスプレイに表示する仮想入力装置表示ステップと、を含み、
    上記指定点取得ステップでは、1つ目に指定された第1指定点と2つ目に指定された第2指定点とを区別して取得し、
    上記形状決定ステップでは、上記第1指定点と上記第2指定点との相対的位置関係に応じて、上記タッチスクリーンディスプレイにおける上記仮想入力装置の向きを決定し、
    上記指定点取得ステップでは、上記第1指定点の取得後、該第1指定点を基準とする上記タッチスクリーンディスプレイの所定範囲内において、所定時間、同じ位置が指定されたとき、当該位置を上記第2指定点として取得することを特徴とする情報処理装置の制御方法。
  9. 請求項1からのいずれか1項に記載の情報処理装置としてコンピュータを機能させるための制御プログラムであって、コンピュータを上記各手段として機能させるための制御プログラム。
  10. 請求項に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2013141112A 2012-07-06 2013-07-04 情報処理装置、情報処理装置の制御方法、制御プログラム、コンピュータ読み取り可能な記録媒体 Expired - Fee Related JP5584802B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2013141112A JP5584802B2 (ja) 2012-07-06 2013-07-04 情報処理装置、情報処理装置の制御方法、制御プログラム、コンピュータ読み取り可能な記録媒体
CN201380035983.6A CN104428746A (zh) 2012-07-06 2013-07-05 信息处理装置、信息处理装置的控制方法、控制程序以及计算机可读取的记录介质
US14/412,299 US20150186037A1 (en) 2012-07-06 2013-07-05 Information processing device, information processing device control method, control program, and computer-readable recording medium
PCT/JP2013/068550 WO2014007381A1 (ja) 2012-07-06 2013-07-05 情報処理装置、情報処理装置の制御方法、制御プログラム、コンピュータ読み取り可能な記録媒体

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012153097 2012-07-06
JP2012153097 2012-07-06
JP2013141112A JP5584802B2 (ja) 2012-07-06 2013-07-04 情報処理装置、情報処理装置の制御方法、制御プログラム、コンピュータ読み取り可能な記録媒体

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2014148196A Division JP5957041B2 (ja) 2012-07-06 2014-07-18 情報処理装置、情報処理装置の制御方法、制御プログラム、コンピュータ読み取り可能な記録媒体

Publications (2)

Publication Number Publication Date
JP2014029686A JP2014029686A (ja) 2014-02-13
JP5584802B2 true JP5584802B2 (ja) 2014-09-03

Family

ID=49882132

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013141112A Expired - Fee Related JP5584802B2 (ja) 2012-07-06 2013-07-04 情報処理装置、情報処理装置の制御方法、制御プログラム、コンピュータ読み取り可能な記録媒体

Country Status (4)

Country Link
US (1) US20150186037A1 (ja)
JP (1) JP5584802B2 (ja)
CN (1) CN104428746A (ja)
WO (1) WO2014007381A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10747416B2 (en) 2014-02-13 2020-08-18 Samsung Electronics Co., Ltd. User terminal device and method for displaying thereof
US10712918B2 (en) 2014-02-13 2020-07-14 Samsung Electronics Co., Ltd. User terminal device and displaying method thereof
US10866714B2 (en) * 2014-02-13 2020-12-15 Samsung Electronics Co., Ltd. User terminal device and method for displaying thereof
US20160026358A1 (en) * 2014-07-28 2016-01-28 Lenovo (Singapore) Pte, Ltd. Gesture-based window management
JP6330565B2 (ja) * 2014-08-08 2018-05-30 富士通株式会社 情報処理装置、情報処理方法及び情報処理プログラム
US10817172B2 (en) * 2015-03-27 2020-10-27 Intel Corporation Technologies for graphical user interface manipulations using multi-finger touch interactions
US20170003837A1 (en) * 2015-06-30 2017-01-05 Integrated Computer Solutions, Inc. Systems and Methods for Generating, Presenting, and Adjusting Adjustable Virtual Keyboards
JP2017174177A (ja) * 2016-03-24 2017-09-28 カシオ計算機株式会社 情報処理装置、情報処理方法およびプログラム
JP6763333B2 (ja) * 2017-03-30 2020-09-30 富士通株式会社 情報処理システム、情報処理装置および情報処理方法
CN110780778A (zh) * 2018-07-31 2020-02-11 中强光电股份有限公司 电子白板系统、操控方法及电子白板
EP4004695A4 (en) * 2019-09-18 2022-09-28 Samsung Electronics Co., Ltd. ELECTRONIC DEVICE AND CONTROL METHOD THEREOF
CN111782062B (zh) * 2020-07-01 2021-11-05 广州朗国电子科技有限公司 软输入法位置调整方法、装置、存储介质及大屏一体机
CN112035901B (zh) * 2020-09-03 2023-09-12 北京元心科技有限公司 信息输入方法、装置、电子设备及介质
CN114063876B (zh) * 2021-09-30 2024-08-13 北京搜狗科技发展有限公司 虚拟键盘设置方法、装置及存储介质
CN115268743A (zh) * 2022-07-29 2022-11-01 深圳市商汤科技有限公司 图像处理方法、装置、电子设备、信息输入系统和介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3260240B2 (ja) * 1994-05-31 2002-02-25 株式会社ワコム 情報入力方法およびその装置
JP4828826B2 (ja) * 2002-07-04 2011-11-30 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 自動的に適応可能な仮想キーボード
JP3630153B2 (ja) * 2002-07-19 2005-03-16 ソニー株式会社 情報表示入力装置及び情報表示入力方法、並びに情報処理装置
JP2006065558A (ja) * 2004-08-26 2006-03-09 Canon Inc 入力表示装置
US20090231281A1 (en) * 2008-03-11 2009-09-17 Microsoft Corporation Multi-touch virtual keyboard
US20110102335A1 (en) * 2008-06-02 2011-05-05 Kensuke Miyamura Input device, input method, program, and storage medium
KR101682579B1 (ko) * 2010-03-30 2016-12-05 삼성전자 주식회사 터치 단말에서 문자 입력기 제공 방법 및 장치
JP5304707B2 (ja) * 2010-03-31 2013-10-02 アイシン・エィ・ダブリュ株式会社 表示装置、及び、プログラム
US9430145B2 (en) * 2011-04-06 2016-08-30 Samsung Electronics Co., Ltd. Dynamic text input using on and above surface sensing of hands and fingers
US9035883B2 (en) * 2012-03-07 2015-05-19 Google Technology Holdings LLC Systems and methods for modifying virtual keyboards on a user interface

Also Published As

Publication number Publication date
WO2014007381A1 (ja) 2014-01-09
US20150186037A1 (en) 2015-07-02
JP2014029686A (ja) 2014-02-13
CN104428746A (zh) 2015-03-18

Similar Documents

Publication Publication Date Title
JP5584802B2 (ja) 情報処理装置、情報処理装置の制御方法、制御プログラム、コンピュータ読み取り可能な記録媒体
TWI428798B (zh) Information processing devices, information processing methods and program products
JP5107453B1 (ja) 情報処理装置、操作画面表示方法、制御プログラムおよび記録媒体
US20150339018A1 (en) User terminal device and method for providing information thereof
JP2008146243A (ja) 情報処理装置、情報処理方法、及びプログラム
JP2013238935A (ja) 入力装置、入力装置の制御方法、制御プログラム、および記録媒体
JP2013131087A (ja) 表示装置
JP2012141868A (ja) 情報処理装置、情報処理方法およびコンピュータプログラム
JP2015007949A (ja) 表示装置、表示制御方法及びコンピュータプログラム
KR102367184B1 (ko) 스크린 키보드를 이용한 정보 입력 방법 및 이를 위한 장치
CN107533424A (zh) 用户终端设备及其控制方法
KR20230060497A (ko) 사용자 단말 장치, 전자 장치, 시스템 및 그 제어 방법
JP2012141869A (ja) 情報処理装置、情報処理方法およびコンピュータプログラム
KR20160064560A (ko) 전자장치 및 그래픽 오브젝트 표시 방법
JP2014081800A (ja) 手書き入力装置及び機能制御プログラム
JP2014016743A (ja) 情報処理装置、情報処理装置の制御方法、および情報処理装置の制御プログラム
US9244556B2 (en) Display apparatus, display method, and program
JP5957041B2 (ja) 情報処理装置、情報処理装置の制御方法、制御プログラム、コンピュータ読み取り可能な記録媒体
JP2012146017A (ja) 電子黒板システム、電子黒板システムの制御方法、プログラムおよびその記録媒体
JP5165661B2 (ja) 制御装置、制御方法、制御プログラム、及び記録媒体
JP5418440B2 (ja) 入力装置及びプログラム
JP6008313B2 (ja) 表示装置
JP5864050B2 (ja) 入力装置、入力装置の制御方法、制御プログラム、および記録媒体
KR102090443B1 (ko) 터치 제어 방법, 장치, 프로그램 및 컴퓨터 판독가능 기록매체
TWI429276B (zh) 智慧型輸入方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140507

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140605

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140624

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140718

R150 Certificate of patent or registration of utility model

Ref document number: 5584802

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees