JP5165661B2 - 制御装置、制御方法、制御プログラム、及び記録媒体 - Google Patents

制御装置、制御方法、制御プログラム、及び記録媒体 Download PDF

Info

Publication number
JP5165661B2
JP5165661B2 JP2009235732A JP2009235732A JP5165661B2 JP 5165661 B2 JP5165661 B2 JP 5165661B2 JP 2009235732 A JP2009235732 A JP 2009235732A JP 2009235732 A JP2009235732 A JP 2009235732A JP 5165661 B2 JP5165661 B2 JP 5165661B2
Authority
JP
Japan
Prior art keywords
size
input
pattern
trajectory
input surface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009235732A
Other languages
English (en)
Other versions
JP2011081749A (ja
Inventor
啓仁 天羽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2009235732A priority Critical patent/JP5165661B2/ja
Publication of JP2011081749A publication Critical patent/JP2011081749A/ja
Application granted granted Critical
Publication of JP5165661B2 publication Critical patent/JP5165661B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、タッチパネル等の入力装置に接続されて用いられ、該入力装置の入力面に対してジェスチャー入力が行われたときに、そのジェスチャー入力に予め対応付けられた処理を実行する制御装置等に関する。
画面の表示に従った直感的な入力操作が可能であることから、タッチパネル式の入力装置が広く普及している。タッチパネル式の入力装置は、パーソナルコンピュータ等の制御装置に接続されて使用され、入力面への指やペン先などの接触を検知して、その接触位置を示す座標等を接続されている制御装置に出力する。そして、制御装置は、当該タッチパネルに表示させている画像と出力された座標とを用いて、行われた入力操作の内容を判断し、その判断結果に基づいて動作する。
ここで、タッチパネル式の入力装置が普及し、またパネルサイズが大型化することによって、上記のような制御装置に接続するタッチパネルを小型のものから大型のものに交換する機会が生じるようになっている。
しかし、タッチパネル式の入力装置は、入力面上の接触位置の座標等を出力するものであり、座標は入力面上の相対位置を示すものに過ぎない。このため、入力面の大きさや形状が変わったときには、出力される座標をそのまま用いることができないという問題があった。
そこで、下記の特許文献1では、タッチパネルが検出した接触位置の座標を正規化して出力するようにしている。これにより、タッチパネルがどのようなサイズであっても、出力される座標から、入力面のどの位置に接触があったかを特定することができる。
特開平5−127798号公報(1993年5月25日公開)
しかしながら、特許文献1の技術では、入力面のサイズが変わったときのジェスチャー入力の操作性について、何ら考慮されていないという問題がある。なお、ジェスチャー入力は、入力面に予め定めたパターンの軌跡が描かれたときに、そのパターンに対応する処理を実行させるものである。
つまり、特許文献1の技術では、入力面のサイズにかかわらず、その入力面上の位置が同じ座標で表される。このため、同じジェスチャーの入力を行う場合であっても、入力面のサイズが大きいときには、ユーザが入力面上に描く軌跡も大きくなり、逆に入力面のサイズが小さいときには、小さくなる。
例えば、10インチのタッチパネルの画面左端と右端とを直線で結ぶパターンがジェスチャーとして登録されていた場合を考える。この場合に、タッチパネルを100インチのものに変更したときには、ユーザは、このジェスチャーを行うために、100インチのタッチパネルの画面左端と右端とを直線で結ぶ必要が生じてしまう。
本発明は、上記課題に鑑みてなされたものであり、その目的は、入力面のサイズが変わった場合であっても、ユーザのジェスチャー入力時の操作感を保つことのできる制御装置等を提供することにある。
上記の課題を解決するために、本発明の制御装置は、入力面に対するユーザの入力操作を検出する検出装置から、上記入力面に対して行われた一連の入力操作の軌跡を取得して、予め定めたパターンの中に、取得した上記軌跡に対応するものが存在する場合に、当該パターンに対応付けられているコマンドを生成する制御装置であって、上記検出装置から取得した軌跡を用いて、該軌跡の上記入力面に対する相対的なサイズを示す軌跡サイズを取得するデータ取得手段と、上記入力面のサイズを取得するサイズ取得手段と、コマンドと上記軌跡のパターンとが対応付けられていると共に、該パターンの上記入力面に対する相対的なサイズの範囲を示すパターンサイズが、上記入力面のサイズ毎に定義された対応データを用いて、上記検出装置から取得した軌跡のパターンに対応し、かつ上記データ取得手段が取得した上記軌跡サイズが、上記サイズ取得手段が取得した上記入力面のサイズに対応するパターンサイズが示す範囲に含まれるコマンドを生成するコマンド生成手段とを備えていることを特徴としている。
また、本発明の制御方法は、上記の課題を解決するために、入力面に対するユーザの入力操作を検出する検出装置から、上記入力面に対して行われた一連の入力操作の軌跡を取得して、予め定めたパターンの中に、取得した上記軌跡に対応するものが存在する場合に、当該パターンに対応付けられているコマンドを生成する制御装置の制御方法であって、上記検出装置から取得した軌跡を用いて、該軌跡の上記入力面に対する相対的なサイズを示す軌跡サイズを取得するデータ取得ステップと、上記入力面のサイズを取得するサイズ取得ステップと、コマンドと上記軌跡のパターンとが対応付けられていると共に、該パターンの上記入力面に対する相対的なサイズの範囲を示すパターンサイズが、上記入力面のサイズ毎に定義された対応データを用いて、上記検出装置から取得した軌跡のパターンに対応し、かつ上記データ取得ステップで取得した上記軌跡サイズが、上記サイズ取得ステップで取得した上記入力面のサイズに対応するパターンサイズが示す範囲に含まれるコマンドを生成するコマンド生成ステップとを含むことを特徴としている。
上記の構成によれば、対応データにおけるコマンドには、軌跡のパターンが対応付けられていると共に、そのパターンの入力面に対する相対的なサイズの範囲を示すパターンサイズが、入力面のサイズ毎に定義されている。
そして、検出装置からユーザの入力操作の軌跡を取得したときには、上記対応データにおいて、検出装置から取得した軌跡のパターンに対応し、かつその軌跡サイズが、その入力面のサイズに対応するパターンサイズの示す範囲に含まれるコマンドを生成する。
このように、入力面のサイズに応じたパターンサイズを用いてコマンドの生成を行う構成とすることにより、入力面のサイズに応じて、ユーザの使い勝手のよいパターンサイズを定義しておくことが可能である。そして、これにより、入力面のサイズが変わった場合であっても、ユーザのジェスチャー入力時の操作感を保つことができる。
また、上記対応データにおいて、1つの軌跡のパターンに対応するパターンサイズは、該パターンサイズで特定される、当該パターンの上記入力面上における絶対的なサイズの範囲が、各サイズの入力面において同じになるように定義されていることが好ましい。
上記のように、パターンサイズは、コマンドに対応付けられたパターンの上記入力面に対する相対的なサイズの範囲を示すものである。このため、パターンサイズから、そのパターンサイズに対応するパターンの、入力面上における絶対的なサイズ(実際のサイズ)を特定することができる。
ここで、上記の構成によれば、コマンドに対応付けられたパターンの絶対的なサイズの範囲が、各サイズの入力面において同じになるように定義されている。つまり、上記の構成によれば、ユーザは、どのようなサイズの入力面に入力操作を行う場合であっても、上記の絶対的なサイズの範囲内で所定のパターンの軌跡を描くことによって、このパターンに対応するコマンドを生成させることができる。
したがって、上記の構成によれば、ユーザに入力面のサイズの違いを意識させず、同じ操作感でジェスチャー入力を行わせることができる。
なお、入力面上におけるパターンの絶対的なサイズの範囲が、各サイズの入力面において同じになるようにする場合には、入力面のサイズと反比例するようにパターンサイズを設定すればよい。
また、上記パターンサイズが定義されている入力面のサイズの1つを第1サイズとし、上記パターンサイズが定義されている入力面のサイズのうち、上記第1サイズより小さいものを第2サイズとしたときに、上記対応データにおいて、1つの軌跡のパターンに対応し、かつ上記第1サイズに対応するパターンサイズで特定される、当該パターンの上記第1サイズの入力面上における絶対的なサイズの範囲には、上記パターンに対応し、かつ上記第2サイズに対応するパターンサイズで特定される、当該パターンの上記第2サイズの入力面上における絶対的なサイズの範囲よりも、大きいサイズが含まれることが好ましい。
上記の構成によれば、ユーザは、大きいサイズ(第1サイズ)の入力面に入力操作を行う場合には、小さいサイズ(第2サイズ)の入力面に入力操作を行う場合よりも大きな軌跡を描くことによって、コマンドを生成させることができる。
したがって、上記の構成によれば、ユーザは、入力面のサイズが大きい場合には、それにあわせた大きな動作で入力操作を行うことが可能になる。つまり、ユーザはより直感的な操作が可能となるので、操作性が向上する。
なお、上記制御装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記制御装置の各手段として動作させることにより、上記制御装置をコンピュータにて実現させる制御プログラム、及びそれを記録したコンピュータ読み取り可能な記録媒体も本発明の範疇に入る。
本発明の制御装置は、検出装置から取得した軌跡を用いて、該軌跡の入力面に対する相対的なサイズを示す軌跡サイズを取得するデータ取得手段と、上記入力面のサイズを取得するサイズ取得手段と、コマンドと上記軌跡のパターンとが対応付けられていると共に、該パターンの上記入力面に対する相対的なサイズの範囲を示すパターンサイズが、上記入力面のサイズ毎に定義された対応データを用いて、上記検出装置から取得した軌跡のパターンに対応し、かつ上記データ取得手段が取得した上記軌跡サイズが、上記サイズ取得手段が取得した上記入力面のサイズに対応するパターンサイズが示す範囲に含まれるコマンドを生成するコマンド生成手段とを備えている構成である。
また、本発明の制御方法は、検出装置から取得した軌跡を用いて、該軌跡の入力面に対する相対的なサイズを示す軌跡サイズを取得するデータ取得ステップと、上記入力面のサイズを取得するサイズ取得ステップと、コマンドと上記軌跡のパターンとが対応付けられていると共に、該パターンの上記入力面に対する相対的なサイズの範囲を示すパターンサイズが、上記入力面のサイズ毎に定義された対応データを用いて、上記検出装置から取得した軌跡のパターンに対応し、かつ上記データ取得ステップで取得した上記軌跡サイズが、上記サイズ取得ステップで取得した上記入力面のサイズに対応するパターンサイズが示す範囲に含まれるコマンドを生成するコマンド生成ステップとを含む構成である。
上記の構成によれば、入力面のサイズに応じて、ユーザの使い勝手のよいパターンサイズを定義しておくことが可能であり、これにより、入力面のサイズが変わった場合であっても、ユーザの操作感を保つことができるという効果を奏する。
本発明の一実施形態にかかる制御装置の要部構成を示すブロック図である。 上記制御装置を含む電子会議システムの概要を示す図である。 上記制御装置を含む電子会議システムの概要を示す上記とは別の図である。 上記制御装置がコマンドの特定に用いる対応テーブルの一例を示す図である。 ジェスチャー入力を行うときのユーザの操作方法と、その操作方法の描画可能範囲との関係を示す図である。 ジェスチャー入力を行うときのユーザの操作方法を示す図であり、同図(a)は指先を用いた操作方法を示し、同図(b)は手首より先を動かす操作方法を示し、同図(c)は肘より先を動かす操作方法を示している。 画面サイズと手書きした軌跡のサイズとの対応関係を示す図である。 上記制御装置が実行する処理の一例を示すフローチャートである。
本発明の実施の一形態について図1〜図8に基づいて説明すれば以下のとおりである。
〔システムの概要〕
本発明の電子会議システムの概要について、図2及び図3に基づいて説明する。図2及び図3は、本実施形態にかかる電子会議システム50の概要を示す図である。
図示のように、電子会議システム50は、サーバ40が含まれていると共に、該サーバ40のクライアント装置として制御装置1a〜1cが含まれている。また、制御装置1a〜1cには、それぞれ表示/入力装置30a〜30cが接続されている。
表示/入力装置30a〜30cは、それぞれ表示/入力画面31a〜31cを備えており、表示/入力画面31a〜31cに画像を表示する機能と、表示/入力画面31a〜31cに対するユーザの入力操作を検出する機能とを有している。なお、表示/入力装置30a〜30cは、画像の表示機能と表示/入力画面31a〜31cに対するユーザの入力操作を検出する機能とを有しているものであればよく、例えばタッチパネルや光センサ内蔵液晶表示装置等であってもよい。
制御装置1a〜1cは、表示/入力装置30a〜30cに画像を表示させる制御を行う。また、制御装置1a〜1cは、表示/入力画面31a〜31cに対する入力操作に従って動作する。例えば、制御装置1a〜1cは、表示/入力画面31a〜31cに対する入力操作に従って、表示画像の切り替え、拡大、縮小等を行う。なお、制御装置1a〜1cは、例えばマウスやキーボード等の入力装置によっても、入力操作ができるようになっていてもよい。
さらに、制御装置1a〜1cは、サーバ40を介して相互に通信接続されており、サーバ40の記憶部41に格納されている画像を表示/入力画面31a〜31cに表示させたり、また、サーバ40の記憶部41に格納されている画像を更新したりすることもできる。
サーバ40は、制御装置1a〜1cのそれぞれに同一の画像を表示させる。具体的には、サーバ40は、記憶部41に格納されている例えばプレゼンテーション用の資料の画像を、制御装置1a〜1cのそれぞれに送信して表示させる。また、サーバ40は、制御装置1a〜1cから送信される画像(例えば、上記の資料の画像に手書き入力で文字や図形等を追記した画像)を受信して、記憶部41に格納されている画像を更新し、更新した画像を制御装置1a〜1cのそれぞれに送信する。
このように、電子会議システム50では、記憶部41に格納されている画像が、表示/入力装置30a〜30cに表示されることによって、表示/入力装置30a〜30cに表示される画像が連動するようになっている。そして、表示/入力装置30a〜30cの何れかに表示される画像が更新されたときには、記憶部41に格納されている画像も更新され、これにより表示/入力装置30a〜30cのそれぞれに更新後の画像が表示される。
電子会議システム50では、参加するユーザのそれぞれに表示/入力装置30a〜30cの何れかを割り当て、表示/入力装置30a〜30cに表示される画面を連動させて、会議を進めることを想定している。
〔主な特徴点〕
図2に示すように、表示/入力画面31a〜31cのサイズは、それぞれ異なっている。電子会議システム50は、制御装置1a〜1cの制御によって、表示/入力画面31a〜31cのサイズの違いをユーザに意識させず、自然なジェスチャー入力を可能にすることを主な特徴点としている。
なお、ジェスチャー入力は、予め設定されたパターンを表示/入力画面31a〜31c上で描くことによって行われる入力である。そして、制御装置1a〜1cは、有効なジェスチャー入力が行われたことを確認したときには、そのジェスチャー入力のパターンに予め対応付けられている処理を実行する。
また、ジェスチャー入力が有効であるか否かは、表示/入力画面31a〜31c上で描かれたパターンと予め設定されたパターンとが一致(一定以上の割合で一致していればよく、完全一致しない場合も含む)するか否かで判断される。ただし、表示/入力画面31a〜31c上で描かれたパターンが、パターンごとに予め設定されたサイズ(パターンサイズ)の範囲外である場合には、そのジェスチャー入力は有効でないと判断される。
ここで、図2の例では、ユーザが、表示/入力画面31a〜31c上を右方向になぞるジェスチャー(左から右に向けて水平方向に直線を描くジェスチャー)を行った場合を想定している。
この場合には、制御装置1a〜1cは、表示/入力画面31a〜31cのサイズにかかわらず、表示/入力画面31a〜31c上が同じ距離だけなぞられれば、このジェスチャー入力を有効と判断する。
つまり、このジェスチャー入力の際に表示/入力画面31a〜31cに描く軌跡の長さは、当該表示/入力画面31a〜31cのサイズにかかわらず同じでよい。なお、ジェスチャー入力の際に描かれる軌跡の、表示/入力画面31a〜31c上における絶対的な長さ(実際にユーザが描いた軌跡の長さ)をジェスチャー距離と呼ぶ。
このように、表示/入力画面31a〜31cのサイズにかかわらずジェスチャー距離を一定とすることにより、ユーザは、表示/入力画面31a〜31cの何れに対してジェスチャー入力を行うときも、同じ感覚でジェスチャー入力を行うことができる。
ここで、表示/入力画面のサイズが大きくなった場合には、自然とユーザのジェスチャー距離が大きくなることも考えられる。そこで、制御装置1a〜1cは、表示/入力画面31a〜31cのサイズに応じた大さのジェスチャー距離でのジェスチャー入力が行われた場合にも、そのジェスチャー入力を有効と判断する。
つまり、図3に示すように、表示/入力画面31cと比べて、より大きいサイズの表示/入力画面31bでは、表示/入力画面31cよりもジェスチャー距離の大きいジェスチャー入力を行った場合であっても、そのジェスチャー入力は有効と判断される。
ただし、表示/入力画面31a〜31cのサイズに応じてジェスチャー距離を際限なく大きくしてしまうと、ユーザの操作性が低下してしまうので、ジェスチャー距離は、一定以上大きくならないようになっている。つまり、図3に示すように、表示/入力画面31aは、表示/入力画面31bよりもサイズが大きいが、有効なジェスチャー距離は、表示/入力画面31bと同程度となっている。
これにより、ユーザは、表示/入力画面のサイズに応じた自然な動作でジェスチャー入力を行うことができる。また、有効なジェスチャー距離が大きくなりすぎて、ユーザの操作性が低下することもない。
〔制御装置1の詳細な構成〕
続いて、制御装置1の詳細な構成について、図1に基づいて説明する。図1は、制御装置1の要部構成を示すブロック図である。なお、制御装置1は、図2の制御装置1a〜1cに対応している。また、図1の表示/入力装置(検出装置)30及び表示/入力画面(入力面)31は、図2の表示/入力装置30a〜30c及び表示/入力画面31a〜31cに対応している。
図示のように、制御装置1は、制御装置1の動作を統括して制御する主制御部10と、主制御部10が使用する各種データを格納する記憶部20とを備えている。そして、主制御部10は、コマンド特定部(コマンド生成手段)11、サイズ取得部(サイズ取得手段)12、コマンド実行部13、データ取得部(データ取得手段)14、表示処理部15、及び通信制御部16を含み、記憶部20は、対応テーブル(対応データ)21を含んでいる。
コマンド特定部11は、表示/入力画面31にジェスチャー入力が行われたときに、そのジェスチャー入力に対応するコマンドを特定し、特定したコマンドを生成する。なお、コマンドの特定方法については後述する。
サイズ取得部12は、制御装置1に接続されている表示/入力装置30の表示/入力画面31のサイズを示す情報を取得する。具体的には、サイズ取得部12は、接続されている表示/入力装置30に対して、表示/入力画面31のサイズを要求することによって、この情報を取得する。なお、表示/入力画面31のサイズを示す情報は、例えば、表示/入力画面31のサイズをインチ数で示すものであってもよいし、横幅及び高さを示すものであってもよい。
コマンド実行部13は、コマンド特定部11が生成したコマンドに対応する処理を実行する。例えば、コマンド特定部11が、表示/入力画面31に表示されている画像を次の画像に切り替える(ページ送りをする)コマンドを生成した場合には、コマンド実行部13は、表示処理部15に指示して、表示する画像を切り替えさせる。なお、図示の例では、コマンド実行部13が1つのみ記載されているが、コマンド実行部13はコマンド特定部11が生成するコマンドの種類に応じて、それぞれ設けられていてもよい。
データ取得部14は、表示/入力画面31に対して手書きで文字等を入力することができる「手書き入力モード」と、表示/入力画面31に対してジェスチャー入力を行うことのできる「ジェスチャー入力モード」との切り替えを、ユーザの入力操作に従って行う。
そして、データ取得部14は、ジェスチャー入力モードにおいて、表示/入力装置30から表示/入力画面31に描かれた軌跡を示す入力データ(例えば、表示/入力画面31上において指等の接触が検出された位置を示す座標で表されるデータ)を受信したときには、受信した入力データから、表示/入力画面31に描かれた軌跡の、その表示/入力画面31に対する相対的なサイズを示す入力判定用データ(軌跡サイズ)を生成する。ジェスチャー入力モードでは、この入力判定用データを用いて、ジェスチャー入力の判定が行われる。
具体的には、データ取得部14は、サイズ取得部12が取得した画面サイズと、表示/入力装置30から受信した入力データとを用いて上記入力判定用データを生成する。入力判定用データは、例えば、軌跡の表示/入力画面31上における水平方向または垂直方向の長さの、表示/入力画面31の横幅または高さに対する比をパーセントで表したものとすることもできる。この場合に、仮に表示/入力画面31の横幅が100cmであるとすると、水平方向の長さが50cmの軌跡に対応する入力判定用データは50%となる。同様に、表示/入力画面31の高さが50cmであるとすると、垂直方向の長さが5cmの軌跡に対応する入力判定用データは10%となる。
そして、データ取得部14は、上記のようにして生成した入力判定用データと、表示/入力装置30から受信した、表示/入力画面31上に描かれた軌跡のパターンを示す入力データとをコマンド特定部11に送る。コマンド特定部11では、これらのデータを用いてジェスチャー入力の判定を行う。
なお、ここでは、データ取得部14が入力判定用データを生成することを想定しているが、入力判定用データは、例えば表示/入力装置30等の外部の装置から取得してもよい。
一方、手書き入力モード時に表示/入力装置30から入力データを受信したときには、データ取得部14は、受信した入力データを表示処理部15に送信する。これにより、この入力データが示す軌跡に沿った線分が表示/入力画面31に表示される。
表示処理部15は、表示/入力装置30に画像(画像データ)を送信して表示させる。具体的には、表示処理部15は、通信制御部16がサーバ40から受信した画像や、この画像に手書き入力で書き込まれた文字や図形等を合成した画像等を表示させる。
通信制御部16は、制御装置1と外部の装置との通信を制御する。具体的には、通信制御部16は、表示処理部15が表示/入力装置30に表示させた画像を、必要に応じてサーバ40に送信する。また、通信制御部16は、サーバ40から画像を受信したときには、受信した画像を記憶部20に格納し、表示処理部15に指示して、受信した画像を表示/入力装置30に表示させる。
〔コマンドの特定方法〕
次に、コマンド特定部11がコマンドを特定する方法について説明する。コマンド特定部11は、データ取得部14から受け取った入力データと、データ取得部14が生成した入力判定用データと、サイズ取得部12が取得した画面サイズとを用いて、記憶部20に格納されている対応テーブル21からジェスチャー入力が行われたか否かを判断する。そして、ジェスチャー入力が行われていたと判断した場合には、そのジェスチャー入力に対応するコマンドを生成する。
ここで、対応テーブル21は、コマンドと軌跡のパターン(ジェスチャーのパターン)とが対応付けられていると共に、該パターンの表示/入力画面31に対する相対的なサイズの範囲を示すパターンサイズが、表示/入力画面31のサイズ毎に定義されたテーブルである。
対応テーブル21は、例えば図4に示すようなテーブルとしてもよい。図4は、対応テーブル21の一例を示す図である。図4の対応テーブル21には、「ジェスチャーパターン」、「画面上のジェスチャー距離」、及び「パターンサイズ」が含まれている。そして、このパターンサイズには、15インチ、46インチ、65インチ、及び100インチの画面サイズに対応するものが含まれている。
なお、パターンサイズは、ジェスチャーのパターンの表示/入力画面31に対する相対的なサイズの範囲を示すものである。ここでは、パターンサイズを、入力判定用データと同様に、表示/入力画面31上における水平方向の長さの、表示/入力画面31の横幅に対する比をパーセントで表したものとしている。
ここで、パターンサイズとして、表示/入力画面31上における水平方向の長さの、表示/入力画面31の横幅に対する比を用いている理由は、ここで想定しているジェスチャーパターンが、後述のように右向きまたは左向きの直線状のパターンであることによる。つまり、パターンサイズは、表示/入力画面31上における水平方向の長さの、表示/入力画面31の横幅に対する比に限られない。
例えば、ジェスチャーパターンが上向きまたは下向きの直線状のパターンである場合には、パターンサイズは、表示/入力画面31上における垂直方向の長さの、表示/入力画面31の高さに対する比とする。また、ジェスチャーパターンが上下方向及び左右方向に広がりのあるパターン(例えば、円状のパターン)である場合には、パターンサイズは、表示/入力画面31上における水平方向または垂直方向の長さの、表示/入力画面31の横幅または高さに対する比の、何れか一方とすればよい。
図示の例では、ジェスチャーパターンとして、右向きの直線状のパターンが登録されている。そして、このジェスチャーパターンには、ページ送り(現在表示されている画像を次の画像に切り替える)コマンドが対応付けられている。
また、ジェスチャーパターンとして、左向きの直線状のパターンも登録されている。このジェスチャーパターンは、ページ戻し(現在表示されている画像を直前に表示されていた画像に切り替える)コマンドが対応付けられている。無論、ジェスチャーパターン及びコマンドは、これらの例に限られず、任意のジェスチャーパターン及びコマンドを設定することが可能である。
同図に示す、画面上のジェスチャー距離は、上述のパターンサイズを、実際に表示/入力画面31上に描かれる軌跡の長さであるジェスチャー距離で表したものである。図示のように、ページ送りコマンド、ページ戻しコマンド共に、3種類のジェスチャー距離が設定されている。
具体的には、15インチ〜100インチの画面サイズでは、80〜120mmのジェスチャー距離が共通して設定されている。これにより、例えば、表示/入力画面31に描かれた軌跡が右向きの直線状であり、その直線の表示/入力画面31上における長さ(つまりジェスチャー距離)が80〜120mmであれば、画面サイズが15インチ〜100インチの何れであったとしても、この対応テーブル21に基づき、ページ送りコマンドが特定される。
また、15インチの画面サイズでは、50mm〜100mmのジェスチャー距離が設定されており、46インチ〜100インチの画面サイズでは、500〜800mmのジェスチャー距離が共通して設定されている。
このように、46インチ以上の画面サイズ(第1サイズ)に対応するジェスチャー距離の範囲には、15インチの画面サイズ(第2サイズ)に対応するジェスチャー距離の範囲よりも、大きい距離が含まれている。
これにより、表示/入力画面31のサイズが15インチである場合には、ジェスチャー距離が50〜100mmであっても、ページ送りコマンドが特定される。そして、表示/入力画面31のサイズが46インチ〜100インチである場合には、ジェスチャー距離が500〜800mmであっても、ページ送りコマンドが特定される。したがって、ユーザが画面サイズに合わせて大きな動作でジェスチャー入力を行った場合であっても、その入力は有効なものと認識される。
また、ジェスチャー距離は、各コマンドに1つのみ設定されていてもよい。そして、この場合には、各画面サイズに対応するジェスチャー距離は、全て同じであってもよいし、画面サイズに合わせてジェスチャー距離が大きくなるように設定されていてもよい。
例えば、ページ送りコマンドに対応するジェスチャー距離は、何れの画面サイズにおいても80mm〜120mmのみに設定してもよい。この場合には、画面サイズによらず、同じ軌跡を描くことでページ送りを行うことが可能になる。
さらに、15インチの画面サイズにおいては、50mm〜100mmに設定し、46インチの画面サイズにおいては80mm〜120mmに設定し、それ以上の画面サイズにおいては500mm〜800mmに設定してもよい。この場合には、ユーザの操作性を損なわない範囲で、画面サイズに応じてジェスチャー距離が大きくなるので、ユーザは直感的な操作でページ送りを行うことができる。
また、コマンドの特定は、描かれた軌跡の表示/入力画面31に対する相対的なサイズを示す入力判定用データを用いて行われる。このため、コマンドの特定は、画面上のジェスチャー距離ではなく、パターンサイズを用いて行われる。つまり、図4では、説明を分かりやすくするために、画面上のジェスチャー距離を記載しているが、対応テーブル21において、「画面上のジェスチャー距離」に相当する項目は含まれている必要はない。
図4の例では、ページ送りコマンドにおいて、15インチ(幅304mm×高さ228mm)の画面サイズに対応するパターンサイズとして、16%〜33%と、26%〜39%との2つが定義されている。なお、これらのパターンサイズを、表示/入力画面31上のジェスチャー距離で表すと、50mm〜100mm及び80mm〜120mmとなる。
このため、表示/入力画面31に右向きの直線の軌跡が描かれた場合に、入力判定用データがこれらのいずれかの範囲に含まれているときには、ページ送りコマンドが生成される。なお、16%〜33%と、26%〜39%とは、範囲が重複しているので、パターンサイズは、これらを統合した範囲(16%〜39%)としてもよい。
また、46インチ(幅1018mm×高さ573mm)の画面サイズに対応するパターンサイズとしては、8%〜12%と、49%〜79%との2つが定義されている。つまり、この対応テーブル21によれば、入力判定用データが、12%より大きく49%より小さい場合には、コマンドが生成されない。なお、これらの範囲を統合して、パターンサイズを8%〜79%としてもよく、この場合には、入力判定用データが、12%より大きく49%より小さい場合にもコマンドが生成される。
さらに、図示のように、各画面サイズにおける、80mm〜120mmのジェスチャー距離に対応するパターンサイズは、画面サイズに反比例している。このように、パターンサイズを画面サイズに反比例させることによって、画面サイズによらず、ジェスチャー距離が一定となる。
なお、表示/入力画面31のサイズが15インチである場合には、500〜800mmの範囲でジェスチャー入力を行うことは物理的に不可能である。このため、15インチに対応するパターンサイズには、500〜800mmのジェスチャー距離に対応するものが設定されていない(図中「無」と記載)。
また、表示/入力画面31のサイズが46インチ以上である場合には、表示/入力画面31のサイズに応じてユーザのジェスチャー距離も自然と大きくなることが想定される。このため、46インチ以上のサイズに対応するパターンサイズには、50〜100mmのジェスチャー距離に対応するものが設定されていない(図中「無」と記載)。
〔対応テーブル21について〕
上記のように、対応テーブル21では、画面サイズ毎に複数のパターンサイズが設定されている。このパターンサイズは、ジェスチャーパターンに応じて、人間工学に基づいて設定することが望ましい。
これについて、図5及び6に基づいて説明する。図5は、ジェスチャー入力を行うときのユーザの操作方法と、その操作方法の描画可能範囲との関係を示す図であり、図6は、ジェスチャー入力を行うときのユーザの操作方法を示す図である。
図5に示すように、ユーザがジェスチャー入力を行うときには、親指、人差し指等の指先で行う場合、手首より先を動かして行う場合、肘より先を動かして行う場合、及び肩より先を動かして行う場合とが考えられる。
人差し指でジェスチャー入力を行う場合には、ユーザの動作は図6(a)に示すような動きとなり、描画可能範囲は、図5に示すように、水平方向及び垂直方向に10cm以内の範囲となる。また、人差し指で円を描く場合には、描くことのできる円の直径は、5cm以内となる。このため、人差し指で操作する場合に、画面の全面にタッチすることが可能な画面サイズは、4インチ以下となる。
親指でジェスチャー入力を行う場合には、描画可能範囲は、水平方向及び垂直方向に5cm以内の範囲となる。また、親指で円を描く場合には、描くことのできる円の直径は、5cm以内となる。このため、親指で操作する場合に、画面の全面にタッチすることが可能な画面サイズは、4インチ以下となる。
以上のことから、人指し指の指先で行うことが想定されるジェスチャー入力については、ジェスチャー距離を10cm以下とし、親指の指先で行うことが想定されるジェスチャー入力については、ジェスチャー距離を5cm以下とし、円を描くジェスチャーについてはその直径を5cm以下とすべきことが分かる。
なお、図4の対応テーブル21では、15インチの表示/入力画面31に対しては、ページ送り及びページ戻しのコマンドを、指先で行うであろうことを考慮して、ジェスチャー距離が50mm〜100mmとなるように、パターンサイズが設定されている。
また、手首より先を動かしてジェスチャー入力を行う場合には、ユーザの動作は図6(b)に示すような動きとなり、描画可能範囲は、図5に示すように、水平方向に20cm、垂直方向に15cm以内の範囲となる。また、手首より先を動かして円を描く場合には、描くことのできる円の直径は、15cm以内となる。このため、手首より先を動かして操作する場合に、画面の全面にタッチすることが可能な画面サイズは、10インチ以下となる。
以上のことから、手首より先を動かして行うことが想定されるジェスチャー入力については、水平方向のジェスチャー距離を10cm以下とし、垂直方向のジェスチャー距離を15cm以下とし、円を描くジェスチャーについてはその直径を15cm以下とすべきことが分かる。
このような、手首より先または指先を動かして行うジェスチャーとしては、例えば文字、図形、記号などを描くジェスチャーが考えられる。なお、図4の対応テーブル21では、15インチ〜100インチの表示/入力画面31に対しては、ページ送り及びページ戻しのコマンドを、手首より先を動かして指先で行うであろうこと、また手の大きさの個人差等を考慮して、ジェスチャー距離が描画可能範囲より小さめ(80mm〜120mm)となるように、パターンサイズが設定されている。
肘より先を動かしてジェスチャー入力を行う場合には、ユーザの動作は図6(c)に示すような動きとなり、描画可能範囲は、図6に示すように、水平方向に70cm以内、垂直方向に50cm以内の範囲となる。また、円を描く場合には、描くことのできる円の直径は、35cm以内となる。このため、肘より先を動かして操作する場合に、画面の全面にタッチすることが可能な画面サイズは、20インチ以下となる。
肩より先を動かしてジェスチャー入力を行う場合には、描画可能範囲は、水平方向及び垂直方向に100cm以内の範囲となる。また、肩より先を動かして円を描く場合には、描くことのできる円の直径は、100cm以内となる。このため、肩より先を動かして操作する場合に、画面の全面にタッチすることが可能な画面サイズは、40インチ以下となる。
このような、肘より先または肩より先を動かして行うジェスチャーとしては、例えばページ送り等のような、腕全体を使って大きく描画するジェスチャーが考えられる。なお、図4の対応テーブル21では、46インチ〜100インチの表示/入力画面31に対しては、ページ送り及びページ戻しのコマンドを、肘より先及び/または肩より先を動かして行うであろうこと、また手の長さの個人差等を考慮して、ジェスチャー距離が描画可能範囲より小さめ(500mm〜800mm)となるように、パターンサイズが設定されている。
〔手書き入力について〕
制御装置1では、ジェスチャー入力モードではジェスチャー入力を行うことができ、また、手書き入力モードでは手書き入力を行うことができる。ここでは、手書き入力について、図7に基づいて説明する。図7は、画面サイズと手書きした軌跡のサイズとの対応関係を示す図である。
手書き入力を行う場合に、異なる画面サイズの表示/入力画面31に同じ入力を行うためには、画面サイズに比例して手書きの軌跡のサイズを大きくする必要がある。例えば、図2、3に示したように、表示されている「A」の文字を円で囲む手書き入力を行う場合には、画面サイズに比例して手書きする円の軌跡のサイズが大きくなる。
図7の例では、15インチの表示/入力画面31に手書き入力した軌跡の長さが3cmである場合を示している。この場合に、45インチの表示/入力画面31に同一内容の手書き入力を行うためには、画面サイズが3倍になっているので、軌跡のサイズも3倍の9cmとする必要がある。同様に、65インチの場合には、軌跡のサイズを65/15倍にする必要があり、100インチの場合には、100/15倍にする必要がある。
〔処理の流れ〕
次に、制御装置1が実行する処理の流れについて、図8に基づいて説明する。図8は、制御装置1が実行する処理の一例を示すフローチャートである。
制御装置1の電源が投入されたとき、または制御装置1に表示/入力装置30が接続されたときには、サイズ取得部12は、接続されている表示/入力装置30から、当該表示/入力装置30の画面サイズを示す情報(例えば、表示/入力画面31のインチ数)を取得する(S1)。
その一方で、データ取得部14は、制御装置1に表示/入力装置30が接続されているときには、該表示/入力画面31に対する入力操作の開始を監視している(S2)。なお、入力操作が開始されると、表示/入力装置から、表示/入力画面31に対する接触位置を示す入力データが送信されるので、データ取得部14は、入力データの受信を確認したときに、入力操作が開始されたと判断する。
ここで、入力操作が開始されたと判断した場合(S2でYES)には、データ取得部14は、現在の入力モードが、手書き入力モードとジェスチャー入力モードとのいずれに設定されているかを確認する(S3)。なお、これらのモードの設定及び切り替えは、例えば表示/入力装置30からの入力操作によって予め行われているものとする。
確認の結果、ジェスチャー入力モードに設定されていた場合には、データ取得部14は、入力操作が終了したか否か、すなわち表示/入力画面31に対する接触が検出されなくなったか否かを確認する(S4)。S4の処理は、入力操作が終了したことが確認されるまで行われる。
ここで、入力操作が終了したことが確認される(S4でYES)と、データ取得部14は、サイズ取得部12が取得した画面サイズに応じた入力判定用データを生成し(S5)、生成した入力判定用データをコマンド特定部11に送る。また、データ取得部14は、入力開始(S2)から終了(S4)までの入力データをコマンド特定部11に送る。
コマンド特定部11は、データ取得部14から入力判定用データ及び入力データを受け取ると、受け取った入力判定用データ及び入力データと、記憶部20に格納されている対応テーブル21とを照合する(S6)。
そして、コマンド特定部11は、対応テーブル21においてコマンドの特定を試みる(S7)。具体的には、コマンド特定部11は、まず、入力データが示す軌跡に対応するジェスチャーパターンの有無を確認する。なお、対応するジェスチャーパターンの有無は、例えばパターンマッチング等によって確認することができる。
ここで、対応するジェスチャーパターンの存在が確認された場合には、コマンド特定部11は、そのジェスチャーパターンに対応し、かつサイズ取得部12が取得した画面サイズに対応するパターンサイズを特定する。そして、上記入力判定用データが示すサイズが、上記特定したパターンサイズに含まれていれば、そのジェスチャーパターンに対応するコマンドを、ユーザがジェスチャー入力したコマンドとして特定する。
例えば、図4の対応テーブル21を用いた場合に、パターンマッチングによって、入力データが示す軌跡がページ送りのジェスチャーパターンに対応することが特定され、サイズ取得部12が取得した画面サイズが15インチであったとする。
この場合には、コマンド特定部11は、上記入力判定用データが示すサイズが、50mm〜100mmのジェスチャー距離に対応するパターンサイズが示す16%〜33%の範囲に含まれているか否かを確認する。ここで、含まれていることが確認された場合には、コマンド特定部11は、ページ送りのコマンドが入力されたと特定する。
一方、16%〜33%の範囲に含まれていないことが確認された場合には、コマンド特定部11は、上記入力判定用データが示すサイズが、80mm〜120mmのジェスチャー距離に対応するパターンサイズが示す26%〜39%の範囲に含まれているか否かを確認する。ここで、含まれていることが確認された場合には、コマンド特定部11は、ページ送りのコマンドが入力されたと特定する。
そして、26%〜39%の範囲にも含まれていないことが確認された場合には、コマンド特定部11は、コマンドが特定されなかったと判断する(S7でNO)。
このように、1つの画面サイズに対してパターンサイズが複数設定されている場合には、入力判定用データが示すサイズが、パターンサイズが示す範囲に含まれるか否かを確認する処理を、各パターンサイズのそれぞれについて行う。そして、何れかのパターンサイズの示す範囲に含まれることが確認された場合には、そのパターンサイズに対応するコマンドが入力されたと特定する。なお、上記の例では、小さいジェスチャー距離に対応するパターンサイズから順に上記の処理を行う例を示したが、この順序は特に限定されない。
以上のような処理によって、コマンドが特定された場合(S7でYES)には、コマンド特定部11は、特定したコマンドを生成し、これにより、コマンド実行部13はこのコマンドに対応付けられた処理を実行する(S8)。この後、処理はS2に戻り、入力操作の開始の待ち受け状態となる。一方、コマンドが特定されなかった場合(S7でNO)には、コマンド生成は行われず、処理はS2に戻る。
ここで、S3において、入力モードが手書き入力モードであった場合には、データ取得部14は、表示/入力装置30から受信した入力データを表示処理部15に送信する。そして、表示処理部15は、受け取った入力データが示す軌跡に沿った線分を表示/入力装置30に表示させる(S9)。S9の処理は、データ取得部14が、S10で入力終了と判断するまで行われ、入力終了と判断したときには、S2の処理に戻る。
〔変形例〕
上記実施形態では、制御装置1の記憶部20に格納されている対応テーブル21を用いてコマンドの特定を行う例を示した。しかしながら、対応テーブル21は、制御装置1がコマンドの特定を行う際に参照可能となっていればよく、この例に限られない。例えば、対応テーブル21を、制御装置1の外部に設けられた記憶装置や、サーバ40等の他の装置に格納しておき、コマンド特定を行うまでの任意のタイミングでこれらの装置から読み出すようにしてもよい。
また、上記実施形態では、データ取得部14が入力データと画面サイズとを用いて、入力判定用データを生成する例を示したが、入力判定用データの生成方法は、この例に限られない。例えば、表示/入力画面31上の座標を用いて入力判定用データを生成してもよい。具体的には、表示/入力画面31の左上隅の座標が(0,0)、右下隅の座標が(100,50)に設定されているときに、座標(10,20)から座標(50,20)までの入力データを受信したときには、(50−10)/100×100=40%のような演算で入力判定用データを生成してもよい。
〔プログラムによる実現例〕
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
最後に、制御装置1の各ブロック、特に主制御部10は、ハードウェアロジックによって構成してもよいし、次のようにCPUを用いてソフトウェアによって実現してもよい。
すなわち、制御装置1は、各機能を実現する制御プログラムの命令を実行するCPU(central processing unit)、上記プログラムを格納したROM(read only memory)、上記プログラムを展開するRAM(random access memory)、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである制御装置1の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、上記制御装置1に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ系などを用いることができる。
また、制御装置1を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(virtual private network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、802.11無線、HDR、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
本発明によれば、入力面のサイズにかかわらず、ユーザのジェスチャー入力時の操作感を損なうことがないので、入力面に対して入力操作を行う入力装置を接続して使用する各種機器に利用することができる。
1 制御装置
11 コマンド特定部(コマンド生成手段)
12 サイズ取得部(サイズ取得手段)
14 データ取得部(データ取得手段)
21 対応テーブル(対応データ)
30 表示/入力装置(検出装置)
31 表示/入力画面(入力面)

Claims (6)

  1. 入力面に対するユーザの入力操作を検出する検出装置から、上記入力面に対して行われた一連の入力操作の軌跡を取得して、予め定めたパターンの中に、取得した上記軌跡に対応するものが存在する場合に、当該パターンに対応付けられているコマンドを生成する制御装置であって、
    上記検出装置から取得した軌跡を用いて、該軌跡の上記入力面に対する相対的なサイズを示す軌跡サイズを取得するデータ取得手段と、
    上記入力面のサイズを取得するサイズ取得手段と、
    コマンドと上記軌跡のパターンとが対応付けられていると共に、該パターンの上記入力面に対する相対的なサイズの範囲を示すパターンサイズが、上記入力面のサイズ毎に定義された対応データを用いて、
    上記検出装置から取得した軌跡のパターンに対応し、かつ上記データ取得手段が取得した上記軌跡サイズが、上記サイズ取得手段が取得した上記入力面のサイズに対応するパターンサイズが示す範囲に含まれるコマンドを生成するコマンド生成手段とを備えていることを特徴とする制御装置。
  2. 上記対応データにおいて、1つの軌跡のパターンに対応するパターンサイズは、該パターンサイズで特定される、当該パターンの上記入力面上における絶対的なサイズの範囲が、各サイズの入力面において同じになるように定義されていることを特徴とする請求項1に記載の制御装置。
  3. 上記パターンサイズが定義されている入力面のサイズの1つを第1サイズとし、上記パターンサイズが定義されている入力面のサイズのうち、上記第1サイズより小さいものを第2サイズとしたときに、
    上記対応データにおいて、1つの軌跡のパターンに対応し、かつ上記第1サイズに対応するパターンサイズで特定される、当該パターンの上記第1サイズの入力面上における絶対的なサイズの範囲には、上記パターンに対応し、かつ上記第2サイズに対応するパターンサイズで特定される、当該パターンの上記第2サイズの入力面上における絶対的なサイズの範囲よりも、大きいサイズが含まれることを特徴とする請求項1または2に記載の制御装置。
  4. 入力面に対するユーザの入力操作を検出する検出装置から、上記入力面に対して行われた一連の入力操作の軌跡を取得して、予め定めたパターンの中に、取得した上記軌跡に対応するものが存在する場合に、当該パターンに対応付けられているコマンドを生成する制御装置の制御方法であって、
    上記検出装置から取得した軌跡を用いて、該軌跡の上記入力面に対する相対的なサイズを示す軌跡サイズを取得するデータ取得ステップと、
    上記入力面のサイズを取得するサイズ取得ステップと、
    コマンドと上記軌跡のパターンとが対応付けられていると共に、該パターンの上記入力面に対する相対的なサイズの範囲を示すパターンサイズが、上記入力面のサイズ毎に定義された対応データを用いて、
    上記検出装置から取得した軌跡のパターンに対応し、かつ上記データ取得ステップで取得した上記軌跡サイズが、上記サイズ取得ステップで取得した上記入力面のサイズに対応するパターンサイズが示す範囲に含まれるコマンドを生成するコマンド生成ステップとを含むことを特徴とする制御方法。
  5. 請求項1から3の何れか1項に記載の制御装置を動作させるための制御プログラムであって、コンピュータを上記各手段として機能させるための制御プログラム。
  6. 請求項5に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2009235732A 2009-10-09 2009-10-09 制御装置、制御方法、制御プログラム、及び記録媒体 Expired - Fee Related JP5165661B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009235732A JP5165661B2 (ja) 2009-10-09 2009-10-09 制御装置、制御方法、制御プログラム、及び記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009235732A JP5165661B2 (ja) 2009-10-09 2009-10-09 制御装置、制御方法、制御プログラム、及び記録媒体

Publications (2)

Publication Number Publication Date
JP2011081749A JP2011081749A (ja) 2011-04-21
JP5165661B2 true JP5165661B2 (ja) 2013-03-21

Family

ID=44075714

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009235732A Expired - Fee Related JP5165661B2 (ja) 2009-10-09 2009-10-09 制御装置、制御方法、制御プログラム、及び記録媒体

Country Status (1)

Country Link
JP (1) JP5165661B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2575007A1 (en) * 2011-09-27 2013-04-03 Elo Touch Solutions, Inc. Scaling of gesture based input
EP2575006B1 (en) 2011-09-27 2018-06-13 Elo Touch Solutions, Inc. Touch and non touch based interaction of a user with a device
JP2015146058A (ja) * 2014-01-31 2015-08-13 富士通株式会社 情報処理装置、情報処理方法および情報処理プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2585922B2 (ja) * 1992-05-29 1997-02-26 日立ソフトウエアエンジニアリング株式会社 電子黒板装置
JP4244075B2 (ja) * 1998-03-12 2009-03-25 株式会社リコー 画像表示装置
JP2006195742A (ja) * 2005-01-13 2006-07-27 Yamaha Corp 電子機器
US8487910B2 (en) * 2005-05-02 2013-07-16 Smart Technologies Ulc Large scale touch system and methods for interacting with same
JP2008282131A (ja) * 2007-05-09 2008-11-20 Victor Co Of Japan Ltd 電子機器の制御装置

Also Published As

Publication number Publication date
JP2011081749A (ja) 2011-04-21

Similar Documents

Publication Publication Date Title
JP5922598B2 (ja) マルチタッチ利用、ジェスチャ及び実装
JP5107453B1 (ja) 情報処理装置、操作画面表示方法、制御プログラムおよび記録媒体
JP6233314B2 (ja) 情報処理装置、情報処理方法およびコンピュータ読み取り可能な記録媒体
JP6902234B2 (ja) 文字列に文字を挿入するための方法および対応するデジタルデバイス
JP6991486B2 (ja) 文字列に文字を挿入するための方法およびシステム
JP2014132427A (ja) 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
JP2011028524A (ja) 情報処理装置、プログラムおよびポインティング方法
US20150186037A1 (en) Information processing device, information processing device control method, control program, and computer-readable recording medium
JP6493546B2 (ja) 電子黒板、記憶媒体、及び情報表示方法
WO2017172548A1 (en) Ink input for browser navigation
KR20150031986A (ko) 디스플레이장치 및 그 제어방법
US20160299657A1 (en) Gesture Controlled Display of Content Items
WO2014162604A1 (ja) 電子機器および手書きデータ処理方法
JP5173001B2 (ja) 情報処理装置、画面表示方法、制御プログラムおよび記録媒体
US20140354559A1 (en) Electronic device and processing method
TWI442305B (zh) 多點控制的操作方法及其控制系統
JP5875262B2 (ja) 表示制御装置
US10755461B2 (en) Display device, display method, and recording medium
JP5165661B2 (ja) 制御装置、制御方法、制御プログラム、及び記録媒体
US20180173398A1 (en) Touch panel type information terminal device, information input processing method and program thereof
CN108780383B (zh) 基于第二输入选择第一数字输入行为
JP2014241078A (ja) 情報処理装置
JP6327834B2 (ja) 操作表示装置、操作表示方法及びプログラム
JP6722239B2 (ja) 情報処理装置、入力方法及びプログラム
JP5864050B2 (ja) 入力装置、入力装置の制御方法、制御プログラム、および記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111228

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120829

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121120

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121219

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151228

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees