JP6047822B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
JP6047822B2
JP6047822B2 JP2013052435A JP2013052435A JP6047822B2 JP 6047822 B2 JP6047822 B2 JP 6047822B2 JP 2013052435 A JP2013052435 A JP 2013052435A JP 2013052435 A JP2013052435 A JP 2013052435A JP 6047822 B2 JP6047822 B2 JP 6047822B2
Authority
JP
Japan
Prior art keywords
display
touch
touch panel
information
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013052435A
Other languages
English (en)
Other versions
JP2014178887A (ja
Inventor
康洋 中村
康洋 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2013052435A priority Critical patent/JP6047822B2/ja
Priority to PCT/JP2014/053191 priority patent/WO2014141797A1/ja
Priority to US14/646,035 priority patent/US9582094B2/en
Publication of JP2014178887A publication Critical patent/JP2014178887A/ja
Application granted granted Critical
Publication of JP6047822B2 publication Critical patent/JP6047822B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72469User interfaces specially adapted for cordless or mobile telephones for operating the device by selecting functions from two or more displayed items, e.g. menus or icons
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M11/00Telephonic communication systems specially adapted for combination with other electrical systems
    • H04M11/007Telephonic communication systems specially adapted for combination with other electrical systems with remote control systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/041012.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Description

この発明は、情報処理装置、情報処理方法及びプログラムに関する。
携帯電話端末などの携帯端末は、携帯性が重視されているため、液晶ディスプレイなど、その表示デバイスの大きさが限定されてしまう。そこで、携帯端末を、外部のディスプレイ装置に接続し、該ディスプレイ装置に、携帯端末が生成した画像を表示させるものがある。このような現状の中、外部のディスプレイとしてタッチパネルを搭載したデバイスと、大きさの異なるディスプレイを持つ携帯端末を接続した場合に、1つのタッチパネルを搭載したデバイスで、携帯端末と該外部のディスプレイとの双方で操作可能とするものがある。
例えば、特許文献1には、自装置のタッチパネルから、携帯端末に接続されたタッチパネル付きの外部のディスプレイを操作することを目的とした技術が開示されている(特許文献1参照)。
特開2011−134278号公報
ところで、特許文献1に記載の携帯端末にあっては、接続されたタッチパネル付ディスプレイのサイズによっては、タッチ操作の種別を適切に判定することができないことがあるという問題がある。例えば、5インチのタッチパネル付ディスプレイがフリックと判定したタッチ操作が、10インチのタッチパネル付ディスプレイではタップと判定されてしまう。
そこで本発明は、上記従来技術の問題に鑑みてなされたものであり、情報処理装置に接続されたタッチパネル付ディスプレイに対するタッチ操作の種別を、適切に判定することができる情報処理装置、情報処理方法及びプログラムを提供することにある。
この発明は、上記問題を解決するためになされたもので、本発明の一態様は、第1タッチパネル付ディスプレイと、自装置に接続された第2タッチパネル付ディスプレイの画面の単位長さ当たりの画素数を表す情報と、前記第2タッチパネル付ディスプレイがタッチ操作されたタッチ位置を示す情報とに基づいて、前記タッチ位置の移動量を表す値を算出し、算出した前記移動量を表す値が所定の閾値を超えているか否かにより前記タッチ操作の種別を判定する操作種別判定部と、を備え、前記所定の閾値は、前記自装置が備える前記第1タッチパネル付ディスプレイに対して行われた前記タッチ操作の種別を判定する際に用いられる閾値と同じである、ことを特徴とする情報処理装置である。
本発明によれば、情報処理装置に接続されたタッチパネル付ディスプレイに対するタッチ操作の種別を適切に判定することができる情報処理装置、情報処理方法及びプログラムを提供することができる。
本発明の一実施形態に係る情報処理装置100の利用状況を示す外観図である。 第1の実施形態における情報処理装置100と、タッチパネル付ディスプレイ200とのハード構成を示す概略ブロック図である。 第1の実施形態における情報処理装置100と、タッチパネル付ディスプレイ200との機能構成を示す概略ブロック図である。 第1の実施形態におけるタッチパネル付ディスプレイ200がタップされた場合のタッチ操作テーブルの一例を表す表である。 第1の実施形態におけるタッチパネル付ディスプレイ200がフリックされた場合のタッチ操作テーブルの一例を表す表である。 第1の実施形態における受信情報解析部と、操作種別判定部と、タッチパネル付ディスプレイとの処理の流れを表すシーケンス図である。 第1の実施形態における操作種別判定部の動作を説明する図である。 第2の実施形態における情報処理装置100と、タッチパネル付ディスプレイ200との機能構成を示す概略ブロック図である。
[第1の実施形態]
以下、図面を参照して、本発明の第1の実施形態について説明する。
図1は、この発明の一実施形態による情報処理装置100の利用状況を示す外観図90である。本実施形態による情報処理装置100は、スマートフォンやタブレット端末等の情報処理装置である。情報処理装置100は、後述するように、第1のタッチパネル103と、第1の表示部102とを備えており、第1の表示部102に画像を表示し、第1のタッチパネル103のタッチ位置を検出する。さらに、情報処理装置100は、図2に示すように、タッチパネル付ディスプレイ200が、ケーブル300により接続されているときは、タッチパネル付ディスプレイ200に画像を表示させ、タッチパネル付ディスプレイ200におけるタッチ位置を取得する。
なお、本実施形態では、情報処理装置100は、タッチパネル付ディスプレイ200が接続されているときは、常にタッチパネル付ディスプレイ200に画像を表示し、該装置からタッチ位置を検出する。他の形態として、情報処理装置100は、タッチパネル付ディスプレイ200が接続されており、かつ、ユーザからの指示操作があったときのみ、タッチパネル付ディスプレイ200に画像を表示し、該装置からタッチ位置を検出するようにしてもよい。
図1では、情報処理装置100と、タッチパネル付ディスプレイ200とが1本のケーブル300で接続される場合を示したが、複数のケーブルで接続されてもよいし、無線通信により接続されてもよい。また、タッチパネル付ディスプレイ200に表示させる画像のデータは、有線にてタッチパネル付ディスプレイ200に送信し、タッチパネル付ディスプレイ200が検出したタッチ位置を示す情報は、無線通信にて情報処理装置100に送信する等、異なる通信手段で、これらの情報を伝達するようにしてもよい。
図2は、情報処理装置100と、タッチパネル付ディスプレイ200とのハード構成を示す概略ブロック図である。図2に示すように、情報処理装置100は、第1のCPU101、第1の表示部102、第1のタッチパネル103、第1の通信部105、第1のメモリ107、第1の外部出力部108を含んで構成される。また、タッチパネル付ディスプレイ200は、第2のCPU201と、第2の表示部202と、第2のタッチパネル203と、第2の通信部205と、第2のメモリ207と、第2の外部出力部208とを含んで構成される。
第1のタッチパネル103は、第1の表示部102の表面に設置されており、ユーザがタッチした位置(以降、タッチ位置という)を検出する。第1の表示部102は、液晶ディスプレイ等の表示デバイスを有し、第1のCPU101からの指示に従い、画像を表示する。
第2のタッチパネル203は、第2の表示部202の表面に設置されており、タッチ位置を検出する。第2の表示部202は、液晶ディスプレイ等の表示デバイスを有し、第2のCPU201からの指示に従い、画像を表示する。ここで、第1の表示部102と第2の表示部202では、例えば、画面の画面サイズ又は画素数(解像度)が異なる。
図3は、情報処理装置100と、タッチパネル付ディスプレイ200との機能構成を示す概略ブロック図である。情報処理装置100は、第1の通信部105と、受信情報解析部106と、画面情報記憶部111と、操作種別判定部104と、座標変換部113と、アプリケーション実行部110と、表示画像生成部109と、第1の表示部102と、第1の外部出力部108とを含んで構成される。また、タッチパネル付ディスプレイ200は、第2の表示部202と、第2のタッチパネル203と、第2の通信部205と、送信情報生成部206と、第2のメモリ207と、第2の外部出力部208とを含んで構成される。
操作種別判定部104、座標変換部113、受信情報解析部106、画面情報記憶部111、アプリケーション実行部110、表示画像生成部109は、第1のCPU101が第1のメモリ107からプログラムを読み出して実行することにより実現される。また、送信情報生成部206は、第2のCPU201が第2のメモリ207からプログラムを読み出して実行することにより実現される。
同図において、図2における各部に対応する部分には、同一の符号(102、105、108、202、203、205、208)を付し、説明を省略する。
第1の通信部105は、ケーブル300を介して、タッチパネル付ディスプレイ200と通信し、画面の単位長さ当たりの画素数を表す情報と、タッチパネル付ディスプレイ200からタッチ位置を示す情報とを受信する。本実施形態では、第1の通信部105は、画面の単位長さ当たりの画素数を表す情報として、画面の画面サイズ及び画素数(解像度)を示す情報(以下、画面情報という)を受信する。また、第1の通信部105は、タッチパネル付ディスプレイ200から、該タッチ位置を示す情報として、該タッチ位置の座標と、該タッチ位置の座標が検出された時刻(以降、座標検出時刻という)とを、周期的に受信する。
第1の通信部105は、タッチパネル付ディスプレイ200がタッチされていないときは、該タッチ位置の座標として、ヌル情報を受信する。本実施形態において、該通知の周期は、dtで表すこととし、単位をミリ秒とする。
画面情報記憶部111は、第1のCPU101がプログラムを実行する際にワークメモリとして動作している記憶領域であり、タッチパネル付ディスプレイ200が接続されると、受信情報解析部106から、画面情報を取得して記憶する。なお、画面情報記憶部111は、該画面情報として、dpi(dots per inch)を取得するようにしてもよい。
受信情報解析部106は、タッチパネル付ディスプレイ200が接続されると、第1の通信部105を介して、タッチパネル付ディスプレイ200から、画面情報を取得する。また、受信情報解析部106は、第1の通信部105が周期的に受信するタッチパネル付ディスプレイ200のタッチ位置を示す情報を、周期的に取得する。受信情報解析部106は、第1の通信部105から取得した情報が、該タッチ位置を示す情報か、該画面情報かを判定し、該タッチ位置を示す情報を操作種別判定部104へ、該画面情報を画面情報記憶部111へと振り分けて出力する。
操作種別判定部104は、タッチ位置を示す情報を取得し、該タッチ位置を示す情報の、該タッチ位置の座標がヌル情報かどうかを判定する。操作種別判定部104は、該タッチ位置の座標がヌル情報ではなかった場合、次にタッチ位置の座標がヌル情報として取得されるまで、取得した順に、該タッチ位置の座標と、該座標検出時刻とを、タッチ操作テーブルを生成して格納する。タッチ操作テーブルの詳細は後述する。操作種別判定部104は、画面情報記憶部111から、画面情報を読み込む。操作種別判定部104は、該画面情報を取得した後、該画面情報と、該タッチ操作テーブルとに基づいて、タッチ操作の種別を判定する。該タッチ操作の種別の判定の詳細は後述する。その後、操作種別判定部104は、該タッチ操作の種別を示す情報と、該タッチ操作テーブルとを、座標変換部113に出力する。
座標変換部113は、タッチ操作の種別を示す情報と、タッチ操作テーブルとを取得すると、画面情報記憶部111から、画面情報を読み込む。座標変換部113は、該画面情報と、該タッチ操作テーブルとに基づいて、該タッチ操作テーブルに格納された第2のタッチパネル203上でのタッチ位置の座標を、第1のタッチパネル103上の対応する座標(以降、本体座標という)に座標変換する。該座標変換の詳細は後述する。座標変換部113は、該タッチ操作の種別を示す情報と、該本体座標とを、タッチ操作情報としてアプリケーション実行部110に出力する。
アプリケーション実行部110は、Webブラウザなどのアプリケーションを実行する。アプリケーション実行部110は、座標変換部113から取得したタッチ操作情報に基づいて、実行しているアプリケーションが要求する動作を行う。例えば、タッチ操作の種別が、A地点からB地点へのフリックだった場合、該フリックに基づいて、A地点からB地点へのスクロールを行う。また、アプリケーション実行部110は、実行しているアプリケーションが画像の表示を要求しているときは、該画像を第1の表示部102もしくはタッチパネル付ディスプレイ200に表示させるため、該画像の画像データを表示画像生成部109に入力する。
表示画像生成部109は、アプリケーション実行部110から入力されたアプリケーションの画像データから、表示画像の画像信号を生成し、第1の表示部102または第1の外部出力部108に入力する。
第1の外部出力部108は、表示画像生成部109から入力された、表示画像の画像信号を、第2の通信部205に出力する。
第2の通信部205は、第1の外部出力部108から、表示画像の画像信号を受けると、第2の表示部202に入力する。
送信情報生成部206は、タッチパネル付ディスプレイ200が接続されると、第2のメモリ207から、画面情報を取得し、第2の外部出力部208に出力する。また、送信情報生成部206は、第2のタッチパネル203から、タッチ位置を示す情報を取得すると、該タッチ位置を示す情報を、第2の外部出力部208に出力する。
第2の外部出力部208は、画面情報を取得すると、該画面情報を第1の通信部105に入力する。また、第2の外部出力部208は、タッチ位置を示す情報を取得すると、該タッチ位置を示す情報を、第1の通信部105に入力する。
図4は、タッチパネル付ディスプレイ200が、タッチ操作としてタップされた場合のタッチ操作テーブルの一例を表す表である。タッチ操作テーブルt100tは、座標検出時刻t101tと、タッチ位置の座標t102tとが格納されている。タッチ位置の座標t102tは、該タッチ操作がタップであることを反映して、座標検出時刻t101tが、周期dtだけ変化しても、座標の値が変化していない。
図5は、タッチパネル付ディスプレイ200が、タッチ操作としてフリックされた場合のタッチ操作テーブルの一例を表す表である。タッチ操作テーブルt100fは、座標検出時刻t101fと、タッチ位置の座標t102fとが格納されている。タッチ位置の座標t102fは、該タッチ操作がフリックであることを反映して、座標検出時刻t101fが、周期dtだけ変化する毎に、座標の値も変化している。
図6は、情報処理装置100のタッチ操作の種別を判定するまでの動作例を説明するシーケンス図である。まず、受信情報解析部106は、タッチパネル付ディスプレイ200の接続を検出するまで待機する(Sa1)。受信情報解析部106は、タッチパネル付ディスプレイ200の接続を検出すると、第1の通信部105を介して、タッチパネル付ディスプレイ200に、画面情報を要求する(Sa2)。タッチパネル付ディスプレイ200は、該要求を受けると、自装置の画面情報を、受信情報解析部106に送信する(Sa3)。受信情報解析部106は、Sa2の要求に対する応答として、該画面情報を取得し、画面情報記憶部111に記憶させる(Sa4)。
時間が経過して、タッチパネル付ディスプレイ200は、タッチ操作を受けると、該タッチ操作のタッチ位置を示す情報を、受信情報解析部106に出力する(Sa5)。受信情報解析部106は、タッチパネル付ディスプレイ200から、該タッチ位置を示す情報を取得する(Sa6)。受信情報解析部106は、該タッチ位置を示す情報を、操作種別判定部104に出力する(Sa7)。操作種別判定部104は、該タッチ位置を示す情報に基づいて、タッチ操作テーブルを生成する(Sa8)。操作種別判定部104は、画面情報記憶部111から、画面情報を取得する(Sa9)。操作種別判定部104は、該画面情報と、該タッチ操作テーブルとに基づいて、タッチ操作の種別を判定する(Sa10)。
図7は、操作種別判定部104が、タッチ操作の種別を判定する動作を説明するフローチャートである。操作種別判定部104は、タッチパネル付ディスプレイ200にタッチ操作が行われる毎に、ステップST100からステップST106までの処理を実行する。
(ステップST100)操作種別判定部104は、タッチ位置を示す情報を取得する。
(ステップST101)次に、操作種別判定部104は、該タッチ位置を示す情報に基づいて、タッチ操作テーブルを生成する。
(ステップST102)次に、操作種別判定部104は、画面情報を取得する。なお、該画面情報を取得する処理は、タッチ位置を示す情報を取得する毎に必要なわけではなく、最初にタッチ位置を示す情報を取得した時にのみ、該画面情報を取得するとしてもよい。
(ステップST103)次に、操作種別判定部104は、タッチ操作テーブルを参照し、ユーザが第2のタッチパネル203をタッチしてから離すまでの平均移動速度(タッチ位置の移動量を表す値)を算出する。ここで、図5のタッチ操作テーブルt100fを参照しながら、該平均移動速度の算出の詳細を説明する。タッチ操作テーブルt100fは、4つの座標が格納されているので、上から順に、A地点、B地点、C地点、D地点と名前を付けることにする。該A地点は、ユーザが第2のタッチパネル203をタッチした位置であり、該D地点は、ユーザが第2のタッチパネル203からタッチを離した位置である。
操作種別判定部104は、まず該画面情報を用いて、A地点とB地点との間の距離を算出する。
該画面情報は、画面サイズが横D60x×縦D60yであり、第2のタッチパネル203の画素数が横TR60x×縦TR60yとすると、A地点からB地点までの実寸サイズの距離は、三平方の定理を用いることで、
A−B間距離=√(((dx_2 − dx_1)×D60x/TR60x)2 +((dy_2 − dy_1)×D60y/TR60y)2
と算出することができる。
本実施形態において、操作種別判定部104は、これをB地点とC地点との間、C地点とD地点との間に対しても繰り返し、算出されたA−B間距離、B−C間距離、C−D間距離を足し合わせることで、タッチ位置の移動距離を求めるが、これに限られるわけではない。例えば、該タッチ操作テーブルの、一番上と一番下のレコードに格納されたタッチ位置を示す座標間の直線距離、すなわちタッチ操作テーブルt100fの例でいえばA地点とD地点との間の直線距離を算出することで、該移動距離としてもよい。
ここで、該A地点からD地点までの移動距離が3cmの場合を考える。また、操作種別判定部104は、座標検出時刻t101fを参照することで、A地点からD地点までの移動に掛かった時間を算出することができる。タッチ操作テーブルt100fの場合、該移動に掛かった時間は、3dtである。本実施形態において、検出周期であるdtは、33ミリ秒とすると、3dtは99ミリ秒ということになる。従って、A地点からD地点まで座標が移動した際の平均移動速度は、3cmを99ミリ秒で移動したので、約0.3m/sとなる。
(ステップST104)次に、操作種別判定部104は、該平均移動速度が、所定の閾値を超えたか否かを判定する。該判定は、タッチ位置の座標の実寸サイズの平均移動速度を用いて行っているため、大きさの異なるタッチパネル付ディスプレイ間で、同じ閾値を用いてタッチ操作の種別を判定することが可能となっている。従って、タッチパネル付ディスプレイ200上でのタッチ操作の操作感覚は、情報処理装置100上でのタッチ操作の操作感覚と同じになる。なお、本実施形態において、該判定は、該平均移動速度と所定の閾値とを比較することとしたが、これに限られるわけではない。例えば、99ミリ秒当たりの移動距離が、所定の閾値を超えたか否かを判定するというように、平均移動速度としてある一定の時間間隔の間の移動距離を用いて判定してもよい。
操作種別判定部104は、該平均移動速度が所定の閾値を超えたとき(ステップST104−Yes)、ステップST105に遷移する。操作種別判定部104は、該平均移動速度が所定の閾値を超えなかったとき(ステップST104−No)、ステップST106に遷移する。
(ステップST105)操作種別判定部104は、タッチ操作の種別を、フリックと判定する。
(ステップST106)操作種別判定部104は、タッチ操作の種別を、タップと判定する。
なお、本実施形態において、タッチ操作の種別の判定は、タップとフリックとのみを説明したが、これらに限られるわけではない。例えば、ピンチインやピンチアウト等の、マルチタップイベントの場合、検出された座標が複数あるか否かでタップやフリックとの違いを判定し、ステップST103で求めたタッチ位置の移動距離が所定の閾値を超えたか否かでピンチインまたはピンチアウトであったか否かを判定するとしてもよい。
このように、本実施形態において、情報処理装置100の操作種別判定部104は、タッチパネル付ディスプレイ200の第2の表示部202の画面情報に基づいて、タッチパネル付ディスプレイ200に行われたタッチ操作の種別を判定する。このため、情報処理装置100は、画面情報が表わす単位長さ当たりの画素数に応じてタッチ操作の種別を判定でき、タッチパネル付ディスプレイ200に対するタッチ操作の種別を適切に判定することができる。
また、情報処理装置100は、第1のタッチパネル103を備える。さらに、操作種別判定部104は、情報処理装置100に接続されたタッチパネル付ディスプレイ200がタッチ操作されたタッチ位置を示す情報と、画面情報とに基づいて、該タッチ位置の移動量を表す値として平均移動速度を算出する。そして、操作種別判定部104は、該平均移動速度が所定の閾値を超えているか否かにより、該タッチ操作の種別を判定する。該所定の閾値は、情報処理装置100が備える第1のタッチパネル103に対して行われたタッチ操作の種別を判定する際に用いられる閾値と同じである。
例えば、情報処理装置100は、画面情報に基づいて、タッチ位置の座標の実寸サイズの平均移動速度を用いてタッチ操作の種別を判定する。これにより、情報処理装置100は、情報処理装置100とタッチパネル付ディスプレイ200や、サイズの異なるタッチパネル付ディスプレイ200に、実寸サイズで同じタッチ操作をした場合、同じ種別に判定される。このため、ユーザは、タッチパネル付ディスプレイ200上でのタッチ操作を、情報処理装置100上でのタッチ操作と同じ操作感で行うことができる。
以上例示したように、情報処理装置100は、タッチパネル付ディスプレイ200のサイズに適した判定をすることができ、タッチ操作の種別を適切に判定することができる。
[第2の実施形態]
第2の実施形態における情報処理装置100は、操作種別判定部104を含まず、タッチパネル付ディスプレイ200の機能構成に、操作種別判定部104が含まれているとする。
図8は、第2の実施形態における情報処理装置100と、タッチパネル付ディスプレイ200との機能構成を示す概略ブロック図である。同図において、図3の各部に対応する部分には同一の符号を付け、その説明を省略する
操作種別判定部104aは、第2のタッチパネル203から、タッチ位置を示す情報を周期的に読み込む。操作種別判定部104aは、該タッチ位置を示す情報の、該タッチ位置の座標がヌル情報かどうかを判定する。操作種別判定部104aは、該タッチ位置の座標がヌル情報ではなかった場合、次にタッチ位置の座標がヌル情報として取得されるまで、取得した順に、該タッチ位置の座標と、座標検出時刻とを、タッチ操作テーブルを生成して格納する。
操作種別判定部104aは、第2の通信部205aを介して、自装置画面情報記憶部112が記憶している、情報処理装置100の画面情報(以降、自装置画面情報という)を取得する。また、操作種別判定部104aは、第2のメモリ207aから、画面情報を取得する。操作種別判定部104aは、該画面情報と、該タッチ操作テーブルとに基づいて、タッチ操作の種別を判定する。その後、操作種別判定部104aは、該タッチ操作テーブルと、該タッチ操作の種別を示す情報とを、送信情報生成部206aに出力する。
送信情報生成部206aは、操作種別判定部104aから、タッチ操作テーブルと、タッチ操作の種別を示す情報とを取得すると、第2の外部出力部208を介して、受信情報解析部106aに、該タッチ操作テーブルと、該タッチ操作の種別を示す情報とを出力する。また、送信情報生成部206aは、情報処理装置100に、タッチパネル付ディスプレイ200が接続されると、第2のメモリ207aから画面情報を読み込み、第2の外部出力部208を介して、受信情報解析部106aに、該画面情報を出力する。
自装置画面情報記憶部112は、第1のCPU101がプログラムを実行する際にワークメモリとして動作している記憶領域であり、自装置画面情報を記憶している。自装置画面情報記憶部112は、操作種別判定部104aの要求に従い、自装置画面情報を、第1の外部出力部108aを介して、操作種別判定部104aに出力する。
第1の外部出力部108aは、自装置画面情報記憶部112から、自装置画面情報を取得すると、該自装置画面情報を、第2の通信部205aに出力する。
第2の通信部205aは、第1の外部出力部108aから、自装置画面情報を取得すると、該自装置画面情報を、操作種別判定部104aに出力する。
このように、第2の実施形態では、操作種別判定部104aは、タッチパネル付ディスプレイ200の画面情報が表わす単位長さ当たりの画素数と、タッチパネル付ディスプレイ200がタッチ操作されたタッチ位置を示す情報とに基づいて、タッチ操作の種別を判定する。また、操作種別判定部104aは、情報処理装置100に該タッチ操作の種別を示す情報を出力する。このため、情報処理装置100に、操作種別判定部104に相当する機能が備わっていなくても、タッチパネル付ディスプレイ200が操作種別判定部104の機能を持つことで、第1の実施形態と同じ効果が得られる。
[第3の実施形態]
第3の実施形態における受信情報解析部106は、タッチパネル付ディスプレイ200が接続されると、第1の通信部105を介して、タッチパネル付ディスプレイ200のVendorID/ProductID等機種を識別可能な情報、あるいは、MACアドレスなど個別識別可能な情報を、タッチパネル付ディスプレイ200から取得する。受信情報解析部106は、機種を識別可能な情報、あるいは、個別識別可能な情報と、画面情報とを予め対応付けて記憶しており、タッチパネル付ディスプレイ200から取得した情報に対応付けられている画面情報を、接続されたタッチパネル付ディスプレイ200の画面情報とする。
なお、受信情報解析部106は、タッチパネル付ディスプレイ200から取得した機種を識別可能な情報、あるいは、個別識別可能な情報と対応付けて記憶している画面情報が無いときは、以下の1)から3)のいずれかのようにして画面情報を取得するようにしてもよい。1)受信情報解析部106は、第1の通信部105を介して、インターネットに接続されたサーバ等、外部の装置に問い合わせて、タッチパネル付ディスプレイ200かから取得した情報に対応する画面情報を取得する。
2)受信情報解析部106は、ユーザに画面情報を入力させる画面を第1の表示部102に表示させて、ユーザが入力した画面情報を取得する。画面情報を入力させる画面には、例えば、画素数については、数値を入力させる入力ボックスを配置してもよいし、複数の候補の中から選択させるプルダウンメニューやラジオボタンを配置してもよい。3)受信情報解析部106は、予め記憶していた複数の画面情報から1つをユーザに選択させる画面を第1の表示部102に表示させて、ユーザが選択した画面情報を用いる。
なお、受信情報解析部106は、これらの方法で取得した画面情報を、タッチパネル付ディスプレイ200から取得した機種を識別可能な情報、あるいは、個別識別可能な情報と対応付けて、画面情報記憶部111に記憶させるようにしてもよい。これにより、同じタッチパネル付ディスプレイ200が接続されたときに、該画面情報を用いることができる。
[第4の実施形態]
第4の実施形態における受信情報解析部106は、タッチパネル付ディスプレイ200が接続されると、予め設定された画面情報を、使用する画面情報とする。この予め設定された画面情報は、画面情報記憶部111が記憶する複数の画面情報の中から、ユーザが予め選択したものとしてもよい。また、タッチパネル付ディスプレイ200が接続されると、予め記憶された複数の画面情報を、第1の表示部102に表示し、それらの中からユーザが選択したものとしてもよい。
なお、上述の各実施形態では、情報処理装置100が第1のタッチパネル103及び第1の表示部102を有する場合を説明したが、情報処理装置100は、これらのいずれかまたは双方を有していなくてもよい。
また、画面情報のうち、画素数は、タッチパネル付ディスプレイ200から取得し、画面サイズは、個別識別可能な情報と対応付けて記憶していたものを用いるなど、それぞれ異なる方法で取得してもよい。
なお、上述の各実施形態では、情報処理装置100又はタッチパネル付ディスプレイ200は、第1の表示部102を備える情報処理装置100に接続されるタッチパネル付ディスプレイ200の画面の単位長さ当たりの画素数を表す情報と、情報処理装置100が生成した画像を表示したディスプレイにおける操作位置を示す情報とに基づいて、操作の種別を判定する装置である。ここで、操作は、タッチ操作に限らず、タッチパネル以外のポインティングデバイス(例えば、マウス、タッチパッド)による操作を含んでいてもよい。例えば、操作種別判定部104は、ポインティングデバイスによるカーソルの平均移動速度を、上記の平均移動速度として用いてもよい。
また、図3における情報処理装置100の機能もしくはその一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより情報処理装置100を実現してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
以上、この発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。
(1)本発明の一態様は、自装置に接続されたタッチパネル付ディスプレイの画面の単位長さ当たりの画素数を表す情報と、前記タッチパネル付ディスプレイがタッチ操作されたタッチ位置を示す情報とに基づいて、タッチ操作の種別を判定する操作種別判定部を備えることを特徴とする情報処理装置である。
(2)また、本発明の他の態様は、タッチパネル付ディスプレイを備え、前記操作種別判定部は、前記画素数を表す情報と、前記自装置に接続されたタッチパネル付ディスプレイがタッチ操作されたタッチ位置を示す情報とに基づいて、前記タッチ位置の移動量を表す値を算出し、前記移動量を表す値が所定の閾値を超えているか否かにより前記判定を行い、前記所定の閾値は、前記自装置が備えるタッチパネル付ディスプレイに対して行われたタッチ操作の種別を判定する際に用いられる閾値と同じであることを特徴とする(1)に記載の情報処理装置である。
(3)また、本発明の他の態様は、情報処理装置が接続されたタッチパネル付ディスプレイ装置であって、自装置の画面の単位長さ当たりの画素数を表す情報と、前記自装置がタッチ操作されたタッチ位置を示す情報とに基づいて、タッチ操作の種別を判定する操作種別判定部と、前記情報処理装置に前記タッチ操作の種別を示す情報を出力する外部出力部と、を備えることを特徴とするタッチパネル付ディスプレイ装置である。
(4)前記タッチ操作の種別は、タップ、フリック、ピンチイン、ピンチアウトのうち、少なくとも一つを含むことを特徴とする(1)に記載の情報処理装置である。
(5)また、本発明の他の態様は、情報処理装置が、自装置に接続されたタッチパネル付ディスプレイの画面の単位長さ当たりの画素数を表す情報と、前記タッチパネル付ディスプレイがタッチ操作されたタッチ位置を示す情報とに基づいて、前記タッチ位置の移動量を表す値を算出し、該値を用いてタッチ操作の種別を判定する過程を有することを特徴とする情報処理方法である。
(6)また、本発明の他の態様は、コンピュータを、(1)から(3)のいずれか一項に記載の情報処理装置、として機能させるためのプログラムである。
本発明は、情報処理装置に外部表示装置を接続する際に好適に用いられるが、これに限られない。
100・・・情報処理装置 101・・・第1のCPU 102・・・第1の表示部 103・・・第1のタッチパネル 104・・・操作種別判定部 105・・・第1の通信部 106・・・受信情報解析部 107・・・第1のメモリ 108・・・第1の外部出力部 109・・・表示画像生成部 110・・・アプリケーション実行部 111・・・画面情報記憶部 112・・・自装置画面情報記憶部 113・・・座標変換部 200・・・タッチパネル付ディスプレイ 201・・・第2のCPU 202・・・第2の表示部 203・・・第2のタッチパネル 205・・・第2の通信部 206・・・送信情報生成部

Claims (3)

  1. 第1タッチパネル付ディスプレイと、
    自装置に接続された第2タッチパネル付ディスプレイの画面の単位長さ当たりの画素数を表す情報と、前記第2タッチパネル付ディスプレイがタッチ操作されたタッチ位置を示す情報とに基づいて、前記タッチ位置の移動量を表す値を算出し、算出した前記移動量を表す値が所定の閾値を超えているか否かにより前記タッチ操作の種別を判定する操作種別判定部と、
    を備え、
    前記所定の閾値は、前記自装置が備える前記第1タッチパネル付ディスプレイに対して行われた前記タッチ操作の種別を判定する際に用いられる閾値と同じである、
    ことを特徴とする情報処理装置。
  2. 第1タッチパネルディスプレイを備える情報処理装置が、自装置に接続された第2タッチパネル付ディスプレイの画面の単位長さ当たりの画素数を表す情報と、前記第2タッチパネル付ディスプレイがタッチ操作されたタッチ位置を示す情報とに基づいて、前記タッチ位置の移動量を表す値を算出し、算出した前記移動量を表す値が所定の閾値を超えているか否かにより前記タッチ操作の種別を判定する過程
    を有し、
    前記所定の閾値は、前記自装置が備える第1タッチパネル付ディスプレイに対して行われた前記タッチ操作の種別を判定する際に用いられる閾値と同じである、
    ことを特徴とする情報処理方法。
  3. コンピュータを、請求項1に記載の情報処理装置として機能させるためのプログラム。
JP2013052435A 2013-03-14 2013-03-14 情報処理装置、情報処理方法及びプログラム Expired - Fee Related JP6047822B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013052435A JP6047822B2 (ja) 2013-03-14 2013-03-14 情報処理装置、情報処理方法及びプログラム
PCT/JP2014/053191 WO2014141797A1 (ja) 2013-03-14 2014-02-12 情報処理装置、タッチパネル付ディスプレイ装置、情報処理方法及びプログラム
US14/646,035 US9582094B2 (en) 2013-03-14 2014-02-12 Information processing device, display device with touch panel, information processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013052435A JP6047822B2 (ja) 2013-03-14 2013-03-14 情報処理装置、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2014178887A JP2014178887A (ja) 2014-09-25
JP6047822B2 true JP6047822B2 (ja) 2016-12-21

Family

ID=51536473

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013052435A Expired - Fee Related JP6047822B2 (ja) 2013-03-14 2013-03-14 情報処理装置、情報処理方法及びプログラム

Country Status (3)

Country Link
US (1) US9582094B2 (ja)
JP (1) JP6047822B2 (ja)
WO (1) WO2014141797A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6438954B2 (ja) * 2014-07-01 2018-12-19 富士フイルム株式会社 感活性光線性又は感放射線性樹脂組成物、パターン形成方法、及び電子デバイスの製造方法
US10402142B2 (en) * 2016-01-25 2019-09-03 Pathway Innovations And Technologies, Inc. Interactive flat panel display with integrated document camera
JP2017174071A (ja) * 2016-03-23 2017-09-28 株式会社東海理化電機製作所 操作装置
EP3680755A4 (en) * 2017-09-04 2020-10-28 Wacom Co., Ltd. SPATIAL POSITION INDICATOR SYSTEM
WO2020003361A1 (ja) * 2018-06-25 2020-01-02 マクセル株式会社 ヘッドマウントディスプレイ、ヘッドマウントディスプレイ連携システム及びその方法
TWM576682U (zh) * 2018-11-30 2019-04-11 華碩電腦股份有限公司 電子裝置
JP7203436B2 (ja) * 2020-11-13 2023-01-13 ディープインサイト株式会社 ユーザインターフェイス装置、ユーザインターフェイスシステム及びユーザインターフェイス用プログラム
WO2023214451A1 (ja) * 2022-05-02 2023-11-09 ディープインサイト株式会社 ユーザインターフェイス装置、ユーザインターフェイスシステム及びユーザインターフェイス用プログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08228329A (ja) * 1994-12-20 1996-09-03 Ricoh Co Ltd 通信会議方法および通信会議端末装置
US8296670B2 (en) * 2008-05-19 2012-10-23 Microsoft Corporation Accessing a menu utilizing a drag-operation
US9258402B2 (en) * 2009-04-14 2016-02-09 Qualcomm Incorporated System and method for controlling mobile devices
JP2011134278A (ja) 2009-12-25 2011-07-07 Toshiba Corp 情報処理装置およびポインティング制御方法
JP5629180B2 (ja) * 2010-10-21 2014-11-19 京セラ株式会社 携帯端末装置
JP2012127791A (ja) * 2010-12-15 2012-07-05 Aisin Aw Co Ltd ナビゲーション装置およびその制御方法並びにプログラム
JP5771401B2 (ja) 2011-01-27 2015-08-26 京セラ株式会社 携帯通信端末
US8674957B2 (en) * 2011-02-04 2014-03-18 Qualcomm Incorporated User input device for wireless back channel
JP6124169B2 (ja) * 2012-06-08 2017-05-10 クラリオン株式会社 表示装置
JP5331935B1 (ja) 2012-12-22 2013-10-30 淳也 榎本 無線による画面表示制御方法及びシステム

Also Published As

Publication number Publication date
JP2014178887A (ja) 2014-09-25
US20150301633A1 (en) 2015-10-22
US9582094B2 (en) 2017-02-28
WO2014141797A1 (ja) 2014-09-18

Similar Documents

Publication Publication Date Title
JP6047822B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP6122037B2 (ja) 端末機におけるコンテンツ移動方法及び装置
JP6215534B2 (ja) 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
US9292161B2 (en) Pointer tool with touch-enabled precise placement
AU2013276998B2 (en) Mouse function provision method and terminal implementing the same
US9880613B2 (en) Apparatus and control method based on motion
CA2872512A1 (en) Method of operating a display unit and a terminal supporting the same
US20130154975A1 (en) Touch input method and apparatus of portable terminal
KR20140139647A (ko) 휴대단말기에서 아이콘을 재배열하는 방법 및 장치
JP6183820B2 (ja) 端末、及び端末制御方法
KR20130102670A (ko) 터치스크린 단말기의 세밀한 조작을 위한 사용자별 손가락 및 터치 펜 접촉 위치 포인트 설정을 위한 방법 및 시스템
US10101905B1 (en) Proximity-based input device
JP6123107B2 (ja) 情報処理装置、ソフトウェアキーボードの生成方法およびプログラム
JP2014241078A (ja) 情報処理装置
KR20140019531A (ko) 홈 화면의 오브젝트 메뉴 관리 방법 및 장치
JP6971573B2 (ja) 電子機器、その制御方法およびプログラム
KR20110066545A (ko) 터치스크린을 이용하여 이미지를 표시하기 위한 방법 및 단말
JP5607667B2 (ja) データ処理装置、入出力装置、タッチパネルの制御方法、記憶媒体及びプログラム伝送装置
JP2015102946A (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
JP2011123916A (ja) データ処理装置、入出力装置、タッチパネルの制御方法、記憶媒体及びプログラム伝送装置
JP2017102676A (ja) 携帯端末装置、操作装置、情報処理方法及びプログラム
WO2016121526A1 (ja) 表示制御装置、表示方法および表示プログラム
JP6230247B2 (ja) 情報入力装置およびプログラム
JP2014186495A (ja) 情報処理装置、入力制御方法およびプログラム
JP2010020667A (ja) 接触感知型ポインティングデバイスを用いた文字入力方法および装置

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20150518

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150916

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160517

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160704

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160823

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161003

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161025

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161101

R150 Certificate of patent or registration of utility model

Ref document number: 6047822

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees