JPWO2014192060A1 - プログラマブル表示器およびその画面操作処理プログラム - Google Patents

プログラマブル表示器およびその画面操作処理プログラム Download PDF

Info

Publication number
JPWO2014192060A1
JPWO2014192060A1 JP2013547046A JP2013547046A JPWO2014192060A1 JP WO2014192060 A1 JPWO2014192060 A1 JP WO2014192060A1 JP 2013547046 A JP2013547046 A JP 2013547046A JP 2013547046 A JP2013547046 A JP 2013547046A JP WO2014192060 A1 JPWO2014192060 A1 JP WO2014192060A1
Authority
JP
Japan
Prior art keywords
display
screen gesture
screen
application area
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013547046A
Other languages
English (en)
Other versions
JP5449630B1 (ja
Inventor
健吾 小荒
健吾 小荒
英典 河相
英典 河相
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Application granted granted Critical
Publication of JP5449630B1 publication Critical patent/JP5449630B1/ja
Publication of JPWO2014192060A1 publication Critical patent/JPWO2014192060A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547Touch pads, in which fingers can move on a surface
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/04Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/05Programmable logic controllers, e.g. simulating logic interconnections of signals according to ladder diagrams or function charts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545Pens or stylus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03548Sliders, in which the moving part moves in a plane
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486Drag-and-drop
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/10Plc systems
    • G05B2219/13Plc programming
    • G05B2219/13031Use of touch screen
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/10Plc systems
    • G05B2219/13Plc programming
    • G05B2219/13144GUI graphical user interface, icon, function bloc editor, OI operator interface
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04806Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04808Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Automation & Control Theory (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

表示部(101)と、座標入力部(102)と、表示処理部(107)と、操作処理部(108)と、制御部(110)と、画面ジェスチャによる操作の有効化/無効化を切換える切換部と、を備え、表示画面は、表示内容の変更が可能な画面ジェスチャ適用領域と、表示内容の変更が不可能な画面ジェスチャ非適用領域と、を有し、切換部は、画面ジェスチャによる操作が無効の場合には、画面ジェスチャ適用領域と画面ジェスチャ非適用領域の操作オブジェクトに対する操作を有効化し、画面ジェスチャによる操作が有効の場合には、画面ジェスチャ適用領域の操作オブジェクトに対する操作を無効化し、画面ジェスチャを有効化し、表示処理部(107)は、画面ジェスチャによる操作が有効の場合に、画面ジェスチャ適用領域に所定の表示を行う。

Description

この発明は、プログラマブル表示器およびその画面操作処理プログラムに関するものである。
タブレット型コンピュータ、スマートフォン、または産業用に用いられる表示・操作端末であるプログラマブル表示器を始めとして、表示デバイスと、1点以上のタッチ操作座標の検出が可能な座標入力部と、を備えたコンピュータ装置が普及している。このようなコンピュータ装置では、高機能化、画面の高解像度化に伴い、その表示コンテンツはより高精細になっている。一方、限られたサイズの画面に多くの情報を表示(配置)すると、個々の要素(オブジェクト)のサイズが小さくなり、視認性・操作性が低下してしまう。特にタッチ操作において、人の指先のサイズに対し十分なサイズが確保されていないオブジェクトは、的確な座標指示が困難で、誤操作を引き起こしやすい。ここで、オブジェクトとは、タッチして操作するスイッチの機能を有するもの、またはグラフもしくはランプなど情報を提示する機能を有するものなどのコンピュータ上の仮想的な部品を指すものである。
このような問題に対し、一部のコンピュータ装置では、小さなオブジェクトを指し示すためのペン状の付属品(スタイラス)を備えたものがある。スタイラスは小さなオブジェクトの操作のほか、文字の手書き入力など精度が要求される操作に対しては有効である。しかし、スタイラスは紛失または破損の虞があったり、可搬型のコンピュータ装置においては操作時に一方の手でコンピュータ装置を把持し、他方の手でスタイラスペンを把持して操作するため、2点以上の同時操作には適さなかったり、という別の問題点がある。
また、指先での操作を想定したものとして、たとえば非特許文献1に示されるように、2本の指先で同時にタッチした2点の間隔を広げる操作(ピンチオープンまたはピンチアウトという)、あるいは狭める操作(ピンチクローズまたはピンチインという)に対応し、それぞれ表示画面の一部を拡大、縮小する仕組みを提供する製品もある。この仕組みでは、閲覧・操作する対象を必要に応じて拡大表示し、視認性・操作性を向上させることと、縮小表示して多くの情報を俯瞰的に確認することとを動的に切換えることができる。さらに、1点をタッチしたままタッチ位置を移動後にリリース(ドラッグ、急速にはじく場合はフリックと呼ばれる)することで表示内容のスクロール(表示位置の変更)を可能としている。こうしたタッチ位置の移動やタッチ状態の変化を伴う操作はジェスチャ(ジェスチャ操作)と呼ばれている。
ジェスチャの種別には、上記したようにタッチしたままタッチ位置を移動するという操作を伴うものがある一方で、一点を瞬時にタッチ後、リリースするタップ操作、連続して2度タップを行うダブルタップ操作など多様である。これらのジェスチャ種別の判定を連続的に実施するためには、タッチした点数、タッチを継続している時間、タッチしている座標の変化に基づき判断する必要がある。この性質上、たとえば画面上に配置した仮想的なスイッチを表すオブジェクトを考えたとき、そのスイッチをタッチした瞬間にスイッチの画像を押下状態のイメージに切換えることで、タッチ操作がスイッチに作用したことを視覚的に提示することはできる。しかし、スイッチに割り当てた機能(たとえば画面を切換える機能)をタッチと同時に発動することは好ましくない。なぜならば、タッチした時点ではスイッチに対する操作なのか、ドラッグまたはフリック操作なのか、さらには、ピンチオープンまたはピンチクローズを意図した操作のたまたま1点目のタッチがスイッチの領域内で行われたものなのかの区別がつかないまま、スイッチが機能することになり、ユーザにとって意図しない動作につながる可能性が生じるためである。そこで、ジェスチャ操作に対応したコンピュータ装置では、一般にスイッチなどの操作を伴うオブジェクトに対してはタッチ状態のリリース時(タッチ解除時)に操作を判定する。このようにリリース時にオブジェクトが動作することを、本明細書では便宜上「OFF同期」と呼ぶ。これに対してタッチ時にオブジェクトが動作することを「ON同期」と呼ぶ。
ここで、特許文献1には、タッチ操作に応じて、画面をスクロールするスクロールモードと割り当てられた処理を実行するフリックモードとを切換えるタッチパネル処理装置に関する技術が開示されている。ここでは、任意の箇所を長押しすることでフリックモードに移行するとともに、メニュー(複数区画を有する操作ガイド)を表示させた後に、タッチ位置をずらすことでメニューを選択し、スクロールモードに切換えている。
また、特許文献2には、主入力モードと副入力モードを設け、主入力モードにおいて、タッチスイッチのタッチ操作ごとに位置検出部での検出結果に応じて既定の処理動作を実行し、副入力モードにおいて、タッチスイッチの複数回のタッチ操作を互いに関連する一連の操作入力として既定の処理動作を実行する技術が開示されている。
さらに、特許文献3には、監視画面上の機器表示エリアに対してオペレータによるタッチ操作用として、表示されたプラント機器の対象シンボルを複数指により摘んで押し広げ、押し縮め、または押し捻り回転させるマルチタッチ操作に関する技術が開示されている。
国際公開第2012/060352号 特開2010−204964号公報 特開2012−174127号公報
"iOSヒューマンインターフェイスガイドライン"、[online]、2012年12月17日、アップルジャパン株式会社、[平成25年2月5日検索]、インターネット(URL: https://developer.apple.com/jp/devcenter/ios/library/documentation/MobileHIG.pdf)
たとえば、産業用途で用いられるプログラマブル表示器は、その表示画面内にスイッチをはじめとするオブジェクトを配置・表示し、これを操作することで、プログラマブル表示器に接続したPLC(Programmable Logic Controller)等の制御装置のデバイスへの値の書き込み指示または操作を行う。このようなプログラマブル表示器を生産装置に適用することを考えるとき、スイッチの応答速度は生産性に影響を及ぼすので、少しでも応答性を向上させるためにタッチした時点でスイッチ等操作を行うこと、すなわちON同期でオブジェクトが機能することが求められる。また、プログラマブル表示器ではスイッチ押下中か非押下中かによって、制御装置のデバイスに書き込む値を切換えるスイッチの実現も必要とされる。こうしたスイッチはモーメンタリスイッチと呼ばれ、タッチ時にスイッチが動作するという点では、ON同期のオブジェクトの一種とみなすことができる。
このようなプログラマブル表示器では、一般的なコンピュータ機器と同様に、多くのオブジェクトを画面内に配置することで装置の状態を同時的に一覧したい場合がある。一方で、タッチ操作によってスイッチ等の操作を行うオブジェクトを誤りなく操作可能な仕組みが一般的なコンピュータ機器以上に求められる。これらの要求を同時に満たすためには、必要に応じて操作対象とする箇所(場合によっては閲覧したい情報)を拡大表示する機能を有し、かつON同期でもオブジェクトを操作できることが求められる。
非特許文献1に示される一般的なタブレット型コンピュータまたはスマートフォンで採用されているジェスチャ操作の技術では、上記したとおりスイッチのON同期による操作と、ズーム、スクロールなどのジェスチャ操作との共存ができない。このため、スイッチのON同期による操作を必要とする一部のアプリケーションでは、ピンチオープン/ピンチクローズによる表示の拡大/縮小、もしくはドラッグ/フリックによるスクロールを無効化しているか、またはジェスチャ操作が適用できる領域を限定し、スイッチ上でのジェスチャ操作を無効化している。このため、ON同期で動作するスイッチを含めた表示の拡大には対応できない。なぜならば、もし、スイッチ以外の領域でのジェスチャで画面の拡大を行うとすると、拡大操作した結果、表示領域がスイッチで満たされた場合に、それ以降ジェスチャ操作ができなくなるからである。
特許文献3では、複数指により摘んで押し広げ、押し縮め、または押し捻り回転させるマルチタッチ操作の対象を対象シンボル(オブジェクト)としており、対象シンボル自体はマルチタッチ操作に対応している。しかし、表示内容の拡大/縮小、スクロールといった操作をマルチタッチ操作で実施する方法については開示されていない。
一方、特許文献1では、フリックモードとスクロールモードを設けている。これは、フリックモードを効果的に活用するためのモードを切換えるための操作として画面の長押しを想定している。また、特許文献1には、短押しが行われた場合にフリックモードに移行してもよい旨の記載があるが、この方法ではON同期で動作するスイッチ上ではスイッチが誤動作する可能性が高い。そのため、この技術をそのままON同期を必要とするプログラマブル表示器に適用することはできない。
また、特許文献2では、主入力モードと副入力モードを設け、これらの間の切換えを、シフト釦の押下によって行っている。しかしながら、画面の拡大/縮小、スクロールについては開示されていない。そのため、たとえば、画面を拡大し、スクロールした結果、シフト釦が表示領域外に出て、操作できなくなってしまう場合は想定されていない。
さらに、パーソナルコンピュータ用のアプリケーションソフトウェアまたは基本ソフトウェアでは、マウスの左クリックによってオブジェクトを操作し、右クリックによって特別なメニュー(コンテキストメニュー)を表示し、コンテキストメニューによってモードを切換えるものも存在する。しかしながら、タッチ操作においては、左クリック、右クリックのような区別ができない。そのため、タッチ操作を主体とした装置にはこのような技術を適用することができない。
この発明は上記に鑑みてなされたもので、制御機器の監視および操作を行うタッチ操作可能なプログラマブル表示器において、制御装置の操作に対してはON同期による操作を可能とするとともに、表示画面上の任意の位置での画面ジェスチャ操作による表示画面の拡大/縮小、スクロール操作を行うことができるプログラマブル表示器およびその画面操作処理プログラムを得ることを目的とする。
上記目的を達成するため、この発明にかかるプログラマブル表示器は、通信回線を介して接続される制御装置の監視および操作を行うプログラマブル表示器において、表示手段と、前記表示手段に接触した入力指示体の1点以上の操作座標を検出する座標入力手段と、前記表示手段に表示する表示画面内に、情報の表示のみを行う表示オブジェクト、または操作が可能な操作オブジェクトを含む複数のオブジェクトを表示する表示処理手段と、前記座標入力手段で得られる前記入力指示体の前記操作座標から前記入力指示体の変化を抽出する操作処理手段と、前記入力指示体の変化に応じて所定の動作を行う制御手段と、画面ジェスチャによる操作の有効化/無効化を切換える切換手段と、を備え、前記表示画面は、表示内容の変更が可能な画面ジェスチャ適用領域と、表示内容の変更が不可能な画面ジェスチャ非適用領域と、を有し、前記切換手段は、前記画面ジェスチャによる操作が無効の場合には、前記画面ジェスチャ適用領域と前記画面ジェスチャ非適用領域の前記操作オブジェクトに対する操作を有効化し、前記画面ジェスチャによる操作が有効の場合には、前記画面ジェスチャ適用領域の前記操作オブジェクトに対する操作を無効化し、前記画面ジェスチャを有効化し、前記表示処理手段は、前記画面ジェスチャによる操作が有効の場合に、前記画面ジェスチャ適用領域に所定の表示を行うことを特徴とする。
この発明によれば、画面ジェスチャによる操作の有効/無効を切替えられるようにしたので、画面ジェスチャによる操作を無効化した場合には、操作オブジェクトに対する操作をON同期で実現し、画面ジェスチャによる操作を有効化した場合には、画面ジェスチャ適用領域内に配置された操作オブジェクトへの操作が無効化される。その結果、画面ジェスチャ適用領域内の表示内容の変更を行う際に、画面へのタッチを伴う操作が含まれても、誤って表示内容に含まれる操作オブジェクトを操作することがないという効果を有する。
図1は、プログラマブル表示器で使用されるオブジェクトの一例を示す図である。 図2は、プログラマブル表示器の表示画面の一例を示す図である。 図3は、この実施の形態によるプログラマブル表示器の表示領域の一例を示す図である。 図4は、この実施の形態によるプログラマブル表示器で切換えられる2つのモードを説明する図である。 図5は、この実施の形態によるプログラマブル表示器の構成を模式的に示すブロック図である。 図6は、この実施の形態によるモード切換処理の手順の一例を示すフローチャートである。 図7は、ベース画面とウィンドウ画面が混在している場合のモード切換とジェスチャ操作の一例を示す図である。 図8は、この実施の形態による画面ジェスチャモードでのジェスチャ操作時の処理手順の一例を示すフローチャートである。 図9は、画面ジェスチャモードでのスクロール処理の一例を示す図である。 図10は、画面ジェスチャモードでのズーム操作時の挙動の一例を示す図である。 図11は、画面ジェスチャモードでの拡大・縮小処理の一例を示す図である。 図12は、ズームおよび/またはスクロールを適用した前後の座標位置の関係を示す図である。
以下に添付図面を参照して、この発明にかかるプログラマブル表示器およびその画面操作処理プログラムの好適な実施の形態を詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。
図1は、プログラマブル表示器で使用されるオブジェクトの一例を示す図である。タッチパネル式のプログラマブル表示器で使用されるオブジェクトには、情報の表示のみを行う表示オブジェクトと、タッチスイッチのように操作に対して反応する操作オブジェクトと、が存在する。
表示オブジェクトとして、外部接続機器のデバイス値に応じて表示を切換えるランプ501、デバイス値を定期的に収集し、蓄積した時系列情報を折線グラフで表示するトレンドグラフ502、デバイス値をそのまま数値として表示する数値表示503などがある。
また、操作オブジェクトとしては、タッチ操作によりデバイス値を書き換えるスイッチ511、通常はデバイス値を数値として表示するが、数値を変更するためのテンキー512からの入力によって数値をデバイスに設定する数値入力513、所定の領域に配置された「つまみ」をタッチしたままタッチ位置を移動することで値を連続的に変化させ、タッチをリリースした時点の値をデバイスに設定するスライダコントロール514などがある。また、ウィンドウ画面の位置またはサイズを調節するためのウィンドウ枠も、操作オブジェクトの一種とみなすことができる。
図2は、プログラマブル表示器の表示画面の一例を示す図である。プログラマブル表示器は、表示部全体に表示する画面であるベース画面610と、表示部の一部または全体にベース画面610を覆うように表示する画面であるウィンドウ画面620と、を表示可能とする。また、ウィンドウ画面620は、表示部に複数表示させることも可能である。ベース画面610とウィンドウ画面620には、表示オブジェクトと操作オブジェクトのうち少なくともいずれかが適宜配置される。この表示オブジェクトと操作オブジェクトの配置は、プロジェクトデータに定義される。
図3は、この実施の形態によるプログラマブル表示器の表示領域の一例を示す図である。この実施の形態では、プログラマブル表示器の表示領域700の一部を、ユーザによる画面ジェスチャが有効な画面ジェスチャ適用領域701とし、残りの領域をユーザによる画面ジェスチャが無効な画面ジェスチャ非適用領域702として、表示画面の領域を区別する。つまり、画面ジェスチャによって表示内容の変更が指示された場合には、画面ジェスチャ適用領域701では指示に応じて表示内容が変更されるが、画面ジェスチャ非適用領域702では表示内容が変更されない。
この例では、画面ジェスチャ非適用領域702が表示領域700の最上部に帯状に設けられている。画面ジェスチャ非適用領域702には、後述する通常操作モードと画面ジェスチャモードとを切換える、操作オブジェクトとしてのモード切換スイッチ710が配置されている。このモード切換スイッチ710を押下するごとに通常操作モードと画面ジェスチャモードとが切換わる。
通常操作モードは、プログラマブル表示器に設定されるプロジェクトデータでの設定に基づいて操作するモードである。また、画面ジェスチャモードは、画面ジェスチャ適用領域701内に配置された操作オブジェクトへの操作を無効化する一方、画面ジェスチャ適用領域701内で行われた所定の操作に基づいて画面ジェスチャ適用領域701の表示内容を変更するモードである。ここでいう表示内容の変更とは、たとえば表示内容の拡大もしくは縮小または表示位置の変更(スクロール)などを意味する。つまり、通常操作モードでは、たとえば表示画面に表示されている操作オブジェクトへの操作が有効化されており、操作オブジェクトを操作すると、ON同期で動作する。一方の画面ジェスチャモードでは、操作オブジェクトへの操作が無効化されているので、操作オブジェクトへの指などの入力指示体の接触によっても、操作がON同期で動作することはない。
なお、画面ジェスチャモード時には、画面ジェスチャ適用領域701内の操作オブジェクトへの操作は無効となるが、画面ジェスチャ非適用領域702に配置した操作オブジェクトへの操作は可能である。そのため、画面ジェスチャモード時においても、画面ジェスチャ非適用領域702内に配置されたモード切換スイッチ710を操作して、通常操作モードに切換えることができる。また、画面ジェスチャ適用領域701と画面ジェスチャ非適用領域702との区別はプロジェクトデータに画面単位で(たとえばベース画面610、ウィンドウ画面620のそれぞれに対して)設定可能とする。
図3では例として画面ジェスチャ適用領域701を矩形領域として図示しているが、形状は矩形に限られずたとえば楕円形や任意の多角形とすることも可能である。なお、画面ジェスチャ適用領域701は、前述のとおり画面単位で設定可能とすることが望ましい。なぜならば、表示中の画面によって画面ジェスチャ機能の適用有無を区別したいことが一般的なためである。しかしながら、設定を簡便にするため、プロジェクトデータ単位としてもよい。
図4は、この実施の形態によるプログラマブル表示器で切換えられる2つのモードを説明する図であり、(a)は通常操作モード時の画面状態の一例を示す図であり、(b)は画面ジェスチャモード時の画面状態の一例を示す図である。図4(a)に示されるように、通常操作モード時には、画面ジェスチャ適用領域701と画面ジェスチャ非適用領域702に配置される図示しない操作オブジェクトを操作することができる。一方、図4(b)に示されるように、画面ジェスチャモード時には、画面ジェスチャモードであることがユーザによって視覚的に認識可能なように、通常操作モード時とは表示が異なるようにしている。この例では、画面ジェスチャモード時には、画面ジェスチャ適用領域701の外周部を太線703で囲うようにしている。また、この太線703は、たとえば赤色などの視覚的に目立つ配色としてもよいし、点滅表示させるようにしてもよい。
画面ジェスチャ適用領域701を囲む線を太線703とするのは、画面ジェスチャモード時も画面ジェスチャ適用領域701の表示内容に影響を極力与えないためである。すなわち、画面ジェスチャ適用領域701の外周部を太線703とするだけでは、画面ジェスチャ適用領域701の面積を著しく減少させることがないので、画面ジェスチャ適用領域701内に表示されている内容を縮小表示する必要がない。しかし、表示する画面内容によっては、このような太線での囲みではなく、たとえば画面ジェスチャモードであることを示すアイコンを表示画面内に重畳表示してもよい。
一方、通常操作モード時には表示領域700に対し余分な情報は極力表示せず有効に活用することを考慮し、通常操作モードであることを示す特別な表示を行わない場合を図では示している。しかし、通常操作モードであることを示す特別な表示を行うようにしてもよい。
このように、この実施の形態では、表示画面に画面ジェスチャ適用領域701と画面ジェスチャ非適用領域702を設け、画面ジェスチャ非適用領域702に通常操作モードと画面ジェスチャモードとを切換えるモード切換スイッチ710を設けた。また、通常操作モードでは、操作オブジェクトに触れるとON同期で動作するが、画面ジェスチャモードでは、操作オブジェクトに触れてもON同期で動作させず、画面ジェスチャの軌跡からその操作指示を判断して動作させるようにしている。以下に、このような機能を実現するプログラマブル表示器について説明する。
図5は、この実施の形態によるプログラマブル表示器の構成を模式的に示すブロック図である。プログラマブル表示器100は、表示部101、座標入力部102、通信インタフェース部103(図5では通信I/Fと表記)、外部記憶インタフェース部104(図5では外部記憶I/Fと表記)、内部記憶部105、ファイルシステム処理部106、表示処理部107、操作処理部108、通信処理部109、および制御部110を有する。
表示部101は、たとえば液晶ディスプレイ(Liquid Crystal Display)または有機EL(Electroluminescence)ディスプレイなどによって構成される。
座標入力部102は、たとえば表示部101と重ね合わせて配置されたタッチパネルであり、指などの入力指示体の接触位置の座標(タッチ座標)を検出する。座標入力部102は、複数点のタッチ座標を同時検出可能とする。複数点のタッチ座標が同時検出可能なタッチパネルとしては抵抗膜方式、静電容量方式、光学式など多種の製品があり、そのいずれを用いてもよい。
通信インタフェース部103は、制御装置などの外部接続機器120、またはパーソナルコンピュータ130などとの間で通信をする際のインタフェースとなる部分である。
外部記憶インタフェース部104は、メモリカードまたはUSB(Universal Serial Bus)メモリなどの携帯可能な外部記憶媒体150との間で、通信をする際のインタフェースとなる部分である。
内部記憶部105は、NAND型もしくはNOR型フラッシュメモリまたはハードディスク装置のような不揮発性の記憶媒体によって構成される。
内部記憶部105または外部記憶媒体150には、プログラマブル表示器100を動作させるためのプロジェクトデータ180などが記憶される。プロジェクトデータ180は、表示部101に表示される画面データなどを含む。また、画面データには、操作オブジェクトまたは表示オブジェクトの配置位置が含まれる。さらに、内部記憶部105または外部記憶媒体150には、モード切換スイッチの現在のモードを示すモード状態情報を記憶するモード状態記憶領域が設けられる。たとえば、モード状態情報は、表示画面ごとにモード状態を記憶する。
ファイルシステム処理部106は、内部記憶部105または外部記憶媒体150に記憶されたプロジェクトデータ180の読み書きの処理を実行する。
表示処理部107は、プロジェクトデータ180に基づいて、表示部101に所定の画面を表示させる処理を行う。また、表示処理部107は、ベース画面610とウィンドウ画面620との重なりを配慮し表示部101への表示内容を合成する。
操作処理部108は、座標入力部102からの入力指示体のタッチ座標から、入力指示体の変化を抽出する。たとえば、通常操作モードでは、操作オブジェクトがボタンである場合の押下操作を検出したり、スライダコントロールのタッチ位置とリリース位置を検出したりする。また、画面ジェスチャモードでは、座標入力部102から入力指示体のタッチ点数と、タッチ座標と、タッチ点数が2点の場合の2点のタッチ位置間の距離と、を取得し、タッチ点数の変化、タッチ座標の基点、タッチ座標の基点からの変位、基準となる2点のタッチ位置の距離である基準距離、または基準距離からの距離変化を算出する。
通信処理部109は、外部接続機器120との間で通信を行う機能を有する。ここで、通信処理部109は、外部接続機器120毎に異なる通信プロトコルを備え、外部接続機器120の違いによる通信方法の違いを吸収する。
制御部110は、ファイルシステム処理部106を通じプロジェクトデータ180を読み出し、その内容を解釈することで、表示部101に表示するオブジェクトについての処理を実行し、またはオブジェクトを伴わないたとえばデータを収集するロギング機能のような非オブジェクト機能の処理を実行する。
また、制御部110は、プロジェクトデータ180の設定に基づき通信インタフェース部103を介して接続された外部接続機器120からデバイス値を読み出し、外部接続機器へのデバイス値の書き込みを行う。さらに、制御部110は、通信処理部109を介して得られた外部接続機器120のデバイス値を基にそれに対する応答処理を行う。
また、制御部110は、操作処理部108からの出力結果に基づいて、入力指示体による操作を識別し、その操作に対応する処理を行う。たとえば、通常操作モードであり、外部接続機器120へのデバイス値の書込みを指示する操作オブジェクトが押下された場合には、表示処理部107に対して操作オブジェクトの表示を押下した状態に変更するように指示するとともに、通信処理部109に対して対応する外部接続機器120へのデバイス値の書込み処理を指示する。一方、画面ジェスチャモードであり、入力指示体によって表示内容の変更の指示が行われた場合には、操作処理部108からの出力結果に基づいて変更指示を算出し、その変更指示を表示処理部107に対して指示する。
なお、プロジェクトデータ180はパーソナルコンピュータ130のアプリケーションの一つである作画ソフトウェア131により作成または編集される。プロジェクトデータ180は、外部記憶媒体150にパーソナルコンピュータ130でコピーするほか、通信インタフェース部103を通じてプログラマブル表示器100の内部記憶部105または外部記憶インタフェース部104に装着した外部記憶媒体150に転送することが可能である。
このような構成を持つプログラマブル表示器100は、たとえば生産装置において、電気的または機械的なランプ、メータなどの表示装置や、スイッチ、ボリュームなどの操作入力装置の代替品としての表示・入力装置として使用される。
一般的にPLCなどの制御機器は、制御対象機器に対して所望の動作をリアルタイムで実行させるように、制御対象機器から所定のデータを受信し、そのデータを基に所定の演算を行い、その演算結果を制御対象機器に対して送信するという一連の処理を所定の周期で行う。この実施の形態では、通常操作モードでプログラマブル表示器100から指示された制御機器への指示または操作指令は、リアルタイム、すなわちON同期で伝達される。
つぎに、このような構成におけるプログラマブル表示器での処理について説明する。図6は、この実施の形態によるモード切換処理の手順の一例を示すフローチャートである。
まず、座標入力部102は、ユーザによる入力指示体のタッチ座標を所定の時間ごとに検出し、その結果を操作処理部108に出力する。操作処理部108では、入力指示体のタッチ座標とその時間的変化などから、ユーザによる入力状態を取得する。制御部110は、この入力状態に基づいて、モード切換指示があったかを判定する(ステップS11)。たとえば上記したように、モード切換指示が画面ジェスチャ非適用領域702に配置されるモード切換スイッチ710を押下することによって行われる場合には、画面ジェスチャ非適用領域702のモード切換スイッチ710上でタップ動作が行われた場合にモード切換指示があったものと判定され、モード切換スイッチ710上でタップ動作が行われていない場合にはモード切換指示がなされていないものと判定される。
モード切換指示がない場合(ステップS11でNoの場合)には、現在の状態を維持し(ステップS12)、処理が終了する。また、モード切換指示がある場合(ステップS11でYesの場合)には、制御部110は内部記憶部105または外部記憶媒体150に設けられるモード状態情報記憶領域から現在のモードを取得する(ステップS13)。現在のモードが通常操作モードの場合(ステップS13で通常操作モードの場合)には、制御部110は画面ジェスチャモードに切換えて(ステップS14)、処理を終了する。たとえば図4(a)に示されるように通常操作モードから図4(b)の画面ジェスチャモードへの切換えが行われる。
一方、現在のモードが画面ジェスチャモードの場合(ステップS13で画面ジェスチャモードの場合)には、制御部110は通常操作モードに切換えて(ステップS15)、処理を終了する。このとき、たとえば図4(b)に示される画面ジェスチャモードから図4(a)の通常操作モードへの切換えが行われる。
上記した例では、モード切換スイッチ710を押下するたびに、通常操作モードと画面ジェスチャモードとの切換を行う場合を示した。モード切換スイッチ710の配置も、他のオブジェクトの配置と同様、プロジェクトデータ180に含まれ、作画ソフトウェア131により設定される。
モードを切換える別の方法として、表示領域700内の操作オブジェクト以外の場所を所定時間継続的にタッチする長押し操作を画面ジェスチャとして定義することも可能である。具体的には、通常操作モードでは、表示領域700内の操作オブジェクト以外の任意の場所を所定時間長押し操作することで画面ジェスチャモードに切換え、画面ジェスチャモードでは、画面ジェスチャ適用領域701内の任意の領域または画面ジェスチャ非適用領域702のうち操作オブジェクト以外の領域を長押し操作することで通常操作モードに切換える。
また別の方法として、表示領域700内の操作オブジェクト以外の場所で所定時間内に連続して2度タッチするダブルタップ操作を、モードを切換える画面ジェスチャとして定義してもよい。具体的には、通常操作モードでは、表示領域700内の操作オブジェクト以外の任意の場所をダブルタップ操作することで画面ジェスチャモードに切換え、画面ジェスチャモードでは、画面ジェスチャ適用領域701内の任意の領域または画面ジェスチャ非適用領域702のうち操作オブジェクト以外の領域をダブルタップ操作することで通常操作モードに切換える。
さらに、画面ジェスチャモード時に、所定定時間無操作状態が継続した場合に、自動的に画面ジェスチャモードから通常操作モードに切換えること(以下、画面ジェスチャモード自動解除機能という)も可能である。ここで、無操作状態とは、最終的なタッチ操作のリリースを検出後にタッチが行われていない状態を指す。画面ジェスチャモード自動解除機能を使用する場合には、自動解除するまでの時間を合わせてプロジェクトデータ180に設定すればよい。
なお、ここではモードを切換える手段の例としてスイッチ、長押し、ダブルタップを用いる方法を示したが、複数点の同時タッチまたはタッチした位置を所定の方向に移動させるなぞり操作など、単純なタッチ(タップ)操作と区別できればどのような方法を用いてもよい。ただし、ON同期のスイッチが存在する場合には、誤操作防止の観点から明示的なモード切換えのためのスイッチ(モード切換スイッチ710)を配置することが望ましい。
ここで、モードを切換える手段としていずれを用いるかは、プログラマブル表示器100のプロジェクトデータ180の作成者(画面設計者)が、作画ソフトウェア131によりプログラマブル表示器100を適用する装置またはシステムに応じて自由に選択し、プロジェクトデータ180に設定することができる。
また、画面ジェスチャ非適用領域702の表示内容は、画面ジェスチャモード中にのみ、予め用意した別の表示内容に切換えて表示してもよい。
続いて、ベース画面610、ウィンドウ画面620が混在している場合についての処理を説明する。図7は、ベース画面とウィンドウ画面が混在している場合のモード切換とジェスチャ操作の一例を示す図である。図7(a)に示されるように、ベース画面610にウィンドウ画面620が表示された状態にある。また、ここでは、画面ジェスチャ機能の適用対象がベース画面610であるものとし、通常操作モードにあるものとする。
この状態で、ユーザがベース画面610中の画面ジェスチャ非適用領域702のモード切換スイッチ710を押下すると、図7(b)の画面ジェスチャモードへと移行する。このとき、ベース画面610のみが画面ジェスチャモードとされ、ベース画面610に重畳表示されるウィンドウ画面620には画面ジェスチャモードが適用されない。つまり、ベース画面610に対して画面ジェスチャ適用領域701内の表示内容の拡大・縮小、スクロールは行うが、ウィンドウ画面620の表示には影響を及ぼさないものとする。さらに、画面ジェスチャモード中は、画面ジェスチャモードが適用されないウィンドウ画面620を非表示とする。
その後、たとえば、画面ジェスチャモード中に画面ジェスチャ適用領域701の所定の位置でピンチアウトなどの表示内容を拡大する所定の操作を行うと、図7(c)のようにベース画面610が拡大表示される。また、この状態で、ドラッグ操作などの表示領域を移動させる所定の操作を行うと、図7(d)のように表示領域が移動する。これらの操作は、画面ジェスチャモードであるので、たとえ操作オブジェクト上で操作を行ったとしても、操作オブジェクトが動作することはない。図の例では、ボタン状の操作オブジェクト720上で操作を行ったとしても、ボタン状の操作オブジェクト720が押下されることはない。
その後、ベース画面610の画面ジェスチャ非適用領域702のモード切換スイッチ710を押下すると、図7(e)のように、通常操作モードに移行する。このとき、拡大され、スクロールされた状態のベース画面610に、ウィンドウ画面620が再び重畳されて表示される。
なお、ウィンドウ画面が複数表示されている場合で、そのうちの1つのウィンドウ画面を画面ジェスチャモードにさせたい場合には、そのウィンドウ画面でモード切換を行って画面ジェスチャモードに移行させる。このとき、画面ジェスチャ機能を適用するウィンドウ画面以外のウィンドウ画面を非表示にする。また、ベース画面については表示を継続してもよいが、ベース画面に対する操作が無効であることがユーザに示唆されるように、たとえばベース画面を所定のパターンで塗りつぶして見かけ上非表示としてもよいし、ベース画面の彩度を下げて表示してもよい。
上記のように、画面ジェスチャモード中には画面ジェスチャ機能を適用する画面以外のウィンドウ画面620を一時的に非表示とする理由について説明する。もし画面ジェスチャ機能を適用する画面以外のウィンドウ画面620を表示したままとした場合には、ウィンドウ画面620が画面ジェスチャ適用領域に重なっている場合、画面ジェスチャによる操作が行いにくくなる場合があるのが理由の一つである。また画面ジェスチャ操作適用対象以外のウィンドウ画面620に対して誤った操作を行う可能性があることが問題となることも理由の一つである。一方、ベース画面610については、非表示あるいはそれに準じる表示とすることで、画面ジェスチャ機能の適用対象を明示する効果が得られる。なお、画面ジェスチャ機能を適用する画面を表示するとともに、ベース画面610を表示し、操作も可能とした場合には、ベース画面610内にモード切換スイッチ710を配置することで、画面ジェスチャ非適用領域702と同様の用途として用いることも可能である。
つぎに、画面ジェスチャモード中のジェスチャ操作の判定とジェスチャ操作時の挙動についての処理手順について説明する。図8は、この実施の形態による画面ジェスチャモードでのジェスチャ操作時の処理手順の一例を示すフローチャートであり、図9は、画面ジェスチャモードでのスクロール処理の一例を示す図であり、図10は、画面ジェスチャモードでのズーム操作時の挙動の一例を示す図であり、図11は、画面ジェスチャモードでの拡大・縮小処理の一例を示す図である。なお、ここでは、画面ジェスチャモードであることを前提とする。
制御部110は、タッチパネル(座標入力部102)にて検出されるタッチ点数とタッチ座標を操作処理部108により周期的に確認し、その結果を制御部110で処理するものとする。
まず、操作処理部108は、現在のタッチ点数を確認する(ステップS31)。タッチ点数が1点の場合には、直前の状態とタッチ点数に変化が見られたか否かを確認する(ステップS32)。タッチ点数に変化が見られた場合(ステップS32でYesの場合)、すなわち直前はタッチなし、または2点以上のタッチで、今回1点タッチとなった場合には、操作処理部108は、現在のタッチ座標をタッチ座標の基点として保持する(ステップS33)。そして、処理がステップS31へと戻る。
一方、前回からタッチ点数が変化していない場合(ステップS32でNoの場合)には、操作処理部108は、現在のタッチ座標とタッチ座標の基点との変位を算出する(ステップS34)。ついで、制御部110は、操作処理部108から取得したタッチ座標の基点との変位に対応したスクロール量を算出する(ステップS35)。ここでスクロール量は、表示部101上の物理的なタッチ座標の変化とスクロール量の変化とを一致させるようにする。図9(a)は、表示内容800全体のうち、ズームが適用されて表示部101に表示される内容が表示領域801であることを示している。そして、表示領域801で矢印802の向きにスクロールが行われたものとする。
ついで、制御部110は、スクロールした結果、表示内容800の領域外が表示領域に含まれる(はみ出す)か否かを確認する(ステップS36)。表示内容800の領域外が表示領域に含まれる場合(ステップS36でNoの場合)には、はみ出しが生じないように表示位置を補正する(ステップS37)。これは、図9(b)に示されるように、表示領域801を矢印802に沿ってそのままスクロールさせると、スクロール後の表示領域810には、表示内容800と表示内容800の領域外(はみ出し領域)811とが含まれることになる。そこで、このはみ出し領域811を表示領域810に含ませないように表示位置を補正すると、補正後の表示領域812のようになる。
その後、またはステップS36で表示内容800の領域外が表示領域に含まれない場合(ステップS36でYesの場合、図9(a)のように表示領域801が表示内容800に含まれる場合)には、はみ出しが無い状態でスクロールを適用し表示部101への表示を更新する(ステップS38)。その後は、ステップS31へと処理が戻る。
また、ステップS31で現在のタッチ点数が2点の場合には、操作処理部108は、直前の状態とタッチ点数に変化が見られたか否かを確認する(ステップS39)。タッチ点数に変化が見られた場合(ステップS39でYesの場合)、すなわち直前は1点以下のタッチ点数、または3点以上のタッチ点数であった場合には、操作処理部108は、現在の2点のタッチ位置の距離を基準距離として保持する(ステップS40)。そして、処理がステップS31へと戻る。
一方、前回からタッチ点数が変化していない場合(ステップS39でNoの場合)には、操作処理部108は、ステップS40で求めた基準距離と、現在の2点のタッチ位置の距離との変化量を算出する(ステップS41)。ついで、制御部110は、操作処理部108から取得した2点のタッチ位置の距離の変化量に基づいて、ズーム量(表示内容の拡大、縮小の量)を算出する(ステップS42)。ここで、基準距離をD0とし、現在の2点間の距離をD1とし、ズーム操作開始前のズーム量をZ0とし、最小ズーム量をZminとし、最大ズーム量をZmaxとし、kを適当な係数とするとき、新たなズーム量Zは次式(1)によって算出される。ただし、Zmin≦Z≦Zmaxとする。
Z=k・Z0・D1/D0 ・・・(1)
このとき、図10に示されるように、ズームの中心は基準距離D0を算出した際の2点の中点Pとする。図10(a)の2つの入力指示体850が表示部101に接触した再の基準距離D0の中点Pがズームの中心となる。そして、2つの入力指示体850の距離がD1になった後には、図10(b)に示されるように、中点Pを中心としてズーム処理がなされる。
また、図11(a)は、表示領域821に対してズームのうち縮小を適用する場合を示している。このズーム操作によって、ズーム操作後に表示部101に表示される領域は、表示領域822のように大きくなる。
ここで制御部110は、ズーム操作後の表示領域822に、表示内容800の領域外が含まれる(はみ出す)か否かを確認する(ステップS43)。表示内容800の領域外が表示領域に含まれる場合(ステップS43でYesの場合)には、はみ出しが生じないよう表示位置を補正する(ステップS44)。これは、図11(b)に示されるように表示領域821をズーム(縮小)させると、ズーム後の表示領域831には、表示内容800と表示内容800の領域外(はみ出し領域)841とが含まれることになる。そこで、このはみ出し領域841を表示領域831に含ませないように表示位置を補正すると、補正後の表示領域832のようになる。
その後、またはステップS43で表示内容800の領域外が表示領域に含まれない場合(ステップS43でNoの場合、図11(b)の表示領域832のように表示内容800のみが含まれる場合)には、はみ出しがない状態でズームを適用し表示部101への表示を更新する(ステップS45)。そして、処理がステップS31へと戻る。
上記では、スクロール、ズームの際に表示領域内には表示内容800の範囲外の領域がないようにはみ出しの補正を行ったが、たとえば、表示内容800の範囲外は所定のパターンで塗りつぶし、はみ出した領域は所定のパターンを表示し、補正を行わないようにすることも可能である。
なお、ジェスチャ操作はタッチ位置の連続的な変化に基づいて判定されるが、座標入力部102によっては、物理的にはタッチしていても、電気的にはタッチ状態が瞬間的にリリースされたと捉えられるチャタリング現象を生じたり、一点をタッチしていても、タッチ座標が変動する現象を生じたりすることがある。このため、実際の処理においては、現在のタッチ位置のみでなく、過去数回収集したタッチ位置を用いた移動平均を算出するなどの、信号平滑化処理を行う機能を操作処理部108に持たせることが好ましい。
つぎに、スクロール、ズームを適用した後の通常操作モードの処理について説明する。画面ジェスチャモードで実施した、ズームおよび/またはスクロールの結果は、その後に通常操作モードに移行した場合にでも継続する。図12は、ズームおよび/またはスクロールを適用した前後の座標位置の関係を示す図である。ここで、ズームおよび/またはスクロールをしない画像の座標系を基準座標系Σv、画面ジェスチャ適用領域701に表示する表示内容800の座標系を表示内容座標系Σsとし、基準座標系Σvにおいて画面ジェスチャ適用領域701の左上座標を指すベクトルをPvsとし、ズーム量をZとし、画面ジェスチャ適用領域701に対する表示内容800の基準点の変位であるスクロール量をΔSvとするとき、基準座標系Σvにおけるタッチ座標Pvtに対する、表示内容座標系Σsおける座標Pstは次式(2)で計算される。
Pst=(Pvt−Pvs+ΔSv)/Z ・・・(2)
すなわち、画面ジェスチャ適用領域701内の表示内容800にズームまたはスクロールを適用した場合には、表示部101上のタッチ位置Pvtは、表示内容800におけるPstをタッチしたものとみなされる。プロジェクトデータ180内のオブジェクトの座標はズーム、スクロールが無い状態で管理されるため、上記の式を用いてタッチした座標を補正し、操作オブジェクトの有無を判断し、Pstが操作オブジェクト内の領域を指す場合には、操作オブジェクトの操作を実行する。
さらにプログラマブル表示器100には、スクリプトまたはマクロと呼ばれる簡易的なプログラミング言語への入力情報として、タッチ座標を取得する仕組みを持たせることができる。スクリプトとタッチ座標を組み合わせることで、たとえばタッチした位置に図形を表示したり、タッチした座標に応じて値を設定したりすることが可能である。こうした用途に用いる際にも、タッチ座標を通常操作モードにおいては、タッチ操作は操作オブジェクトの操作を行う他に、表示画面内のタッチ座標を取得し、(2)式で補正した座標Pstをタッチ座標とすることで、ズームまたはスクロールを適用した画像に対しても適切なタッチ座標で処理を行うことができる。
ところで、上記説明は、複数点の座標入力が可能なタッチパネルを備えたプログラマブル表示器100を例としているが、プログラマブル表示器100に限定するものではなく、表示部101と任意の1点以上の操作座標が検出可能な座標入力部102とを備えた装置であればどのような装置でもよい。また、操作はタッチ操作とみなしているが、たとえば、カメラなどの非接触型のセンサによって操作した座標を検出する方式に拡張することも可能である。また、形状は装置の操作盤に据え付ける据え付け型でも、手で持ち運んで使用する可搬型でも、あるいは、頭部に装着するヘッドマウントディスプレイ(Head Mounted Display)のような装置でもよい。
また、上記では1点ないし2点のタッチ操作を対象としたが、3点以上の同時タッチ操作に対して機能を割り当ててもよい。
さらに、上記説明では、画面ジェスチャモードと通常操作モードの切換え手段と画面ジェスチャモード中の操作についての操作を示したが、それぞれの組み合わせは任意であり、すべての操作を同時に実現する必要はない。
この実施の形態では、画面ジェスチャモード時には画面ジェスチャ適用領域701内に配置された操作オブジェクトへの操作を無効化するようにした。これによって、画面ジェスチャ適用領域701内の表示内容800の変更操作として、表示内容800の拡大、縮小、表示位置変更(スクロール)といった処理を、それぞれピンチアウト、ピンチイン、ドラッグ(フリック)のようにタッチを伴う操作で実施する際に、誤って表示内容800に含まれる操作オブジェクトを操作してしまうことがない。
また、表示内容800の変更は画面ジェスチャ適用領域701内に限定されるため、画面ジェスチャ適用領域701のサイズを表示部101内の一部に限定することで、画面ジェスチャ非適用領域702には、表示内容800の変更の影響が及ぼされない。このため、画面ジェスチャ非適用領域702に任意のオブジェクトを配置することで、画面ジェスチャの影響を受けず、常に表示または操作可能とすることができる。すなわち、画面ジェスチャにより画面ジェスチャ適用領域701がスイッチで覆われたとしても、画面ジェスチャ非適用領域702に配置した別のスイッチまたは所定の操作によって、画面ジェスチャモードへの切換えが可能になる。
さらに、画面ジェスチャモード時には、表示画面内に画面ジェスチャモード中であることを示す所定の表示を行うようにしたので、画面ジェスチャモード中か通常操作モードかを視覚的に区別することが可能である。このような視覚的なモードの区別がない場合には、ユーザがコンピュータ装置を操作する際に、モードに応じた操作を意識することができず、操作に対する応答が予め推測できない。その結果、ユーザに対するストレスの要因となったり、誤操作の原因になったりしていた。しかし、この実施の形態では、視覚的なモードの区別を行うようにしたので、モードに応じた操作を意識することができ、操作に対する応答が予め推測できるようになる。その結果、ユーザに対するストレスの要因、または誤操作の原因を除去することができる。
さらにまた、画面ジェスチャモード中であることを示す表示機能は、画面ジェスチャモード中にのみ表示し、通常操作モード時に表示しないようにすることで、通常操作モード時には画面に付加的な表示を必要としない画面設計が可能になる。
また、オブジェクトの配置領域以外の領域に対する所定の操作によって、画面ジェスチャモードと通常操作モードとを切換える場合には、画面内にモードを切換えるためのスイッチなどの操作オブジェクトを設ける必要がない。さらに、画面ジェスチャ非適用領域702と組み合わせることによって、画面ジェスチャ適用領域701内の拡大表示により同領域内がタッチスイッチで満たされた場合でもモード切換えが可能になる。
以上のように、この発明にかかるプログラマブル表示器は、操作オブジェクトが配置された表示画面を有するタッチパネル式のプログラマブル表示器に有用である。
100 プログラマブル表示器、101 表示部、102 座標入力部、103 通信インタフェース部、104 外部記憶インタフェース部、105 内部記憶部、106 ファイルシステム処理部、107 表示処理部、108 操作処理部、109 通信処理部、110 制御部、120 外部接続機器、130 パーソナルコンピュータ、131 作画ソフトウェア、150 外部記憶媒体、180 プロジェクトデータ、610 ベース画面、620 ウィンドウ画面、700 表示領域、701 画面ジェスチャ適用領域、702 画面ジェスチャ非適用領域、703 太線、710 モード切換スイッチ、720 操作オブジェクト、850 入力指示体。
上記目的を達成するため、この発明にかかるプログラマブル表示器は、通信回線を介して接続される制御装置の監視および操作を行うプログラマブル表示器において、表示手段と、前記表示手段に接触した入力指示体の1点以上の操作座標を検出する座標入力手段と、前記表示手段に表示する表示画面内に、情報の表示のみを行う表示オブジェクト、または操作が可能な操作オブジェクトを含む複数のオブジェクトを表示する表示処理手段と、前記座標入力手段で得られる前記入力指示体の前記操作座標から前記入力指示体の変化を抽出する操作処理手段と、前記入力指示体の変化に応じて規定の動作を行う制御手段と、画面ジェスチャによる操作の有効化無効化を切換える切換手段と、を備え、前記表示画面は、前記画面ジェスチャによる操作による表示内容の変更が可能な画面ジェスチャ適用領域と、前記画面ジェスチャによる操作による表示内容の変更が不可能な画面ジェスチャ非適用領域と、を有し、前記画面ジェスチャ非適用領域に配置された前記操作オブジェクトは、前記画面ジェスチャによる操作の有効か無効かによらず操作可能であり、前記操作オブジェクトは前記入力指示体によるタッチ時に、前記操作オブジェクトに対する操作が実行されるON同期で操作可能であり、前記画面ジェスチャ非適用領域は、前記表示画面内の規定の領域に常に設定され、前記切換手段は、前記画面ジェスチャによる操作が無効の場合には、前記画面ジェスチャ非適用領域の前記操作オブジェクトに対する操作を有効化し、前記画面ジェスチャによる操作が有効の場合には、前記画面ジェスチャ適用領域の前記操作オブジェクトに対する操作を無効化し、前記画面ジェスチャを有効化し、前記表示処理手段は、前記画面ジェスチャによる操作が有効の場合に、前記画面ジェスチャ適用領域に規定の表示を行い、前記制御手段は、前記画面ジェスチャによる操作が無効の場合には、前記操作処理手段で前記入力指示体が前記操作オブジェクトに触れたことが検出されると前記操作オブジェクトに対する操作をON同期で実行することを特徴とする。

Claims (10)

  1. 通信回線を介して接続される制御装置の監視および操作を行うプログラマブル表示器において、
    表示手段と、
    前記表示手段に接触した入力指示体の1点以上の操作座標を検出する座標入力手段と、
    前記表示手段に表示する表示画面内に、情報の表示のみを行う表示オブジェクト、または操作が可能な操作オブジェクトを含む複数のオブジェクトを表示する表示処理手段と、
    前記座標入力手段で得られる前記入力指示体の前記操作座標から前記入力指示体の変化を抽出する操作処理手段と、
    前記入力指示体の変化に応じて所定の動作を行う制御手段と、
    画面ジェスチャによる操作の有効化/無効化を切換える切換手段と、
    を備え、
    前記表示画面は、表示内容の変更が可能な画面ジェスチャ適用領域と、表示内容の変更が不可能な画面ジェスチャ非適用領域と、を有し、
    前記切換手段は、前記画面ジェスチャによる操作が無効の場合には、前記画面ジェスチャ適用領域と前記画面ジェスチャ非適用領域の前記操作オブジェクトに対する操作を有効化し、前記画面ジェスチャによる操作が有効の場合には、前記画面ジェスチャ適用領域の前記操作オブジェクトに対する操作を無効化し、前記画面ジェスチャを有効化し、
    前記表示処理手段は、前記画面ジェスチャによる操作が有効の場合に、前記画面ジェスチャ適用領域に所定の表示を行うことを特徴とするプログラマブル表示器。
  2. 前記画面ジェスチャ適用領域に対する表示内容の変更は、表示内容の拡大、縮小または前記画面ジェスチャ適用領域内における表示位置変更であることを特徴とする請求項1に記載のプログラマブル表示器。
  3. 前記座標入力手段は、前記入力指示体の前記表示手段に接触した2点の前記操作座標を検出し、
    前記操作処理手段は、操作開始時点の2点間の距離を基準距離とし、操作開始以降2点の操作が継続される際の現在の2点間の距離と前記基準距離との間の距離変化を算出し、
    前記制御手段は、前記距離変化に基づいて前記画面ジェスチャ適用領域内の表示内容の拡大または縮小を行うことを特徴とする請求項2に記載のプログラマブル表示器。
  4. 前記座標入力手段は、前記入力指示体の前記表示手段に接触した1点の前記操作座標を検出し、
    前記操作処理手段は、操作開始時点の1点間の座標を基準座標とし、操作開始以降1点の操作が継続される際の現在の操作座標と前記基準座標との変位を算出し、
    前記制御手段は、前記変位に基づいて前記画面ジェスチャ適用領域内の表示内容の表示位置の変更を行うことを特徴とする請求項2に記載のプログラマブル表示器。
  5. 前記切換手段は、所定時間の間における前記入力指示体による前記操作オブジェクト以外の領域に対するタッチを継続する操作に対応付けられていることを特徴とする請求項1に記載のプログラマブル表示器。
  6. 前記切換手段は、所定時間内における前記入力指示体による前記操作オブジェクト以外の領域に対する二度のタッチ操作に対応付けられていることを特徴とする請求項1に記載のプログラマブル表示器。
  7. 前記切換手段は、前記画面ジェスチャ非適用領域に設けられる操作オブジェクトであることを特徴等する請求項1に記載のプログラマブル表示器。
  8. 前記切換手段は、前記画面ジェスチャによる操作が有効の状態で、所定の時間無操作状態が継続した場合に、前記画面ジェスチャによる操作が有効の状態から前記画面ジェスチャによる操作が無効の状態に切換えることを特徴とする請求項5から7のいずれか1つに記載のプログラマブル表示器。
  9. 画面ジェスチャ非適用領域は、前記表示画面内の前記画面ジェスチャ適用領域以外の領域とし、前記画面ジェスチャによる操作が有効の状態の場合のみ任意の表示内容に切換え表示することを特徴とする請求項1に記載のプログラマブル表示器。
  10. 表示手段に入力指示体を介して入力される指示に基づいて処理を行うプログラマブル表示器の画面操作処理プログラムであって、
    前記プログラマブル表示器に、
    前記表示手段に、表示内容の変更が可能な画面ジェスチャ適用領域と、表示内容の変更が不可能な画面ジェスチャ非適用領域と、を有する表示画面を表示させ、前記表示画面内に、情報の表示のみを行う表示オブジェクトまたは操作が可能な操作オブジェクトを含む複数のオブジェクトを表示する手順と、
    前記表示手段に接触した入力指示体の1点以上の操作座標を検出する手順と、
    前記入力指示体の前記操作座標から前記入力指示体の変化を抽出する手順と、
    前記入力指示体の変化に応じて所定の動作を行う手順と、
    前記入力指示体からの指示によって、画面ジェスチャによる操作の有効化/無効化を切換える手順と、
    前記画面ジェスチャによる操作が無効の場合に、前記画面ジェスチャ適用領域と前記画面ジェスチャ非適用領域の前記操作オブジェクトに対する操作を有効化する手順と、
    前記画面ジェスチャによる操作が有効の場合に、前記画面ジェスチャ適用領域の前記操作オブジェクトに対する操作を無効化し、前記画面ジェスチャを有効化するとともに、前記画面ジェスチャ適用領域に所定の表示を行う手順と、
    を実行させるためのプログラマブル表示器の画面操作処理プログラム。
JP2013547046A 2013-05-27 2013-05-27 プログラマブル表示器およびその画面操作処理プログラム Active JP5449630B1 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2013/064636 WO2014192060A1 (ja) 2013-05-27 2013-05-27 プログラマブル表示器およびその画面操作処理プログラム

Publications (2)

Publication Number Publication Date
JP5449630B1 JP5449630B1 (ja) 2014-03-19
JPWO2014192060A1 true JPWO2014192060A1 (ja) 2017-02-23

Family

ID=50614465

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013547046A Active JP5449630B1 (ja) 2013-05-27 2013-05-27 プログラマブル表示器およびその画面操作処理プログラム

Country Status (7)

Country Link
US (1) US20160004339A1 (ja)
JP (1) JP5449630B1 (ja)
KR (1) KR101636665B1 (ja)
CN (1) CN105247468B (ja)
DE (1) DE112013006924T5 (ja)
TW (1) TWI490771B (ja)
WO (1) WO2014192060A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6366262B2 (ja) * 2013-12-10 2018-08-01 キヤノン株式会社 情報処理装置、及び情報処理装置の制御方法、並びにプログラム
JP1516269S (ja) * 2014-04-08 2015-01-26
JP1525112S (ja) * 2014-11-14 2015-06-01
TWD180105S (zh) * 2014-11-14 2016-12-11 愛斯佩克股份有限公司 顯示面板之操作介面之部分
US10867445B1 (en) * 2016-11-16 2020-12-15 Amazon Technologies, Inc. Content segmentation and navigation
JP2018190444A (ja) * 2018-07-19 2018-11-29 シャープ株式会社 表示装置、表示方法、およびプログラム
JP7244242B2 (ja) * 2018-09-26 2023-03-22 シュナイダーエレクトリックホールディングス株式会社 操作入力制御装置
CN110007800B (zh) * 2019-04-10 2020-11-10 广州视源电子科技股份有限公司 一种触摸操作模式的控制方法、装置、设备及存储介质
EP4027185A1 (en) * 2021-01-11 2022-07-13 BHS Technologies GmbH Head-mounted display system
USD999228S1 (en) * 2021-06-16 2023-09-19 Aham Co., Ltd. Display screen or portion thereof with a graphical user interface

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101257609B (zh) * 2001-02-21 2014-03-19 联合视频制品公司 具有个人视频记录特征的交互式节目导视器的系统和方法
US20030117427A1 (en) * 2001-07-13 2003-06-26 Universal Electronics Inc. System and method for interacting with a program guide displayed on a portable electronic device
JP2004145791A (ja) * 2002-10-28 2004-05-20 Sharp Corp タッチパネル制御装置及び、それを備えた操作装置又は画像形成装置
KR100787977B1 (ko) * 2006-03-30 2007-12-24 삼성전자주식회사 이동 단말기에서 사용자 데이터 크기 조절 장치 및 방법
US20090046110A1 (en) * 2007-08-16 2009-02-19 Motorola, Inc. Method and apparatus for manipulating a displayed image
US20100064261A1 (en) * 2008-09-09 2010-03-11 Microsoft Corporation Portable electronic device with relative gesture recognition mode
US8584031B2 (en) * 2008-11-19 2013-11-12 Apple Inc. Portable touch screen device, method, and graphical user interface for using emoji characters
KR20100093293A (ko) * 2009-02-16 2010-08-25 주식회사 팬택 터치 기능을 갖는 이동 단말기 및 그 이동 단말기의 터치 인식 방법
JP2010204964A (ja) 2009-03-03 2010-09-16 Panasonic Electric Works Co Ltd タッチパネル装置
JP2011028635A (ja) * 2009-07-28 2011-02-10 Sony Corp 表示制御装置、表示制御方法およびコンピュータプログラム
JP2011215878A (ja) * 2010-03-31 2011-10-27 Sharp Corp 端末装置、端末装置の制御方法、通信システム、制御プログラム、及び記録媒体
US20120017148A1 (en) * 2010-07-15 2012-01-19 Research In Motion Limited Navigating Between A Map Dialog And Button Controls Displayed Outside The Map
JP2014016658A (ja) 2010-11-02 2014-01-30 Jvc Kenwood Corp タッチパネル処理装置、タッチパネル処理方法、及びプログラム
TWI441051B (zh) * 2011-01-25 2014-06-11 Compal Electronics Inc 電子裝置及其資訊呈現方法
JP2012174127A (ja) 2011-02-23 2012-09-10 Hitachi Ltd プラント監視制御用タッチオペレーションシステム
JP6159078B2 (ja) * 2011-11-28 2017-07-05 京セラ株式会社 装置、方法、及びプログラム
CN103250108A (zh) * 2011-11-30 2013-08-14 三菱电机株式会社 项目数据生成装置及可编程显示器
JP5783992B2 (ja) * 2012-12-06 2015-09-24 三菱電機株式会社 プログラマブル表示器用画面データのシミュレーションシステムおよびシミュレーションソフトウェア、プログラマブル表示器

Also Published As

Publication number Publication date
CN105247468A (zh) 2016-01-13
JP5449630B1 (ja) 2014-03-19
KR20150126981A (ko) 2015-11-13
US20160004339A1 (en) 2016-01-07
WO2014192060A1 (ja) 2014-12-04
TWI490771B (zh) 2015-07-01
DE112013006924T5 (de) 2016-01-07
CN105247468B (zh) 2018-01-05
KR101636665B1 (ko) 2016-07-05
TW201445415A (zh) 2014-12-01

Similar Documents

Publication Publication Date Title
JP5449630B1 (ja) プログラマブル表示器およびその画面操作処理プログラム
KR101328202B1 (ko) 제스처 입력을 통한 기능 수행 명령실행 방법 및 장치
JP4602166B2 (ja) 手書き情報入力装置。
JP5664147B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US20100295806A1 (en) Display control apparatus, display control method, and computer program
EP3370140B1 (en) Control method and control device for working mode of touch screen
JPWO2013094371A1 (ja) 表示制御装置、表示制御方法およびコンピュータプログラム
US9773329B2 (en) Interaction with a graph for device control
JP5780438B2 (ja) 電子機器、位置指定方法及びプログラム
JP5846129B2 (ja) 情報処理端末およびその制御方法
US20150169122A1 (en) Method for operating a multi-touch-capable display and device having a multi-touch-capable display
JP6041742B2 (ja) タッチパネル表示制御装置
US20140300588A1 (en) Drawing device, drawing method, and drawing program
JP5875262B2 (ja) 表示制御装置
KR20170132776A (ko) 텍스트 선택 제어들에 대한 개선
WO2014106911A1 (ja) 情報処理装置及び情報更新プログラム
JP2014153916A (ja) 電子機器、制御方法、及びプログラム
JP6584876B2 (ja) 情報処理装置、情報処理プログラムおよび情報処理方法
JP6369937B2 (ja) アイコン表示装置及びアイコン表示プログラム
JP6971573B2 (ja) 電子機器、その制御方法およびプログラム
US20140085197A1 (en) Control and visualization for multi touch connected devices
CN102789358A (zh) 图像输出显示方法、装置以及一种显示设备
KR101165387B1 (ko) 터치 스크린 및 포인팅 디바이스가 구비된 단말장치의 화면 제어 방법
KR101237127B1 (ko) 슬라이딩을 이용한 터치스크린용 키패드 커서 이동방법
JP6112147B2 (ja) 電子機器、及び位置指定方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131126

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131224

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5449630

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250