JP6063431B2 - 表示装置及び表示プログラム - Google Patents

表示装置及び表示プログラム Download PDF

Info

Publication number
JP6063431B2
JP6063431B2 JP2014242315A JP2014242315A JP6063431B2 JP 6063431 B2 JP6063431 B2 JP 6063431B2 JP 2014242315 A JP2014242315 A JP 2014242315A JP 2014242315 A JP2014242315 A JP 2014242315A JP 6063431 B2 JP6063431 B2 JP 6063431B2
Authority
JP
Japan
Prior art keywords
image
movement
processing
processing capability
capability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014242315A
Other languages
English (en)
Other versions
JP2016102957A (ja
Inventor
佐々木 秀行
秀行 佐々木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Document Solutions Inc
Original Assignee
Kyocera Document Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Document Solutions Inc filed Critical Kyocera Document Solutions Inc
Priority to JP2014242315A priority Critical patent/JP6063431B2/ja
Priority to US14/943,598 priority patent/US20160155211A1/en
Priority to CN201510789082.7A priority patent/CN105653149A/zh
Publication of JP2016102957A publication Critical patent/JP2016102957A/ja
Application granted granted Critical
Publication of JP6063431B2 publication Critical patent/JP6063431B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486Drag-and-drop
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/20Processor architectures; Processor configuration, e.g. pipelining
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/00411Display of information to the user, e.g. menus the display also being used for user input, e.g. touch screen

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Accessory Devices And Overall Control Thereof (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Power Sources (AREA)

Description

本発明は、電子機器の画面上でのスワイプ操作等に用いられる表示装置及び表示プログラムに関する。
電子機器としては、特許文献1のように、タブレット端末や多機能携帯電話機等にタッチパネル式の画面を設け、画面上に表示された画像に対してユーザーの指による直感的な操作を可能とするものが知られている。
直感的な操作は、目的に応じて多様であり、例えば画面上の画像を切り替える際には、スワイプ操作が多く用いられている。スワイプ操作は、画面上で接触させた指を滑らせるように移動させ、移動後に指を画面から離すものである。
このスワイプ操作による画像の切り替えでは、画面上で接触させた指の移動に追従して画像を移動させ、直感的な操作を実現することができる。
このとき、機器側での処理では、機器の処理能力に応じた描画間隔で画像を連続的に描画しつつ、連続的に描画される画像の位置を指の移動速度に応じて変更する。
ここで、画像を滑らかに移動させるためには、描画間隔が短いほど有利であり、例えば1/60秒(60fps)程度に描画間隔が小さい場合は、指に対する画像の追従性が高く、画像の滑らかな移動を実現できる。また、描画間隔が1/8(8fps)程度まで長くなっても、指に対して画像が遅れて見えることはあるが、追従性は許容範囲とみなすことができる。
しかし、描画間隔が更に長くなると、移動時の画像がちらついて見えるという問題がある。この場合は、描画間隔を強制的に短く設定して対処することも考えられるが、機器の処理能力によっては、CPU利用率等のリソースを独占することにつながり、バックグラウンドで実行されている他の処理への影響を及ぼすおそれがある。
こうした問題は、タッチパネル式以外の電子機器、例えばマウス等のポインティングデバイスを用いてスワイプ操作が可能な電子機器においても生じる。
特開2014−2710号公報
本発明が解決しようとする問題点は、指やポインティングデバイス等に追従して画面上で画像を移動させる際に、機器の処理能力によっては画像がちらついて見える点である。
本発明は、機器の処理能力に応じた描画間隔で前記機器の画面上に画像を描画する描画処理部と、前記画面上に描画されている画像の選択を受け付ける選択受付部と、前記画像を選択した状態で前記画像に対する選択位置の前記画面上での移動を検出する移動検出部と、前記検出された前記選択位置の移動に追従して前記画像を移動させる移動処理部と、 前記処理能力が第1閾値以下であるか否かを判断する処理能力判断部と、前記処理能力が前記第1閾値以下である場合に、前記画像の選択が継続している間、前記描画間隔に基づいて前記選択位置の移動に対する追従性が許容範囲外となるので前記画像の移動を禁止し、前記画像の選択が継続しなくなったとき、前記画像の移動に基づく方向で前記画像の切り替えが行なわれることの移動管理を行う移動管理部とを備え、前記処理能力判断部は、前記処理能力が前記第1閾値以下である低能力、前記第1閾値よりも高い第2閾値以下であり且つ前記第1閾値を上回る中能力、及び前記第2閾値を上回る高能力の何れであるかを判断し、前記移動管理部は、前記画像の選択が継続している間の前記移動管理として、前記処理能力が前記低能力の場合に前記画像の移動を禁止し、前記処理能力が前記中能力及び高能力の場合に前記画像の移動を許容する表示装置を最も主な特徴とする。
本発明によれば、機器の処理能力に応じた画像の移動管理により、追従性が許容範囲内となる画像の移動を許容しつつ、追従性が許容範囲外となる画像の移動を必要な場合に的確に禁止して、画像のちらつきを防止することができる。
表示装置を適用した画像形成装置を示すブロック図である(実施例1)。 画像の移動を概念的に示す画面の一例である(実施例1)。 表示処理の概要を示すフローチャートである(実施例1)。 表示処理における能力判断処理を示すフローチャートである(実施例1)。 表示処理における中能力及び高能力時の移動管理処理を示すフローチャートである(実施例1)。 表示処理における低能力時の移動管理処理を示すフローチャートである(実施例1)。 表示処理における画像切替処理を示すフローチャートである(実施例1)。 表示装置を適用した画像形成装置を示すブロック図である(実施例2)。
指やポインティングデバイス等に追従して画面上で画像を移動させる際に、画像のちらつきを防止するという目的を、機器の処理能力に応じた画像の移動管理を行い、ちらつきが生じる画像の移動を禁止する表示装置によって実現した。
表示装置は、指やポインティングデバイス等に追従して画面上で画像を移動させる電子機器一般に適用することができる。このような電子機器としては、例えば、パーソナルコンピューターやいわゆるスマートフォン等の多機能携帯電話機を含む情報処理装置、プリンターやデジタル複合機等の画像形成装置の他、家電等がある。実施例においては、表示装置を画像形成装置に適用している。
[画像形成装置の構成]
図1は、表示装置を適用した画像形成装置を示すブロック図である。
画像形成装置1は、プリンターやデジタル複合機等であり、図1のように操作パネル3、制御部5、記憶部7等を備える。画像形成装置1は、プリント機能等の各種の機能を有するが、それら機能は、周知の構成で実現可能である。
操作パネル3は、液晶等によるタッチパネル式の画面3aを含み、画面3a上の画像G(図2参照)に対する操作を通じて画像形成装置1の機能の実現のための操作入力及び操作状態の表示等を行うものである。実施例1の操作パネル3は、操作入力時等に、ユーザーの指によるスワイプ操作で画面3a上の画像Gの切り替え等を可能とする。スワイプ操作は、周知の通り、画面3a上で接触させた指を滑らせるように移動させ、移動後に指を画面3aから離すものである。
制御部5は、画像形成装置1の各部を制御するCPU(Central Processing Unit)等のコンピューターとしての演算処理装置である。制御部5は、クロック周波数と1クロックあたりに実行可能な命令数とで定義される演算能力を有する。
演算能力は、リソースとして記憶部7の容量等と共に画像形成装置1の固有の処理能力(基本性能)を確定する。なお、画像形成装置1の動作中の処理能力は、固有の処理能力に対し、各部の制御時等のリソース消費量に応じて減少する。
記憶部7は、処理に必要なデータを記憶するROM(Read Only Memory)、作業領域としてのRAM(Random Access Memory)、補助記憶装置としてのHDD(Hard Disk Drive)等を含む記憶装置である。実施例1の記憶部7は、OS(Operating System)や表示プログラムを記憶している。
OSは、制御部5で実行されることにより、画像形成装置1の基本的な管理や制御のための機能を実現する。実施例1では、制御部5で実行されたOS9が、操作パネル3に対する指の接触、離反、移動を管理している。
表示プログラムは、制御部5(OS9上)で実行されることにより、制御部5を表示装置11の各部として機能させる。すなわち、制御部5は、描画処理部13、選択受付部15、移動検出部17、移動処理部19、選択解除受付部21、移動量検出部23、画像切替部25、処理能力判断部27、移動管理部29として機能する。
描画処理部13は、描画処理機能を実現し、画像形成装置1の処理能力に応じた描画間隔で、画像形成装置1の画面3a上に画像を描画する。従って、画面3a上には、描画の結果として、画像が表示されることになる。図2に画面3aの一例を示す。なお、図2では、後述する指の移動に追従した画像Gの移動を概念的に示している。
描画間隔は、例えば1/60秒を上限として設定され、描画処理部13は、描画間隔に基づいて1秒間に複数枚の画像Gを画面3a上に描画することができる。
描画間隔は、1秒間に描画できる画像Gの枚数(フレームレート:fps)と逆数の関係にあり、画像形成装置1の動作中に処理能力に応じて変動する。例えば、画像形成装置1の処理能力が低下してフレームレートが減少すると、描画間隔は長くなる。
選択受付部15は、選択受付機能を実現し、画面3a上に描画されている画像Gの選択を受け付ける。実施例1の選択受付部15は、画像Gの選択として画面3a上でのユーザーの指の接触を受け付ける。すなわち、選択受付部15は、画面3aにユーザーの指が接触すると、OS9から指の接触及びその接触位置(座標)P1が通知される。これにより、選択受付部15は、画面3a上への接触位置P1での指の接触を受け付ける。指の接触及び接触位置P1を示す接触情報は、記憶部7内に記憶される。
移動検出部17は、移動検出機能を実現し、画像Gを選択した状態での画像Gに対する選択位置の画面3a上での移動を検出する。すなわち、移動検出部17は、画面3a上で接触している指の移動を検出する。具体的には、画面3aに接触している指を接触位置P1から滑らせるように移動させると、OS9から指の移動軌跡を示す連続した接触位置が通知される。これにより、移動検出部17は、画面3a上で接触している指の移動を検出することができる。
移動処理部19は、移動処理機能を実現し、移動検出部17で検出された選択位置の移動に追従して画面3a上で画像Gを移動させる。すなわち、移動処理部19は、OS9から通知される連続した接触位置に基づいて画面3a上で画像Gを平行移動させることにより、指の移動に追従して画面3a上の画像Gを移動させる。
選択解除受付部21は、選択解除受付機能を実現し、画像Gの選択の解除として指の画面3aからの離反を受け付ける。実施例1の選択解除受付部21は、ユーザーが画面3aから指を離反させると、OS9から指の離反及び離反位置P2が通知される。これにより、選択解除受付部21は、離反位置P2で指が離反したことを受け付ける。指の離反及び離反位置P2示す離反情報は、記憶部7内に記憶される。
移動量検出部23は、移動量検出機能を実現し、選択受付部15で受け付けられた接触位置(選択位置)P1の選択解除受付部21で受け付けられた離反位置(解除位置)P2までの移動量を検出する。
検出される移動量は、実施例1において、矩形状の画面3aでの画像Gの水平方向又は上下方向に沿った移動量である。すなわち、移動量としては、接触位置P1と離反位置P2とを結ぶ線の水平方向成分及び上下方向成分が検出される。
画像切替部25は、画像切替機能を実現し、移動量検出部23で検出された移動量が切替用閾値以上である場合に、描画中の画像Gを他の画像に切り替える。すなわち、画像切替部25は、画像の切り替えとして、描画処理部13に対して他の画像の描画を指示する。
処理能力判断部27及び移動管理部29は、上記移動処理部19による指の移動に追従した画像Gの移動を管理するためのものである。
処理能力判断部27は、処理能力判断機能を実現し、画像形成装置1の処理能力が第1閾値以下であるか否かを判断する。実施例1の処理能力の判断は、画像形成装置1の動作中において行われる。具体的には、画像形成装置1の固有の処理能力に対しリソース消費量に応じて減少した実際の処理能力についての判断が行われる。
実際の処理能力は、画像Gの移動直前のフレームレートの実測値によって得ることができる。また、実際の処理能力、画像形成装置1の固有の処理能力と、制御部5のCPU利用率や記憶部7のメモリー使用量等のリソース消費量の大きさの実測値と、によって得てもよい。
実施例1の処理能力の判断としては、画像形成装置1の処理能力が第1閾値以下である低能力、第1閾値よりも高い第2閾値以下であり且つ第1閾値を上回る中能力、及び第2閾値を上回る高能力の何れであるかを判断する。
高能力は、他の処理によるリソース消費量を考慮しても、設定されている描画間隔の上限(例えば1/60秒)又はそれに近い描画間隔で画像の描画が可能な処理能力である。中能力は、リソース消費量が高能力時よりも増加している場合の処理能力である。中能力では、高能力時の描画間隔、例えば描画間隔の上限での画像Gの描画が可能であっても、他の処理によるリソース消費量を考慮すると、高能力時の描画間隔での画像Gの描画が困難になる。低能力は、リソース消費量が中能力時よりも増加している場合の処理能力である。低能力では、他の処理によるリソース消費量を考慮するまでもなく、高能力時の描画間隔での画像Gの描画が困難なものである。
これにより、高能力及び中能力は、それぞれ処理能力に応じた描画間隔に基づいて、指の移動に対する画像Gの移動の追従性が許容範囲内となる。これに対し、低能力は、その処理能力に応じた描画間隔に基づいて、選択位置の移動である指の移動に対する画像Gの移動の追従性が許容範囲外となる。
図2では、矢印が画像G及び指の移動を示し、破線が描画間隔を示している。
図2のように、追従性の許容範囲内(中能力及び高能力時)では、指の移動速度にもよるが、指に対して画像Gが滑らかに或は多少の遅れがあるように追従して画像Gの移動経過をユーザーに認識させることができる。追従性の許容範囲外(低能力時)では、指の移動速度にもよるが、指に対して画像Gが追従せずにちらついて見え、画像Gの移動経過をユーザーに認識させることができない。
移動管理部29は、移動管理処理を実現し、画像形成装置1の処理能力が第1閾値以下である低能力の場合に、描画間隔に基づいて指の移動に対する追従性が許容範囲外となる画像Gの移動を禁止する移動管理を行う。従って、移動管理では、処理能力が中能力及び高能力の場合、画像Gの移動を許容する。
また、中能力の場合は、高能力時に対して増加するリソース消費量に応じ、移動管理部29が中能力時の描画間隔を強制的に長く設定する。このときの設定値は、例えば、1/8秒等のように事前に定められている。
[表示処理]
図3は、表示処理の概要を示すフローチャートである。
実施例1の表示処理は、操作パネル3の画面3a上に描画された画像Gをスワイプ操作によって切り替えるものであり、画面3a上にスワイプ操作の対象の画像Gが描画されることで開始される。
ステップS1では、「画像形成装置の能力判断処理」が実行され、後述するように画像形成装置1の実際の処理能力を判断する。こうしてステップS1が完了すると、ステップS2へ移行する。
ステップS2では、「処理能力に応じた画像の移動管理処理」が実行される。移動管理処理は、画像形成装置1の画面3a上でのスワイプ操作時に、画像形成装置1の処理能力に応じて、指の移動に追従した画像Gの移動を禁止又は許容する。
処理能力が低能力の場合は、指の移動に追従した画像Gの移動を禁止する。すなわち、画像Gは、スワイプ操作がなされても、移動せずに静止したままとなる。一方、処理能力が中能力又は高能力の場合は、指の移動に追従した画像Gの移動を許容する。
こうしてステップS2が完了し、ステップS3へ移行する。
ステップS3では、「画像切替処理」の処理が実行される。すなわち、画像切替処理では、スワイプ操作時の指が画面3aに接触してから離されるまでの画像Gの移動量に応じ、画像の切り替えを行う。
[能力判断処理]
図4は、能力判断処理を示すフローチャートである。
実施例1の能力判断処理は、表示処理開始後に周期的に行われるか或は図5又は図6の移動管理処理の開始時に行われる。移動管理処理の開始時に行う場合は、例えば、移動管理処理のステップS21(図5及び図6参照)の直後に能力判断処理を行えばよい。
能力判断処理のステップS11では、「処理能力が第1閾値を上回るか?」の処理が実行される。すなわち、処理能力判断部27は、画像形成装置1の実際の処理能力をフレームレートの実測値、又は固有の処理能力とリソース消費量の実測値との組み合わせから取得し、取得した処理能力が第1閾値を上回るか否かを判断する。
処理能力が第1閾値を上回る場合は、中能力又は高能力であると判断してステップS12へ移行し(YES)、処理能力が第1閾値以下である場合は、低能力であると判断して、図6の低能力時の移動管理処理に移行する(NO)。
ステップS12では、「処理能力が第2閾値を上回るか?」が実行される。すなわち、処理能力判断部27は、画像形成装置1の処理能力が第2閾値を上回るか否かを判断する。
処理能力が第2閾値を上回る場合は、高能力であると判断して図5の中能力及び高能力時の移動管理処理に移行する(YES)。処理能力が第2閾値以下である場合は、中能力であると判断してステップS13へ移行する(NO)。
なお、ステップS11及びS12の処理は、順序が逆であってもよい。
ステップS13では、「中能力時の描画間隔の設定」が実行される。すなわち、移動管理部29は、高能力時に対して増加するリソース消費量に応じ、中能力時の描画間隔を1/8秒(8fps)等に強制的に長く設定する。
こうしてステップS13が完了し、図5の中能力及び高能力時の移動管理処理に移行する。
なお、能力判断処理は、画像形成装置1の起動時に行うこともできる。起動時の能力判断処理においては、画像形成装置1の固有の処理能力(基本性能)が低能力、中能力、高能力であるかを判断する。このように起動時に画像形成装置1の固有の処理能力を判断しておけば、画像形成装置1の動作中の能力判断処理の負担を軽減できる。
すなわち、固有の処理能力が低能力である場合は、動作中の処理能力も当然に低能力となるため、動作中での能力判断処理を省略できる。固有の処理能力が中能力である場合は、動作中の能力判断処理がステップS1のみで済む。そして、固有の処理能力が高能力である場合にのみ、動作中の能力判断処理を上記と同様に行えばよい。
[中能力及び高能力時の移動管理処理]
図5は、中能力及び高能力時の移動管理処理を示すフローチャートである。
移動管理処理は、ステップS21において、「画像が選択されたか?」の処理が実行される。すなわち、選択受付部15は、OS9からの通知の有無により、画面3a上の画像Gの選択としての画面3aに対するユーザーの指の接触がなされたか否かを判断する。
指の接触がなされた場合は、OS9からの通知に基づく指の接触及び接触位置P1を接触情報として記憶部7内に記憶してステップS22へ移行し(YES)、指の接触がなされない限りは、ステップS21の処理を繰り返す(NO)。
ステップS22では、「画像の選択位置が移動したか?」の処理が実行される。すなわち、移動検出部17は、OS9からの通知の有無により、画像Gの選択位置としての画面3aに対するユーザーの指の接触位置が最初の接触位置P1から移動したか否かを判断する。
指の接触位置が移動した場合は、ステップS23へ移行し(YES)、指の接触位置が移動していない場合は、ステップS22の処理を繰り返す(NO)。
なお、単純なタッチ操作が行われた場合、つまり指の画面3aへの接触後に指を移動させずに離反させる場合は、移動管理処理ではなく、タッチ操作処理が行われる。なお、タッチ操作処理は、周知のものであるため、説明を省略する。
ステップS23では、「画像の選択が継続しているか?」の処理が実行される。すなわち、選択解除受付部21は、ステップS21の指の接触が継続しているか否かを判断する。
例えば、選択解除受付部21は、記憶部7内の接触情報によって、指の接触が継続しているか否かを判断できる。または、選択解除受付部21は、OS9からの画像Gの選択の解除としての指の離反の通知の有無により、指の接触が継続しているか否かを判断することも可能である。
なお、記憶部7内の接触情報によって判断する場合は、指の接触が継続している場合に有利である。つまり、記憶部7内の離反情報によって指の離反を判断する場合は、その前提としてOS9からの指の離反の通知があったことになる。この通知によって、指の離反を判断できる。
指の接触が継続している場合は、ステップS24へ移行し(YES)、指が離反した場合は、OS9からの通知に基づく指の離反及び離反位置P2を離反情報として記憶部7内に記憶して図7の画像切替処理へ移行する(NO)。
ステップS24では、「選択されている画像Gの移動」が実行される。すなわち、移動処理部19は、図2のように、画面3a上での指の移動に追従させるように、描画された画像Gを指の現在の接触位置に応じて平行移動させる。
このとき、高能力の場合は、描画間隔の上限やそれに近い描画間隔で移動中の画像Gが描画されるため、指の移動に滑らかに追従した画像Gの移動を行わせることができる。
中能力の場合は、強制的に長く設定された描画間隔で移動中の画像Gが描画されるため、高能力時と同一の描画間隔で描画されることによるリソース消費量の独占のリスクをなくし、画像形成装置1の動作を安定させつつ他の処理と並行して画像Gを移動させることができる。ただし、このときの画像Gの移動では、画像Gが指の移動に遅れて見えることもあるが、ちらつきが気にならない程度のものとなる。
こうしてステップS24が完了すると、ステップS22へ戻って処理が繰り返される。
[低能力時の移動管理処理]
図6は、低能力時の移動管理処理を示すフローチャートである。
低能力時の移動管理処理は、中能力及び高能力時の移動管理処理に対し、ステップS24を省略したものである。
すなわち、ステップ23で「画像の選択が継続しているか?」の処理が実行され、画像Gの選択である指の接触が継続している場合は、低能力時の移動管理処理であるから、指が移動しても画像Gを追従させることなくステップS22へ戻る(YES)。
低能力の場合は、指の移動に対する画像Gの移動の追従性が許容範囲外となって、指に対して画像Gが追従せずにちらついて見えるので、そのような画像Gの移動を禁止して、画像Gのちらつきを防止できる。
一方、指の画面3aからの離反があった場合は、図7の画像切替処理へ移行する(NO)。
[画像切替処理]
図7は、画像切替処理を示すフローチャートである。
ステップS31では、「選択位置の移動量の検出」が実行される。すなわち、移動量検出部23は、記憶部7内の最初の接触位置P1及び最後の接触位置である離反位置P2に基づいて、両者間を結ぶ線の水平方向成分及び上下方向成分を移動量として取得する。
こうしてステップS31が完了し、ステップS32へ移行する。
ステップS32では、「選択位置の移動量が切替用閾値を上回るか?」の処理が実行される。すなわち、画像切替部25は、移動量検出部23で検出された移動量である水平方向成分及び上下方向成分が切替用閾値以上であるか否かを判断する。
移動量が切替用閾値を上回る場合には、ステップS33へ移行し(YES)、移動量が切替用閾値以下である場合には、ステップS34へ移行する(NO)。
ステップS33では、「画像の切り替え」が実行される。すなわち、画像切替部25は、表示中の画像Gを他の画像Gに切り替える。移動量としての水平方向成分又は上下方向成分の一方が切替用閾値を上回る場合は、その一方に基づく方向で画像の切り替えが行われる。水平方向成分及び上下方向成分の双方が切替用閾値を上回る場合は、例えば、大きい方に基づく方向で画像の切り替えが行われる。画像の切り替え時には、画像切替部25が描画処理部13に対して他の画像の描画を指示する。
一方、ステップS34では、「元の画像の表示」が実行される。すなわち、画像切替部25は、他の画像に切り替えることなく、元の画像Gの継続した描画を描画処理部13に指示する。
こうしてステップS33及びS34が完了すると、何れの場合も、画像切替処理が終了する。
[実施例1の効果]
実施例1の表示装置11は、画像形成装置1の処理能力に応じた描画間隔で画像形成装置1の画面3a上に画像Gを描画する描画処理部13と、画面3a上に描画されている画像Gの選択を受け付ける選択受付部15と、画像Gを選択した状態での画像Gの選択位置の画面3a上での移動を検出する移動検出部17と、検出された選択位置の移動に追従して画像Gを移動させる移動処理部19と、画像形成装置1の処理能力が第1閾値以下であるか否かを判断する処理能力判断部27と、処理能力が第1閾値以下である場合に、描画間隔に基づいて選択位置の移動に対する追従性が許容範囲外となる画像Gの移動を禁止する移動管理を行う移動管理部29と、を備える。
従って、実施例1では、画像形成装置1の処理能力に応じた画像Gの移動管理により、追従性が許容範囲内となる画像Gの移動を許容しつつ、追従性が許容範囲外となる画像Gの移動を的確に禁止して、画像Gのちらつきを防止することができる。
また、処理能力判断部27は、処理能力が第1閾値以下である低能力、第1閾値よりも高い第2閾値以下であり且つ第1閾値を上回る中能力、及び第2閾値を上回る高能力の何れであるかを判断する。移動管理部29は、移動管理として、処理能力が低能力の場合に画像Gの移動を禁止し、処理能力が中能力及び高能力の場合に画像Gの移動を許容する。
特に、実施例1の移動管理部29は、高能力時に対して増加するリソース消費量に応じ中能力時の描画間隔を長く設定し、描画処理部13に設定した描画間隔で移動時の画像Gを描画させる。
従って、実施例1では、第1及び第2閾値により画像形成装置1の処理能力を低能力、中能力、及び高能力に細分化して、画像形成装置1の処理能力に応じた画像Gの移動管理を適切に行うことを可能とする。
すなわち、高能力の場合は、処理能力に応じて描画間隔の上限やそれに近い描画間隔で移動中の画像Gを描画することができるため、指の移動に滑らかに追従した画像Gの移動を行わせることができる。
また、中能力の場合は、高能力時に対して増加するリソース消費量に応じ、移動管理部29が描画間隔を強制的に長く設定するので、高能力時と同一の描画間隔で描画されることによるリソース消費量の独占のリスクをなくし、画像形成装置1の動作を安定させつつ他の処理と並行して画像Gの移動を行わせることができる。
低能力の場合は、画像Gの移動を的確に禁止することができる。
また、実施例1では、処理能力判断部27が画像形成装置1の動作中にリソース消費量に応じて変動する処理能力を判断し、移動管理部29が判断された動作中の処理能力に基づいて移動管理を行う。
従って、実施例1では、画像形成装置1の処理能力が動作中に変動しても、処理能力の変動に応じて画像Gのちらつきを的確に確実に防止できる。
処理能力判断部27は、画像Gの移動直前のフレームレートの実測値、又は画像形成装置1の固有の処理能力とリソース消費量の大きさとによって、画像形成装置1の動作中の処理能力を判断する。
従って、実施例1では、画像形成装置1の処理能力を確実に判断することができる。
図8は、表示装置を適用した画像形成装置を示すブロック図である。なお、実施例2では、実施例1と対応する構成について、同符号又は同符号にAを付加した符号を用いて、重複した説明を省略する。
実施例2の画像形成装置1Aは、省電力モードを有するものである。このため、表示装置11Aとしての制御部5Aは、省電力モード管理部31としても機能する。
省電力モード管理部31は、省電力モード管理機能を実現し、画像形成装置1Aを省電力モードへ移行させ、或は省電力モードから復帰させる。省電力モードへの移行は、例えば、画像形成装置1Aに対する操作入力が無く特定時間が経過した場合又は省電力モードへの移行操作が行われた場合をトリガーに行われる。省電力モードからの復帰は、例えば、画像形成装置1Aへの何らかの操作入力が行われ場合をトリガーに行われる。
省電力モードへ移行させる際は、省電力モード管理部31が制御部5のクロック周波数を低下させる等のように演算能力を低下させる或はリソース容量を減少させる。従って、省電力モードでは、画像形成装置1Aの処理能力が低下する。逆に、省電力モードから復帰させる際は、省電力モード管理部31が制御部5の処理能力を元に戻す。このように、画像形成装置1Aでは、省電力モードへの移行及び省電力モードからの復帰に応じて、処理能力が変動することになる。
実施例2では、画像形成装置1Aの動作中に実施例1と同様に能力判断処理を行うことで、省電力モードを考慮した画像形成装置1Aの処理能力を判断することができる。従って、実施例2では、より確実に画像形成装置1Aの処理能力に応じて画像Gの移動管理を行うことができる、より的確に画像Gのちらつきを防止することができる。
[その他]
上記実施例では、タッチパネル式の画面3a上で指によってスワイプ操作を行う場合について説明したが、マウス等のポインティングデバイスによるスワイプ操作の場合にも適用可能である。
1 画像形成装置(機器)
3a 画面
11 表示装置
13 描画処理部
15 選択受付部
17 移動検出部
19 移動処理部
27 処理能力判断部
29 移動管理部

Claims (7)

  1. 機器の処理能力に応じた描画間隔で前記機器の画面上に画像を描画する描画処理部と、
    前記画面上に描画されている画像の選択を受け付ける選択受付部と、
    前記画像を選択した状態で前記画像に対する選択位置の前記画面上での移動を検出する移動検出部と、
    前記検出された前記選択位置の移動に追従して前記画像を移動させる移動処理部と、
    前記処理能力が第1閾値以下であるか否かを判断する処理能力判断部と、
    前記処理能力が前記第1閾値以下である場合に、前記画像の選択が継続している間、前記描画間隔に基づいて前記選択位置の移動に対する追従性が許容範囲外となるので前記画像の移動を禁止し、前記画像の選択が継続しなくなったとき、前記画像の移動に基づく方向で前記画像の切り替えが行なわれることの移動管理を行う移動管理部と、を備え、
    前記処理能力判断部は、前記処理能力が前記第1閾値以下である低能力、前記第1閾値よりも高い第2閾値以下であり且つ前記第1閾値を上回る中能力、及び前記第2閾値を上回る高能力の何れであるかを判断し、
    前記移動管理部は、前記画像の選択が継続している間の前記移動管理として、前記処理能力が前記低能力の場合に前記画像の移動を禁止し、前記処理能力が前記中能力及び高能力の場合に前記画像の移動を許容する、
    ことを特徴とする表示装置。
  2. 請求項記載の表示装置であって、
    前記移動管理部は、前記高能力時のリソース消費量に対する前記中能力時のリソース消費量の増加により前記中能力時の描画間隔を前記高能力時の描画間隔より長く設定し、 前記描画処理部に前記設定した描画間隔で前記移動時の画像を描画させる、
    ことを特徴とする表示装置。
  3. 請求項1又は2記載の表示装置であって、
    前記機器の処理能力は、前記機器の動作中の処理能力であり、前記機器の固有の処理能力に対し前記機器の動作中のリソース消費量に応じて変動し、
    前記処理能力判断部は、前記機器の固有の処理能力と前記リソース消費量の大きさとによって、前記動作中の処理能力を判断し、
    前記移動管理部は、前記判断された前記動作中の処理能力に基づいて前記移動管理を行う、
    ことを特徴とする表示装置。
  4. 請求項又は2記載の表示装置であって、
    前記機器の処理能力は、前記機器の動作中の処理能力であり、
    前記処理能力判断部は、前記画像の移動の直前のフレームレートの実測値によって、前記動作中の処理能力を判断
    前記移動管理部は、前記判断された前記動作中の処理能力に基づいて前記移動管理を行い、
    前記描画間隔は、前記フレームレートと逆数の関係にある、
    ことを特徴とする表示装置。
  5. 機器の処理能力に応じた描画間隔で前記機器の画面上に画像を描画する描画処理部と、
    前記画面上に描画されている画像の選択を受け付ける選択受付部と、
    前記画像を選択した状態で前記画像に対する選択位置の前記画面上での移動を検出する移動検出部と、
    前記検出された前記選択位置の移動に追従して前記画像を移動させる移動処理部と、
    前記処理能力が第1閾値以下であるか否かを判断する処理能力判断部と、
    前記処理能力が前記第1閾値以下である場合に、前記画像の選択が継続している間、前記描画間隔に基づいて前記選択位置の移動に対する追従性が許容範囲外となるので前記画像の移動を禁止し、前記画像の選択が継続しなくなったとき、前記画像の移動に基づく方向で前記画像の切り替えが行なわれることの移動管理を行う移動管理部と、を備え、
    前記機器の処理能力は、前記機器の動作中の処理能力であり、
    前記処理能力判断部は、前記画像の移動の直前のフレームレートの実測値によって、前記動作中の処理能力を判断し
    前記移動管理部は、前記判断された前記動作中の処理能力に基づいて前記移動管理を行い、
    前記描画間隔は、前記フレームレートと逆数の関係にある、
    ことを特徴とする表示装置。
  6. 機器の処理能力に応じた描画間隔で前記機器の画面上に画像を描画する描画処理機能と、
    前記画面上に描画されている画像の選択を受け付ける選択受付機能と、
    前記画像を選択した状態で前記画像に対する選択位置の前記画面上での移動を検出する移動検出機能と、
    前記検出された前記選択位置の移動に追従して前記画像を移動させる移動処理機能と、
    前記処理能力が第1閾値以下であるか否かを判断する処理能力判断機能と、
    前記処理能力が前記第1閾値以下である場合に、前記画像の選択が継続している間、前記描画間隔に基づいて前記選択位置の移動に対する追従性が許容範囲外となるので前記画像の移動を禁止し、前記画像の選択が継続しなくなったとき、前記画像の移動に基づく方向で前記画像の切り替えが行なわれることの移動管理を行う移動管理機能と、をコンピューターに実現させ、
    前記処理能力判断機能は、前記処理能力が前記第1閾値以下である低能力、前記第1閾値よりも高い第2閾値以下であり且つ前記第1閾値を上回る中能力、及び前記第2閾値を上回る高能力の何れであるかを判断し、
    前記移動管理機能は、前記画像の選択が継続している間の前記移動管理として、前記処理能力が前記低能力の場合に前記画像の移動を禁止し、前記処理能力が前記中能力及び高能力の場合に前記画像の移動を許容する
    ことを特徴とする表示プログラム。
  7. 機器の処理能力に応じた描画間隔で前記機器の画面上に画像を描画する描画処理機能と、
    前記画面上に描画されている画像の選択を受け付ける選択受付機能と、
    前記画像を選択した状態で前記画像に対する選択位置の前記画面上での移動を検出する移動検出機能と、
    前記検出された前記選択位置の移動に追従して前記画像を移動させる移動処理機能と、
    前記処理能力が第1閾値以下であるか否かを判断する処理能力判断機能と、
    前記処理能力が前記第1閾値以下である場合に、前記画像の選択が継続している間、前記描画間隔に基づいて前記選択位置の移動に対する追従性が許容範囲外となるので前記画像の移動を禁止し、前記画像の選択が継続しなくなったとき、前記画像の移動に基づく方向で前記画像の切り替えが行なわれることの移動管理を行う移動管理機能と、をコンピューターに実現させ、
    前記機器の処理能力は、前記機器の動作中の処理能力であり、
    前記処理能力判断機能は、前記画像の移動の直前のフレームレートの実測値によって、前記動作中の処理能力を判断し
    前記移動管理機能は、前記判断された前記動作中の処理能力に基づいて前記移動管理を行い、
    前記描画間隔は、前記フレームレートと逆数の関係にある、
    ことを特徴とする表示プログラム。
JP2014242315A 2014-11-28 2014-11-28 表示装置及び表示プログラム Expired - Fee Related JP6063431B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014242315A JP6063431B2 (ja) 2014-11-28 2014-11-28 表示装置及び表示プログラム
US14/943,598 US20160155211A1 (en) 2014-11-28 2015-11-17 Display device and recording medium used for on-screen operation such as swipe operation
CN201510789082.7A CN105653149A (zh) 2014-11-28 2015-11-17 显示装置和显示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014242315A JP6063431B2 (ja) 2014-11-28 2014-11-28 表示装置及び表示プログラム

Publications (2)

Publication Number Publication Date
JP2016102957A JP2016102957A (ja) 2016-06-02
JP6063431B2 true JP6063431B2 (ja) 2017-01-18

Family

ID=56079467

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014242315A Expired - Fee Related JP6063431B2 (ja) 2014-11-28 2014-11-28 表示装置及び表示プログラム

Country Status (3)

Country Link
US (1) US20160155211A1 (ja)
JP (1) JP6063431B2 (ja)
CN (1) CN105653149A (ja)

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05189535A (ja) * 1992-01-16 1993-07-30 Fujitsu Ltd ディスプレイ画面上の図形移動制御方式
JPH10247136A (ja) * 1997-03-05 1998-09-14 Canon Inc 情報処理装置及び情報処理方法
JP2004318823A (ja) * 2003-03-28 2004-11-11 Seiko Epson Corp 情報表示システム、情報処理装置、ポインティング装置および情報表示システムにおけるポインタマーク表示方法
KR20060108932A (ko) * 2005-04-13 2006-10-18 삼성전자주식회사 감지부를 내장하는 표시 장치 및 그 구동 방법
JP2008139801A (ja) * 2006-12-05 2008-06-19 Canon Inc 画像形成装置、画像形成方法、及びプログラム
JP5239328B2 (ja) * 2007-12-21 2013-07-17 ソニー株式会社 情報処理装置及びタッチ動作認識方法
JP5335368B2 (ja) * 2008-10-27 2013-11-06 シャープ株式会社 画像表示装置、携帯端末
US8859459B2 (en) * 2010-06-30 2014-10-14 Basf Se Multilayer catalyst for preparing phthalic anhydride and process for preparing phthalic anhydride
US8766984B2 (en) * 2010-08-20 2014-07-01 Qualcomm Incorporated Graphics rendering methods for satisfying minimum frame rate requirements
US9223761B2 (en) * 2011-11-04 2015-12-29 Microsoft Technology Licensing, Llc Real time visual feedback during move, resize and/or rotate actions in an electronic document
CN102547469B (zh) * 2011-12-28 2013-11-20 四川长虹电器股份有限公司 一种多图片Web页面浏览显示加速的方法
US20140030056A1 (en) * 2012-07-25 2014-01-30 Applied Materials, Inc. Process gas flow guides for large area plasma enhanced chemical vapor deposition systems and methods
CN102930852B (zh) * 2012-11-08 2014-05-14 山东大学 通过动态调节屏幕刷新率来提高移动终端系统性能的方法
CN103151019B (zh) * 2013-01-28 2015-06-03 广东欧珀移动通信有限公司 一种移动终端的显示刷新率的控制方法及控制装置
JP5813690B2 (ja) * 2013-04-08 2015-11-17 シャープ株式会社 座標位置検出装置及び表示入力装置
US10055009B2 (en) * 2014-05-30 2018-08-21 Apple Inc. Dynamic display refresh rate based on device motion
US20160077665A1 (en) * 2014-09-16 2016-03-17 Microsoft Corporation Simulating real-time responsiveness for touch displays

Also Published As

Publication number Publication date
CN105653149A (zh) 2016-06-08
US20160155211A1 (en) 2016-06-02
JP2016102957A (ja) 2016-06-02

Similar Documents

Publication Publication Date Title
US9983784B2 (en) Dynamic gesture parameters
JP6155872B2 (ja) 端末装置、入力補正プログラム及び入力補正方法
US11276144B2 (en) Information processing apparatus, display control method, and storage medium
EP3757746B1 (en) Terminal and method of operating the terminal
KR102090750B1 (ko) 지문 인식을 위한 전자 장치 및 방법
AU2011283001B2 (en) Touch Input Transitions
RU2601173C2 (ru) Способ и устройство отображения с разделенным экраном и соответствующее электронное устройство
US9292188B2 (en) Information processing apparatus, control method thereof, and storage medium
US20150185950A1 (en) Control device, control method, and program
TW201241690A (en) Information processing device, method of processing information, and computer program storage device
JPWO2016114269A1 (ja) 情報処理装置およびその制御方法
CN104572322A (zh) 一种终端屏幕操作的方法
WO2014121623A1 (en) Sliding control method and terminal device thereof
US20160334926A1 (en) Method for Processing Terminal Device and Terminal Device
WO2019119799A1 (zh) 一种显示应用图标的方法及终端设备
CN104572071A (zh) 一种终端
CN104035678A (zh) 滚动方法及使用该滚动方法的电子设备
JP2015132888A (ja) 表示制御装置及び表示制御方法、プログラム、並びに記憶媒体
JP2015043165A (ja) 情報処理装置、制御プログラム及び制御方法
CN107148776A (zh) 获取视频数据的方法、装置、系统及计算机可读存储介质
JP6063431B2 (ja) 表示装置及び表示プログラム
JP2010113459A (ja) 画像表示装置、方法、及びプログラム
JP5968074B2 (ja) 通信端末装置及び制御方法
JP2020067744A (ja) 電子機器、制御装置、制御方法および制御プログラム
JP2015153239A (ja) 携帯端末装置、表示方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160603

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20160603

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20160712

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160719

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160901

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161216

R150 Certificate of patent or registration of utility model

Ref document number: 6063431

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees