JP7192214B2 - 表示装置、表示装置の制御方法、およびプログラム - Google Patents

表示装置、表示装置の制御方法、およびプログラム Download PDF

Info

Publication number
JP7192214B2
JP7192214B2 JP2018027218A JP2018027218A JP7192214B2 JP 7192214 B2 JP7192214 B2 JP 7192214B2 JP 2018027218 A JP2018027218 A JP 2018027218A JP 2018027218 A JP2018027218 A JP 2018027218A JP 7192214 B2 JP7192214 B2 JP 7192214B2
Authority
JP
Japan
Prior art keywords
area
screen area
swipe
detection
operation screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018027218A
Other languages
English (en)
Other versions
JP2019144763A (ja
Inventor
卓人 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2018027218A priority Critical patent/JP7192214B2/ja
Priority to US16/268,816 priority patent/US10681228B2/en
Priority to CN201910115352.4A priority patent/CN110174989B/zh
Publication of JP2019144763A publication Critical patent/JP2019144763A/ja
Application granted granted Critical
Publication of JP7192214B2 publication Critical patent/JP7192214B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/00411Display of information to the user, e.g. menus the display also being used for user input, e.g. touch screen
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486Drag-and-drop
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077Types of the still picture apparatus
    • H04N2201/0094Multifunctional device, i.e. a device capable of all of reading, reproducing, copying, facsimile transception, file transception

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、MFP(マルチ・ファンクション・ペリフェラル(Multi-Functional Peripheral))などの表示装置およびそれに関連する技術に関する。
操作パネル(タッチパネル)を有する表示装置においては、タップ操作、スワイプ操作のみならず、「スワイプイン操作」と称される操作をも受け付けることが可能である(特許文献1等参照)。「スワイプイン操作」は、ユーザの手指の操作パネルに対するタッチ状態を継続しつつ、操作画面領域のエッジ付近から操作画面領域の内側へ向けてユーザの操作指を移動する操作である。「スワイプイン操作」としては、たとえば、矩形形状を有する操作パネルの全体に亘って操作画面領域が表示されている状況において、操作パネルの左辺付近(左辺側に設けられたフレーム部分(ベゼル部分)等)から当該操作画面領域の内側(右側)へとユーザの操作指を操作パネル上を滑らせながら移動する操作が例示される(図45の左側参照)。
なお、スワイプイン操作は、スワイプ操作とは区別されて認識される。「スワイプ操作」は、ユーザの手指の操作パネルに対するタッチ状態を継続しつつ、操作画面領域内の或る位置(ただし、エッジ付近以外の位置)から操作画面領域内の別の位置へとユーザの操作指を移動する操作である(図45の右側参照)。スワイプイン操作は、操作の開始位置がエッジ付近の位置である点で、スワイプ操作と相違する。
また、スワイプイン操作に対しては、スワイプ操作に対する応答動作とは別の応答動作が割り当てられ得る。たとえば、スワイプ操作にはアイコンの移動動作等が割り当てられるのに対して、スワイプイン操作には、スワイプインオブジェクト(簡易メニュー画面等)の引出表示動作(スワイプインオブジェクトが画面端部から画面内側へと徐々に引き出されて表示される表示動作)等が割り当てられる。
特表2016-511854号公報
ところで、操作パネルの全体領域が2分割され、各分割領域に個別の操作画面領域が表示されることがある(図46の下段参照)。たとえば、操作パネルの全体領域が左半領域460と右半領域470とに分割され、左半領域460と右半領域470とにそれぞれ別個の操作画面(操作画面領域)212,312が表示されることがある。
このような2画面表示が行われる場合において、操作パネルに表示される操作画面領域のエッジと操作パネルの物理的エッジとが一致していないときには、スワイプイン操作が良好に検出されないことがある。
たとえば、ユーザが、操作パネルの物理的エッジ付近(操作パネルの周囲のフレーム付近)ではなく、2つの操作画面領域の境界付近(操作パネルの左右方向における中央付近)において、スワイプイン操作を試行する状況を想定する。詳細には、2つの操作画面領域の境界付近において右側の操作画面領域312に対して当該右側の操作画面領域312の左端から右側に向かうスワイプイン操作をユーザが行おうとする場合、操作者の手指が(右側の操作画面領域312内の左端側部分ではなく)左側の操作画面領域212内の右端側部分に最初に触れることがある。この場合、ユーザの当該操作が「左側」の操作画面領域212に対する「スワイプ操作」であると誤って認識され、ユーザの本来の意図(「右側」の操作画面領域312に対する「スワイプイン操作」)は正しく認識されないことがある。
なお、当該2画面表示以外の状況においても、同様の問題が生じ得る。
そこで、本発明は、操作パネルに表示される操作画面領域のエッジと操作パネルの物理的エッジとが一致していない場合にも、スワイプイン操作を良好に検出することが可能な技術を提供することを課題とする。
上記課題を解決すべく、請求項1の発明は、表示装置であって、各種の情報を表示し且つユーザの手指による操作入力を受け付けることが可能な操作パネルと、前記操作パネルの全部または一部に操作画面領域を表示する表示制御手段と、前記操作パネルに対するタッチ状態を継続しつつ前記操作画面領域のエッジ付近から前記操作画面領域の内側へ向けて前記ユーザの操作指を移動する操作であるスワイプイン操作を、前記操作画面領域の前記エッジ付近に設けられるスワイプイン操作検出領域を用いて検出する検出制御手段と、を備え、前記検出制御手段は、前記スワイプイン操作を検出する検出動作として、前記操作画面領域の内部領域のうち前記操作画面領域のエッジに隣接する部分領域である第1の検出領域にて前記操作画面領域の更に内側へと前記操作指を移動する操作が検出されることを条件として前記スワイプイン操作を検出する第1の検出動作と、前記第1の検出領域を拡張および/または移動して形成される第2の検出領域にて前記操作画面領域の内側へと向かう向きに前記操作指を移動する操作が検出されることを条件として前記スワイプイン操作を検出する第2の検出動作と、を選択的に実行することが可能であり、前記操作画面領域が前記操作パネルの一部に表示される場合、前記操作画面領域の複数のエッジのうち前記操作パネルの物理的エッジと一致していない特定のエッジに関して、前記第2の検出領域を前記スワイプイン操作検出領域として用いる前記第2の検出動作を実行し、前記表示制御手段は、前記操作画面領域である第1の操作画面領域と、前記第1の操作画面領域とは異なる第2の操作画面領域とを前記操作パネルに表示し、前記第2の操作画面領域は、前記第1の操作画面領域の一部に重複して配置され、且つ、前記第1の操作画面領域よりも上位の表示階層を有し、前記第1の操作画面領域向けの前記第2の検出領域は、前記第2の操作画面領域に重複する部分を除外した領域として形成されること特徴とする。
請求項2の発明は、表示装置であって、各種の情報を表示し且つユーザの手指による操作入力を受け付けることが可能な操作パネルと、前記操作パネルの全部または一部に操作画面領域を表示する表示制御手段と、前記操作パネルに対するタッチ状態を継続しつつ前記操作画面領域のエッジ付近から前記操作画面領域の内側へ向けて前記ユーザの操作指を移動する操作であるスワイプイン操作を、前記操作画面領域の前記エッジ付近に設けられるスワイプイン操作検出領域を用いて検出する検出制御手段と、を備え、前記検出制御手段は、前記スワイプイン操作を検出する検出動作として、前記操作画面領域の内部領域のうち前記操作画面領域のエッジに隣接する部分領域である第1の検出領域にて前記操作画面領域の更に内側へと前記操作指を移動する操作が検出されることを条件として前記スワイプイン操作を検出する第1の検出動作と、前記第1の検出領域を拡張および/または移動して形成される第2の検出領域にて前記操作画面領域の内側へと向かう向きに前記操作指を移動する操作が検出されることを条件として前記スワイプイン操作を検出する第2の検出動作と、を選択的に実行することが可能であり、前記操作画面領域が前記操作パネルの一部に表示される場合、前記操作画面領域の複数のエッジのうち前記操作パネルの物理的エッジと一致していない特定のエッジに関して、前記第2の検出領域を前記スワイプイン操作検出領域として用いる前記第2の検出動作を実行し、前記表示制御手段は、前記操作画面領域である第1の操作画面領域と、前記第1の操作画面領域とは異なる第2の操作画面領域とを前記操作パネルに表示し、前記第2の操作画面領域は、前記第1の操作画面領域の一部に重複して配置され、且つ、前記第1の操作画面領域よりも上位の表示階層を有し、前記検出制御手段は、前記第2の操作画面領域向けの前記第2の検出領域に基づいて、前記第2の操作画面領域に関する前記スワイプイン操作を検出し、前記第1の操作画面領域向けの前記第2の検出領域に基づいて、前記第1の操作画面領域に関する前記スワイプイン操作を検出し、前記第1の操作画面領域向けの前記第2の検出領域は、前記第2の操作画面領域に重複する重複部分と前記第2の操作画面領域向けの前記第2の検出領域に重複する重複部分とを除外した領域として形成されることを特徴とする。
請求項3の発明は、表示装置であって、各種の情報を表示し且つユーザの手指による操作入力を受け付けることが可能な操作パネルと、前記操作パネルの全部または一部に操作画面領域を表示する表示制御手段と、前記操作パネルに対するタッチ状態を継続しつつ前記操作画面領域のエッジ付近から前記操作画面領域の内側へ向けて前記ユーザの操作指を移動する操作であるスワイプイン操作を、前記操作画面領域の前記エッジ付近に設けられるスワイプイン操作検出領域を用いて検出する検出制御手段と、を備え、前記検出制御手段は、前記スワイプイン操作を検出する検出動作として、前記操作画面領域の内部領域のうち前記操作画面領域のエッジに隣接する部分領域である第1の検出領域にて前記操作画面領域の更に内側へと前記操作指を移動する操作が検出されることを条件として前記スワイプイン操作を検出する第1の検出動作と、前記第1の検出領域を拡張および/または移動して形成される第2の検出領域にて前記操作画面領域の内側へと向かう向きに前記操作指を移動する操作が検出されることを条件として前記スワイプイン操作を検出する第2の検出動作と、を選択的に実行することが可能であり、前記操作画面領域が前記操作パネルの一部に表示される場合、前記操作画面領域の複数のエッジのうち前記操作パネルの物理的エッジと一致していない特定のエッジに関して、前記第2の検出領域を前記スワイプイン操作検出領域として用いる前記第2の検出動作を実行し、前記検出制御手段は、前記操作画面領域に関する前記第2の検出領域が前記操作画面領域のエッジの少なくとも一部を包含する場合において、前記操作指による操作が前記操作画面領域に対する前記スワイプイン操作である可能性と前記操作指による操作が前記操作画面領域自体の移動および/または変倍のための画面移動変倍操作である可能性との双方が存在するときには、前記画面移動変倍操作を前記スワイプイン操作よりも優先的に検出することを特徴とする。
請求項4の発明は、表示装置であって、各種の情報を表示し且つユーザの手指による操作入力を受け付けることが可能な操作パネルと、前記操作パネルの全部または一部に操作画面領域を表示する表示制御手段と、前記操作パネルに対するタッチ状態を継続しつつ前記操作画面領域のエッジ付近から前記操作画面領域の内側へ向けて前記ユーザの操作指を移動する操作であるスワイプイン操作を、前記操作画面領域の前記エッジ付近に設けられるスワイプイン操作検出領域を用いて検出する検出制御手段と、を備え、前記検出制御手段は、前記スワイプイン操作を検出する検出動作として、前記操作画面領域の内部領域のうち前記操作画面領域のエッジに隣接する部分領域である第1の検出領域にて前記操作画面領域の更に内側へと前記操作指を移動する操作が検出されることを条件として前記スワイプイン操作を検出する第1の検出動作と、前記第1の検出領域を拡張および/または移動して形成される第2の検出領域にて前記操作画面領域の内側へと向かう向きに前記操作指を移動する操作が検出されることを条件として前記スワイプイン操作を検出する第2の検出動作と、を選択的に実行することが可能であり、前記操作画面領域が前記操作パネルの一部に表示される場合、前記操作画面領域の複数のエッジのうち前記操作パネルの物理的エッジと一致していない特定のエッジに関して、前記第2の検出領域を前記スワイプイン操作検出領域として用いる前記第2の検出動作を実行し、前記表示制御手段は、前記操作画面領域である第1の操作画面領域と、前記第1の操作画面領域とは異なる第2の操作画面領域とを前記操作パネルに表示し、前記第1の操作画面領域向けの前記第2の検出領域は、前記第2の操作画面領域の少なくとも一部に重複し、前記検出制御手段は、前記第1の操作画面領域向けの前記第2の検出領域と前記第2の操作画面領域との重複領域内から前記操作指によるタッチ操作が開始され且つ前記タッチ操作が継続している期間において、前記スワイプイン操作と前記第2の操作画面領域に対する他の操作とのうち前記スワイプイン操作を優先的に検出し、前記表示制御手段は、前記スワイプイン操作の検出の有無が確定するまでは、前記第2の操作画面領域に対する前記他の操作に応じた表示変更動作を保留することを特徴とする。
請求項5の発明は、請求項4の発明に係る表示装置において、前記表示制御手段は、前記第1の操作画面領域向けの前記第2の検出領域と前記第2の操作画面領域との前記重複領域内から前記操作指による操作が開始される場合において、前記スワイプイン操作が検出された時点から、前記スワイプイン操作に応じた表示変更動作を開始すべき位置である対応動作開始位置へと前記操作指が到達する時点までの期間において、前記第2の操作画面領域に対する所定の操作が検出されるときには、前記スワイプイン操作をキャンセルするとともに、前記スワイプイン操作に応じた前記表示変更動作を実行せず且つ前記所定の操作に応じた表示変更動作を実行することを特徴とする。
請求項6の発明は、請求項4または請求項5の発明に係る表示装置において、前記表示制御手段は、前記スワイプイン操作が検出された時点から、前記スワイプイン操作に応じた表示変更動作を開始すべき位置である対応動作開始位置へと前記操作指が到達する時点までの期間において、前記スワイプイン操作に応じた前記表示変更動作にて表示されるべき画面の一部を表示することによって、前記スワイプイン操作に応じた前記表示変更動作が可能である旨を前記ユーザに報知することを特徴とする。
請求項7の発明は、表示装置であって、各種の情報を表示し且つユーザの手指による操作入力を受け付けることが可能な操作パネルと、前記操作パネルの全部または一部に操作画面領域を表示する表示制御手段と、前記操作パネルに対するタッチ状態を継続しつつ前記操作画面領域のエッジ付近から前記操作画面領域の内側へ向けて前記ユーザの操作指を移動する操作であるスワイプイン操作を、前記操作画面領域の前記エッジ付近に設けられるスワイプイン操作検出領域を用いて検出する検出制御手段と、を備え、前記検出制御手段は、前記スワイプイン操作を検出する検出動作として、前記操作画面領域の内部領域のうち前記操作画面領域のエッジに隣接する部分領域である第1の検出領域にて前記操作画面領域の更に内側へと前記操作指を移動する操作が検出されることを条件として前記スワイプイン操作を検出する第1の検出動作と、前記第1の検出領域を拡張および/または移動して形成される第2の検出領域にて前記操作画面領域の内側へと向かう向きに前記操作指を移動する操作が検出されることを条件として前記スワイプイン操作を検出する第2の検出動作と、を選択的に実行することが可能であり、前記操作画面領域が前記操作パネルの一部に表示される場合、前記操作画面領域の複数のエッジのうち前記操作パネルの物理的エッジと一致していない特定のエッジに関して、前記第2の検出領域を前記スワイプイン操作検出領域として用いる前記第2の検出動作を実行し、前記表示制御手段は、前記操作パネルにおける前記操作画面領域の位置および/または大きさの変更に伴って、前記操作画面領域の前記複数のエッジのうち前記操作パネルの物理的エッジと一致していない前記特定のエッジの発生が検知されることに応答して、前記第2の検出領域を前記操作パネルにて可視化することを特徴とする。
請求項8の発明は、各種の情報を表示し且つユーザの手指による操作入力を受け付けることが可能な操作パネルを備える表示装置の制御方法であって、a)前記操作パネルの一部に操作画面領域を表示するステップと、b)前記操作パネルに対するタッチ状態を継続しつつ前記操作画面領域のエッジ付近から前記操作画面領域の内側へ向けて前記ユーザの操作指を移動する操作であるスワイプイン操作を、前記操作画面領域の前記エッジ付近に設けられるスワイプイン操作検出領域を用いて検出するステップと、を備え、前記ステップb)において、前記操作画面領域の内部領域のうち前記操作画面領域のエッジに隣接する部分領域である第1の検出領域にて前記操作画面領域の更に内側へと前記操作指を移動する操作が検出されることを条件として前記スワイプイン操作を検出する第1の検出動作と、前記第1の検出領域を拡張および/または移動して形成される第2の検出領域にて前記操作画面領域の内側へと向かう向きに前記操作指を移動する操作が検出されることを条件として前記スワイプイン操作を検出する第2の検出動作と、が、前記スワイプイン操作を検出する検出動作として選択的に実行され、前記操作画面領域が前記操作パネルの一部に表示される場合、前記操作画面領域の複数のエッジのうち前記操作パネルの物理的エッジと一致していない特定のエッジに関して、前記第2の検出領域を前記スワイプイン操作検出領域として用いる前記第2の検出動作が実行され、前記ステップa)においては、前記操作画面領域である第1の操作画面領域と、前記第1の操作画面領域とは異なる第2の操作画面領域とが前記操作パネルに表示され、前記第2の操作画面領域は、前記第1の操作画面領域の一部に重複して配置され、且つ、前記第1の操作画面領域よりも上位の表示階層を有し、前記第1の操作画面領域向けの前記第2の検出領域は、前記第2の操作画面領域に重複する部分を除外した領域として形成されること特徴とする。
請求項9の発明は、各種の情報を表示し且つユーザの手指による操作入力を受け付けることが可能な操作パネルを備える表示装置の制御方法であって、a)前記操作パネルの一部に操作画面領域を表示するステップと、b)前記操作パネルに対するタッチ状態を継続しつつ前記操作画面領域のエッジ付近から前記操作画面領域の内側へ向けて前記ユーザの操作指を移動する操作であるスワイプイン操作を、前記操作画面領域の前記エッジ付近に設けられるスワイプイン操作検出領域を用いて検出するステップと、を備え、前記ステップb)において、前記操作画面領域の内部領域のうち前記操作画面領域のエッジに隣接する部分領域である第1の検出領域にて前記操作画面領域の更に内側へと前記操作指を移動する操作が検出されることを条件として前記スワイプイン操作を検出する第1の検出動作と、前記第1の検出領域を拡張および/または移動して形成される第2の検出領域にて前記操作画面領域の内側へと向かう向きに前記操作指を移動する操作が検出されることを条件として前記スワイプイン操作を検出する第2の検出動作と、が、前記スワイプイン操作を検出する検出動作として選択的に実行され、前記操作画面領域が前記操作パネルの一部に表示される場合、前記操作画面領域の複数のエッジのうち前記操作パネルの物理的エッジと一致していない特定のエッジに関して、前記第2の検出領域を前記スワイプイン操作検出領域として用いる前記第2の検出動作が実行され、前記ステップa)においては、前記操作画面領域である第1の操作画面領域と、前記第1の操作画面領域とは異なる第2の操作画面領域とが前記操作パネルに表示され、前記第2の操作画面領域は、前記第1の操作画面領域の一部に重複して配置され、且つ、前記第1の操作画面領域よりも上位の表示階層を有し、前記ステップb)においては、前記第2の操作画面領域向けの前記第2の検出領域に基づいて、前記第2の操作画面領域に関する前記スワイプイン操作が検出され、前記第1の操作画面領域向けの前記第2の検出領域に基づいて、前記第1の操作画面領域に関する前記スワイプイン操作が検出され、前記第1の操作画面領域向けの前記第2の検出領域は、前記第2の操作画面領域に重複する重複部分と前記第2の操作画面領域向けの前記第2の検出領域に重複する重複部分とを除外した領域として形成されることを特徴とする。
請求項10の発明は、各種の情報を表示し且つユーザの手指による操作入力を受け付けることが可能な操作パネルを備える表示装置の制御方法であって、a)前記操作パネルの一部に操作画面領域を表示するステップと、b)前記操作パネルに対するタッチ状態を継続しつつ前記操作画面領域のエッジ付近から前記操作画面領域の内側へ向けて前記ユーザの操作指を移動する操作であるスワイプイン操作を、前記操作画面領域の前記エッジ付近に設けられるスワイプイン操作検出領域を用いて検出するステップと、を備え、前記ステップb)において、前記操作画面領域の内部領域のうち前記操作画面領域のエッジに隣接する部分領域である第1の検出領域にて前記操作画面領域の更に内側へと前記操作指を移動する操作が検出されることを条件として前記スワイプイン操作を検出する第1の検出動作と、前記第1の検出領域を拡張および/または移動して形成される第2の検出領域にて前記操作画面領域の内側へと向かう向きに前記操作指を移動する操作が検出されることを条件として前記スワイプイン操作を検出する第2の検出動作と、が、前記スワイプイン操作を検出する検出動作として選択的に実行され、前記操作画面領域が前記操作パネルの一部に表示される場合、前記操作画面領域の複数のエッジのうち前記操作パネルの物理的エッジと一致していない特定のエッジに関して、前記第2の検出領域を前記スワイプイン操作検出領域として用いる前記第2の検出動作が実行され、前記ステップb)において、前記操作画面領域に関する前記第2の検出領域が前記操作画面領域のエッジの少なくとも一部を包含する場合において、前記操作指による操作が前記操作画面領域に対する前記スワイプイン操作である可能性と前記操作指による操作が前記操作画面領域自体の移動および/または変倍のための画面移動変倍操作である可能性との双方が存在するときには、前記画面移動変倍操作を前記スワイプイン操作よりも優先的に検出する動作が実行されることを特徴とする。
請求項11の発明は、各種の情報を表示し且つユーザの手指による操作入力を受け付けることが可能な操作パネルを備える表示装置の制御方法であって、a)前記操作パネルの一部に操作画面領域を表示するステップと、b)前記操作パネルに対するタッチ状態を継続しつつ前記操作画面領域のエッジ付近から前記操作画面領域の内側へ向けて前記ユーザの操作指を移動する操作であるスワイプイン操作を、前記操作画面領域の前記エッジ付近に設けられるスワイプイン操作検出領域を用いて検出するステップと、c)前記ステップb)の処理結果に基づいて前記操作パネルにおける表示内容を更新するステップと、を備え、前記ステップb)において、前記操作画面領域の内部領域のうち前記操作画面領域のエッジに隣接する部分領域である第1の検出領域にて前記操作画面領域の更に内側へと前記操作指を移動する操作が検出されることを条件として前記スワイプイン操作を検出する第1の検出動作と、前記第1の検出領域を拡張および/または移動して形成される第2の検出領域にて前記操作画面領域の内側へと向かう向きに前記操作指を移動する操作が検出されることを条件として前記スワイプイン操作を検出する第2の検出動作と、が、前記スワイプイン操作を検出する検出動作として選択的に実行され、前記操作画面領域が前記操作パネルの一部に表示される場合、前記操作画面領域の複数のエッジのうち前記操作パネルの物理的エッジと一致していない特定のエッジに関して、前記第2の検出領域を前記スワイプイン操作検出領域として用いる前記第2の検出動作が実行され、前記ステップa)において、前記操作画面領域である第1の操作画面領域と、前記第1の操作画面領域とは異なる第2の操作画面領域とが前記操作パネルに表示され、且つ、前記第1の操作画面領域向けの前記第2の検出領域は前記第2の操作画面領域の少なくとも一部に重複し、前記ステップb)において、前記第1の操作画面領域向けの前記第2の検出領域と前記第2の操作画面領域との重複領域内から前記操作指によるタッチ操作が開始され且つ前記タッチ操作が継続している期間において、前記スワイプイン操作と前記第2の操作画面領域に対する他の操作とのうち前記スワイプイン操作を優先的に検出する動作が実行され、前記ステップc)において、前記スワイプイン操作の検出の有無が確定するまでは、前記第2の操作画面領域に対する前記他の操作に応じた表示変更動作が保留されることを特徴とする。
請求項12の発明は、請求項11の発明に係る制御方法において、前記ステップc)においては、前記第1の操作画面領域向けの前記第2の検出領域と前記第2の操作画面領域との前記重複領域内から前記操作指による操作が開始される場合において、前記スワイプイン操作が検出された時点から、前記スワイプイン操作に応じた表示変更動作を開始すべき位置である対応動作開始位置へと前記操作指が到達する時点までの期間において、前記第2の操作画面領域に対する所定の操作が検出されるときには、前記スワイプイン操作に応じた前記表示変更動作が実行されず且つ前記所定の操作に応じた表示変更動作が実行されることを特徴とする。
請求項13の発明は、請求項11または請求項12の発明に係る制御方法において、前記ステップc)においては、前記スワイプイン操作が検出された時点から、前記スワイプイン操作に応じた表示変更動作を開始すべき位置である対応動作開始位置へと前記操作指が到達する時点までの期間において、前記スワイプイン操作に応じた前記表示変更動作にて表示されるべき画面の一部が表示されることによって、前記スワイプイン操作に応じた前記表示変更動作が可能である旨が前記ユーザに報知されることを特徴とする。
請求項14の発明は、各種の情報を表示し且つユーザの手指による操作入力を受け付けることが可能な操作パネルを備える表示装置の制御方法であって、a)前記操作パネルの一部に操作画面領域を表示するステップと、b)前記操作パネルに対するタッチ状態を継続しつつ前記操作画面領域のエッジ付近から前記操作画面領域の内側へ向けて前記ユーザの操作指を移動する操作であるスワイプイン操作を、前記操作画面領域の前記エッジ付近に設けられるスワイプイン操作検出領域を用いて検出するステップと、を備え、前記ステップb)において、前記操作画面領域の内部領域のうち前記操作画面領域のエッジに隣接する部分領域である第1の検出領域にて前記操作画面領域の更に内側へと前記操作指を移動する操作が検出されることを条件として前記スワイプイン操作を検出する第1の検出動作と、前記第1の検出領域を拡張および/または移動して形成される第2の検出領域にて前記操作画面領域の内側へと向かう向きに前記操作指を移動する操作が検出されることを条件として前記スワイプイン操作を検出する第2の検出動作と、が、前記スワイプイン操作を検出する検出動作として選択的に実行され、前記操作画面領域が前記操作パネルの一部に表示される場合、前記操作画面領域の複数のエッジのうち前記操作パネルの物理的エッジと一致していない特定のエッジに関して、前記第2の検出領域を前記スワイプイン操作検出領域として用いる前記第2の検出動作が実行され、前記ステップa)において、前記操作パネルにおける前記操作画面領域の位置および/または大きさが変更され、前記ステップb)において、前記ステップa)における前記操作画面領域の位置および/または大きさの変更に伴って前記操作画面領域の前記複数のエッジのうち前記操作パネルの物理的エッジと一致していない前記特定のエッジの発生が検知されることに応答して、前記第2の検出領域が前記操作パネルにて可視化されることを特徴とする。
請求項15の発明は、請求項8から請求項14のいずれかの発明に係る制御方法を、前記表示装置に内蔵されたコンピュータに実行させるためのプログラムであることを特徴とする。
請求項1から請求項15に記載の発明によれば、操作パネルに表示される操作画面領域のエッジと操作パネルの物理的エッジとが一致していない場合にも、スワイプイン操作を良好に検出することが可能である。
第1実施形態に係る表示装置の外観を示す図である。 MFP(表示装置)の機能ブロックを示す図である。 スワイプイン操作が開始される様子を示す図である。 スワイプイン操作の完了状態を示す図である。 第1の検出領域に基づく第1の検出動作を示す図である。 第2の検出領域に基づく第2の検出動作を示す図である。 MFPの動作の一例を示すフローチャートである。 図7の一部の動作(スワイプイン操作検出領域の設定動作)を示すフローチャートである。 図7の一部の動作を示すフローチャートである。 操作画面領域がタッチパネルの全部に表示される状態からタッチパネルの一部に表示される状態へと遷移する場合において、遷移後の操作画面領域に第2の検出領域が設定される様子を示す図である。 第1の検出領域を外側に移動および拡張して形成された第2の検出領域を示す図である。 第1の検出領域を外側に拡張して形成された第2の検出領域を示す図である。 第1の検出領域を内側に拡張して形成された第2の検出領域を示す図である。 第1の検出領域を外側と内側との双方に拡張して形成された第2の検出領域を示す図である。 第1の検出領域を内側に移動して形成された第2の検出領域を示す図である。 第1の検出領域の一部の範囲のみを内側に拡張して形成された第2の検出領域を示す図である。 図16の一部の範囲が変更され得る様子を示す図である。 画面遷移後の操作画面領域の4辺に関する各スワイプイン操作検出領域(第1の検出領域あるいは第2の検出領域)を示す図である。 2つの操作画面領域の分割表示状態から一方の操作画面領域の縮小表示状態への遷移を示す図である。 一方の操作画面領域の或る縮小表示状態から別の縮小表示状態への遷移を示す図である。 第2の検出領域の可視化状態から非可視化状態への遷移を示す図である。 第1の除外処理を示す図である。 第2の除外処理をも示す図である。 互いに異なる検出用ベクトルを有する2つのスワイプイン操作検出領域が互いに近接している様子を示す図である。 図7の一部の動作(各種操作の検出動作等)を示すフローチャートである。 図7の一部の動作を示すフローチャートである。 操作画面領域自体を変動させる領域移動変倍操作等を示す図である。 或る第2の検出領域に設けられている検出用ベクトルを示す図である。 検出用ベクトルを示す図である。 スワイプイン可能通知を示す図である。 或る操作画面領域向けの第2の検出領域と別の操作画面領域との重複領域からタッチ操作が開始される様子を示す図である。 操作指が更に右側に移動した状態を示す図である。 操作指が更に右側に移動した状態を示す図である 操作指が対応動作開始位置に到達した状態を示す図である 操作指が対応動作開始位置よりも更に右側に移動した状態を示す図である 操作指が更に右側に移動した状態を示す図である 操作指の方向が右向きから上向きに急に変更される様子を示す図である。 第2実施形態に係る動作の一部を示すフローチャートである。 第2実施形態に係る動作の一部を示すフローチャートである。 第2実施形態に係る動作例を示す図である。 操作指が更に右側に移動した状態を示す図である。 操作指が更に右側に移動した状態を示す図である。 操作指が更に右側に移動した状態を示す図である。 変形例を示す図である。 「スワイプイン操作」および「スワイプ操作」を示す図である。 「スワイプイン操作」における誤認識を説明する図である。
以下、本発明の実施形態を図面に基づいて説明する。
<1.第1実施形態>
<1-1.MFP10の構成>
図1は、本発明の第1実施形態に係る表示装置10の外観を示す正面図である。ここでは、表示装置(ユーザインターフェイス装置とも称する)として、MFP10を例示する。
図2は、MFP(マルチ・ファンクション・ペリフェラル(Multi-Functional Peripheral))10の機能ブロックを示す図である。
MFP10は、スキャン機能、コピー機能、ファクシミリ機能およびボックス格納機能などを備える装置(複合機とも称する)である。具体的には、MFP10は、図2の機能ブロック図に示すように、画像読取部2、印刷出力部3、通信部4、格納部5、操作部6およびコントローラ9等を備えており、これらの各部を複合的に動作させることによって、各種の機能を実現する。なお、MFP10は、画像処理装置あるいは画像形成装置などとも表現される。
画像読取部2は、MFP10の所定の位置に載置された原稿を光学的に読み取って(すなわちスキャンして)、当該原稿の画像データ(原稿画像なしいスキャン画像とも称する)を生成する処理部である。この画像読取部2は、スキャン部であるとも称される。
印刷出力部3は、印刷対象に関するデータに基づいて紙などの各種の媒体に画像を印刷出力する出力部である。このMFP10は、電子写真方式のプリンタ(フルカラープリンタ)でもあり、印刷出力部3は、露光部、現像部、転写部、定着部などの各種のハードウエア機構(画像形成機構あるいは印刷出力機構とも称する)を有している。
通信部4は、公衆回線等を介したファクシミリ通信を行うことが可能な処理部である。さらに、通信部4は、ネットワークを介したネットワーク通信を行うことも可能である。このネットワーク通信では、たとえば、TCP/IP(Transmission Control Protocol / Internet Protocol)等の各種のプロトコルが利用される。当該ネットワーク通信を利用することによって、MFP10は、所望の相手先との間で各種のデータを授受することが可能である。通信部4は、各種データを送信する送信部4aと各種データを受信する受信部4bとを有する。
格納部5は、ハードディスクドライブ(HDD)等の記憶装置で構成される。
操作部6は、MFP10に対する操作入力を受け付ける操作入力部6aと、各種情報の表示出力を行う表示部6bとを備えている。このMFP10においては、略板状の操作パネル部40(図1参照)が設けられ、当該操作パネル部40は、その正面側にタッチパネル45(図1参照)を有している。タッチパネル(操作パネル)45は、液晶表示パネルに圧電センサ等が埋め込まれて構成され、各種の情報を表示するとともに操作者からの操作入力(操作者の手指による操作入力)を受け付けることが可能である。たとえば、タッチパネル45においては、メニュー画面等の各種の画面(ボタン画像等を含む)等が表示される。操作者は、タッチパネル45内に仮想的に配置されるボタン(ボタン画像で表現されるボタン)を押下することによって、MFP10の各種設定内容を変更することなどが可能である。タッチパネル45は、スワイプイン操作、スワイプ操作等の各種のタッチ操作を受け付けることが可能である。タッチパネル45は、操作入力部6aの一部としても機能するとともに、表示部6bの一部としても機能する。
コントローラ(制御部)9は、MFP10に内蔵され、MFP10を統括的に制御する制御装置である。コントローラ9は、CPUおよび各種の半導体メモリ(RAMおよびROM)等を備えるコンピュータシステムとして構成される。コントローラ9は、CPUにおいて、ROM(例えば、EEPROM(登録商標))内に格納されている所定のソフトウエアプログラム(以下、単にプログラムとも称する)を実行することによって、各種の処理部を実現する。なお、当該プログラム(詳細にはプログラムモジュール群)は、USBメモリなどの可搬性の記録媒体に記録され、当該記録媒体から読み出されてMFP10にインストールされるようにしてもよい。あるいは、当該プログラムは、ネットワーク等を経由してダウンロードされてMFP10にインストールされるようにしてもよい。
具体的には、図2に示すように、コントローラ9は、当該プログラムの実行により、通信制御部11と入力制御部12と表示制御部13と検出制御部14と動作制御部15とを含む各種の処理部を実現する。
通信制御部11は、他の装置との間の通信動作を制御する処理部である。
入力制御部12は、操作入力部6aに対する操作入力動作を制御する制御部である。たとえば、入力制御部12は、操作画面領域に対する操作入力を受け付ける動作を制御する。
表示制御部13は、表示部6bにおける表示動作を制御する処理部である。表示制御部13は、MFP10を操作するための操作画面領域等を表示部6bに表示させる。
検出制御部14は、入力制御部12と協働して、操作者(ユーザ)の手指(操作指)による各種の操作を検出する処理部である。検出制御部14は、タップ操作、スワイプ操作、スワイプイン操作等を互いに区別して検出することが可能である。検出制御部14は、特に、操作画面領域の各エッジ付近にてエッジごとに設けられる「スワイプイン操作検出領域」(スワイプイン操作を検出するための領域)を用いて、スワイプイン操作を検出することが可能である。
動作制御部15は、MFP10における印刷出力動作、スキャン動作、ファクシミリ通信動作等を制御する制御部である。
<1-2.動作概要>
つぎに、本願実施形態に係る動作(スワイプイン操作の検出動作等)の概要について説明する。
ここで、操作画面領域に関する「スワイプイン操作」は、操作パネルに対する(指の)タッチ状態を継続しつつ当該操作画面領域のエッジ付近から当該操作画面領域の内側へ向けてユーザの操作指を移動する操作である(図45の左側参照)。「スワイプイン操作」は、「スワイプ操作」と区別されて検出される。なお、上述のように、スワイプ操作は、ユーザの手指の操作パネルに対するタッチ状態を継続しつつ、操作画面領域内の或る位置(エッジ付近以外の位置)から操作画面領域内の別の位置へとユーザの操作指を移動する操作である(図45の右側参照)。スワイプイン操作は、当該操作の開始位置がエッジ付近の位置である点で、スワイプ操作と相違する。また、スワイプ操作においては、指の移動が操作画面領域の内側以外(たとえば、逆に外側、あるいはエッジに並行な方向(上方向あるいは下方向等))に向かうこともある点で、スワイプイン操作はスワイプ操作と相違する。さらに、スワイプイン操作に応じて実行される表示変更動作(たとえば、スワイプインオブジェクト320の引出表示動作)も、スワイプ操作に応じて実行される表示変更動作(たとえば、アイコン移動表示動作)とは異なっている。
図3および図4は、スワイプイン操作の一例を示す図である。図3は、操作パネル部40のタッチパネル45の全体にMFP10の操作画面領域310(コピーメニュー画面)が表示されている状態において、タッチパネル45の左端エッジよりも更に左側の位置(タッチパネル45の周囲に設けられたフレーム47上の位置)P0から「スワイプイン操作」が開始される様子を示す図である。また、図4は、ユーザの指がタッチパネル45に対するタッチ状態を継続しつつ、操作画面領域310のエッジ付近から操作画面領域310の内側の位置P3へとユーザの操作指を移動した後の状態(スワイプイン操作の完了状態)を示す図である。
この実施形態においては、スワイプイン操作を検出する検出動作として、第1の検出動作と第2の検出動作との2つの検出動作(2種類の検出動作)が選択的に実行される。第1の検出動作は、従来と同様の検出動作(従来と同様の検出領域(第1の検出領域R1とも称する)に基づく検出動作)である。一方、第2の検出動作は、新たな種類の検出領域(第2の検出領域R2とも称する)(後述)に基づく検出動作である。換言すれば、スワイプイン操作を検出するための検出領域(「スワイプイン操作検出領域」)として、第1の検出領域R1と第2の検出領域R2とが選択的に用いられる。
図5は、第1の検出領域R1に基づく第1の検出動作を示す図である。第1の検出領域R1は、操作画面領域(たとえば310)の内部領域のうち操作画面領域のエッジ(図3では印刷設定画面310(311)の左端エッジ)に隣接する微小幅(たとえば1画素幅~十数画素幅)の部分領域である。図5に示されるように、第1の検出動作においては、当該第1の検出領域R1にて、当該第1の検出領域R1内の位置(エッジに隣接する位置P1等)から当該操作画面領域の更に内側(図5では右側)へと操作指を移動する操作が検出されることを条件として、スワイプイン操作が検出される。
詳細には、ユーザの操作指がフレーム47上の位置P0(操作開始点)から第1の検出領域R1に到達する位置までの区間においては、タッチパネル45は反応しない(操作指によるタッチ操作を検出しない)。当該操作指が第1の検出領域R1(詳細にはその左端)の左端位置P1に到達すると、スワイプインの検出動作が開始される。たとえば、内側向き(ここでは右向き)の移動動作が所定画素(たとえば10画素)に亘って検出されると、スワイプイン操作が検出される。その後、操作指が更に右側の所定の位置P2に到達すると、スワイプイン操作に応じた表示変更動作(スワイプイン対応動作とも称する)が開始される。当該スワイプイン対応動作としては、スワイプインオブジェクト320(ここでは簡易メニュー画面(図4参照))の引出表示動作(スワイプインオブジェクトが画面端部から(画面中央側に向けて)徐々に引き出されて表示される表示動作)が例示される。なお、位置P2は、スワイプイン操作に応じた表示変更動作を開始すべき位置(対応動作開始位置)とも表現される。
図10の上段においては、図3~図5に示すようなスワイプイン検出動作(第1の検出領域R1を用いた第1の検出動作)が行われる状況が示されている。図10の上段に示されるように、操作画面領域312がタッチパネル45の全部に表示される場合、全エッジに関して、第1の検出動作(第1の検出領域R1をスワイプイン操作検出領域として用いる検出動作)が実行される。
一方、図10の下段においては、タッチパネル45(操作パネル)の全体領域400が左右方向に2分割され、各分割領域に個別の操作画面領域が表示される状態が示されている。詳細には、タッチパネル45の全体領域400が左半領域460と右半領域470とに分割され、左半領域460と右半領域470とにそれぞれ別個の操作画面(操作画面領域)212,312が表示される。換言すれば、図10の下段においては、操作画面領域312がタッチパネル45の一部に表示されている。
ここにおいて、図10の上段の状態から同図の下段の状態へと遷移した後において、第1の検出領域R1を用いてスワイプイン操作を検出する場合には、上述のような問題が生じる(図46参照)。具体的には、操作パネルに表示される操作画面領域のエッジと操作パネルの物理的エッジとが一致していないときには、スワイプイン操作が良好に検出されないことがある、との問題が生じる。
そこで、この実施形態では、図10の下段および図6に示されるように、操作画面領域312の複数のエッジのうちタッチパネル45の物理的エッジと一致していない特定のエッジ(たとえば操作画面領域312の左辺)に関しては、第2の検出領域R2を用いた第2の検出動作が実行される。なお、図6は、第2の検出領域R2に基づく第2の検出動作を示す図である。第2の検出領域R2も、第1の検出領域R1と同様、操作画面領域のエッジの近傍に設けられる。
図10の下段および図6では、元の検出領域(第1の検出領域R1)を操作画面領域310(312)の外側(図6の左側)に向けて移動した領域が第2の検出領域R2として設定されている。詳細には、元の第1の検出領域R1を操作画面領域310(312)の左辺側境界線の反対側にまで(第1の検出領域R1の幅と同じ距離に亘って左側に)移動した領域が、第2の検出領域R2として設定されている。図10の下段および図6を、図46の下段および図5と比較すると判るように、第1の検出領域R1は操作画面領域310の内部に存在するのに対して、第2の検出領域R2は操作画面領域312の外部(操作画面領域312の左辺に隣接する部分)に存在する。なお、これに限定されず、第1の検出領域R1を当該第1の検出領域R1の幅の半分程度の距離に亘って左側に移動した領域(操作画面領域312の左辺を跨ぐ領域)が、第2の検出領域R2として設定されてもよい。
図10の下段および図6において、たとえば、ユーザが、2つの操作画面領域212,312の境界付近において右側の操作画面領域312に対して当該右側の操作画面領域312の左端部分から右側部分に向かうスワイプイン操作を行うことを意図して、操作者は、操作画面領域312の左辺の若干左側からスワイプイン操作を開始する。
このスワイプイン操作の開始点P0(図6)が第2の検出領域R2内に存在し且つ更に右側に向けて所定画素(たとえば数画素)分の距離に亘って移動操作(タッチ操作)が継続する場合、スワイプイン操作が行われた旨が検出される(すなわち、スワイプイン操作が検出される)。詳細には、操作開始点P0(検出開始点P1でもある)からスワイプイン操作の検出動作が開始される。たとえば、内側向き(ここでは右向き)の移動動作が所定画素(たとえば10画素)に亘って検出されると、スワイプイン操作が検出される。
このように、第2の検出動作においては、第2の検出領域R2にて、第2の検出領域R2内の位置から操作画面領域312の内側(図6では右側)へ向けて操作指を移動する操作が検出されることを条件として、スワイプイン操作が検出される。これによれば、操作者の手指が(右側の操作画面領域312内の左端側部分ではなく)左側の操作画面領域212内の右端側部分に最初に触れた場合においても、ユーザの本来の意図(「右側」の操作画面領域312に対する「スワイプイン操作」)が正しく認識される。
なお、その後、操作指が更に右側の所定の位置P2にまで到達すると、スワイプイン操作に応じた表示変更動作(スワイプイン対応動作とも称する)が開始される。
また、図10の上段の状態から同図の下段の状態へと遷移する場合、右側の操作画面領域312に関しては、矩形形状を有する当該操作画面領域312の4辺(左辺、右辺、上辺、および下辺)のうち、左辺についてのみ第2の検出領域R2が設定され、他の3辺(右辺、上辺、および下辺)には第1の検出領域R1が設定されればよい(図18(特に下段)も参照)。すなわち、操作パネルに表示される操作画面領域310のエッジとタッチパネル45の物理的エッジとが一致していない辺(左辺)についてのみ第2の検出領域R2が設定されればよい。操作パネルに表示される操作画面領域310のエッジとタッチパネル45の物理的エッジとが一致している辺(右辺、上辺、および下辺)については元の第1の検出領域R1が設定されればよい。なお、図18においては、図14の態様(後述)の第2の検出領域R2が示されている。
ここでは、操作画面領域310(312)がタッチパネル45(操作パネル)の一部に表示される場合、操作画面領域312の複数のエッジのうちタッチパネル45の物理的エッジと一致していない特定のエッジ(ここでは左辺のエッジ)のみに関して、第2の検出動作(第2の検出領域R2をスワイプイン操作検出領域として用いるスワイプイン操作検出動作)が実行される。また、操作画面領域312の複数のエッジのうちタッチパネル45の物理的エッジと一致しているエッジ(ここでは、右辺、上辺、下辺)に関しては、第1の検出動作(第1の検出領域R1をスワイプイン操作検出領域として用いる検出動作)が実行される。
また、ここでは、右側の操作画面領域312の各辺に対するスワイプイン操作について主に説明しているが、左側の操作画面領域212の各辺に対するスワイプイン操作についても同様である。具体的には、操作パネルに表示される操作画面領域212の複数のエッジのうち、タッチパネル45の物理的エッジと一致していないエッジ(右辺)についてのみ第2の検出領域R2が設定される。タッチパネル45の物理的エッジと一致しているエッジ(左辺、上辺、および下辺)については、元の第1の検出領域R1が設定される。
<1-3.第2の検出領域R2の各種態様>
図6および図10では、元の検出領域を拡張することなく当該元の検出領域(第1の検出領域R1)を操作画面領域310(312)の外側(図6の左側)に向けて移動した領域が、第2の検出領域R2として設定されている。ただし、第2の検出領域R2はこれに限定されない。
たとえば、図11に示されるように、第2の検出領域R2は、第1の検出領域R1を操作画面領域(312等)の外側(左側等)に向けて拡張した領域であってもよい。図11では、第1の検出領域R1を操作画面領域312の左辺に隣接する位置(操作画面領域312の外部)にまで移動(図10と同様)した後、さらに操作画面領域312の外側(左側)に向けて拡張した領域(たとえば、数十画素の幅を有する矩形領域)が、第2の検出領域R2として形成されている。なお、これに限定されず、図12に示されるように、第1の検出領域R1を移動することなく当該第1の検出領域R1を操作画面領域312の外側(左側)に向けて拡張した領域が、第2の検出領域R2として形成されてもよい。第1の検出領域R1よりも拡張された第2の検出領域R2を用いることによれば、スワイプイン操作をより良好に検出することが可能である。
あるいは、図13に示されるように、第2の検出領域R2は、第1の検出領域R1を操作画面領域(312等)の内側(右側等)に向けて拡張した領域(たとえば、数十画素の幅を有する矩形領域)であってもよい。これによれば、第1の検出領域R1をそのまま用いる技術よりもスワイプイン操作を良好に検出することが可能である。
あるいは、図14に示されるように、第2の検出領域R2は、第1の検出領域R1を操作画面領域(312等)の内側と外側との双方(左右両側)に向けて拡張した領域であってもよい。これによれば、スワイプイン操作を非常に良好に検出することが可能である。
あるいは、図15に示されるように、第2の検出領域R2は、第1の検出領域R1を操作画面領域(312等)の内側に向けて(たとえば、数画素分)移動した領域であってもよい。なお、この場合には、元の第1の検出領域R1の位置に対するスワイプイン操作は検出されないことがあるものの、元の第1の検出領域R1よりも内側の領域に対するスワイプイン操作が良好に検出され得る。特に、エッジに隣接する部分(エッジの直近部分)からスワイプイン操作を開始するよりも、当該エッジから若干(数画素~十数画素程度)内側に離れた位置からスワイプイン操作を開始する方が、ユーザの操作としては容易である。したがって、第1の検出領域R1をそのまま用いる技術よりもスワイプイン操作を良好に検出することが可能である。
また、第1の検出領域R1を拡大して第2の検出領域R2を形成するに際しては、所定方向(たとえば縦方向)に伸延するエッジの全範囲に亘って、第1の検出領域R1を拡大することを要しない。第2の検出領域R2は、所定方向に伸延するエッジの全範囲のうちの一部の範囲においてのみ(すなわち部分的に)、第1の検出領域R1を拡張した拡張領域(部分的拡張領域)であってもよい。たとえば、図16に示されるように、第1の検出領域R1が内側のみに向けて拡張される場合(図13参照)において、縦方向の全範囲のうち一部の範囲B1においてのみ、横方向(当該所定方向に対して垂直な方向)に拡張されることによって、第2の検出領域R2が形成されてもよい。
なお、図16では内側のみに向けて部分拡張が行われているが、これに限定されず、外側のみに向けて部分拡張が行われてもよく、あるいは、外側と内側との双方に向けて部分拡張が行われてもよい。
また、第2の検出領域R2は、タッチパネル45にて表示(可視化)された状態で設けられてもよく(図21(後述)の中段参照)、非表示状態(非可視化状態)で設けられてもよい。
また、部分的拡張領域R2(図16)に関する一部の範囲B1の位置および/または大きさ(長さ)は、ユーザの設定変更操作に応じて変更されるようにしてもよい(図17参照)。具体的には、別途表示される設定画面(不図示)において、一部の範囲B1の位置および/または大きさが設定されるようにしてもよい。当該位置および/または大きさは、全体に対する割合等によって指定されればよい。あるいは、第2の検出領域R2が可視化されている場合(図16参照)等において、特定の操作に応じて、一部の範囲B1(すなわち、第2の検出領域R2)の位置および/または大きさが変更されるようにしてもよい。たとえば、ユーザが操作パネル部40に設けられた特定のキーを左手の指で押下しつつ右手の指を用いて第2の検出領域R2に対する移動操作および領域拡張操作を行うことによって、一部の範囲B1の位置および/または大きさが変更されるようにしてもよい。あるいは、ユーザが第2の検出領域R2に対するロングタップ操作を行って第2の検出領域R2の変更モードに遷移させた後に、第2の検出領域R2に対する移動操作および領域拡張操作を行うことによって、一部の範囲B1の位置および/または大きさが変更されてもよい。
<1-4.第2の検出領域R2の設定タイミング>
上記においては、単一の操作画面(操作画面領域)311の全体表示状態から2つの操作画面領域212,312の分割表示状態に遷移する場合(図10および図18等参照)に、第2の検出領域R2等が設定される態様が例示されているが、これに限定されない。
たとえば、図19に示されるように、2つの操作画面領域212,312の分割表示状態(図19の上段)から一方の操作画面領域312の縮小表示状態(図19の下段)に遷移する場合に、第2の検出領域R2等が設定されてもよい。図19のように4つの辺(エッジ)のいずれもがタッチパネル45の物理的エッジと一致していないときには、4つの辺(エッジ)のいずれに対しても第2の検出領域R2等が設定されればよい。
あるいは、図20に示されるように、一方の操作画面領域312の縮小表示状態(図20の上段)から、当該一方の操作画面領域312の別の縮小表示状態(図20の下段)に遷移する場合に、第2の検出領域R2等が設定されてもよい。ただし、図20の下段においては、4つの辺(エッジ)のうち、右辺以外の3辺はタッチパネル45の物理的エッジと一致しておらず、右辺のみがタッチパネル45の物理的エッジと一致している。そのため、当該右辺に対しては第1の検出領域R1が設定され、他の3辺に対しては第2の検出領域R2が設定されればよい。
なお、図19および図20においては、図18と同様、図14の態様の第2の検出領域R2が示されている。
また、上述したように、第2の検出領域R2は、タッチパネル45にて表示(可視化)された状態で設けられてもよく、非表示状態(非可視化状態)で設けられてもよい。
第2の検出領域R2が可視化される場合、第2の検出領域R2が常に表示されていてもよいが、これに限定されない。たとえば、タッチパネル45における操作画面領域(312等)の位置および/または大きさの変更に伴って、操作画面領域の複数のエッジのうち操作パネルの物理的エッジと一致していない特定のエッジの発生が検知されることに応答して、第2の検出領域R2がタッチパネル45にて可視化されてもよい。より詳細には、たとえば、第1の検出領域R1から第2の検出領域R2への変更(第1の検出領域R1の拡張および/または移動)が発生した時点から所定期間においてのみ第2の検出領域R2が可視化されてもよい(図21参照)。図21においては、単一の操作画面領域311の全体表示状態(図21の最上段)から2つの操作画面領域212,312の分割表示状態に遷移した直後(図21の中段)にて、第2の検出領域R2が可視化される。そして、当該可視化状態が所定期間(たとえば5秒)経過した後に、第2の検出領域R2が非可視化される(図21の最下段)。このように、第2の検出領域R2が所定期間においてのみ可視化されてもよい。なお、当該可視化状態においては、第2の検出領域R2に所定の色(たとえば、赤色等)および/またはハッチングが付されることなどによって、第2の検出領域R2が他の領域と区別されることが好ましい(図21の中段参照)。また、第2の検出領域R2にて検出され得るスワイプイン操作の向きを示す矢印(図21の中段の黒色矢印参照)が、当該第2の検出領域R2内に表示されてもよい。
なお、第2の検出領域R2を可視化する処理(可視化処理)は、たとえば、後述するステップS44(図8)の直後に実行されればよい。
<1-5.詳細動作(スワイプイン操作検出領域の設定処理(S3)まで)>
以下では、図7~図9等を参照しながら、MFP10の動作について詳細に説明する。図7~図9は、MFP10の動作の一例を示すフローチャートである。なお、図8および図9は、図7の一部の動作を示すフローチャートである。
図7に示されるように、操作画面領域に関する変更指令(たとえば、単一の操作画面領域311の全体表示状態から2つの操作画面領域212,312の分割表示状態への遷移指令)が付与された場合、ステップS2に進む。それ以外の場合には、ステップS6に進む。なお、当該変更指令は、操作者の操作に基づいて(あるいは所定条件の成立等に伴って自動的に)付与される。
ステップS2においては、当該更指令に基づきタッチパネル45の表示内容が更新される。たとえば、単一の操作画面領域311の全体表示状態から2つの操作画面領域212,312の分割表示状態への遷移指令が付与された場合、タッチパネル45の左半領域460に操作画面領域212が表示され、タッチパネル45の右半領域470に操作画面領域312が表示される(図10の下段、および図18の下段参照)。換言すれば、各操作画面領域212,312は、それぞれ、タッチパネル45の一部に表示される。
次のステップS3(図8も参照)では、スワイプイン操作検出領域の設定処理が実行される。ステップS3では、各操作画面領域の各エッジに対して、第1の検出領域R1と第2の検出領域R2とのいずれかがスワイプイン操作検出領域として設定される。
具体的には、或る操作画面領域が処理対象として決定された後、ステップS31~ステップS42の処理が実行される。
まず、処理対象の操作画面領域の4辺のうちの左辺に対するスワイプイン操作検出領域が、第1の検出領域R1と第2の検出領域R2とのいずれかに設定される(ステップS31~S33)。当該左辺のX座標がゼロである場合(すなわち当該操作画面領域の左辺(エッジ)がタッチパネル45の左辺の物理的エッジに一致している場合)、ステップS31からステップS32に進み、第1の検出領域R1がスワイプイン操作検出領域として設定される。一方、当該左辺のX座標がゼロでない場合(すなわち当該操作画面領域の左辺(エッジ)がタッチパネル45の左辺の物理的エッジに一致していない場合)、ステップS31からステップS33に進み、第2の検出領域R2がスワイプイン操作検出領域として設定される。
同様に、処理対象の操作画面領域の4辺のうちの右辺に対するスワイプイン操作検出領域が、第1の検出領域R1と第2の検出領域R2とのいずれかに設定される(ステップS34~S36)。当該右辺のX座標が値Xmax(タッチパネル45内のX座標の最大値)である場合(すなわち当該操作画面領域の右辺(エッジ)がタッチパネル45の右辺の物理的エッジに一致している場合)、ステップS34からステップS35に進み、第1の検出領域R1がスワイプイン操作検出領域として設定される。一方、当該右辺のX座標が値Xmaxでない場合(すなわち当該操作画面領域の右辺(エッジ)がタッチパネル45の右辺の物理的エッジに一致していない場合)、ステップS34からステップS36に進み、第2の検出領域R2がスワイプイン操作検出領域として設定される。
同様に、処理対象の操作画面領域の4辺のうちの上辺に対するスワイプイン操作検出領域が、第1の検出領域R1と第2の検出領域R2とのいずれかに設定される(ステップS37~S39)。当該上辺のY座標がゼロである場合(すなわち当該操作画面領域の上辺(エッジ)がタッチパネル45の上辺の物理的エッジに一致している場合)、ステップS37からステップS38に進み、第1の検出領域R1がスワイプイン操作検出領域として設定される。一方、当該上辺のY座標がゼロでない場合(すなわち当該操作画面領域の上辺(エッジ)がタッチパネル45の上辺の物理的エッジに一致していない場合)、ステップS37からステップS39に進み、第2の検出領域R2がスワイプイン操作検出領域として設定される。
同様に、処理対象の操作画面領域の4辺のうちの下辺に対するスワイプイン操作検出領域が、第1の検出領域R1と第2の検出領域R2とのいずれかに設定される(ステップS40~S42)。当該下辺のY座標が値Ymax(タッチパネル45内のY座標の最大値)である場合(すなわち当該操作画面領域の下辺(エッジ)がタッチパネル45の下辺の物理的エッジに一致している場合)、ステップS40からステップS41に進み、第1の検出領域R1がスワイプイン操作検出領域として設定される。一方、当該下辺のY座標が値Ymaxでない場合(すなわち当該操作画面領域の下辺(エッジ)がタッチパネル45の下辺の物理的エッジに一致していない場合)、ステップS40からステップS42に進み、第2の検出領域R2がスワイプイン操作検出領域として設定される。
また、操作画面領域の4つのエッジ(4辺)のそれぞれに関する各スワイプイン操作検出領域には、検出すべきスワイプイン操作の向き(操作画面領域の内側へ向かう向き)が設定される。具体的には、左辺に関するスワイプイン操作検出領域には、右向きのスワイプイン操作を検出すべき旨が設定され、右辺に関するスワイプイン操作検出領域には、左向きのスワイプイン操作を検出すべき旨が設定される。また、上辺に関するスワイプイン操作検出領域には、下向きのスワイプイン操作を検出すべき旨が設定され、下辺に関するスワイプイン操作検出領域には、上向きのスワイプイン操作を検出すべき旨が設定される。
より詳細には、各スワイプイン操作検出領域には、検出用ベクトルVd(図28および図29も参照)が設定される。検出用ベクトルVdは、当該スワイプイン操作検出領域にて検出すべきスワイプイン操作の向きを示すベクトルである。たとえば、操作画面領域の左辺に対応するスワイプイン操作検出領域(第2の検出領域R2等)には、右向きのベクトルが検出用ベクトルVdとして設定されることによって、右向きのスワイプイン操作を検出すべき旨が設定される。また、操作画面領域の右辺に対応するスワイプイン操作検出領域(第2の検出領域R2等)には、左向きのベクトルが検出用ベクトルVdとして設定されることによって、左向きのスワイプイン操作を検出すべき旨が設定される。他の各辺についても同様である。
なお、ここでは、各操作画面領域の全ての辺(エッジ(境界))においてスワイプイン操作が受け付けられる態様が例示されているが、これに限定されない。具体的には、各操作画面領域の4辺のうち一部(1辺~3辺)のみについてスワイプイン操作が受け付けられるようにしてもよい。そして、当該一部の辺(エッジ)のうち、タッチパネル45の物理的エッジと一致していない辺についてのみ第2の検出領域R2が設定されるようにしてもよい。
次のステップS43では、未処理の操作画面領域が残存しているか否かが判定される。未処理の操作画面領域が残存している場合には、処理対象の操作画面領域が更新された上で、ステップS31~ステップS42の処理が実行される。未処理の操作画面領域が残存していない場合、ステップS44に進む。
ステップS44では、複数の操作画面領域のそれぞれのスワイプイン操作検出領域の調整処理が実行される。なお、図9は、当該調整処理の一例を示すフローチャートである。
まず、当該調整処理の概要について図22および図23を参照しながら説明する。図22および図23は、互いに異なる複数の操作画面領域312,412が重複して表示される様子を示す図である。なお、図23は、操作画面領域412向けの第2の検出領域R2をも示している点で、図22と相違する。また、図22および図23では、図14の態様の第2の検出領域R2が示されている。
図22および図23においては、操作画面領域412は、操作画面領域312の一部(のみ)に重複して(重畳して)配置されており、操作画面領域312よりも上位の表示階層を有している。換言すれば、操作画面領域412は、操作画面領域312(の一部)の上層側(手前側)に(重畳して)表示されている。
これらの各操作画面領域312,412に対する各スワイプイン操作は、それぞれのスワイプイン操作検出領域(第2の検出領域R2等)に基づいて検出される。たとえば、操作画面領域312向けの第2の検出領域R2に基づいて、操作画面領域312に関するスワイプイン操作が検出される。また、操作画面領域412向けの第2の検出領域R2に基づいて、操作画面領域412に関するスワイプイン操作が検出される(図23も参照)。
図22に示すようにタッチパネル45内にて複数の操作画面領域312,412が一部重複して表示される場合には、当該複数の操作画面領域312,412のうち、その表示上の階層(表示階層)が比較的上位の操作画面領域(手前側に表示されている操作画面領域)に対するスワイプイン操作が検出されることが好ましい。
そのため、操作画面領域312向けの第2の検出領域R2は、操作画面領域412に重複する部分を除いた領域として形成されることが好ましい。換言すれば、操作画面領域412との重複部分を除外する除外処理が行われた上で、操作画面領域312向けの第2の検出領域R2が形成されることが好ましい。
これによれば、図22の位置P41(次述)から操作画面領域412に対する操作が開始される場合、当該操作が操作画面領域312に対するスワイプイン操作として(誤って)認識されることが回避される。上記除外処理によって位置P41は操作画面領域312向けの第2の検出領域R2内の位置ではなくなるからである。ここで、位置P41は、操作画面領域312向けの第2の検出領域R2のうち操作画面領域412に重複している領域(クロスハッチングが付された領域)内の位置である。
また、位置P41が操作画面領域412向けの第2の検出領域R2(スワイプイン操作検出領域)内の位置(図23参照)であることに基づいて、位置P41からのスワイプイン操作は、操作画面領域412(操作画面領域312よりも上位の表示階層を有する操作画面領域412)に対する操作として認識される。ただし、これに限定されず、操作画面領域412向けの第2の検出領域R2は設定されていなくてもよい。
また、位置P51は、操作画面領域312向けの第2の検出領域R2内の位置であることに基づいて、位置P51からのスワイプイン操作(位置P51から開始されるスワイプイン操作)は操作画面領域312に対するスワイプイン操作として認識される。ここで、位置P51は、操作画面領域412向けの第2の検出領域R2(図23参照)には属さず且つ上記除外処理後の操作画面領域312向けの第2の検出領域R2に属する領域(斜めハッチングが付された領域)内の位置である。
また、上記除外処理(第1の除外処理とも称する)のみが施された後の操作画面領域312向けの第2の検出領域R2(図22参照)に基づくスワイプイン操作検出処理によれば、位置P31からのスワイプイン操作は、操作画面領域312(操作画面領域412よりも下位の表示階層を有する操作画面領域312)に対する操作として認識される。ここで、位置P31は、操作画面領域312向けの第2の検出領域R2のうち操作画面領域412に重複していない領域内の位置である。
ただし、位置P31から開始されるスワイプイン操作は、操作画面領域312に対するスワイプイン操作ではなく(操作画面領域312よりも上位の表示階層を有する)操作画面領域412に対するスワイプイン操作であると判定されることが、更に好ましい。
このような要望に応えるため、図23に示されるように、操作画面領域312向けの第2の検出領域R2は、操作画面領域412に重複する重複部分(図23にてクロスハッチングが付された部分)と操作画面領域412向けの第2の検出領域R2(スワイプイン操作検出領域)に重複する重複部分(図23にて砂地ハッチングが付された部分等)との双方を除外した領域であることが好ましい。端的に言えば、操作画面領域312向けの第2の検出領域R2は、操作画面領域412向けの第2の検出領域R2に重複する重複部分(図23にて砂地ハッチングが付された部分等)をも除外した領域であることが好ましい。換言すれば、操作画面領域312向けの第2の検出領域R2は、上記第1の除外処理に加えて「第2の除外処理」(操作画面領域412向けの第2の検出領域R2との重複部分を除外する処理)もが施された上で形成されることが好ましい。
これによれば、第2の除外処理を含む当該除外処理の結果、位置P31は、操作画面領域312向けの第2の検出領域R2(スワイプイン操作検出領域)内の位置ではなくなるので、当該スワイプイン操作が操作画面領域312に対する操作として(誤って)認識されずに済む。また、当該位置P31は、操作画面領域412向けの第2の検出領域R2(スワイプイン操作検出領域)内の位置であることに基づいて、当該スワイプイン操作は操作画面領域412(操作画面領域312よりも上位の表示階層を有する操作画面領域412)に対する操作として認識される。
また特に、両操作画面領域312,412の同一側エッジ付近でスワイプイン操作が行われる場合(図23参照)、比較的上位の表示階層を有する操作画面領域がスワイプイン操作の対象領域として決定されることが好ましい。たとえば、操作画面領域312の左辺と操作画面領域412の左辺とのいずれにも近い位置P41でスワイプイン操作が行われる場合には、比較的上位の表示階層を有する操作画面領域412がスワイプイン操作の対象領域として決定されることが好ましい。これによれば、スワイプイン操作の対象領域をユーザの直感に従って適切に特定することが可能である。
詳細には、下位階層の操作画面領域312の或る辺(たとえば左辺)に関する第2の検出領域R2(下位階層側のスワイプイン操作検出領域とも称する)と、上位階層の操作画面領域412向けの或る辺(たとえば左辺)に関する第2の検出領域R2(上位階層側のスワイプイン操作検出領域とも称する)とが重複する場合を想定する(図23参照)。この場合、当該2つのスワイプイン操作検出領域(第2の検出領域R2)にてそれぞれ検出すべきスワイプイン操作の向き(検出用ベクトルVdの向き)が互いに同一であるときには、上記第2の除外処理が行われることが好ましい。具体的には、下位階層側のスワイプイン操作検出領域(第2の検出領域R2)から、上位階層側のスワイプイン操作検出領域と下位階層側のスワイプイン操作検出領域との重複部分が除外されることが好ましい。
逆に、複数の操作画面領域312,412のスワイプイン操作検出領域が互いに重複している場合であっても、当該スワイプイン操作検出領域にて検出されるべきスワイプイン操作の向きが互いに異なるとき(図24参照)には、上記第2の除外処理を行うことを要しない。上記第2の除外処理を行わなくても、各スワイプイン操作検出領域に設定された検出用ベクトルVd(図28および図29参照)の向き(検出すべきスワイプイン操作の向き)で当該スワイプイン操作の対象領域を正確に特定することが可能である。
たとえば、図24に示されるように、操作画面領域312の右辺に関する第2の検出領域R2では左向きのスワイプイン操作のみが検出され、操作画面領域412の左辺に関する第2の検出領域R2では右向きのスワイプイン操作のみが検出される。そのため、位置P35から右向きのスワイプイン操作が行われる場合、操作画面領域312の右辺に関する第2の検出領域R2は反応せず、操作画面領域412の左辺に関する第2の検出領域R2のみにて当該右向きのスワイプイン操作が検出される。逆に、位置P33から左向きのスワイプイン操作が行われる場合、操作画面領域412の左辺に関する第2の検出領域R2は反応せず、操作画面領域312の右辺に関する第2の検出領域R2のみにて当該左向きのスワイプイン操作が検出される。なお、位置P33,P35は、いずれも、操作画面領域312の右辺に関するスワイプイン操作検出領域と操作画面領域412の左辺に関するスワイプイン操作検出領域との重複領域内の位置である。
したがって、互いに重複する2つのスワイプイン操作検出領域(第2の検出領域R2)にてそれぞれ検出すべきスワイプイン操作の向きが互いに異なるときには、スワイプイン操作検出領域(第2の検出領域R2等)の調整動作(第2の除外処理)は行われなくてもよい。詳細には、下位階層側のスワイプイン操作検出領域(第2の検出領域R2)から、上位階層側のスワイプイン操作検出領域と下位階層側のスワイプイン操作検出領域との重複部分が除外されなくてもよい。逆に言えば、そのスワイプイン操作の向き(検出用ベクトルVdの向き)が同じことをも条件として、複数の操作画面領域のスワイプイン操作検出領域(第2の検出領域R2等)が調整されてもよい。
なお、図10の下段、図18の下段、および図11~図17等においては、操作画面領域212と操作画面領域312とは同一レベルの階層に属している。そのため、これらの操作画面領域に関するスワイプイン操作検出領域に関しては、第1および第2の除外処理は施されない。
図9は、図23の動作を示すフローチャートである。たとえば、このような動作がステップS44の動作として実行されればよい。
まず、着目対象の操作画面領域が特定された後、当該操作画面領域とは別の更に上位階層の操作画面領域が存在するか否かが判定される(ステップS51)。当該上位階層の操作画面領域が存在しない場合には、ステップS57に進む。一方、当該上位階層の操作画面領域が存在する場合には、ステップS52に進む。
ステップS52では、着目対象の操作画面領域の或る辺に関するスワイプイン操作検出領域(下位階層のスワイプイン操作検出領域)の少なくとも一部が当該上位階層の操作画面領域によって隠されるか否かが判定される。肯定的な判定結果が得られる場合には、ステップS53に進み、否定的な判定結果が得られる場合には、ステップS53をスキップしてステップS54に進む。
ステップS53では、上位階層の操作画面領域によって隠される部分(下位階層のスワイプイン操作検出領域と上位階層の操作画面領域との重複部分)が、下位階層のスワイプイン操作検出領域から除外され、下位階層のスワイプイン操作検出領域が更新される。すなわち、上記第1の除外処理が実行される。
なお、ステップS52,S53の処理は、下位階層の操作画面領域の4辺の全てのスワイプイン操作検出領域(第2の検出領域R2)についてそれぞれ実行される。
このような動作によって、図22に示されるように、操作画面領域312向けの第2の検出領域R2(スワイプイン操作検出領域)は、操作画面領域412との重複部分を除外した領域(当該重複部分を含まない領域)として形成される。
次のステップS54~S56では、下位階層の操作画面領域(312等)向けのスワイプイン操作検出領域(第2の検出領域R2等)から、上位階層の操作画面領域(412等)向けのスワイプイン操作検出領域(第2の検出領域R2等)との重複部分をも除外する処理等が実行される。すなわち、上記第2の除外処理等が実行される。
具体的には、まずステップS54において、下位階層の操作画面領域向けのスワイプイン操作検出領域(の少なくとも一部)に対して、上位階層の操作画面領域向けのスワイプイン操作検出領域が重複するか否かが判定される。肯定的な判定結果が得られる場合には、ステップS55に進み、否定的な判定結果が得られる場合には、ステップS55,S56をスキップしてステップS57に進む。
ステップS55では、下位階層のスワイプイン操作検出領域にて検出すべきスワイプイン操作の向き(検出用ベクトルVdの向き)と、上位階層のスワイプイン操作検出領域にて検出すべきスワイプイン操作の向きとが同じであるか否かが判定される。肯定的な判定結果が得られる場合には、ステップS56に進み、否定的な判定結果が得られる場合には、ステップS56をスキップしてステップS57に進む。
ステップS56では、下位階層のスワイプイン操作検出領域から、上位階層のスワイプイン操作検出領域と下位階層のスワイプイン操作検出領域との重複領域が除外され、下位階層のスワイプイン操作検出領域が更新される。
なお、ステップS54~S56の処理も、下位階層の操作画面領域の4辺の全てのスワイプイン操作検出領域(第2の検出領域R2)についてそれぞれ実行される。
ステップS57では、全ての操作画面領域について処理が終了したか否かが判定される。
未処理の操作画面領域が存在する場合には、ステップS51に戻る。
一方、全ての操作画面領域について処理が終了した場合には、ステップS44の処理は終了する。その後、ステップS6(図7、図25および図26参照)に進む。なお、図25および図26は、図7のステップS6の詳細動作を示すフローチャートである。
<1-6.各種操作の検出動作等>
次に、図25および図26等を参照しながら、タッチパネル45に対する各種操作の検出動作等(ステップS6(図7))について詳細に説明する。ここでは、スワイプイン操作、タップ操作、スワイプ操作、ピンチイン操作、ピンチアウト操作等が互いに区別して認識される。また、操作画面領域自体の移動および/または変倍(拡大/縮小)操作が、その他の操作(操作画面領域の各エッジ(各辺)付近でのスワイプイン操作、ならびに操作画面領域内部でのスワイプ操作およびタップ操作等)と区別して認識される。
図25および図26では、タッチパネル45に対する操作者の操作(タッチ操作)が開始された直後の動作が示されている。タッチパネル45に対する操作者による操作の開始が検出されると、まずステップS61に進む。
ステップS61では、操作者による操作が操作画面領域自体の移動および/または変倍(拡大/縮小)のための操作(画面移動変倍操作とも称する)であるか否か、が判定される。具体的には、操作の開始点(操作開始位置)が操作画面領域自体の移動および/または変倍(拡大/縮小)操作のための操作画面領域の境界(詳細は、境界を形成する各辺(矩形形状の輪郭線))上の点であるか否かが、判定される。
図27においては、操作画面領域312のエッジ(斜めハッチングが付された線状の境界領域)330が、操作画面領域312自体を変動(移動および/または変倍(拡大/縮小))させる画面移動変倍操作(領域移動変倍操作あるいは領域変動操作とも称する)のための領域として設けられている。なお、図27では、図14の態様の第2の検出領域R2が示されている。
たとえば、境界領域(エッジ)330上の位置から操作が開始される場合には、当該操作は、(スワイプイン操作ではなく)当該操作画面領域312の領域移動変倍操作であると判定される。詳細には、境界領域330上の位置であって境界領域330の四隅(4つの角(かど)位置)を除く位置(P61等)から操作が開始される場合には、当該操作は当該操作画面領域312の移動操作であると判定される。また、境界領域330の四隅の位置(P62等)からタッチ操作が開始される場合には、当該操作画面領域312の変倍操作(拡大操作あるいは縮小操作)であると判定される。これらの場合には、ステップS62に進む。そして、ステップS62において、操作画面領域312の移動操作(あるいは変倍操作)に基づく操作画面領域312自体の移動処理(あるいは変倍処理)が実行される。
一方、操作者の操作が領域移動変倍操作ではないと判定されると、ステップS62には進まず、ステップS61からステップS63に進む。
後述するステップS63以降においては、操作画面領域自体の領域移動変倍操作(移動および/または変倍(拡大/縮小)操作)以外の操作(スワイプイン操作等)の検出動作(特にステップS65~S68)等が実行される(後述)。換言すれば、ステップS61,S62の処理は、ステップS63以降の処理に優先して実行される。
このように、操作画面領域312に関する第2の検出領域R2(スワイプイン操作検出領域)が操作画面領域312のエッジ330の少なくとも一部を包含する場合、操作者による操作の開始位置(操作開始位置)が、操作画面領域312のエッジ330上且つ第2の検出領域R2内の位置(P61,P62等)であることがある(図27参照)。この場合、操作指による操作は、(1)操作画面領域312に対するスワイプイン操作である可能性と(2)操作画面領域312自体を移動および/または変倍する操作(領域移動変倍操作)である可能性との双方が存在する。この実施形態では、このような状況において、当該領域移動変倍操作がスワイプイン操作よりも優先的に検出される。ただし、これに限定されず、たとえば、領域移動変倍操作は検出されないようにしてもよい。換言すれば、ステップS61,S62が行われないようにしてもよい。
次のステップS63では、操作者による操作の開始位置がスワイプイン操作検出領域(第2の検出領域R2等)に包含されているか否かが判定される。当該開始位置がスワイプイン操作検出領域(第2の検出領域R2等)に包含されていない場合には、当該操作は、スワイプイン操作ではないこと(換言すれば、非スワイプイン操作であること)が判定(確定)される(ステップS64)。そして、ステップS81(図26参照)に進む。
ステップS81では、当該操作が何れの操作画面領域に対するものであるかが判定される。具体的には、タッチ座標が何れの操作画面領域内に存在するか等に基づいて、当該操作の対象領域が決定される。なお、複数の操作画面領域が重複している場合には、タッチ位置での最上位階層の操作画面領域(最上位の表示階層を有する操作画面領域)が当該操作の対象領域として決定されればよい。
操作者による操作が第1の操作画面領域(312等)に対するものである旨が判定される場合には、第1の操作画面領域に関する表示動作が実行される(ステップS82)。たとえば、第1の操作画面領域に対するタップ操作、スワイプ操作、ピンチイン操作、ピンチアウト操作等のうちの一の操作が行われた旨が判定されるとともに、当該一の操作に対応する表示変更動作が行われる。
同様に、操作者による操作が第2の操作画面領域(212あるいは412等)に対するものである旨が判定される場合には、第2の操作画面領域に関する表示動作が実行される(ステップS83)。
その後、操作者の指がタッチパネル45から離れた旨(指がリリースされた旨)がステップS84で判定されると、ステップS6の処理は終了する。一方、操作者の指が未だタッチパネル45から離れていない場合には、再びステップS81に戻り、ステップS81~S84の動作が実行される。
ステップS63にて、操作者による操作の開始位置がスワイプイン操作検出領域(第2の検出領域R2等)に包含されているか旨が判定される場合には、ステップS65(図25)に進む。
ステップS65~ステップS68においては、スワイプイン操作の検出動作が実行される。
なお、以下では、各操作画面領域212,312がタッチパネル45の対応分割領域460,470にそれぞれ表示されているとともに、図11と同様の第2の検出領域R2が操作画面領域312に対して設定されている状況を主に想定する。また、操作画面領域312の左辺に関するスワイプイン対応動作が開始される位置(対応動作開始位置)P2(図6参照)として、操作画面領域212と操作画面領域312との境界位置(たとえば、X座標=499)が設定されているものとする。
ステップS65では、操作者による操作の開始位置に対応するスワイプイン操作検出領域(第2の検出領域R2等)が特定されるとともに、当該スワイプイン操作検出領域に設定されている検出用ベクトルVdが特定される。上述のように、検出用ベクトルVdは、当該スワイプイン操作検出領域にて検出すべきスワイプイン操作の向きを示すベクトルである。たとえば、当該開始位置が操作画面領域312の左辺に対応する第2の検出領域R2内の位置である場合、「右向き」のベクトルが検出用ベクトルVdとして特定される(図28等参照)。
ステップS66,S67では、ユーザの操作指の移動ベクトルVの大きさ及び向きに基づく判定処理が実行される。
ステップS66では、まず、移動ベクトルV(タッチ操作の開始位置(ここでは、スワイプイン操作検出領域(第2の検出領域R2等)内の位置)を始点とし当該タッチ操作の現在位置を終点とする移動ベクトル)が検出される。そして、移動ベクトルVの大きさが所定値(たとえば、10画素相当)以上であるか否かが判定される。
移動ベクトルVの大きさが所定値(10画素相当)未満である場合には、ステップS66からステップS71に進む。タッチ操作が未だ解除されていない場合(指がリリースされていない場合)には、ステップS71からステップS72を経由してステップS66に戻る。一方、タッチ操作が解除される(リリースが行われる)と、ステップS71からステップS81(図26)を経由してステップS84に進み、図25および図26の処理を終了する。
一方、移動ベクトルVの大きさが所定値(10画素相当)以上である場合には、ステップS67に進む。
ステップS67では、移動ベクトルVの向きと検出用ベクトルVdの向きとの相違が所定程度よりも小さいか否かが判定される。
具体的には、移動ベクトルVと検出用ベクトルVdとの内積を両ベクトルV,Vdの大きさの積で除することによって、両ベクトルV,Vdがなす角度θ(図29参照)が求められる。そして、当該角度θの大きさが一定値TH1(たとえば30度)未満であるときに、移動ベクトルVの向きと検出用ベクトルVdの向きとの相違が所定程度よりも小さいと判定される。逆に、当該角度θの大きさが一定値TH1(たとえば30度)以上であるときには、移動ベクトルVの向きと検出用ベクトルVdの向きとの相違が所定程度以上である
と判定される。
あるいは、移動ベクトルVの大きさが所定値(たとえば10画素相当)に到達した時点での当該移動ベクトルVの特定方向成分(詳細には、検出用ベクトルVdの向きの成分)D1が基準値TH2(たとえば8画素)以上である場合に、移動ベクトルVの向きと検出用ベクトルVdの向きとの相違が所定程度よりも小さい旨が判定されてもよい(図29参照)。なお、移動ベクトルVの当該特定方向成分(たとえば、移動ベクトルVのX方向成分)と検出用ベクトルVdの当該特定方向成分(たとえば、検出用ベクトルVdのX方向成分)とは同符号(双方とも正、あるいは双方とも負)であることをも条件とする。
移動ベクトルVの向きと検出用ベクトルVdの向きとの相違が所定程度以上であると判定される場合、処理はステップS67からステップS73に進む。たとえば、θ≧30度(deg)、あるいは、D1<8(画素)、と判定されると、ステップS73に進む。ステップS73では、当該操作がスワイプイン操作ではない旨が判定され、ステップS81(図26参照)に進む。ステップS81以降の処理は上述の通りである。なお、ステップS82あるいはステップS83においては、当該操作の詳細内容(たとえば、右上方向へのスワイプ操作である旨等)が確定された上で、当該操作に対応する表示変更動作が行われる。
一方、移動ベクトルVの向きと検出用ベクトルVdの向きとの相違が所定程度よりも小さいと判定される場合、処理はステップS67からステップS68に進む。たとえば、θ<30度(deg)、あるいは、D1≧8(画素)、と判定されると、ステップS68に進む。
ステップS68では、スワイプイン操作が行われた旨が判定される。換言すれば、スワイプイン操作が検出された旨が判定される。
たとえば、図31に示すように、ユーザの指による操作(タッチ操作)が位置P71から開始され、指による押下状態が継続した状態で、右向きに10画素分移動する(位置P72(図32参照)に到達する)と、スワイプイン操作が検出された旨がステップS68にて判定される。位置P71,P72は、いずれも操作画面領域312向けの第2の検出領域R2内の位置である。たとえば、位置P71の座標(X座標,Y座標)は、(450,400)であり、位置P72の座標は(460,400)である。
なお、図31においては、図11と同様の第2の検出領域R2が操作画面領域312に対して設定されている。また、当該操作画面領域312向けの第2の検出領域R2は、操作画面領域212の少なくとも一部に重複している。ただし、操作画面領域212と操作画面領域312とは互いに重複していない(隣接している)。また、操作画面領域212と操作画面領域312とは同一レベルの表示階層を有している。図32~図37においても同様である。
ステップS69では、スワイプイン可能通知動作が実行される。ステップS69の処理については後述する。
その後、ステップS74に進む。ステップS74では、スワイプイン操作における操作指が操作画面領域212と操作画面領域312との境界(X座標=499)を越えたか否か(当該操作指が対応動作開始位置P2に到達したか否か)、が判定される。
ユーザの指による操作が境界を越えるまでは、ステップS74から、(ステップS76には進まず)ステップS77(~S79)に進む。具体的には、タッチ操作が解除された(リリースが行われた)旨がステップS77にて判定されると、スワイプイン操作がキャンセルされた旨が判定され、図25および図26の処理を終了する。タッチ操作が未だ解除されていない旨が判定される場合には、ステップS77からステップS78に進む。
ステップS78では、スワイプイン操作とは異なる他の操作(たとえば、マルチタッチ操作、急激な方向変換操作等)が行われているか否かが判定される。当該他の操作(他の種類の操作)が行われている旨が判定される場合(具体的には、スワイプ操作、ピンチイン操作、ピンチアウト操作等が検出される場合)には、ステップS81(図26)に進む。そして、ステップS81~S84の処理が施される。
他の操作が行われていない場合には、ステップS78からステップS79を経由してステップS74に戻る。
このように、ステップS68にてスワイプイン操作が検出された時点から、ステップS74にてスワイプイン操作が境界を越えた旨が判定される時点までの期間TM2においては、スワイプインに応じた表示変更動作(ステップS76)は開始されない(実行されない)。たとえば、図33に示すように、ユーザの指による操作(タッチ操作)が位置P73(境界よりも左側の位置)に存在する場合、ステップS74,S77,S78,S790(図25)の待機ループ処理が実行され、スワイプイン対応動作(ステップS76)は実行されない。図32においても同様である。
一方、ユーザの指による操作が境界を越える(図34~図36参照)と、スワイプイン操作に対応する表示変更動作(スワイプイン対応動作)(S76)が実行される。詳細には、ユーザの指がタッチ状態を維持しつつ位置P75(図34)から位置P76(図35),P77(図36)へと徐々に移動するにつれて、スワイプインオブジェクト320(簡易メニュー画面等)の引出表示動作(スワイプインオブジェクトが画面端部から画面内側へと徐々に引き出されて表示される表示動作)が実行される。位置P77にてスワイプインオブジェクト320(簡易メニュー画面等)の引出表示動作が完了した後においては、位置P77から位置P78へと指がさらに移動されても表示状態は変更されない。その後、ユーザは、スワイプインオブジェクト320(簡易メニュー画面等)内に表示されている操作ボタン等を用いて、各種の操作(メニュー操作あるいは設定操作等)を行うことが可能である。
また、上記期間TM2(ステップS68,S74,S77,S78,S79参照)においては、スワイプイン操作の中止(中断)指示(リリースの実行)も受け付けられる。スワイプイン操作の中止指示が(ステップS77にて)受け付けられると、スワイプイン対応動作(ステップS76)は行われない。
さらに、当該期間TM2においては、スワイプイン操作以外の操作(マルチタッチ操作、急激な方向変換操作等)も検出され得る(ステップS78,S81~S83)。ユーザは、スワイプイン操作から、当該スワイプイン操作以外の当該操作への変更を行うことも可能である。たとえば、図37に示されるように、ユーザが、指の進行方向(進行する向き)を位置P73付近にて右向きから上向きへと急転換させ、指を位置P79へと移動させるドラッグ操作を行うことが可能である。この場合、スワイプイン操作はキャンセルされるとともに、ステップS78にて当該ドラッグ操作が検出され、ステップS81~S83にて当該ドラッグ操作に対応する表示変更動作(たとえば、画面内オブジェクト(図ではリンゴ型アイコン)を位置P73からP79へと徐々に移動していく様子を示す表示変更動作)が行われる。図37の例では、当該ドラッグ操作は操作画面領域312(第1の操作画面領域)に対する操作ではなく操作画面領域212(第2の操作画面領域)に対する操作である旨がステップS81にて判定され、ステップS83において操作画面領域212内でのドラッグ操作に対応する表示変更動作が行われる。
以上のように、操作画面領域312がタッチパネル45の一部に表示される場合、操作画面領域312の複数のエッジのうちタッチパネル45の物理的エッジと一致していない特定のエッジに関して、第2の検出動作(第1の検出領域を拡張および/または移動して形成される第2の検出領域R2(図6等参照)をスワイプイン操作検出領域として用いるスワイプイン検出動作)が実行される(ステップS68)。したがって、タッチパネル45に表示される操作画面領域312のエッジと操作パネルの物理的エッジとが一致していない場合にも、スワイプイン操作を良好に検出することが可能である。
また、ステップS6において、ユーザの操作指による操作が、操作画面領域312に対するスワイプイン操作である可能性と操作画面領域212に対する他の操作である可能性との双方が存在する場合、操作画面領域312に対するスワイプイン操作が優先的に検出される。
詳細には、操作画面領域312向けの第2の検出領域R2と操作画面領域212との重複領域内の位置P71(図31)から操作指による操作(タッチ操作)が開始され且つ当該タッチ操作が継続している期間(押下状態の継続中)において、スワイプイン操作の検出の有無がステップS67にて確定するまでは、操作画面領域212に対する他の操作の検出動作(ステップS73等)よりも操作画面領域312向けのスワイプイン操作の検出動作(ステップS66,S71,S72)が優先的に実行される。すなわち、当該期間においては、操作画面領域312に対するスワイプイン操作と操作画面領域212に対する別の操作(スワイプ操作等)とのうち、当該スワイプイン操作が優先的に検出される。
その結果、スワイプイン操作の検出の有無がステップS67にて確定するまでは、操作画面領域212に対する他の操作は検出されず、操作画面領域212に対する当該他の操作に応じた表示変更動作(S73,S81,S83)は保留される。
さらに、スワイプイン操作の検出(ステップS68)後において、操作画面領域212に対する他の操作等が(ステップS78にて)検出されることなく、操作画面領域312に対するスワイプイン操作が対応動作開始位置P2に到達する(境界を越える)場合(ステップS74でYES)、当該スワイプイン操作に応じた表示変更処理動作(ステップS76)が実行される(図34~図36参照)。
一方、スワイプイン操作の検出時点(ステップS68)から所定の時点(詳細には、スワイプイン操作が対応動作開始位置P2に到達する時点)までの期間TM2において、他の操作(操作画面領域212に対する所定の操作)がステップS78にて検出されるときには、当該スワイプイン操作はキャンセルされ、当該スワイプイン操作に応じた表示変更動作(ステップS76)は実行されない。そして、ステップS78からステップS81以降に進み、当該所定の操作(たとえば方向変更を伴うドラッグ操作(スワイプ操作)等)に応じた表示変更動作(ステップS83等)が実行される(図37参照)。
<1-7.ステップS69について>
また、ステップS69においては、スワイプイン操作に応じた表示変更動作(スワイプインオブジェクトの引出表示動作等)が可能である旨をユーザに報知する表示動作(スワイプイン可能通知動作)が実行されるようにしてもよい。
具体的には、図30の中段および最下段に示すように、スワイプイン操作に応じて表示されるべきスワイプインオブジェクト320(図36も参照)の一部(スワイプインオブジェクト320の右端側の部分矩形領域)を表示することによって、「スワイプイン可能通知」が実行される。「スワイプイン可能通知」は、スワイプイン操作に応じた表示変更動作(図36に示すようなスワイプインオブジェクト320の引出表示動作(スワイプインオブジェクトが画面端部から画面内側へと徐々に引き出されて表示される表示動作)等)が可能である旨の通知である。
より詳細には、たとえば、スワイプインオブジェクト320の右端側の所定幅(数%程度の幅)の部分のみ(縦横ハッチングが付された部分)が操作画面領域312の左端側に「スワイプイン可能通知」として表示されればよい。「スワイプイン可能通知」は、スワイプイン操作が位置P72で検出された時点(ステップS68)の直後から、当該スワイプイン操作の操作指が対応動作開始位置P2に到達する時点(当該スワイプイン操作が操作画面領域212と操作画面領域312との境界を越える時点)(ステップS74でYES)まで、表示されればよい。たとえば、指が位置P73,P74に存在するときに、「スワイプイン可能通知」が表示されればよい。これによれば、さらに右側へ指を移動することによって「スワイプイン操作に応じた表示変更動作」が可能である旨がユーザに報知される。なお、ステップS69の動作は行われなくてもよい。
<2.第2実施形態>
上記第1実施形態では、ユーザによるタッチ操作が操作画面領域312向けの第2の検出領域R2と操作画面領域212との重複領域(図31にてハッチングが付された部分)内から開始される場合(図31等参照)において、スワイプイン操作の検出の有無がステップS67(図25)にて確定するまでは、操作画面領域312向けのスワイプイン操作の検出動作(ステップS66,S71,S72)が優先的に実行されている。
一方、この第2実施形態では、タッチ操作が当該重複領域内から開始される場合において、スワイプイン操作の検出の有無がステップS67にて確定する前から、操作画面領域312向けのスワイプイン操作の検出動作と操作画面領域212に対する他の操作の検出動作とが並列的に実行される(図38および図39参照)。具体的には、ステップS66(図38)でスワイプイン操作の検出動作が開始された後、ステップS81(図39)以降に進み、他の操作の検出動作が実行される。また、ステップS68(図38)にてスワイプイン操作が検出された後には、ステップS78b(,S81等)にて他の操作の検出動作が実行される。
そして、当該他の操作が検出される場合、操作画面領域312向けのスワイプイン操作が検出されているとしても、当該他の操作に応じた表示変更動作がステップS83等にて開始(実行)される(図40および図41参照)。ただし、その後、操作画面領域312向けのスワイプイン操作が対応動作開始位置P2(位置P75(図42参照))に到達すると、当該他の操作に応じた表示変更動作がキャンセルされ(表示変更前の表示状態に戻され)(ステップS75)、当該スワイプイン操作に応じた表示変更動作(ステップS76)が開始(実行)される(図43参照)。
換言すれば、或る操作が2種類の操作(スワイプイン操作および他の操作)のいずれかの操作であると判定される場合、初期段階では、当該他の操作に対応する表示変更動作(表示内容の変更動作)を優先的に実行する。その後、スワイプイン操作が一定程度にまで進行すると、当該他の操作に対応する表示変更動作がキャンセル(リセット)され、スワイプイン操作に対応する表示変更動作(表示内容の変更動作)が実行される。
以下では、このような態様について図38および図39等を主に参照しながら説明する。なお、図38および図39は、第2実施形態に係る動作(ステップS6)を示すフローチャートである。また、図40~図43は、第2実施形態に係る画面表示の変遷を示す図である。第2実施形態では、図25および図26の動作に代えて、図38および図39の動作が実行される。
ステップS61~S64は、第1実施形態と同様である。
また、ステップS65~S69(スワイプイン操作の検出動作)も、第1実施形態と同様である。
ただし、ステップS66にてユーザ操作の移動ベクトルVの大きさが所定値(たとえば10画素相当)未満であると判定されるときには、図39の動作が実行される。具体的には、操作画面領域212に対する他の操作の検出動作および当該他の操作に応じた表示変更動作(ステップS81,S83等)が実行される。換言すれば、スワイプイン操作の検出動作(操作画面領域312向けの第2の検出領域R2を用いた検出動作)に並行して、当該他の操作(操作画面領域212に対する特定の操作)の検出動作も実行されるとともに、当該他の操作が検出されるときには当該他の操作に応じた表示変更処理も実行される。
また、図39の動作は、第1実施形態とは異なり、必ずしも非スワイプイン操作確定時の動作ではない。また、スワイプイン操作の検出前および検出後のいずれにおいても、図39の処理が実行され得る。
図39のステップS81~S84の後においては、ステップS86,S87の判定処理がさらに実行され得る。具体的には、ステップS84にて(指の)リリースが実行された旨が判定されると、ステップS6は終了する。一方、ステップS84にて当該リリースが未だ実行されていない旨が判定されると、ステップS86に進む。
ステップS86(図39参照)の判定処理では、操作画面領域312に対するスワイプイン操作と操作画面領域212に対する他の操作との双方の可能性が未だ存在しているか否かが判定される。具体的には、ステップS68でスワイプイン操作が未だ検出されておらず且つステップS73(,S82,S83)で非スワイプイン操作が未だ確定されていない場合には、当該双方の可能性が未だ存在すると判定され、ステップS86からステップS87に進む。一方、ステップS68でスワイプイン操作が検出されている場合、あるいは、ステップS73(,S82,S83)で非スワイプイン操作が確定されている場合には、当該確定された操作を実行すべくステップS81に戻り、ステップS82あるいはステップS83の処理が実行される。
ステップS87(図39)では、スワイプイン操作が既にステップS68(図38)にて検出されているか否かが判定される。スワイプイン操作がステップS68にて未だ検出されていない旨がステップS87にて判定されると、ステップS87からステップS66に戻る。一方、スワイプイン操作がステップS68にて既に検出済である旨が判定されると、ステップS87からステップS74に戻る。
また、ステップS74,S77,S78(S78b),S79においても、第1実施形態と同様の動作が行われる。ただし、ステップS78bにおいて他の操作の可能性が存在すると判定される場合、ステップS78bからステップS81に進み、ステップS81以降の動作(図39参照)が実行される。この場合において、ステップS82,S83で非スワイプイン操作が未だ確定されないときには、(基本的には)ステップS87からステップS74に戻る。
このように、スワイプイン操作の検出(ステップS68)後において、ユーザの指による操作が境界を越えた旨がステップS74にて判定されるまでは、当該他の操作に対応する表示変更動作が(スワイプイン操作に応じた表示変更動作に対して)優先的に実行される(図40および図41参照)。換言すれば、操作画面領域212に対する特定の操作(ドラッグ操作等の他の操作)が検出されるときには、操作画面領域312に対するスワイプイン操作の検出の有無が確定する前でも、当該特定の操作に応じた表示変更動作が実行される。図40では、操作画面領域312に対するスワイプイン操作の検出前において、アイコンのドラッグ操作が検出され且つ当該ドラッグ操作に応じた表示変更が行われている様子が示されている。図41では、操作画面領域312に対するスワイプイン操作の検出後(且つ操作指が対応動作開始位置P2に到達する前)において、当該ドラッグ操作に応じた表示変更が引き続き行われている様子が示されている。
その後、ユーザの指による操作が境界を越える(図42および図43参照)と、スワイプイン操作に応じた表示変更動作を実行すべき旨が確定され、ステップS74からステップS75,S76に進む。ステップS75においては、操作画面領域212に対する特定の操作がキャンセルされ、当該特定の操作に応じた表示変更動作もキャンセル(リセット)される。たとえば、ユーザ操作がアイコンのドラッグ操作であると判定され当該ドラッグ操作に応じてアイコンの移動動作が実行されてきた場合(図40,図41参照)において、当該ユーザ操作が位置P75に到達すると、図42に示されるように、当該アイコンが元の位置に戻される。そして、ステップS76では、スワイプイン操作に応じた表示変更動作(スワイプイン対応動作)が実行される。たとえば、ユーザ操作が位置P75から位置P78へ向けて移動すると、これに応じて、スワイプインオブジェクト320が徐々に引き出されていく動作が実行される(図43参照)。
このように、操作画面領域312に対するスワイプイン操作が検出されても、操作指が対応動作開始位置P2に到達するまでは、スワイプイン操作に応じた表示変更動作は開始されない。一方、操作画面領域212に対する特定の操作(ドラッグ操作等)が検出されると、当該特定の操作に応じた表示変更動作が直ちに開始される。そして、操作画面領域312に対するスワイプイン操作の検出後且つ操作画面領域212に対する特定の操作の検出後において、当該スワイプイン操作の操作指が開始点P2に到達すると、当該特定の操作に応じた表示変更動作がキャンセル(ステップS75)され(表示変更前の表示状態に戻され)、当該スワイプイン操作に応じた動作が実行される(ステップS76)。
<3.変形例等>
以上、この発明の実施の形態について説明したが、この発明は上記説明した内容のものに限定されるものではない。
たとえば、上記各実施形態においては、操作画面領域312向けの第2の検出領域R2と別の操作画面領域212との重複領域が存在する場合において、ユーザによるタッチ操作が当該重複領域から開始されるときには、当該タッチ操作が操作画面領域312に対するスワイプイン操作である可能性と操作画面領域212に対する他の操作である可能性との双方の可能性を考慮して判定処理等が行われている(図25~図26、ならびに図38~図39参照)。
しかしながら、本発明は、これに限定されない。具体的には、タッチ操作がスワイプイン操作である可能性と他の操作である可能性との双方が存在する場合、常に、スワイプイン操作の検出動作のみが行われるようにしてもよい。
より具体的には、図44に示されるように、操作画面領域312向けの第2の検出領域R2は、当該第2の検出領域R2と操作画面領域212とが重複する場合、操作画面領域212に対する操作(タッチ操作)を受け付けない領域として形成されるようにしてもよい。そして、当該第2の検出領域R2にてタッチ操作が検出されたときには、(他の操作の検出動作は行われず、)操作画面領域312に対するスワイプイン操作の検出動作のみが行われるようにしてもよい。これによれば、操作画面領域312向けの第2の検出領域R2と別の操作画面領域212との重複領域からユーザ操作が開始される場合等において、当該ユーザ操作が画面領域312向けの第2の検出領域R2に対するスワイプイン操作であるか否かのみが判定される。操作画面領域212に対する他の操作の検出動作を行うことを要しないので、動作を単純化することが可能である。
特に、操作画面領域212と操作画面領域312とが重複していない場合(図44参照)においても、操作画面領域312向けの第2の検出領域R2は、別の操作画面領域212に対する操作(タッチ操作)を受け付けない領域として形成されることが好ましい。
また、上記各実施形態においては、MFP10のコントローラ9内のCPU(操作パネル部40を備えるシステム(MFP10)に内蔵されたCPU)にて各種の動作が実行される態様が例示されているが、これに限定されず、操作パネル部40内にCPUを別途設け、操作パネル部40内の当該CPUによって上記各種の動作が実行されてもよい。
あるいは、画像形成デバイス(画像形成機構(印刷出力部3)等を備えるデバイス)のみならずサーバコンピュータ(サーバデバイスとも称する)をも内蔵したMFP(サーバ内蔵型MFPあるいはサーバ一体型MFPとも称される)において、上記各実施形態と同様の動作が実行されてもよい。たとえば、当該サーバ内蔵型MFP内の2つのデバイス(画像形成デバイスおよびサーバデバイス)が操作パネルを共用し、当該操作パネルの全表示領域が分割(2分割)され、画像形成デバイス向けの表示画面とサーバデバイス向けの表示画面とがそれぞれ一方の分割領域と他方の分割領域とに個別に表示される際に、上記各実施形態と同様の動作が実行されてもよい。この場合、共用される操作パネル部内に設けられたCPUによって上記各種の動作が実行されればよい。あるいは、複数のデバイス(画像形成デバイスおよびサーバデバイス)の各CPUが、それぞれ、上記各種の動作を実現するようにしてもよい。あるいは、複数のデバイスにそれぞれ設けられた複数のCPU(画像形成デバイスのCPU、およびサーバデバイスのCPU)が協働して、上記各種の動作を実現するようにしてもよい。
また、表示装置は、MFPに限定されず、その他の各種の表示装置(たとえば、タブレット端末等であってもよい)
10 MFP(表示装置)
40 操作パネル部
45 操作パネル(タッチパネル)
47 フレーム(ベゼル)
210,212,310,311,312,412 操作画面領域
320 スワイプインオブジェクト
330 境界領域(エッジ)
400 全体領域
460 左半領域
470 右半領域
P1 検出開始点
P2 対応動作開始位置
R1 第1の検出領域
R2 第2の検出領域
V 移動ベクトル
Vd 検出用ベクトル

Claims (15)

  1. 表示装置であって、
    各種の情報を表示し且つユーザの手指による操作入力を受け付けることが可能な操作パネルと、
    前記操作パネルの全部または一部に操作画面領域を表示する表示制御手段と、
    前記操作パネルに対するタッチ状態を継続しつつ前記操作画面領域のエッジ付近から前記操作画面領域の内側へ向けて前記ユーザの操作指を移動する操作であるスワイプイン操作を、前記操作画面領域の前記エッジ付近に設けられるスワイプイン操作検出領域を用いて検出する検出制御手段と、
    を備え、
    前記検出制御手段は、前記スワイプイン操作を検出する検出動作として、
    前記操作画面領域の内部領域のうち前記操作画面領域のエッジに隣接する部分領域である第1の検出領域にて前記操作画面領域の更に内側へと前記操作指を移動する操作が検出されることを条件として前記スワイプイン操作を検出する第1の検出動作と、
    前記第1の検出領域を拡張および/または移動して形成される第2の検出領域にて前記操作画面領域の内側へと向かう向きに前記操作指を移動する操作が検出されることを条件として前記スワイプイン操作を検出する第2の検出動作と、
    を選択的に実行することが可能であり、
    前記操作画面領域が前記操作パネルの一部に表示される場合、前記操作画面領域の複数のエッジのうち前記操作パネルの物理的エッジと一致していない特定のエッジに関して、前記第2の検出領域を前記スワイプイン操作検出領域として用いる前記第2の検出動作を実行し、
    前記表示制御手段は、前記操作画面領域である第1の操作画面領域と、前記第1の操作画面領域とは異なる第2の操作画面領域とを前記操作パネルに表示し、
    前記第2の操作画面領域は、前記第1の操作画面領域の一部に重複して配置され、且つ、前記第1の操作画面領域よりも上位の表示階層を有し、
    前記第1の操作画面領域向けの前記第2の検出領域は、前記第2の操作画面領域に重複する部分を除外した領域として形成されること特徴とする表示装置。
  2. 表示装置であって、
    各種の情報を表示し且つユーザの手指による操作入力を受け付けることが可能な操作パネルと、
    前記操作パネルの全部または一部に操作画面領域を表示する表示制御手段と、
    前記操作パネルに対するタッチ状態を継続しつつ前記操作画面領域のエッジ付近から前記操作画面領域の内側へ向けて前記ユーザの操作指を移動する操作であるスワイプイン操作を、前記操作画面領域の前記エッジ付近に設けられるスワイプイン操作検出領域を用いて検出する検出制御手段と、
    を備え、
    前記検出制御手段は、前記スワイプイン操作を検出する検出動作として、
    前記操作画面領域の内部領域のうち前記操作画面領域のエッジに隣接する部分領域である第1の検出領域にて前記操作画面領域の更に内側へと前記操作指を移動する操作が検出されることを条件として前記スワイプイン操作を検出する第1の検出動作と、
    前記第1の検出領域を拡張および/または移動して形成される第2の検出領域にて前記操作画面領域の内側へと向かう向きに前記操作指を移動する操作が検出されることを条件として前記スワイプイン操作を検出する第2の検出動作と、
    を選択的に実行することが可能であり、
    前記操作画面領域が前記操作パネルの一部に表示される場合、前記操作画面領域の複数のエッジのうち前記操作パネルの物理的エッジと一致していない特定のエッジに関して、前記第2の検出領域を前記スワイプイン操作検出領域として用いる前記第2の検出動作を実行し、
    前記表示制御手段は、前記操作画面領域である第1の操作画面領域と、前記第1の操作画面領域とは異なる第2の操作画面領域とを前記操作パネルに表示し、
    前記第2の操作画面領域は、前記第1の操作画面領域の一部に重複して配置され、且つ、前記第1の操作画面領域よりも上位の表示階層を有し、
    前記検出制御手段は、
    前記第2の操作画面領域向けの前記第2の検出領域に基づいて、前記第2の操作画面領域に関する前記スワイプイン操作を検出し、
    前記第1の操作画面領域向けの前記第2の検出領域に基づいて、前記第1の操作画面領域に関する前記スワイプイン操作を検出し、
    前記第1の操作画面領域向けの前記第2の検出領域は、前記第2の操作画面領域に重複する重複部分と前記第2の操作画面領域向けの前記第2の検出領域に重複する重複部分とを除外した領域として形成されることを特徴とする表示装置。
  3. 表示装置であって、
    各種の情報を表示し且つユーザの手指による操作入力を受け付けることが可能な操作パネルと、
    前記操作パネルの全部または一部に操作画面領域を表示する表示制御手段と、
    前記操作パネルに対するタッチ状態を継続しつつ前記操作画面領域のエッジ付近から前記操作画面領域の内側へ向けて前記ユーザの操作指を移動する操作であるスワイプイン操作を、前記操作画面領域の前記エッジ付近に設けられるスワイプイン操作検出領域を用いて検出する検出制御手段と、
    を備え、
    前記検出制御手段は、前記スワイプイン操作を検出する検出動作として、
    前記操作画面領域の内部領域のうち前記操作画面領域のエッジに隣接する部分領域である第1の検出領域にて前記操作画面領域の更に内側へと前記操作指を移動する操作が検出されることを条件として前記スワイプイン操作を検出する第1の検出動作と、
    前記第1の検出領域を拡張および/または移動して形成される第2の検出領域にて前記操作画面領域の内側へと向かう向きに前記操作指を移動する操作が検出されることを条件として前記スワイプイン操作を検出する第2の検出動作と、
    を選択的に実行することが可能であり、
    前記操作画面領域が前記操作パネルの一部に表示される場合、前記操作画面領域の複数のエッジのうち前記操作パネルの物理的エッジと一致していない特定のエッジに関して、前記第2の検出領域を前記スワイプイン操作検出領域として用いる前記第2の検出動作を実行し、
    前記検出制御手段は、前記操作画面領域に関する前記第2の検出領域が前記操作画面領域のエッジの少なくとも一部を包含する場合において、前記操作指による操作が前記操作画面領域に対する前記スワイプイン操作である可能性と前記操作指による操作が前記操作画面領域自体の移動および/または変倍のための画面移動変倍操作である可能性との双方が存在するときには、前記画面移動変倍操作を前記スワイプイン操作よりも優先的に検出することを特徴とする表示装置。
  4. 表示装置であって、
    各種の情報を表示し且つユーザの手指による操作入力を受け付けることが可能な操作パネルと、
    前記操作パネルの全部または一部に操作画面領域を表示する表示制御手段と、
    前記操作パネルに対するタッチ状態を継続しつつ前記操作画面領域のエッジ付近から前記操作画面領域の内側へ向けて前記ユーザの操作指を移動する操作であるスワイプイン操作を、前記操作画面領域の前記エッジ付近に設けられるスワイプイン操作検出領域を用いて検出する検出制御手段と、
    を備え、
    前記検出制御手段は、前記スワイプイン操作を検出する検出動作として、
    前記操作画面領域の内部領域のうち前記操作画面領域のエッジに隣接する部分領域である第1の検出領域にて前記操作画面領域の更に内側へと前記操作指を移動する操作が検出されることを条件として前記スワイプイン操作を検出する第1の検出動作と、
    前記第1の検出領域を拡張および/または移動して形成される第2の検出領域にて前記操作画面領域の内側へと向かう向きに前記操作指を移動する操作が検出されることを条件として前記スワイプイン操作を検出する第2の検出動作と、
    を選択的に実行することが可能であり、
    前記操作画面領域が前記操作パネルの一部に表示される場合、前記操作画面領域の複数のエッジのうち前記操作パネルの物理的エッジと一致していない特定のエッジに関して、前記第2の検出領域を前記スワイプイン操作検出領域として用いる前記第2の検出動作を実行し、
    前記表示制御手段は、前記操作画面領域である第1の操作画面領域と、前記第1の操作画面領域とは異なる第2の操作画面領域とを前記操作パネルに表示し、
    前記第1の操作画面領域向けの前記第2の検出領域は、前記第2の操作画面領域の少なくとも一部に重複し、
    前記検出制御手段は、前記第1の操作画面領域向けの前記第2の検出領域と前記第2の操作画面領域との重複領域内から前記操作指によるタッチ操作が開始され且つ前記タッチ操作が継続している期間において、前記スワイプイン操作と前記第2の操作画面領域に対する他の操作とのうち前記スワイプイン操作を優先的に検出し、
    前記表示制御手段は、前記スワイプイン操作の検出の有無が確定するまでは、前記第2の操作画面領域に対する前記他の操作に応じた表示変更動作を保留することを特徴とする表示装置。
  5. 請求項4に記載の表示装置において、
    前記表示制御手段は、前記第1の操作画面領域向けの前記第2の検出領域と前記第2の操作画面領域との前記重複領域内から前記操作指による操作が開始される場合において、前記スワイプイン操作が検出された時点から、前記スワイプイン操作に応じた表示変更動作を開始すべき位置である対応動作開始位置へと前記操作指が到達する時点までの期間において、前記第2の操作画面領域に対する所定の操作が検出されるときには、前記スワイプイン操作をキャンセルするとともに、前記スワイプイン操作に応じた前記表示変更動作を実行せず且つ前記所定の操作に応じた表示変更動作を実行することを特徴とする表示装置。
  6. 請求項4または請求項5に記載の表示装置において、
    前記表示制御手段は、前記スワイプイン操作が検出された時点から、前記スワイプイン操作に応じた表示変更動作を開始すべき位置である対応動作開始位置へと前記操作指が到達する時点までの期間において、前記スワイプイン操作に応じた前記表示変更動作にて表示されるべき画面の一部を表示することによって、前記スワイプイン操作に応じた前記表示変更動作が可能である旨を前記ユーザに報知することを特徴とする表示装置。
  7. 表示装置であって、
    各種の情報を表示し且つユーザの手指による操作入力を受け付けることが可能な操作パネルと、
    前記操作パネルの全部または一部に操作画面領域を表示する表示制御手段と、
    前記操作パネルに対するタッチ状態を継続しつつ前記操作画面領域のエッジ付近から前記操作画面領域の内側へ向けて前記ユーザの操作指を移動する操作であるスワイプイン操作を、前記操作画面領域の前記エッジ付近に設けられるスワイプイン操作検出領域を用いて検出する検出制御手段と、
    を備え、
    前記検出制御手段は、前記スワイプイン操作を検出する検出動作として、
    前記操作画面領域の内部領域のうち前記操作画面領域のエッジに隣接する部分領域である第1の検出領域にて前記操作画面領域の更に内側へと前記操作指を移動する操作が検出されることを条件として前記スワイプイン操作を検出する第1の検出動作と、
    前記第1の検出領域を拡張および/または移動して形成される第2の検出領域にて前記操作画面領域の内側へと向かう向きに前記操作指を移動する操作が検出されることを条件として前記スワイプイン操作を検出する第2の検出動作と、
    を選択的に実行することが可能であり、
    前記操作画面領域が前記操作パネルの一部に表示される場合、前記操作画面領域の複数のエッジのうち前記操作パネルの物理的エッジと一致していない特定のエッジに関して、前記第2の検出領域を前記スワイプイン操作検出領域として用いる前記第2の検出動作を実行し、
    前記表示制御手段は、前記操作パネルにおける前記操作画面領域の位置および/または大きさの変更に伴って、前記操作画面領域の前記複数のエッジのうち前記操作パネルの物理的エッジと一致していない前記特定のエッジの発生が検知されることに応答して、前記第2の検出領域を前記操作パネルにて可視化することを特徴とする表示装置。
  8. 各種の情報を表示し且つユーザの手指による操作入力を受け付けることが可能な操作パネルを備える表示装置の制御方法であって、
    a)前記操作パネルの一部に操作画面領域を表示するステップと、
    b)前記操作パネルに対するタッチ状態を継続しつつ前記操作画面領域のエッジ付近から前記操作画面領域の内側へ向けて前記ユーザの操作指を移動する操作であるスワイプイン操作を、前記操作画面領域の前記エッジ付近に設けられるスワイプイン操作検出領域を用いて検出するステップと、
    を備え、
    前記ステップb)において、
    前記操作画面領域の内部領域のうち前記操作画面領域のエッジに隣接する部分領域である第1の検出領域にて前記操作画面領域の更に内側へと前記操作指を移動する操作が検出されることを条件として前記スワイプイン操作を検出する第1の検出動作と、
    前記第1の検出領域を拡張および/または移動して形成される第2の検出領域にて前記操作画面領域の内側へと向かう向きに前記操作指を移動する操作が検出されることを条件として前記スワイプイン操作を検出する第2の検出動作と、
    が、前記スワイプイン操作を検出する検出動作として選択的に実行され、
    前記操作画面領域が前記操作パネルの一部に表示される場合、前記操作画面領域の複数のエッジのうち前記操作パネルの物理的エッジと一致していない特定のエッジに関して、前記第2の検出領域を前記スワイプイン操作検出領域として用いる前記第2の検出動作が実行され、
    前記ステップa)においては、前記操作画面領域である第1の操作画面領域と、前記第1の操作画面領域とは異なる第2の操作画面領域とが前記操作パネルに表示され、
    前記第2の操作画面領域は、前記第1の操作画面領域の一部に重複して配置され、且つ、前記第1の操作画面領域よりも上位の表示階層を有し、
    前記第1の操作画面領域向けの前記第2の検出領域は、前記第2の操作画面領域に重複する部分を除外した領域として形成されること特徴とする制御方法。
  9. 各種の情報を表示し且つユーザの手指による操作入力を受け付けることが可能な操作パネルを備える表示装置の制御方法であって、
    a)前記操作パネルの一部に操作画面領域を表示するステップと、
    b)前記操作パネルに対するタッチ状態を継続しつつ前記操作画面領域のエッジ付近から前記操作画面領域の内側へ向けて前記ユーザの操作指を移動する操作であるスワイプイン操作を、前記操作画面領域の前記エッジ付近に設けられるスワイプイン操作検出領域を用いて検出するステップと、
    を備え、
    前記ステップb)において、
    前記操作画面領域の内部領域のうち前記操作画面領域のエッジに隣接する部分領域である第1の検出領域にて前記操作画面領域の更に内側へと前記操作指を移動する操作が検出されることを条件として前記スワイプイン操作を検出する第1の検出動作と、
    前記第1の検出領域を拡張および/または移動して形成される第2の検出領域にて前記操作画面領域の内側へと向かう向きに前記操作指を移動する操作が検出されることを条件として前記スワイプイン操作を検出する第2の検出動作と、
    が、前記スワイプイン操作を検出する検出動作として選択的に実行され、
    前記操作画面領域が前記操作パネルの一部に表示される場合、前記操作画面領域の複数のエッジのうち前記操作パネルの物理的エッジと一致していない特定のエッジに関して、前記第2の検出領域を前記スワイプイン操作検出領域として用いる前記第2の検出動作が実行され、
    前記ステップa)においては、前記操作画面領域である第1の操作画面領域と、前記第1の操作画面領域とは異なる第2の操作画面領域とが前記操作パネルに表示され、
    前記第2の操作画面領域は、前記第1の操作画面領域の一部に重複して配置され、且つ、前記第1の操作画面領域よりも上位の表示階層を有し、
    前記ステップb)においては、
    前記第2の操作画面領域向けの前記第2の検出領域に基づいて、前記第2の操作画面領域に関する前記スワイプイン操作が検出され、
    前記第1の操作画面領域向けの前記第2の検出領域に基づいて、前記第1の操作画面領域に関する前記スワイプイン操作が検出され、
    前記第1の操作画面領域向けの前記第2の検出領域は、前記第2の操作画面領域に重複する重複部分と前記第2の操作画面領域向けの前記第2の検出領域に重複する重複部分とを除外した領域として形成されることを特徴とする制御方法。
  10. 各種の情報を表示し且つユーザの手指による操作入力を受け付けることが可能な操作パネルを備える表示装置の制御方法であって、
    a)前記操作パネルの一部に操作画面領域を表示するステップと、
    b)前記操作パネルに対するタッチ状態を継続しつつ前記操作画面領域のエッジ付近から前記操作画面領域の内側へ向けて前記ユーザの操作指を移動する操作であるスワイプイン操作を、前記操作画面領域の前記エッジ付近に設けられるスワイプイン操作検出領域を用いて検出するステップと、
    を備え、
    前記ステップb)において、
    前記操作画面領域の内部領域のうち前記操作画面領域のエッジに隣接する部分領域である第1の検出領域にて前記操作画面領域の更に内側へと前記操作指を移動する操作が検出されることを条件として前記スワイプイン操作を検出する第1の検出動作と、
    前記第1の検出領域を拡張および/または移動して形成される第2の検出領域にて前記操作画面領域の内側へと向かう向きに前記操作指を移動する操作が検出されることを条件として前記スワイプイン操作を検出する第2の検出動作と、
    が、前記スワイプイン操作を検出する検出動作として選択的に実行され、
    前記操作画面領域が前記操作パネルの一部に表示される場合、前記操作画面領域の複数のエッジのうち前記操作パネルの物理的エッジと一致していない特定のエッジに関して、前記第2の検出領域を前記スワイプイン操作検出領域として用いる前記第2の検出動作が実行され、
    前記ステップb)において、前記操作画面領域に関する前記第2の検出領域が前記操作画面領域のエッジの少なくとも一部を包含する場合において、前記操作指による操作が前記操作画面領域に対する前記スワイプイン操作である可能性と前記操作指による操作が前記操作画面領域自体の移動および/または変倍のための画面移動変倍操作である可能性との双方が存在するときには、前記画面移動変倍操作を前記スワイプイン操作よりも優先的に検出する動作が実行されることを特徴とする制御方法。
  11. 各種の情報を表示し且つユーザの手指による操作入力を受け付けることが可能な操作パネルを備える表示装置の制御方法であって、
    a)前記操作パネルの一部に操作画面領域を表示するステップと、
    b)前記操作パネルに対するタッチ状態を継続しつつ前記操作画面領域のエッジ付近から前記操作画面領域の内側へ向けて前記ユーザの操作指を移動する操作であるスワイプイン操作を、前記操作画面領域の前記エッジ付近に設けられるスワイプイン操作検出領域を用いて検出するステップと、
    c)前記ステップb)の処理結果に基づいて前記操作パネルにおける表示内容を更新するステップと、
    を備え、
    前記ステップb)において、
    前記操作画面領域の内部領域のうち前記操作画面領域のエッジに隣接する部分領域である第1の検出領域にて前記操作画面領域の更に内側へと前記操作指を移動する操作が検出されることを条件として前記スワイプイン操作を検出する第1の検出動作と、
    前記第1の検出領域を拡張および/または移動して形成される第2の検出領域にて前記操作画面領域の内側へと向かう向きに前記操作指を移動する操作が検出されることを条件として前記スワイプイン操作を検出する第2の検出動作と、
    が、前記スワイプイン操作を検出する検出動作として選択的に実行され、
    前記操作画面領域が前記操作パネルの一部に表示される場合、前記操作画面領域の複数のエッジのうち前記操作パネルの物理的エッジと一致していない特定のエッジに関して、前記第2の検出領域を前記スワイプイン操作検出領域として用いる前記第2の検出動作が実行され、
    前記ステップa)において、前記操作画面領域である第1の操作画面領域と、前記第1の操作画面領域とは異なる第2の操作画面領域とが前記操作パネルに表示され、且つ、前記第1の操作画面領域向けの前記第2の検出領域は前記第2の操作画面領域の少なくとも一部に重複し、
    前記ステップb)において、前記第1の操作画面領域向けの前記第2の検出領域と前記第2の操作画面領域との重複領域内から前記操作指によるタッチ操作が開始され且つ前記タッチ操作が継続している期間において、前記スワイプイン操作と前記第2の操作画面領域に対する他の操作とのうち前記スワイプイン操作を優先的に検出する動作が実行され、
    前記ステップc)において、前記スワイプイン操作の検出の有無が確定するまでは、前記第2の操作画面領域に対する前記他の操作に応じた表示変更動作が保留されることを特徴とする制御方法。
  12. 請求項11に記載の制御方法において、
    前記ステップc)においては、前記第1の操作画面領域向けの前記第2の検出領域と前記第2の操作画面領域との前記重複領域内から前記操作指による操作が開始される場合において、前記スワイプイン操作が検出された時点から、前記スワイプイン操作に応じた表示変更動作を開始すべき位置である対応動作開始位置へと前記操作指が到達する時点までの期間において、前記第2の操作画面領域に対する所定の操作が検出されるときには、前記スワイプイン操作に応じた前記表示変更動作が実行されず且つ前記所定の操作に応じた表示変更動作が実行されることを特徴とする制御方法。
  13. 請求項11または請求項12に記載の制御方法において、
    前記ステップc)においては、前記スワイプイン操作が検出された時点から、前記スワイプイン操作に応じた表示変更動作を開始すべき位置である対応動作開始位置へと前記操作指が到達する時点までの期間において、前記スワイプイン操作に応じた前記表示変更動作にて表示されるべき画面の一部が表示されることによって、前記スワイプイン操作に応じた前記表示変更動作が可能である旨が前記ユーザに報知されることを特徴とする制御方法。
  14. 各種の情報を表示し且つユーザの手指による操作入力を受け付けることが可能な操作パネルを備える表示装置の制御方法であって、
    a)前記操作パネルの一部に操作画面領域を表示するステップと、
    b)前記操作パネルに対するタッチ状態を継続しつつ前記操作画面領域のエッジ付近から前記操作画面領域の内側へ向けて前記ユーザの操作指を移動する操作であるスワイプイン操作を、前記操作画面領域の前記エッジ付近に設けられるスワイプイン操作検出領域を用いて検出するステップと、
    を備え、
    前記ステップb)において、
    前記操作画面領域の内部領域のうち前記操作画面領域のエッジに隣接する部分領域である第1の検出領域にて前記操作画面領域の更に内側へと前記操作指を移動する操作が検出されることを条件として前記スワイプイン操作を検出する第1の検出動作と、
    前記第1の検出領域を拡張および/または移動して形成される第2の検出領域にて前記操作画面領域の内側へと向かう向きに前記操作指を移動する操作が検出されることを条件として前記スワイプイン操作を検出する第2の検出動作と、
    が、前記スワイプイン操作を検出する検出動作として選択的に実行され、
    前記操作画面領域が前記操作パネルの一部に表示される場合、前記操作画面領域の複数のエッジのうち前記操作パネルの物理的エッジと一致していない特定のエッジに関して、前記第2の検出領域を前記スワイプイン操作検出領域として用いる前記第2の検出動作が実行され、
    前記ステップa)において、前記操作パネルにおける前記操作画面領域の位置および/または大きさが変更され、
    前記ステップb)において、前記ステップa)における前記操作画面領域の位置および/または大きさの変更に伴って前記操作画面領域の前記複数のエッジのうち前記操作パネルの物理的エッジと一致していない前記特定のエッジの発生が検知されることに応答して、前記第2の検出領域が前記操作パネルにて可視化されることを特徴とする制御方法。
  15. 請求項8から請求項14のいずれかに記載の制御方法を、前記表示装置に内蔵されたコンピュータに実行させるためのプログラム。
JP2018027218A 2018-02-19 2018-02-19 表示装置、表示装置の制御方法、およびプログラム Active JP7192214B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018027218A JP7192214B2 (ja) 2018-02-19 2018-02-19 表示装置、表示装置の制御方法、およびプログラム
US16/268,816 US10681228B2 (en) 2018-02-19 2019-02-06 Display device, control method of display device, and program
CN201910115352.4A CN110174989B (zh) 2018-02-19 2019-02-14 显示装置、显示装置的控制方法及记录介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018027218A JP7192214B2 (ja) 2018-02-19 2018-02-19 表示装置、表示装置の制御方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2019144763A JP2019144763A (ja) 2019-08-29
JP7192214B2 true JP7192214B2 (ja) 2022-12-20

Family

ID=67617109

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018027218A Active JP7192214B2 (ja) 2018-02-19 2018-02-19 表示装置、表示装置の制御方法、およびプログラム

Country Status (3)

Country Link
US (1) US10681228B2 (ja)
JP (1) JP7192214B2 (ja)
CN (1) CN110174989B (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7195794B2 (ja) * 2018-07-12 2022-12-26 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、及びプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014519111A (ja) 2011-05-27 2014-08-07 マイクロソフト コーポレーション マルチ・アプリケーション環境
JP2015005255A (ja) 2013-06-24 2015-01-08 シャープ株式会社 情報表示装置ならびにスクロール制御プログラムおよび方法、情報表示装置を用いた画像読取装置および情報表示装置を用いた画像形成装置
WO2015005146A1 (ja) 2013-07-12 2015-01-15 ソニー株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
JP2015133023A (ja) 2014-01-14 2015-07-23 コニカミノルタ株式会社 画像処理システム、画像処理装置及び携帯端末装置
JP2016511854A (ja) 2013-01-02 2016-04-21 カノニカル・リミテッドCanonical Limited コンピュータデバイスのためのユーザインターフェイス
US20160357388A1 (en) 2015-06-05 2016-12-08 Apple Inc. Devices and Methods for Processing Touch Inputs Over Multiple Regions of a Touch-Sensitive Surface

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8381118B2 (en) * 2009-10-05 2013-02-19 Sony Ericsson Mobile Communications Ab Methods and devices that resize touch selection zones while selected on a touch sensitive display
US10133439B1 (en) * 2011-08-29 2018-11-20 Twitter, Inc. User interface based on viewable area of a display
US9395852B2 (en) * 2012-05-07 2016-07-19 Cirque Corporation Method for distinguishing between edge swipe gestures that enter a touch sensor from an edge and other similar but non-edge swipe actions
JP6668883B2 (ja) * 2016-03-30 2020-03-18 ブラザー工業株式会社 プログラムおよび情報表示装置
CN106527953A (zh) * 2016-11-28 2017-03-22 努比亚技术有限公司 移动终端及边缘化手势操作方法
US10802644B2 (en) * 2017-04-05 2020-10-13 Wayne Rasanen Assistive text-entry system and method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014519111A (ja) 2011-05-27 2014-08-07 マイクロソフト コーポレーション マルチ・アプリケーション環境
JP2016511854A (ja) 2013-01-02 2016-04-21 カノニカル・リミテッドCanonical Limited コンピュータデバイスのためのユーザインターフェイス
JP2015005255A (ja) 2013-06-24 2015-01-08 シャープ株式会社 情報表示装置ならびにスクロール制御プログラムおよび方法、情報表示装置を用いた画像読取装置および情報表示装置を用いた画像形成装置
WO2015005146A1 (ja) 2013-07-12 2015-01-15 ソニー株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
JP2015133023A (ja) 2014-01-14 2015-07-23 コニカミノルタ株式会社 画像処理システム、画像処理装置及び携帯端末装置
US20160357388A1 (en) 2015-06-05 2016-12-08 Apple Inc. Devices and Methods for Processing Touch Inputs Over Multiple Regions of a Touch-Sensitive Surface

Also Published As

Publication number Publication date
JP2019144763A (ja) 2019-08-29
US10681228B2 (en) 2020-06-09
CN110174989A (zh) 2019-08-27
CN110174989B (zh) 2022-07-26
US20190260886A1 (en) 2019-08-22

Similar Documents

Publication Publication Date Title
US10222971B2 (en) Display apparatus, method, and storage medium
US9310986B2 (en) Image processing apparatus, method for controlling image processing apparatus, and storage medium
JP5979168B2 (ja) 画面表示装置、画面表示システム、画面表示方法およびコンピュータープログラム
WO2013080510A1 (en) Information processing apparatus, method for controlling display, and program therefor
JP2014186577A (ja) ビューワ装置および画像形成装置
US20160246548A1 (en) Image processing apparatus, image processing method, and storage medium storing program
JP6053291B2 (ja) 画像処理装置、画像処理装置の制御方法、及びプログラム
JP5825277B2 (ja) データ処理装置、コンテンツ表示方法およびコンテンツ表示プログラム
JP7192214B2 (ja) 表示装置、表示装置の制御方法、およびプログラム
CN114063867A (zh) 图像处理装置、图像处理装置的控制方法和记录介质
JP2024025795A (ja) 画像処理装置
KR102105492B1 (ko) 정보 처리 장치, 정보 처리 장치의 제어 방법 및 저장 매체
JP2019062415A (ja) 画像処理装置及びプログラム
JP6372116B2 (ja) 表示処理装置、画面表示方法およびコンピュータープログラム
JP2019106007A (ja) 表示装置、表示制御方法およびプログラム
JP6225625B2 (ja) 画像表示装置、画像表示方法および画像表示プログラム
JP7052842B2 (ja) 情報処理装置およびプログラム
US20220171511A1 (en) Device, method for device, and storage medium
JP7247554B2 (ja) 表示装置および表示方法
JP7250526B2 (ja) 画像処理装置、プログラム、画像処理方法
JP2016095576A (ja) 画面処理装置、その制御方法、およびプログラム
JP7043804B2 (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
JP6485579B2 (ja) 表示処理装置、画面表示方法およびコンピュータープログラム
JP6784953B2 (ja) 情報処理装置およびプログラム
JP6245016B2 (ja) 画像形成装置およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201223

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220628

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220822

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221121

R150 Certificate of patent or registration of utility model

Ref document number: 7192214

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150