JP6973025B2 - 表示装置、画像処理装置及びプログラム - Google Patents

表示装置、画像処理装置及びプログラム Download PDF

Info

Publication number
JP6973025B2
JP6973025B2 JP2017243456A JP2017243456A JP6973025B2 JP 6973025 B2 JP6973025 B2 JP 6973025B2 JP 2017243456 A JP2017243456 A JP 2017243456A JP 2017243456 A JP2017243456 A JP 2017243456A JP 6973025 B2 JP6973025 B2 JP 6973025B2
Authority
JP
Japan
Prior art keywords
continuity
display area
display
screen
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017243456A
Other languages
English (en)
Other versions
JP2019109802A (ja
Inventor
智広 山口
卓人 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2017243456A priority Critical patent/JP6973025B2/ja
Priority to CN201811538605.0A priority patent/CN109951611A/zh
Priority to US16/223,268 priority patent/US10735606B2/en
Publication of JP2019109802A publication Critical patent/JP2019109802A/ja
Application granted granted Critical
Publication of JP6973025B2 publication Critical patent/JP6973025B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/00411Display of information to the user, e.g. menus the display also being used for user input, e.g. touch screen
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00482Output means outputting a plurality of job set-up options, e.g. number of copies, paper size or resolution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04803Split screen, i.e. subdividing the display area or the window area into separate subareas
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04808Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Accessory Devices And Overall Control Thereof (AREA)
  • Digital Computer Display Output (AREA)
  • Facsimiles In General (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、表示装置、画像処理装置及びプログラムに関し、特に、表示装置の表示領域を、境界線を挟んで第1の表示領域と第2の表示領域とに分割した状態においてユーザーの操作を検知して画面更新を行う技術に関する。
ユーザーによるマルチタッチ操作を検知可能な表示装置の普及が著しい。この種の表示装置は、1つの表示領域を、境界線を挟んで複数の表示領域に分割し、複数の表示領域のそれぞれに異なる操作画面を表示させることが可能である。
従来、上記のような表示装置において、複数の表示領域のうちの第1の表示領域でユーザーの2つの指を検知した後、一方の指が第2の表示領域へ移動した場合でも、第1の表示領域に表示されている操作画面に対するピンチ操作であると判断して第1の表示領域に表示している操作画面を拡大又は縮小させる技術が知られている(例えば特許文献1)。この従来技術では、第1の表示領域と第2の表示領域のそれぞれにおいてタッチ操作を検知した場合には、第1の表示領域と第2の表示領域のそれぞれに対する独立した操作であると判断している。
しかしながら、上記従来技術のように、第1の表示領域と第2の表示領域のそれぞれにおいてタッチ操作を検知した場合にそれぞれのタッチ操作を独立した操作であると判断すると、ユーザーにとっては意図しない操作画面が更新されてしまう可能性がある。例えば、ユーザーが第1の表示領域において表示されている操作画面を横方向にスクロールさせるために、タッチ操作の操作位置を横方向へ移動させると、その操作位置が境界線を越えて第2の表示領域まで進入してしまうことがある。そしてユーザーは、指先を画面上から一旦離した直後に再びタッチ操作を開始し、同じ操作画面を逆方向にスクロールさせるべく、先の移動方向とは逆の方向にタッチ操作の操作位置を移動させることがある。このとき、ユーザーによるタッチ操作は第2の表示領域において行われる。そのため、従来技術では、第2の表示領域において表示されている操作画面がスクロール表示されることとなり、ユーザーにとって意図しない操作画面が更新されることとなる。またこの他にも、上記従来技術では、ユーザーが同一の操作画面に対して行う連続的な操作を適切に検知することができない場合が存在する。
特開2017−27422号公報
本発明は、上記課題を解決するためになされたものであり、同一の操作画面に対して連続的に行われる操作を適切に検知して操作画面を更新できるようにした表示装置、画像処理装置及びプログラムを提供することを目的とする。
上記目的を達成するため、請求項1に係る発明は、表示装置であって、第1の表示領域と第2の表示領域とを境界線を挟んで表示し、前記第1及び第2の表示領域のそれぞれに異なる操作画面を表示可能な表示手段と、前記表示手段の表示画面に対するユーザーの操作を検知する操作検知手段と、前記操作検知手段によって前記第1の表示領域において第1の操作が検知された後、前記第2の表示領域において第2の操作が検知された場合に、前記第2の操作が前記第1の操作に対して連続性を有する操作であるか否かを判定する連続性判定手段と、前記連続性判定手段によって前記第2の操作が前記第1の操作に対して連続性を有する操作であると判定された場合に、前記第2の操作に基づいて前記第1の表示領域の操作画面を更新し、前記連続性判定手段によって前記第2の操作が前記第1の操作に対して連続性を有さない操作であると判定された場合に、前記第2の操作に基づいて前記第2の表示領域の操作画面を更新する表示制御手段と、を備えることを特徴とする構成である。
請求項2に係る発明は、請求項1に記載の表示装置において、前記連続性判定手段は、前記第1の操作の操作位置が前記境界線を越えて前記第2の表示領域へ移動した場合に、前記第2の表示領域における前記第1の操作を前記第1の表示領域に対する操作であると判定することを特徴とする構成である。
請求項3に係る発明は、請求項1又は2に記載の表示装置において、前記連続性判定手段は、前記第1の操作の操作終了が前記第2の表示領域において検知された後、前記第2の表示領域において前記第2の操作が検知されることに伴い、前記第2の操作が前記第1の操作に対して連続性を有する操作であるか否かを判定することを特徴とする構成である。
請求項4に係る発明は、請求項1乃至3のいずれかに記載の表示装置において、前記連続性判定手段は、前記第1の操作の操作終了が検知されてから所定時間以内に前記第2の操作が検知された場合に、前記第2の操作を前記第1の操作に対して連続性を有する操作であると判定することを特徴とする構成である。
請求項5に係る発明は、請求項4に記載の表示装置において、前記連続性判定手段は、前記第1の操作の操作終了が検知された後、前記表示制御手段によって前記第1の操作に基づく前記第1の表示領域の操作画面の更新処理が継続的に行われている場合、前記所定時間を延長させることを特徴とする構成である。
請求項6に係る発明は、請求項1乃至5のいずれかに記載の表示装置において、前記連続性判定手段は、前記第1の操作の操作終了が検知された後、前記第1の操作の操作終了位置から所定距離の範囲内において前記第2の操作が検知された場合に、前記第2の操作を前記第1の操作に対して連続性を有する操作であると判定することを特徴とする構成である。
請求項7に係る発明は、請求項1乃至6のいずれかに記載の表示装置において、前記連続性判定手段は、前記第1の操作の操作終了が検知された後、前記第2の操作が検知されることに伴い、前記第1の操作の操作開始位置と操作終了位置とを結ぶ第1の直線と、前記第2の操作の操作開始位置と現在位置とを結ぶ第2の直線との成す角度を検出し、当該角度が所定角度以内である場合に、前記第2の操作を前記第1の操作に対して連続性を有する操作であると判定することを特徴とする構成である。
請求項8に係る発明は、請求項1乃至7のいずれかに記載の表示装置において、前記連続性判定手段は、前記第2の操作が前記第1の操作に対して連続性を有する操作であると判定した後、前記第2の操作の操作位置が前記境界線を越えて前記第1の表示領域へ移動した場合に、前記第1の表示領域における前記第2の操作を前記第1の表示領域に対する操作であると判定することを特徴とする構成である。
請求項9に係る発明は、請求項1乃至8のいずれかに記載の表示装置において、前記連続性判定手段は、前記第2の操作の操作開始位置にユーザーが操作可能なコンテンツが表示されており、且つ、前記第2の操作がロングタップ操作である場合、前記第2の操作が前記第1の操作に対して連続性を有さない操作であると判定することを特徴とする構成である。
請求項10に係る発明は、請求項1乃至9のいずれかに記載の表示装置において、前記連続性判定手段は、前記第1の操作の操作開始位置から操作終了位置までの移動軌跡が前記第1の操作の操作開始位置と操作終了位置とを結ぶ直線から所定距離の範囲内にない場合、前記第1の操作の後に、前記第2の表示領域において第2の操作が検知された場合であっても連続性の判定を行わないことを特徴とする構成である。
請求項11に係る発明は、請求項1乃至10のいずれかに記載の表示装置において、前記連続性判定手段は、前記第1の操作に対して連続性を有する操作であると判定した前記第2の操作が継続されているときに、前記操作検知手段によって第3の操作が検知された場合、前記第3の操作が前記第1の操作に対して連続性を有する操作であるか否かを更に判定することを特徴とする構成である。
請求項12に係る発明は、請求項1乃至11のいずれかに記載の表示装置において、前記連続性判定手段は、前記第1の操作の操作終了が検知される前に前記第2の表示領域において前記第2の操作が検知された場合、前記第1の操作の操作位置の移動方向及び前記第2の操作の操作位置の移動方向に基づいて前記第2の操作が前記第1の操作に対して連続性を有する操作であるか否かを判定することを特徴とする構成である。
請求項13に係る発明は、画像処理装置であって、請求項1乃至12のいずれかに記載の表示装置と、ジョブの設定操作を行うためのジョブ設定画面を前記表示装置へ出力し、前記第1の表示領域及び前記第2の表示領域の少なくとも一方に表示させる操作画面出力手段と、前記表示装置から前記ジョブ設定画面に対する操作情報を取得し、ジョブの設定を行うジョブ設定手段と、前記ジョブ設定手段によるジョブの設定に基づき、ジョブの実行を制御するジョブ制御手段と、を備えることを特徴とする構成である。
請求項14に係る発明は、第1の表示領域と第2の表示領域とを境界線を挟んで表示し、前記第1及び第2の表示領域のそれぞれに異なる操作画面を表示可能な表示手段と、前記表示手段の表示画面に対するユーザーの操作を検知する操作検知手段と、を備える表示装置において実行されるプログラムであって、前記表示装置に、前記操作検知手段によって前記第1の表示領域において第1の操作が検知された後、前記第2の表示領域において第2の操作が検知された場合に、前記第2の操作が前記第1の操作に対して連続性を有する操作であるか否かを判定する連続性判定ステップと、前記連続性判定ステップによって前記第2の操作が前記第1の操作に対して連続性を有する操作であると判定された場合に、前記第2の操作に基づいて前記第1の表示領域の操作画面を更新し、前記連続性判定ステップによって前記第2の操作が前記第1の操作に対して連続性を有さない操作であると判定された場合に、前記第2の操作に基づいて前記第2の表示領域の操作画面を更新する画面更新ステップと、を実行させることを特徴とする構成である。
本発明によれば、複数の表示画面が表示されている状態において同一の操作画面に対して連続的に行われるユーザーの操作を適切に検知することが可能であり、ユーザーの連続的な操作に基づきユーザーが意図する操作画面を適切に更新することができるようになる。
表示装置が適用される画像処理装置の外観構成の一例を示す図である。 画像処理装置のハードウェア構成及び機能構成の一例を示すブロック図である。 表示部の表示領域の分割例を示す図である。 第1の操作の一例を示す図である。 第2の操作の一例を示す図である。 第2の操作が連続性を有さない場合の画面更新例を示す図である。 第2の条件を説明する図である。 第3の条件を説明する図である。 第2の操作の操作開始位置が所定領域の外側にある場合を例示する図である。 第4の条件を説明する図である。 第4の条件に基づいて第2の操作が第1の操作に対して連続性を有さない操作であると判定された場合の画面更新例を示す図である。 第2の操作が境界線を超える場合の画面更新例を示す図である。 第2の操作の終了後に第3の操作が検知される例を示す図である。 第2の操作の終了後に第3の操作が検知される他の例を示す図である。 第2の操作が連続性を有さない操作となる場合を例示する図である。 連続性判定部による第1の操作の解析例を示す図である。 第1の操作の移動軌跡が所定範囲内に収まっている状態を示す図である。 第2の操作の継続中に第3の操作が検知される場合の連続性判定を説明する図である。 ピンチ操作の判定例を示す図である。 ローテーション操作の判定例を示す図である。 表示装置において行われる主たる処理手順の一例を示すフローチャートである。 操作開始検知処理の詳細な処理手順の一例を示すフローチャートである。 連続性判定処理の詳細な処理手順の一例を示すフローチャートである。 継続操作検知処理の詳細な処理手順の一例を示すフローチャートである。 操作終了検知処理の詳細な処理手順の一例を示すフローチャートである。 フラグ処理の詳細な処理手順の一例を示すフローチャートである。
以下、本発明に関する好ましい実施形態について図面を参照しつつ詳細に説明する。尚、以下に説明する実施形態において互いに共通する部材には同一符号を付しており、それらについての重複する説明は省略する。
図1は、本発明の表示装置3が適用される画像処理装置1の外観構成の一例を示す図である。画像処理装置1は、例えば複数の機能を備えるMFP(Multifunction Peripherals)などによって構成される。この画像処理装置1は、例えばコピー機能、スキャン機能、プリント機能、FAX機能などの画像処理機能の他、サーバー機能を備えている。例えば、ユーザーによってコピー機能が選択された場合、画像処理装置1は、画像処理機能を動作させることによりジョブ(コピージョブ)を実行する。またユーザーによってサーバー機能が選択された場合、画像処理装置1は、サーバー機能を動作させ、ユーザーに対してサーバー機能によるサービスを提供する。
画像処理装置1は、画像処理機能やサーバー機能が搭載された装置本体2と、ユーザーが画像処理装置1を使用する際のユーザーインタフェースとなる表示装置3とを備えている。装置本体2の下部には、プリンタ部5が設けられている。プリンタ部5は、画像処理装置1においてプリントジョブ、コピージョブ及びFAX受信ジョブが実行されるときに動作し、シート状の印刷用紙に画像をプリントして出力する。装置本体2は、プリンタ部5の上部にスキャナ部4を備えている。スキャナ部4は、画像処理装置1においてスキャンジョブ、コピージョブ及びFAX送信ジョブが実行されるときに動作し、ユーザーによってセットされる原稿を読み取って画像データを出力する。
表示装置3は、タッチパネル式の表示装置であり、スキャナ部4の更に上部に設けられている。表示装置3は、各種画像を表示可能な大画面サイズの表示部10を備えている。表示装置3は、表示部10の表示面がほぼフラットな状態となるように装置本体2の上端に装着されている。この表示装置3は、画像処理装置1の画像処理機能をユーザーが操作するための操作画面を表示部10に表示することが可能であり、また画像処理装置1のサーバー機能をユーザーが操作するための操作画面を表示部10に表示することも可能である。さらに表示装置3は、表示部10の表示領域を、境界線を挟んで2つの表示領域に分割し、各表示領域において、画像処理機能をユーザーが操作するための操作画面と、サーバー機能をユーザーが操作するための操作画面とを同時に表示することも可能である。このような表示装置3は、装置本体2に対して着脱可能な構成であっても良い。
図2は、画像処理装置1のハードウェア構成及び機能構成の一例を示すブロック図である。画像処理装置1は、装置本体2と表示装置3とを互いに通信可能なように接続した構成である。
表示装置3は、そのハードウェア構成として、表示部10と、操作部11と、CPU12と、RAM13と、ROM14と、通信インタフェース15とを備えている。
表示部10は、例えばカラー液晶ディスプレイなどで構成されるフラットパネルディスプレイであり、各種画像を表示可能である。操作部11は、表示部10の表示画面上に配置されるタッチパネルキーなどで構成され、ユーザーによる操作を受け付ける。例えば、表示部10の表示画面に対してユーザーによるタッチ操作が行われると、操作部11は、そのタッチ操作が行われている位置を検出し、その座標情報をリアルタイムでCPU12へ出力する。そのため、ユーザーが表示画面に対する操作位置(タッチ位置)を移動させると、操作部11は、その操作位置の移動に伴い、CPU12に対してリアルタイムで出力する座標情報を逐次変更する。また操作部11は、表示部10の表示画面に対して行われるマルチタッチ操作を受け付けることも可能である。
CPU12は、表示装置3における各部の動作を制御するハードウェアプロセッサである。特にCPU12は、操作部11によって受け付けられるユーザーの操作に基づいて表示部10に表示する操作画面を制御する。具体的には、CPU12は、ROM14に予め記憶されているプログラム16を読み出して実行することにより、装置本体2と通信を行い、画像処理機能をユーザーが操作するための操作画面、及び、サーバー機能をユーザーが操作するための操作画面を取得する。CPU12は、それら2つの操作画面のうちの少なくとも一方を表示部10に表示し、操作部11によって受け付けられるユーザーの操作に基づき表示部10に表示している操作画面を更新する。このようなCPU12は、表示部10の表示領域を境界線に分割し、その境界線を挟んで配置される第1の表示領域と第2の表示領域のそれぞれに対し、画像処理機能をユーザーが操作するための操作画面、及び、サーバー機能をユーザーが操作するための操作画面を同時に表示させることもできる。またCPU12は、必要に応じて装置本体2に対してユーザーの操作に基づく操作情報を出力する。尚、CPU12の詳細な機能については後述する。
RAM13は、CPU12がプログラム16を実行することに伴って発生する一時的なデータなどを記憶するためのメモリである。またROM14は、不揮発性のメモリであり、CPU12によって実行されるプログラム16を記憶する。通信インタフェース15は、装置本体2と有線又は無線による通信を行うためのものである。通信インタフェース15は、装置本体2と一対一の通信を行うものであっても良い。
装置本体2は、通信インタフェース30と、画像処理部31と、サーバー機能部32と、スキャナ部4と、プリンタ部5と、FAX部6と、ネットワークインタフェース7とを備えている。スキャナ部4及びプリンタ部5は、上述した通りである。FAX部6は、図示を省略する公衆電話網を介してFAXデータの送受信を行うためのものである。ネットワークインタフェース7は、画像処理装置1をLAN(Local Area Network)などのネットワークに接続し、パーソナルコンピュータ(PC)などの他のデバイスと通信を行う。
通信インタフェース30は、表示装置3と有線又は無線による通信を行うためのものである。通信インタフェース30は、表示装置3と一対一の通信を行うものであっても良い。
画像処理部31は、画像処理装置1の画像処理機能に対応する処理を行う。すなわち、画像処理部31は、コピー機能、スキャン機能、プリント機能、FAX機能などの各機能に関するジョブの実行を制御するものである。画像処理部31は、操作画面出力部41と、ジョブ設定部42と、ジョブ制御部43とを備えている。操作画面出力部41は、通信インタフェース30を介して、画像処理機能をユーザーが操作するための操作画面を表示装置3へ出力する。例えば操作画面出力部41は、ジョブの設定操作を行うための操作画面(ジョブ設定画面)を表示装置3へ出力する。ジョブ設定部42は、表示装置3からジョブ設定画面に対する操作情報を取得した場合に、その操作情報に基づいてジョブの設定を行う。ジョブ制御部43は、表示装置3からジョブの実行指示を取得した場合に機能し、ジョブ設定部42によるジョブの設定に基づいてスキャナ部4やプリンタ部5などを駆動し、ジョブの実行を制御する。
サーバー機能部32は、画像処理装置1のサーバー機能に対応する処理を行う。サーバー機能部32は、操作画面出力部51と、サービス提供部52とを備えている。操作画面出力部51は、通信インタフェース30を介して、サーバー機能をユーザーが操作するための操作画面を表示装置3へ出力する。例えば操作画面出力部51は、ユーザーがサーバー機能を利用する際の設定操作などを行うための操作画面(サービス提供画面)を表示装置3へ出力する。サービス提供部52は、サーバー機能によるサービスを提供する処理部である。サーバー機能が提供するサービスには、様々なサービスがあり、例えばドキュメントサーバーとしてのサービス、メールサーバーとしてのサービス、アプリケーションサーバーとしてのサービス、ストレージサーバーとしてのサービスなどのサービスがある。サービス提供部52は、それらのサービスのうちの少なくとも1つのサービスを提供するものであれば良い。そしてサービス提供部52は、表示装置3からサービス提供画面に対する操作情報を取得した場合に、その操作情報に基づいてサービスを提供する。
このようなサーバー機能部32は、画像処理部31と連携動作することも可能である。例えば画像処理部31がスキャンジョブを実行することによって原稿から読み取った画像データをサーバー機能部32が取得する。サーバー機能部32は、その画像データを、ネットワークインタフェース7を介して外部のデバイスに送信する。このようにサーバー機能部32が画像処理部31と連携動作することにより、画像処理装置1において多様なジョブを設定することができるようになり、画像処理装置1の利便性が向上する。
次に、表示装置3のCPU12による機能について説明する。CPU12は、プログラムを実行することにより、画面取得部20、表示制御部21、操作検知部22、操作情報出力部23及び連続性判定部24として機能する。
画面取得部20は、装置本体2から出力される操作画面を取得し、その操作画面をRAM13に格納する。装置本体2から出力される操作画面には、画像処理機能を操作するための操作画面と、第2の表示領域R2にサーバー機能を操作するための操作画面との2つの操作画面がある。画面取得部20は、それら2つの操作画面を取得すると、RAM13に格納した状態で各操作画面を管理する。また2つの操作画面のうちの少なくとも一方の画面が装置本体2において更新された場合、画面取得部20は、装置本体2から出力される更新後の新たな操作画面を取得し、RAM13に格納している操作画面を更新する。
表示制御部21は、表示部10に表示する操作画面を制御する。画面取得部20によってRAM13に操作画面が格納されると、表示制御部21は、RAM13から操作画面を読み出し、その操作画面を表示部10へ出力して表示させる。またユーザーによって画面分割が指示された場合、表示制御部21は、表示部10の表示領域を2つの領域に分割すし、画像処理機能をユーザーが操作するための操作画面と、サーバー機能をユーザーが操作するための操作画面との双方を同時に表示させることが可能である。
図3は、表示部10の表示領域の分割例を示す図である。図3に示す例では、表示部10の表示領域が、ほぼ中央に設定される境界線BLを挟んで左右2つの領域に分割された場合を示している。この場合、例えば左側の領域が第1の表示領域R1となり、右側の領域が第2の表示領域R2となる。そして表示制御部21は、例えば第1の表示領域R1に画像処理機能を操作するための操作画面を表示し、第2の表示領域R2にサーバー機能を操作するための操作画面を表示することにより、画像処理機能とサーバー機能のそれぞれを利用するための2つの操作画面を同時に表示部10に表示する。尚、第1の表示領域R1にサーバー機能を操作するための操作画面を表示し、第2の表示領域R2に画像処理機能を操作するための操作画面を表示しても良い。
操作検知部22は、操作部11から出力される座標情報に基づき、ユーザーによる操作を検知する。例えばユーザーが表示部10の表示画面に対してタッチ操作を行うと、操作検知部22は、操作開始を検知する。その後、操作検知部22は、ユーザーのタッチ操作が継続していれば操作継続中であることを検知し、ユーザーのタッチ操作が終了すれば操作終了を検知する。操作検知部22は、操作開始を検知してから操作終了を検知するまでの間、操作部11から逐次取得する座標情報を表示制御部21及び操作情報出力部23へ出力する。これにより、表示制御部21は、ユーザーの操作に基づいて表示部10に表示している操作画面をスクロールさせるなど、適切に更新することができる。
また操作検知部22は、表示制御部21によって表示部10の表示領域が第1の表示領域R1と第2の表示領域R2に分割されている場合、操作開始を検知してから操作終了を検知するまでの間、操作部11から取得する座標情報を連続性判定部24へ出力する。
操作検知部22は、ユーザーによるマルチタッチ操作を検知することも可能である。すなわち、操作部11が表示画面上の複数箇所に対するタッチ操作を検知すると、操作検知部22に対して複数の座標情報を出力する。そのため、操作検知部22は、操作部11から複数の座標情報を受信することに伴い、ユーザーによってマルチタッチ操作が行われていることを検知する。この場合、操作検知部22は、操作部11から取得する複数の座標情報のそれぞれを表示制御部21、操作情報出力部23又は連続性判定部24へ出力する。
操作情報出力部23は、操作検知部22から出力される座標情報に基づいてユーザーによる操作を特定し、装置本体2へ通知すべき操作であるか否かを判断する。その結果、装置本体2へ通知すべき操作である場合、操作情報出力部23は、ユーザーの操作に対応する操作情報を生成し、装置本体2へ出力する。例えば、ユーザーの操作が各種設定値の変更操作やジョブの実行指示、サービスの提供開始指示などである場合、操作情報出力部23は、装置本体2へ通知すべき操作であると判断し、ユーザーの操作に対応する操作情報を装置本体2へ送信する。尚、ユーザーの操作が、操作画面をスクロールさせる操作などのように、操作画面の表示状態を単に変化させるためだけの操作である場合、操作情報出力部23は、操作情報を装置本体2へ出力する必要はない。
連続性判定部24は、表示制御部21によって表示部10の表示領域が第1の表示領域R1と第2の表示領域R2に分割されている場合に機能する。連続性判定部24は、操作検知部22から出力される座標情報に基づいてユーザーの操作を特定し、その特定した操作が、先に検知された操作に対して連続性を有する操作であるか否かを判定する。例えば、操作検知部22によって第1の表示領域R1及び第2の表示領域R2のいずれか一方の領域において第1の操作が検知された後、他方の領域において第2の操作が検知された場合、連続性判定部24は、第2の操作が第1の操作に対して連続性を有する操作であるか否かを判定する。ここで、第2の操作とは、第1の操作が検知された後に検知される操作であり、第1の操作が終了した後に検知される操作であっても良いし、第1の操作が終了していない状態で検知される操作であっても構わない。
連続性判定部24は、操作検知部22によって第1の操作が検知されることに伴い、第1の操作の操作開始位置を記憶する。また連続性判定部24は、操作検知部22によって第1の操作が検知されることに伴い、第1の操作の操作開始位置が第1の表示領域R1と第2の表示領域R2のいずれの領域に含まれるかを判断し、第1の操作の操作開始位置が含まれる表示領域において表示されている操作画面を更新対象画面として特定する。そして連続性判定部24は、表示制御部21に対して更新対象画面を通知する。これにより、表示制御部21は、第1の操作に基づいて更新すべき操作画面が第1の表示領域R1と第2の表示領域R2のいずれの領域に表示している操作画面であるかを把握することができる。
図4は、第1の操作101の一例を示す図である。例えば図4に示すようにユーザーが第1の表示領域R1において第1の操作101を開始した場合を想定する。この場合、第1の操作101の操作開始位置PA1は第1の表示領域R1に含まれる。そのため、連続性判定部24は、第1の表示領域R1に表示されている操作画面を更新対象画面として特定する。その後、ユーザーは、画面に対するタッチ状態を維持した状態のまま、第1の操作101として、その操作位置を矢印F1方向へ移動させると、表示制御部21によって第1の表示領域R1に表示されている操作画面が矢印FA方向へスクロールして操作画面の表示態様が更新される。
図4に示すように、第1の操作101の操作位置が第1の表示領域R1から境界線BLを超えて第2の表示領域R2へ移動した場合、連続性判定部24は、第2の表示領域R2における第1の操作101を第1の表示領域R1に対する操作であると判定し、操作対象画面を表示制御部21へ通知する。つまり、連続性判定部24は、第1の操作101の操作開始位置に基づいて更新対象画面を特定すると、その後、第1の操作101の操作位置が別の表示領域へ移動した場合であっても、操作開始時に特定した更新対象画面を変更しない。したがって、ユーザーは、境界線BLを意識することなく、第1の表示領域R1の操作画面をスクロールさせるための操作(例えばフリック操作)を行うことができる。また、ユーザーが第1の操作101を行っているときに操作位置が境界線BLを超えてしまっても、第1の表示領域R1の操作画面のスクロール表示が継続するので、ユーザーにとっては意図しない第2の表示領域R2の操作画面が第1の操作101によって更新されてしまうことを防ぐことができる。
連続性判定部24は、操作検知部22によって第1の操作101の終了が検知されると、第1の操作101の操作終了位置を記憶する。そして操作検知部22によって第2の操作102が検知されると、連続性判定部24は、第2の操作102が第1の操作101に対して連続性を有するか否かを判定する。
図5は、第2の操作102の一例を示す図である。図5の例では、第1の操作101の操作終了位置PA2が第2の表示領域R2に含まれる場合を示している。図5に示すようにユーザーが第1の操作101を行った後、第2の操作102を第2の表示領域R2において開始すると、連続性判定部24は、第2の操作102の操作開始位置PB1を記憶する。そして連続性判定部24は、第2の操作102が第1の操作101に対して連続性を有する操作であるか否かを判定する。
連続性判定部24は、第2の操作102が第1の操作101に対して連続性を有する操作であると判定した場合、第1の操作101の操作対象画面と同一の操作画面を、第2の操作102の操作対象画面として特定し、表示制御部21へ通知する。これにより、表示制御部21は、第2の操作102に基づき、第1の操作101と同様に、第1の表示領域R1の操作画面を更新することができる。例えば図5に示すように、第2の操作102が矢印F2方向へ移動する操作である場合、表示制御部21は、第1の表示領域R1の操作画面を矢印FB方向へスクロール表示させることができる。
これに対し、連続性判定部24は、第2の操作102が第1の操作101に対して連続性を有さない操作であると判定した場合、第2の操作102の操作開始位置が含まれる表示領域の操作画面を操作対象画面として特定し、表示制御部21へ通知する。図6は、第2の操作102が連続性を有さない場合の画面更新例を示す図である。例えば図6に示すように第2の表示領域R2において第2の操作102が検知され、その第2の操作102が第1の操作101と連続性を有さない操作であると判定した場合、連続性判定部24は、第2の表示領域R2に表示されている操作画面を、第2の操作102による操作対象画面として特定する。その結果、表示制御部21は、第2の操作102に基づいて第2の表示領域R2に表示されている操作画面を更新する。例えば図6に示すように、第2の操作102が矢印F2方向へ移動する操作である場合、表示制御部21は、第2の表示領域R2の操作画面を矢印FB方向へスクロール表示させるのである。
連続性判定部24が第1の操作101の後に行われる第2の操作102を第1の操作101に対して連続性を有する操作であると判定する条件には、複数の条件がある。そして連続性判定部24は、それら複数の条件のうちの少なくとも1つの条件が成立している場合に、第2の操作102が第1の操作101に対して連続性を有する操作であると判定する。尚、連続性判定部24は、複数の条件のうちの2以上の条件が成立している場合に、第2の操作102が第1の操作101に対して連続性を有する操作であると判定するようにしても良い。以下、連続性判定部24によって判定される条件について詳しく説明する。
まず、第1の操作101の操作終了が検知された後に第2の操作102が検知された場合における連続性判定の条件について説明する。この場合の連続性判定の条件には、例えば次に示す第1乃至第4の条件がある。
第1の条件は、第1の操作101の終了後に第2の操作102が検知された場合に、第2の操作101の操作開始位置PB1が第1の操作101の操作開始位置PA1とは異なる表示領域に含まれることである。図5の例では、第1の操作101の操作開始位置PA1が第1の表示領域R1に含まれており、第2の操作102の操作開始位置PB1が第2の表示領域R2に含まれている。したがって、図5の場合は第1の条件が成立しているため、連続性判定部24は、第2の操作102が第1の操作101に対して連続性を有する操作であると判断する。尚、連続性判定部24は、第1の条件が成立している場合であっても、更に他の条件が成立しているか否かを判定することにより、第2の操作102が第1の操作101に対して連続性を有するか否かを判定するようにしても良い。
第2の条件は、第2の操作102の操作が第1の操作101の操作終了タイミングから所定時間以内に検知されることである。図7は、第2の条件を説明する図である。まず図7(a)に示すように、連続性判定部24は、第2の操作102が第1の操作101に対して連続性を有すると判定するための所定時間TDを予め保持している。この所定時間TDは、表示装置3(画像処理装置1)のユーザーによって任意の時間に予め設定可能である。図7(a)に示す時間T1で第1の操作101の操作開始が検知され、時間T2で第1の操作101の操作終了が検知されると、連続性判定部24は、所定時間TDのカウント動作を開始する。そして所定時間TDが経過する前の時間T3において第2の操作102が検知されると、連続性判定部24は、第2の操作102を第1の操作101に対して連続性を有する操作であると判定する。これに対し、第2の操作102が検知されたタイミングが所定時間TDを経過した後である場合、連続性判定部24は、第2の操作102が第1の操作101に対して連続性を有さない操作であると判定する。
ところで、第1の操作101が図4に示したように第1の表示領域R1に表示されている操作画面をスクロールさせる操作である場合、図7(b)に示すように第1の操作101が終了した後においても操作画面を慣性スクロールさせるために、表示制御部21による操作画面の表示更新処理が継続している可能性がある。そのような場合、ユーザーは、慣性スクロールしている操作画面が停止してから次の操作を行おうとすることもある。そこで連続性判定部24は、表示制御部21による表示更新処理が継続している場合には所定時間TDを延長するようにしても良い。図7(b)は所定時間TDを延長する場合を示している。連続性判定部24は、第1の操作101が時間T2で終了した後においても表示制御部21による表示更新処理が継続的に行われている場合、所定時間TDを延長する。例えば、連続性判定部24は、表示制御部21による表示更新処理が終了するまで所定時間TDのカウント動作を開始しないようにすることで、所定時間TDを延長するようにしても良い。この場合、第1の操作101が終了した時間T2から表示更新処理が終了する時間Teまでの期間が延長されることになる。所定時間TDを延長することで、ユーザーが慣性スクロールしている操作画面が停止するのを確認してから第2の操作102を行う場合であっても、その第2の操作102が第1の操作101に対して連続性を有するか否かを適切に判定することができるようになる。尚、連続性判定部24は、第2の条件が成立している場合であっても、更に他の条件が成立しているか否かを判定することにより、第2の操作102が第1の操作101に対して連続性を有するか否かを判定するようにしても良い。
第3の条件は、第2の操作102の操作開始位置が第1の操作101の操作終了位置から所定距離の範囲内で検知されることである。図8は、第3の条件を説明する図である。図8に示すように、連続性判定部24は、第1の操作101の操作終了が検知された後、第1の操作101の操作終了位置PA2から所定距離の範囲内である領域R3において第2の操作102が検知された場合に、第2の操作102を第1の操作101に対して連続性を有する操作であると判定する。したがって、図8に示すように第2の操作102の操作開始位置PB1が領域R3に含まれていれば、第2の操作102の操作対象画面は、第1の操作101と同様に、第1の表示領域R1の操作画面となる。そして第2の操作102が矢印F2方向へ移動すると、第1の表示領域R1の操作画面が矢印FB方向へスクロール表示される。
図9は、第2の操作102の操作開始位置PB1が領域R3の外側にある場合を例示する図である。図9に示すように第2の操作102の操作開始位置PB1が領域R3の外側にある場合、連続性判定部24は、第2の操作102の連続性を否定する。その結果、第2の操作102の操作対象画面は、第2の表示領域R2の操作画面となり、第2の操作102が矢印F2方向へ移動すると、第2の表示領域R2の操作画面が矢印FB方向へスクロール表示される。
尚、連続性判定部24は、第3の条件が成立している場合であっても、更に他の条件が成立しているか否かを判定することにより、第2の操作102が第1の操作101に対して連続性を有するか否かを判定するようにしても良い。また連続性判定部24は、第3の条件が成立していない場合であっても、他の条件が成立していれば、第2の操作102が第1の操作101に対して連続性を有する操作であると判定するようにしても良い。
第4の条件は、第1の操作101による移動方向と第2の操作102による移動方向とが互いに関連性を有することである。例えば第1の操作101が操作画面をスクロールさせる操作であった場合、第1の操作101と連続性を有する第2の操作102は、第1の操作101と同一方向又は逆方向へ操作画面をスクロールさせる操作であると言える。そのため、連続性判定部24は、第1の操作101の操作終了が検知された後、第2の操作102が検知されることに伴い、第1の操作101の直線性と第2の操作102の直線性とを対比して連続性判定を行う。
図10は、第4の条件を説明する図である。連続性判定部24は、第1の操作101の終了後に第2の操作102が検知され、第2の操作102の初期移動方向が検知されたときに第4の条件を判定する。このとき、連続性判定部24は、まず図10(a)に示すように、第1の操作101の操作開始位置PA1と操作終了位置PB2とを結ぶ第1の直線L1と、第2の操作102の操作開始位置PB1と現在位置PB2とを結ぶ第2の直線L2とを求める。次に連続性判定部24は、図10(b)に示すように、第1の直線L1と第2の直線L2とが交わるときの角度αを算出する。尚、角度αは、第1の直線L1と第2の直線L2が成す大きい角度と小さい角度のうちの小さい方の角度である。次に連続性判定部24は、第1の直線L1と第2の直線L2が成す角度αが所定角度θ(例えばθ≦30度)以内である場合に、第2の操作102を第1の操作101に対して連続性を有する操作であると判定する。これに対し、角度αが所定角度θを超えている場合、連続性判定部24は、第2の操作102を第1の操作101に対して連続性を有さない操作であると判定する。
第4の条件に基づいて第2の操作102が第1の操作101に対して連続性を有する操作であると判定されると、表示制御部21は、図5に示したように第2の操作102の操作対象画面を第1の操作101と同じ操作画面に設定し、第2の操作102に基づいて第1の表示領域R1の操作画面をスクロール表示させる。
図11は、第4の条件に基づいて第2の操作102が第1の操作101に対して連続性を有さない操作であると判定された場合の画面更新例を示す図である。例えば図11に示すように第2の操作102が矢印F2方向へ初期移動した場合、角度αが所定角度θを超えるため、連続性判定部24は、第2の操作102の連続性を否定する。その結果、表示制御部21は、図11に示すように第2の操作102の操作開始位置PB1が含まれている第2の表示領域R2の操作画面を第2の操作102に基づき矢印FC方向へスクロール表示させる。
連続性判定部24は、第2の操作102の連続性を肯定した後、その第2の操作102の操作位置が境界線BLを超えて他の表示領域へ移動した場合であっても、第2の操作102による操作対象画面を変更しない。図12は、第2の操作102が境界線BLを超える場合の画面更新例を示す図である。図12に示すように、第2の操作102の連続性が肯定された後、第2の操作102の現在位置が境界線BLを超えて第2の表示領域R2から第1の表示領域R1へ移動した場合、第2の操作102による操作対象画面は、それ以前と変わらず、第1の表示領域R1の操作画面として特定される。そのため、表示制御部21は、境界線BLを超えて継続する第2の操作102に基づき、第1の表示領域R1の操作画面を矢印FB方向へスクロール表示させる。尚、このような表示制御は、第2の操作102の連続性が肯定された場合に限られず、第2の操作102の連続性が否定された場合にも適用可能である。
また連続性判定部24は、第2の操作の操作終了が検知された後、第3の操作が検知された場合には、その第3の操作が第2の操作に対して連続性を有する操作であるか否かを判定する。図13は、第2の操作102の終了後に第3の操作103が検知される例を示す図である。例えば図13に示すように、第1の表示領域R1で開始された第1の操作101が第2の表示領域R2で終了し、その後、第2の表示領域R2で開始された第2の操作102が第1の表示領域R1で終了した場合を想定する。第2の操作102が終了した後、操作検知部22によって第3の操作103が検知されると、連続性判定部24は、第3の操作103が第2の操作102に対して連続性を有する操作であるか否かを判定する。このとき、連続性判定部24は、例えば上述した第1乃至第4の条件のうちの少なくとも1つの条件を判定することにより、連続性判定を行う。その結果、第3の操作103が第2の操作102に対して連続性を有する操作であると判定すると、連続性判定部24は、第2の操作102の操作対象画面と同じ操作画面を、第3の操作103の操作対象画面として特定し、表示制御部21へ通知する。これにより、第2の操作102に基づいて更新された操作画面が引き続き第3の操作103に基づいて更新される。例えば第2の操作102が第1の表示領域R1の操作画面をスクロールさせる操作であった場合、表示制御部21は、操作開始位置PC1で開始される第3の操作103の移動に基づき、図13に示すように第1の表示領域R1の操作画面を矢印FA方向へスクロール表示させる。
図14は、第2の操作102の終了後に第3の操作103が検知される他の例を示す図である。図14の例では、第1の操作101に対して連続性を有する第2の操作102がシングルタップ操作である場合を示している。第2の操作102がシングルタップ操作である場合、第2の操作102の操作開始位置PB1と操作終了位置PB2は同じ位置で検知される。例えば、第1の操作101によって第1の表示領域R1の操作画面が慣性スクロールしている状態で第2の操作102がシングルタップ操作として検知されると、操作画面のスクロールが停止する。第2の操作102の操作終了が検知された後、第3の操作103が検知されると、連続性判定部24は、第3の操作103が第2の操作102に対して連続性を有する操作であるか否かを判定する。このときも、連続性判定部24は、例えば上述した第1乃至第4の条件のうちの少なくとも1つの条件を判定することにより、連続性判定を行う。その結果、第3の操作103が第2の操作102に対して連続性を有する操作であると判定すると、連続性判定部24は、第2の操作102の操作対象画面と同じ操作画面を、第3の操作103の操作対象画面として特定し、表示制御部21へ通知する。これにより、図14に示すように第3の操作103が矢印F3方向へ移動した場合には、第1の表示領域R1の操作画面を矢印FB方向へスクロールさせることが可能になる。
上記のように、第2の操作102の操作終了が検知された後に第3の操作103が検知された場合、連続性判定部24は、第2の操作102を上述した第1の操作101と同様に取り扱い、第3の操作103を上述した第2の操作102と同様に取り扱うことにより、第3の操作103の連続性判定を行う。言い換えると、連続性判定部24は、操作検知部22によって表示部10に対する操作が順次検知される度に、後の操作が先の操作に対して連続性を有するか否かを判定するのである。
また連続性判定部24は、第1の操作101の操作終了が検知された後に第2の操作102が検知され、上述した第1乃至第4の条件が成立している場合であっても、第2の操作102が第1の操作101に対して連続性を有さない独立した操作であると判定することもある。図15は、第2の操作102が連続性を有さない操作となる場合を例示する図である。例えば図15に示すように、第2の表示領域R2で表示中の操作画面において、第1の操作101の操作終了位置PA2の近傍にユーザーが操作可能なコンテンツ(例えば操作ボタン)B1が表示されている場合、第2の操作102の操作開始位置PB1がコンテンツB1の表示位置と重なることがある。そのような場合、連続性判定部24は、ユーザーによる第2の操作102がロングタップ操作であるか否かを判断する。一般に、ロングタップ操作は、操作ボタンなどのコンテンツB1をユーザーが選択する操作のひとつである。連続性判定部24は、コンテンツB1の表示位置において検知された第2の操作102がロングタップ操作であると判断した場合、第2の操作102を、第1の操作101に対して連続性を有さない操作であって、コンテンツB1を選択する操作であると判定する。つまり、連続性判定部24は、第2の操作102が上述した第1乃至第4の条件を満たしている場合であっても、第2の操作の連続性を否定するのである。これにより、ユーザーの操作を適切に反映させることができるようになる。
また連続性判定部24は、操作検知部22によって第1の操作101の操作終了が検知されたタイミングで第1の操作101を解析することにより、第1の操作101の次に連続性のある操作が行われる可能性の有無を判断するようにしても良い。この場合において、第1の操作101の次に連続性のある操作が行われる可能性が無いと判断すれば、連続性判定部24は、第1の操作101の次に第2の操作102が検知されたときに第2の操作102の連続性判定を行わず、第2の操作102を第1の操作101と関連しない独立した操作として特定する。
図16は、連続性判定部24による第1の操作101の解析例を示す図である。図16に示すように、第1の操作101が操作終了位置PA2で終了したことが検知されると、連続性判定部24は、第1の操作101の操作開始位置PA1から操作終了位置PA2までの移動軌跡101aを算出する。この移動軌跡101aは、第1の操作101においてユーザーの操作位置が実際に移動した経路を示すものである。次に連続性判定部24は、第1の操作101の操作開始位置PA1と操作終了位置PA2とを結ぶ直線L1を算出する。そして連続性判定部24は、第1の操作101の移動軌跡101aが直線L1から所定距離D1の範囲内に収まっているか否かを判断する。
図16に示すように、第1の操作101の移動軌跡101aが直線L1から所定距離D1の範囲内に収まっていない場合、連続性判定部24は、第1の操作101の次に連続性のある操作が行われる可能性が無いと判断する。この場合、連続性判定部24は、その後に第2の操作102が検知されると、第2の操作102の連続性判定を行うことなく、第2の操作102を第1の操作101に対して連続性を有さない操作であると特定する。したがって、この場合は、第2の操作102の操作開始位置PB1が検知された表示領域の操作画面が第2の操作102の操作対象画面として特定される。
図17は、第1の操作101の移動軌跡101aが直線L1から所定距離D1の範囲内に収まっている状態を示す図である。図17に示すように、第1の操作101の移動軌跡101aが直線L1から所定距離D1の範囲内に収まっている場合、連続性判定部24は、第1の操作101の次に連続性のある操作が行われる可能性が有ると判断する。この場合、連続性判定部24は、その後に第2の操作102が検知されると、上述した第2の操作102の連続性判定を行い、その判定結果に基づいて第2の操作102の操作対象画面を特定する。
ところで、操作検知部22は、連続性判定部24によって第1の操作101に対して連続性を有すると判定された第2の操作102の継続中に第3の操作103を検知することもある。この場合、連続性判定部24は、第2の操作102が終了していないため、上述した第1乃至第4の条件を適用して第3の操作103が第2の操作102に対して連続性を有するか否かを判定することができない。そのため、連続性判定部24は、第2の操作102の継続中に第3の操作103が検知されると、第3の操作103が第1の操作101に対して連続性を有するか否かの連続性判定を行う。
図18は、第2の操作102の継続中に第3の操作103が検知される場合の連続性判定を説明する図である。例えば図18に示すように、第1の操作101が終了した後に、第2の操作102が検知され、第2の操作102が第1の操作101に対して連続性を有する操作であると判定された場合を想定する。この場合、第2の操作102が継続して行われているときに操作検知部22によって第3の操作103が検知されると、連続性判定部24は、第3の操作103の操作開始位置PC1を記憶する。そして第2の操作102が継続して行われているため、連続性判定部24は、第3の操作103が第1の操作101に対して連続性を有するか否かを判定する。このとき、連続性判定部24は、第3の操作103が第1の操作101に対し、上述した第1乃至第4の条件のうちの少なくとも1つの条件が成立しているか否かを判定する。その結果、第3の操作103が第1の操作101に対して連続性を有する操作であると判定した場合、連続性判定部24は、第1の操作101の操作対象画面と同一の操作画面を、第3の操作103による操作対象画面として特定する。また、第3の操作103が第1の操作101に対して連続性を有さない操作であると判定した場合、連続性判定部24は、第3の操作103の操作開始位置PC1が含まれる第2の表示領域R2の操作画面を、第3の操作103による操作対象画面として特定する。図18の例では、第3の操作103が第1の操作101に対して連続性を有さない操作であると判定された場合を示している。そのため、第3の操作103の操作位置が図18に示す方向へ移動すると、第2の表示領域R2の操作画面が第3の操作103に基づいて矢印FB方向へスクロールする。このとき、第1の表示領域R1の操作画面は、第2の操作102に基づいて矢印FB方向へスクロールしている。したがって、第1の表示領域R1の操作画面と、第2の表示領域R2の操作画面とが同時に更新されることになる。
次に第1の操作101の操作終了が検知される前に第2の操作102が検知される場合について説明する。第1の操作101の操作終了が検知される前に第2の操作102が検知された場合において、第2の操作102が第1の操作101に対して連続性を有する操作には、2つの指先で行うピンチ操作やローテーション操作が含まれる。つまり、ピンチ操作やローテーション操作の場合には、2つの指先がそれぞれ異なる表示領域で検知された場合であっても1つの表示領域に表示されている操作画面に対する操作となる。そのため、連続性判定部24は、第1の操作101が検知され、第1の操作101の操作終了が検知される前に、第1の操作101とは異なる表示領域で第2の操作102が検知された場合に、第1の操作101及び第2の操作102による操作がピンチ操作又はローテーション操作であるか否かを判定し、ピンチ操作又はローテーション操作であることが特定できれば、第2の操作102が第1の操作101に対して連続性を有する操作であると判定する。
図19は、ピンチ操作の判定例を示す図である。例えば図19(a)に示すように、第1の表示領域R1で第1の操作101が検知された後、第2の表示領域R2において第2の操作102が検知された場合を想定する。連続性判定部24は、第1の操作101の初期移動と第2の操作102の初期移動とを検知する。第1の操作101の初期移動が直線方向への移動であり、且つ、第2の操作102の初期移動も直線方向への移動である場合、連続性判定部24は、第1の操作101及び第2の操作102が互いに関連したピンチ操作である可能性があると判断する。ピンチ操作の可能性がある場合、連続性判定部24は、第1の操作101の初期移動方向と第2の操作102の初期移動方向とが成す角度βを算出する。そして連続性判定部24は、角度βが所定角度θ(例えばθ≦30度)以内であるか否かを判断し、角度βが所定角度θ(例えばθ≦30度)以内であれば、第2の操作102が第1の操作101に対して連続性を有する操作であり、第1の操作101及び第2の操作102が第1の表示領域R1に表示されている操作画面をピンチイン又はピンチアウトさせるためのピンチ操作であると判定する。その結果、例えば図19(a)に示すように、第1の操作101の操作位置及び第2の操作102の操作位置が互いに接近するように移動すると、第1の表示領域R1の操作画面がピンチインするように画面更新される。
これに対し、図19(b)に示すように角度βが所定角度θを超えている場合、連続性判定部24は、第2の操作102を第1の操作101と連続性を有さない操作であると判定する。これにより、第1の操作101と異なる表示領域で検知された第2の操作102の操作対象画面は、第2の表示領域R2で表示されている操作画面となる。その結果、図19(b)に示すように、第1の操作101に基づいて第1の表示領域R1の操作画面が矢印FA方向へスクロール表示され、第2の操作102に基づいて第2の表示領域R2の操作画面が矢印FC方向へスクロール表示される。
図20は、ローテーション操作の判定例を示す図である。例えば図20(a)に示すように、第1の表示領域R1で第1の操作101が検知された後、第2の表示領域R2において第2の操作102が検知された場合を想定する。連続性判定部24は、第1の操作101の初期移動と第2の操作102の初期移動とを検知する。第1の操作101の初期移動が回転方向への移動であり、且つ、第2の操作102の初期移動も回転方向への移動である場合、連続性判定部24は、第1の操作101及び第2の操作102が互いに関連したローテーション操作である可能性があると判断する。ローテーション操作の可能性がある場合、連続性判定部24は、第1の操作101の回転方向の中心位置C1と、第2の操作102の回転方向の中心位置C2と算出する。また連続性判定部24は、第1の操作101の操作開始位置PA1と第2の操作102の操作開始位置PB1とを結ぶ直線L3を算出する。そして連続性判定部24は、2つの中心位置C1,C2が直線L3の近傍に存在する場合に、第2の操作102が第1の操作101に対して連続性を有する操作であり、第1の操作101及び第2の操作102が第1の表示領域R1に表示されている操作画面をローテーションさせるためのローテーション操作であると判定する。その結果、例えば図20(a)に示すように、第1の操作101の操作位置及び第2の操作102の操作位置が中心位置C1,C2を中心に回転することに伴い、第1の表示領域R1の操作画面がローテーションするように画面更新される。
これに対し、図20(b)に示すように2つの中心位置C1,C2が2つの操作開始位置PA1,PB1を結ぶ直線L3の近傍に存在しない場合、連続性判定部24は、第2の操作102を第1の操作101と連続性を有さない操作であると判定する。これにより、第1の操作101と異なる表示領域で検知された第2の操作102の操作対象画面は、第2の表示領域R2で表示されている操作画面となる。その結果、第1の操作101に基づいて第1の表示領域R1の操作画面が更新され、第2の操作102に基づいて第2の表示領域R2の操作画面が更新される。
このように連続性判定部24は、第1の操作101の後に、第2の操作102が第1の操作101とは異なる表示領域で検知された場合、第2の操作102の連続性を判定し、第2の操作102の連続性を肯定すると、第2の操作102の操作対象画面を第1の操作101の操作対象画面と同一画面に設定する。そのため、ユーザーによって同一の操作画面に対して連続的に行われる操作を適切に検知することが可能であり、ユーザーが意図する操作画面を更新することができるようになる。
次に上記のように構成される表示装置3において行われる処理手順について説明する。図21乃至図26は、表示装置3において行われる処理手順の一例を示すフローチャートである。この処理は、表示装置3のCPU12がプログラム16を実行することによって行われる処理である。以下の説明では、主に、表示部10の表示領域が第1の表示領域R1と第2の表示領域R2とに分割された状態における処理について述べる。
表示装置3は、この処理を開始すると、表示制御部21を機能させ、ユーザーによる指示操作に基づいて画面分割処理を行う(ステップS10)。これにより、表示部10の表示領域が境界線BLを挟んで第1の表示領域R1と第2の表示領域R2とに分割される。尚、境界線BLの位置はユーザーが自由に変更することができる。そして表示制御部21は、2つの表示領域R1,R2に対して、画像処理機能を操作するための操作画面と、サーバー機能を操作するための操作画面とを表示する。
表示部10の画面分割処理が行われると、表示装置3は、操作検知部22による操作検知状態となる。表示装置3は、操作検知部22によってユーザーの操作開始が検知されたか否かを判断する(ステップS11)。ユーザーの操作開始が検知された場合(ステップS11でYES)、表示装置3は、連続性判定部24を機能させる。そして連続性判定部24は、操作開始検知処理を実行する(ステップS12)。
図22は、操作開始検知処理(ステップS12)の詳細な処理手順の一例を示すフローチャートである。連続性判定部24は、この処理を開始すると、ユーザーの操作開始位置を記憶する(ステップS20)。次に連続性判定部24は、既に第1の操作101が検知されている状態であるか否かを判断する(ステップS21)。ステップS21では、第1の操作101の操作開始が検知された後、未だ操作終了が検知されていない場合にYESとなり、それ以外の場合にNOとなる。第1の操作101が検知されていない場合(ステップS21でNO)、連続性判定部24は、操作終了フラグがオフであるか否かを判断する(ステップS22)。操作終了フラグは、ユーザーによる操作終了が検知されたタイミングでオンとなり、ユーザーによる操作終了から所定時間が経過したタイミングでオフとなるフラグである。操作終了フラグがオフである場合(ステップS22でYES)、連続性判定部24は、操作検知部22によって新たに検知された操作を第1の操作101として特定する(ステップS23)。そして連続性判定部24は、第1の操作101の操作開始位置PA1を含んでいる操作画面を第1の操作101による操作対象画面に決定する(ステップS28)。
既に第1の操作101が検知されている場合(ステップS21でYES)、又は、操作終了フラグがオンであった場合(ステップS22でNO)、連続性判定部24は、操作検知部22によって新たに検知された操作を第1の操作101として特定する(ステップS24)。続いて連続性判定部24は、第2の操作101が第1の操作101に対して連続性を有するか否かを判定するための連続性判定処理を実行する(ステップS25)。
図23は、連続性判定処理(ステップS25)の詳細な処理手順の一例を示すフローチャートである。連続性判定部24は、この処理を開始すると、第2の操作102の操作開始位置PB1を判定する(ステップS40)。その判定結果に基づき、連続性判定部24は、第2の操作102の操作開始位置PB1が第1の操作101の操作開始位置PA1とは異なる表示領域に含まれるか否かを判断する(ステップS41)。第2の操作102が第1の操作101とは異なる表示領域で検知された場合(ステップS41でYES)、連続性判定部24は、未だ第1の操作101が検知されている状態であるか否かを判断する(ステップS42)。第1の操作101が検知されている状態である場合(ステップS42でYES)、連続性判定部24は、第1の操作101及び第2の操作102の移動方向を判定し(ステップS43)、ピンチ操作であるか否かを判断する(ステップS44)。ピンチ操作でない場合(ステップS44でNO)、連続性判定部24は、さらにローテーション操作であるか否かを判断する(ステップS45)。その結果、ユーザーの操作がピンチ操作又はローテーション操作である場合(ステップS44又はS45でYES)、連続性判定部24は、第2の操作102が第1の操作101に対して連続性を有する操作であると判定する(ステップS46)。
一方、第1の操作101が既に終了している場合(ステップS42でNO)、連続性判定部24は、第2の操作102の操作開始位置PB1が第1の操作101の操作終了位置PA2に対して所定距離の範囲内の領域R3に含まれるか否かを判断する(ステップS47)。第2の操作102の操作開始位置PB1が第1の操作101の操作終了位置PA2に対して所定距離の範囲内の領域R3に含まれる場合(ステップS47でYES)、連続性判定部24は、第2の操作102の初期移動を検知したか否かを判断する(ステップS48)。第2の操作102の初期移動を検知した場合(ステップS48でYES)、連続性判定部24は、第2の操作102の移動方向を判定し(ステップS49)、第1の操作101の操作開始位置PA1と操作終了位置PB2とを結ぶ第1の直線L1と、第2の操作102の操作開始位置PB1と現在位置PB2とを結ぶ第2の直線L2とを求める。そして連続性判定部24は、第1の直線L1と第2の直線L2とが交わる角度αが所定角度θ以内であるか否かを判断する(ステップS50)。その結果、角度αが所定角度θ以内である場合(ステップS50でYES)、連続性判定部24は、第2の操作102が第1の操作101に対して連続性を有する操作であると判定する(ステップS46)。
またステップS48において第2の操作102の初期移動を検知していない場合(ステップS48でNO)、連続性判定部24は、ユーザーによる第2の操作102がロングタップ操作であるか否かを判断する(ステップS51)。その結果、ロングタップ操作でない場合(ステップS51でNO)、連続性判定部24は、第2の操作102が第1の操作101に対して連続性を有すると判定する(ステップS46)。これに対し、ロングタップ操作である場合(ステップS51でYES)、連続性判定部24は、第2の操作102によってユーザーが操作可能なコンテンツB1が選択された状態であると判断し、第2の操作102が第1の操作101に対して連続性を有さない操作であると判定する(ステップS52)。
またステップS50において角度αが所定角度θを超えている場合(ステップS50でNO)、連続性判定部24は、第2の操作102が第1の操作101に対して連続性を有さない操作であると判定する(ステップS52)。
さらに連続性判定部24は、ステップS41において第2の操作102が第1の操作101と同じ表示領域で検知されていると判断した場合(ステップS41でNO)、ステップS45においてローテーション操作でないと判断した場合(ステップS45でNO)、或いは、ステップS47において第2の操作102の操作開始位置PB1が第1の操作101の操作終了位置PA2に対して所定距離の範囲内の領域R3に含まれていないと判断した場合(ステップS47でYES)にも、第2の操作102が第1の操作101に対して連続性を有さない操作であると判定する(ステップS52)。以上で、連続性判定処理(ステップS25)が終了する。
図22に戻り、連続性判定部24は、連続性判定処理(ステップS25)の結果を参照することにより、第2の操作102が第1の操作101に対して連続性を有する操作であるか否かを判断し(ステップS26)、連続性を有する操作である場合(ステップS26でYES)には、第2の操作102を第1の操作101の連続操作として特定する(ステップS27)。そして連続性判定部24は、第1の操作101の操作開始位置PA1を含んでいる操作画面を第2の操作102による操作対象画面に決定する(ステップS28)。
また第2の操作102が連続性を有さない操作である場合(ステップS26でNO)、連続性判定部24は、第2の操作102を第1の操作101とは関係しない個別の操作として特定する(ステップS29)。そして連続性判定部24は、第2の操作102の操作開始位置PB1を含んでいる操作画面を第2の操作102による操作対象画面に決定する(ステップS30)。以上で、操作開始検知処理(ステップS12)が終了する。
図21に戻り、表示装置3は、操作検知部22によってユーザーの新たな操作開始が検知されていない場合(ステップS11でNO)、操作検知部22によってユーザーの継続操作が検知されたか否かを判断する(ステップS13)。ユーザーの継続操作が検知された場合(ステップS13でYES)、表示装置3は、表示制御部21を機能させる。そして表示制御部21は、継続操作検知処理を実行する(ステップS14)。
図24は、継続操作検知処理(ステップS14)の詳細な処理手順の一例を示すフローチャートである。表示制御部21は、ユーザーによって継続的に行われている操作(第1の操作101及び第2の操作102を含む)の移動方向を検知したか否かを判断する(ステップS60)。移動方向を検知した場合(ステップS60でYES)、表示制御部21は、移動した操作が第1の操作101及び第2の操作102のいずれであるかを特定し、連続性判定部24によって決定されている操作対象画面を特定する(ステップS61)。そして表示制御部21は、操作位置の移動方向及び移動速度に応じて操作画面を更新する(ステップS62)。
また操作位置の移動を検知していない場合(ステップS60でNO)、連続性判定部24は、ユーザーの操作がロングタップ操作であるか否かを判断する(ステップS63)。ロングタップ操作である場合(ステップS63でYES)、表示制御部21は、操作位置に対応するコンテンツB1を選択状態に更新する(ステップS64)。またロングタップ操作でない場合(ステップS63でNO)、表示制御部21は、ユーザーの操作に応じた画面更新を行う(ステップS65)。以上で、継続操作検知処理(ステップS14)が終了する。
再び図21に戻り、表示装置3は、操作検知部22によってユーザーの継続操作が検知されていない場合(ステップS13でNO)、操作検知部22によってユーザーの操作終了操作が検知されたか否かを判断する(ステップS15)。ユーザーの操作終了が検知された場合(ステップS15でYES)、表示装置3は、操作終了検知処理を実行する(ステップS16)。
図25は、操作終了検知処理(ステップS16)の詳細な処理手順の一例を示すフローチャートである。表示装置3は、この処理を開始すると、まず連続性判定部24を機能させる。連続性判定部24は、ユーザーによる操作終了位置を記憶する(ステップS70)。そして連続性判定部24は、終了した操作における操作開始位置から操作終了位置までの移動軌跡を算出すると共に、操作開始位置と操作終了位置とを結ぶ直線を算出し、移動軌跡が直線に対して所定距離D1の範囲内に収まっているか否かの判定を行う(ステップS71)。連続性判定部24は、その判定結果に基づき、その後の操作が行われたときに連続性判定を行うか否かを判断する(ステップS72)。連続性判定を行う場合(ステップS72でYES)、連続性判定部24は、操作終了フラグがオフであるか否かを判断し(ステップS73)、操作終了フラグがオフである場合(ステップS73でYES)、操作終了フラグをオンに設定する(ステップS74)。続いて連続性判定部24は、所定時間TDを読み出す(ステップS75)。そして連続性判定部24は、表示制御部21による操作画面の更新中であるか否かを判断する(ステップS76)。すなわち、終了した操作に基づく操作画面の更新処理が未だ継続している状態であるか否かを判断するのである。操作画面の更新中である場合(ステップS76でYES)、所定時間TDを延長する(ステップS77)。操作画面の更新中でない場合(ステップS76でNO)、所定時間TDは延長されない。そして連続性判定部24は、所定時間TDのカウント動作を開始する(ステップS78)。これに対し、連続性判定を行わないと判断した場合(ステップS72でNO)、或いは、操作終了フラグが既にオンである場合(ステップS73でNO)、上記ステップS74〜S78の処理はスキップする。
続いて表示装置3は、操作情報出力部23を機能させる。操作情報出力部23は、ユーザーによる操作終了に伴い、操作情報を装置本体2へ出力する必要があるか否かを判断する(ステップS79)。操作情報を出力する必要がある場合(ステップS79でYES)、操作情報出力部23は、ユーザーの操作に基づく操作情報を生成し、その操作情報を装置本体2へ出力する(ステップS80)。これに対し、操作情報を出力する必要がない場合(ステップS79でNO)、ステップS80の処理はスキップする。以上で、操作終了検知処理(ステップS16)が終了する。
再び図21に戻る。表示装置3は、操作検知部22によってユーザーの操作終了が検知されていない場合(ステップS15でNO)、ステップS16を行うことなく、次のステップへ処理を進める。そして表示装置3は、フラグ処理を実行する(ステップS17)。
図26は、フラグ処理(ステップS17)の詳細な処理手順の一例を示すフローチャートである。表示装置3は、この処理を開始すると、連続性判定部24を機能させる。連続性判定部24は、まず操作終了フラグがオンであるか否かを判断する(ステップS90)。操作終了フラグがオフである場合(ステップS90でNO)、連続性判定部24は、フラグ処理を終了させる。また操作終了フラグがオンである場合(ステップS90でYES)、連続性判定部24は、所定時間TDのカウント動作が終了したか否かを判断する(ステップS91)。所定時間TDのカウント動作が終了していない場合(ステップS91でNO)、連続性判定部24は、フラグ処理を終了させる。また所定時間TDのカウント動作が終了している場合(ステップS91でYES)、連続性判定部24は、表示制御部21による操作画面の更新中であるか否かを判断する(ステップS92)。操作画面の更新中である場合(ステップS92でYES)、連続性判定部24は、フラグ処理を終了させる。また操作画面の更新中でない場合(ステップS92でNO)、連続性判定部24は、操作終了フラグをオフに設定する(ステップS93)。以上で、フラグ処理(ステップS17)が終了する。
再び図21に戻り、表示装置3は、次に画面分割を終了させるか否かを判断する(ステップS18)。例えば、ユーザーによって画面分割の終了が指示されているか否かを判断するのである。その結果、画面分割を終了させない場合(ステップS18でNO)、表示装置3は、ステップS11に戻って上述した処理を繰り返す。したがって、ユーザーが表示部10の表示画面に対するタッチ操作を行う度に、そのタッチ操作がそれ以前のタッチ操作に対して連続性を有する操作であるか否かが判定され、連続性を有する操作である場合にはそれ以前のタッチ操作で更新された操作画面と同一の操作画面が更新されるようになる。また表示装置3は、画面分割を終了させると判断すると(ステップS18でYES)、全ての処理が終了する。
以上のように本実施形態の画像処理装置1は、表示装置3において画像処理機能をユーザーが操作するための操作画面と、サーバー機能をユーザーが操作するための操作画面とを同時に表示させることが可能である。このとき、表示装置3は、境界線BLを挟んで第1の表示領域R1と第2の表示領域R2とを表示部10に表示させる。そして表示装置3は、操作検知部22によって第1の表示領域R1において第1の操作101が検知された後、第2の表示領域R2において第2の操作102が検知された場合に、第2の操作102が第1の操作101に対して連続性を有する操作であるか否かを判定する。また表示装置3は、第2の操作102が第1の操作101に対して連続性を有する操作であると判定すると、第2の操作102に基づいて第1の表示領域R1の操作画面を更新し、第2の操作102が第1の操作101に対して連続性を有さない操作であると判定すると、第2の操作102に基づいて第2の表示領域R2の操作画面を更新する。
上記のような表示装置3は、ユーザーにとって意図しない操作画面が更新されてしまう現象を低減し、操作性を向上させることが可能である。例えば、ユーザーが第1の表示領域R1において表示されている操作画面を横方向にスクロールさせるために、タッチ操作の操作位置を横方向へ移動させているとき、その操作位置が境界線を越えて第2の表示領域R2まで進入してしまった場合でも、第1の表示領域R1の操作画面のスクロール表示を継続させることが可能である。そしてユーザーが第2の表示領域R2において指先を画面上から一旦離した直後に再び第2の表示領域R2においてタッチ操作を開始し、同じ操作画面に対する操作を行おうとした場合でも、表示装置3は、第1の表示領域R1の操作画面をユーザーの操作に基づいて更新することができる。すなわち、上述した表示装置3は、ユーザーが同一の操作画面に対して行う連続的な操作を適切に検知し、その連続的な操作に基づいてユーザーが意図する操作画面を適切に更新することができるのである。
以上、本発明に関する一実施形態について説明したが、本発明は、上記実施形態において説明した内容のものに限られるものではなく、種々の変形例が適用可能である。
例えば上記実施形態では、表示部10を左右に画面分割した状態において左側の領域を第1の表示領域R1とし、右側の領域を第2の表示領域R2とした場合を例示した。しかし、これに限られるものではなく、右側の領域を第1の表示領域R1とし、左側の領域を第2の表示領域R2としても良い。また画面の分割方向は、左右方向の分割に限られず、上下方向の分割であっても構わない。
また上記実施形態において、表示装置3は、画像処理装置1のユーザーインタフェースとして設けられるものである場合を例示した。しかし、表示装置3は、必ずしも画像処理装置1のユーザーインタフェースとして設けられるものに限られない。例えば表示装置3は、パーソナルコンピュータ(PC)などの表示装置として設けられるものであっても良い。また表示装置3は、スマートフォンやタブレット端末などの携帯端末装置であっても良い。
また上述したプログラム16は表示装置3に予めインストールされている場合を例示した。しかし、プログラム16は、表示装置3に予めインストールされているものに限られず、それ単独で取引の対象となるものであっても構わない。その場合、プログラム26は、インターネットなどを介してユーザー自身がダウンロードする形態で表示装置3に提供されるものであっても良いし、CD−ROMなどのコンピュータ読み取り可能な記録媒体に記録された状態で表示装置3に提供されるものであっても構わない。
1 画像処理装置
3 表示装置
10 表示部(表示手段)
16 プログラム
21 表示制御部(表示制御手段)
22 操作検知部(操作検知手段)
24 連続性判定部(連続性判定手段)
31 画像処理部
32 サーバー機能部
41,51 操作画面出力部(操作画面出力手段)
42 ジョブ設定部(ジョブ設定手段)
43 ジョブ制御部(ジョブ制御手段)
BL 境界線
R1 第1の表示領域
R2 第2の表示領域

Claims (14)

  1. 第1の表示領域と第2の表示領域とを境界線を挟んで表示し、前記第1及び第2の表示領域のそれぞれに異なる操作画面を表示可能な表示手段と、
    前記表示手段の表示画面に対するユーザーの操作を検知する操作検知手段と、
    前記操作検知手段によって前記第1の表示領域において第1の操作が検知された後、前記第2の表示領域において第2の操作が検知された場合に、前記第2の操作が前記第1の操作に対して連続性を有する操作であるか否かを判定する連続性判定手段と、
    前記連続性判定手段によって前記第2の操作が前記第1の操作に対して連続性を有する操作であると判定された場合に、前記第2の操作に基づいて前記第1の表示領域の操作画面を更新し、前記連続性判定手段によって前記第2の操作が前記第1の操作に対して連続性を有さない操作であると判定された場合に、前記第2の操作に基づいて前記第2の表示領域の操作画面を更新する表示制御手段と、
    を備えることを特徴とする表示装置。
  2. 前記連続性判定手段は、前記第1の操作の操作位置が前記境界線を越えて前記第2の表示領域へ移動した場合に、前記第2の表示領域における前記第1の操作を前記第1の表示領域に対する操作であると判定することを特徴とする請求項1に記載の表示装置。
  3. 前記連続性判定手段は、前記第1の操作の操作終了が前記第2の表示領域において検知された後、前記第2の表示領域において前記第2の操作が検知されることに伴い、前記第2の操作が前記第1の操作に対して連続性を有する操作であるか否かを判定することを特徴とする請求項1又は2に記載の表示装置。
  4. 前記連続性判定手段は、前記第1の操作の操作終了が検知されてから所定時間以内に前記第2の操作が検知された場合に、前記第2の操作を前記第1の操作に対して連続性を有する操作であると判定することを特徴とする請求項1乃至3のいずれかに記載の表示装置。
  5. 前記連続性判定手段は、前記第1の操作の操作終了が検知された後、前記表示制御手段によって前記第1の操作に基づく前記第1の表示領域の操作画面の更新処理が継続的に行われている場合、前記所定時間を延長させることを特徴とする請求項4に記載の表示装置。
  6. 前記連続性判定手段は、前記第1の操作の操作終了が検知された後、前記第1の操作の操作終了位置から所定距離の範囲内において前記第2の操作が検知された場合に、前記第2の操作を前記第1の操作に対して連続性を有する操作であると判定することを特徴とする請求項1乃至5のいずれかに記載の表示装置。
  7. 前記連続性判定手段は、前記第1の操作の操作終了が検知された後、前記第2の操作が検知されることに伴い、前記第1の操作の操作開始位置と操作終了位置とを結ぶ第1の直線と、前記第2の操作の操作開始位置と現在位置とを結ぶ第2の直線との成す角度を検出し、当該角度が所定角度以内である場合に、前記第2の操作を前記第1の操作に対して連続性を有する操作であると判定することを特徴とする請求項1乃至6のいずれかに記載の表示装置。
  8. 前記連続性判定手段は、前記第2の操作が前記第1の操作に対して連続性を有する操作であると判定した後、前記第2の操作の操作位置が前記境界線を越えて前記第1の表示領域へ移動した場合に、前記第1の表示領域における前記第2の操作を前記第1の表示領域に対する操作であると判定することを特徴とする請求項1乃至7のいずれかに記載の表示装置。
  9. 前記連続性判定手段は、前記第2の操作の操作開始位置にユーザーが操作可能なコンテンツが表示されており、且つ、前記第2の操作がロングタップ操作である場合、前記第2の操作が前記第1の操作に対して連続性を有さない操作であると判定することを特徴とする請求項1乃至8のいずれかに記載の表示装置。
  10. 前記連続性判定手段は、前記第1の操作の操作開始位置から操作終了位置までの移動軌跡が前記第1の操作の操作開始位置と操作終了位置とを結ぶ直線から所定距離の範囲内にない場合、前記第1の操作の後に、前記第2の表示領域において第2の操作が検知された場合であっても連続性の判定を行わないことを特徴とする請求項1乃至9のいずれかに記載の表示装置。
  11. 前記連続性判定手段は、前記第1の操作に対して連続性を有する操作であると判定した前記第2の操作が継続されているときに、前記操作検知手段によって第3の操作が検知された場合、前記第3の操作が前記第1の操作に対して連続性を有する操作であるか否かを更に判定することを特徴とする請求項1乃至10のいずれかに記載の表示装置。
  12. 前記連続性判定手段は、前記第1の操作の操作終了が検知される前に前記第2の表示領域において前記第2の操作が検知された場合、前記第1の操作の操作位置の移動方向及び前記第2の操作の操作位置の移動方向に基づいて前記第2の操作が前記第1の操作に対して連続性を有する操作であるか否かを判定することを特徴とする請求項1乃至11のいずれかに記載の表示装置。
  13. 請求項1乃至12のいずれかに記載の表示装置と、
    ジョブの設定操作を行うためのジョブ設定画面を前記表示装置へ出力し、前記第1の表示領域及び前記第2の表示領域の少なくとも一方に表示させる操作画面出力手段と、
    前記表示装置から前記ジョブ設定画面に対する操作情報を取得し、ジョブの設定を行うジョブ設定手段と、
    前記ジョブ設定手段によるジョブの設定に基づき、ジョブの実行を制御するジョブ制御手段と、
    を備えることを特徴とする画像処理装置。
  14. 第1の表示領域と第2の表示領域とを境界線を挟んで表示し、前記第1及び第2の表示領域のそれぞれに異なる操作画面を表示可能な表示手段と、
    前記表示手段の表示画面に対するユーザーの操作を検知する操作検知手段と、
    を備える表示装置において実行されるプログラムであって、前記表示装置に、
    前記操作検知手段によって前記第1の表示領域において第1の操作が検知された後、前記第2の表示領域において第2の操作が検知された場合に、前記第2の操作が前記第1の操作に対して連続性を有する操作であるか否かを判定する連続性判定ステップと、
    前記連続性判定ステップによって前記第2の操作が前記第1の操作に対して連続性を有する操作であると判定された場合に、前記第2の操作に基づいて前記第1の表示領域の操作画面を更新し、前記連続性判定ステップによって前記第2の操作が前記第1の操作に対して連続性を有さない操作であると判定された場合に、前記第2の操作に基づいて前記第2の表示領域の操作画面を更新する画面更新ステップと、
    を実行させることを特徴とするプログラム。
JP2017243456A 2017-12-20 2017-12-20 表示装置、画像処理装置及びプログラム Active JP6973025B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017243456A JP6973025B2 (ja) 2017-12-20 2017-12-20 表示装置、画像処理装置及びプログラム
CN201811538605.0A CN109951611A (zh) 2017-12-20 2018-12-17 显示装置、图像处理装置以及计算机可读取的记录介质
US16/223,268 US10735606B2 (en) 2017-12-20 2018-12-18 Display device, image processing device and non-transitory recording medium determining continuity of operation two or more display areas

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017243456A JP6973025B2 (ja) 2017-12-20 2017-12-20 表示装置、画像処理装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2019109802A JP2019109802A (ja) 2019-07-04
JP6973025B2 true JP6973025B2 (ja) 2021-11-24

Family

ID=66816589

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017243456A Active JP6973025B2 (ja) 2017-12-20 2017-12-20 表示装置、画像処理装置及びプログラム

Country Status (3)

Country Link
US (1) US10735606B2 (ja)
JP (1) JP6973025B2 (ja)
CN (1) CN109951611A (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3671412A4 (en) 2017-09-11 2020-08-05 Guangdong Oppo Mobile Telecommunications Corp., Ltd. TOUCH OPERATION RESPONSE PROCESS AND DEVICE
EP3671420A4 (en) 2017-09-11 2020-08-05 Guangdong Oppo Mobile Telecommunications Corp., Ltd. METHOD AND DEVICE FOR RESPONDING TO TOUCH OPERATIONS
WO2019047231A1 (zh) * 2017-09-11 2019-03-14 广东欧珀移动通信有限公司 触摸操作响应方法及装置
US10698533B2 (en) 2017-09-11 2020-06-30 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method for responding to touch operation and electronic device
CN108388393B (zh) * 2018-01-02 2020-08-28 阿里巴巴集团控股有限公司 移动终端点击事件的识别方法和装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090322689A1 (en) * 2008-06-30 2009-12-31 Wah Yiu Kwong Touch input across touch-sensitive display devices
JP5229083B2 (ja) * 2009-04-14 2013-07-03 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP5158023B2 (ja) * 2009-06-09 2013-03-06 富士通株式会社 入力装置、入力方法及びコンピュータプログラム
US20110154267A1 (en) * 2009-12-23 2011-06-23 Nokia Corporation Method and Apparatus for Determining an Operation Associsated with a Continuous Stroke Input
CN102468871B (zh) * 2010-10-29 2014-12-10 国际商业机器公司 建立无线连接的装置和无线设备
WO2012111230A1 (ja) * 2011-02-16 2012-08-23 Necカシオモバイルコミュニケーションズ株式会社 情報処理端末およびその制御方法
JP2013125373A (ja) * 2011-12-14 2013-06-24 Sony Corp 情報処理装置および方法、並びにプログラム
US20130222276A1 (en) * 2012-02-29 2013-08-29 Lg Electronics Inc. Electronic device and method for controlling electronic device
KR102063952B1 (ko) * 2012-10-10 2020-01-08 삼성전자주식회사 멀티 디스플레이 장치 및 멀티 디스플레이 방법
JP6171643B2 (ja) 2013-07-11 2017-08-02 株式会社デンソー ジェスチャ入力装置
JP6433347B2 (ja) * 2015-03-16 2018-12-05 三菱電機株式会社 地図表示制御装置および地図の自動スクロール方法
JP2017027422A (ja) * 2015-07-24 2017-02-02 アルパイン株式会社 表示装置及び表示処理方法

Also Published As

Publication number Publication date
CN109951611A (zh) 2019-06-28
US10735606B2 (en) 2020-08-04
JP2019109802A (ja) 2019-07-04
US20190191042A1 (en) 2019-06-20

Similar Documents

Publication Publication Date Title
JP6973025B2 (ja) 表示装置、画像処理装置及びプログラム
KR101427114B1 (ko) 화상형성장치 및 화상형성장치의 타겟영역 확대 표시방법
JP5906984B2 (ja) 表示端末装置及びプログラム
EP2720131B1 (en) Image processing device, non-transitory computer readable recording medium and operational event determining method
JP6035985B2 (ja) 画像処理装置、画像処理装置の制御プログラム、および画像処理システム
JP2022140510A (ja) 画像処理装置、画像処理装置の制御方法及びプログラム
JP6380689B2 (ja) 携帯端末装置及び携帯端末装置の制御方法
JP6142564B2 (ja) 情報表示装置および表示制御プログラム
JP2015104023A (ja) 画像処理装置、その制御方法、及びプログラム
JP6082190B2 (ja) プログラム、情報処理装置、画像表示方法及び表示システム
JP6149684B2 (ja) 携帯端末、画像処理装置、及びプログラム
CN114063867A (zh) 图像处理装置、图像处理装置的控制方法和记录介质
US10303346B2 (en) Information processing apparatus, non-transitory computer readable storage medium, and information display method
JP2000089892A (ja) 表示制御装置、表示制御方法及び記憶媒体
JP6291942B2 (ja) 操作パネル装置
US11196875B2 (en) Application apparatus, image processing apparatus, and non-transitory computer readable medium with plurality of recovery methods for applications switching to be in operation target state
JP5862627B2 (ja) 表示制御装置、表示制御方法、表示制御プログラム及び画像処理装置
JP2017097814A (ja) 情報処理装置、情報処理装置の制御方法、及びプログラム
JP2014232415A (ja) 表示装置、画像処理装置及びプログラム
JP2015102946A (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
JP6992916B2 (ja) 処理装置
JP6565256B2 (ja) 表示装置、画像処理装置及びプログラム
JP7052842B2 (ja) 情報処理装置およびプログラム
JP2011175516A (ja) 入力装置及び入力制御プログラム
JP2018032249A (ja) 処理装置及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201120

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210928

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211005

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211018

R150 Certificate of patent or registration of utility model

Ref document number: 6973025

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150