JP7119886B2 - 画像処理装置、操作制御方法及び操作制御プログラム - Google Patents

Description

本発明は、画像処理装置、操作制御方法及び操作制御プログラムに関し、特に、ユーザによる操作を受け付けるユーザインターフェースを備える画像処理装置、当該ユーザインターフェースを用いた操作制御方法及び当該ユーザインターフェースを制御する操作制御プログラムに関する。

ＭＦＰ（Multi-Functional Peripherals）やスキャナ装置、ファクシミリ装置などの画像処理装置では、画像処理装置に設けられたタッチパネル、若しくは、画像処理装置に有線又は無線で接続された操作端末などのユーザインターフェース（ＵＩ：User Interface）を備えており、ＵＩを操作することによって、画像処理装置の操作を行うことができる。例えば、ＨＴＭＬ（Hyper Text Markup Language）などの言語を用いて作成したデータを用いることにより、操作に応じてＵＩ画面の表示を変更することができる。

ここで、近年の画像処理装置は様々な機能を備えており、この様々な機能をＵＩ画面で操作するために、ＵＩ画面には操作のためのボタンやキー、入力欄など（パーツと呼ぶ。）を多数表示する必要があり、その結果、各々のパーツの表示サイズが小さくなり、操作性が悪化する。そこで、ＩＷＳ（Internal Web Server）ＵＩアプリケーションやＷｅｂＵＩでは、ＵＩ画面上のピンチアウト操作に応じてＵＩ画面を拡大するようにしている。

例えば、下記特許文献１には、アイコンが配置されたホーム画面を表示するタッチスクリーンディスプレイと、前記ホーム画面のうち前記タッチスクリーンディスプレイに表示されている一部領域に対して第１ジェスチャが行われると、前記ホーム画面のうち前記タッチスクリーンディスプレイに表示される領域を拡大または縮小するコントローラと、を備える装置が開示されている。

特開２０１３－１３７７５０号公報

上述したように、ＵＩ画面上でピンチアウト操作を行うことによってＵＩ画面を拡大することができるが、ＵＩ画面全体を拡大すると表示されなくなるパーツが生じ、操作性が悪化するという問題があった。この問題に対して、一部のフレームのみを拡大する方法も考えられるが、この方法では、拡大されないフレーム内のパーツは見にくいままであり、操作性を改善することができない。

本発明は、上記問題点に鑑みてなされたものであって、その主たる目的は、ピンチアウト操作が行われた場合に、領域に応じてパーツを適切に拡大して表示することができる画像処理装置、操作制御方法及び操作制御プログラムを提供することにある。

本発明の一側面は、第１のパーツを配置した第１領域と、第２のパーツを配置した第２領域と、を含む操作画面を表示するタッチパネルを備える画像処理装置であって、前記タッチパネルから出力される信号に基づいて、前記タッチパネル上の操作を判定する操作判定部と、前記タッチパネル上でピンチアウト操作が行われた場合に、前記ピンチアウト操作に応じて前記第２領域を拡大し、前記第２領域の拡大に応じて前記第１領域を縮小するレイアウト変更部と、縮小した前記第１領域に、前記第１のパーツを拡大して配置すると共に、拡大した前記第２領域に、前記第２のパーツを拡大して配置した前記操作画面の画面データを生成し、前記タッチパネルに出力する画面データ生成部と、を備えることを特徴とする。

本発明の一側面は、第１のパーツを配置した第１領域と、第２のパーツを配置した第２領域と、を含む操作画面を表示するタッチパネルを備える画像処理装置における操作制御方法であって、前記タッチパネルから出力される信号に基づいて、前記タッチパネル上の操作を判定する操作判定処理と、前記タッチパネル上でピンチアウト操作が行われた場合に、前記ピンチアウト操作に応じて前記第２領域を拡大し、前記第２領域の拡大に応じて前記第１領域を縮小するレイアウト変更処理と、縮小した前記第１領域に、前記第１のパーツを拡大して配置すると共に、拡大した前記第２領域に、前記第２のパーツを拡大して配置した前記操作画面の画面データを生成し、前記タッチパネルに出力する画面データ生成処理と、を実行することを特徴とする。

本発明の一側面は、第１のパーツを配置した第１領域と、第２のパーツを配置した第２領域と、を含む操作画面を表示するタッチパネルを備える装置で動作する操作制御プログラムであって、前記装置に、前記タッチパネルから出力される信号に基づいて、前記タッチパネル上の操作を判定する操作判定処理、前記タッチパネル上でピンチアウト操作が行われた場合に、前記ピンチアウト操作に応じて前記第２領域を拡大し、前記第２領域の拡大に応じて前記第１領域を縮小するレイアウト変更処理、縮小した前記第１領域に、前記第１のパーツを拡大して配置すると共に、拡大した前記第２領域に、前記第２のパーツを拡大して配置した前記操作画面の画面データを生成し、前記タッチパネルに出力する画面データ生成処理、を実行させることを特徴とする。

本発明の画像処理装置、操作制御方法及び操作制御プログラムによれば、ピンチアウト操作が行われた場合に、領域に応じてパーツを適切に拡大して表示することができる。

その理由は、第１のパーツを配置した第１領域（第１のパーツをスクロールして表示する領域）と、第２のパーツを配置した第２領域（第２のパーツをスクロールしないで表示する領域）と、を含む操作画面を表示するタッチパネルを備える画像処理装置では、タッチパネルから出力される信号に基づいて、タッチパネル上の操作を判定する操作判定処理と、タッチパネル上でピンチアウト操作が行われた場合に、ピンチアウト操作に応じて第２領域を拡大し、当該第２領域の拡大に応じて第１領域を縮小するレイアウト変更処理と、縮小した第１領域に第１のパーツを拡大して配置すると共に、拡大した第２領域に第２のパーツを拡大して配置する操作画面の画面データを生成し、タッチパネルに出力する画面データ生成処理と、を実行するからである。

また、第３のパーツを配置した第３領域（第３のパーツをスクロールしないで表示する領域）を含む場合は、レイアウト変更処理では、第２領域の拡大に応じて第３領域の形状を変更し、第２領域の拡大及び第３領域の形状変更に応じて第１領域を縮小し、画面データ生成処理では、形状を変更した第３領域に第３のパーツを拡大して配置するからである。

本発明の第１の実施例に係る画像処理システムの構成を模式的に示す図である。 本発明の第１の実施例に係る画像処理システムの構成を模式的に示す図である。 本発明の第１の実施例に係る画像処理装置の構成を示すブロック図である。 本発明の第１の実施例に係る画像処理装置に表示されるＵＩ画面の拡大表示例である。 本発明の第１の実施例に係る画像処理装置の動作を示すフローチャート図である。 本発明の第１の実施例に係るＵＩ画面のソースコードの一例である。 本発明の第２の実施例に係る画像処理装置に表示されるＵＩ画面（基準画面）の一例である。 本発明の第２の実施例に係る画像処理装置に表示されるＵＩ画面（拡大率が小さい画面）の一例である。 本発明の第２の実施例に係る画像処理装置に表示されるＵＩ画面（拡大率が大きい画面）の一例である。 本発明の第２の実施例に係る画像処理装置に表示されるＵＩ画面の拡大表示例である。 本発明の第２の実施例に係る画像処理装置の動作を示すフローチャート図である。 従来の画像処理装置に表示されるＵＩ画面の拡大表示例である。

背景技術で示したように、画像処理装置では、タッチパネルや操作端末などのＵＩを備えており、ＨＴＭＬなどの言語を用いて作成したデータを用いることにより、操作に応じてＵＩ画面の表示を変更することができる。しかしながら、近年の画像処理装置は様々な機能を備えており、ＵＩ画面には操作のためのパーツを多数表示する必要があるため、各々のパーツの表示サイズが小さくなり、操作性が悪化する。

そこで、ＵＩ画面上でピンチアウト操作が行われた場合、そのピンチアウト操作に応じてＵＩ画面を拡大するようにしているが、ＵＩ画面全体を拡大すると表示されなくなるパーツが生じ、操作性が悪化する場合がある。例えば、図１０（ａ）に示すように、設定項目及び設定値とテンキーと操作ボタンとが表示されるＵＩ画面５０上でピンチアウト操作を行うと、図１０（ｂ）に示すように、ＵＩ画面５０全体が拡大するため、パーツの一部（ここでは設定項目、設定値やテンキーの一部、操作ボタンなど）が表示されなくなってしまい、設定項目が分からない、テンキーや操作ボタンが押せないなど、操作性が悪化してしまう。

この問題に対して、一部のフレーム（例えば、図１０（ａ）の設定項目及び設定値が表示される領域）のみを拡大する方法も考えられるが、この方法では、拡大されないフレーム（例えば、図１０（ａ）のテンキーが表示される領域や操作ボタンが表示される領域）は拡大されず、テンキーや操作ボタンは見えにくいままであるため、操作性を改善することができない。

そこで、本発明の一実施の形態では、第１のポイントとして、ピンチアウト操作に応じてＵＩ画面に表示されているパーツを拡大するが、その際、ＵＩ画面内の各領域のレイアウトを変更して所望のパーツが表示されるようにする。また、第２のポイントとして、ＵＩ画面にパーツをスクロールして表示する領域とパーツをスクロールしないで表示する領域とがある場合、スクロールしないで表示する領域では、領域内に収まる範囲でパーツを拡大する。また、スクロールして表示する領域では、スクロールする方向に表示されているパーツがＵＩ画面から消えてよい（スクロールによってパーツを表示させることができる）ので、ピンチアウト操作に応じた拡大率でパーツを拡大する。

具体的には、第１のパーツを配置した第１領域（第１のパーツをスクロールして表示する領域）と、第２のパーツを配置した第２領域（第２のパーツをスクロールしないで表示する領域）と、を含む操作画面を表示するタッチパネルを備える画像処理装置では、タッチパネルから出力される信号に基づいて、タッチパネル上の操作を判定する操作判定処理と、タッチパネル上でピンチアウト操作が行われた場合に、ピンチアウト操作に応じて第２領域を拡大し、当該第２領域の拡大に応じて第１領域を縮小するレイアウト変更処理と、縮小した第１領域に第１のパーツを拡大して配置すると共に、拡大した第２領域に第２のパーツを拡大して配置する操作画面の画面データを生成し、タッチパネルに出力する画面データ生成処理と、を実行する。

また、第３のパーツを配置した第３領域（第３のパーツをスクロールしないで表示する領域）を含む場合は、レイアウト変更処理では、第２領域の拡大に応じて第３領域の形状を変更し、第２領域の拡大及び第３領域の形状変更に応じて第１領域を縮小し、画面データ生成処理では、形状を変更した第３領域に第３のパーツを拡大して配置する。

例えば、図４（ａ）に示すように、設定項目とその設定値とが対応付けて表示される第１領域４１と、テンキーが表示される第２領域４２と、操作ボタンが表示される第３領域４３と、が表示されるＵＩ画面４０上でピンチアウト操作が行われた場合、図４（ｂ）に示すように、第１領域４１、第２領域４２、第３領域４３の各々の領域のレイアウトを変更し、各々の領域に表示されているパーツを拡大する。

具体的には、第２領域４２は、パーツの位置関係は変更せず、ピンチアウト操作に応じて領域のサイズを拡大（ここでは、ＵＩ画面４０の縦方向全体に表示されるように拡大）すると共に、ピンチアウト操作に応じて第２領域４２内の各パーツ（テンキー）のサイズを拡大する。

また、第３領域４３は、第２領域４２のサイズの拡大によってＵＩ画面４０の横方向の長さが減少するため、形状を変更（縦方向に拡大）すると共に、ピンチアウト操作に応じて各パーツ（操作ボタン）のサイズを拡大する。

また、第１領域４１は、第２領域４２のサイズの拡大及び第３領域４３の形状の変更に応じてサイズを縮小するが、ピンチアウト操作に応じて各パーツ（設定項目及び設定値）のサイズを拡大する。この第１領域４１では、スクロールする方向の項目数は減少するが、ＵＩ画面４０から消えた項目はスクロールによって表示することができるため、操作性の悪化を抑制することができる。また、スクロールする方向に直交する方向は、設定項目とその設定値との間の余白を減らし、設定項目と設定値との間隔を狭めることによって、設定項目や設定値がＵＩ画面４０から消えてしまう不具合を防止する。

このような操作制御を行うことにより、ピンチアウト操作が行われた場合であっても、各々の領域のパーツを適切に拡大して表示することができる。

上記した本発明の一実施の形態についてさらに詳細に説明すべく、本発明の第１の実施例に係る画像処理装置、操作制御方法及び操作制御プログラムについて、図１乃至図６を参照して説明する。図１及び図２は、本実施例の画像処理システムの構成を示す模式図であり、図３は、本実施例の画像処理装置の構成を示すブロック図である。また、図４は、本実施例の画像処理装置に表示されるＵＩ画面の拡大表示例であり、図５は、本実施例の画像処理装置の動作を示すフローチャート図である。また、図６は、本実施例の画像処理装置に表示されるＵＩ画面のソースコードの一例である。

図１に示すように、本実施例の画像処理装置１０は、ＭＦＰやスキャナ装置、ＦＡＸ装置などであり、タッチパネルなどのＵＩで操作可能な装置である。なお、図１では、画像処理装置１０の本体にＵＩを備える構成としたが、図２に示すように、画像処理装置１０とＵＩとして機能する操作端末３０とが、有線や無線によって接続される構成としてもよい。以下、図１の構成を前提にして画像処理装置１０について説明する。

図３（ａ）に示すように、本実施例の画像処理装置１０は、制御部１１、記憶部１２、通信部１３、表示操作部１４、画像読取部１５、画像処理部１６、画像形成部１７などで構成される。

制御部１１は、ＣＰＵ（Central Processing Unit）１１ａと、ＲＯＭ（Read Only Memory）１１ｂやＲＡＭ（Random Access Memory）１１ｃなどのメモリとで構成され、ＣＰＵ１１ａは、ＲＯＭ１１ｂや記憶部１２に記憶した制御プログラム（後述する操作制御プログラムを含む。）をＲＡＭ１１ｃに展開して実行することにより、画像処理装置１０全体の動作を制御する。

記憶部１２は、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）などで構成され、ＣＰＵ１１ａが各部を制御するためのプログラム、自装置の処理機能に関する情報、自装置の各部の状態情報、表示操作部１４にＵＩ画面を表示させるための画面データなどを記憶する。

通信部１３は、ＮＩＣ（Network Interface Card）やモデムなどで構成され、画像処理装置１０を通信ネットワークに接続し、図示しないクライアント装置などから印刷ジョブを受信する。また、図２のシステム構成の場合は、通信部１３は、操作端末３０との通信を確立し、操作端末３０から操作情報を受信する。また、通信部１３は、必要に応じて、ＩＴＵ－Ｔ（International Telecommunication Union-Telecommunication）勧告Ｔ．３０で規定される、PhaseＡ～Ｅの５つのフェーズのＦＡＸ通信制御シーケンスに従い、公衆回線網（ＰＳＮＴ：Public Switched Telephone Networks）を介して、相手方のＦＡＸ通信装置とのＦＡＸ通信（ＦＡＸ画像の送受信動作）を行う。

表示操作部１４は、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro Luminescence）ディスプレイなどの表示部上に電極が格子状に配列されたタッチセンサなどの操作部が形成されたタッチパネルなどのＵＩであり、後述する画面データ生成部が生成した画面データに基づいて、画像処理装置１０を操作するためのボタンやキー、入力欄などのパーツを配置した操作画面（ＵＩ画面と呼ぶ。）を表示する。本実施例では、このＵＩ画面は、パーツをスクロールして表示する領域（後述する第１領域）とパーツをスクロールしないで表示する領域（後述する第２領域や第３領域）とを備える。

画像読取部１５は、ＡＤＦ（Auto Document Feeder）と呼ばれる自動原稿給紙装置及び原稿画像走査装置（スキャナ）などで構成される。自動原稿給紙装置は、原稿トレイに載置された原稿を搬送機構により搬送して原稿画像走査装置へ送り出す。原稿画像走査装置は、自動原稿給紙装置からコンタクトガラス上に搬送された原稿又はコンタクトガラス上に載置された原稿を光学的に走査し、原稿からの反射光をＣＣＤ（Charge Coupled Device）センサなどの受光面上に結像させて原稿画像を読み取る。画像読取部１５によって読み取られた画像（アナログ画像信号）は、画像処理部１６において所定の画像処理が施される。

画像処理部１６は、アナログデジタル（Ａ／Ｄ）変換処理を行う回路及びデジタル画像処理を行う回路などで構成される。画像処理部１６は、画像読取部１５からのアナログ画像信号にＡ／Ｄ変換処理を施すことによりデジタル画像データを生成する。また、画像処理部１６は、外部の情報機器（例えばクライアント装置）から取得した印刷ジョブを解析し、原稿の各ページをラスタライズしてデジタル画像データを生成する。そして、画像処理部１６は、必要に応じて、画像データに対して、色変換処理、補正処理（シェーディング補正等）、及び圧縮処理等の画像処理を施し、画像処理後の画像データを画像形成部１７に出力する。

画像形成部（印刷エンジン）１７は、電子写真方式や静電記録方式等の作像プロセスを利用した画像形成に必要な構成要素で構成され、画像処理部１６から出力された画像データに基づく画像を指定された用紙に印刷する。具体的には、帯電装置により帯電された感光体ドラムに露光装置から画像に応じた光を照射して静電潜像を形成し、現像装置で帯電したトナーを付着させて現像し、そのトナー像を転写ベルトに１次転写し、転写ベルトから用紙に２次転写し、更に定着装置で用紙上のトナー像を定着させる処理を行う。

また、上記制御部１１は、図３（ｂ）に示すように、操作判定部１８、レイアウト変更部１９、画面データ生成部２０などとしても機能する。

操作判定部１８は、表示操作部１４から出力される信号に基づいて、ユーザによって行われた操作（タッチパネル上の２点の距離を広げてＵＩ画面を拡大するピンチアウト操作、２点の距離を狭めてＵＩ画面を縮小するピンチイン操作、各領域のパーツを選択する操作など）を判定する。また、操作判定部１８は、ピンチアウト操作やピンチイン操作が行われたと判定した場合は、ピンチアウト操作幅やピンチイン操作幅（上記２点の距離の変化量）を算出してレイアウト変更部１９に通知する。

レイアウト変更部１９は、ピンチアウト操作やピンチイン操作が行われた場合に、パーツをスクロールして表示する領域（第１領域）とパーツをスクロールしないで表示する領域（第２領域及び／又は第３領域）のレイアウトを変更し、変更したレイアウト情報を画面データ生成部２０に通知する。具体的には、タッチパネル上でピンチアウト操作が行われた場合に、操作判定部１８から取得したピンチアウト操作幅に応じて、パーツをスクロールしないで表示する領域（第２領域）のサイズを拡大（好ましくは縦横比等倍で拡大）し、第２領域のサイズの拡大に応じて、パーツをスクロールして表示する領域（第１領域）のサイズを縮小する。また、操作判定部１８から取得したピンチアウト操作幅に応じて、パーツをスクロールしないで表示する領域（第２領域）のサイズを拡大し、第２領域のサイズの拡大に応じて、パーツをスクロールしないで表示する領域（第３領域）の形状を変更し、第２領域のサイズ拡大及び第３領域の形状変更に応じて、パーツをスクロールして表示する領域（第１領域）のサイズを縮小する。

画面データ生成部２０は、レイアウト変更部１９から取得したレイアウト情報に基づいて、各領域にパーツを配置したＵＩ画面の画面データを生成し、表示操作部１４に出力する。例えば、各々の領域及び各々のパーツのサイズをコマンドで指定可能なＨＴＭＬデータを用い、ピンチアウト操作に応じてコマンドを変更することにより、画面データを生成する。具体的には、ピンチアウト操作が行われた場合は、ピンチアウト操作幅に応じてサイズが拡大された第２領域にパーツを拡大（複数のパーツの位置関係を変えずに、第２領域と同じ倍率で拡大）して配置し、第２領域のサイズの拡大に応じてサイズが縮小された第１領域にパーツを拡大（ピンチアウト操作幅に応じた倍率で拡大）して配置する。また、ピンチアウト操作幅に応じてサイズが拡大された第２領域にパーツを拡大（複数のパーツの位置関係を変えずに、第２領域と同じ倍率で拡大）して配置し、第２領域のサイズの拡大に応じて形状が変更された第３領域にパーツを拡大（複数のパーツの位置関係を変えて拡大）して配置し、第２領域のサイズ拡大及び第３領域の形状変更に応じてサイズが縮小された第１領域にパーツを拡大（ピンチアウト操作幅に応じた倍率で拡大）して配置する。なお、第１領域では、領域のサイズが縮小され、かつ、領域内のパーツが拡大するため、結果として、第１領域内に配置できるパーツの数は減るが、第１領域内に表示されなくなったパーツはスクロールによって表示することができるため、操作性を良好に保つことができる。また、第１領域内に表示されるパーツがスクロール方向に直交する方向に並べられた設定項目と当該設定項目に対する設定値との組み合わせの場合は、設定項目と設定値との間の余白を減らすことにより、設定項目と設定値とを並べて配置できるようにする。

上記操作判定部１８、レイアウト変更部１９、画面データ生成部２０は、ハードウェアとして構成してもよいし、制御部１１を、操作判定部１８、レイアウト変更部１９、画面データ生成部２０として機能させる操作制御プログラムとして構成し、当該操作制御プログラムをＣＰＵ１１ａに実行させる構成としてもよい。

なお、図３は、本実施例の画像処理装置１０の一例であり、その構成や制御は適宜変更可能である。例えば、図３では、画像読取部１５と画像形成部１７を備える構成を例示したが、画像読取部１５や画像形成部１７は省略してもよいし、後処理部などを追加してもよい。また、図２のシステム構成の場合は、操作端末３０の制御部を、操作判定部１８、レイアウト変更部１９、画面データ生成部２０として機能させる（制御部のＣＰＵに操作制御プログラムを実行させる）構成としてもよい。

次に、本実施例の画像処理装置１０に表示されるＵＩ画面について、図４を参照して説明する。図４は、ＵＩ画面４０の一例であり、ピンチアウト操作前後の状態を示している。図４（ａ）に示すように、ＵＩ画面４０は３つの領域で構成されており、太い実線で囲んだ領域は、パーツ（設定項目及び設定値）を上下にスクロールして表示する領域（第１領域４１と呼ぶ。）であり、太い破線で囲んだ領域は、パーツ（テンキー）をスクロールせず、かつ、パーツの位置関係を変更しない領域（第２領域４２と呼ぶ。）であり、太い一点鎖線で囲んだ領域は、パーツ（操作ボタン）をスクロールせず、かつ、パーツの位置関係を変更可能な領域（第３領域４３と呼ぶ。）である。

このＵＩ画面４０上の任意の場所でユーザがピンチアウト操作を行うと、図４（ｂ）に示すように、第２領域４２は拡大し、第２領域４２内のパーツ（テンキー）も拡大（例えば、第２領域４２と同じ倍率で拡大）する。また、第３領域４３は、第２領域４２の拡大に応じて横方向に縮小されるが、縦方向に拡大（すなわち、形状を変更）し、第３領域４３内のパーツ（操作ボタン）も拡大（例えば、ピンチアウトの操作幅に応じた倍率で拡大）する。また、第１領域４１は、第２領域４２の拡大及び第３領域４３の形状変更に応じて縮小されるが、第１領域４１内のパーツ（設定項目及び設定値）は拡大（例えば、ピンチアウトの操作幅に応じた倍率で拡大）し、その結果、第１領域４１に表示される項目数は減少する。その際、設定項目と設定値と間の余白を減らすことにより、第１領域４１内に設定項目と設定値とを組み合わせて表示することができる。

なお、図４では、ＵＩ画面４０を、第１領域４１と第２領域４２と第３領域４３とで構成したが、少なくとも、パーツをスクロールして表示する領域とパーツをスクロールしないで表示する領域とを含んでいればよく、例えば、第１領域４１と第２領域４２とで構成したり、第１領域４１と第３領域４３とで構成したり、４つ以上の領域で構成したりしてもよい。また、図４では、第１領域４１を左上側、第２領域４２を右側、第３領域４３を下側（又は左下側）に配置したが、各々の領域の配置は適宜変更することができる。また、図４では、第２領域４２を縦横比等倍で拡大したが、領域間に隙間が生じる場合は、縦横比を変えて拡大してもよい。また、図４では、各々の領域を矩形としたが、任意の形状（例えば、第３領域４３をＵＩ画面の横幅の矩形と第１領域４１の横幅の矩形とを組み合わせた形状など）とすることができる。

また、図４では、第１領域４１に設定項目及び設定値を配置し、第２領域４２にテンキーを配置し、第３領域４３に操作ボタンを配置したが、各々の領域に配置するパーツも適宜変更することができる。また、図４では、第１領域４１内のパーツ（設定項目及び設定値）や第３領域４３内のパーツ（操作ボタン）を、ピンチアウトの操作幅に応じた倍率で拡大したが、第１領域４１や第３領域４３内のパーツは、必ずしも、ピンチアウトの操作幅に応じた倍率で拡大しなくてもよく、各々の領域のパーツを見やすく表示できる倍率で拡大すればよい。また、上記では、ピンチアウト操作を行う場所を限定していないが、第１領域４１でピンチアウト操作が行われた場合と第２領域４２でピンチアウト操作が行われた場合とで拡大率を変えるなど異なる制御を行うようにしてもよい。

以下、本実施例の画像処理装置１０の動作について説明する。画像処理装置１０のＣＰＵ１１ａは、ＲＯＭ１１ｂや記憶部１２などに記憶した操作制御プログラムをＲＡＭ１１ｃに展開して実行することにより、図５のフローチャート図に示す各ステップの処理を実行する。

まず、制御部１１（操作判定部１８）は、表示操作部１４から出力される信号に基づいてユーザ操作を監視し、ＵＩ画面４０上でピンチアウト操作が行われたかを判定する（Ｓ１０１）。

ピンチアウト操作が行われた場合は（Ｓ１０１のＹｅｓ）、制御部１１（操作判定部１８）は、ピンチアウト操作幅を算出し、当該ピンチアウト操作幅で領域のサイズを変更した場合に、拡大／縮小の限界に達する領域があるかを判断する（Ｓ１０２）。具体的には、図４のＵＩ画面４０では、第２領域４２の縦方向がＵＩ画面４０の縦方向のサイズを超えてしまうか、第１領域４１の横方向が設定項目及び設定値を表示可能なサイズよりも小さくなってしまうかなどを判断する。そして、拡大／縮小の限界に達する領域がある場合は（Ｓ１０２のＹｅｓ）、このピンチアウト操作を受け付けることができないため、Ｓ１０１に戻ってユーザ操作を監視する。

一方、拡大／縮小の限界に達する領域がない場合は（Ｓ１０２のＮｏ）、制御部１１（レイアウト変更部１９）は、ピンチアウト操作幅に応じて各領域のレイアウトを変更し（Ｓ１０３）、制御部１１（画面データ生成部２０）は、ピンチアウト操作幅に応じて各領域内のパーツを拡大して配置したＵＩ画面４０の画面データを生成し（Ｓ１０４）、生成した画面データに基づいて表示操作部１４にＵＩ画面４０を表示させる（Ｓ１０５）。

図４のＵＩ画面４０を例にして説明すると、第２領域４２は、縦横比等倍で拡大し、第２領域４２内のパーツ（テンキー）を第２領域４２と同じ倍率で拡大する。また、第３領域４３は、第２領域４２の拡大に応じて左へ縮小すると共に、上へ拡大し、第３領域４３内のパーツ（操作ボタン）をピンチアウト操作幅に応じた倍率で拡大する。また、第１領域４１は、第２領域４２の拡大に応じて左へ縮小すると共に第３領域４３の拡大に応じて上へ縮小し、第１領域４１内のパーツ（設定項目及び設定値）をピンチアウト操作幅に応じた倍率で拡大する。その際、設定項目と設定値との間の余白を減らして左右方向に設定項目及び設定値を表示できるようにすると共に、上下方向にはみ出す設定項目及び設定値は非表示にする。

図６は、画面データ生成部２０が生成する画面データのソースコード（ＵＩ画面４０内の各要素の意味や情報構造を定義するＨＴＭＬコード及びＵＩ画面４０のスタイルを指定するＣＳＳ（Cascading Style Sheets）コード）の一例である。ピンチアウト操作幅に応じてＣＳＳコードの数値（矩形で囲んだ箇所）を変えることにより、ＵＩ画面４０の各領域を拡大／変形／縮小することができ、各領域に配置するパーツのサイズを拡大／縮小することができる。

なお、図５では、ピンチアウト操作が行われた場合の処理について記載したが、ピンチイン操作が行われた場合は、ピンチアウトとは逆の処理を行えばよい。

以上説明したように、少なくともパーツをスクロールして表示する領域とパーツをスクロールしないで表示する領域とを含むＵＩ画面４０に対してピンチアウト操作が行われた場合、ピンチアウト操作幅に応じて各領域のレイアウトを変更し、ピンチアウト操作幅に応じて各領域のパーツを拡大して配置した画面データ（ＨＴＭＬデータ）を生成し、その画面データに基づいてＵＩ画面４０を表示することにより、各領域のパーツを適切に拡大して表示することができる。

次に、本発明の第２の実施例に係る画像処理装置、操作制御方法及び操作制御プログラムについて、図７乃至図９を参照して説明する。図７は、本実施例の画像処理装置に表示されるＵＩ画面（基準画面と拡大率を変えて拡大した画面）の一例であり、図８は、ＵＩ画面の拡大表示例である。また、図９は、本実施例の画像処理装置の動作を示すフローチャート図である。

前記した第１の実施例では、画面データとしてＨＴＭＬデータ（ＨＴＭＬコード及びＣＳＳコード）を用い、ピンチアウト操作幅に応じてＣＳＳコードの数値を変えることによって、各領域のサイズを徐々に変化させたが、ＵＩ画面の各領域のレイアウトはある程度決まっており、各領域のサイズを段階的に変化させても実用上問題はない。そこで、本実施例では、画面データとして画像データを用い、複数の画像データの中からピンチアウト操作幅に応じた画像データを選択することによって、各領域のサイズを段階的に変化させる。

その場合、画像処理装置１０の構成は前記した第１の実施例と同様であるが、画面データ生成部２０は、サイズを変化させた各々の領域にサイズを変化させた各々のパーツを配置した複数の画像データを予め生成して記憶部１２などに記憶しておき、複数の画像データの中から、操作判定部１８が算出したピンチアウト操作幅に応じた画像データを選択する。なお、ＵＩ画面毎に画像データを生成してもよいし、領域毎に画像データを生成してもよい。また、画像データの種類は特に限定されず、ＢＭＰ（Bitmap）やＪＰＥＧ（Joint Photographic Experts Group）などの任意の形式の画像データを利用することができる。

以下、図７及び図８のＵＩ画面例を参照して具体的に説明する。

図７（ａ）は、拡大前のＵＩ画面例であり、第１領域４１と第２領域４２の縦方向の長さが等しく、第３領域４３の横方向の長さがＵＩ画面４０の横方向の長さと等しい場合のレイアウトである。また、図７（ｂ）は、図７（ａ）のＵＩ画面４０を所定の拡大率で拡大したＵＩ画面例であり、第２領域４２が縦横に拡大し、第３領域４３が上方向に拡大し、第１領域４１が縮小した場合のレイアウトである。なお、図７（ｂ）では、第２領域４２を縦横比等倍で拡大すると、領域間に隙間が生じることから、縦横比を変えて拡大している。また、図７（ｃ）は、図７（ｂ）に比べて大きい拡大率で拡大したＵＩ画面例であり、第２領域４２の縦方向の長さがＵＩ画面４０の縦方向の長さと等しくなるように縦横比等倍で拡大し、第３領域４３が上方向に更に拡大し、第１領域４１が更に縮小した場合のレイアウトである。

そして、このように段階的にレイアウトを変化させたＵＩ画面４０の画像データを生成して記憶部１２などに記憶しておき、図８（ａ）に示すＵＩ画面４０上でピンチアウト操作が行われた場合に、複数の画像データの中からピンチアウト操作幅に応じた画像データを選択し、選択した画像データに基づいて表示操作部１４に図８（ｂ）に示すＵＩ画面４０を表示させる。

なお、図７及び図８では、ＵＩ画面４０を、第１領域４１と第２領域４２と第３領域４３とで構成したが、第１の実施例と同様に、少なくとも、パーツをスクロール表示する領域とパーツをスクロール表示しない領域とを含んでいればよく、例えば、第１領域４１と第２領域４２とで構成したり、第１領域４１と第３領域４３とで構成したり、４つ以上の領域で構成したりしてもよい。また、図７及び図８では、第１領域４１を左上側、第２領域４２を右側、第３領域４３を下側（又は左下側）に配置したが、各々の領域の配置は適宜変更することができる。また、図７及び図８では、各々の領域を矩形としたが、任意の形状（例えば、第３領域４３をＵＩ画面の横幅の矩形と第１領域４１の横幅の矩形とを組み合わせた形状など）とすることができる。また、図７及び図８では、第１領域４１に設定項目及び設定値を配置し、第２領域４２にテンキーを配置し、第３領域４３に操作ボタンを配置したが、各々の領域に配置するパーツも適宜変更することができる。

以下、本実施例の画像処理装置１０の動作について説明する。画像処理装置１０のＣＰＵ１１ａは、ＲＯＭ１１ｂや記憶部１２などに記憶した操作制御プログラムをＲＡＭ１１ｃに展開して実行することにより、図９のフローチャート図に示す各ステップの処理を実行する。なお、画面データ生成部２０は、段階的にレイアウトを変化させた複数の画像データを予め生成し、記憶部１２などに記憶しているものとする。

まず、制御部１１（操作判定部１８）は、表示操作部１４から出力される信号に基づいてユーザ操作を監視し、ＵＩ画面４０上でピンチアウト操作が行われたかを判定する（Ｓ２０１）。

ピンチアウト操作が行われた場合は（Ｓ２０１のＹｅｓ）、制御部１１（操作判定部１８）は、ピンチアウト操作幅を算出し、当該ピンチアウト操作幅で領域のサイズを変更した場合に、拡大／縮小の限界に達する領域があるかを判断し（Ｓ２０２）、拡大／縮小の限界に達する領域がある場合は（Ｓ２０２のＹｅｓ）、Ｓ２０１に戻ってユーザ操作を監視する。

一方、拡大／縮小の限界に達する領域がない場合は（Ｓ２０２のＮｏ）、制御部１１（画面データ生成部２０）は、予め記憶した複数の画像データの中から、ピンチアウト操作幅に応じた画像データを選択し（Ｓ２０３）、選択した画像データに基づいて表示操作部１４にＵＩ画面４０を表示させる（Ｓ２０４）。

図８のＵＩ画面４０を例にして説明すると、図８（ａ）のＵＩ画面４０上でユーザがピンチアウト操作を行うと、図８（ｂ）に示すように、ピンチアウト操作幅に応じた画像データ（ここでは、図７（ｃ）のＵＩ画面４０の画像データ）を選択して表示する。

なお、図９では、ピンチアウト操作が行われた場合の処理について記載したが、第１の実施例と同様に、ピンチイン操作が行われた場合は、ピンチアウトとは逆の処理を行えばよい。

以上説明したように、少なくともパーツをスクロールして表示する領域とパーツをスクロールしないで表示する領域とを含むＵＩ画面４０の各領域のレイアウトを段階的に変化させた複数の画像データを生成しておき、ＵＩ画面４０上でピンチアウト操作が行われた場合、ピンチアウト操作幅に応じた画像データを選択し、選択した画像データに基づいて表示操作部１４にＵＩ画面４０を表示させることにより、各領域のパーツを適切に拡大して表示することができる。

なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨を逸脱しない限りにおいて、その構成や制御方法は適宜変更可能である。

例えば、上記各実施例では、画像処理装置１０を操作するためのＵＩについて記載したが、複数の領域に操作のためのパーツを配置した操作画面を表示する任意の装置に対して、本発明の操作制御方法を同様に適用することができる。

本発明は、ユーザインターフェースを備える画像処理装置、当該ユーザインターフェースを用いた操作制御方法、当該ユーザインターフェースを制御する操作制御プログラム及び当該操作制御プログラムを記録した記録媒体に利用可能である。

１０ 画像処理装置
１１ 制御部
１１ａ ＣＰＵ
１１ｂ ＲＯＭ
１１ｃ ＲＡＭ
１２ 記憶部
１３ 通信部
１４ 表示操作部
１５ 画像読取部
１６ 画像処理部
１７ 画像形成部
１８ 操作判定部
１９ レイアウト変更部
２０ 画面データ生成部
３０ 操作端末
４０ ＵＩ画面
４１ 第１領域
４２ 第２領域
４３ 第３領域
５０ ＵＩ画面

Claims (24)

1. 第１のパーツを配置した第１領域と、第２のパーツを配置した第２領域と、を含む操作画面を表示するタッチパネルを備える画像処理装置であって、
   前記タッチパネルから出力される信号に基づいて、前記タッチパネル上の操作を判定する操作判定部と、
   前記タッチパネル上でピンチアウト操作が行われた場合に、前記ピンチアウト操作に応じて前記第２領域を拡大し、前記第２領域の拡大に応じて前記第１領域を縮小するレイアウト変更部と、
   縮小した前記第１領域に、前記第１のパーツを拡大して配置すると共に、拡大した前記第２領域に、前記第２のパーツを拡大して配置した前記操作画面の画面データを生成し、前記タッチパネルに出力する画面データ生成部と、を備える、
   ことを特徴とする画像処理装置。
2. 前記第１領域は、複数の前記第１のパーツをスクロールして表示する領域であり、
   前記画面データ生成部は、縮小した前記第１領域に、拡大した複数の前記第１のパーツを、スクロール方向の数を減らして配置する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記第１のパーツは、前記スクロール方向に直交する方向に並べられた設定項目と当該設定項目に対する設定値との組み合わせであり、
   前記画面データ生成部は、前記設定項目と前記設定値との間の余白を減らすことにより、縮小した前記第１領域に、拡大した前記設定項目と前記設定値とを並べて配置する、
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記第２領域は、複数の前記第２のパーツをスクロールしないで表示する領域であり、
   前記画面データ生成部は、拡大した前記第２領域に、拡大した複数の前記第２のパーツを、互いの位置関係を変えずに配置する、
   ことを特徴とする請求項１乃至３のいずれか一に記載の画像処理装置。
5. 前記画面に、第３のパーツを配置した第３領域を含み、
   前記レイアウト変更部は、前記第２領域の拡大に応じて前記第３領域の形状を変更し、前記第２領域の拡大及び前記第３領域の形状変更に応じて前記第１領域を縮小し、
   前記画面データ生成部は、形状を変更した前記第３領域に、前記第３のパーツを拡大して配置する、
   ことを特徴とする請求項１乃至４のいずれか一に記載の画像処理装置。
6. 前記第３領域は、複数の前記第３のパーツをスクロールしないで表示する領域であり、
   前記画面データ生成部は、形状を変更した前記第３領域に、拡大した複数の前記第３のパーツを、互いの位置関係を変えて配置する、
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記画面データは、各々の領域及び各々のパーツのサイズをコマンドで指定可能なデータであり、
   前記画面データ生成部は、前記ピンチアウト操作に応じて前記コマンドを変更することにより、前記画面データを生成する、
   ことを特徴とする請求項１乃至６のいずれか一に記載の画像処理装置。
8. 前記画面データは、各々の領域に各々のパーツを配置した画像データであり、
   前記画面データ生成部は、サイズを変化させた各々の領域にサイズを変化させた各々のパーツを配置した複数の画像データを生成し、前記複数の画像データの中から、前記ピンチアウト操作に応じた前記画像データを選択する、
   ことを特徴とする請求項１乃至６のいずれか一に記載の画像処理装置。
9. 第１のパーツを配置した第１領域と、第２のパーツを配置した第２領域と、を含む操作画面を表示するタッチパネルを備える画像処理装置における操作制御方法であって、
   前記タッチパネルから出力される信号に基づいて、前記タッチパネル上の操作を判定する操作判定処理と、
   前記タッチパネル上でピンチアウト操作が行われた場合に、前記ピンチアウト操作に応じて前記第２領域を拡大し、前記第２領域の拡大に応じて前記第１領域を縮小するレイアウト変更処理と、
   縮小した前記第１領域に、前記第１のパーツを拡大して配置すると共に、拡大した前記第２領域に、前記第２のパーツを拡大して配置した前記操作画面の画面データを生成し、前記タッチパネルに出力する画面データ生成処理と、を実行する、
   ことを特徴とする操作制御方法。
10. 前記第１領域は、複数の前記第１のパーツをスクロールして表示する領域であり、
    前記画面データ生成処理では、縮小した前記第１領域に、拡大した複数の前記第１のパーツを、スクロール方向の数を減らして配置する、
    ことを特徴とする請求項９に記載の操作制御方法。
11. 前記第１のパーツは、前記スクロール方向に直交する方向に並べられた設定項目と当該設定項目に対する設定値との組み合わせであり、
    前記画面データ生成処理では、前記設定項目と前記設定値との間の余白を減らすことにより、縮小した前記第１領域に、拡大した前記設定項目と前記設定値とを並べて配置する、
    ことを特徴とする請求項１０に記載の操作制御方法。
12. 前記第２領域は、複数の前記第２のパーツをスクロールしないで表示する領域であり、
    前記画面データ生成処理では、拡大した前記第２領域に、拡大した複数の前記第２のパーツを、互いの位置関係を変えずに配置する、
    ことを特徴とする請求項９乃至１１のいずれか一に記載の操作制御方法。
13. 前記画面に、第３のパーツを配置した第３領域を含み、
    前記レイアウト変更処理では、前記第２領域の拡大に応じて前記第３領域の形状を変更し、前記第２領域の拡大及び前記第３領域の形状変更に応じて前記第１領域を縮小し、
    前記画面データ生成処理では、形状を変更した前記第３領域に、前記第３のパーツを拡大して配置する、
    ことを特徴とする請求項９乃至１２のいずれか一に記載の操作制御方法。
14. 前記第３領域は、複数の前記第３のパーツをスクロールしないで表示する領域であり、
    前記画面データ生成処理では、形状を変更した前記第３領域に、拡大した複数の前記第３のパーツを、互いの位置関係を変えて配置する、
    ことを特徴とする請求項１３に記載の操作制御方法。
15. 前記画面データは、各々の領域及び各々のパーツのサイズをコマンドで指定可能なデータであり、
    前記画面データ生成処理では、前記ピンチアウト操作に応じて前記コマンドを変更することにより、前記画面データを生成する、
    ことを特徴とする請求項９乃至１４のいずれか一に記載の操作制御方法。
16. 前記画面データは、各々の領域に各々のパーツを配置した画像データであり、
    前記画面データ生成処理では、サイズを変化させた各々の領域にサイズを変化させた各々のパーツを配置した複数の画像データを生成し、前記複数の画像データの中から、前記ピンチアウト操作に応じた前記画像データを選択する、
    ことを特徴とする請求項９乃至１４のいずれか一に記載の操作制御方法。
17. 第１のパーツを配置した第１領域と、第２のパーツを配置した第２領域と、を含む操作画面を表示するタッチパネルを備える装置で動作する操作制御プログラムであって、
    前記装置に、
    前記タッチパネルから出力される信号に基づいて、前記タッチパネル上の操作を判定する操作判定処理、
    前記タッチパネル上でピンチアウト操作が行われた場合に、前記ピンチアウト操作に応じて前記第２領域を拡大し、前記第２領域の拡大に応じて前記第１領域を縮小するレイアウト変更処理、
    縮小した前記第１領域に、前記第１のパーツを拡大して配置すると共に、拡大した前記第２領域に、前記第２のパーツを拡大して配置した前記操作画面の画面データを生成し、前記タッチパネルに出力する画面データ生成処理、を実行させる、
    ことを特徴とする操作制御プログラム。
18. 前記第１領域は、複数の前記第１のパーツをスクロールして表示する領域であり、
    前記画面データ生成処理では、縮小した前記第１領域に、拡大した複数の前記第１のパーツを、スクロール方向の数を減らして配置する、
    ことを特徴とする請求項１７に記載の操作制御プログラム。
19. 前記第１のパーツは、前記スクロール方向に直交する方向に並べられた設定項目と当該設定項目に対する設定値との組み合わせであり、
    前記画面データ生成処理では、前記設定項目と前記設定値との間の余白を減らすことにより、縮小した前記第１領域に、拡大した前記設定項目と前記設定値とを並べて配置する、
    ことを特徴とする請求項１８に記載の操作制御プログラム。
20. 前記第２領域は、複数の前記第２のパーツをスクロールしないで表示する領域であり、
    前記画面データ生成処理では、拡大した前記第２領域に、拡大した複数の前記第２のパーツを、互いの位置関係を変えずに配置する、
    ことを特徴とする請求項１７乃至１９のいずれか一に記載の操作制御プログラム。
21. 前記画面に、第３のパーツを配置した第３領域を含み、
    前記レイアウト変更処理では、前記第２領域の拡大に応じて前記第３領域の形状を変更し、前記第２領域の拡大及び前記第３領域の形状変更に応じて前記第１領域を縮小し、
    前記画面データ生成処理では、形状を変更した前記第３領域に、前記第３のパーツを拡大して配置する、
    ことを特徴とする請求項１７乃至２０のいずれか一に記載の操作制御プログラム。
22. 前記第３領域は、複数の前記第３のパーツをスクロールしないで表示する領域であり、
    前記画面データ生成処理では、形状を変更した前記第３領域に、拡大した複数の前記第３のパーツを、互いの位置関係を変えて配置する、
    ことを特徴とする請求項２１に記載の操作制御プログラム。
23. 前記画面データは、各々の領域及び各々のパーツのサイズをコマンドで指定可能なデータであり、
    前記画面データ生成処理では、前記ピンチアウト操作に応じて前記コマンドを変更することにより、前記画面データを生成する、
    ことを特徴とする請求項１７乃至２２のいずれか一に記載の操作制御プログラム。
24. 前記画面データは、各々の領域に各々のパーツを配置した画像データであり、
    前記画面データ生成処理では、サイズを変化させた各々の領域にサイズを変化させた各々のパーツを配置した複数の画像データを生成し、前記複数の画像データの中から、前記ピンチアウト操作に応じた前記画像データを選択する、
    ことを特徴とする請求項１７乃至２２のいずれか一に記載の操作制御プログラム。

Images