JP5201235B2 - クライアント装置及びプログラム - Google Patents

Description

本発明は、クライアント装置及びプログラムに関する。

近年、企業によるサーバーベースコンピューティングの採用が急速に進んでいる。
サーバーベースコンピューティングとは、クライアント装置とサーバー装置とがネットワークを介して相互に接続可能に構成されたシステムにおいて、クライアント装置がサーバー装置に対してサービス要求を行うと、サーバー装置がクライアント装置からのサービス要求に基づいて、データの管理およびアプリケーションプログラムを動作させるというものである（例えば、特許文献１、非特許文献１参照。）。

サーバー装置はクライアント用の表示データを作成し、これをクライアント装置に送る。クライアント装置（シンクライアント装置とも呼ばれる）では、使用者のキーやマウス等の操作情報を、ネットワークを介してサーバー装置へ送り、前記サーバー装置側で作成されたクライアント用の表示データを受け取って表示する。クライアント装置は、ネットワーク機器、表示装置、マウスやキーボード等の入力装置を備えているだけでよく、データをクライアント装置内に持たないためハードディスク等のストレージが不要であり、アプリケーションプログラムの実行を行わないためクライアント装置に必要となる処理の負荷は軽い。

企業はサーバーベースコンピューティングを導入することにより、データやアプリケーションプログラム等の資源がサーバー装置側で一元管理できるため、運用コストを削減することができるというメリットがある。また、クライアント装置は従来のパソコンに比べて安価に調達することができるというメリットがある。セキュリティ面においても、サーバー装置内のデータへのアクセス制限をかけたり、アクセスログを取ったりすることにより、情報への不正アクセスのリスクを減らすことが出来る。ウイルスに対しても、サーバー装置で一括対処することが可能となる。

特開２００５−２２８２２７号公報

ｈｔｔｐ：／／ｗｗｗ．ｋｅｙｍａｎ．ｏｒ．ｊｐ／ｓｅａｒｃｈ／３０００００３１＿１．ｈｔｍｌ（サーバベースコンピューティング）

上述したように、サーバーベースコンピューティングが実行される際には、アプリケーションプログラムを動作させるサーバー装置に対してサービス要求を行うクライアント装置と、クライアント装置からのサービス要求に基づいてアプリケーションプログラムを動作させるサーバー装置とが、ネットワークを介して相互に接続可能に構成されている。

クライアント装置が、モバイル端末装置であった場合は、モバイル性を重視したクライアント装置であるため、表示画面を大きくとることができない。例えば４インチＨＶＧＡ（６４０×２４０）であれば、標準的なデスクトップパソコンの表示サイズの１５インチ、ＸＧＡ（１０２４×７６８）に比べてはるかに小さい。そのため、クライアント装置の操作に応答してクライアント装置の表示データが変更されるごとにサーバー装置からクライアント装置への表示データのデータ送信が必要になる。特に、クライアント装置の表示画面が小さい場合に、サーバー装置１０１へのアクセスが頻繁に発生し、モバイル端末装置１０４の消費電力を大きくしてしまうという問題点があった。更に、モバイル端末装置が電池駆動の場合は、搭載電池容量に応じた時間しか使用することができない。またモバイル性を保つためには大きな電池パックを利用することができない。つまり、モバイル端末装置でサーバーベースコンピューティングを行うということは、モバイル端末装置内の消費電力の大半を占める無線部を使うことであり、これによりモバイル端末装置の使用時間が大きく制限されてしまうという問題点があった。

本発明は、装置に表示される表示画像を任意に拡大する際は、その画像拡大の状態に応じて装置の負荷を増やすことなく適切な拡大処理により画像拡大できるようにすることを目的とする。

本発明は、外部装置と通信接続されるクライアント装置であって、画像を表示する表示手段と、前記画像に対して画像の拡大を指示する指示手段と、この指示手段で指示された画像を解析して画像の解析値を求める画像解析手段と、この画像解析手段で解析された解析値が予め定められた値以上の解析値か否かを判別する判別手段と、この判別手段による判別結果に基づいて、前記画像を当該クライアント装置において拡大処理するか、前記画像を前記外部装置において拡大処理するように依頼するか、を制御する拡大制御手段と、を具備したことを特徴とする。

本発明によれば、表示画像を拡大する際は、装置の負荷を増やすことなく適切な拡大処理により画像拡大することができる。

サーバーベースコンピューティングのネットワーク構成の概略を示す図である。 モバイル端末装置の消費電力の内訳の一例を示す図である。 本発明を適用したモバイル端末装置の構成の概略を示す図である。 ＬＣＤＣの内部構成を示す図である。 サーバー装置の構成の概略を示す図である。 本発明を適用した第１の実施の形態における画像拡大処理の流れを示すフローチャートである。 サーバー装置で画面拡大処理が実行された場合のモバイル端末装置のフレームバッファと表示部の状態を示す図である。 モバイル端末装置で画面拡大処理が実行された場合のモバイル端末装置のフレームバッファと表示部の状態を示す図である。 本発明を適用した第２の実施の形態における画像拡大処理の流れを示すフローチャートである。 本発明を適用した第３の実施の形態における画像拡大処理の流れを示すフローチャートである。 モバイル端末装置の概観を示す図である。 本発明を適用した第４の実施の形態における画像拡大処理の流れを示すフローチャートである。 本発明を適用した第５の実施の形態における画像拡大処理の流れを示すフローチャートである。 本発明を適用した第６の実施の形態における画像拡大処理の流れを示すフローチャートである。 本発明を適用した第７の実施の形態における画像拡大処理の流れを示すフローチャートである。 本発明を適用した第８の実施の形態における画像拡大処理の流れを示すフローチャートである。 本発明を適用した第９の実施の形態における画像拡大処理の流れを示すフローチャートである。 本発明を適用した第１０の実施の形態における画像拡大処理の流れを示すフローチャートである。

以下、本発明の実施の形態について図面を参照しながら説明する。
図１は、サーバーベースコンピューティングのネットワーク構成の概略を示す図である。

図１において、サーバー装置１０１は、アプリケーションプログラムを実行する機能、データを管理する機能等を有している。
クライアント端末装置１０２は、ネットワーク１０９を介してサーバー装置１０１に接続されている。無線アクセスポイント１０３も、ネットワーク１０９を介してサーバー装置１０１に接続されている。また、モバイル端末装置１０４、スマートフォン１０５等の移動端末装置は、アクセスポイント１０３と無線通信を行うことにより、ネットワーク９を介してサーバー装置１０１と接続されている。なお、以下の説明においては、クライアント端末装置１０２、モバイル端末装置１０４およびスマートフォン１０５を総称してクライアント装置という。

そして、クライアント端末装置１０２、モバイル端末装置１０４あるいはスマートフォン１０５は、サーバー装置１０１との間でサーバーベースコンピューティングシステムを構築している。

モバイル端末装置１０４では、無線ネットワーク（例えばＷｉＦｉ）、アクセスポイント１０３を介して、サーバー装置１０１と接続されている。そして、モバイル端末装置１０４のような移動端末装置は、電池寿命を考慮した低消費電力設計されている。

図２は、モバイル端末装置１０４の消費電力の内訳の一例を示す図である。
モバイル端末装置１０４が電力を消費するのは、図２に示したように、主にＬＳＩ部、表示部および無線部である。なお、図２に示した例においては、無線部は１００％稼動している状態を示している。サーバー装置１０１との非通信期間を長く取れれば無線部をパワーダウンすることが可能であるが、一般的には、頻繁に通信がなされている。

図２に示すとおり、無線部の消費電力がモバイル端末装置が消費する電力の６５％を占めている。モバイル端末装置１０４は電池駆動であるため、搭載電池容量に応じた時間しか使用することができず、モバイル端末装置１０４でサーバーベースコンピューティングを行うということは、モバイル端末装置１０４内の消費電力の大半を占める無線部を使うことであり、これによりモバイル端末装置１０４の使用時間が制限される。

本発明を適用したサーバーベースコンピューティングシステムは、モバイル端末装置１０４内にフレームバッファを有しており、例えば拡大指示に対応する倍率が２倍までの拡大に関してはフレームバッファ内のデータを補間しながら拡大して表示し、２倍以上の拡大に関してはサーバー装置１０１側で処理させる。これにより、頻繁に行われる拡大処理に伴う通信を減らすことができ、モバイル端末装置１０４内の消費電力を低減することができる。

図３は、本発明を適用したモバイル端末装置１０４の構成の概略を示す図である。
図３において、モバイル端末装置１０４は、ＬＳＩ２００、ＬＣＤ２１０、プログラム格納メモリ２１２およびワークメモリ２１３を備えている。

ＬＳＩ２００は、ＳＯＣ（Ｓｙｓｔｅｍ Ｏｎ Ｃｈｉｐ）により構成されている。ＬＳＩ２００の内部構成について説明をする。ＣＰＵ２０１は、内部バス（Ｂｕｓ）２０４ａを介して各部とやり取りを制御する。メモリコントローラ（Ｍｅｍ．Ｃｏｎｔ．）２０４は、内部バス２０４ｂと、ＳＤＲＡＭ等のワークメモリ２１３およびＦＲＯＭ等のプログラム格納メモリ２１２の制御を行う。ＬＣＤＣ（ＬＣＤコントローラ）２０２は、ＬＳＩ２００に内蔵されたＲＡＭ等の内蔵メモリ２０３を利用し、ＬＣＤ２１０（表示部）へ表示データを転送する。また、ＵＡＲＴ（Ｕｎｉｖｅｒｓａｌ Ａｓｙｎｃｈｒｏｎｏｕｓ Ｒｅｃｅｉｖｅｒ：調歩同期シリアル通信）２０６、パワーマネージメントブロック（Ｐｏｗｅｒ Ｍｇｍｔ）２０７、リアルタイムカウンタ（ＲＴＣ）２０５、ＵＳＢファンクション（ＵＳＢＦ）２０８等により構成される。無線通信部２０９は、ＷｉＦｉによる通信を可能とし、ＵＡＲＴ２０６に接続されている。

図４は、ＬＣＤＣの内部構成を示す図である。
図４において、ＬＣＤＣ２０２は、バスインターフェース（ＢＵＳ Ｉ／Ｆ）３０１を介してＬＳＩ２００の内部バス２０４ａと接続される。レジスタ（Ｒｅｇ．）３０２は、ＬＣＤＣ２０２への各種設定情報を格納する。メモリコントローラ（Ｍｅｍｏｒｙ Ｃｏｎｔ．）３０３は、内蔵メモリ（表示データの格納用メモリ）２０３を制御する。また、メモリコントローラ３０３は、ＤＭＡＣ（ダイレクトメモリアクセスコントローラ）３０３ａを内蔵する。前記ＤＭＡＣ３０３ａは、内蔵メモリ２０３からＬＣＤ２１０へのデータ転送を司る。

前記ＤＭＡＣ３０３ａにより内蔵メモリ２０３から読み出された表示用のデータは、拡大縮小の機能を有するリサイザー（Ｒｅｓｉｚｅｒ）３０５により所望の拡大率に処理される。

そして、ＦＩＦＯ３０６で同期が取られ、ＬＣＤ Ｉ／Ｆ３１１を介してＬＣＤ２１０（表示部）へ表示データを転送し、画像を表示する。モバイル端末装置１０４のＬＣＤ２１０は、ＨＳＶＧＡ（８００×３００）の表示領域を有し、一方、モバイル端末装置１０４の内蔵メモリ２０３は、ＨＳＶＧＡ（８００×３００）サイズのフレームバッファをもっている。そして、サーバー装置１０１においても、ＨＳＶＧＡ（８００×３００）のディスプレイサイズに対応したフレームバッファでアプリケーションを実行している。

図５は、サーバー装置の構成の概略を示す図である。
図５において、サーバー装置１０１は、ＣＰＵ（中央処理装置：Central Processing Unit）７０１、サーバー装置１０１において実行する処理を実行するプログラムの他、サーバー装置１０１の各機能を制御し実行するための制御プログラムが収納されたＲＯＭやＲＡＭ等のメモリ７０２、各種のデータや信号等を入力するための入力部７０３、画像やその他の情報を表示するための表示部７０４、画像を始め様々な情報を記録するための記憶部７０５、外部記録媒体を駆動する記録媒体駆動部７０６、ＬＡＮ等のネットワーク１０９に接続するためのネットワーク接続部７０７がバス７００に接続されて構成され、ＣＰＵ７０１がこれらの各部を制御している。

次に、本発明を適用した第１の実施の形態について説明する。
図６は、本発明を適用した第１の実施の形態における画像拡大処理の流れを示すフローチャートである。

図６において、ステップ４００乃至ステップ４０６は、モバイル端末装置１０４の画像拡大処理の流れを示すフローチャートであり、ステップ４１０乃至ステップ４１２はモバイル端末装置１０４の画像拡大処理に応答するサーバー装置１０１の処理を示すフローチャートである。

モバイル端末装置１０４に対してＬＣＤ２１０に表示されている画像の拡大操作が為されると、まず、ステップＳ４００において、モバイル端末装置１０４のＣＰＵ２０１が拡大倍率の入力操作や拡大を指示するキーの押下回数を計数する等により、拡大操作を検出する。そして、ステップ４０１において、ＣＰＵ２０１は、その拡大操作の内容を解析して拡大操作に対応する値を求め、その値が予め定められた値（ここでは拡大率が２倍に相当する値）以上の拡大を指示する値であるか否かを判断する。画像を拡大するというのは、表示されている画像を認識することが困難であるから拡大するのであり、すなわち、拡大率が大きいということは、画像をより鮮明に見たい場合である。

２倍以上の拡大率が要求されたと判断された場合（ステップ４０１：Ｙｅｓ）は、ステップ４０２において、ＣＰＵ２１０がサーバー装置１０１に対して拡大位置と拡大率を通知し拡大した表示データを要求する。なお、２倍未満の拡大率が要求されたと判断された場合（ステップ４０１：Ｎｏ）については後述する。

そして、ステップ４１０において、サーバー装置１０１がモバイル端末装置１０４からの表示データの要求を受信すると、サーバー装置１０１は、ステップ４１１において、要求に応じた拡大率で所望の部分の拡大を行う。このサーバー装置１０１での拡大は、ビットマップ拡大ではなく、ベクタ拡大とし、より滑らかなに拡大させる。ベクタ拡大の方法として、アプリケーションが持っている機能の１つである拡大率の変更機能を用いるか、或いはサーバー装置１０１側のＯＳ（オペレーションシステム）の拡大機能を使用して全体を拡大してもよい。ここで、優先的に滑らかに拡大して欲しいのは文字情報であるので、文字情報がベクタ処理で拡大されるベクタ拡大を拡大の方法として選択する。そして、サーバー装置１０１は、ステップ４１２において、拡大したデータを圧縮してモバイル端末装置１０４に送信する。

モバイル端末装置１０４側では、ステップ４０３において、モバイル端末装置１０４は、サーバー装置１０１から送信されたデータを受信し、ステップ４０４において、受信したデータをＣＰＵ２０１がフレームバッファ（ＦＢ）の内容を更新する。ここでは、フレームバッファ全体が部分拡大画像となっている。

そして、ステップ４０５において、ＣＰＵ２０１がフレームバッファ内の表示位置を指定し、リサイザー３０５への拡大率を指定する。メモリコントローラ３０３により内蔵メモリ２０３のフレームバッファより上記で指定した表示位置に従い選択的にデータを取得する。ここでは、フレームバッファ内の画像が部分拡大画像となっているので、フレームバッファ全体が前記表示位置として選択され、リサイザー３０５への拡大率は１（等倍）となる。つまり、フレームバッファの内容そのものが、ＬＣＤ２１０へ転送され、ステップ４０６において、拡大画像が表示される。

図７は、サーバー装置で画面拡大処理が実行された場合のモバイル端末装置のフレームバッファと表示部の状態を示す図である。
図７において、（Ａ）は、モバイル端末装置１０４のＬＣＤ２１０に表示されている拡大前の表示領域５０１を示し、（Ｂ）は、（Ａ）の状況におけるモバイル端末装置１０４のフレームバッファ５００の状態を示している。

そして、図７の（Ｃ）は、（Ａ）で示したように表示領域５０１が表示されている際に、これから拡大表示したい部分が拡大領域５０２であることを示している。この拡大領域５０２は、サーバー装置１０１によって拡大され、モバイル端末装置１０４のフレームバッファ５００に保持される。図７の（Ｄ）は、拡大領域５０２が拡大された後のフレームバッファ５００の状態を示し、（Ｅ）は、拡大後の状態におけるＬＥＤ２１０に表示されている表示領域５０１を示している。

図６の説明に戻り、ステップ４０１で２倍未満の拡大率が要求された場合（ステップ４０１：Ｎｏ）、例えば１．８倍の拡大率が要求された場合は、クライアント端末装置１０４は、サーバー装置１０１へのアクセスを行わない。すなわち、ステップ４０５において、クライアント端末装置１０４のＣＰＵ２０１が、部分拡大する領域を表示位置として指定し、リサイザー３０５への拡大率を１．８に指定する。そして、メモリコントローラ３０３は、前記指定されて表示位置のデータを選択的にフレームバッファ５００より取得し、リサイザー３０５にて１．８倍に拡大させる。画像の拡大は、リサイザー３０５が線形補間法、あるいはバイキュービック法にて補間を行うことにより実行される。ステップ４０６において、その結果をＬＣＤ Ｉ／Ｆ３０７を介してＬＣＤ２１０に表示させる。

図８は、モバイル端末装置で画面拡大処理が実行された場合のモバイル端末装置のフレームバッファと表示部の状態を示す図である。
図８において、（Ａ）は、図７の（Ａ）と同様、モバイル端末装置１０４のＬＣＤ２１０に表示されている拡大前の表示領域５０１を示し、（Ｂ）は、図７の（Ｂ）と同様、（Ａ）の状況におけるモバイル端末装置１０４のフレームバッファ５００の状態を示している。

そして、図８の（Ｃ）は、（Ａ）で示したように表示領域５０１が表示されている際に、これから拡大表示したい部分が拡大領域５０２であることを示している。この拡大領域５０２は、モバイル端末装置１０４によって拡大されるため、モバイル端末装置１０４のフレームバッファ５００の内容に変化は無い。

図８の（Ｄ）は、拡大領域５０２が拡大された後のフレームバッファ５００の状態を示し、（Ｅ）は、拡大後の状態におけるＬＥＤ２１０に表示されている表示領域５０１を示している。すなわち、ユーザーが、図８の（Ｃ）の表示画面（表示領域５０１）内の拡大領域５０２を部分拡大するよう指示を出すと、モバイル端末装置１０４は、モバイル端末装置１０４内のフレームバッファ５００を示している図８の（Ｄ）に示した通り、フレームバッファ５００の内容は変わらないものの、領域５０３に表示領域の指定がＣＰＵ２０１によりなされ、図８の（Ｅ）のように拡大画像を表示する。

なお、図６の説明において、サーバー装置１０１で拡大させた場合には、フレームバッファ内の画像が表示画像と同じ（リサイザー３０５への拡大率１）であるとしたが、サーバー装置１０１から受け取る画像を、部分拡大する部分よりも広い領域での画像で受け取り、これをフレームバッファに格納し、リサイザー３０５の拡大率（１より大きく２より小さい値）を設定するようにしても良い。

次に、本発明を適用した第２の実施の形態について説明する。
図９は、本発明を適用した第２の実施の形態における画像拡大処理の流れを示すフローチャートである。

上述した第１の実施の形態のような部分拡大の利用形態として、一寸だけ拡大した画像を見たい事が多々ある。例えば画像の閲覧をしていて、その画像内細かい文字が出てきたのでその部分を読むときだけ部分拡大し、読み終えたら元の倍率に戻して閲覧を続ける場合などである。第２の実施の形態は、このような場合の画像拡大処理であり、第１の実施の形態の変形例である。

図９に示した第２の実施の形態において、図６に示した第１の実施の形態と異なるのは、ステップ４０４の代わりにステップ７０４が実行されることであり、他のステップは図６と同様である。すなわち、図６を用いて説明した第１の実施の形態では、ステップ４０４でフレームバッファの更新を実行したが、本第２の実施の形態においては、ステップ４０３でモバイル端末装置１０４がサーバー装置１０１から送信されたデータを受信すると、直接フレームバッファの更新を行わず、ステップ７０４において、内蔵メモリ２０３内に設けた拡大時専用のサブフレームバッファを更新する。このサブフレームバッファは、サーバー装置１０１から部分拡大データを受け取った場合にのみ使用する。つまり、サーバー装置１０１を利用した部分拡大の際は、サブフレームバッファを用い、それ以外の場合は通常のフレームバッファを用いる。部分拡大から、通常の等倍処理に戻った場合には、サーバー装置１０１へのアクセスは行わず、部分拡大前のデータが保持されているフレームバッファを利用する。

このような第１及び第２の実施の形態を実行することにより、表示画面が狭いモバイル端末装置１０４を用いたサーバーコンピューティングにおいて、通信頻度が減り、消費電力低減を図ることができる。

次に、本発明を適用した第３の実施の形態について説明する。
図１０は、本発明を適用した第３の実施の形態における画像拡大処理の流れを示すフローチャートである。

本発明を適用した第３の実施の形態も、第２の実施の形態と同様に第１の実施の形態の変形例である。
図１０に示した第３の実施の形態において、図６に示した第１の実施の形態と異なるのは、ステップ４０１の代わりにステップ８０１が実行されることであり、他のステップは図６と同様である。すなわち、図６を用いて説明した第１の実施の形態では、拡大処理をサーバー装置１０１で実行するのかモバイル端末装置１０４で実行するのかを、拡大率で判断（図６のステップ４０１）したが、本第３の実施の形態においては、ステップ８０１において、画像処理によって判断する。ここで、画像処理による判断とは、ユーザーにより指定された拡大領域内の画像を、例えば離散コサイン変換等を用いて空間領域から周波数領域へ変換すると、細かな画像が含まれている場合には高周波成分が多く検出されるので、一定以上の高周波量が含まれている場合にはベクタ処理が必要と判断して、拡大処理をサーバー装置１０１に実行させるか否かの判断、或いは、部分拡大領域全画素に渡って隣接画素との濃度差を積算し、その量が一定以上であれば細かな画像が含まれているとして、サーバー装置１０１にベクタ処理を実行させるか否かの判断である。なお、この判断は、ＬＣＤＣ２０２内のメモリコントローラ３０３に接続された不図示の専用ハードウェア、或いはＣＰＵ２０１で実行する。

このようにモバイル端末装置１０４にて画像認識させることにより、表示画面が狭いモバイル端末装置１０４を用いたサーバーコンピューティングにおいて、トータルの消費電力を抑えながら、拡大操作を自然に行うことが出来る。

次に、本発明を適用した第４乃至第６の実施の形態について説明する。
上述の第１および第２の実施の形態においては、拡大処理をサーバー装置１０１で実行するのかモバイル端末装置１０４で実行するのかを、拡大率で判断したが、本第４乃至第６の実施の形態においては、特定のキー操作によって判断する。

図１１は、モバイル端末装置の概観を示す図である。
図１１において、モバイル端末装置１０４は、ＬＣＤ２１０と、キーボード９０４を備える。キーボード９０４は、上カーソルキー９０２ａ、右カーソルキー９０２ｂ、下カーソルキー９０２ｃ、左カーソルキー９０２ｄからなる十字カーソルキーと、前記十字カーソルキーの中心に、通常右手で操作するポインター９０１を備えている。また、キーボード９０４は、左クリックキー９０１ａおよび右クリックキー９０１ｂを備え、ポインター９０１を右手で操作した場合の右クリックおよび左クリックは、左クリックキー９０１ａおよび右クリックキー９０１ｂを左手で操作する。また、キーボード９０４は、汎用的に使用するスライドバー９１０を、右手で操作しやすい位置に備えている。スライドバー９１０は、上下スクロールの機能を持ち、シフトキー９０５を押しながら、例えば左手でスライドバー９１０を操作すると、上方向のスライド操作では表示画面の縮小となり、下方向のスライド操作では表示画面の拡大となる。

まず、本発明を適用した第４の実施の形態について説明する。
本第４の実施の形態においては、拡大処理をサーバー装置１０１で実行するのかモバイル端末装置１０４で実行するのかを、スライドキー９０５のスライド速度によって判断する。

具体的には、シフトキー９０５を押しながらのスライドキー９１０をスライドさせる速度で、拡大処理をサーバー装置１０１で実行するのかモバイル端末装置１０４で実行するのかの判断を行う。所定のスライド速度未満（通常のスライド操作）では、モバイル端末装置１０４内での拡大処理とし、所定の速度以上（素早いスライド操作）では、サーバー装置１０１内での拡大処理とする。

図１２は、本発明を適用した第４の実施の形態における画像拡大処理の流れを示すフローチャートである。
モバイル端末装置１０４が備えるスライドキー９１０が操作されることにより拡大操作が為されると、まず、ステップＳ１２００において、モバイル端末装置１０４のＣＰＵ２０１がスライドキー９１０による拡大操作を検出する。そして、ステップ１２０１において、ＣＰＵ２０１は、スライドキー９１０をスライドさせる速度が所定の速度よりも速いかどうかを判断する。速いと判断された場合（ステップ１２０１：早い）は、ステップ１２０４において、拡大処理をサーバー装置１０１にて実行させる。他方、遅いと判断された場合（ステップ１２０１：遅い）は、ステップ１２０２において、拡大処理をモバイル端末装置１０４にて実行させる。人間の操作として、細かく詳細に画面を見たいときにはスライドきー９１０を速く操作をするので、サーバー装置１０１での拡大処理とさせている。なお、ここで、ステップ１２０４の「サーバー処理」とは、図６のステップ４０２、４１０乃至４１２、４０３乃至４０６に相当し、ステップ１２０２の「端末処理」とは、図６のステップ４０１から直接進むステップ４０５および４０６に相当する。

上述したように、画面を詳しく見たいときには早くスライドするという自然な動作をすることにより、サーバー装置１０１にて詳細部分が見える拡大処理をおこなえる。
次に、本発明を適用した第５の実施の形態について説明する。

本第５の実施の形態においては、拡大処理をサーバー装置１０１で実行するのかモバイル端末装置１０４で実行するのかを、十字カーソルキーの連続操作度によって判断する。
シフトキー９０５を押しながら上カーソルキー９０２ａを押すと拡大操作とし、シフトキー９０５を押しながら下カーソルキー９０２ｃを押すと縮小操作とする。そして、連続して前記拡大操作（シフトキー９０５を押しながら上カーソルキー９０２ａを押す）を実行した場合には、サーバー装置１０１での拡大処理とする。例えば、２秒以内に続けて前記拡大操作を行った場合にはサーバー装置１０１側での拡大処理とする。

図１３は、本発明を適用した第５の実施の形態における画像拡大処理の流れを示すフローチャートである。
モバイル端末装置１０４が備える上カーソルキー９０２ａが操作されることにより拡大操作が為されると、まず、ステップＳ１２００において、モバイル端末装置１０４のＣＰＵ２０１が上カーソルキー９０２ａによる拡大操作を検出する。そして、ステップ１３０１において、タイマーＴＭが０であるか判断する。タイマーＴＭは、減算タイマーであり、セットした値を０まで減算していくタイマーである。タイマーＴＭは、０以下にはならない。また、不図示の初期設定部でタイマーＴＭは０にリセット済みであるので、最初に呼ばれたときには、タイマーＴＭは０である（ステップ１３０１：Ｙｅｓ）ので（０以下には減算しないので）、ステップ１２０２において、拡大処理をモバイル端末装置１０４にて実行させる。次に、ステップ１３０３において、タイマーＴＭに２秒をセットする。タイマーＴＭは値をセットさせると直ちに減算を始める。

そして、次に拡大操作が為された時（ステップ１２００）、ステップ１３０１において、タイマーＴＭが０であるか、言い換えると、前回の操作より２秒経過したかを判定する。ここで、２秒以内の経過であれば、ＴＭは０でない（ステップ１３０１：Ｎｏ）ので、ステップ１２０４において、拡大処理をサーバー装置１０１にて実行させる。人間の操作として、細かく詳細に画面を見たいときには続けて拡大操作をするので、サーバー装置１０１での拡大処理とさせている。

上述したように、画面を詳しく見たいときには連打するという自然な動作をすることにより、サーバー装置１０１にて詳細部分が見える拡大処理をおこなえる。
次に、本発明を適用した第６の実施の形態について説明する。

本第６の実施の形態においては、拡大処理をサーバー装置１０１で実行するのかモバイル端末装置１０４で実行するのかを、十字カーソルキーの押圧力によって判断する。
本第６の実施の形態は、第５の実施の形態と同様、シフトキー９０５を押しながら上カーソルキー９０２ａを押すと拡大操作とし、シフトキー９０５を押しながら下カーソルキー９０２ｃを押すと縮小操作とする。また、上カーソルキー９０２ａは、押圧する力を検知する機能を有している。例えば、抵抗膜により上カーソルキー９０２ａの接点が構成されており、接点の抵抗を検出することにより押している量が検出可能となる。そして、強く上カーソルキー９０２ａを押して前記拡大操作を行った場合には、サーバー装置１０１での拡大処理とする。

図１４は、本発明を適用した第６の実施の形態における画像拡大処理の流れを示すフローチャートである。
モバイル端末装置１０４が備える上カーソルキー９０２ａが操作されることにより拡大操作が為されると、まず、ステップＳ１２００において、モバイル端末装置１０４のＣＰＵ２０１が上カーソルキー９０２ａによる拡大操作を検出する。そして、ステップ１４０１において、ＣＰＵ２０１は、上カーソルキー９０２ａを押圧する力が所定の値よりも大きいかどうかを判断する。大きいと判断された場合（ステップ１４０１：大きい）は、ステップ１２０４において、拡大処理をサーバー装置１０１にて実行させる。他方、小さいと判断された場合（ステップ１４０１：小さい）は、ステップ１２０２において、拡大処理をモバイル端末装置１０４にて実行させる。

上述したように、画面を詳しく見たいときには強く押すという自然な動作をすることにより、サーバー装置１０１にて詳細部分が見える拡大処理をおこなえる。
次に、本発明を適用した第７の実施の形態について説明する。

本第７の実施の形態は、基本的には図６を用いて説明した第１の実施の形態と同様であり、拡大率によってサーバー装置１０１で拡大処理を実行するのかモバイル端末装置１０４で拡大処理を実行する。そして、本第７の実施の形態では、第１の実施の形態に加えて、モバイル端末装置１０４での拡大処理からサーバー装置１０１での拡大処理に変わる際に、使用者に対して何らかのメッセージを出力する。サーバー装置１０１での拡大処理になると、消費電力、通信による動作速度低下が発生する恐れがあるため、使用者に意図的に通知することにより、より利便性を図るためである。

図１５は、本発明を適用した第７の実施の形態における画像拡大処理の流れを示すフローチャートである。
図１５において、モバイル端末装置１０４に対してＬＣＤ２１０に表示されている画像の拡大操作が為されると、まず、ステップＳ１３００において、モバイル端末装置１０４のＣＰＵ２０１が拡大操作を検出する。そして、ステップ１３０１において、ＣＰＵ２０１は、その拡大操作の拡大率が所定の倍率（ここでは２倍）以上の拡大であるか否かを判断する。

２倍未満の拡大率が要求されたと判断された場合（ステップ１３０１：Ｎｏ）は、ステップ１３０３において、拡大処理をモバイル端末装置１０４にて実行させる。他方、２倍以上の拡大率が要求されたと判断された場合（ステップ１３０１：Ｙｅｓ）は、ステップ１３０２において、直前の拡大操作時の拡大率が２倍未満であるか判断する。すなわち、今回２倍の拡大率をまたぐ変化をさせたか否か（直前が２倍未満であり今回が２倍以上であるか否か）を判断する。

そして、前回の拡大処理の拡大率も２倍以上であると判断された場合（ステップ１３０２：Ｎｏ）は、ステップ１３０６において、拡大処理をサーバー装置１０１にて実行させる。他方、前回が２倍未満であり今回が２倍以上であると判断された場合（ステップ１３０２：Ｙｅｓ）は、ステップ１３０４において、使用者に対して例えば「拡大処理を続けてよいですか？」のような拡大処理を進めてよいかを確認するためのメッセージを出力する。

次に、ステップ１３０５において、サーバー装置１０１にて拡大処理を進めてよいか否かの指示を判断し、進めてよいとの指示があったと判断された場合（ステップ１３０５：Ｙｅｓ）は、ステップ１３０６において、拡大処理をサーバー装置１０１にて実行させる。他方、進めてよいとの指示がなかったと判断された場合（ステップ１３０５：Ｎｏ）は、サーバー装置１０１においてもモバイル端末装置１０４においても拡大処理を実行しない。

次に、本発明を適用した第８の実施の形態について説明する。
図１６は、本発明を適用した第８の実施の形態における画像拡大処理の流れを示すフローチャートである。

図１６を用いて説明する第８の実施の形態は、図１５を用いて説明した第７の実施の形態の変形例である。
図１６に示した第８の実施の形態において、図１５に示した第７の実施の形態と異なるのは、ステップ１３０５での判断でサーバー装置１０１にて拡大処理を進めてよいとの指示がなかったと判断された場合（ステップ１３０５：Ｎｏ）に、サーバー装置１０１においてもモバイル端末装置１０４においても拡大処理を実行しない、すなわち拡大処理を中止するとしていた代わりに、ステップ１４０５での判断でサーバー装置１０１にて拡大処理を進めてよいとの指示がなかったと判断された場合（ステップ１４０５：Ｎｏ）に、ステップ１４０３において、拡大処理をモバイル端末装置１０４にて実行させることであり、他のステップは図１５と同様である。

次に、本発明を適用した第９の実施の形態について説明する。
図１７は、本発明を適用した第９の実施の形態における画像拡大処理の流れを示すフローチャートである。

図１７を用いて説明する第９の実施の形態も、図１５を用いて説明した第７の実施の形態の変形例である。
図１７に示した第９の実施の形態において、図１５に示した第７の実施の形態と異なるのは、前回の拡大処理の拡大率が２倍未満であり今回が２倍以上であると判断された場合（ステップ１３０２：Ｙｅｓ）に、ステップ１３０４で使用者に対して拡大処理を進めてよいかのメッセージを出力し、ステップ１３０３でサーバー装置１０１にて拡大処理を進めてよいか否かの指示を判断することによって拡大処理をサーバー装置１０１にて実行させたり、拡大処理を中止したりしていたのに対して、前回の拡大処理の拡大率が２倍未満であり今回が２倍以上であると判断された場合（ステップ１３０２：Ｙｅｓ）に、ステップ１５０４において、使用者に対して何らかのメッセージを一定期間、たとえば０．５秒間出力し、その後ステップ１５０５において、拡大操作が継続しているか否かを判断し、拡大操作が継続していると判断された場合（ステップ１５０５：Ｙｅｓ）は、ステップ１３０６で拡大処理をサーバー装置１０１にて実行させ、進めてよいとの指示がなかったと判断された場合（ステップ１５０５：Ｎｏ）は、サーバー装置１０１においてもモバイル端末装置１０４においても拡大処理を実行しないことであり、他のステップは図１５と同様である。

次に、本発明を適用した第１０の実施の形態について説明する。
図１８は、本発明を適用した第１０の実施の形態における画像拡大処理の流れを示すフローチャートである。

図１８を用いて説明する第１０の実施の形態は、図６を用いて説明した第１の実施の形態と図１０を用いて説明した第３の実施の形態とを組み合わせた変形例である。すなわち、拡大処理をサーバー装置１０１において実行させるのかモバイル端末装置１０４において実行するのかの判断を、拡大率の違いおよび画像認識の双方で行うものである。

具体的には、モバイル端末装置１０４に対してＬＣＤ２１０に表示されている画像の拡大操作が為されると、まず、ステップＳ４００において、モバイル端末装置１０４のＣＰＵ２０１が拡大操作を検出する。そして、ステップ１６０１において、画像認識を行ない、ステップ１６０２において、認識した画像の空間周波数が高いか低いかの画像処理による判断、すなわち画像が細かいか粗いかの判断を実行する。ここで、画像処理による判断とは、上述したように一定以上の高周波量が含まれている場合にはベクタ処理が必要であるのでサーバー装置１０１にベクタ処理を実行させるか否かの判断である。

ステップ１６０２で空間周波数が高い（画像が細かい）と判断された場合（ステップ１６０２:高い）は、ステップ１６０４において、ＣＰＵ２０１は、その拡大操作の拡大率が所定の倍率（ここでは２倍）以上の拡大であるか否かを判断する。そして、２倍以上の拡大率が要求されたと判断された場合（ステップ１６０４：Ｙｅｓ）は、ステップ４０２に進んで拡大処理をサーバー装置１０１にて実行させ、２倍未満の拡大率が要求されたと判断された場合（ステップ１６０４：Ｎｏ）は、ステップ４０５に進んでサーバー装置１０１へのアクセスを行わない。

他方、ステップ１６０２で空間周波数が低い（画像が粗い）と判断された場合（ステップ１６０２:低い）は、ステップ１６０３において、ＣＰＵ２０１は、その拡大操作の拡大率が上記所定の倍率よりも大きい倍率（ここでは３倍）以上の拡大であるか否かを判断する。そして、３倍以上の拡大率が要求されたと判断された場合（ステップ１６０３：Ｙｅｓ）は、ステップ４０２に進んで拡大処理をサーバー装置１０１にて実行させ、３倍未満の拡大率が要求されたと判断された場合（ステップ１６０３：Ｎｏ）は、ステップ４０５に進んでサーバー装置１０１へのアクセスを行わない。

なお、ステップ４０２乃至４０６、４１０乃至４１２は、図６を用いて説明した第１の実施の形態と同様であるので説明を省略する。
以上、本発明の実施の形態について図面を参照しながら説明してきた。

本実施の形態においては、予め定められた値として拡大の倍率２に相当する値を用いたが、拡大の倍率２に限らず任意の倍率に対応した値を設定してもよい。
なお、上述してきた本発明の実施の形態は、サーバー装置あるいはクライアント装置の一機能としてハードウェアまたはＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）ボードやＣＰＵボードでのファームウェアもしくはソフトウェアにより実現することができる。

以上、本発明の実施の形態を、図面を参照しながら説明してきたが、本発明が適用されるサーバー装置あるいはクライアント装置は、その機能が実行されるのであれば、上述の実施の形態に限定されることなく、単体の装置であっても、複数の装置からなるシステムあるいは統合装置であっても、ＬＡＮ、ＷＡＮ等のネットワークを介して処理が行なわれるシステムであってもよいことは言うまでもない。

また、バスに接続されたＣＰＵ、ＲＯＭやＲＡＭのメモリ、入力装置、出力装置、外部記録装置、媒体駆動装置、ネットワーク接続装置で構成されるシステムでも実現できる。すなわち、前述してきた実施の形態のシステムを実現するソフトェアのプログラムを記録したＲＯＭやＲＡＭのメモリ、外部記録装置、可搬記録媒体を、サーバー装置あるいはクライアント装置に供給し、それらのサーバー装置あるいはクライアント装置のコンピュータがプログラムを読み出し実行することによっても、達成されることは言うまでもない。

この場合、可搬記録媒体等から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記録した可搬記録媒体等は本発明を構成することになる。

プログラムを供給するための可搬記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、磁気テープ、不揮発性のメモリーカード、ＲＯＭカード、電子メールやパソコン通信等のネットワーク接続装置（言い換えれば、通信回線）を介して記録した種々の記録媒体などを用いることができる。

また、コンピュータ（情報処理装置）がメモリ上に読み出したプログラムを実行することによって、前述した実施の形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施の形態の機能が実現される。

さらに、可搬型記録媒体から読み出されたプログラムやプログラム（データ）提供者から提供されたプログラム（データ）が、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施の形態の機能が実現され得る。

すなわち、本発明は、以上に述べた実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の構成または形状を取ることができる。

１０１ サーバー装置
１０２ クライアント端末装置
１０３ 無線アクセスポイント
１０４ モバイル端末装置
１０５ スマートフォン
１０９ ネットワーク
２００ ＬＳＩ
２０１ ＣＰＵ
２０２ ＬＣＤコントローラ（ＬＣＤＣ）
２０３ 内蔵メモリ（ＲＡＭ）
２０４ メモリコントローラ（Ｍｅｍ．Ｃｏｎｔ．）
２０４ａ 内部バス（Ｂｕｓ）
２０４ｂ 内部バス
２０５ リアルタイムカウンタ（ＲＴＣ）
２０６ 調歩同期シリアル通信（ＵＡＲＴ）
２０７ パワーマネージメントブロック（Ｐｏｗｅｒ Ｍｇｍｔ）
２０８ ＵＳＢファンクション（ＵＳＢＦ）
２０９ 無線通信部（ＷｉＦｉ）
２１０ ＬＣＤ
２１２ プログラム格納メモリ（ＦＲＯＭ）
２１３ ワークメモリ（ＳＤＲＡＭ）
３０１ バスインターフェース（ＢＵＳ Ｉ／Ｆ）
３０２ レジスタ（Ｒｅｇ．）
３０３ メモリコントローラ（Ｍｅｍｏｒｙ Ｃｏｎｔ．）
３０３ａ ＤＭＡＣ（ダイレクトメモリアクセスコントローラ）
３０５ リサイザー（Ｒｅｓｉｚｅｒ）
３０６ ＦＩＦＯ
３０７ ＬＣＤ Ｉ／Ｆ
５００ フレームバッファ（モバイル端末装置側）
５０１ 表示領域
５０２ 拡大領域
５０３ 領域
７０１ ＣＰＵ
７０２ メモリ
７０３ 入力部
７０４ 表示部
７０５ 記憶部
７０６ 記録媒体駆動部
７０７ ネットワーク接続部
７００ バス
９０１ ポインター
９０１ａ 左クリックキー
９０１ｂ 右クリックキー
９０２ａ 上カーソルキー
９０２ｂ 右カーソルキー
９０２ｃ 下カーソルキー
９０２ｄ 左カーソルキー
９０４ キーボード
９０５ シフトキー
９１０ スライドバー

Claims (10)

1. 外部装置と通信接続されるクライアント装置であって、
   画像を表示する表示手段と、
   前記画像に対して画像の拡大を指示する指示手段と、
   この指示手段で指示された画像を解析して画像の解析値を求める画像解析手段と、
   この画像解析手段で解析された解析値が予め定められた値以上の解析値か否かを判別する判別手段と、
   この判別手段による判別結果に基づいて、前記画像を当該クライアント装置において拡大処理するか、前記画像を前記外部装置において拡大処理するように依頼するか、を制御する拡大制御手段と、
   を具備したことを特徴とするクライアント装置。
2. 前記拡大制御手段は、前記判別手段により予め定められた値以上の解析値であると判別された際に、前記画像を前記外部装置において拡大処理するように依頼し、前記判別手段により予め定められた値以上の解析値ではないと判別された際に、前記画像を当該クライアント装置において拡大処理する、
   ことを特徴とする請求項１に記載のクライアント装置。
3. 前記画像を当該クライアント装置において拡大処理する際は、当該画像を簡易に拡大する第１拡大法により拡大処理し、前記画像を前記外部装置において拡大処理する際は、当該画像を前記第１拡大法によりも滑らかに拡大する第２拡大法により拡大処理するように依頼する、
   ことを特徴とする請求項１または２に記載のクライアント装置。
4. 前記第１拡大法はビットマップ補間による拡大法であり、前記第２拡大法は当該ビットマップ補間よりもより滑らかに拡大するベクタ処理による拡大法である、
   ことを特徴とする請求項３に記載のクライアント装置。
5. 前記画像解析手段は、前記画像に対して離散コサイン変換による周波数領域への変換を行い、その変換により検出される高周波成分の値を求めることで、前記画像の解析値を求め、
   前記判別手段は、前記高周波成分の値が予め定められた値以上か否かを判別する、
   ことを特徴とする請求項１乃至４の何れか１項に記載のクライアント装置。
6. 前記画像解析手段は、前記画像に対して隣接画像との濃度差の演算により求め、
   前記判別手段は、前記濃度差の値が予め定められた値以上か否かを判別する、ことを特徴とする請求項１乃至４の何れか１項に記載のクライアント装置。
7. アプリケーションプログラムを動作させるサーバ装置に対してネットワークを介してサービス要求を行うクライアント装置であって、
   画像を表示するための表示手段と、
   前記表示手段に前記画像を表示するために前記画像を一時的に格納するフレームメモリ領域と、
   前記表示手段に表示されている前記画像を拡大表示するための指示を入力する拡大指示入力手段と、
   前記フレームメモリ領域に格納された画像を解析して画像の解析値を求める画像解析手段と、
   前記画像解析手段で求められた前記解析値が予め設定された値以上であるかを判断する解析値判断手段と、
   前記解析値判断手段によって前記解析値が予め設定された値以上であると判断された場合、前記サーバ装置に対して前記拡大指示に対応して拡大したサーバ拡大画像の送信を要求するサーバ拡大画像要求手段と、
   前記サーバ装置から送信されてきた前記サーバ拡大画像を受信するサーバ拡大画像受信手段と、
   前記サーバ拡大画像受信手段によって受信した前記サーバ拡大画像を前記フレームメモリ領域に格納するメモリ制御手段と、
   前記解析値判断手段によって前記解析値が予め設定された値以上ではないと判断された場合、前記フレームメモリ領域に格納された前記画像を前記拡大指示に対応して拡大したクライアント拡大画像を求めるクライアント画像拡大手段と、
   前記フレームメモリ領域に格納された前記サーバ拡大画像または前記クライアント画像拡大手段によって拡大されたクライアント拡大画像を前記表示手段に表示するよう制御する表示制御手段と、
   を備えることを特徴とするクライアント装置。
8. 前記予め設定された値は、前記画像をサーバ装置側で拡大するかクライアント装置側で拡大するかの基準を示す、
   ことを特徴とする請求項７に記載のクライアント装置。
9. 前記画像解析手段は、前記画像の解析値を離散コサイン変換または隣接画素との濃度差の演算によって求める、
   ことを特徴とする請求項７に記載のクライアント装置。
10. 外部装置と通信接続されるクライアント装置のコンピュータを制御するためのプログラムであって、
    前記コンピュータを、
    画像を表示する表示手段、
    前記画像に対して画像の拡大を指示する指示手段、
    この指示手段で指示された画像を解析して画像の解析値を求める画像解析手段、
    この画像解析手段で解析された解析値が予め定められた値以上の解析値か否かを判別する判別手段、
    この判別手段による判別結果に基づいて、前記画像を当該クライアント装置において拡大処理するか、前記画像を前記外部装置において拡大処理するように依頼するか、を制御する拡大制御手段、
    として機能させるようにしたコンピュータ読み取り可能なプログラム。