JP5696563B2 - 情報処理装置、画面更新方法、画面更新プログラム、および情報処理システム - Google Patents

Description

本発明は画面データを転送する技術に関する。

クライアント側の操作に応じてサーバ側の画面を更新し、その画面データをサーバからクライアントに転送するアプリケーションがある。このアプリケーションにより遠隔地からサーバを利用することが可能になる。例えば、パーソナルコンピュータをサーバとし、タッチパネル式ディスプレイの携帯端末をクライアントとして、携帯端末へのタッチ操作によってパーソナルコンピュータを操作し、その画面を携帯端末に表示するということが考えられる。

このように、ネットワークを介して情報処理装置間で画面データを転送する場合、転送すべきデータ量を低減することが要求され、様々な技術が提案されている（特許文献１、２参照）。

ウィンドウを移動させたときのように、ある画面領域が移動したのであれば、サーバからクライアントに、その画面領域の更新前と更新後の座標を転送することで、その画面領域内のデータの転送を省くことができる。例えば、まずサーバは更新前画面と更新後画面の差分をとって、変化した領域を検出する。次にサーバは更新前画面を１ピクセルずつずらしながら、そのずらした画面と更新後画面の変化した領域とを比較する。ずらした画面と更新後画面とが一致する領域の面積が最も大きい更新前画面を選択する。そして、一致した領域の更新前の座標と更新後の座標をクライアントに通知する。

特開２００９−１９４６２６号公報 特開２００６−２７０９５８号公報

上述したように、移動した画面領域の更新前と更新後の座標を転送することで、転送すべき更新データ量を削減することができる。しかしながら、上述したように移動した画面領域やその更新後の座標を検出するためにサーバには、更新前の画像を１ピクセルずつずらして処理を繰り返すという膨大な処理量が要求される。例えば、解像度が６４０×４８０ピクセルの画面であれば、更新前画面を縦あるいは横に１ピクセルずつずらしながら、（２×６４０）×（２×４８０）＝１２２８８００通りの画面比較を行う必要がある。

本発明の目的は画面の更新における処理量を低減する技術を提供することである。

上記目的を達成するために、本発明の情報処理装置は、
移動操作の操作情報に基づいて更新前画面を更新後画面に更新する更新手段と、
前記操作情報に基づいて、更新によって移動する移動領域の移動方向を決定する推定手段と、
前記推定手段が決定した前記移動方向に前記更新前画面を移動させ、移動後の更新前画像と前記更新後画面の前記移動領域における一致の程度に基づいて移動距離を決定する決定手段と、を有する。

本発明の画面更新方法は、
移動操作の操作情報に基づいて更新前画面を更新後画面に更新し、
前記操作情報に基づいて、更新によって移動する移動領域の移動方向を決定し、
決定した前記移動方向に前記更新前画面を移動させ、移動後の更新前画像と前記更新後画面の一致の程度に基づいて移動距離を決定するというものである。

本発明の画面更新プログラムは、
移動操作の操作情報に基づいて更新前画面を更新後画面に更新する手順と、
前記操作情報に基づいて、更新によって移動する移動方向を決定する手順と、
決定した前記移動方向に前記更新前画面を移動させ、移動後の更新前画像と前記更新後画面の一致の程度に基づいて移動距離を決定する手順と、をコンピュータに実行させるためのプログラムである。

本発明では、画面の更新における処理量を低減する技術を提供することができる。

本実施形態の情報処理システムの構成を示すブロック図である。 本実施形態のサーバ１１の基本的な構成を示すブロック図である。 本実施形態のサーバ１１の他の構成を示すブロック図である。 本実施形態のサーバ１１の移動操作に対する動作を示すフローチャートである。 移動操作における画面の遷移の一例を示す図である。 移動操作における画面の遷移の一例を示す図である。 フリック時の移動距離を決定する処理を説明するための図である。 ドラッグ時の移動距離を決定する処理を説明するための図である。 ドラッグ時の移動距離を決定する処理を説明するための図である。 ドラッグ時の移動距離を決定する処理を説明するための図である。

本発明を実施するための形態について図面を参照して詳細に説明する。

図１は、本実施形態の情報処理システムの構成を示すブロック図である。図１を参照すると、サーバ１１とクライアント１２がネットワーク１３を介して接続されている。

クライアント１２は、サーバ１１を利用して処理を実行する端末装置であり、本実施形態では、無線通信機能を備えたタッチパネル式ディスプレイの通信端末装置であるとする。クライアント１２は、ウィンドウやアイコンのドラッグやフリックのような移動操作が行われると、その移動操作の操作情報をサーバ１１に送信する。また、クライアント１２は、画面の更新内容を示す更新情報をサーバ１１から受信し、その更新情報に基づいて画面を更新する。

サーバ１１は、クライアント１２のために処理を実行し、その画面の更新情報をクライアント１２に送信するパーソナルコンピュータ等の情報処理装置である。サーバ１１は、クライアント１２においてウィンドウやアイコンの移動操作が行われたとき、更新後画面の全体の情報をクライアント１２に送信するのではなく、移動領域については移動方向と移動距離をクライアント１２に送信する。これにより、ネットワーク１３を介して転送されるデータ量を削減することができる。

サーバ１１は、クライアント１２から受信した操作情報に基づいて更新前画面を更新後画面に更新する。また、サーバ１１は、移動領域の移動方向と移動距離を算出するために、まず、その操作情報に基づいて、更新によって移動する移動領域の移動方向を決定する。例えば、移動操作の始点から終点に向かう方向を移動方向と定めればよい。

更に、サーバ１１は、決定した移動方向に更新前画面を移動させ、移動後の更新前画像と更新後画面の一致の程度に基づいて移動距離を決定する。そして、サーバ１１は、決定した移動方向と移動距離とを示す更新情報をクライアント１２に送信する。

以上、本実施形態では、操作情報に基づいて移動方向が決定されるので、画面比較の処理をその移動方向についてのみ行えばよく、画面の更新における処理量を低減することができる。

図２は、本実施形態のサーバ１１の基本的な構成を示すブロック図である。図２を参照すると、サーバ１１は、更新部２１、推定部２２、および決定部２３を有している。

更新部２１は、クライアント１２における移動操作の操作情報に基づいて更新前画面を更新後画面に更新する。推定部２２は、その操作情報に基づいて、更新によって移動する移動領域の移動方向を決定する。決定部２３は、推定部２２が決定した移動方向に更新前画面を移動させ、移動後の更新前画像と更新後画面の移動領域における一致の程度に基づいて移動距離を決定する。

その際、決定部２３は、更新前画面と更新後画面とでは移動領域の画像が一致しないことを利用して、初期位置の更新前画面と更新後画面の差分に基づいて移動領域を決定する。そして、決定部２３は、その移動領域における更新前画面と更新後画面が一致した面積を一致の程度として算出する。一致した面積が所定の閾値面積以上あるいは閾値割合以上であったら、初期位置からその位置までの距離を移動距離として決定する。

また、その際、推定部２２は、操作情報において移動操作の終点での静止時間に基づいてフリック操作かドラッグ操作か判定する。移動操作においては、タッチ位置が始点から終点へと時間経過と共に移動する。

そのような移動操作の終点における静止時間が所定の閾値時間以上であったらドラッグ操作と判定し、その静止時間が閾値時間未満であったらフリック操作と判断する。また、移動操作において指等がタッチパネル式ディスプレイから離れていない場合はドラッグ操作として扱ってもよい。その場合、指等がタッチパネル式ディスプレイから離れていない間は静止時間をゼロとし、移動操作の終点における静止時間が所定の閾値時間以上であったか、あるいはゼロであったら、ドラッグ操作と判定すればよい。また、静止時間がゼロより長く閾値時間未満であったらフリック操作と判断すればよい。

フリック操作では、ウィンドウ等の移動操作のオブジェクトが終点を超えて移動することがあるので、終点の位置から移動距離を推定することができない。そのため、移動操作がフリック操作であれば、決定部２３は、更新前画面を初期位置から移動方向に遠ざけるように順次移動させ、移動後の更新前画像と更新後画面の移動領域における一致の程度を判断していく。

一方、移動操作がドラッグ操作は、ウィンドウ等の移動操作のオブジェクトが終点まで移動するものなので、終点の位置から移動距離を推定することができる。そのため、推定部２２は、移動方向を決定すると共に移動距離を推定する。移動操作の始点から終点までの距離を、移動距離の推定値とすればよい。そして、決定部２３は、更新前画面を、移動方向に、推定部２２が推定した移動距離だけ移動した位置から初期位置に近づけるように順次移動させ、移動後の更新前画像と更新後画像の移動領域における一致の程度を判断していく。

更新前画面を初期位置に近づけるように順次移動させるのは、ドラッグ操作の終点まで一回の画面更新で移動するとは限らず、更新後画面が推定した移動距離だけ移動した位置まで移動していない位置となる場合があるためである。

図３は、本実施形態のサーバ１１の他の構成を示すブロック図である。図３を参照すると、サーバ１１は、図２に示した基本的な構成のサーバ１１が有している更新部２１、推定部２２、および決定部２３の他に、更に受信部２４と送信部２５を有している。

受信部２４は、クライアント１２から操作情報を受信する。送信部２５は、推定部２２が決定した移動方向と、決定部２３が決定した移動距離とを示す更新情報をクライアント１２に送信する。

図４は、本実施形態のサーバ１１の移動操作に対する動作を示すフローチャートである。図４を参照すると、サーバ１１は、クライアント１２から移動操作の操作情報を受信すると、その操作情報に基づいてオブジェクトを移動させ、更新前画面を更新後画面に更新する（ステップ１０１）。次に、サーバ１１は、その移動操作がフリック操作かドラッグ操作か判定する（ステップ１０２）。

移動操作がフリック操作であれば、サーバ１１は、操作情報に基づいて、更新によって移動するオブジェクトの移動方向を決定する（ステップ１０３）。更に、サーバ１１は、更新前画面を初期位置から移動方向に遠ざけるように順次移動させ、移動後の更新前画像と更新後画面の移動領域における一致の程度を判断していくという処理を繰り返し、移動距離を決定する（ステップ１０４）。

一方、ステップ１０２において、移動操作がドラッグ操作であれば、サーバ１１は、操作情報に基づいて、更新によって移動するオブジェクトの移動方向を決定（ステップ１０５）、またオブジェクトの移動距離を推定する（ステップ１０６）。更に、サーバ１１は、更新前画面を、移動方向に、推定した移動距離だけ移動した位置から初期位置に近づけるように順次移動させ、移動後の更新前画像と更新後画像の移動領域における一致の程度を判断していくという処理を繰り返し、移動距離を決定する（ステップ１０７）。

以下、本実施形態のサーバ１１の具体的な動作例について説明する。

図５Ａ〜５Ｂは、移動操作における画面の遷移の一例を示す図である。図５Ａを参照すると、更新前画面３１Ａの中央付近にオブジェクト３２が表示されている。この画面表示はサーバ１１とクライアント１２に共通である。図５Ａの状態から、クライアント１２のユーザがタッチパネル式ディスプレイに対して移動操作を行うと、図５Ｂに示した画面３１′のようにオブジェクト３２が左上に移動する。その画面更新の処理はサーバ１１において行われる。

移動操作がフリックであれば、サーバ１１は、図６に示すように、更新前画面３１Ａを左上方向に順次移動させていき、移動させた更新前画面３１Ａのオブジェクトと更新後画面３１Ｂのオブジェクトが一致する位置を探す。そして、サーバ１１は、オブジェクトが一致した更新前画面３１Ａの移動距離をオブジェクトの移動距離と決定する。

一方、移動操作がドラッグであれば、サーバ１１は、操作情報から移動距離を推定し、更新前画面３１Ａを推定した移動距離だけ移動させ、移動させた更新前画面３１Ａと更新後画面３１Ｂのオブジェクトが一致するかどうか調べる。通常は、図７に示すように、それらが一致するので、その場合、サーバ１１は、推定した移動距離をオブジェクトの移動距離として決定する。

しかし、図８に示すように、推定した移動距離だけ移動させた更新前画面３１Ａと更新後画面３１Ｂのオブジェクトが一致しない場合、サーバ１１は、移動させた更新前画面３１Ａを初期位置の方向に移動させながら、更新前画面３１Ａのオブジェクトと更新後画面３１Ｂのオブジェクトが一致する位置を探す。そして、サーバ１１は、オブジェクトが一致した更新前画面３１Ａの移動距離をオブジェクトの移動距離と決定する。

なお、本実施形態では、クライアント１２として、タッチパネル式ディスプレイを備えた通信端末装置を例示したが、本発明がこれに限定されるものではない。クライアント１２は、操作情報をサーバ１１に送り、サーバ１１において更新される画面を表示する機能を備えていればよい。クライアント１２の具体例として、携帯電話端末、スマートフォン、タブレット型端末、携帯ゲーム機など様々な態様が考えられる。

また、本実施形態では、クライアント１２に対する操作をサーバ１１で処理し、その結果の画面をクライアント１２に表示する構成を例示したが、本発明がこれに限定されるものではない。サーバ１１自体が操作に対して処理を行い、画面を更新し、その画面を表示する装置であってもよい。その場合でも、サーバ１１の装置内において情報処理部から表示部へのデータの転送量を削減すると共に、情報処理部における処理量を抑制することができる。

また、ここでは、サーバ１１からクライアント１２へオブジェクトの移動方向と移動距離を通知するとして説明を行ったが、オブジェクトの更新前の座標を知っているクライアント１２へサーバ１１からオブジェクトの更新後の座標を通知することも、それと技術的に同じ意味である。

また、上述した各実施形態のサーバ１１は、各部の処理手順を規定したソフトウェアプログラムをコンピュータに実行させることにより実現することもできる。

また、以上、本発明の実施形態について述べてきたが、本発明は、これらの実施形態だけに限定されるものではなく、本発明の技術思想の範囲内において、これらの構成組み合わせて使用したり、一部の構成を変更したりしてもよい。

１１ サーバ
１２ クライアント
１３ ネットワーク
２１ 更新部
２２ 推定部
２３ 決定部
２４ 受信部
２５ 送信部
３１ 画面
３１Ａ 更新後画面
３１Ｂ 更新前画面
３２ オブジェクト

Claims (10)

1. 移動操作の操作情報に基づいて更新前画面を更新後画面に更新する更新手段と、
   前記操作情報に基づいて、更新によって移動する移動領域の移動方向を決定する推定手段と、
   前記推定手段が決定した前記移動方向に前記更新前画面を移動させ、移動後の更新前画像と前記更新後画面の前記移動領域における一致の程度に基づいて移動距離を決定する決定手段と、
   を有する情報処理装置。
2. 前記移動操作がフリック操作であれば、
   前記決定手段は、前記更新前画面を初期位置から前記移動方向に遠ざけるように順次移動させ、前記移動後の更新前画像と前記更新後画面の前記移動領域における一致の程度を判断する、
   請求項１に記載の情報処理装置。
3. 前記移動操作がドラッグ操作であれば、
   前記推定手段は、前記移動方向を決定すると共に移動距離を推定し、
   前記決定手段は、前記更新前画面を、前記移動方向に、前記推定手段が推定した移動距離だけ移動した位置から初期位置に近づけるように順次移動させ、前記移動後の更新前画像と前記更新後画面の前記移動領域における一致の程度を判断する、
   請求項１または２に記載の情報処理装置。
4. 前記推定手段は、前記操作情報において前記移動操作の終点での静止時間に基づいてフリック操作かドラッグ操作か判定する、請求項２または３に記載の情報処理装置。
5. 前記決定手段は、初期位置の前記更新前画面と前記更新後画面の差分に基づいて前記移動領域を決定し、前記移動領域における前記更新前画面と前記更新後画面が一致した面積を前記一致の程度として算出する、請求項１から４のいずれか一項に記載の情報処理装置。
6. 他装置から前記操作情報を受信する受信手段と、
   前記推定手段が決定した前記移動方向と前記決定手段が決定した前記移動距離とを示す更新情報を前記他装置に送信する送信手段と、を更に有する、請求項１から５のいずれか一項に記載の情報処理装置。
7. 前記他装置がタッチパネル式ディスプレイを備えた通信端末装置である、請求項６に記載の情報処理装置。
8. 情報処理装置による画面更新方法であって、
   前記情報処理装置が、移動操作の操作情報に基づいて更新前画面を更新後画面に更新し、
   前記情報処理装置が、前記操作情報に基づいて、更新によって移動する移動領域の移動方向を決定し、
   前記情報処理装置が、決定した前記移動方向に前記更新前画面を移動させ、移動後の更新前画像と前記更新後画面の一致の程度に基づいて移動距離を決定する、画面更新方法。
9. 移動操作の操作情報に基づいて更新前画面を更新後画面に更新する手順と、
   前記操作情報に基づいて、更新によって移動する移動方向を決定する手順と、
   決定した前記移動方向に前記更新前画面を移動させ、移動後の更新前画像と前記更新後画面の一致の程度に基づいて移動距離を決定する手順と、をコンピュータに実行させるための画面更新プログラム。
10. 第１の情報処理装置と第２の情報処理装置を有し、
    前記第１の情報処理装置が移動操作の操作情報を前記第２の情報処理装置に送信し、
    前記第２の情報処理装置が受信した前記操作情報に基づいて更新前画面を更新後画面に更新し、該操作情報に基づいて、更新によって移動する移動領域の移動方向を決定し、決定した前記移動方向に前記更新前画面を移動させ、移動後の更新前画像と前記更新後画面の一致の程度に基づいて移動距離を決定し、決定した前記移動方向と前記移動距離とを示す更新情報を前記第１の情報処理装置に送信し、
    前記第１の情報処理装置が受信した前記更新情報に基づいて画面を更新する、情報処理システム。

Images