JP6409443B2 - 画像処理装置、およびプログラム - Google Patents

Description

本発明は、画像処理装置、およびプログラムに関する。

特許文献１には、ユーザが所望したデータを端末ごとにサーバ装置で予測して蓄積しておき、要求があったときに蓄積したデータをユーザに送信するサーバ制御プログラムが記載されている。
特許文献２には、ユーザに指定された文字サイズを基準に画像の解像度を決定してその解像度の画像を生成して記憶する携帯情報端末が記載されている。

特開２０１０−１５４３２号公報 特開２００８−２１１７３号公報

本発明は、画像に対して過去に行われた操作に応じて画像の解像度を決定することを目的とする。

本発明の請求項１に係る画像処理装置は、画像データによって表される画像を複数の分割領域に分割する分割部と、分割された前記各分割領域の画像の解像度を該分割領域単位でそれぞれ変換し、該解像度が変換された各画像をまとめた画像を表す変換後画像データを生成する生成部と、前記生成部により生成された前記変換後画像データを表示装置に送信する送信部と、前記送信部によって送信された前記変換後画像データが表す画像が表示された前記表示装置において該画像に対して行われた、表示される範囲を変えるための操作を示す操作情報を取得する取得部と、前記取得部が取得した操作情報に応じて、それぞれの前記分割領域の解像度を決定する決定部と、を有し、前記生成部は、前記決定部により前記分割領域の解像度が決定された場合に、該分割領域の前記画像の解像度を該解像度に変換し、前記操作情報は、前記表示装置において表示された前記画像に対して該画像の複数の位置をそれぞれ指定して、該各位置をそれぞれ移動させる操作を示し、前記決定部は、前記操作情報により示される前記各位置の距離の該操作中における最大値と、該操作の終了したときの前記各位置の距離との比較結果に応じて、前記解像度を決定することを特徴とする。
本発明の請求項２に係る画像処理装置は、画像データによって表される画像を複数の分割領域に分割する分割部と、分割された前記各分割領域の画像の解像度を該分割領域単位でそれぞれ変換し、該解像度が変換された各画像をまとめた画像を表す変換後画像データを生成する生成部と、前記生成部により生成された前記変換後画像データを表示装置に送信する送信部と、前記送信部によって送信された前記変換後画像データが表す画像が表示された前記表示装置において該画像に対して行われた、表示される範囲を変えるための操作を示す操作情報を取得する取得部と、前記取得部が取得した操作情報に応じて、それぞれの前記分割領域の解像度を決定する決定部と、を有し、前記生成部は、前記決定部により前記分割領域の解像度が決定された場合に、該分割領域の前記画像の解像度を該解像度に変換し、前記操作情報は、前記表示装置において表示された前記画像に対して該画像の位置を指定して、該位置を移動させる操作を示し、前記決定部は、前記操作情報により示される前記位置の移動に応じて前記表示装置において表示される前記画像の分割領域ごとに、該分割領域が該表示装置において表示される時間を特定し、特定した該時間に応じて前記解像度を決定することを特徴とする。
本発明の請求項３に係る画像処理装置は、請求項１又は２に記載の態様において、前記送信部は、前記変換後画像データを複数の表示装置に送信し、前記取得部は、前記操作情報を前記複数の表示装置からそれぞれ取得し、前記決定部は、前記取得部が取得した複数の前記操作情報の統計結果に応じて、前記解像度を決定することを特徴とする。
本発明の請求項４に係るプログラムは、コンピュータを、画像データによって表される画像を複数の分割領域に分割する分割部と、分割された前記各分割領域の画像の解像度を該分割領域単位でそれぞれ変換し、該解像度が変換された各画像をまとめた画像を表す変換後画像データを生成する生成部と、前記生成部により生成された前記変換後画像データを表示装置に送信する送信部と、前記送信部によって送信された前記変換後画像データが表す画像が表示された前記表示装置において該画像に対して行われた、表示される範囲を変えるための操作であって、前記表示装置において表示された前記画像に対して該画像の複数の位置をそれぞれ指定して、該各位置をそれぞれ移動させる操作を示す操作情報を取得する取得部と、前記取得部が取得した操作情報に応じて、それぞれの前記分割領域の解像度を決定する決定部として機能させるとともに、前記決定部により前記分割領域の解像度が決定された場合に、前記生成部が、該分割領域の前記画像を該解像度に変換し、前記決定部が、前記操作情報により示される前記各位置の距離の該操作中における最大値と、
該操作の終了したときの前記各位置の距離との比較結果に応じて、前記解像度を決定するように、前記コンピュータを機能させるためのプログラムである。
本発明の請求項５に係るプログラムは、コンピュータを、画像データによって表される画像を複数の分割領域に分割する分割部と、分割された前記各分割領域の画像の解像度を該分割領域単位でそれぞれ変換し、該解像度が変換された各画像をまとめた画像を表す変換後画像データを生成する生成部と、前記生成部により生成された前記変換後画像データを表示装置に送信する送信部と、前記送信部によって送信された前記変換後画像データが表す画像が表示された前記表示装置において該画像に対して行われた、表示される範囲を変えるための操作であって、前記表示装置において表示された前記画像に対して該画像の位置を指定して、該位置を移動させる操作を示す操作情報を取得する取得部と、前記取得部が取得した操作情報に応じて、それぞれの前記分割領域の解像度を決定する決定部として機能させるとともに、前記決定部により前記分割領域の解像度が決定された場合に、前記生成部が、該分割領域の前記画像を該解像度に変換し、前記決定部が、前記操作情報により示される前記位置の移動に応じて前記表示装置において表示される前記画像の分割領域ごとに、該分割領域が該表示装置において表示される時間を特定し、特定した該時間に応じて前記解像度を決定するように、前記コンピュータを機能させるためのプログラムである。

請求項１、４に係る発明によれば、例えば拡大や縮小を指示する操作の最後にユーザが、求める拡大率や縮小率を微調整するジェスチャーを解釈することができる。
請求項２、５に係る発明によれば、例えば表示される時間が短い分割領域について送信する変換後画像データを抑制することができる。
請求項３に係る発明によれば、複数の表示装置においてそれぞれ行われた操作に応じて画像の解像度を決定することができる。

本発明の一実施形態に係る画像表示システムの全体構成を示す図である。 画像処理装置の構成を示す図である。 画像データベースの一例を示す図である。 分割情報データベースの一例を示す図である。 分割領域の一例を示す図である。 解像度データベースの一例を示す図である。 変換規則データベースの一例を示す図である。 表示装置の構成を示す図である。 表示装置を操作する様子を示す概略図である。 ユーザの指による操作の例を示す図である。 ピンチアウトの操作を説明するための図である。 画像処理装置の機能的構成を示す図である。 画像処理装置が解像度を決定するまでの動作の流れを示すフローチャートである。 画像処理装置が変更された解像度の変換後画像データを表示装置に送信するまでの動作の流れを示すフローチャートである。 変形例における変換規則データベースの一例を示す図である。 変形例におけるユーザの指による操作の例を示す図である。 変形例における画像処理装置が解像度を決定するまでの動作の流れを示すフローチャートである。 変形例におけるピンチアウトの操作を説明するための図である。 変形例における画像処理装置が解像度を決定するまでの動作の流れを示すフローチャートである。

１．実施形態
１−１．画像表示システムの全体構成
図１は、本発明の一実施形態に係る画像表示システム９の全体構成を示す図である。図１に示すように、画像表示システム９は、画像処理装置１と、表示装置２ａ，２ｂ，２ｃ（以下、これらを区別しない場合には「表示装置２」という）とを有している。これらの装置は通信回線３により接続されている。通信回線３は、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、インターネット、電話回線など、コンピュータ装置がデータ通信を行う通信回線であり、複数のコンピュータ装置が接続される。画像処理装置１の数は１つに限らず２つ以上であってもよい。また、通信回線３は複数であってもよいし、表示装置２は１つであってもよい。

１−２．画像処理装置の構成
図２は、画像処理装置１の構成を示す図である。制御部１１は、画像処理装置１の各部の動作を制御する手段である。制御部１１は、ＣＰＵ（Central Processing Unit）などの演算処理装置や、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などの記憶装置を備え、これら記憶装置に記憶されたプログラムを実行する。

通信部１３は、通信回線３で用いられる通信プロトコルに準拠した通信インターフェイスであり、通信回線３を介して表示装置２と情報を遣り取りする。

記憶部１２はハードディスクなどの大容量の記憶手段であり、制御部１１に読み込まれるプログラムを記憶する。なお、記憶部１２は、いわゆるリムーバブルディスク、すなわち着脱可能な記録媒体を含んでもよい。
また、記憶部１２は、画像データベース（以下、図において「データベース」を「ＤＢ」と表記する）１２１、分割情報データベース１２２、解像度データベース１２３、および変換規則データベース１２４を有する。

図３は、画像データベース１２１の一例を示す図である。画像データベース１２１では、複数の画像をそれぞれ示す画像データがその画像の識別情報、すなわち画像ＩＤと対応付けられている。各画像ＩＤに対応付けられた画像データは、サイズと解像度とが定められたラスタ画像である。ラスタ画像とは、格子状に並んだ画素の集合で表される画像である。画像データのサイズとは、その画像データが表す画像の実際の大きさを表すもので、縦・横の実寸で示される。画像データの解像度は、その画像データが表す画像の単位寸法あたりに含まれる画素数を示しており、単位は例えば、ｄｐｉ（dots per inch：１インチあたりの画素の数）である。以下の説明では、画像には正方形の画素が用いられているとし、一例として画像データベース１２１に記憶されている画像データは、縦が８インチ（２０３．２ミリメートル）、横が６インチ（１５２．４ミリメートル）で、解像度が６００ｄｐｉの画像を表す。この場合、この画像は縦に４８００行、横に３６００列の格子状に画素が並び、その数は１７２８万である。

図４は、分割情報データベース１２２の一例を示す図である。分割情報データベース１２２は、各画像データによって表される画像を複数の分割領域に分割するための情報を記憶する。分割情報データベース１２２は、画像ＩＤごとに、その画像を複数に分割した各領域の識別情報、すなわち領域ＩＤと、その領域の位置および大きさをそれぞれ対応付ける。
図５は、分割領域の一例を示す図である。図５に示す例では、画像は領域Ｒａ〜Ｒｉの９つの領域に分割されている。

図６は、解像度データベース１２３の一例を示す図である。解像度データベース１２３は、複数の画像をそれぞれ示す画像データに対し、分割領域ごとにそれぞれ解像度を設定する。例えば、画像ＩＤが００１の画像を示す画像データのうち、分割領域Ｒａに含まれる画像は解像度１５０（ｄｐｉ）に変換される。分割領域の解像度は、上述した画像データの解像度を上回ることがないように設定される。

図７は、変換規則データベース１２４の一例を示す図である。変換規則データベース１２４は、ユーザの指やスタイラスペンなどの指示体によって行われる操作の速度と、解像度データベース１２３で設定された解像度に対して加算する数値（加算値）とを対応付ける。

例えば、図７に示す変換規則データベース１２４において、操作の速度ｖが検知されると、基準となる基準速度ｖ０として、その速度ｖが（ｖ０＋１）以上であって、（ｖ０＋２）よりも小さい場合、解像度の加算値は２０（ｄｐｉ）である。なお、ここで記述されている加算値は正の値であるが、負の値（すなわち、減算値）であってもよい。

１−３．表示装置の構成
図８は、表示装置２の構成を示す図である。制御部２１は、表示装置２の各部の動作を制御する手段である。制御部２１は、ＣＰＵなどの演算処理装置や、ＲＯＭ、ＲＡＭなどの記憶装置を備え、これら記憶装置に記憶されたプログラムを実行する。

記憶部２２はフラッシュメモリなどの大容量の記憶手段であり、制御部２１に読み込まれるプログラムを記憶する。なお、記憶部２２は、いわゆるリムーバブルディスク、すなわち着脱可能な記録媒体を含んでもよい。
通信部２３は、通信回線３を介して画像処理装置１などと情報を遣り取りするインターフェイスである。

表示部２５は、液晶などを使用したディスプレイ装置であり、制御部２１からの指示に応じて画像を表示する画面を有する。
操作部２４は各種の指示をするためのタッチパネルやボタンなどの操作子を有しており、ユーザによる操作を受け付けてその操作内容に応じた信号を制御部２１に供給する。

図９は、表示装置２を操作する様子を示す概略図である。図９に示すように、操作部２４のタッチパネルは、表示部２５において画像が表示される面に重ねられている。このタッチパネルは、例えば静電容量方式のタッチパネルであり、操作部２４は、複数の位置を並行して指示することが可能なように構成されている。

図１０は、ユーザの指による操作の例を示す図である。図１０（ａ）に示す操作はピンチインと呼ばれ、例えばユーザが親指と人差し指とにより表示部２５の画面上の位置をそれぞれ指示し、それらの指を互いに近づけるものである。図１０（ｂ）に示す操作はピンチアウトと呼ばれ、例えばユーザが親指と人差し指とにより表示部２５の画面上の位置をそれぞれ指示し、それらの指を互いに遠ざけるものである。

図１１は、ピンチアウトの操作を説明するための図である。ユーザの右手の親指が表示部２５の画面における点Ｐ１に、人差し指が点Ｐ２に触れ、互いを遠ざけるようにそれぞれ画面上を触れたまま移動し、親指が点Ｐ１から距離ｄ１離れた点Ｐ３で画面から離れ、人差し指が点Ｐ２から距離ｄ２離れた点Ｐ４で画面から離れると、表示装置２の操作部２４はこの操作を検知して、これら指示された各点の画面上における位置と、これらの指示が行われた時刻とをそれぞれ示す操作情報を画像処理装置１に送信する。

画像処理装置１の制御部１１は、点Ｐ１と点Ｐ２とを結ぶ線分を、距離ｄ３および距離ｄ４で内分する点Ｐ０を算出し、ユーザの操作が、算出したこの点Ｐ０を中心として画像を拡大させる操作であると解釈する。具体的に、制御部１１は、このユーザの操作を、点Ｐ０を中心として拡大率が（１＋（Ｄ２／Ｄ４））となるようにこの画像を拡大させる操作であると解釈する。ただし、距離ｄ３および距離ｄ４は、距離ｄ１および距離ｄ２との関係で、ｄ１：ｄ２＝ｄ３：ｄ４を満たすように定められる。

そして制御部１１は、この点Ｐ０、すなわち拡大された部分を含む分割領域の解像度をこの操作に応じて決定する。例えば、画像処理装置１は、点Ｐ０を含む分割領域の解像度が上昇する演算を行う。そして、画像処理装置１は、決定された解像度に変換された分割領域の画像を表す変換後画像データを生成し、生成したこの変換後画像データを表示装置２に送信する。

１−４．画像処理装置の機能的構成
図１２は、画像処理装置１の機能的構成を示す図である。図１２（ａ）に示すように、画像処理装置１の制御部１１は、記憶部１２に記憶された上述のプログラムを読み込み、実行することにより、取得部１１１、決定部１１２、分割部１１３、生成部１１４、および送信部１１５として機能する。

分割部１１３は、画像データによって表される画像を複数の分割領域に分割する。すなわち分割部１１３は、記憶部１２の分割情報データベース１２２から、画像を複数の分割領域に分割するための情報を読み出し、この情報に基づいて画像を複数の分割領域に分割する。

生成部１１４は、分割された各分割領域の画像をその分割領域単位で決定された解像度にそれぞれ変換し、変換された各画像をまとめた画像を表す変換後画像データを生成する。生成部１１４は、記憶部１２の解像度データベース１２３から、分割領域単位で決定された解像度を読み出し、分割された画像の各分割領域を、この解像度にそれぞれ変換して変換後画像データを生成する。

分割部１１３および生成部１１４は、例えば図１２（ｂ）に示すように機能する。図１２（ｂ）に示す分割部１１３は、画像データベース１２１から１つの画像データを読み出してこれを分割領域ごとに分割し、複数の分割データを生成する。図１２（ｂ）に示す生成部１１４は、各分割データに定められた解像度を図１２（ａ）に示す解像度データベース１２３に基づいて特定し、特定された解像度でそれぞれの分割データから変換後分割データを生成する。そして、生成部１１４は、これら変換後分割データを１つにまとめて変換後画像データとし、ＲＡＭなどに記憶する。

送信部１１５は、生成部１１４により生成された変換後画像データを表示装置２に送信する。
ユーザの表示装置２は、送信部１１５によって送信された変換後画像データを受信し、この変換後画像データによって表される画像を表示部２５に表示する。ユーザは、操作部２４を操作して、表示された画像に対して、その画像の表示される範囲を変えるための操作を行うと、表示装置２は、この操作を示す操作情報を画像処理装置１に送信する。
「画像の表示される範囲を変えるための操作」とは、表示部２５で表示される画像を拡大、縮小したり、移動させたりする操作であり、上述したピンチイン・ピンチアウトの操作のほか、スワイプ、ドラッグ、タップ、フリックなどと呼ばれる各種の操作が含まれる。

これらの操作によって画像が拡大される場合、表示部２５において表示される範囲は、画像全体に対して小さくなり、その範囲に対して要求される解像度は上昇する。一方、これらの操作によって画像が縮小される場合、表示部２５において表示される範囲は、画像全体に対して大きくなり、その範囲に対して要求される解像度は低下する。また、これらの操作によって画像が移動する場合、表示部２５において表示される範囲は画像の移動方向の反対側に移動し、新たに表示された範囲に対して要求される解像度が上昇する。

取得部１１１は、上述した操作情報を表示装置２から取得する。すなわち、取得部１１１は、送信部１１５によって送信された変換後画像データが表す画像が表示された表示装置２においてその画像に対して行われた、表示される範囲を変えるための操作を示す操作情報を、その表示装置２から取得する。

決定部１１２は、取得部１１１が取得した操作情報に応じて、それぞれの分割領域の解像度を決定する。その後、生成部１１４は、決定部１１２により分割領域単位で決定された解像度を用いて変換後画像データを生成する。つまり、生成部１１４は、決定部１１２により分割領域の解像度が決定された場合に、その分割領域の画像をその解像度に変換する。

１−５．画像処理装置の動作
図１３は、画像処理装置１が解像度を決定するまでの動作の流れを示すフローチャートである。画像処理装置１の制御部１１は、表示装置２から操作情報を取得し、表示装置２において、操作部２４による検知結果によって表示部２５の画面が複数の点で指などの指示体に接触されたか否かを判断する（ステップＳ１０１）。表示部２５の画面が複数の点で接触されていないと判断する間（ステップＳ１０１；ＮＯ）、制御部１１は、この判断を続ける。表示部２５の画面が複数の点で接触されたと判断すると（ステップＳ１０１；ＹＥＳ）、制御部１１は、接触の時刻と、その接触により指示された画面上の位置とをＲＡＭなどに記憶する（ステップＳ１０２）。

次に、制御部１１は、表示装置２において表示部２５の画面に接触していた指示体が画面から離れたか否か判断する（ステップＳ１０３）。指示体が画面から離れていないと判断する間（ステップＳ１０３；ＮＯ）、制御部１１は、この判断を続ける。指示体が画面から離れたと判断すると（ステップＳ１０３；ＹＥＳ）、制御部１１は、指示体が画面から離れた時刻と、その離れる直前まで指示体が接触していた画面上の位置とをＲＡＭなどに記憶する（ステップＳ１０４）。

制御部１１は、ステップＳ１０２で記憶した（すなわち操作における始点の）時刻・位置と、ステップＳ１０４で記憶した（すなわち操作における終点の）時刻・位置とに基づいて、ユーザが注目している領域（注目領域）を特定するとともに（ステップＳ１０５）、操作において指示体が指示した位置が画面上を移動した速度を算出する（ステップＳ１０６）そして、制御部１１は、変換規則データベース１２４を参照して、算出したその速度に対応する加算値を特定し（ステップＳ１０７）、特定したその加算値を解像度データベース１２３に記憶されている解像度に加算して、新たな解像度を決定する（ステップＳ１０８）。

図１４は、画像処理装置１が変更された解像度の変換後画像データを表示装置２に送信するまでの動作の流れを示すフローチャートである。制御部１１は、解像度データベース１２３に記憶されている解像度に変更があるか否か判断する（ステップＳ２０１）、この解像度に変更がないと判断する場合（ステップＳ２０１；ＮＯ）、制御部１１は処理を終了する。この解像度に変更があると判断する場合（ステップＳ２０１；ＹＥＳ）、制御部１１は、解像度データベース１２３から分割領域ごとの解像度を読みだしてそれぞれを特定し（ステップＳ２０２）、特定した各解像度に応じて変換後画像データを生成する（ステップＳ２０３）。そして、生成した変換後画像データを記憶部１２に記憶し（ステップＳ２０４）、表示装置２に送信する（ステップＳ２０５）。

以上、説明したとおり、画像処理装置１は、ユーザが表示装置２において画像の表示される範囲を変えるための操作を行った場合に、その操作内容に応じて、表示装置２に送信する変換後画像データの解像度を調節する。

例えば、表示装置２の表示部２５が、縦が４インチ（１０１．６ミリメートル）、横が３インチ（７６．２ミリメートル）で、解像度が２００ｄｐｉの画面を有している場合、この表示部２５の画面が表示可能な画素数は４８万である。表示部２５は、画面に４８万を超える画素数の画像を表示する場合には画素を間引き、４８万を下回る画素数の画像を表示する場合には画素を補間する処理を行う。
この表示装置２に、画像データベース１２１に記憶されている画像データをそのまま送ると、上述したように１７２８万画素の画像データが送られることになるが、ユーザが４８万画素の画面で、画像の全領域を詳細に見なければならない場合は比較的少ないから、送信する画像データは元の画像データよりも解像度が低いものでよい場合が多い。
しかし、その画像の中には詳細に見なければならない領域も含まれていることがあり、一律に解像度を下げると、拡大してもその領域が視認できないことがある。

例えばユーザは、送られた画像のうち重要と判断した部分を表示部２５の画面で見て内容が確認可能な大きさに拡大する操作を行う。画像処理装置１は、ユーザの上述した操作を示す操作情報を取得して、その操作の速度に応じて次に送信する変換後画像データの解像度を分割領域単位で決定するので、ユーザが詳細に見る必要がある領域については、元の画像データの解像度に比較的近い解像度に変換され、ユーザが詳細に見る必要がない領域については、元の画像データの解像度よりも下げられた解像度に変換される。そして、操作が積み重ねられるほど、変換後画像データは、ユーザが注目する傾向に沿った中間データに調節される。すなわち、ユーザの過去の操作が表示装置２に送信される変換後画像データの分割領域ごとの解像度にフィードバックされるので、ユーザが操作するほど、ユーザが要求することの多い解像度の画像が得られる場合が多くなる。

２．変形例
以上が実施形態の説明であるが、この実施形態の内容は以下のように変形し得る。また、以下の変形例を組み合わせてもよい。

２−１．変形例１
上述した実施形態において、制御部１１は、操作情報が示す操作において、指示体が指示した位置が画面上を移動した速度を算出し、変換規則データベース１２４を参照して、算出したその速度に対応する加算値を特定して、その加算値を用いて新たな解像度を決定していたが、新たな解像度をするために操作情報から算出される値は速度に限られない。たとえば、指示体の移動距離に応じて解像度が決定されてもよい。例えば、指示体の移動距離が長いほど、ユーザは表示される範囲を大きく変えようとしていると解釈して、解像度の加算値や減算値を大きくしてもよい。すなわち、制御部１１により実現される決定部１１２は、操作情報により示される位置が移動する距離に応じて、解像度を決定してもよい。

２−２．変形例２
また、決定部１１２は、操作情報により示される操作によって表示部２５の画面に表示される領域の表示時間に応じて、解像度を決定してもよい。

図１５は、この変形例における変換規則データベース１２４ａの一例を示す図である。変換規則データベース１２４ａは、ユーザの指やスタイラスペンなどの指示体によって行われる操作によって、画像が画面に表示される時間（表示時間）と、解像度データベース１２３で設定された解像度に対して減算する数値（減算値）とを対応付ける。

例えば、図１５に示す変換規則データベース１２４ａにおいて、表示装置２の表示部２５に表示された画像の表示時間が１ｓ（秒）である場合、これに対応付けられた減算値は１０（ｄｐｉ）である。したがって、ある分割領域の画像について表示時間が１秒であると判断されると、制御部１１は、この分割領域の解像度から１０（ｄｐｉ）を減算する。

図１６は、この変形例におけるユーザの指による操作の例を示す図である。この変形例において、例えばユーザは、指示体である指先を表示部２５の画面に触れた状態で、図１６（ａ）に示す位置から、図１６（ｂ）に示す位置に滑らせる。この操作はいわゆる「スワイプ」と呼ばれる操作である。図１６において示される画像Ｇ１は、表示装置２で表示される画像の全体を仮想的に示したものであり、上述したスワイプ操作によって、この画像Ｇ１は、図１６（ａ）に示す位置から、図１６（ｂ）に示す位置に移動する。この変化により、画像Ｇ１に含まれる画像Ｇ２は、表示部２５に表示され続ける。一方、画像Ｇ１に含まれる画像Ｇ３（図１６（ｂ）において斜線によるハッチングをした部分）は、表示部２５に表示されなくなる。

図１７は、この変形例における画像処理装置１が解像度を決定するまでの動作の流れを示すフローチャートである。画像処理装置１の制御部１１は、表示装置２から操作情報を取得し、表示装置２において、指などの指示体が表示部２５の画面に接触したか否かを判断する（ステップＳ３０１）。指示体が接触されていないと判断する間（ステップＳ３０１；ＮＯ）、制御部１１は、この判断を続ける。指示体が接触されたと判断すると（ステップＳ３０１；ＹＥＳ）、制御部１１は、接触の時刻と、その接触により指示された画面上の位置とをＲＡＭなどに記憶する（ステップＳ３０２）。

次に、制御部１１は、表示装置２において表示部２５の画面に接触していた指示体が画面から離れたか否か判断する（ステップＳ３０３）。指示体が画面から離れていないと判断する間（ステップＳ３０３；ＮＯ）、制御部１１は、この判断を続ける。指示体が画面から離れたと判断すると（ステップＳ３０３；ＹＥＳ）、制御部１１は、指示体が画面から離れた時刻と、その離れる直前まで指示体が接触していた画面上の位置とをＲＡＭなどに記憶する（ステップＳ３０４）。

制御部１１は、ステップＳ３０２で記憶した時刻・位置と、ステップＳ３０４で記憶した時刻・位置とに基づいて、表示部２５に表示されている表示領域を特定するとともに（ステップＳ３０５）、表示部２５に表示されなくなった非表示領域を特定する（ステップＳ３０６）。そして、制御部１１は、各領域の表示時間を計測し（ステップＳ３０７）、変換規則データベース１２４ａを参照して、その各表示時間に応じた減算値をそれぞれ特定して（ステップＳ３０８）、特定したその減算値を解像度データベース１２３に記憶されている解像度から減算して、新たな解像度を決定する（ステップＳ３０９）。

これにより、表示時間が少ない領域については、表示の必要がないものとして解像度が下げられ、表示時間が多い領域については、表示が必要なものとして解像度が上げられる処理が画像処理装置１において行われる。したがって、ユーザによってあまり見られない分割領域ほど解像度が下げられた変換後画像データが画像処理装置１において用意され、通信負荷が抑制される。

２−３．変形例３
上述した実施形態において、画像処理装置１は、操作の開始および終了のときにそれぞれ指示された位置とその時間とに応じて操作の速度を算出し、その速度に応じて加算値を特定する処理を行ったが、操作中の距離と操作直後の距離との比較に応じて、処理の内容を変化させてもよい。
図１８は、この変形例におけるピンチアウトの操作を説明するための図である。ユーザの右手の親指が表示部２５の画面における点Ｐ１に、人差し指が点Ｐ２に触れ、互いを遠ざけるようにそれぞれ画面上を触れたまま移動し、親指が点Ｐ３でそれまで移動した方向とは逆の方向に移動して点Ｐ５で画面から離れ、人差し指が点Ｐ４でそれまで移動した方向とは逆の方向に移動して点Ｐ６で画面から離れると、表示装置２の操作部２４はこの操作を検知して、これら指示された各点の画面上における位置と、これらの指示が行われた時刻とをそれぞれ示す操作情報を画像処理装置１に送信する。

この場合、点Ｐ３→点Ｐ５の移動、および点Ｐ４→点Ｐ６の移動は、ピンチアウトによって指示した拡大率を微調整するためのジェスチャーを意味する。すなわち、ユーザは操作に応じて拡大される画像を見ながら操作を続けるので、求めている拡大率を超える拡大率で画像が拡大されたときには、それまでと逆の方向に指などを動かして最終的な拡大率を決定する。したがって、この場合、ユーザは最後に指などの指示体を話したときの拡大率で画像を見ることを要求していることが多い。

図１９は、この変形例における画像処理装置１が解像度を決定するまでの動作の流れを示すフローチャートである。画像処理装置１の制御部１１は、表示装置２から操作情報を取得し、表示装置２において、指などの指示体が複数の点で表示部２５の画面に接触したか否かを判断する（ステップＳ４０１）。指示体が接触されていないと判断する間（ステップＳ４０１；ＮＯ）、制御部１１は、この判断を続ける。指示体が接触されたと判断すると（ステップＳ４０１；ＹＥＳ）、制御部１１は、接触の時刻と、その接触により指示された画面上の位置とをＲＡＭなどに記憶する（ステップＳ４０２）。

次に、制御部１１は、表示装置２において表示部２５の画面に接触していた指示体が画面から離れたか否か判断する（ステップＳ４０３）。指示体が画面から離れていないと判断する間（ステップＳ４０３；ＮＯ）、制御部１１は、ステップＳ４０２に戻り、周期的に指示体の位置を記憶して、この判断を続ける。指示体が画面から離れたと判断すると（ステップＳ４０３；ＹＥＳ）、制御部１１は、指示体が画面から離れた時刻と、その離れる直前まで指示体が接触していた画面上の位置とをＲＡＭなどに記憶する（ステップＳ４０４）。

制御部１１は、ステップＳ４０２で記憶した時刻・位置と、ステップＳ４０４で記憶した時刻・位置とに基づいて、操作中に指示体が指示した複数の点の距離が最大となったときの距離（最大距離）と、操作が終了したときの複数の点の距離（終了時距離）とを特定する（ステップＳ４０５）。そして、制御部１１は、最大距離が終了時距離よりも大きいか否か判断し（ステップＳ４０６）、最大距離が終了時距離よりも大きいと判断しない場合、つまり最大距離が終了時距離と等しいと判断した場合には（ステップＳ４０６；ＮＯ）、操作の速度を算出して（ステップＳ４０７）、変換規則データベース１２４を参照してその速度に応じた加算値を特定して（ステップＳ４０８）、解像度を決定する（ステップＳ４０９）。

一方、最大距離が終了時距離よりも大きいと判断した場合（ステップＳ４０６；ＹＥＳ）、制御部１１は、ステップＳ４０９に進み、解像度を加算することなく解像度を決定する。これにより、上述したユーザのジェスチャーは、要求する拡大率を微調整するものとして解釈される。

２−４．変形例４
画像処理装置１の制御部１１は、例えばユーザが指などの指示体を一定の時間にわたって動かさないまま操作部２４に接触させ続けた場合に、その指示体が示す位置を含む分割領域の解像度を操作前よりも低い解像度に決定してもよい。一定の時間にわたって指などを触れたまま動かさないでいる場合、その指が触れている位置はユーザの目には隠れているため、表示させる必要が低い場合が多い。この変形例によれば、ユーザの指などに隠れた領域の解像度が下げられるので、次に変換後画像データを送信する際の通信負荷が抑制される。

２−５．変形例５
画像処理装置１の制御部１１は、操作情報が示す操作が決められたパターンであるときに、処理の内容を変化させてもよい。例えば、ピンチアウトをした直後にスワイプをした場合、ピンチアウトで焦点となった点（図１１に示す点Ｐ０など）は、拡大された後、すぎに画面外に移動させられるため非表示になる。この場合、ユーザはピンチアウトで、注目領域ではなく拡大率を指示しているのであり、注目領域は、スワイプによって指示している。

画像処理装置１の制御部１１は、ピンチアウトとスワイプとのそれぞれの操作時刻の間隔をパターンとして特定し、予め決められたパターンと比較する。そして、制御部１１は、その比較結果に応じて加算値を特定する分割領域を決めればよい。ピンチアウトのすぐ後（例えば０．５秒後以内）にスワイプが行われるパターンが検出された場合には、制御部１１は、スワイプによって示される注目領域を含む分割領域に対して、ピンチアウトによって示される速度と拡大率に応じて決められた加算値を特定し、その分割領域の新たな解像度を決定すればよい。

２−６．変形例６
上述した実施形態において、分割情報データベース１２２は、各画像データによって表される画像を複数の分割領域に分割するための情報を記憶していたが、この情報は表示装置２における操作に応じて変化してもよい。つまり、分割部１１３は、取得部１１１が取得した操作情報に応じて、画像を複数の分割領域に分割してもよい。

２−７．変形例７
画像処理装置１は、複数の表示装置２から取得した操作情報に基づいて、画像の分割領域ごとの解像度を決定してもよい。例えば、画像処理装置１の制御部１１は、操作情報を複数の表示装置からそれぞれ取得し、取得した複数の操作情報の統計結果に応じて、解像度を決定すればよい。これにより、複数のユーザに共通する操作に沿って変換後画像データが調節される。

２−８．変形例８
画像処理装置１の制御部１１によって実行されるプログラムは、磁気テープや磁気ディスクなどの磁気記録媒体、光ディスクなどの光記録媒体、光磁気記録媒体、半導体メモリなどの、コンピュータ装置が読み取り可能な記録媒体に記憶された状態で提供し得る。また、このプログラムを、インターネットなどの通信回線を経由してダウンロードさせることも可能である。なお、上記の制御部１１によって例示した制御手段としてはＣＰＵ以外にも種々の装置が適用される場合があり、例えば、専用のプロセッサなどが用いられる。

１…画像処理装置、１１…制御部、１１１…取得部、１１２…決定部、１１３…分割部、１１４…生成部、１１５…送信部、１２…記憶部、１２１…画像データベース、１２２…分割情報データベース、１２３…解像度データベース、１２４…変換規則データベース、１３…通信部、２…表示装置、２１…制御部、２２…記憶部、２３…通信部、２４…操作部、２５…表示部、３…通信回線、９…画像表示システム。

Claims (5)

1. 画像データによって表される画像を複数の分割領域に分割する分割部と、
   分割された前記各分割領域の画像の解像度を該分割領域単位でそれぞれ変換し、該解像度が変換された各画像をまとめた画像を表す変換後画像データを生成する生成部と、
   前記生成部により生成された前記変換後画像データを表示装置に送信する送信部と、
   前記送信部によって送信された前記変換後画像データが表す画像が表示された前記表示装置において該画像に対して行われた、表示される範囲を変えるための操作を示す操作情報を取得する取得部と、
   前記取得部が取得した操作情報に応じて、それぞれの前記分割領域の解像度を決定する決定部と、
   を有し、
   前記生成部は、前記決定部により前記分割領域の解像度が決定された場合に、該分割領域の前記画像の解像度を該解像度に変換し、
   前記操作情報は、前記表示装置において表示された前記画像に対して該画像の複数の位置をそれぞれ指定して、該各位置をそれぞれ移動させる操作を示し、
   前記決定部は、前記操作情報により示される前記各位置の距離の該操作中における最大値と、該操作の終了したときの前記各位置の距離との比較結果に応じて、前記解像度を決定する
   ことを特徴とする画像処理装置。
2. 画像データによって表される画像を複数の分割領域に分割する分割部と、
   分割された前記各分割領域の画像の解像度を該分割領域単位でそれぞれ変換し、該解像度が変換された各画像をまとめた画像を表す変換後画像データを生成する生成部と、
   前記生成部により生成された前記変換後画像データを表示装置に送信する送信部と、
   前記送信部によって送信された前記変換後画像データが表す画像が表示された前記表示装置において該画像に対して行われた、表示される範囲を変えるための操作を示す操作情報を取得する取得部と、
   前記取得部が取得した操作情報に応じて、それぞれの前記分割領域の解像度を決定する
   決定部と、
   を有し、
   前記生成部は、前記決定部により前記分割領域の解像度が決定された場合に、該分割領域の前記画像の解像度を該解像度に変換し、
   前記操作情報は、前記表示装置において表示された前記画像に対して該画像の位置を指定して、該位置を移動させる操作を示し、
   前記決定部は、前記操作情報により示される前記位置の移動に応じて前記表示装置において表示される前記画像の分割領域ごとに、該分割領域が該表示装置において表示される時間を特定し、特定した該時間に応じて前記解像度を決定する
   ことを特徴とする画像処理装置。
3. 前記送信部は、前記変換後画像データを複数の表示装置に送信し、
   前記取得部は、前記操作情報を前記複数の表示装置からそれぞれ取得し、
   前記決定部は、前記取得部が取得した複数の前記操作情報の統計結果に応じて、前記解像度を決定する
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. コンピュータを、
   画像データによって表される画像を複数の分割領域に分割する分割部と、
   分割された前記各分割領域の画像の解像度を該分割領域単位でそれぞれ変換し、該解像度が変換された各画像をまとめた画像を表す変換後画像データを生成する生成部と、
   前記生成部により生成された前記変換後画像データを表示装置に送信する送信部と、
   前記送信部によって送信された前記変換後画像データが表す画像が表示された前記表示装置において該画像に対して行われた、表示される範囲を変えるための操作であって、前記表示装置において表示された前記画像に対して該画像の複数の位置をそれぞれ指定して、該各位置をそれぞれ移動させる操作を示す操作情報を取得する取得部と、
   前記取得部が取得した操作情報に応じて、それぞれの前記分割領域の解像度を決定する決定部として機能させるとともに、
   前記決定部により前記分割領域の解像度が決定された場合に、前記生成部が、該分割領域の前記画像を該解像度に変換し、前記決定部が、前記操作情報により示される前記各位置の距離の該操作中における最大値と、該操作の終了したときの前記各位置の距離との比較結果に応じて、前記解像度を決定するように、前記コンピュータを機能させるためのプログラム。
5. コンピュータを、
   画像データによって表される画像を複数の分割領域に分割する分割部と、
   分割された前記各分割領域の画像の解像度を該分割領域単位でそれぞれ変換し、該解像度が変換された各画像をまとめた画像を表す変換後画像データを生成する生成部と、
   前記生成部により生成された前記変換後画像データを表示装置に送信する送信部と、
   前記送信部によって送信された前記変換後画像データが表す画像が表示された前記表示装置において該画像に対して行われた、表示される範囲を変えるための操作であって、前記表示装置において表示された前記画像に対して該画像の位置を指定して、該位置を移動させる操作を示す操作情報を取得する取得部と、
   前記取得部が取得した操作情報に応じて、それぞれの前記分割領域の解像度を決定する決定部として機能させるとともに、
   前記決定部により前記分割領域の解像度が決定された場合に、前記生成部が、該分割領域の前記画像を該解像度に変換し、前記決定部が、前記操作情報により示される前記位置の移動に応じて前記表示装置において表示される前記画像の分割領域ごとに、該分割領域が該表示装置において表示される時間を特定し、特定した該時間に応じて前記解像度を決定するように、前記コンピュータを機能させるためのプログラム。

Images