JP3951654B2

JP3951654B2 - Server and terminal in image data acquisition system, image data acquisition method thereof, and image data acquisition program

Info

Publication number: JP3951654B2
Application number: JP2001283711A
Authority: JP
Inventors: 晃丈三津橋; 彰彦池谷
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2001-09-18
Filing date: 2001-09-18
Publication date: 2007-08-01
Anticipated expiration: 2021-09-18
Also published as: JP2003091479A

Description

【０００１】
【発明の属する技術分野】
本発明は、通信ネットワークを介した画像データの送受及び表示に関し、特に、画像データの内容に応じて解像度を変更させる画像データ取得システムにおけるサーバ及び端末とその画像データ取得方法、及び画像データ取得プログラムに関する。
【０００２】
【従来の技術】
従来、ビットマップ形式などのデジタル画像の表示は、一般的にラスタ走査順に行われていた。以下、この表示方法を「ラスタプログレッシブ方式」と呼ぶ。この画像伝送方式では、画像データを全て受信した後に、次の画像表示が可能となるので、高精細でデータサイズが大きい画像を伝送する際には、画像の概要を取得するためだけであっても全画像を受信する必要があり、通信時間が非常に長くかかる問題があった。
【０００３】
このラスタプログレッシブ方式の欠点を解消する方式には、プログレッシブＪＰＥＧやインタレースＧＩＦといった画像フォーマットに用いられている「解像度プログレッシブ方式」がある。この方式では、画像の表示順がラスタ走査順ではなく、最初に画像全体を粗く表示した後に徐々に精細に表示することが可能である。このため、全ての画像データを受信しなくても、画像の概要を得ることができる。このような表示方式は、画像表示に要する待ち時間に対するイライラ感、ストレスを軽減する効果がある。
【０００４】
しかし、上記のいずれの画像形式においても、結局は常に画像データ内の全ての画素情報を得る必要があり、任意の画素集合を通信時に選択することができなかった。
【０００５】
これに対して、更に改良を施した画像形式として、ＪＰＥＧ２０００（ISO/IEC WG1,SC29,15444）やＦｌａｓｈｐｉｘ（登録商標：Digital Imaging Group, Inc.）という画像フォーマットが提案されている。この画像形式では、図１０に示すように、いくつかの画素を集めたブロックを単位として任意の画素集合を選択することができ、かつ、画素ブロック毎に解像度プログレッシブ方式で表示することが可能である。
【０００６】
従来、上記の画像フォーマットで記録された画像データを取得し表示を行う装置では、画像の拡大縮小処理やスクロール表示処理に代表される表示更新処理に対して、その処理時間が長くかかり、適切な表示品質や操作性が得られないという問題があった。ここで、表示更新処理とは、例えば、対象画像の一部を表示処理中にその表示処理を完遂あるいは中断し、別の表示領域から画像データを取得し表示するという、一連の表示領域移動処理などを指す。
【０００７】
この表示更新処理時間を短縮するために、従来は特開平０７−００５３４６号公報や特開平１１−０８８８６６号公報に開示されるように、表示領域を移動する前に、現在表示中の表示領域の近隣画像を予め読み込む処理（先読み処理）を行い、表示領域の移動が円滑に行えるようにしていた。
【０００８】
更に、Ｆｌａｓｈｐｉｘを用いたシステムでは、先読み処理を行う画像を低解像度で取得しておき、表示領域の移動が停止した時点から段階的に解像度を上げる手法をとっており、画像が記憶されているサーバと端末間のデータ通信量を少なくし、表示更新処理速度を高めていた。
【０００９】
【発明が解決しようとする課題】
上述したように従来のシステムでは、以下に述べるような問題点があった。
【００１０】
一般的に、表示維持時間と表示倍率とが変化すると、表示対象が同じでも、人間の視覚系が認知する情報は変化することが知られている。例えば、１９７９年、サイエンス、２０６巻、４６８〜４６９頁（Rayner, K. Bertera, J. H. 1979 Reading without a fovea. Science, 206, 468-469）によると、人間が文字として認識するために必要な視角は８分から１度である。
【００１１】
また、別の例では、同じ文章が表示されていても、表示倍率の変化によって文字の視角が変化し、文字認知の容易さも変化する。
【００１２】
更に、１９８３年、ビジョンリサーチ、２３巻、５４１〜５４６頁（Morgan, M. J., Wat, R. J., McKee, S. P. 1983 Exposure duration affects the sensitivity of vernier acuity to target motion. Vision Research, 23, 541-546）によると、視覚刺激の運動速度増加と共に、視力の低下が起こることが示されており、表示領域の表示時間が短い場合には、認知能力が低下すると考えられる。
【００１３】
拡大・縮小処理や表示領域のスクロール動作といった表示更新処理を行う場合、利用者からみた画像の表示状態は、画像データ自身の属性（解像度やピクセル数、階調、圧縮率等）と、表示に対する状態（表示持続時間、フレームレート、表示倍率など）、通信回線や一連の処理を行うハードウェアの能力などの関係によって決まり、表示動作はこれら要因の何れかが可変である限り、一定とはならない。
【００１４】
従って、表示対象や操作の指定内容、端末などの違いによって、表示の様子がまちまちになるため、適切な表示が得られるように、それぞれの要素間のバランスをとりながらシステムを設計する必要がある。特に、スクロール動作を高速に行うような場合には、単位時間内に処理すべき対象画像領域が増えるため、操作性を低下させないように、画像を粗くしたり、処理する画素を間引いたりといった、単位時間あたりの処理データ量を抑制する方法、即ち、前記したプログレッシブ表示方式が有効となる。
【００１５】
しかし、従来の画像表示方式では、表示領域の移動速度及び表示領域内の画像の倍率と、先読み処理すべき画像の解像度との間に全く関係がなかった。このため、表示領域を移動中にプログレッシブ表示を行った場合、例えば、文字等が含まれる画像では、全体が一様に低解像度表示されるため、図１１に示すように、判読に必要な解像度に達する前に次の領域へ移る場合がある。
【００１６】
文書をスクロール表示する場合には、少なくとも、見出しのような、鍵となる箇所の文字が判別できなければ、移動先の指定は困難となるため、キーとなる文字が判別できない状態でのスクロール操作は、作業能率が著しく低下する。
【００１７】
以上のように、従来技術では、表示領域の移動に伴って更新すべき画像情報全てについて最高解像度をサーバに要求すると、対象の画像データが人間に提供できる最高の情報量を得ることができるが、データ通信量は最大となり、そのデータを通信及び処理するのに要する時間も最大となる。
【００１８】
一方、更新すべき画像情報全てについて解像度を下げてしまうと、データ通信量とデータの通信と処理に要する時間も短くなるが、表示領域の倍率及び更新速度によっては対象画像の中にある図や文字といった構成要素を端末利用者が認知することができないといった情報の欠落をまねく。
【００１９】
上記の問題点は、画像閲覧者の興味や人間の視覚的な認知特性等を考慮せずに、通信途中の画像の解像度を一様として扱っていたことに起因する。従って、ユーザインタフェースを向上させる観点からは、人間の視覚的な知覚特性に合わせて、通信するデータの量や内容、特性、端末側でのデータ管理や表示方法などを適切に制御する必要がある。
【００２０】
本発明の第１の目的は、上記従来技術の欠点を解決し、画像データを通信し端末上で閲覧する際に、データ通信量を変化させた場合でも、通信途中の画像データに対する認知的な情報量を維持できる、画像データ取得システムにおけるサーバ及び端末とその画像データ取得方法、及び画像データ取得プログラムを提供することにある。
【００２１】
本発明の第２の目的は、上記従来技術の欠点を解決し、これら画像データ取得システムの設計にあたって、コンテンツや通信回線、サーバや端末の処理能力や規模などを反映できるよう、例えば、処理能力の低い端末でも快適な画像閲覧が実現できるといった柔軟な設計が行えるようにするために、端末側の情報処理の一部をサーバ側でも行えるようにした画像データ取得システムにおけるサーバ及び端末とその画像データ取得方法、及び画像データ取得プログラムを提供することにある。
【００２２】
【課題を解決するための手段】
上記目的を達成するための本発明は、通信ネットワークを介して、端末へ画像データを配信する画像データ取得システムにおけるサーバであって、
配信する前記画像データに関するレイアウト情報と、前記端末における当該画像データに対する操作内容と、人間が情報として内容を十分に認知できるための前記画像データに含まれる画像に対する知覚特性を示す知覚特性情報と、前記端末における表示性能に基づいて、配信する画像データの解像度を決定する有効解像度オブジェクト決定部と、
前記画像データに関するレイアウト情報と、前記有効解像度オブジェクト決定部からの解像度とに基づいて、前記操作内容によって要求されると予想される画像データを予め前記端末へ配信する先読み処理に必要な領域を示す画像領域を決定する受信範囲計算部とを備え、
前記端末から、当該端末において表示中の画像データの表示領域の位置、及び当該画像データの操作による変化の速度を示す表示領域速度、及び当該画像の表示画面中の１画素に対する当該画像の画像データの画素数を示す表示倍率の各データを前記操作内容として受信し、
前記有効解像度オブジェクト決定部は、前記端末において表示中の画像が変化すると予想される領域と変化前の表示領域との差分である先読み差分領域を計算し、前記知覚特性情報に基づいて、前記先読み差分領域内の画像構成要素が、前記操作内容に示される前記表示領域速度及び前記表示倍率により、人間に知覚されるために最低限必要な解像度を、当該画像の解像度として算出し、
前記受信範囲計算部は、前記有効解像度オブジェクト決定部が判定した前記先読み差分領域を覆う矩形領域の集合を、当該画像の画像領域として決定し、
解像度を決定した前記画像データを前記端末へ配信することを特徴とする。
【００２３】
請求項２の本発明は、前記レイアウト情報が、少なくとも前記画像データに含まれる構成要素の種類、大きさ、位置及び向き、形状を含み、前記操作内容が、前記画像データの前記画像の表示領域の移動又は拡大縮小に関するものであることを特徴とする。
【００２４】
請求項３の本発明は、前記受信範囲計算部が、前記操作内容を用いて前記先読み処理に必要な領域を一定時間内に受信するためのデータ通信量を計算し、前記解像度による前記画像領域を前記データ通信量以下の通信量で通信するために、前記有効解像度オブジェクト決定部が決定した解像度と、前記受信範囲計算部が決定した前記画像領域と前記データ通信量とに基づいて、前記画像領域を加工して、加工画像データを生成する送信データ生成部を備え、生成された前記加工画像データを前記端末に対し配信することを特徴とする。
【００２５】
請求項４の本発明は、前記知覚特性情報を記憶し参照する知覚特性記憶部を備え、
前記有効解像度オブジェクト決定部が、前記知覚特性記憶部から前記知覚特性情報を取り出して、前記画像データの解像度を決定することを特徴とする。
【００２６】
請求項５の本発明は、通信ネットワークを介して、サーバから配信される画像データを取得する画像データ取得システムにおける端末において、
配信する前記画像データに関するレイアウト情報と、前記端末側における当該画像データに対する操作内容と、人間が情報として内容を十分に認知できるための前記画像データに含まれる画像に対する知覚特性を示す知覚特性情報と、前記端末における表示性能に基づいて、画像データの解像度を決定する有効解像度オブジェクト決定部と、
配信する前記画像データに関するレイアウト情報と、前記有効解像度オブジェクト決定部からの解像度とに基づいて、前記操作内容によって要求されると予想される画像データを予め取得する先読み処理に必要な領域を示す画像領域を決定する受信範囲計算部と、を備え、
表示中の画像データの表示領域の位置、及び当該画像データの操作による変化の速度を示す表示領域速度、及び当該画像の表示画面中の１画素に対する当該画像の画像データの画素数を示す表示倍率の各データを、前記操作内容として取得し、
前記有効解像度オブジェクト決定部は、前記端末において表示中の画像が変化すると予想される領域と変化前の表示領域との差分である先読み差分領域を計算し、前記知覚特性情報に基づいて、前記先読み差分領域内の画像構成要素が、前記操作内容に示される前記表示領域速度及び前記表示倍率により、人間に知覚されるために最低限必要な解像度を、当該画像の解像度として算出し、
前記受信範囲計算部は、前記有効解像度オブジェクト決定部が判定した前記先読み差分領域を覆う矩形領域の集合を、当該画像の前記画像領域として決定し、
解像度を決定した前記画像データの配信を前記サーバに要求することを特徴とする。
【００２７】
請求項６の本発明は、前記レイアウト情報が、少なくとも前記画像データに含まれる構成要素の種類、大きさ、位置及び向き、形状を含み、前記操作内容が、前記画像データの前記画像の表示領域の移動又は拡大縮小に関するものであることを特徴とする。
【００２８】
請求項７の本発明は、前記知覚特性情報を記憶し参照する知覚特性記憶部を備え、
前記有効解像度オブジェクト決定部が、前記知覚特性記憶部から前記知覚特性情報を取り出して、前記画像データの解像度を決定することを特徴とする。
【００２９】
請求項８の本発明は、前記有効解像度オブジェクト決定部及び前記受信範囲計算部を、外部装置として備えることを特徴とする。
【００３０】
請求項９の本発明は、通信ネットワークを介して、サーバから端末へ画像を配信する画像データ取得方法であって、
配信する前記画像データに関するレイアウト情報と、前記端末側における当該画像データに対する操作内容と、人間が情報として内容を十分に認知できるための前記画像データに含まれる画像に対する知覚特性を示す知覚特性情報と、前記端末における表示性能に基づいて、画像データの解像度を決定する有効解像度オブジェクト決定ステップと、
配信する前記画像データに関するレイアウト情報と、前記有効解像度オブジェクト決定ステップによる解像度とに基づいて、前記操作内容によって要求されると予想される画像データを予め取得する先読み処理に必要な領域を示す画像領域を決定する受信範囲計算ステップと、
前記端末が、当該端末において表示中の画像の表示領域の位置、及び当該画像を移動する操作の速度を示す表示領域速度、及び当該画像の表示画面中の１画素に対する当該画像の画像データの画素数を示す表示倍率の各データを、前記操作内容として取得して前記サーバに送信するステップと、
を有し、
前記有効解像度オブジェクト決定ステップにおいては、前記端末において表示中の画像が変化すると予想される領域と変化前の表示領域との差分である先読み差分領域を計算し、前記知覚特性情報に基づいて、前記先読み差分領域内の画像構成要素が、前記操作内容に示される前記表示領域速度及び前記表示倍率により、人間に知覚されるために最低限必要な解像度を、当該画像の解像度として算出し、
前記受信範囲計算ステップにおいては、前記有効解像度オブジェクト決定ステップで判定した前記先読み差分領域を覆う矩形領域の集合を、当該画像の前記画像領域として判定し、
解像度を決定した前記画像データを前記端末へ配信することを特徴とする。
【００３１】
請求項１０の本発明は、前記有効解像度オブジェクト決定ステップにおいて、配信する前記画像データの必要最低限の解像度を決定することを特徴とする。
【００３２】
請求項１１の本発明は、前記端末にて、
前記有効解像度オブジェクト決定ステップと、
前記受信範囲計算ステップを有し、
配信を受ける画像データの前記レイアウト情報を前記サーバから受信して、前記有効解像度オブジェクト決定ステップにより当該画像の解像度を決定し、
前記有効解像度オブジェクト決定ステップにおいて決定した解像度と、前記受信範囲計算ステップにおいて決定した前記画像領域とを、前記サーバに送信し、
前記サーバが、
前記端末から、配信する画像に対する前記解像度と前記画像領域の指定を受信し、前記送信データ生成ステップにより、指定された前記解像度と前記画像領域とに基づいて当該画像を示す画像データを生成し、生成された前記画像データを前記端末に対し配信することを特徴とする。
【００３３】
請求項１２の本発明は、前記端末が、前記画像データの前記操作内容を前記サーバに送信するステップを備え、
前記サーバが、前記有効解像度オブジェクト決定ステップと、前記受信範囲計算ステップを備え、
前記端末からの前記操作内容を受信して、前記有効解像度オブジェクト決定ステップにより当該画像の解像度を決定し、
前記有効解像度オブジェクト決定ステップにおいて決定した解像度と、前記受信範囲計算ステップにおいて決定した前記画像領域とに基づいて、前記送信データ生成ステップにより当該画像を示す画像データを生成し、生成された前記画像データを前記端末に対し配信することを特徴とする。
【００３４】
請求項１３の本発明は、コンピュータを制御することにより、サーバから端末へ通信ネットワークを介して画像を配信する画像データ取得プログラムであって、
前記サーバに、
配信する前記画像データに関するレイアウト情報と、前記端末側における当該画像データに対する操作内容と、人間が情報として内容を十分に認知できるための前記画像データに含まれる画像に対する知覚特性を示す知覚特性情報と、前記端末における表示性能に基づいて、画像データの解像度を決定する有効解像度オブジェクト決定機能と、
配信する前記画像データに関するレイアウト情報と、前記有効解像度オブジェクト決定機能により決定した解像度とに基づいて、前記操作内容によって要求されると予想される画像データを予め取得する先読み処理に必要な領域を示す画像領域を決定する受信範囲計算機能と、
解像度を決定した前記画像データを前記端末へ配信する機能と、を実現させ、
前記操作内容は、前記端末において表示中の画像データの表示領域の位置、及び当該画像データの操作による変化の速度を示す表示領域速度、及び当該画像の表示画面中の１画素に対する当該画像の画像データの画素数を示す表示倍率の各データを前記端末から受信するものであり、
前記有効解像度オブジェクト決定機能は、前記端末において表示中の画像が変化すると予想される領域と変化前の表示領域との差分である先読み差分領域を計算し、前記知覚特性情報に基づいて、前記先読み差分領域内の画像構成要素が、前記操作内容に示される前記表示領域速度及び前記表示倍率により、人間に知覚されるために最低限必要な解像度を、当該画像の解像度として算出し、
前記受信範囲計算機能は、前記有効解像度オブジェクト決定部が判定した前記先読み差分領域を覆う矩形領域の集合を、当該画像の画像領域として判定することを特徴とする。
【００３５】
請求項１４の本発明は、前記レイアウト情報が、少なくとも前記画像データに含まれる構成要素の種類、大きさ、位置及び向き、形状を含み、
前記操作内容が、前記画像データの前記画像の表示領域の移動又は拡大縮小に関するものであることを特徴とする。
【００３６】
請求項１５の本発明は、前記受信範囲計算機能は、前記操作内容を用いて前記先読み処理に必要な領域を一定時間内に受信するためのデータ通信量を計算し、
前記サーバに、前記解像度による前記画像領域を前記データ通信量以下の通信量で通信するために、前記有効解像度オブジェクト決定機能が決定した解像度と、前記受信範囲計算機能が決定した前記画像領域と前記データ通信量とに基づいて、前記画像領域を加工して、加工画像データを生成する送信データ生成機能を実現させ、
生成された前記加工画像データを前記端末に対し配信することを特徴とする。
【００３７】
請求項１６の本発明は、コンピュータを制御することにより、サーバから端末へ通信ネットワークを介して画像を配信する画像データ取得プログラムであって、
前記端末に、
配信する前記画像データに関するレイアウト情報と、前記端末側における当該画像データに対する操作内容と、人間が情報として内容を十分に認知できるための前記画像データに含まれる画像に対する知覚特性を示す知覚特性情報と、前記端末における表示性能に基づいて、画像データの解像度を決定する有効解像度オブジェクト決定機能と、
解像度を決定した前記画像データの配信を前記サーバに要求する機能と、
配信する前記画像データに関するレイアウト情報と、前記有効解像度オブジェクト決定部からの解像度とに基づいて、前記操作内容によって要求されると予想される画像データを予め取得する先読み処理に必要な領域を示す画像領域を決定する受信範囲計算機能と、
を実現させ、
前記操作内容は、当該端末における表示中の画像データの表示領域の位置、及び当該画像データの操作による変化の速度を示す表示領域速度、及び当該画像の表示画面中の１画素に対する当該画像の画像データの画素数を示す表示倍率の各データを有し、
前記有効解像度オブジェクト決定機能は、前記端末において表示中の画像が変化すると予想される領域と変化前の表示領域との差分である先読み差分領域を計算し、前記知覚特性情報に基づいて、前記先読み差分領域内の画像構成要素が、前記操作内容に示される前記表示領域速度及び前記表示倍率により、人間に知覚されるために最低限必要な解像度を、当該画像の解像度として算出し、
前記受信範囲計算機能は、前記有効解像度オブジェクト決定部が判定した前記先読み差分領域を覆う矩形領域の集合を、当該画像の画像領域として判定することを特徴とする。
【００３８】
請求項１７の本発明は、前記有効解像度オブジェクト決定機能において、配信する前記画像データの必要最低限の解像度を決定することを特徴とする。
【００３９】
請求項１８の本発明は、前記端末にて、
配信を受ける画像のレイアウト情報を前記サーバから受信して、前記有効解像度オブジェクト決定機能により当該画像データの解像度を決定し、
前記有効解像度オブジェクト決定機能が決定した解像度と、前記受信範囲計算機能が決定した前記画像領域とを前記サーバに送信し、
前記サーバから、前記解像度と前記画像領域とに基づく画像データの配信を受けることを特徴とする。
【００４０】
請求項１９の本発明は、配信する前記画像データに関するレイアウト情報と、前記有効解像度オブジェクト決定ステップによる解像度とに基づいて、前記操作内容によって要求されると予想される画像データを予め取得する先読み処理に必要な領域を示す画像領域を決定する受信範囲計算ステップを有することを特徴とする。
【００４１】
請求項２０の本発明は、前記サーバにて、配信する画像データに対する、前記有効解像度オブジェクト決定ステップにより決定した解像度と、前記受信範囲計算ステップにより決定した前記画像領域に基づいて、前記解像度による前記画像領域の部分を示す画像データを生成する送信データ生成ステップと、生成された前記画像データを前記端末に対し配信するステップを有することを特徴とする。
【００４２】
請求項２１の本発明は、前記端末にて、前記有効解像度オブジェクト決定ステップと、前記受信範囲計算ステップを有し、配信を受ける画像データの前記レイアウト情報を前記サーバから受信して、前記有効解像度オブジェクト決定ステップにより当該画像の解像度を決定し、前記有効解像度オブジェクト決定ステップにおいて決定した解像度と、前記受信範囲計算ステップにおいて決定した前記画像領域とを、前記サーバに送信し、前記サーバが、前記端末から、配信する画像に対する前記解像度と前記画像領域の指定を受信し、前記送信データ生成ステップにより、指定された前記解像度と前記画像領域とに基づいて当該画像を示す画像データを生成し、生成された前記画像データを前記端末に対し配信することを特徴とする。
【００４３】
請求項２２の本発明は、前記端末が、前記画像データの前記操作内容を前記サーバに送信するステップを備え、前記サーバが、前記有効解像度オブジェクト決定ステップと、前記受信範囲計算ステップを備え、前記端末からの前記操作内容を受信して、前記有効解像度オブジェクト決定ステップにより当該画像の解像度を決定し、前記有効解像度オブジェクト決定ステップにおいて決定した解像度と、前記受信範囲計算ステップにおいて決定した前記画像領域とに基づいて、前記送信データ生成ステップにより当該画像を示す画像データを生成し、生成された前記画像データを前記端末に対し配信することを特徴とする。
【００４４】
請求項２３の本発明は、前記端末が、当該端末において表示中の画像の表示領域の位置、及び当該画像を移動する操作の速度を示す表示領域速度、及び当該画像の表示画面中の１画素に対する当該画像の画像データの画素数を示す表示倍率の各データを、前記操作内容として取得するステップを備えることを特徴とする。
【００４５】
請求項２４の本発明は、前記有効解像度オブジェクト決定ステップにおいては、前記端末において表示中の画像が変化すると予想される領域と変化前の表示領域との差分である先読み差分領域を計算し、前記知覚特性情報に基づいて、前記先読み差分領域内の画像構成要素が、前記操作内容に示される前記表示領域速度及び前記表示倍率により、人間に知覚されるために最低限必要な解像度を、当該画像の解像度として算出するステップを備えることを特徴とする。
【００４６】
請求項２５の本発明は、前記受信範囲計算ステップにおいては、前記有効解像度オブジェクト決定ステップで判定した前記先読み差分領域を覆う矩形領域の集合を、当該画像の前記画像領域として判定するステップを備えることを特徴とする。
【００４７】
請求項２６の本発明は、コンピュータを制御することにより、サーバから端末へ通信ネットワークを介して画像を配信する画像データ取得プログラムであって、前記サーバにて、配信する前記画像データに関するレイアウト情報と、前記端末側における当該画像データに対する操作内容と、人間が情報として内容を十分に認知できるための前記画像データに含まれる画像に対する知覚特性を示す知覚特性情報と、前記端末における表示性能に基づいて、画像データの解像度を決定する有効解像度オブジェクト決定機能と、解像度を決定した前記画像データを前記端末へ配信する機能とを実行することを特徴とする。
【００４８】
請求項２７の本発明は、前記レイアウト情報が、少なくとも前記画像データに含まれる構成要素の種類、大きさ、位置及び向き、形状を含み、前記操作内容が、前記画像データの前記画像の表示領域の移動又は拡大縮小に関するものであることを特徴とする。
【００４９】
請求項２８の本発明は、前記サーバにて、配信する前記画像データに関するレイアウト情報と、前記有効解像度オブジェクト決定機能により決定した解像度とに基づいて、前記操作内容によって要求されると予想される画像データを予め取得する先読み処理に必要な領域を示す画像領域を決定する受信範囲計算機能を実行することを特徴とする。
【００５０】
請求項２９の本発明は、前記受信範囲計算機能にて、前記操作内容を用いて前記先読み処理に必要な領域を一定時間内に受信するためのデータ通信量を計算し、前記解像度による前記画像領域を前記データ通信量以下の通信量で通信するために、前記有効解像度オブジェクト決定機能が決定した解像度と、前記受信範囲計算機能が決定した前記画像領域と前記データ通信量とに基づいて、前記画像領域を加工して、加工画像データを生成する送信データ生成機能を備え、生成された前記加工画像データを前記端末に対し配信することを特徴とする。
【００５１】
請求項３０の本発明は、コンピュータを制御することにより、通信ネットワークを介してサーバから画像を配信される端末上で実行される端末用プログラムであって、前記サーバに、前記画像データに関するレイアウト情報と、当該画像データに対する操作内容と、人間が情報として内容を十分に認知できるための前記画像データに含まれる画像に対する知覚特性を示す知覚特性情報と、表示性能を送信し、前記サーバに、当該レイアウト情報、当該操作内容、当該知覚特性情報及び当該表示性能を受信させ、さらに、前記サーバの有効解像度オブジェクト決定部に対して受信した当該レイアウト情報、当該操作内容、当該知覚特性情報及び当該表示性能に基づいて、前記画像データの解像度を決定させて配信させ、当該解像度が変化された前記画像データを受信することを特徴とする。
【００５２】
請求項３１の本発明は、コンピュータを制御することにより、サーバから端末へ通信ネットワークを介して画像を配信する画像データ取得プログラムであって、前記端末にて、配信する前記画像データに関するレイアウト情報と、前記端末側における当該画像データに対する操作内容と、人間が情報として内容を十分に認知できるための前記画像データに含まれる画像に対する知覚特性を示す知覚特性情報と、前記端末における表示性能に基づいて、画像データの解像度を決定する有効解像度オブジェクト決定機能と、解像度を決定した前記画像データの配信を前記サーバに要求する機能を実行することを特徴とする。
【００５３】
請求項３２の本発明は、前記有効解像度オブジェクト決定機能において、配信する前記画像データの必要最低限の解像度を決定することを特徴とする。
【００５４】
請求項３３の本発明は、前記端末にて、配信する前記画像データに関するレイアウト情報と、前記有効解像度オブジェクト決定部からの解像度とに基づいて、前記操作内容によって要求されると予想される画像データを予め取得する先読み処理に必要な領域を示す画像領域を決定する受信範囲計算機能を実行することを特徴とする。
【００５５】
請求項３４の本発明は、前記端末にて、配信を受ける画像のレイアウト情報を前記サーバから受信して、前記有効解像度オブジェクト決定機能により当該画像データの解像度を決定し、前記有効解像度オブジェクト決定機能が決定した解像度と、前記受信範囲計算機能が決定した前記画像領域とを前記サーバに送信し、前記サーバから、前記解像度と前記画像領域とに基づく画像データの配信を受けることを特徴とする。
【００５６】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００５７】
図１は、本発明の第１の実施の形態による画像データ取得システムの構成を示すブロック図である。図１を参照すると、本発明の第１の実施の形態は、利用者による情報の閲覧や操作を行う端末である端末１と、画像データを蓄積して端末へと配信する計算機などのサーバ２と、サーバと端末の間で通信を行うためのネットワーク３とを含む。ここで、画像データとしては、静止画及び動画（ＭｏｔｉｏｎＪＰＥＧ２０００等）が含まれる。
【００５８】
端末１は、キーボードやマウスやタッチパネル等の入力装置１１と、プログラム制御により動作するデータ処理装置１２と、ディスプレイ装置などの表示装置１３を備えている。
【００５９】
データ処理装置１２は、表示装置情報記憶部２２と知覚特性記憶部２１、表示領域位置・速度測定部２３、表示倍率制御部２４、有効解像度オブジェクト決定部２５、受信範囲計算部２６、通信速度測定部２７、送受信部２８、そして画像データ生成部２９を備えている。
【００６０】
表示装置情報記憶部２２は、表示装置１３の表示性能に関する情報（以下、表示性能情報）を記憶する。表示性能情報には、表示装置１３の解像度を示す主走査数と副走査数といった情報や表示サイズに関する情報等が含まれる。
【００６１】
知覚特性記憶部２１には、画像に対する人間の視覚的な知覚特性の情報（以下、知覚特性情報）を格納する。
【００６２】
表示領域位置・速度測定部２３は、端末利用者によって操作（画像のスクロール表示操作（移動）や拡大縮小操作）された表示領域の表示位置及び表示領域速度を測定する。ここで表示領域２０２とは、図２に示したような、サーバ２にある表示対象画像データ２０１内で表示装置１３に表示されている領域を指し、端末１の画面のサイズと同じかそれよりも小さい任意の矩形領域を表す。表示位置とは、表示対象画像データ２０１の頂点、重心その他の幾何学的な点のいずれかを原点とした、表示領域２０２の頂点、重心その他の幾何学的な点の位置である。また、表示領域速度とは、表示対象画像データ内で表示領域２０２を移動又は拡大縮小させたときに、表示領域２０２内の画像を更新するのに必要な単位時間あたりのデータ量を表す。
【００６３】
表示倍率制御部２４は、上記表示領域の領域内で表示されている画像の１画素あたりに含まれる表示対象画像データの画素数を計算する。また、拡大縮小操作がなされた時には、その拡大及び縮小中心位置を上記表示対象画像データの画素数とともに記憶する。
【００６４】
有効解像度オブジェクト決定部２５は、表示領域位置・速度測定部２３及び表示倍率制御部２４から得られる表示領域に関する情報と、表示装置情報記憶部２２にある表示性能情報及び後述するサーバ２内のレイアウト情報記憶部６１にあるレイアウト情報を、ネットワーク２を経由して取得して、表示対象画像データに関するレイアウト情報を処理し、知覚特性記憶部２１に照らし合わせる。有効解像度オブジェクト決定部２５は、これにより、表示領域内の端末利用者に認知（知覚）できるであろう文字や図といった構成要素の判定と、認知されるのに必要な解像度の決定を行う。また、有効解像度オブジェクト決定部２５は、決定を行った解像度が送信する端末で表示可能な解像度であるか否かの判断を行うこともできる。
【００６５】
受信範囲計算部２６は、レイアウト情報記憶部６１からのレイアウト情報及び有効解像度オブジェクト決定部２５による処理結果をもとに、画像データ内で受信すべき領域を決定する。また、受信範囲計算部２６は、後述する通信速度測定部２７において測定された送受信速度と、表示領域位置・速度測定部２３によって得られた表示領域速度とを用いて、先読みに必要なデータ通信量の計算を行う。
【００６６】
送受信部２８は、モデムやネットワークカードなどの通信機器の送受信部及び制御ソフトウェアである。
【００６７】
通信速度測定部２７は、送受信部２８においてある一定量のデータを送受信するのにかかる時間を測定する部分で、ある一定時間内のデータ通信量を測定することで端末１及びサーバ２の間の送受信速度を測定する。
【００６８】
画像データ生成部２９は、送受信部２８から得られた画像データを表示装置１３で表示できるように加工するためのデコーダで構成される。本発明で用いる画像データの形式は、画像の任意の表示領域について任意の解像度が画像データ全体から切り出せるような形式を対象とする。このような特性を保持した画像フォーマットの代表例としては、ＪＰＥＧ２０００やＦｌａｓｈｐｉｘなどがあるが、これら以外の同様な特性を持つ画像フォーマット全てに対しても、本発明を適用することができる。
【００６９】
ネットワーク３は、インターネットなどのネットワーク網である。
【００７０】
サーバ２は、記憶装置５１と、プログラム制御により動作するデータ処理装置５２からなる。
【００７１】
記憶装置５１は、画像データ記憶部６２と、レイアウト情報記憶部６１を含む。
【００７２】
画像データ記憶部６２は、端末１に送信する画像データが記憶されている。
【００７３】
レイアウト情報記憶部６１は、端末１に送信する画像データに関するレイアウト情報が記憶されている。ここで、レイアウト情報には、表示対象画像データ内に含まれる構成要素の種類、大きさ、位置、及び構成要素の向きや形状などが含まれる。
【００７４】
データ処理装置５２は、端末１とネットワーク３を経由してデータの送受信を行う送受信部７２と、送信データ生成部７１からなる。
【００７５】
送受信部７２は、ネットワーク３を経由して端末１と通信するためのモデムやネットワークカードなどの通信機器の送受信部及び制御ソフトウェアである。
【００７６】
送信データ生成部７１は、受信範囲計算部２６により要求のあった受信すべき領域を受信範囲計算部２６により計算されたデータ通信量以下のサイズで端末１に送るために、受信すべき領域を整形又は加工して、加工画像データを生成する部分である。
【００７７】
図３は、本実施の形態の動作を説明するためのフローチャートである。図１及び図３を参照して、本実施の形態の動作について詳細に説明する。
【００７８】
まず、表示対象画像データに関するレイアウト情報を、サーバ２から取得する（ステップＡ１）。入力装置１１によって端末利用者が表示領域に対する所定操作を行う。ここで、所定操作とは、表示領域の移動（スクロール）操作、拡大縮小操作が含まれる。このとき、表示倍率制御部２４で、端末利用者の操作によって設定された表示領域の表示倍率を記録する。また、これと並行して表示領域位置・速度測定部２３において、操作された表示領域の位置及び速度の測定を行う（図３のステップＡ２、Ａ３）。
【００７９】
このようにして得られた表示領域の表示位置及び速度情報と、表示装置情報記憶部２２にある端末１の表示装置１３の表示性能情報と、知覚特性記憶部２１にある知覚特性情報と、表示倍率制御部２４からの表示領域の表示倍率と、レイアウト情報記憶部６１にある表示対象画像に関するレイアウト情報から、有効解像度オブジェクト決定部２５で、表示領域の先読み差分領域を計算し、その先読み差分領域内の画像の構成要素を判定すると共に、上記知覚特性情報を参照してその構成要素ごとに人間に認知されるために必要な有効解像度を求め、求めた有効解像度から端末の表示装置で表現可能な画像構成要素を選択する（ステップＡ４）。
【００８０】
なお、ここで、表示領域の構成要素の解像度（＝分解能）を求めるには、表示装置上での解像度として得るために表示領域の表示倍率が必要となる。
【００８１】
ここで、表示領域の先読み差分領域２０３について、表示領域の移動操作と拡大縮小操作のそれぞれについて説明する。
【００８２】
移動操作時の先読み差分領域２０３とは、図４で斜線部で示されるような、表示領域２０２が移動すると予想される領域と移動前の表示領域の差分領域である。
【００８３】
また、拡大縮小操作時の先読み差分領域２０４及び２０５とは、それぞれ図５及び図６の斜線部で示される領域である。表示倍率拡大時には、図５の領域２０４が、表示倍率縮小時には、図６の領域２０５が、先読み差分領域となる。このとき、先読み差分領域２０４及び２０５の大きさ及び拡大縮小中心位置は、操作履歴における表示領域倍率値及び拡大縮小中心位置から予測される。
【００８４】
また、画像構成要素の有効解像度とは、文字や図などの画像構成要素が測定した表示領域速度及び表示倍率で表示装置１３において人間に知覚されるために最低限必要な解像度である。
【００８５】
次に、ステップＡ４の結果を用いて、受信範囲計算部２６が、表示領域の先読み差分領域を覆う最小の部分画像を選択する（ステップＡ５）。ここで部分画像とは、図１０に示すように対象画像が複数の矩形領域に分割されているときの、任意の矩形領域集合である。
【００８６】
次に、通信速度測定部２７において測定されたデータ受信速度と、表示領域位置・速度測定部２３によって得られた表示領域速度から、受信範囲計算部２６において先読み差分領域を覆う最小の部分画像情報が表示装置１３上で表示され始めるまでの時間を計算し、その時間が経過する前にサーバからデータを受信するためのデータ通信量を計算する（ステップＡ６及びＡ７）。
【００８７】
ステップＡ５で得られた部分画像をサーバ２に要求し、同時にステップＡ７で得られたデータ通信量をサーバ２に送信する（ステップＡ８）。
【００８８】
サーバ２で、端末１から要求のあった部分画像データを端末１から指定されたデータ通信量以下におさまるように部分画像領域を送信データ生成部７１で整形又は加工し、加工画像データを生成して、端末１に送信する。送受信部２８で画像データを受信し、同時に通信速度測定部２７で通信速度情報を更新する（ステップＡ９）。次にステップＡ１０で受信した画像データの内、表示領域に入ったものから順に画像データ生成部２９及び表示装置１３にて表示する。一定時間表示領域の位置情報に変化がなければこのまま終了し、変化があればステップＡ３に戻る（ステップＡ１１）。
【００８９】
ここで、送信データ生成部７１にて部分画像領域が整形されたり、図１３の視覚特性情報において端末表示性能を超えたり認識されにくいと判断されて受信要求対象にならなかった画像構成要素は、その画像構成要素の表示位置に端末１側でダミー画像（画像構成要素が受信されていない旨を示すためのアイコン等）を表示するように、送信データ生成部７１がコンテンツを編集して端末１に送信するものとしてもよい。
【００９０】
次に、第１の実施の形態の効果について説明する。以上説明したように、第１の実施の形態では、端末利用者によって固有な情報及び処理を端末１側で全て行うので、サーバ２におけるデータ処理装置５２の処理において、端末利用者数が増加した際の負担増加を抑制することができる。
【００９１】
次に、本発明の第２の実施の形態について図面を参照して詳細に説明する。図７は、本発明の第２の実施の形態による画像データ取得システムの構成を示すブロック図である。
【００９２】
図７を参照すると、本発明の第２の実施の形態は、端末４においてデータ処理装置１４にデータ処理装置１２にある有効解像度オブジェクト決定部２５、受信範囲計算部２６、通信速度測定部２７がない点で異なっており、またサーバ５においてはデータ処理装置５３にはデータ処理装置５２の構成に通信速度測定部７３、有効解像度オブジェクト決定部７４、受信範囲計算部７５がある点で異なっている。
【００９３】
第２の実施の形態の動作を図面を参照して詳細に説明する。図８は、本実施の形態の動作を説明するためのフローチャートである。
【００９４】
図８のフローチャートのステップＡ１〜Ａ３、Ａ９〜Ａ１１で示される、本実施の形態における知覚特性記憶部２１、表示装置情報記憶部２２、表示領域位置・速度測定部２３、表示倍率制御部２４、画像データ生成部２９、送受信部２８、送受信部７２の動作は、第１の実施の形態のにおけるこれらの各部２１、２２、２３、２４、２９、２８及び７２の動作と同様である。
【００９５】
第１の実施の形態では、図３のステップＡ４の処理を行うためにはレイアウト情報記憶部６１にある情報をネットワーク３を経由して端末１側に通信する必要があった。本実施の形態では、図８のステップＢ２において、図３のステップＡ４と同様の処理を、図７のサーバ５にある有効解像度オブジェクト決定部７４で行うことを特徴とする。このため、レイアウト情報記憶部６１にある情報を、端末４に送信する必要がない。
【００９６】
また、第１の実施の形態において、図３のステップＡ６で通信速度測定部２７において行っていた処理を、本実施の形態では、図８のステップＢ４で通信速度測定部７３で行う。この通信速度測定部は、本実施の形態のようにサーバ側にあってもよいし、第１の実施の形態のように端末側にあってもよい。
【００９７】
一方、図８のステップＢ２〜Ｂ５の処理は、送信データ生成部７１、通信速度測定部７３、有効解像度オブジェクト決定部７４、及び受信範囲計算部７５で行われるが、この処理は図３のステップＡ４〜Ａ６において、送信データ生成部７１、通信速度測定部２７、有効解像度オブジェクト決定部２５、及び受信範囲計算部２６で行われる処理と同様である。
【００９８】
図３のステップＡ８では、端末１からサーバ２に送られる情報は、ステップＡ４で得られた部分画像をサーバ２に要求し、同時にステップＡ７で得られた端末へ送信するデータ通信量である。一方、図８のステップＢ１では端末４は知覚特性記憶部２１及び表示装置情報記憶部２２の知覚特性情報及び表示性能情報と表示領域の先読み差分領域の画像要求をサーバ５に送信する。ただし、知覚特性記憶部２１はサーバ側にあってもよく、その場合は表示装置情報記憶部２２の情報と表示領域の先読み差分領域の画像要求のみがサーバに送られる。
【００９９】
次に第２の実施の形態の効果について説明する。
【０１００】
第２の実施の形態は、第１の実施の形態では端末側で行っていた画像の受信範囲計算をサーバ側で行い、かつ、その計算で用いるレイアウト情報をサーバ側から端末側に通信せずに行えるため、端末からサーバへのデータ通信量と端末側の処理負担の軽減が期待できる。
【０１０１】
次に、本発明の第３の実施の形態について図面を参照して詳細に説明する。
【０１０２】
図９を参照すると、本発明の第３の実施の形態は、本発明の第１及び第２の実施の形態と同様に、入力装置、データ処理装置、表示装置を備えた端末と、記憶装置データ処理装置を備えたサーバと、端末とサーバの通信を行うために必要なネットワークからなり、更に、端末とサーバにおいて、第１及び第２の実施の形態で取得する画像の範囲を計算する処理を行う画像データ取得プログラム１５及び５４を備える。この画像データ取得プログラム１５及び５４は、それぞれ記録媒体である磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ、磁気メモリであり、その他の記録媒体であってもよい。
【０１０３】
同様の機能を持つ画像データ取得プログラム１５は、端末１においては、記録媒体からデータ処理装置１６に読み込まれ、データ処理装置１６の動作を制御する。また、サーバ２においては、画像データ取得プログラム５４が記録媒体からデータ処理装置５５に読み込まれ、データ処理装置５５の動作を制御する。
【０１０４】
データ処理装置１６及び５５は、読み込まれたプログラムの制御により第１の実施の形態におけるデータ処理装置１２、５２及び第２の実施の形態におけるデータ処理装置１４及び５３による処理と同一の処理を実行する。
【０１０５】
次に、本発明の第１の実施例を、図面を参照して説明する。係る実施例は本発明の第１の実施の形態に対応するものである。
【０１０６】
本実施例は、入力装置としてキーボードを、データ処理装置としてパーソナル・コンピュータを、表示装置としてディスプレイを、送受信部としてモデムを備えた端末と、データ処理装置としてパーソナル・コンピュータを、記憶装置として磁気ディスク記憶装置を備えたサーバからなり、これらが通信を行うためのネットワークとしてインターネットを利用する。
【０１０７】
前記端末の記憶装置には、端末のディスプレイの表示性能に関する情報である表示性能情報と人間の視覚的な知覚特性を記録した知覚特性情報が記憶されている。記憶されているデータの例を図１２及び図１３に示す。
【０１０８】
表示装置情報記憶部２２に記憶された表示性能情報には、図１２に示すように、ディスプレイの主走査数、副走査数、及びディスプレイの対角線の長さが記憶されている。対角線以外にも、ディスプレイの縦横の長さでもよい。
【０１０９】
知覚特性記憶部２１に格納される人間の知覚特性情報には、図１３に示すように平均的な人間の視力において、文字や図などの対象物毎に、その対象物の大きさや空間周波数の代表値と観察者からの速度の大きさがある値のときに、文字や図として認識されるのに必要な解像度が記憶されている。
【０１１０】
図１３に示す知覚特性情報においては、例えば、解像度の値のうち、−１ｄｐｉが人間の視覚特性から人間には認識されないであろうと判断されることを、３００ｄｐｉが端末の表示装置上で表示不可能であると判断されることが例として考えられる。
【０１１１】
知覚特性記憶部２１に格納される、画像に対する人間の知覚特性について、更に詳しく説明する。格納される人間の知覚特性の情報としては、例えば、文字や線画図形の場合では、１９７９年、サイエンス、２０６巻、４６８〜４６９頁（Rayner, K. Bertera, J. H. 1979 Reading without a fovea. Science, 206, 468-469）に示されるような、文字として認識するための必要な視角８分から１度といった値や、１９７５年パーセプション・アンド・サイコフィジックス、１７巻、５７８〜５８６頁（McConkie, G. W. Rayner, K. 1975 The span of effective stimulus during a fixation in reading. Perception and Psychophysics, 17, 578-586）に示されるような、通常の読書に要する有効視野領域が１５文字スペースであるといった値などを用いることができる。
【０１１２】
更に、画像に表示されているオブジェクトを知覚し認知するために必要な特性としては、上記以外にも、オブジェクトの形状と必要解像度との対応関係、オブジェクト自体の明度や色調、周辺と対象との明度や色調・コントラストの差、必要なピクセル数や線幅、ポイント数や級数、オブジェクト個々に対する表示すべき領域範囲、許容される画像エフェクトの適応量、推奨される表示角度やサイズ、推奨されるフォントやプリミティブ、オブジェクトに対する参照ベクトル、オブジェクトの移動速度（絶対速度と相対速度）、複数のオブジェクトを組み合わせたり並立・重畳表示する際の推奨値などがあげられる。
【０１１３】
これらは、表示デバイスの実寸や表示デバイスの表示性能、閲覧者と表示デバイスとの位置関係などについても適切な値が可変となるため、必要に応じて、閲覧条件に適応するための情報を格納し利用する。
【０１１４】
本発明の第１の実施例の動作について、更に説明する。端末において、ある画像の一部又は全部を表示している表示領域に対して、移動処理を指示するコマンドがキーボードから入力された場合を考える。
【０１１５】
このとき、端末では、表示領域の画像中の位置と速度（pixel/sec）を測定し、同時に表示領域の倍率の値を取得する。そして、サーバから対象画像のレイアウト情報を取得する。このレイアウト情報は、ＯＣＲなどの解析によって得ることができ、画像中に含まれる構成要素の種類、大きさ、位置、及び構成要素の向きや形状などが記録されている。
【０１１６】
このレイアウト情報と、表示領域の位置及び速さと、図１２に示すような端末のディスプレイの情報である表示性能情報から、先読み差分領域を計算し、その先読み差分領域内で次に表示される画像としてどのような構成要素があり、かつ、それらがどのような大きさ及び速さで表示されるかを計算する。
【０１１７】
そして、図１３に示すような人間の知覚特性情報テーブルを参照し、表示されうる構成要素それぞれに対して、人間に認知されうるかどうかを判定し、認知されうると判定された画像構成要素に対して人間に認知されるのに必要な有効解像度を求める。
【０１１８】
求めた有効解像度が端末のディスプレイで表現可能な構成要素を選択し、これにより構成要素毎に画像データ中の位置情報と認知に必要な有効解像度情報を得る。次に、データ処理装置内のプログラムで定期的に通信速度を測定しておき、その速度情報と表示領域速度から求めた表示領域が新しく移動するまでの時間から、移動後の表示領域画像を所定の時間内に生成するのに必要なデータのサイズを決定する。これらの画像データ要求及び、画像構成要素に関する位置及び解像度情報、そしてデータ通信量を、サーバへネットワークを経由して送信する。
【０１１９】
サーバでは、端末から要求のあった画像データを磁気ディスク記憶装置から読み込む。読み込んだデータのサイズが、端末から要求のあったデータサイズ以上であれば、送信データ生成部にて、要求のあったデータサイズ以下になるように読み込んだ画像データを加工する。具体的には、以下のような画像データ加工方法がある。
【０１２０】
（１）画像領域を小さくする。
【０１２１】
（２）画像領域内の全体の解像度を下げる。
【０１２２】
（３）文字や図などの画像構成要素の内、認識される視角あるいは速度に遠いものから削除する。
【０１２３】
ここで、（１）の画像領域を小さくする加工方法として、例えば、画像の座標系において、現在の表示領域よりも遠くにある部分から順次送信対象外にする方法や、ラスタ順に要求のあったデータサイズ分だけ送信対象とするなどの方法が考えられる。また、画像構成要素に関係なく表示領域全体が一定の解像度で、ラスタ順に要求のあったデータサイズ分までのみ送信対象とするなどの方法を用いてもよい。
【０１２４】
このような加工を必要に応じて読み込んだ画像データに対して行った後、サーバは端末に画像データを送信する。端末では、サーバから受信した画像データを画像データの形式に対応したデコーダを用いてディスプレイに表示できる形式に変換し、変換したデータを先読み差分領域内にあるようにディスプレイ上に表示する。
【０１２５】
以上の説明において、端末においてある画像の一部又は全部を表示している表示領域に対する移動処理や拡大縮小処理を指示するコマンド入力手段としてキーボードを用いる例を示したが、移動の指示については、マウスなどのポインティングデバイスを用いて行ってもよい。その場合、移動方向や移動量はポインティングデバイスの単位時間内の移動量から判別することができ、より直感的な操作が提供できる。
【０１２６】
また、これらと同様の入力機能を有する操作手段ならばそのいずれに対しても本発明は実施でき、例えば、音声入力や画像入力手段、光学センサー、加速度センサー、温度センサー、各種スイッチなどを用いた入力手段を利用できる。
【０１２７】
また、データ処理装置や表示装置、通信装置、記憶装置などは、上記で説明に用いたパーソナル・コンピュータやモデムだけでなく、本発明の機能を実現できる機能を有する機器や装置ならば、その処理能力によらず、いずれの装置に対しても本発明を実施できる。
【０１２８】
以上好ましい実施の形態及び実施例をあげて本発明を説明したが、本発明は必ずしも上記実施の形態及び実施例に限定されるものではなく、その技術的思想の範囲内において様々に変形して実施することができる。
【０１２９】
例えば、本発明の有効解像度と部分画像と先読みに必要なデータ通信量の判定処理は、第１の実施の形態の端末１内において備える知覚特性記憶部２１、有効解像度オブジェクト決定部２５、受信範囲計算部２６、通信速度測定部２７を、図１４に示されるように他の装置である判定装置８０に備えることにより、この判定装置８０において解像度と部分画像領域と先読みに必要なデータ通信量の判定処理を実行させる構成も可能である。
【０１３０】
つまり、図１４の例においては、まず端末１における画像の閲覧の状態を示す端末操作情報を取得して判定装置８０に通知する。つまり、表示領域位置・速度測定部２３による端末１において表示中の画像の表示領域の位置の情報及び当該画像を移動する操作の速度を示す表示領速度の情報と、表示倍率制御部２４による表示画面中の１画素に対する画像データの画素数を示す表示倍率の情報と、表示装置情報記憶部２２による表示性能情報とを、端末１から判定装置８０に送るものである。
【０１３１】
そして端末１は、サーバ２からネットワーク２を経由してレイアウト情報を取得し、通信速度測定部２７から得られた通信速度とともに判定装置８０に送る。
【０１３２】
判定装置７０は、知覚特性記憶部２１に記憶する知覚特性情報と、端末１から送られた端末操作情報と、サーバ２から端末１を介して取得した画像のレイアウト情報を用いて、第１の実施の形態の端末１の場合と同様の処理を実行することにより、解像度と部分画像領域を判定する。
【０１３３】
そして、判定装置８０は、解像度と部分画像領域と先読みに必要なデータ通信量との判定結果を、端末１を介してサーバ２に通知し、サーバ２は、この解像度と部分画像領域と先読みに必要なデータ通信量との指定を受け付けて、指定された画像データを生成し端末１に配信する。
【０１３４】
また、本発明の解像度と部分画像領域と先読みに必要なデータ通信量との判定処理は、第２の実施の形態のサーバ２内において備える通信速度測定部７３、有効解像度オブジェクト決定部７４、受信範囲計算部７５を、図１５に示されるように他の装置である判定装置９０に備えることにより、この判定装置９０において解像度と部分画像領域と先読みに必要なデータ通信量との判定処理を実行させる構成も可能である。
【０１３５】
つまり、図１５の例においては、まずサーバ２が、レイアウト情報記憶部６１内のレイアウト情報を、通信速度測定部７３から得られた通信速度とともに判定装置９０に送る。そして、サーバ２が、端末１から端末操作情報（表示中の画像の表示領域の位置の情報、当該画像を移動する操作の速度を示す表示領速度の情報、表示画面中の１画素に対する画像データの画素数を示す表示倍率の情報、表示画面の表示性能情報）と、知覚特性情報を取得し、判定装置９０に送る。
【０１３６】
そして、判定装置９０が、第２の実施の形態のサーバ２と同様にして、上述の各情報を用いて解像度と部分画像領域と先読みに必要なデータ通信量とを判定する。
【０１３７】
そして、判定装置９０は、解像度と部分画像領域と先読みに必要なデータ通信量との判定結果をサーバ２に通知し、サーバ２は、この解像度と部分画像領域の指定を受け付けて指定された画像データを生成し端末１に配信する。
【０１３８】
また、判定装置は、図１４や図１５の例に示されるように端末１やサーバ２に接続させる形態以外にも、ネットワークを介して端末１とサーバ２の双方と通信する形態も同様に実施することができる。
【０１３９】
【発明の効果】
以上説明したように本発明によれば、以下のような効果が達成される。
【０１４０】
第１に、本発明によれば、端末側でサーバから画像を取得する場合、端末利用者の興味のある表示領域を移動させたときに、表示領域情報の更新までの時間を抑えつつ、人間にとって認識しやすい画像品質を提供しながら表示領域画像情報を更新することができる。
【０１４１】
その理由は、画像の構造を記述したレイアウト情報と、表示領域の倍率及び更新速度といった端末利用者の情報を活用することにより、最高解像度の画像情報を通信するのではなく、利用者に認識されやすい画像データの構築及び通信を行うからである。
【０１４２】
第２に、本発明によれば、端末及びサーバにおける処理の負荷分担を、柔軟に設定することができる。その理由は、本発明の第１及び２実施の形態で示したように、画像の構造を記述したレイアウト情報及び表示領域の倍率及び更新速度といった端末利用者の情報の処理を、第１の実施の形態で示したように端末側で行うことができる一方、第２の実施の形態で示したようにサーバ側で行うことも可能なためである。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態による画像データ取得システムの構成を示すブロック図である。
【図２】本発明の第１の実施の形態の表示領域の定義を説明するための図である。
【図３】本発明の第１の実施の形態による画像データ取得の動作を説明するためのフローチャートである。
【図４】本発明の第１の実施の形態の移動操作時の先読み差分領域の定義を説明するための図である。
【図５】本発明の第１の実施の形態の拡大操作時の先読み差分領域の定義を説明するための図である。
【図６】本発明の第１の実施の形態の縮小操作時の先読み差分領域の定義を説明するための図である。
【図７】本発明の第２の実施の形態による画像データ取得システムの構成を示すブロック図である。
【図８】本発明の第２の実施の形態による画像データ取得の動作を説明するためのフローチャートである。
【図９】本発明の第３の実施の形態による画像データ取得システムの構成を示すブロック図である。
【図１０】本発明の第３の実施の形態の部分画像の定義を説明するための図である。
【図１１】本発明の一実施例を説明するための図である。
【図１２】本発明の一実施例を説明するための図である。
【図１３】本発明の一実施例を説明するための図である。
【図１４】本発明の他の実施の形態による画像取得システムの構成を示すブロック図である。
【図１５】本発明のさらに他の実施の形態による画像取得システムの構成を示すブロック図である。
【符号の説明】
１端末
２サーバ
３ネットワーク
１１入力装置
１２データ処理装置
１３表示装置
１４データ処理装置
１５画像データ取得プログラム
１６データ処理装置
２１知覚特性記憶部
２２表示装置情報記憶部
２３表示領域位置・速度測定部
２４表示倍率制御部
２５有効解像度オブジェクト決定部
２６受信範囲計算部
２７通信速度測定部
２８送受信部
２９画像データ生成部
５１記憶装置
５２データ処理装置
５３データ処理装置
５４画像データ取得プログラム
５５データ処理装置
６１レイアウト情報記憶部
６２画像データ記憶部
７１送信データ生成部
７２送受信部
７３通信速度測定部
７４有効解像度オブジェクト決定部
７５受信範囲計算部
８０，９０判定装置
２０１表示対象画像データ
２０２表示領域
２０３先読み差分領域[0001]
BACKGROUND OF THE INVENTION
The present invention relates to transmission / reception and display of image data via a communication network, and in particular, a server and a terminal in an image data acquisition system that changes resolution according to the content of image data, an image data acquisition method thereof, and an image data acquisition program About.
[0002]
[Prior art]
Conventionally, display of a digital image such as a bitmap format is generally performed in the order of raster scanning. Hereinafter, this display method is referred to as a “raster progressive method”. In this image transmission method, the next image can be displayed after receiving all the image data. Therefore, when transmitting a high-definition image with a large data size, it is only for obtaining an outline of the image. However, there is a problem that it takes a very long communication time because all images need to be received.
[0003]
As a method for eliminating the disadvantages of the raster progressive method, there is a “resolution progressive method” used for image formats such as progressive JPEG and interlaced GIF. In this method, the display order of the images is not the raster scanning order, and the entire image can be displayed coarsely after being first displayed coarsely. For this reason, an outline of an image can be obtained without receiving all image data. Such a display method has an effect of reducing irritation and stress with respect to the waiting time required for image display.
[0004]
However, in any of the above image formats, it is always necessary to always obtain all pixel information in the image data, and an arbitrary pixel set cannot be selected during communication.
[0005]
On the other hand, image formats such as JPEG2000 (ISO / IEC WG1, SC29, 15444) and Flashpix (registered trademark: Digital Imaging Group, Inc.) have been proposed as further improved image formats. In this image format, as shown in FIG. 10, an arbitrary pixel set can be selected in units of a block in which several pixels are collected, and each pixel block can be displayed in a resolution progressive manner. is there.
[0006]
Conventionally, in an apparatus that acquires and displays image data recorded in the above-described image format, it takes a long processing time for display update processing represented by image enlargement / reduction processing and scroll display processing. There was a problem that display quality and operability could not be obtained. Here, the display update process is, for example, a series of display area moving processes in which a part of the target image is completed or interrupted during the display process, and the image data is acquired and displayed from another display area. And so on.
[0007]
In order to shorten the display update processing time, as disclosed in Japanese Patent Application Laid-Open No. 07-005346 and Japanese Patent Application Laid-Open No. 11-088886, prior to moving the display region, A process of pre-reading neighboring images (pre-reading process) is performed so that the display area can be moved smoothly.
[0008]
Further, in a system using Flashpix, a method is used in which an image to be pre-readed is acquired at a low resolution, and the resolution is gradually increased from when the movement of the display area is stopped, and the image is stored. The amount of data communication between the server and the terminal was reduced, and the display update processing speed was increased.
[0009]
[Problems to be solved by the invention]
As described above, the conventional system has the following problems.
[0010]
In general, it is known that when the display maintenance time and the display magnification change, the information recognized by the human visual system changes even if the display target is the same. For example, according to 1979, Science, 206, 468-469 (Rayner, K. Bertera, JH 1979 Reading without a fovea. Science, 206, 468-469) Is 8 minutes to 1 degree.
[0011]
In another example, even if the same sentence is displayed, the viewing angle of the character changes due to a change in display magnification, and the ease of character recognition also changes.
[0012]
Furthermore, 1983, Vision Research, 23, 541-546 (Morgan, MJ, Wat, RJ, McKee, SP 1983 Exposure duration affects the sensitivity of vernier acuity to target motion. Vision Research, 23, 541-546). It is shown that the visual acuity decreases with an increase in the motion speed of the visual stimulus, and it is considered that the cognitive ability decreases when the display time of the display area is short.
[0013]
When performing a display update process such as an enlargement / reduction process or a display area scrolling operation, the display state of the image viewed from the user is attributed to the attributes (resolution, number of pixels, gradation, compression rate, etc.) of the image data itself and the display. It depends on the relationship between the status (display duration, frame rate, display magnification, etc.), communication line and hardware capability to perform a series of processing, and the display operation will not be constant as long as any of these factors is variable. .
[0014]
Therefore, the display state varies depending on the display target, the specified content of the operation, the terminal, etc., so it is necessary to design the system while balancing each element so that an appropriate display can be obtained. . In particular, when the scrolling operation is performed at high speed, the target image area to be processed increases within a unit time, so that the image is roughened or pixels to be processed are thinned out so as not to deteriorate the operability. The method of suppressing the amount of processing data per unit time, that is, the progressive display method described above is effective.
[0015]
However, in the conventional image display method, there is no relationship between the moving speed of the display area, the magnification of the image in the display area, and the resolution of the image to be prefetched. For this reason, when progressive display is performed while moving the display area, for example, in an image including characters and the like, the entire image is uniformly displayed at a low resolution. Therefore, as shown in FIG. It may move to the next area before reaching.
[0016]
When scrolling a document, it is difficult to specify the destination unless at least the character at the key, such as a headline, can be identified. The work efficiency is significantly reduced.
[0017]
As described above, in the related art, when the highest resolution is requested from the server for all image information to be updated as the display area is moved, the maximum amount of information that the target image data can provide to humans can be obtained. The amount of data communication is maximized, and the time required to communicate and process the data is also maximized.
[0018]
On the other hand, if the resolution is lowered for all image information to be updated, the amount of data communication and the time required for data communication and processing will be shortened, but depending on the magnification and update speed of the display area, This results in a lack of information such that the terminal user cannot recognize components such as characters.
[0019]
The above problems are caused by treating the image resolution during communication as uniform without considering the interest of the image viewer, the human visual cognitive characteristics, and the like. Therefore, from the viewpoint of improving the user interface, it is necessary to appropriately control the amount and contents of the data to be communicated, the characteristics, the data management and display method on the terminal side, etc. according to the human visual perception characteristics. .
[0020]
The first object of the present invention is to solve the above-mentioned drawbacks of the prior art and to recognize the image data in the middle of communication even when the data communication amount is changed when the image data is communicated and browsed on the terminal. It is an object of the present invention to provide a server and a terminal, an image data acquisition method thereof, and an image data acquisition program in an image data acquisition system that can maintain an information amount.
[0021]
The second object of the present invention is to solve the above-mentioned drawbacks of the prior art and to reflect the processing capability and scale of the content, communication line, server and terminal in designing these image data acquisition systems. Server and terminal in an image data acquisition system in which a part of information processing on the terminal side can also be performed on the server side in order to enable flexible design such that a comfortable image browsing can be realized even on a low terminal A data acquisition method and an image data acquisition program are provided.
[0022]
[Means for Solving the Problems]
  The present invention for achieving the above object is a server in an image data acquisition system for distributing image data to a terminal via a communication network,
  Layout information related to the image data to be distributed, operation contents for the image data in the terminal, and perceptual characteristic information indicating perceptual characteristics for an image included in the image data so that a person can fully recognize the contents as information; An effective resolution object determination unit that determines the resolution of image data to be distributed based on display performance in the terminalWhen,
Based on the layout information related to the image data and the resolution from the effective resolution object determination unit, an area necessary for the prefetching process for preliminarily delivering the image data expected to be requested by the operation content to the terminal is shown. A reception range calculation unit for determining an image area,
From the terminal, the position of the display area of the image data being displayed on the terminal, the display area speed indicating the speed of change by the operation of the image data, and the image data of the image for one pixel in the display screen of the image Each display magnification data indicating the number of pixels is received as the operation content,
The effective resolution object determination unit calculates a prefetch difference area that is a difference between an area where an image displayed on the terminal is expected to change and a display area before the change, and based on the perceptual characteristic information, the prefetching The image component in the difference area is calculated as the resolution of the image, which is the minimum resolution required for human perception by the display area speed and the display magnification indicated in the operation content,
The reception range calculation unit determines a set of rectangular regions covering the prefetch difference region determined by the effective resolution object determination unit as an image region of the image,
  The image data whose resolution has been determined is distributed to the terminal.
[0023]
  The present invention of claim 2The layout information includes at least the type, size, position, orientation, and shape of the components included in the image data, and the operation content relates to movement or enlargement / reduction of the display area of the image of the image data. is thereIt is characterized by that.
[0024]
  The present invention of claim 3The reception range calculation unit calculates a data communication amount for receiving the region necessary for the prefetching processing within a predetermined time using the operation content, and the image region based on the resolution is equal to or less than the data communication amount. In order to communicate with the amount, the image region is processed based on the resolution determined by the effective resolution object determination unit, the image region determined by the reception range calculation unit, and the data communication amount, and a processed image A transmission data generation unit that generates data, and distributes the generated processed image data to the terminal;It is characterized by that.
[0025]
  The present invention of claim 4A perceptual property storage unit for storing and referring to the perceptual property information;
The effective resolution object determination unit retrieves the perceptual property information from the perceptual property storage unit and determines the resolution of the image data.It is characterized by that.
[0026]
  The present invention of claim 5In a terminal in an image data acquisition system that acquires image data distributed from a server via a communication network,
Layout information relating to the image data to be distributed, operation contents for the image data on the terminal side, and perceptual characteristic information indicating a perceptual characteristic for an image included in the image data so that a person can fully recognize the contents as information. An effective resolution object determination unit that determines the resolution of the image data based on the display performance in the terminal;
An image indicating an area necessary for prefetching processing for acquiring in advance image data expected to be requested by the operation content based on layout information regarding the image data to be distributed and the resolution from the effective resolution object determination unit A reception range calculation unit for determining an area,
The display magnification indicating the position of the display area of the image data being displayed, the display area speed indicating the speed of change by the operation of the image data, and the number of pixels of the image data of the image relative to one pixel in the display screen of the image Are acquired as the operation content,
The effective resolution object determination unit calculates a prefetch difference area that is a difference between an area where an image displayed on the terminal is expected to change and a display area before the change, and based on the perceptual characteristic information, the prefetching The image component in the difference area is calculated as the resolution of the image, which is the minimum resolution required for human perception by the display area speed and the display magnification indicated in the operation content,
The reception range calculation unit determines a set of rectangular regions covering the prefetch difference region determined by the effective resolution object determination unit as the image region of the image,
Request the server to distribute the image data whose resolution has been determined.It is characterized by that.
[0027]
  The present invention of claim 6The layout information includes at least the type, size, position, orientation, and shape of the components included in the image data, and the operation content relates to movement or enlargement / reduction of the display area of the image of the image data. is thereIt is characterized by that.
[0028]
  The present invention of claim 7A perceptual property storage unit for storing and referring to the perceptual property information;
The effective resolution object determination unit retrieves the perceptual property information from the perceptual property storage unit and determines the resolution of the image data.It is characterized by that.
[0029]
  The present invention of claim 8The effective resolution object determination unit and the reception range calculation unit are provided as external devices.It is characterized by that.
[0030]
  The present invention of claim 9An image data acquisition method for distributing an image from a server to a terminal via a communication network,
Layout information relating to the image data to be distributed, operation contents for the image data on the terminal side, and perceptual characteristic information indicating a perceptual characteristic for an image included in the image data so that a person can fully recognize the contents as information. An effective resolution object determining step for determining the resolution of the image data based on the display performance in the terminal;
An image area indicating an area necessary for prefetching processing for acquiring in advance image data expected to be requested by the operation content based on layout information related to the image data to be distributed and the resolution in the effective resolution object determination step A reception range calculation step for determining
The terminal displays the position of the display area of the image being displayed on the terminal, the display area speed indicating the speed of the operation for moving the image, and the pixel of the image data of the image for one pixel in the display screen of the image Acquiring each data of the display magnification indicating the number as the operation content and transmitting it to the server;
Have
In the effective resolution object determination step, a prefetch difference area that is a difference between an area where an image being displayed on the terminal is expected to change and a display area before the change is calculated, and based on the perceptual characteristic information, The image component in the prefetch difference area is calculated as the resolution of the image, which is the minimum resolution required for human perception by the display area speed and the display magnification indicated in the operation content,
In the reception range calculation step, a set of rectangular areas covering the prefetch difference area determined in the effective resolution object determination step is determined as the image area of the image,
Distributing the image data whose resolution has been determined to the terminalIt is characterized by that.
[0031]
  The present invention of claim 10In the effective resolution object determining step, a minimum necessary resolution of the image data to be distributed is determined.It is characterized by that.
[0032]
  The present invention of claim 11At the terminal,
The effective resolution object determination step;
The reception range calculating step,
Receiving the layout information of the image data to be distributed from the server, determining the resolution of the image by the effective resolution object determining step;
Transmitting the resolution determined in the effective resolution object determination step and the image area determined in the reception range calculation step to the server;
The server is
From the terminal, the specification of the resolution and the image area for the image to be distributed is received, and the transmission data generation step generates image data indicating the image based on the specified resolution and the image area, Distribute the generated image data to the terminalIt is characterized by that.
[0033]
  The present invention of claim 12The terminal includes transmitting the operation content of the image data to the server;
The server includes the effective resolution object determination step and the reception range calculation step;
Receiving the operation content from the terminal, determining the resolution of the image by the effective resolution object determination step,
Based on the resolution determined in the effective resolution object determination step and the image area determined in the reception range calculation step, image data indicating the image is generated by the transmission data generation step, and the generated image data Is delivered to the terminalIt is characterized by that.
[0034]
  The present invention of claim 13An image data acquisition program for distributing an image from a server to a terminal via a communication network by controlling a computer,
To the server,
Layout information relating to the image data to be distributed, operation contents for the image data on the terminal side, and perceptual characteristic information indicating a perceptual characteristic for an image included in the image data so that a person can fully recognize the contents as information. An effective resolution object determination function for determining the resolution of the image data based on the display performance in the terminal;
An area necessary for prefetching processing for acquiring in advance image data expected to be requested by the operation content based on layout information relating to the image data to be distributed and the resolution determined by the effective resolution object determination function. A reception range calculation function for determining an image area;
Realizing the function of distributing the image data whose resolution has been determined to the terminal;
The operation content includes the position of the display area of the image data being displayed on the terminal, the display area speed indicating the speed of change due to the operation of the image data, and the image of the image for one pixel in the display screen of the image Each data of display magnification indicating the number of pixels of data is received from the terminal,
The effective resolution object determination function calculates a prefetch difference area that is a difference between an area where an image displayed on the terminal is expected to change and a display area before the change, and based on the perceptual characteristic information, The image component in the difference area is calculated as the resolution of the image, which is the minimum resolution required for human perception by the display area speed and the display magnification indicated in the operation content,
The reception range calculation function determines a set of rectangular areas covering the prefetch difference area determined by the effective resolution object determination unit as an image area of the image.It is characterized by that.
[0035]
  The present invention of claim 14The layout information includes at least the type, size, position and orientation, and shape of a component included in the image data,
The operation content relates to movement or enlargement / reduction of the image display area of the image data.It is characterized by that.
[0036]
  The present invention of claim 15The reception range calculation function calculates a data communication amount for receiving an area necessary for the prefetching process within a predetermined time using the operation content,
The resolution determined by the effective resolution object determination function, the image area determined by the reception range calculation function, and the image area determined by the reception range calculation function in order to communicate the image area based on the resolution to the server with a communication amount equal to or less than the data communication amount. Based on the amount of data communication, the image area is processed to realize a transmission data generation function for generating processed image data,
Distribute the generated processed image data to the terminalIt is characterized by that.
[0037]
  The present invention of claim 16An image data acquisition program for distributing an image from a server to a terminal via a communication network by controlling a computer,
In the terminal,
Layout information relating to the image data to be distributed, operation contents for the image data on the terminal side, and perceptual characteristic information indicating a perceptual characteristic for an image included in the image data so that a person can fully recognize the contents as information. An effective resolution object determination function for determining the resolution of the image data based on the display performance in the terminal;
A function for requesting the server to distribute the image data whose resolution has been determined;
An image indicating an area necessary for prefetching processing for acquiring in advance image data expected to be requested by the operation content based on layout information regarding the image data to be distributed and the resolution from the effective resolution object determination unit The reception range calculation function to determine the area,
Realized,
The operation content includes the position of the display area of the image data being displayed on the terminal, the display area speed indicating the speed of change due to the operation of the image data, and the image of the image for one pixel in the display screen of the image Each display magnification data indicating the number of data pixels,
The effective resolution object determination function calculates a prefetch difference area that is a difference between an area where an image displayed on the terminal is expected to change and a display area before the change, and based on the perceptual characteristic information, The image component in the difference area is calculated as the resolution of the image, which is the minimum resolution required for human perception by the display area speed and the display magnification indicated in the operation content,
The reception range calculation function determines a set of rectangular areas covering the prefetch difference area determined by the effective resolution object determination unit as an image area of the image.It is characterized by that.
[0038]
  The present invention of claim 17In the effective resolution object determination function, a minimum necessary resolution of the image data to be distributed is determined.It is characterized by that.
[0039]
  The present invention of claim 18At the terminal,
Receiving the layout information of the image to be distributed from the server, determining the resolution of the image data by the effective resolution object determination function,
Transmitting the resolution determined by the effective resolution object determination function and the image area determined by the reception range calculation function to the server;
Receive distribution of image data based on the resolution and the image area from the serverIt is characterized by that.
[0040]
  The present invention of claim 19 provides the image data to be distributed.ConcerningLayout information and the effective resolutionobjectBased on the resolution from the decision step,Preliminarily obtain image data expected to be requested according to the operation contentLook aheadprocessingA reception range calculating step for determining an image area indicating a necessary area for the image.
[0041]
  The present invention of claim 20 is characterized in that, in the server, the effective resolution for image data to be distributed.objectA transmission data generating step for generating image data indicating a portion of the image area based on the resolution based on the resolution determined by the determining step and the image area determined by the reception range calculating step; and the generated image data Is distributed to the terminal.
[0042]
  The present invention of claim 21 includes the effective resolution object determination step and the reception range calculation step in the terminal, wherein the layout information of the image data to be distributed is received from the server, and the effective resolutionobjectThe resolution of the image is determined by the determining step, and the effective resolutionobjectThe resolution determined in the determination step and the image area determined in the reception range calculation step are transmitted to the server, and the server receives the resolution and the image area designation for the image to be distributed from the terminal. The transmission data generation step generates image data indicating the image based on the designated resolution and the image area, and distributes the generated image data to the terminal. .
[0043]
  The present invention of claim 22 includes a step in which the terminal transmits the operation content of the image data to the server, and the server includes the effective resolution object determination step and the reception range calculation step, Receiving the operation content from the terminal, the effective resolutionobjectThe resolution of the image is determined by the determining step, and the effective resolutionobjectBased on the resolution determined in the determination step and the image area determined in the reception range calculation step, image data indicating the image is generated by the transmission data generation step, and the generated image data is transmitted to the terminal. It is characterized by being delivered to.
[0044]
According to a twenty-third aspect of the present invention, the terminal is configured to display a position of a display area of an image being displayed on the terminal, a display area speed indicating a speed of an operation for moving the image, and one pixel in a display screen of the image A step of acquiring each data of display magnification indicating the number of pixels of the image data of the image as the operation content.
[0045]
  The present invention of claim 24 provides the effective resolution.objectIn the determining step, a prefetch difference area that is a difference between an area where an image displayed on the terminal is expected to change and a display area before the change is calculated, and the prefetch difference area is calculated based on the perceptual characteristic information. The image component includes a step of calculating, as the resolution of the image, a minimum resolution required to be perceived by humans based on the display area speed and the display magnification indicated in the operation content. To do.
[0046]
  The present invention of claim 25 is characterized in that, in the reception range calculation step, the effective resolution object determination is performed.In stepsAnd determining a set of rectangular areas covering the determined prefetch difference areas as the image areas of the image.
[0047]
  According to a twenty-sixth aspect of the present invention, there is provided an image data acquisition program for distributing an image from a server to a terminal via a communication network by controlling a computer.BecauseAt the server,Layout information relating to the image data to be distributed, operation contents for the image data on the terminal side, and perceptual characteristic information indicating a perceptual characteristic for the image included in the image data so that a person can fully recognize the contents as information; The effective resolution object determination function for determining the resolution of the image data based on the display performance in the terminal, and the image data for which the resolution has been determinedDeliver to terminalPerform functions andIt is characterized by that.
[0048]
  The present invention of claim 27 providesThe layout information includes at least the type, size, position, orientation, and shape of the components included in the image data, and the operation content relates to movement or enlargement / reduction of the display area of the image of the image data. is thereIt is characterized by that.
[0049]
  The present invention of claim 28 provides the image data to be distributed by the server.ConcerningLayout information and the effective resolutionobjectBased on the resolution determined by the decision function,Preliminarily obtain image data expected to be requested according to the operation contentLook aheadprocessingA reception range calculation function for determining an image area indicating a necessary area for the image is executed.
[0050]
  The present invention of claim 29 uses the operation content in the reception range calculation function.Necessary for the prefetch processingA resolution determined by the effective resolution object determination function in order to calculate a data communication amount for receiving an area within a predetermined time, and to communicate the image area based on the resolution with a communication amount equal to or less than the data communication amount; Based on the image area determined by the reception range calculation function and the data communication amount, the image area is processed, and a transmission data generation function for generating processed image data is provided. It distributes with respect to the said terminal, It is characterized by the above-mentioned.
[0051]
  The present invention of claim 30 controls a computer via a communication network.From the serverDeliver imagesFor a terminal running on a connected terminalprogramBecauseTo the server,Layout information relating to the image data, operation contents for the image data, perceptual characteristic information indicating a perceptual characteristic for the image included in the image data so that a person can fully recognize the contents as information, and display performanceTo the serverLayout information,ConcernedOperation content,ConcernedPerceptual characteristic information and display performanceReceivedfurther,The serverFor the effective resolution object determination part ofRecievedThe layout information, the operation content, the perceptual characteristic information, and the display performanceBased on the resolution of the image dataLet me decideThe image data is distributed and the resolution is changed, and the image data is received.
[0052]
  According to a thirty-first aspect of the present invention, there is provided an image data acquisition program for distributing an image from a server to a terminal via a communication network by controlling a computer.BecauseAt the terminal,Layout information relating to the image data to be distributed, operation contents for the image data on the terminal side, and perceptual characteristic information indicating a perceptual characteristic for the image included in the image data so that a person can fully recognize the contents as information; An effective resolution object determination function for determining the resolution of the image data based on the display performance in the terminal; and the image data for which the resolution has been determinedThe function of requesting the server to deliver the content is executed.
[0053]
  The present invention of claim 32 providesIn the effective resolution object determination function, the distributionMinimum resolution of image datadecideIt is characterized by that.
[0054]
  The present invention of claim 33 provides the image data to be distributed by the terminal.ConcerningBased on the layout information and the resolution from the effective resolution object determination unit,Preliminarily obtain image data expected to be requested according to the operation contentLook aheadprocessingA reception range calculation function for determining an image area indicating a necessary area for the image is executed.
[0055]
  In the present invention of claim 34, the terminal receives layout information of an image to be distributed from the server and receives the effective resolution.objectThe resolution of the image data is determined by the determination function, and the effective resolutionobjectThe resolution determined by the determination function and the image area determined by the reception range calculation function are transmitted to the server, and image data based on the resolution and the image area is received from the server. To do.
[0056]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
[0057]
FIG. 1 is a block diagram showing a configuration of an image data acquisition system according to the first embodiment of the present invention. Referring to FIG. 1, a first embodiment of the present invention is a terminal 1 that is a terminal for browsing and operating information by a user, and a server 2 such as a computer that accumulates image data and distributes it to the terminal. And a network 3 for performing communication between the server and the terminal. Here, the image data includes still images and moving images (such as Motion JPEG 2000).
[0058]
The terminal 1 includes an input device 11 such as a keyboard, a mouse, and a touch panel, a data processing device 12 that operates by program control, and a display device 13 such as a display device.
[0059]
The data processing device 12 includes a display device information storage unit 22 and a perceptual characteristic storage unit 21, a display area position / speed measurement unit 23, a display magnification control unit 24, an effective resolution object determination unit 25, a reception range calculation unit 26, and a communication speed measurement. A unit 27, a transmission / reception unit 28, and an image data generation unit 29.
[0060]
The display device information storage unit 22 stores information related to the display performance of the display device 13 (hereinafter, display performance information). The display performance information includes information such as the number of main scans and the number of sub scans indicating the resolution of the display device 13, information about the display size, and the like.
[0061]
The perceptual characteristic storage unit 21 stores information on human visual perceptual characteristics (hereinafter referred to as perceptual characteristic information) for images.
[0062]
The display area position / speed measurement unit 23 measures the display position and display area speed of the display area operated by the terminal user (image scroll display operation (movement) or enlargement / reduction operation). Here, the display area 202 indicates an area displayed on the display device 13 in the display target image data 201 in the server 2 as shown in FIG. 2, and is the same as or larger than the screen size of the terminal 1. Represents an arbitrary rectangular area which is also small. The display position is the position of the vertex, the center of gravity, or other geometric point of the display area 202 with the origin of any one of the vertex, the center of gravity, and other geometric points of the display target image data 201. The display area speed represents the amount of data per unit time required to update the image in the display area 202 when the display area 202 is moved or enlarged / reduced in the display target image data.
[0063]
The display magnification control unit 24 calculates the number of pixels of display target image data included per pixel of the image displayed in the display area. When an enlargement / reduction operation is performed, the enlargement / reduction center position is stored together with the number of pixels of the display target image data.
[0064]
The effective resolution object determination unit 25 includes information on the display area obtained from the display area position / speed measurement unit 23 and the display magnification control unit 24, display performance information in the display device information storage unit 22, and a layout in the server 2 described later. The layout information in the information storage unit 61 is acquired via the network 2, the layout information regarding the display target image data is processed, and collated with the perceptual property storage unit 21. Accordingly, the effective resolution object determination unit 25 determines a component such as a character or a figure that can be recognized (perceived) by a terminal user in the display area, and determines a resolution necessary for recognition. The effective resolution object determination unit 25 can also determine whether or not the determined resolution is a resolution that can be displayed on the transmitting terminal.
[0065]
The reception range calculation unit 26 determines an area to be received in the image data based on the layout information from the layout information storage unit 61 and the processing result by the effective resolution object determination unit 25. The reception range calculation unit 26 uses the transmission / reception speed measured by the communication speed measurement unit 27 described later and the display area speed obtained by the display area position / speed measurement unit 23 to perform data communication necessary for prefetching. Calculate quantity.
[0066]
The transmission / reception unit 28 is a transmission / reception unit and control software of a communication device such as a modem or a network card.
[0067]
The communication speed measuring unit 27 is a part that measures the time taken to transmit / receive a certain amount of data in the transmitting / receiving unit 28. By measuring the data communication amount within a certain time, the communication rate measuring unit 27 Measure the transmission / reception speed.
[0068]
The image data generation unit 29 includes a decoder for processing the image data obtained from the transmission / reception unit 28 so that the image data can be displayed on the display device 13. The format of the image data used in the present invention is a format in which an arbitrary resolution can be extracted from the entire image data for an arbitrary display area of the image. Typical examples of image formats having such characteristics include JPEG2000 and Flashpix, but the present invention can also be applied to all image formats having similar characteristics other than these.
[0069]
The network 3 is a network such as the Internet.
[0070]
The server 2 includes a storage device 51 and a data processing device 52 that operates under program control.
[0071]
The storage device 51 includes an image data storage unit 62 and a layout information storage unit 61.
[0072]
The image data storage unit 62 stores image data to be transmitted to the terminal 1.
[0073]
The layout information storage unit 61 stores layout information regarding image data to be transmitted to the terminal 1. Here, the layout information includes the type, size, position, and orientation and shape of the component included in the display target image data.
[0074]
The data processing device 52 includes a transmission / reception unit 72 that transmits and receives data via the terminal 1 and the network 3, and a transmission data generation unit 71.
[0075]
The transmission / reception unit 72 is a transmission / reception unit and control software of a communication device such as a modem or a network card for communicating with the terminal 1 via the network 3.
[0076]
The transmission data generation unit 71 sets the region to be received in order to send the region to be received requested by the reception range calculation unit 26 to the terminal 1 with a size equal to or less than the data communication amount calculated by the reception range calculation unit 26. It is a part that generates processed image data by shaping or processing.
[0077]
FIG. 3 is a flowchart for explaining the operation of the present embodiment. The operation of the present embodiment will be described in detail with reference to FIG. 1 and FIG.
[0078]
First, layout information regarding display target image data is acquired from the server 2 (step A1). The terminal user performs a predetermined operation on the display area using the input device 11. Here, the predetermined operation includes a display area moving (scrolling) operation and an enlarging / reducing operation. At this time, the display magnification control unit 24 records the display magnification of the display area set by the operation of the terminal user. In parallel with this, the display area position / speed measurement unit 23 measures the position and speed of the operated display area (steps A2 and A3 in FIG. 3).
[0079]
The display position and speed information of the display area thus obtained, the display performance information of the display device 13 of the terminal 1 in the display device information storage unit 22, the perceptual property information in the perceptual property storage unit 21, and the display Based on the display magnification of the display area from the magnification control unit 24 and the layout information regarding the display target image in the layout information storage unit 61, the effective resolution object determination unit 25 calculates the prefetch difference area of the display area, and the prefetch difference area In addition to determining the constituent elements of the image, the effective resolution necessary to be recognized by humans is determined for each constituent element by referring to the perceptual characteristic information, and can be expressed on the terminal display device from the determined effective resolution. A correct image component is selected (step A4).
[0080]
Here, in order to obtain the resolution (= resolution) of the constituent elements of the display area, the display magnification of the display area is required to obtain the resolution on the display device.
[0081]
Here, regarding the pre-reading difference area 203 of the display area, each of the display area moving operation and the enlargement / reduction operation will be described.
[0082]
The prefetch difference area 203 at the time of the moving operation is a difference area between the area where the display area 202 is expected to move and the display area before the movement, as indicated by the hatched portion in FIG.
[0083]
Further, the prefetch difference areas 204 and 205 at the time of the enlargement / reduction operation are areas indicated by hatched portions in FIGS. 5 and 6, respectively. When the display magnification is enlarged, the area 204 in FIG. 5 becomes the prefetch difference area, and when the display magnification is reduced, the area 205 in FIG. 6 becomes the prefetch difference area. At this time, the size and the enlargement / reduction center position of the prefetch difference areas 204 and 205 are predicted from the display area magnification value and the enlargement / reduction center position in the operation history.
[0084]
The effective resolution of the image component is the minimum resolution required for the display device 13 to perceive it by the human at the display area speed and display magnification measured by the image component such as characters and drawings.
[0085]
Next, using the result of step A4, the reception range calculation unit 26 selects the smallest partial image that covers the prefetch difference area of the display area (step A5). Here, the partial image is an arbitrary rectangular area set when the target image is divided into a plurality of rectangular areas as shown in FIG.
[0086]
Next, from the data reception speed measured by the communication speed measurement unit 27 and the display area speed obtained by the display area position / speed measurement unit 23, the minimum partial image information that covers the prefetch difference area in the reception range calculation unit 26 Is calculated on the display device 13, and the amount of data communication for receiving data from the server is calculated before the time elapses (steps A6 and A7).
[0087]
The partial image obtained in step A5 is requested to the server 2, and at the same time, the data communication amount obtained in step A7 is transmitted to the server 2 (step A8).
[0088]
In the server 2, the partial image area is shaped or processed by the transmission data generation unit 71 so that the partial image data requested from the terminal 1 falls below the data communication amount specified by the terminal 1 to generate processed image data. To the terminal 1. The transmission / reception unit 28 receives the image data, and at the same time, the communication speed measurement unit 27 updates the communication speed information (step A9). Next, the image data generated in step A10 is displayed on the image data generation unit 29 and the display device 13 in order from the image data that has entered the display area. If there is no change in the position information of the display area for a certain period of time, the process ends as it is, and if there is a change, the process returns to step A3 (step A11).
[0089]
Here, the image components that have not been subjected to the reception request due to the partial image area being shaped by the transmission data generating unit 71 or being judged to exceed the terminal display performance or difficult to recognize in the visual characteristic information of FIG. The transmission data generation unit 71 edits the content so that a dummy image (such as an icon indicating that no image component is received) is displayed on the terminal 1 side at the display position of the image component, and the terminal 1 It is good also as what is transmitted to.
[0090]
Next, the effect of the first embodiment will be described. As described above, in the first embodiment, all the unique information and processing are performed by the terminal user on the terminal 1 side, so that the number of terminal users has increased in the processing of the data processing device 52 in the server 2. The increase in burden at the time can be suppressed.
[0091]
Next, a second embodiment of the present invention will be described in detail with reference to the drawings. FIG. 7 is a block diagram showing a configuration of an image data acquisition system according to the second embodiment of the present invention.
[0092]
Referring to FIG. 7, in the second embodiment of the present invention, the effective resolution object determination unit 25, the reception range calculation unit 26, and the communication speed measurement unit 27 in the data processing device 12 are connected to the data processing device 14 in the terminal 4. In the server 5, the data processing device 53 is different in that the data processing device 52 includes a communication speed measurement unit 73, an effective resolution object determination unit 74, and a reception range calculation unit 75. .
[0093]
The operation of the second embodiment will be described in detail with reference to the drawings. FIG. 8 is a flowchart for explaining the operation of the present embodiment.
[0094]
As shown in steps A1 to A3 and A9 to A11 of the flowchart of FIG. 8, the perceptual characteristic storage unit 21, the display device information storage unit 22, the display area position / speed measurement unit 23, the display magnification control unit 24 in the present embodiment, The operations of the image data generation unit 29, the transmission / reception unit 28, and the transmission / reception unit 72 are the same as the operations of these units 21, 22, 23, 24, 29, 28, and 72 in the first embodiment.
[0095]
In the first embodiment, it is necessary to communicate information in the layout information storage unit 61 to the terminal 1 side via the network 3 in order to perform the process of step A4 in FIG. In the present embodiment, in step B2 in FIG. 8, the same processing as in step A4 in FIG. 3 is performed by the effective resolution object determination unit 74 in the server 5 in FIG. For this reason, it is not necessary to transmit information in the layout information storage unit 61 to the terminal 4.
[0096]
In the first embodiment, the processing performed in the communication speed measurement unit 27 in step A6 in FIG. 3 is performed in the communication speed measurement unit 73 in step B4 in FIG. 8 in the present embodiment. The communication speed measuring unit may be on the server side as in the present embodiment, or may be on the terminal side as in the first embodiment.
[0097]
On the other hand, the processing of steps B2 to B5 in FIG. 8 is performed by the transmission data generation unit 71, the communication speed measurement unit 73, the effective resolution object determination unit 74, and the reception range calculation unit 75. In A4 to A6, the processing is the same as that performed by the transmission data generation unit 71, the communication speed measurement unit 27, the effective resolution object determination unit 25, and the reception range calculation unit 26.
[0098]
In step A8 of FIG. 3, the information sent from the terminal 1 to the server 2 is the amount of data communication that requests the server 2 for the partial image obtained in step A4 and simultaneously transmits to the terminal obtained in step A7. On the other hand, in step B1 of FIG. 8, the terminal 4 transmits to the server 5 the perceptual characteristic information and display performance information of the perceptual characteristic storage unit 21 and the display device information storage unit 22 and the image request for the prefetch difference area of the display area. However, the perceptual characteristic storage unit 21 may be on the server side. In this case, only the information in the display device information storage unit 22 and the image request for the prefetch difference area of the display area are sent to the server.
[0099]
Next, the effect of the second embodiment will be described.
[0100]
In the second embodiment, the image reception range calculation performed on the terminal side in the first embodiment is performed on the server side, and the layout information used in the calculation is not communicated from the server side to the terminal side. Therefore, the amount of data communication from the terminal to the server and the processing load on the terminal side can be expected to be reduced.
[0101]
Next, a third embodiment of the present invention will be described in detail with reference to the drawings.
[0102]
Referring to FIG. 9, in the third embodiment of the present invention, as in the first and second embodiments of the present invention, a terminal including an input device, a data processing device, a display device, and a storage device A process comprising a server provided with a data processing device and a network necessary for communication between the terminal and the server, and further calculating a range of images acquired in the first and second embodiments in the terminal and the server. Image data acquisition programs 15 and 54 are provided. The image data acquisition programs 15 and 54 are magnetic disks, optical disks, magneto-optical disks, semiconductor memories, and magnetic memories, which are recording media, respectively, and may be other recording media.
[0103]
In the terminal 1, the image data acquisition program 15 having the same function is read from the recording medium into the data processing device 16 and controls the operation of the data processing device 16. In the server 2, the image data acquisition program 54 is read from the recording medium into the data processing device 55 and controls the operation of the data processing device 55.
[0104]
The data processing devices 16 and 55 execute the same processing as the processing by the data processing devices 12 and 52 in the first embodiment and the data processing devices 14 and 53 in the second embodiment under the control of the read program. To do.
[0105]
Next, a first embodiment of the present invention will be described with reference to the drawings. Such an example corresponds to the first embodiment of the present invention.
[0106]
In this embodiment, a keyboard as an input device, a personal computer as a data processing device, a display as a display device, a terminal provided with a modem as a transmission / reception unit, a personal computer as a data processing device, and a magnetic disk as a storage device It consists of a server with a storage device, and these use the Internet as a network for communication.
[0107]
The storage device of the terminal stores display performance information that is information related to the display performance of the display of the terminal and perceptual characteristic information that records human visual perceptual characteristics. Examples of stored data are shown in FIGS.
[0108]
As shown in FIG. 12, the display performance information stored in the display device information storage unit 22 stores the main scanning number, the sub-scanning number, and the diagonal length of the display. In addition to the diagonal line, the length of the display may be vertical and horizontal.
[0109]
As shown in FIG. 13, the human perceptual characteristic information stored in the perceptual characteristic storage unit 21 includes the size and spatial frequency of the target for each target such as a character or a figure in the average human eyesight. When the representative value and the speed from the observer are values, a resolution necessary for recognition as a character or a figure is stored.
[0110]
In the perceptual characteristic information shown in FIG. 13, for example, it is determined that 300 dpi is not displayed on the display device of the terminal, from among the resolution values, it is determined that -1 dpi is not recognized by humans based on human visual characteristics. As an example, it is considered that it is possible.
[0111]
The human perceptual characteristic of the image stored in the perceptual characteristic storage unit 21 will be described in more detail. As information on human perceptual characteristics to be stored, for example, in the case of characters and line drawings, 1979, Science, 206, 468-469 (Rayner, K. Bertera, JH 1979 Reading without a fovea. Science, 206, 468-469), and the required viewing angle from 8 minutes to 1 degree for recognition as a character, 1975 Perception and Psychophysics, Vol. 17, 578-586 (McConkie, GW Rayner , K. 1975 The span of effective stimulus during a fixation in reading. Perception and Psychophysics, 17, 578-586), and the effective visual field required for normal reading is 15 character spaces. be able to.
[0112]
In addition to the above, the characteristics necessary for perceiving and recognizing the object displayed in the image include the correspondence between the shape of the object and the necessary resolution, the brightness and color tone of the object itself, and the surrounding and target. Lightness, color tone / contrast difference, number of required pixels and line width, number of points and series, range of area to be displayed for each object, allowable amount of image effect, recommended display angle and size, recommended Examples include fonts, primitives, reference vectors for objects, moving speeds of objects (absolute speed and relative speed), and recommended values for combining or displaying multiple objects side by side.
[0113]
Since the appropriate values are variable for the actual size of the display device, the display performance of the display device, and the positional relationship between the viewer and the display device, information for adapting to the viewing conditions is stored as necessary. And use it.
[0114]
The operation of the first embodiment of the present invention will be further described. Consider a case in which a command instructing movement processing is input from a keyboard to a display area displaying a part or all of an image on a terminal.
[0115]
At this time, the terminal measures the position and speed (pixel / sec) of the display area in the image, and simultaneously obtains the magnification value of the display area. Then, the layout information of the target image is acquired from the server. This layout information can be obtained by analysis such as OCR, and the type, size, position, and orientation and shape of the component included in the image are recorded.
[0116]
A prefetch difference area is calculated from the layout information, the position and speed of the display area, and display performance information that is display information of the terminal as shown in FIG. 12, and the next image displayed in the prefetch difference area As to what components are present and how large and fast they are displayed.
[0117]
Then, referring to the human perceptual characteristic information table as shown in FIG. 13, it is determined whether or not each component that can be displayed can be recognized by humans, and the image component that is determined to be recognized can be determined. The effective resolution required to be recognized by humans is obtained.
[0118]
A component in which the obtained effective resolution can be expressed on the display of the terminal is selected, and thereby position information in the image data and effective resolution information necessary for recognition are obtained for each component. Next, the communication speed is periodically measured by a program in the data processing apparatus, and the display area image after the movement is determined in advance from the time until the display area newly obtained from the speed information and the display area speed is moved. Determine the size of the data required to be generated in the time. The image data request, the position and resolution information related to the image component, and the data communication amount are transmitted to the server via the network.
[0119]
The server reads image data requested from the terminal from the magnetic disk storage device. If the size of the read data is equal to or larger than the data size requested from the terminal, the transmission data generation unit processes the read image data so as to be equal to or smaller than the requested data size. Specifically, there are the following image data processing methods.
[0120]
(1) Reduce the image area.
[0121]
(2) Lower the overall resolution in the image area.
[0122]
(3) Delete image elements such as characters and figures that are far from the recognized viewing angle or speed.
[0123]
Here, as a processing method for reducing the image area of (1), for example, there is a method of sequentially excluding a transmission target from a portion farther than the current display area in the image coordinate system, or a raster order. Possible methods include sending data for the data size. Alternatively, a method may be used in which the entire display area is set to a transmission target only up to the requested data size in raster order regardless of the image constituent elements.
[0124]
After performing such processing on the read image data as necessary, the server transmits the image data to the terminal. In the terminal, the image data received from the server is converted into a format that can be displayed on the display using a decoder corresponding to the format of the image data, and the converted data is displayed on the display so as to be in the prefetch difference area.
[0125]
In the above description, an example has been shown in which a keyboard is used as a command input means for instructing movement processing and enlargement / reduction processing for a display area displaying a part or all of an image on a terminal. You may perform using pointing devices, such as a mouse | mouth. In that case, the moving direction and the moving amount can be determined from the moving amount of the pointing device within a unit time, and a more intuitive operation can be provided.
[0126]
Further, the present invention can be applied to any operation means having the same input function as those described above. For example, voice input or image input means, an optical sensor, an acceleration sensor, a temperature sensor, and various switches are used. Input means can be used.
[0127]
In addition, the data processing device, display device, communication device, storage device, and the like are not limited to the personal computer and modem used in the above description, but can be processed if the device or device has a function capable of realizing the function of the present invention. The present invention can be implemented on any device regardless of capability.
[0128]
Although the present invention has been described with reference to the preferred embodiments and examples, the present invention is not necessarily limited to the above-described embodiments and examples, and various modifications can be made within the scope of the technical idea. Can be implemented.
[0129]
For example, the determination processing of the effective resolution, the partial image, and the data communication amount necessary for prefetching according to the present invention includes the perceptual characteristic storage unit 21, the effective resolution object determination unit 25, the reception range provided in the terminal 1 of the first embodiment. By providing the calculation unit 26 and the communication speed measurement unit 27 in the determination device 80, which is another device as shown in FIG. 14, the resolution, the partial image area, and the data communication amount necessary for prefetching in the determination device 80 are obtained. A configuration for executing the determination process is also possible.
[0130]
That is, in the example of FIG. 14, first, terminal operation information indicating the state of image browsing on the terminal 1 is acquired and notified to the determination device 80. That is, the display area position / speed measurement unit 23 displays information about the position of the display area of the image being displayed on the terminal 1, information about the display area speed indicating the operation speed for moving the image, and display by the display magnification control unit 24. Information of display magnification indicating the number of pixels of image data for one pixel in the screen and display performance information by the display device information storage unit 22 are sent from the terminal 1 to the determination device 80.
[0131]
The terminal 1 acquires layout information from the server 2 via the network 2 and sends it to the determination device 80 together with the communication speed obtained from the communication speed measuring unit 27.
[0132]
The determination device 70 uses the perceptual characteristic information stored in the perceptual characteristic storage unit 21, the terminal operation information transmitted from the terminal 1, and the image layout information acquired from the server 2 via the terminal 1, to The resolution and the partial image area are determined by executing the same processing as in the case of the terminal 1 of the embodiment.
[0133]
Then, the determination device 80 notifies the determination result of the resolution, the partial image area, and the data communication amount necessary for the prefetching to the server 2 via the terminal 1, and the server 2 performs the resolution, the partial image area, and the prefetching. The designation of the necessary data communication amount is accepted, and designated image data is generated and distributed to the terminal 1.
[0134]
Further, the determination processing of the resolution, the partial image area, and the data communication amount necessary for the prefetching according to the present invention is performed by the communication speed measuring unit 73, the effective resolution object determining unit 74, and the reception provided in the server 2 of the second embodiment. By providing the range calculation unit 75 in the determination device 90, which is another device as shown in FIG. 15, the determination device 90 executes the determination processing of the resolution, the partial image area, and the data communication amount necessary for prefetching. It is also possible to adopt a configuration.
[0135]
That is, in the example of FIG. 15, first, the server 2 sends the layout information in the layout information storage unit 61 to the determination device 90 together with the communication speed obtained from the communication speed measurement unit 73. Then, the server 2 receives terminal operation information from the terminal 1 (information on the position of the display area of the image being displayed, information on the display speed indicating the speed of operation for moving the image, and image data for one pixel in the display screen. Display magnification information indicating the number of pixels and display performance information of the display screen) and perceptual characteristic information are acquired and sent to the determination device 90.
[0136]
Then, the determination device 90 determines the resolution, the partial image area, and the data communication amount necessary for prefetching using each of the above-described information in the same manner as the server 2 of the second embodiment.
[0137]
Then, the determination device 90 notifies the server 2 of the determination result of the resolution, the partial image area, and the data communication amount necessary for the prefetching, and the server 2 receives the designation of the resolution and the partial image area and designates the designated image. Data is generated and distributed to the terminal 1.
[0138]
In addition to the form in which the determination apparatus is connected to the terminal 1 or the server 2 as shown in the examples of FIGS. 14 and 15, a form in which the determination apparatus communicates with both the terminal 1 and the server 2 via the network is similarly implemented. can do.
[0139]
【The invention's effect】
As described above, according to the present invention, the following effects are achieved.
[0140]
First, according to the present invention, when an image is acquired from a server on the terminal side, when the display area in which the terminal user is interested is moved, the time until the display area information is updated is reduced, and the human The display area image information can be updated while providing image quality that is easy to recognize.
[0141]
The reason is that the layout information describing the structure of the image and the information of the terminal user such as the magnification and the update speed of the display area are utilized by the user, not communicating the highest resolution image information. This is because easy image data construction and communication are performed.
[0142]
Secondly, according to the present invention, it is possible to flexibly set the load sharing of processing in the terminal and the server. The reason for this is that, as shown in the first and second embodiments of the present invention, the processing of the terminal user information such as the layout information describing the structure of the image and the magnification and update speed of the display area is performed in the first embodiment. This is because it can be performed on the terminal side as shown in the embodiment, and can also be performed on the server side as shown in the second embodiment.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an image data acquisition system according to a first embodiment of the present invention.
FIG. 2 is a diagram for explaining a definition of a display area according to the first embodiment of this invention.
FIG. 3 is a flowchart for explaining an image data acquisition operation according to the first embodiment of the present invention;
FIG. 4 is a diagram for explaining a definition of a prefetch difference area at the time of a moving operation according to the first embodiment of this invention.
FIG. 5 is a diagram for explaining a definition of a prefetch difference area at the time of an enlargement operation according to the first embodiment of this invention;
FIG. 6 is a diagram for describing a definition of a prefetch difference area at the time of a reduction operation according to the first embodiment of this invention.
FIG. 7 is a block diagram showing a configuration of an image data acquisition system according to a second embodiment of the present invention.
FIG. 8 is a flowchart for explaining an image data acquisition operation according to the second embodiment of the present invention;
FIG. 9 is a block diagram showing a configuration of an image data acquisition system according to a third embodiment of the present invention.
FIG. 10 is a diagram for explaining a definition of a partial image according to a third embodiment of the present invention.
FIG. 11 is a diagram for explaining an embodiment of the present invention.
FIG. 12 is a diagram for explaining an embodiment of the present invention.
FIG. 13 is a diagram for explaining an embodiment of the present invention.
FIG. 14 is a block diagram showing a configuration of an image acquisition system according to another embodiment of the present invention.
FIG. 15 is a block diagram showing a configuration of an image acquisition system according to still another embodiment of the present invention.
[Explanation of symbols]
1 terminal
2 servers
3 network
11 Input device
12 Data processing device
13 Display device
14 Data processing equipment
15 Image data acquisition program
16 Data processing device
21 Perceptual characteristic storage
22 Display device information storage unit
23 Display Area Position / Speed Measurement Unit
24 Display magnification control unit
25 Effective resolution object determination section
26 Receiving range calculator
27 Communication speed measurement unit
28 Transceiver
29 Image data generator
51 Storage device
52 Data processing device
53 Data processing equipment
54 Image data acquisition program
55 Data processing equipment
61 Layout information storage unit
62 Image data storage unit
71 Transmission data generator
72 Transceiver
73 Communication speed measurement unit
74 Effective Resolution Object Determination Unit
75 Reception range calculator
80,90 judgment device
201 Display target image data
202 display area
203 Look-ahead difference area

Claims

A server in an image data acquisition system that distributes image data to a terminal via a communication network,
Layout information related to the image data to be distributed, operation contents for the image data in the terminal, and perceptual characteristic information indicating perceptual characteristics for an image included in the image data so that a person can fully recognize the contents as information; An effective resolution object determination unit that determines the resolution of image data to be distributed based on display performance in the terminal ;
Based on the layout information related to the image data and the resolution from the effective resolution object determination unit, an area necessary for the prefetching process for preliminarily delivering the image data expected to be requested by the operation content to the terminal is shown. A reception range calculation unit for determining an image area,
From the terminal, the position of the display area of the image data being displayed on the terminal, the display area speed indicating the speed of change by the operation of the image data, and the image data of the image for one pixel in the display screen of the image Each display magnification data indicating the number of pixels is received as the operation content,
The effective resolution object determination unit calculates a prefetch difference area that is a difference between an area where an image displayed on the terminal is expected to change and a display area before the change, and based on the perceptual characteristic information, the prefetching The image component in the difference area is calculated as the resolution of the image, which is the minimum resolution required for human perception by the display area speed and the display magnification indicated in the operation content,
The reception range calculation unit determines a set of rectangular regions covering the prefetch difference region determined by the effective resolution object determination unit as an image region of the image,
A server characterized in that the image data whose resolution has been determined is distributed to the terminal.

The layout information includes at least the type, size, position, orientation, and shape of the components included in the image data, and the operation content relates to movement or enlargement / reduction of the display area of the image of the image data. The server according to claim 1, wherein there is a server.

The reception range calculation unit calculates the amount of data communication for receiving the area necessary for the prefetching process within a certain time using the operation content,
In order to communicate the image area based on the resolution with a communication amount equal to or less than the data communication amount, the resolution determined by the effective resolution object determination unit, the image region determined by the reception range calculation unit, and the data communication amount And processing the image area, and includes a transmission data generation unit that generates processed image data,
The server according to claim 1 or 2 , wherein the generated processed image data is distributed to the terminal.

A perceptual property storage unit for storing and referring to the perceptual property information;
The effective resolution object determination unit takes out the perceptual characteristic information from the perceptual characteristic storage unit, according to claims 1, wherein the determining the resolution of the image data to any one of claims 3 server.

In a terminal in an image data acquisition system that acquires image data distributed from a server via a communication network,
Layout information relating to the image data to be distributed, operation contents for the image data on the terminal side, and perceptual characteristic information indicating a perceptual characteristic for an image included in the image data so that a person can fully recognize the contents as information. An effective resolution object determination unit that determines the resolution of the image data based on the display performance in the terminal ;
An image indicating an area necessary for prefetching processing for acquiring in advance image data expected to be requested by the operation content based on layout information regarding the image data to be distributed and the resolution from the effective resolution object determination unit A reception range calculation unit for determining an area ,
The display magnification indicating the position of the display area of the image data being displayed, the display area speed indicating the speed of change by the operation of the image data, and the number of pixels of the image data of the image relative to one pixel in the display screen of the image Are acquired as the operation content,
The effective resolution object determination unit calculates a prefetch difference area that is a difference between an area where an image displayed on the terminal is expected to change and a display area before the change, and based on the perceptual characteristic information, the prefetching The image component in the difference area is calculated as the resolution of the image, which is the minimum resolution required for human perception by the display area speed and the display magnification indicated in the operation content,
The reception range calculation unit determines a set of rectangular regions covering the prefetch difference region determined by the effective resolution object determination unit as the image region of the image,
A terminal which requests the server to distribute the image data whose resolution has been determined.

The layout information includes at least the type, size, position, orientation, and shape of the components included in the image data, and the operation content relates to movement or enlargement / reduction of the display area of the image of the image data. The terminal according to claim 5, wherein there is a terminal.

A perceptual property storage unit for storing and referring to the perceptual property information;
The terminal according to claim 5 or 6, wherein the effective resolution object determination unit determines the resolution of the image data by extracting the perceptual property information from the perceptual property storage unit.

The terminal according to any one of claims 5 to 7, wherein the effective resolution object determination unit and the reception range calculation unit are provided as external devices.

An image data acquisition method for distributing an image from a server to a terminal via a communication network,
Layout information relating to the image data to be distributed, operation contents for the image data on the terminal side, and perceptual characteristic information indicating a perceptual characteristic for an image included in the image data so that a person can fully recognize the contents as information. An effective resolution object determining step for determining the resolution of the image data based on the display performance in the terminal ;
An image area indicating an area necessary for prefetching processing for acquiring in advance image data expected to be requested by the operation content based on layout information related to the image data to be distributed and the resolution in the effective resolution object determination step A reception range calculation step for determining
The terminal displays the position of the display area of the image being displayed on the terminal, the display area speed indicating the speed of the operation for moving the image, and the pixel of the image data of the image for one pixel in the display screen of the image Acquiring each data of the display magnification indicating the number as the operation content and transmitting it to the server;
Have
In the effective resolution object determination step, a prefetch difference area that is a difference between an area where an image being displayed on the terminal is expected to change and a display area before the change is calculated, and based on the perceptual characteristic information, The image component in the prefetch difference area is calculated as the resolution of the image, which is the minimum resolution required for human perception by the display area speed and the display magnification indicated in the operation content,
In the reception range calculation step, a set of rectangular regions that covers the was to decipher the effective resolution object determining step said look-ahead difference area, determined as the image area of the image,
Distributing the image data whose resolution has been determined to the terminal.

The image data acquisition method according to claim 9 , wherein in the effective resolution object determination step, a minimum necessary resolution of the image data to be distributed is determined.

At the terminal,
The effective resolution object determination step;
The reception range calculating step,
Receiving the layout information of the image data to be distributed from the server, determining the resolution of the image by the effective resolution object determining step;
Transmitting the resolution determined in the effective resolution object determination step and the image area determined in the reception range calculation step to the server;
The server is
From the terminal, the specification of the resolution and the image area for the image to be distributed is received, and the transmission data generation step generates image data indicating the image based on the specified resolution and the image area, 11. The image data acquisition method according to claim 9 , wherein the generated image data is distributed to the terminal.

The terminal includes transmitting the operation content of the image data to the server;
The server includes the effective resolution object determination step and the reception range calculation step;
Receiving the operation content from the terminal, determining the resolution of the image by the effective resolution object determination step,
Based on the resolution determined in the effective resolution object determination step and the image area determined in the reception range calculation step, image data indicating the image is generated by the transmission data generation step, and the generated image data The image data acquisition method according to claim 9, wherein the image data is distributed to the terminal.

An image data acquisition program for distributing an image from a server to a terminal via a communication network by controlling a computer,
To the server,
Layout information relating to the image data to be distributed, operation contents for the image data on the terminal side, and perceptual characteristic information indicating a perceptual characteristic for an image included in the image data so that a person can fully recognize the contents as information. An effective resolution object determination function for determining the resolution of the image data based on the display performance in the terminal;
An area necessary for prefetching processing for acquiring in advance image data expected to be requested by the operation content based on layout information relating to the image data to be distributed and the resolution determined by the effective resolution object determination function. A reception range calculation function for determining an image area;
A function of distributing the image data to determine the resolution to the terminal, the allowed actual revealed,
The operation content includes the position of the display area of the image data being displayed on the terminal, the display area speed indicating the speed of change due to the operation of the image data, and the image of the image for one pixel in the display screen of the image Each data of display magnification indicating the number of pixels of data is received from the terminal,
The effective resolution object determination function calculates a prefetch difference area that is a difference between an area where an image displayed on the terminal is expected to change and a display area before the change, and based on the perceptual characteristic information, image component within the difference region, the pre-Symbol display area rate and the display magnification indicated in the operation content, the minimum required resolution in order to be perceived by human, calculated as the resolution of the image,
An image data acquisition program, wherein the reception range calculation function determines a set of rectangular areas covering the prefetch difference area determined by the effective resolution object determination unit as an image area of the image .

The layout information includes at least the type, size, position and orientation, and shape of a component included in the image data,
The image data acquisition program according to claim 13 , wherein the operation content relates to movement or enlargement / reduction of a display area of the image of the image data.

The coverage calculation function calculates the amount of data communication for receiving a space required for the look-ahead processing using the operation content within a predetermined time,
The resolution determined by the effective resolution object determination function, the image area determined by the reception range calculation function, and the image area determined by the reception range calculation function in order to communicate the image area based on the resolution to the server with a communication amount equal to or less than the data communication amount. Based on the amount of data communication, the image area is processed to realize a transmission data generation function for generating processed image data,
The image data acquisition program according to claim 14, wherein the generated processed image data is distributed to the terminal.

An image data acquisition program for distributing an image from a server to a terminal via a communication network by controlling a computer,
In the terminal,
Layout information relating to the image data to be distributed, operation contents for the image data on the terminal side, and perceptual characteristic information indicating a perceptual characteristic for an image included in the image data so that a person can fully recognize the contents as information. An effective resolution object determination function for determining the resolution of the image data based on the display performance in the terminal;
A function for requesting the server to distribute the image data whose resolution has been determined ;
An image indicating an area necessary for prefetching processing for acquiring in advance image data expected to be requested by the operation content based on layout information regarding the image data to be distributed and the resolution from the effective resolution object determination unit The reception range calculation function to determine the area,
Realized,
The operation content includes the position of the display area of the image data being displayed on the terminal, the display area speed indicating the speed of change due to the operation of the image data, and the image of the image for one pixel in the display screen of the image Each display magnification data indicating the number of data pixels,
The effective resolution object determination function calculates a prefetch difference area that is a difference between an area where an image displayed on the terminal is expected to change and a display area before the change, and based on the perceptual characteristic information, The image component in the difference area is calculated as the resolution of the image, which is the minimum resolution required for human perception by the display area speed and the display magnification indicated in the operation content,
The coverage calculation function, a set of rectangular regions that covers the prefetch differential region in which the effective resolution object determination unit determines the image data acquisition program characterized that you determined as the image area of the image.

The image data acquisition program according to claim 16 , wherein the effective resolution object determination function determines a minimum necessary resolution of the image data to be distributed.

At the terminal,
Receiving the layout information of the image to be distributed from the server, determining the resolution of the image data by the effective resolution object determination function,
Transmitting the resolution determined by the effective resolution object determination function and the image area determined by the reception range calculation function to the server;
The image data acquisition program according to claim 17 , wherein distribution of image data based on the resolution and the image area is received from the server.