JP4295292B2 - 画像転送方法およびそのプログラム格納記録媒体 - Google Patents

Description

本発明は、遠隔地からの画像表示要求に対して受信側の制御により効率よく画像データを送受信し、希望する品質、表示時間等で画面表示することが可能な画像転送方法およびそのプログラムを格納した記録媒体に関する。

インターネットは、Ｗｅｂサーバで情報を集中管理して、不特定多数の端末に搭載されたＷｅｂブラウザから情報の閲覧等を行っている。その場合に、ブラウザを利用してネットワーク上の機器を監視したり、制御する方法が要求されている。また、不特定多数の人が遠隔地にある画像を各々が希望する品質および表示時間で鑑賞できるような方法も要求されている。
しかし、インターネットにおけるブラウザを用いて画像を表示する場合、表示側の性能や公衆回線等の伝送経路上の制約により、高品質な画像を表示する際には全てのデータを送出するために長時間待たされてしまうことがあった。
それらの制約から、送出するデータ量を少なくし、つまり画像品質を低下させて送信することが一般的に試みられているが、それでは逆に品質の高い画像を希望する利用者にとっては不満が生じてしまう。

また、受信側においては、一般に送信側が設定した画像の全データを受信した後、画像処理を行って画面に表示するため、トラフィック状態が悪い場合や、モデム等の通信手段の性能が低い場合には、必要とする画像表示に時間を要してしまう。特に画像が多数存在する場合には、受信者が必要とする画像を得るまでに長時間待たされてしまうことがあり、回線を切断する必要にせまられることも多かった。受信側が希望する画像を早急に入手するためには、受信側が画像を選択する前に、予め送信側とネゴシェーションしなければならない。
一方、トラフィック状態が悪い場合には、画像品質の低い画像やサイズの小さい画像に切り替えて転送する方法があるが、送信側で画質やサイズの異なる複数の画像情報を保持しなければならず、さらに画像の切り替えに際して、受信者側との間でプロトコルが必要となる。

このように、（１）表示時間を優先して品質は悪くても短時間で表示して欲しいという利用者と、画像品質を優先して少々時間がかかっても高品質で表示して欲しいという利用者とが同時に存在するため、利用者の希望毎に効率よく送信して表示することは不可能であった。
また、（２）画像のように情報量の大きなデータを転送する場合、トラフィック状態が悪いと、転送に時間がかかるため、受信者ないし送受信者双方にとり転送コストが増大し、データエラーが発生し易くなり、受信した画像の品質に影響する。このような場合には、受信途中で接続が打ち切られることもあった。この場合、画像は再現されないか、あるいは全体の一部の画像が表示されるだけであり、全体の概略を表示させる等の方法は不可能であった。
また、（３）トラフィック状態の善悪にかかわらず、送信側で用意した画像データを受信側は全て受信する必要があるため、トラフィックの悪い場合に受信側で画像の品質や解像度を落として画像を受信し、次の画像受信を要求する等の方法は不可能であった。

また、（４）受信側が希望する精度や解像度等の画像品質は、送信者との間でネゴシェーションする必要があり、従来では、送信側が設定した画像品質より低い品質の画像を受信する場合であっても、これを容易に変更することはできなかった。
また、（５）トラフィック状態が悪い場合には、画像品質の低い画像あるいはサイズの小さい画像に切り替えて転送する方法があるが、このためには送信側で品質やサイズの異なる複数の画像情報を保持する必要があり、さらに画像の切り替えに際しては受信者側との間のプロトコルが必要になる。
さらに、（６）受信者で設定する転送時間、あるいは受信データサイズに達した時点で、その画像の受信を打ち切ると、画像は再現されないか、あるいは全体の一部の画像が表示されるだけであり、解像度を落として全体を表示させる等の方法は不可能であった。可能にするためには、送信者側との間で転送する画像の再変換を行う等の必要があり、手間がかかっていた。

（目的）
そこで、本発明の第１の目的は、これら従来の課題を解決し、表示時間を優先して品質は悪くても短時間で表示して欲しい利用者の要求と、画像品質を優先して少々時間がかかっても高品質で表示して欲しい利用者の要求とを同一の画像データと同一の処理方法で満たすことが可能な画像転送方法およびその記録媒体を提供することにある。
また、本発明の第２の目的は、同一の画像において、送信先の希望毎に必要な領域を効率よく画面表示することが可能な画像転送方法を提供することにある。
また、本発明の第３の目的は、トラフィック状態が悪い場合、受信側で画像の概要が判かる程度の低画質で画像を処理ないし表示させるために必要な画像データを全体の一部で済ませて、受信すべき画像情報量を小さくできる画像転送方法およびその記録媒体を提供することにある。

また、本発明の第４の目的は、トラフィック状態が悪い場合、大きな画像を受信するときには、最初から再受信を実施することにして、時間的、コスト的な損失を少なくすることができる画像転送方法を提供することにある。
また、本発明の第５の目的は、送信側で画質の異なる複数の画像を用意する必要がなく、かつ送受信者間で特別なプロトコルを必要とせず、かつ必要な画像品質を送信側に問い合わせることなく、受信側で任意にあるいはトラフィック状態に応じて選択でき、送信側の負荷を減少させるとともに、受信側の機能選択の余地と自由度を大きくすることが可能な画像転送方法を提供することにある。
さらに、本発明の第６の目的は、トラフィック状態の監視を行って、トラフィック状態によって画像受信の画質に切り替えることができ、かつ受信状態の遷移を実施する基準には学習機能を持たせることが可能な画像転送方法を提供することにある。

上記目的を達成するため、本発明の画像転送方法では、
（１）画像の概略が判る粗い品質または低品質から順次高品質となるデータ構造を持つ圧縮または非圧縮の画像データで、かつ受信途中でも画像全体の表示が可能な画像データを転送する画像転送方法であって、受信側は、トラフィック状態と該トラフィック状態時に受信すべき画像の品質の対応関係を保持するとともに、トラフィック状態の監視を行い、前記対応関係を参照し、前記監視されたトラフィック状態に対応する品質の画像を受信した場合に、その画像のそれ以降の画像の受信を打ち切るようにしている。
（２）受信側は、受信側が希望する画像品質をトラフィック状態に応じて複数段階設定する。
（３）受信側は、受信する画像品質の切り替えを行うトラフィック状態等の条件にヒステリシスを持たせる。
（４）受信側は、受信する画像品質の切り替えを行うトラフィック状態等の条件および／または画像品質に学習機能を持たせる。
（５）受信側は、画像データの転送途中で、受信側が希望する画像品質を変更可能とする。
（６）受信側は、トラフィック状態が悪い場合に低画質で受信した画像を、受信側の処理の空き時間を利用して、受信側が希望する画像品質に達するまで自動で画像情報の再受信を継続する。

本発明によれば、表示時間を優先して品質は悪くても短時間で表示して欲しい利用者の要求と、画像品質を優先して少々の時間がかかっても高品質で表示しい欲しい利用者の要求とを同一の画像データと同一の処理方法で満たすことが可能となり、また同一の画像において、送信先の希望毎に必要な領域を効率よく画面表示することが可能となる。
また、トラフィック状態が悪い場合、受信側で画像の概要が判かる程度の低画質で画像を処理ないし表示させるために必要な画像データを全体の一部で済ませて、受信すべき画像情報量を小さくでき、さらにトラフィック状態が悪い場合、大きな画像を受信するときには、最初から再受信を実施することにして、時間的、コスト的な損失を少なくすることが可能である。

また、送信側で画質の異なる複数の画像を用意する必要がなく、かつ送受信者間で特別なプロトコルを必要とせず、かつ必要な画像品質を送信側に問い合わせることなく、受信側で任意にあるいはトラフィック状態に応じて選択でき、送信者の負荷を減少させるとともに、受信側の機能選択の余地と自由度を大きくすることが可能であり、さらにトラフィック状態の監視を行って、トラフィック状態によって画像受信の画質に切り替えることができ、かつ受信状態の遷移を実施する基準には学習機能を持たせることが可能である。

以下、本発明の動作原理および実施例を、図面により詳細に説明する。
（参考例）
（１）送信側では、
・複数種類のデータ量を任意のタイミングと任意の領域に限定して取り出すことが可能な画像圧縮形式で画像を圧縮しておく。
・受信側から画像送信要求が来るのを待つ。
・画像送信要求が来たならば、画像品質と画像中の表示領域と表示順序を受信側に問い合わせる。
・回線状態の悪化による送信一時中断処理後の処理も問い合わせておく。
・送信の際には、先ずシステムで決定した最も低い品質レベル、（最もデータ量の少なくて済む）の画像を表示するのに必要なデータを圧縮画像データ中から取り出して送信する。・次に、その品質レベルおよび領域の画像データの送信が終了すると、２番目に低い品質レベルまたは次の領域の画像を表示するのに必要なデータを送信する。

・以下、やや高精細な品質レベルの画像を表示するのに必要なデータを送信する。
・送信中のデータ量を監視する。
・画像品質、画像領域および表示順序の問い合わせに対する返事が来ると、現在の送信データを見て、既に送信し終っていればそこで終了し、次の処理を開始する。終っていなければ、送り終るまで送信を継続する。
・一定時間当りの送信データ量がしきい値より少なくなったならば、送信を一時中断する。
・一時中断中は、停止状態である旨を受信側に送信する。停止状態の解除には３種類あり、これらは受信側へ問い合わせてその返事により処理を変える。また、予め指示されていれば、その指示に従う。
（ａ）受信側による処理の停止（キャンセル）。
（ｂ）送信データの品質、位置、順序を指定して継続する。
（ｃ）伝送状態の好転によりしきい値レベル以上のデータ量を送信することが可能になったならば、処理を再開する。それまでは中断状態を継続する。
・送信データの種類、位置情報を受信側から得ると、指定されたデータを優先して送信を再開、継続する。

（２）受信側では、・ブラウザを使用してホストシステム（送信側）に接続する。
・ブラウザ側の持つ機能（本発明で使用する圧縮形式のサポートやクライアントマシンの性能、ブラウザの種類等）を送信側に送り、通信可能な状態を確保する。
・ブラウザ側が予め設定状態を送信する設定になっている場合には、デフォルトの画像品質、画像の表示領域、表示順序を送信しておく。
・画像送信要求を接続した送信側に送る。
・送られてきた画像を指定された場所に展開表示する。
・画像データの受信および展開表示を行う一方、ユーザーからの操作、入力待ち状態とする。
・ユーザーがキャンセル要求を出した場合には、送信側に対して画像送信の停止要求を送る。
・ユーザーが表示領域の指定をした場合には、現在表示している領域と異なるとき、送信側に対して現在送信中の画像の送信停止要求を出すとともに、新たなユーザーが指定した領域の画像の送信要求を出す。
・表示順序の指定状態でユーザーが表示順序の変更をした場合には、送信側に対して表示順序変更要求を出す。
・送信側から送信の一時中断を連絡してきた場合、その後の処理を送信していないとき、そのまま中断するか、または画像品質、画像領域、表示順序を連絡して送信再開まで待つ。
・送信が再開されると、それまでの画像データがキャンセルされているか否かを確認して受信処理を再開する。

（本発明の第１の実施例）
（１）送信側では、
・転送しようとする画像情報を粗い品質または低画質から順次高精細となるデータ構造を持つ圧縮または非圧縮の画像データを作成する。
・回線接続後、受信側からのデータ送出要求により画像情報を送出し、送信中、一定のタイミングもしくはプロトコルの手順中で受信側からの送信の中断（スキップ）、接続の切断、その他の処理要求を受け付ける。
・受信側からの画像データの送信中止の要求により、その画像の送信を中止し、次の画像送信もしくは次の処理に移行する。
・受信側からの接続切断の要求により、接続を切断する。

（２）受信側では、・受信する画像の品質や１画像当りの最大通信時間等の画像データの受信条件を定めた１つの状態と、他の条件で受信を行う別の１つ以上の状態とがあり、ある状態から他の状態へ遷移するためのトラフィック状態等の条件とが定められたクライテリアマップを、予めデフォルトで定めた値もしくは前回の値で設定する。
・必要に応じて受信側の操作者は、クライテリアマップを再設定する。
・送信側に、データ送信要求を出して画像を含むデータの受信を開始する。
・画像プロファイルや画像表示等に必要な最小限のデータを受信する。
・クライテリアマップに設定されている現在の状態における最大受信画像サイズ、最大通信時間、解像度等の所定画像品質に達した時点で、その画像の受信を打ち切り、画像処理を行って得られる品質の画像を保存もしくは表示し、送信側にはその画像のデータ送信の中止を要求して次の画像のデータ送信要求を行う等、次の処理に移行する。

・トラフィック状態を監視する監視部より、現在の状態から別の状態への遷移条件が発生したことが制御部に通知される。
・遷移後の状態で受信すべき最大受信画像サイズ、最大受信時間、解像度等の所定画像品質をクライテリアマップ等に従って自動ないし手動で、あるいは学習機能によりクライテリアマップの条件を再設定する。
・引き続き、クライテリアマップに従って画像の受信を継続し、最後に回線を切断する。
（３）監視部では、・データ転送速度等のトラフィック条件を監視し、クライテリアマップにより現在の状態から別の状態への遷移を行うべき条件に達した場合、その内容を受信側制御部に通知する。

図１は、本発明の参考例を示すシステム全体の概略構成図である。
このシステムは、グローバルなネットワークシステム上に画像等のディジタル情報を供給可能なサーバーシステム１と、供給される情報をネットワーク６を経由して必要な情報のみを選択することにより、受信可能なクライアントシステム３，４，５とから構成される。参考例では、サーバー１等の送信側の制御により、受信側の各要求に応じた画像を送信する方法であって、この方法は、サーバー１およびクライアントシステム３〜５において処理を行わせるソフトウェアとして搭載される。

図２は、図１における具体的構成図である。
ＰＣ（パーソナルコンピュータ）１はサーバー１側であれば、画像データを圧縮したり解凍することができる中央演算処理装置１１と、演算に必要なデータを一時的に保持し得る高速な記憶媒体のメモリ１２と、画像データや長期に渡って保存しておきたいデータを保持するための外部記憶媒体である、いわゆるＨＤＤ（ハードディスク装置）１３と、外部装置との通信やデータの送受信が可能なＩ／Ｆ（インタフェース装置）１４とを備えている。ただし、クライアントシステム側では、これらは特に必要ではない。一方、Ｉ／Ｆ１４には、適合するハードウェアやプロトコルに合わせてＬＡＮや公衆回線等の伝送経路６との接続を行うモデム２が接続されている。これにより、個々の装置間を接続するために外部装置との通信やデータの送受信が可能となる。公衆回線６上には、同様にして他のＰＣ（クライアント）３〜５等が複数接続されており、互いに必要に応じて情報のやり取りを行う。

図３は、受信側（クライアント）において、送られてきた画像データ等の情報を閲覧している状態を示す図である。
図３（ａ）は、ブラウザ側における画像品質の指定を行う場合の図であり、図３（ｂ）は、ブラウザ側における表示領域の指定を行う場合の図である。
サーバーとの接続が行われ、情報送信の要求を出してインターネット等で広く使用されている閲覧ソフトである、いわゆるブラウザ３０が表示され、画面上には送られてきた画像「ｉｍａｇｅ１」〜「ｉｍａｇｅ３」が表示されている。
勿論、図示されていないが、画像のみならずテキストや音声等の情報も送られており、画面上に表示されたり、同時に再生等が行われる。ここで、表示順序の設定画面３１を開くと、送信側（サーバーすなわちホスト）で決定された表示順序が表示され、現在表示中の画像等が分かる。この状態において、例えばマウス等によるポインタ３３により任意の画像を選択し、いわゆるドラッグ＆ドロップ等の操作を行って表示画像のリスト上の位置を変えると、その情報は送信側に送られる。

また、選択した画像毎に画像設定画面３２を開くことができる。画像設定画面３２では、それぞれの画像について、複数の画像品質を選択したり、表示領域のデフォルト設定を変えることができる。
また、直接画像を指定することにより、表示領域を指示することも可能である。
同様に、図３（ｂ）のように、ブラウザ画面３０に表示された画像３４の特定の領域をマウスポインタ３３でクリックすると、通常４分割程度に領域が分けられ、指示したポイントを含む領域がその画像の中で最優先に表示され、高画質化される。分割位置と個数は限定されるものではなく、ホスト側における圧縮率との兼ね合いで決定される。画像毎に画像品質が指定されているので、その指定された画像品質になるまで表示処理が行われる。

図４〜図１８は、送信側（サーバーすなわちホスト）と受信側（クライアント）の各処理を示すフローチャートであって、図４〜図１０は送信側の処理であり、図１１〜図１８は受信側の処理である。
図４では、先ず初期化されて動作可能な状態になり（ステップ４−１）、複数の種類のデータ量を任意のタイミングと任意の領域に限定して、取り出すことが可能な後述のデータ圧縮形式で画像を圧縮する（ステップ４−２）。次に、受信側からの画像送信要求が来るのを待つ（ステップ４−３）。ネットワーク上に接続されている不特定のクライアントから画像送信要求が来ると、送信する画像に関する情報を送り、それぞれの画像についての画像品質、表示領域、表示順序を送信要求元に問い合わせる（ステップ４−４）。その結果は、デフォルトの処理として、その後に運用される。また、同時に送信一時中断処理後の処理をどのようにするかも問い合わせる（ステップ４−５）。

次に、要求されている必要な画像データを記憶装置から取り出して、圧縮形式を受信側がサポートしていればそのまま、非サポートであれば解凍可能な形式に最もデータ量が少ない画像品質分の画像データを再圧縮して送信を開始する（ステップ４−６）。その後は、サブルーチン（ステップ４−７）で送信状態を監視しながら、画像送信が終了したか否かをチェックしながら送信を継続する（ステップ４−８）。１画像の送信が終了すると、次の送信データの準備を行う（ステップ４−９）。１頁分の送信が終了したか否かをチェックし（ステップ４−１０）、終了していなければ、繰り返し画像データの送信を継続する（ステップ４−６に戻る）。１頁が終われば、同様に次の頁の送信データを準備し（ステップ４−１１）、送信したい全てのデータ送信が終了したか否かを確認し（ステップ４−１２）、終了していれば、次の画像送信要求が来るまで待つ（ステップ４−３）。

図５は、送信状態を監視するサブルーチンを示す図である。
画像データ等大量のデータを送信していると、回線の状態によっては、極端に送信レートが低下して１つの画像データを送信し終えるのに非常に長い時間がかかることがある。従って、絶えず伝送経路上の状態を監視し、しきい値以下になったならば一度送信を中断し、受信側の指示を抑ぐようにする。監視方法は、フロー状態のレートを見てもよく、問い合わせに対するレスポンスまでの経過時間を見てもよい。
先ず、伝送状態がしきい値以下になったか否かをチェックする（ステップ５−１）。
次に、受信側から画像品質の指定がされたか否かをチェックする（ステップ５−２）。同様に、表示領域の指定が行われたか否か（ステップ５−３）、また表示順序の指定が行われたか否かをそれぞれチェックする（ステップ５−４）。さらに、受信側の都合により、送信の中断要求が送られたか否かもチェックする（ステップ５−５）。このような監視、チェックを先に取り出して、送出を開始したデータの送出が終了するまで継続して行う（ステップ５−６）。

図６は、送信状態を監視していた結果、送信状態がしきい値以下になった場合の処理の図である。
先ず、送信を一時中断する（ステップ６−１）。次に、受信側には、現在送信を中断している旨を連絡する（ステップ６−２）。そして、受信側からの画像品質の指定、表示領域の指定、表示順序の指定が来るのを待つ（ステップ６−３，６−４，６−５）。また、受信側から中断要求が来たか否かもチェックする（ステップ６−６）。これらの処理は、再び送信状態がしきい値以上に復活するまで継続して行われる（ステップ６−７）。

図７は、画像品質が受信側から指定された場合の処理の図である。
デフォルトもしくは現在指定されている画像品質と同じであれば、送信状態の監視に戻る（ステップ７−１）。（（６）を経由して図５のステップ５−１に）。
もし、指定されている画像品質と異なっていれば、新たに画像品質をセットし直して、次のデータの送信を開始する（ステップ７−２）。
通常は、最も画像品質の低いデータ、例えばサムネイル画像から送出を開始し、指定された画像品質になるまで順に元の圧縮画像データから取り出して送信していく。指定品質が現在送出している品質より高い場合には、送信を継続して行い、もし低い場合には、そこで送信を終了して次の画像の送信を行う。

図８および図９は、それぞれ新しい画像領域、および表示順序をセットする処理の図である。
次の指定が現在指定領域でよければ（ステップ８−１）、（６）を経由して図５のステップ５−１に分岐し、現在の指定領域にしない場合には、次の画像領域にセットする（ステップ８−２）。画像領域の指定では、指定された領域が先に指定されている画像品質に達するのを、その画像データの送出では最優先となる。
表示順序では、既に送出された画像は順序に関係なく、新たに送出することはしない。指定された表示順序は、未だ送出していない画像に適用される（ステップ９−１）。現在指定の順序であれば、（６）を経由して図５のステップ５−１に分岐する（ステップ９−２）。

図１０は、受信側から中断要求が来た場合の処理の図である。
現在送信している画像の送出を止めて、送信途中であるフラグを立てておく（ステップ１０−１）。そして、新たに送信要求が来るのを待つ。送信要求が該当画像の場合には、中断した状態から再開できるようにしておく。

図１１〜図１８は、受信側の処理を示す図である。
図１１において、先ず受信側における初期化が行われ（ステップ１１−１）、ユーザーからの接続要求操作が行われるまで待つ。接続要求操作が行われると（ステップ１１−２）、指定のホストへの接続処理を行う（ステップ１１−３）。なお、接続方法は図示していないが、従来の方法で行われる。接続処理が終了すると、ホストに知らせておく情報を送出する（ステップ１１−４）。これは、例えばクライアントのハード構成やパフォーマンス、圧縮形式のサポートや閲覧するためのブラウザの種類等である。次に、表示するための設定情報を送出することになっていれば、送出する（ステップ１１−５）。これは必須ではなく、ブラウザ側の設定で決定される。

この後は、ユーザーによる操作もしくはブラウザのデフォルト設定等により、画像の送信要求を出する（ステップ１１−６）。ホストからは、要求した画像を送信してくるので、送られてきた画像の受信処理と、指定場所への展開表示を行う（ステップ１１−７）。受信処理と画像表示処理を行うと同時に、ユーザー操作も受け付ける（ステップ１１−８）。また、ホストからは、画像等の情報の他に、制御に必要な情報も送られてくるので、送信中断の連絡があったか否かをチェックする（ステップ１１−９）。送信中断の連絡があれば、図１４に分岐する。なければ、最初に要求した情報が全て受信できたか否かをチェックし（ステップ１１−１０）、未だ全て受信し終っていなければ、送られてくるデータを表示する処理に戻る（ステップ１１−７）。終了していれば、通信終了要求がユーザーから出ているか否かをチェックして、出ていればステップ１１−２に戻る。また、出ていなければ、ステップ１１−４に戻る。

図１２は、設定情報の送出処理であって、デフォルトの画像品質、表示領域、表示順序を送る処理の図である。
先ずデフォルトの画像品質を送出し（ステップ１２−１）、次にデフォルトの表示領域を送出し（ステップ１２−２）、最後のデフォルトの表示順序を送出する（ステップ１２−３）。

図１３は、ユーザー操作の主な処理を示す図である。
先ずユーザーによるキャンセル要求があるか否かをチェックし（ステップ１３−１）、図３に示すような表示領域、表示順序、画像品質の指定があるか否かをチェックする（ステップ１３−２，１３−３，１３−４）。また、図示しないが、その他のＧＵＩ操作に関する処理もここで行われる（ステップ１３−５）。

図１４は、ホストから送信中断連絡を受けた場合の処理を示す図である。
先ず、受信処理を中断している旨を表示して、ユーザーに示す（ステップ１４−１）。次に、図１３に示すユーザー操作の受け付けを行い（ステップ１４−２）、ホストからの送信再開連絡が来たか否かをチェックする（ステップ１４−３）。

図１５は、ユーザーによりキャンセル処理要求が出た場合の処理を示す図である。
現在表示中の画像は、１つ前の画像品質の状態に戻し、その他の情報も表示可能なものは表示して中断状態を退避保存する（ステップ１５−１）。その後は、ユーザー操作等により新たな画像送信要求が出されるのを待つ。

図１６、図１７、図１８は、それぞれユーザーにより図３に示すような指示が行われた結果をホストに送出する処理を示す図である。
すなわち、図１６では表示領域を送出し（ステップ１６−１）、図１７では、表示順序を送出し（ステップ１７−１）、図１８では画像品質を送出する（ステップ１８−１）。

図１９は、本参考例で利用する複数種類のデータ量を任意のタイミングと任意の領域に限定して取り出すことが可能なデータ圧縮形式の１つを示す図である。
図１９（ａ）はオリジナル画像、（ｂ）は（ａ）のある領域を拡大した様子を示す図、（ｃ）は元の画像のデータ列を示す図、（ｄ）は本発明の画像データ列を示す図、（ｅ）は（ｄ）に示す画像データの一部を拡大したデータの図である。
ここでは、圧縮形式については特定しないものとする。図１９（ａ）に示すオリジナル画像５０は、ｘ方向、ｙ方向に色情報のデータ列として持っている。その拡大した様子を円５１の内に示している。例えば、画像の左上からｘ方向に順に色情報（ＲＧＢやＣＭＹＫ等で表現される）が配列され、それがｘ方向に順に色情報（ＲＧＢやＣＭＹＫ等で表現される）が配列され、それがｘ方向に１ラインずつ構成されている。

そして、それらのラインがｙ方向に順に配列され、結果的に２次元のイメージ（画像）を形成している。例えば、非常に高精細な画像では、解像度の単位で４００ｄｐｉを持ち、Ａ３サイズで表示可能な画像であると、概ね１５０ＭＢ程度の情報量となる。これをそのまま送信することも、また記憶装置等に保持することも、非常に効率が悪い。そこで、通常は種々の圧縮方式が用いられて、サイズを小さくしてから送信または記憶する。良く用いられる方式としては、ＪＰＥＧ、ＭＰＥＧ等がある。
図１９（ｃ）に示すように、これらの圧縮では、元の画像データがデータ列５に示すように、イメージ状態が保存されているのに反して、通常、元のイメードの位置を取り出したり、全体像を簡単に入手することができない。

そこで、一度圧縮状態から解凍して元の画像データの状態に戻してから必要なイメージの部分やサムネイルを作成して入手せざるを得ない。ここで使用する画像圧縮形式は、そのようなものではなく、図１９（ｄ）に示すように、圧縮した結果６０〜６３のような構成を持つものである。
すなわち、本参考例における送信画像データ列では、先ずヘッダー６０には元の画像サイズ色情報の処類や以下の保持する画像の品質や画像の中の位置情報等を格納する。次に、概略画像データ６１には、ある一定の縮尺の全体画像（サムネイル）が格納されており、全体像を見たい場合には、この部分のみを読み込んで解凍すればよい。次に来るものは、やや高画質画像データ６２であって、情報量としては画像データ６１からかなり増加したものである。画像６１，６２を読み込むことにより、やや高画質な画像を読み込むことができる。同様により、高画質画像としての差分データを配列しており、最終の高画質画像データ６３までを読み込むことにより、十分な画像品質を決定することができる。高画質側をカットすることによって画質よりもサイズを優先した圧縮も可能である。さらに、個々の画質データ内においては、図１９（ｅ）に示すように、オリジナル画像をブロック毎に分割された状態で保持しているので、位置情報もヘッダーを読んで書く品質レベル毎に飛び飛びに読み出すことが可能であり、その結果、オリジナル画像の一部分を取り出し、解凍表示することが可能である。
なお、本参考例では、図に示すような圧縮形式に限定されるものではなく、同様に品質や領域を取り出すことが可能な形式であれば、全てに適用可能である。

参考例においては、（１）送信側からの送信内容により、受信側は概略の画像情報を優先的に取得できるので、全体の様子を効率よく把握することが可能となり、また概略画像の品質に満足できない場合には、十分な時間をかけることによりオリジナルの画像の品質を損うことなく、閲覧することも可能となる。
それらの要求を出すタイミングも限定されず、ユーザーからは任意の時刻にホストに対して指示を出すことができる。

また、（２）受信側が画像品質、領域、順序を指定することにより、希望する画像情報を優先的に表示することができるので、ユーザーは効率よく希望する画像を閲覧することが可能になる。
また、（３）送信側は、送信状態の変化を受信側に通知してその後の処理を選択するので、受信側は送信状態に適した画像情報量を要求することができ、できるだけ早く全体像を把握すること、最も早く見たい部分の情報を優先的に受信すること等が可能である。
また、（４）受信側は、いつでも希望する画像品質、画像領域、表示順序を指定できるので、ユーザーの優先要求が変化してもそれに対応することが可能になる。
さらに、（５）送信側は、送信状態の変化に対して受信側の状況により特に指定されることがなくても、予め変化に対応した処理内容を設定しておけば、変化する毎にユーザーが処理内容を指定する煩わしさもなく、受信側は最適な情報取得を行うことが可能となる。

以下、本発明の第１の実施例について説明する。第１の実施例では、受信側の制御により、任意の通信時間や画像品質で画像表示する方法、あるいは画像処理する方法について説明する。
図２０は、第１の実施例を示す通信システムの全体図である。
ＬＡＮあるいは公衆回線等のネットワーク７０を介して、サーバー７２とクライアント７１とが接続されている。サーバー７２とクライアント７１はそれぞれ１個ずつ記載してあるが、いずれも複数個が接続されている。

図２１は、受信側つまりクライアントが受信する画像のデータ構造図である。
受信側は、画像を受信する際に、図２１に示す転送画像データ構造に従って、ヘッダ６０、粗い画像６１、高画質化データ（１）６２ａ、高画質化データ（２）６２ｂ、・・・高画質化データ（ｎ）６３を時系列で逐次受信し、画像表示処理部において画像を再現し、表示手段において順次表示されていく。図２１からも明らかなように、受信側で受信される画像のデータ構造は、図１９（ｄ）に示したように、送信側から送信される画像のデータ構造と同じであって、両者の違いは送信側から見た構造と受信側から見た構造の違いだけである。
ヘッダ６０のデータには、転送画像データ構造のフォーマットの大きさ、画像サイズ、圧縮の形式等が格納されているが、この情報のみによって画像の大きさが選択されるので、実際の寸法でのレイアウト枠の表示が可能である。
続いて受信される粗い画像データ６１により、例えば図２３（ｂ）に示すような線画レベルの粗い画像が表示される。細線比は、例えばフィルタリングして高周波成分のみを抽出した画像情報を展開して得ることができる。

図２２は、受信側端末装置の一例を示す構成図である。
受信側端末装置は、各種の動作を実施する制御部８１（例えば、中央演算処理装置）と、通信手段等の外部装置と接続を行うＩ／Ｆ（インタフェース装置）８２と、ＬＡＮや公衆回線を用いてデータ転送を行う通信手段８３と、図２１に示すようなデータ構造を作成することができる画像表示処理部８４と、トラフィック状態を監視する監視部８５と、キーボードやマウス等のＵ／Ｉ（ユーザー・インタフェース装置）８６と、画像を表示する表示手段８７と、データを保持する記憶媒体８８（例えば、ＨＤＤ）と、プログラムを格納するプログラム格納手段８９（例えば、ＲＯＭ）とを具備している。なお、記憶媒体８８には、後述するトラフィック状態等の条件が定められたクライテリアマップ９０も格納されている。
一方、送出側の装置は図示していないが、少なくとも８１〜８４、および８８の各装置を具備している。

図２３は、図２１に示す画像データ構造を逐次受信して得た画像の図である。
図２１のデータ構造のうち、先ずヘッダ６０を受信した時点では、フォーマットの大きさや画像サイズや圧縮の形式等のテキストデータのみであるため、図２３（ａ）に示すように画像は何も表示されない。次に、粗いデータ６１を受信した時点では、図２３（ｂ）に示すように、線画レベルでの粗い画像が表示される。
次に、高画質化データ（１）６２ａを受信した時点では、図２３（ｃ）に示すような線画に薄い色が付加された画像レベルが表示される。同じように、図２３（ｄ），（ｅ），（ｆ）は、それぞれ高画質化データ（２），（３），（ｎ）を受信した時点での表示画像である。特に、図２３（ｆ）は、全ての画像データを受信して得られた高精細な表示画像となる。

図２４は、本実施例の状態遷移図である。
本実施例では、状態１、状態２、状態３の３状態で動作することを表わしている。状態１から状態２への遷移は、条件Ａ１２を満たした場合に行われ、状態２から状態３への遷移は、条件Ａ２３を満たした場合に実施される。以下、同様にして条件Ｂ３２、条件Ｂ２１を満たした場合に、それぞれ状態３から状態２へ、状態２から状態１への遷移が実施されることになる。

図２５は、クライテリアマップの構成図である。
クライテリアマップは、状態の動作、つまり受信画像の品質と状態遷移の条件を設定した表である。このクライテリアマップは、状態１については、画質Ｑ１を満たすように画像データの受信を行うことを示している。また、その状態で受信すべき画像品質が記述されており、それがＱ１であることを示している。ここで、Ｑ１は１／５と示されているが、この数値は最も粗い画質を示すものとする。例えば、図２１に示す転送画像データ構造において、ヘッダ６０および最初に受信する粗い画像データ６１により再生された画像の品質を表わす。全ての画像データを受信して得られる高精細最大の画質を５／５とし、その中間を２／５〜４／５で規定してある。

状態１にあるときには、画質Ｑ１に達すると、その画像に関してはそれ以上の画像受信を中止して、次の画像受信に移行する。監視部においてトラフィック状態を監視し、Ａ１２という条件に達したときに状態２に遷移する。条件Ａ１２は、所定時間に観測された平均のデータ転送スループットを示すものであり、この実施例では、３，０００ｂｐｓより大きい場合に状態２への遷移を実施することを示している。
状態２は、Ｑ２の画像品質で受信することを示し、状態３への遷移条件Ａ２３は１０，０００ｂｐｓより大きいことを、状態１への遷移条件Ｂ２１は、１，５００ｂｐｓより小さいことを、それぞれ示しているが、学習機能を持たせて状態２における受信画像品質を適宜に変更し得ることを示している。
状態３は、Ｑ３の画像品質で受信することを示し、状態２への遷移条件Ｂ３２は６，０００ｂｐｓより小さいことを示している。

学習機能について説明すると、図２５のクライテリアマップは、状態遷移に伴って状態２における受信画像品質Ｑ２の値を変更するように設定している。状態２から状態１に遷移した場合に、Ｑ２の取り得る範囲（２／５〜４／５）で値を１段階低くし、状態２から状態３に遷移した場合に、同じくＱ２の値を１段高くする。このような措置をとることにより、状態１と状態２とを繰り返し遷移するような場合には、Ｑ２の値は２／５に近づき、状態２と状態３とを繰り返し遷移するような場合では、Ｑ２の値は４／５に近づくが、これはトラフィック状態が悪い場合には粗い画質での受信を優先し、トラフィック状態が良い場合には比較的高画質での受信を優先することを示している。
また、本実施例では、例えば状態１と状態２の間の遷移条件Ａ１２，Ｂ２１は異なる値を持っているが、これは遷移条件にヒステリシスを持たせたことの実施例になっており、勿論、ヒステリシスのない値を設定してもよい。

図２６〜図２８は、本実施例における送信側、受信側および監視部の動作フローチャートである。
図２６では、送信側は、転送しようとする画像情報を、図２１に示すデータ構造で作成する（ステップ２６−１）。次に、回線接続した後（ステップ２６−２）、受信側からのデータ送出要求があると（ステップ２６−３）、画像情報を送信する（ステップ２６−４）、送出中、一定のタイミングもしくはプロトコルの手順中で受信側からの送信の中断、接続の切断、その他の処理要求を受け付ける（ステップ２６−５）。受信側からの画像データ送出中止の要求により、その画像の送信を中止し（ステップ２６−６）、次の画像送信もしくは次の処理に移行する。受信側からの接続切断の要求により、接続を切断する（ステップ２６−７）。

図２７では、受信側は、クライテリアマップを予めデフォルトで定めた値か、もしくは前回の値で設定する（ステップ２７−１）。必要に応じて受信側の操作者がクライテリアマップを再設定する（ステップ２７−２）。次に、回線の接続を行い（ステップ２７−３）、送信側に対してデータ送信要求を出して、画像を含むデータの受信を開始する（ステップ２７−４）。画像プロファイルや画像表示等に必要な最小限のデータを受信する（ステップ２７−５）。クライテリアマップに設定されている現在の状態の最大受信画像サイズ、最大通信時間、解像度等の所定画像品質に達したか否かを判断し（ステップ２７−６）、達したならば、その画像の受信を打ち切り、画像処理をして得られる品質の画像を保存もしくは表示し、送信側にはその画像のデータ送信の中止を要求する（ステップ２７−７）。そして、次の画像のデータ送信要求を行う等、次の処理に遷移する（ステップ２７−８）。トラフィック状態を監視する監視部より、現在の状態から別の状態への遷移条件が発生したことが制御部に通知されると（ステップ２７−９）、遷移後の状態で受信すべき最大受信画像サイズ、最大通信時間、解像度等の所定画像品質をクライテリアマップ等に従って自動または手動で、あるいは学習機能により条件を再設定する（ステップ２７−１０）。引き続きクライテリアマップに従って画像の受信を継続し（ステップ２７−１１）、最後に回線を切断する（ステップ２７−１２）。

次に、図２８では、監視部は、データ転送速度等のトラフィック条件を監視し（ステップ２８−１）、クライテリアマップとの照合を行い（ステップ２８−２）、クライテリアマップにより現在の状態から別の状態への遷移を行うべき条件に達した時点で、その内容を受信側制御部に通知する（ステップ２８−３）。

次に、本発明の第２の実施例について説明する。
前述の参考例や第１の実施例の処理動作をそれぞれプログラムに変換して、それらのプログラムを記憶媒体に格納すれば、その記憶媒体を持参することにより、任意の場所および時刻に、通信システムで本発明を適用することができる。

第１の実施例においては、（１）画像のように情報量の大きなデータを転送する場合に、粗い画像から順次時系列で転送を行うので、受信側で画像の概要を再生表示させるために必要な画像データは全体の一部で済ませることができる。その結果、概要が分かる程度の低画質で画像を処理ないし表示させる場合には、受信すべき画像情報量を小さくすることができるため、トラフィック状態が悪い場合にも画像の受信が容易となる。また、（２）大きな画像を受信する場合にトラフィック状態が悪いと途中で接続が切断され、受信した画像データは全体の一部を表示するか、もしくは表示することができないため、その画像について最初から再受信を行う必要があったが、本実施例では、このような時間的、コスト的な損失を少なくすることができる。また、（３）低画質から高精細への画像を時系列順に伝送するため、受信側が希望する画質に対応するために送出側で画質の異なる複数の画像を用意する必要がなく、かつ必要な精度の画像を受信した後は、受信側でその画像の受信を中断して次の処理もしくは次画像の受信要求に進めば済むので、送受信者間で特別なプロトコルは不要となる。さらに、必要とする画像品質を送信側に問い合わせることなく、受信側で任意にあるいはトラフィック状態に応じて選択できるため、送信側の負荷を減少させることができ、また受信側の機能選択の余地、自由度を大きくすることができる。

さらに、（４）トラフィック状態の監視を行い、所定の基準に照らしてトラフィック状態の悪い場合には低画質での受信状態に、トラフィック状態が回復した場合には、高精細画質での受信状態に遷移するように動作するので、１枚当りの画像の受信を画像品質が異なるものの所定の通信時間内で画像の受信を実施することが可能となる。受信状態の遷移を実施する所定の基準（つまり、クライテリア）には、学習機能を持たせることができるので、ネットワーク等の状態に合わせて最適化を行うことが可能である。

本発明の参考例を示す通信システムの全体構成図である。 図１における各装置内の具体的構成図である。 受信側における画像データ等の情報を閲覧している状態を示す図である。 参考例の送信側の基準動作フローチャートである。 送信状態を監視するサブルーチンのフローチャートである。 送信の一時中断の動作フローチャートである。 画像品質が受信側から指定された場合の処理フローチャートである。 新しい画像領域をセットする場合の処理フローチャートである。 新しい表示順序をセットする場合の処理フローチャートである。 中断処理を行う場合の処理フローチャートである。 受信側の基準処理を示す動作フローチャートである。 設定情報の送出処理で、デフォルトの画像品質、表示領域、表示順序を送信する場合の動作フローチャートである。 ユーザー操作の主な処理を示すフローチャートである。 ホストから送信中断連絡を受けた場合の処理フローチャートである。 ユーザーによりキャンセル処理要求が出された場合の動作フローチャートである。 ユーザーにより表示領域の指示が出された場合の処理フローチャートである。 ユーザーにより表示順序の指示が出された場合の処理フローチャートである。 ユーザーにより画像品質の指示が出された場合の処理フローチャートである。 参考例で利用するデータ圧縮形式の説明図である。 第１の実施例を示す通信システムの全体構成図である。 第１の実施例で受信される画像データのデータ構造図である。 受信端末装置のブロック構成図である。 図２１のデータ構造の画像を順次受信して表示した場合の説明図である。 本実施例の状態遷移図である。 本実施例のクライテリアマップを示す図である。 第１の実施例を示す送信側の基準動作のフローチャートである。 同じく受信側の基準動作のフローチャートである。 同じく監視部における動作フローチャートである。

符号の説明

１…サーバーシステム、２…モデム、３〜５…クライアントシステム、
６…ネットワーク、１１…ＣＰＵ、１２…メモリ、１３…ＨＤＤ、
１４…Ｉ／Ｆ、３０…ブラウザ、３１…表示順序の設定画面、
３２…画像品質の設定画面、３３…ポインタ、３４…画像、
５０…オリジナル画像、５１…拡大した様子、５２…データ列、６０…ヘッダ、
６１…概略画像データ、６２…やや高画質画像データ、
６３…最終の高画質画像データ、６４…画像データの位置を示すブロック、
７１…クライアント、７０…ネットワーク、７２…サーバー、８１…制御部、
８２…Ｉ／Ｆ、８３…通信手段、８４…画像表示処理部、８５…監視部、
８６…Ｕ／Ｉ、８７…表示手段、８８…記憶媒体、８９…プログラム格納手段、
９０…クライテリアマップ。

Claims (7)

1. 画像の概略が判る粗い品質または低品質から順次高品質となるデータ構造を持つ圧縮または非圧縮の画像データで、かつ受信途中でも画像全体の表示が可能な画像データを転送する画像転送方法であって、
   受信側は、トラフィック状態と該トラフィック状態時に受信すべき画像の品質の対応関係を保持するとともに、トラフィック状態の監視を行い、前記対応関係を参照し、前記監視されたトラフィック状態に対応する品質の画像を受信した場合に、その画像のそれ以降の画像の受信を打ち切るようにしたことを特徴とする画像転送方法。
2. 前記受信側は、自装置が希望する画像品質をトラフィック状態に応じて複数段階に設定することを特徴とする請求項１に記載の画像転送方法。
3. 前記受信側は、受信する画像品質の切り替えを行うトラフィック状態等の条件にヒステリシスを持たせたことを特徴とする請求項１または２に記載の画像転送方法。
4. 前記受信側は、受信する画像品質の切り替えを行うトラフィック状態の条件または画像品質に、学習機能を持たせたことを特徴とする請求項１，２または３に記載の画像転送方法。
5. 前記受信側は、自装置が希望する画像品質を変更可能にしたことを特徴とする請求項１〜４のいずれかに記載の画像転送方法。
6. 前記受信側は、受信した画像が、自装置が希望する画像品質に達していない場合、処理の空き時間を利用して、自装置が希望する画像品質に達するまで画像情報の再受信を継続することを特徴とする請求項１〜５のいずれかに記載の画像転送方法。
7. 請求項１〜６のいずれかに記載の画像転送方法における各処理を実行するプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。

Images