JP3988094B2 - Image transfer method and program storage recording medium - Google Patents
Image transfer method and program storage recording medium Download PDFInfo
- Publication number
- JP3988094B2 JP3988094B2 JP29989897A JP29989897A JP3988094B2 JP 3988094 B2 JP3988094 B2 JP 3988094B2 JP 29989897 A JP29989897 A JP 29989897A JP 29989897 A JP29989897 A JP 29989897A JP 3988094 B2 JP3988094 B2 JP 3988094B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- transmission
- quality
- data
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Information Transfer Between Computers (AREA)
- Computer And Data Communications (AREA)
- Facsimiles In General (AREA)
- Facsimile Transmission Control (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、遠隔地からの画像表示要求に対して送信側または受信側の制御により効率よく画像データを送受信し、希望する品質、表示時間等で画面表示することが可能な画像転送方法およびそのプログラムを格納した記録媒体に関する。
【０００２】
【従来の技術】
インターネットは、Ｗｅｂサーバで情報を集中管理して、不特定多数の端末に搭載されたＷｅｂブラウザから情報の閲覧等を行っている。その場合に、ブラウザを利用してネットワーク上の機器を監視したり、制御する方法が要求されている。また、不特定多数の人が遠隔地にある画像を各々が希望する品質および表示時間で鑑賞できるような方法も要求されている。
しかし、インターネットにおけるブラウザを用いて画像を表示する場合、表示側の性能や公衆回線等の伝送経路上の制約により、高品質な画像を表示する際には全てのデータを送出するために長時間待たされてしまうことがあった。
それらの制約から、送出するデータ量を少なくし、つまり画像品質を低下させて送信することが一般的に試みられているが、それでは逆に品質の高い画像を希望する利用者にとっては不満が生じてしまう。
【０００３】
また、受信側においては、一般に送信側が設定した画像の全データを受信した後、画像処理を行って画面に表示するため、トラフィック状態が悪い場合や、モデム等の通信手段の性能が低い場合には、必要とする画像表示に時間を要してしまう。特に画像が多数存在する場合には、受信者が必要とする画像を得るまでに長時間待たされてしまうことがあり、回線を切断する必要にせまられることも多かった。受信側が希望する画像を早急に入手するためには、受信側が画像を選択する前に、予め送信側とネゴシェーションしなければならない。
一方、トラフィック状態が悪い場合には、画像品質の低い画像やサイズの小さい画像に切り替えて転送する方法があるが、送信側で画質やサイズの異なる複数の画像情報を保持しなければならず、さらに画像の切り替えに際して、受信者側との間でプロトコルが必要となる。
【０００４】
【発明が解決しようとする課題】
このように、（１）表示時間を優先して品質は悪くても短時間で表示して欲しいという利用者と、画像品質を優先して少々時間がかかっても高品質で表示して欲しいという利用者とが同時に存在するため、利用者の希望毎に効率よく送信して表示することは不可能であった。
また、（２）画像のように情報量の大きなデータを転送する場合、トラフィック状態が悪いと、転送に時間がかかるため、受信者ないし送受信者双方にとり転送コストが増大し、データエラーが発生し易くなり、受信した画像の品質に影響する。このような場合には、受信途中で接続が打ち切られることもあった。この場合、画像は再現されないか、あるいは全体の一部の画像が表示されるだけであり、全体の概略を表示させる等の方法は不可能であった。
また、（３）トラフィック状態の善悪にかかわらず、送信側で用意した画像データを受信側は全て受信する必要があるため、トラフィックの悪い場合に受信側で画像の品質や解像度を落として画像を受信し、次の画像受信を要求する等の方法は不可能であった。
【０００５】
また、（４）受信側が希望する精度や解像度等の画像品質は、送信者との間でネゴシェーションする必要があり、従来では、送信側が設定した画像品質より低い品質の画像を受信する場合であっても、これを容易に変更することはできなかった。
また、（５）トラフィック状態が悪い場合には、画像品質の低い画像あるいはサイズの小さい画像に切り替えて転送する方法があるが、このためには送信側で品質やサイズの異なる複数の画像情報を保持する必要があり、さらに画像の切り替えに際しては受信者側との間のプロトコルが必要になる。
さらに、（６）受信者で設定する転送時間、あるいは受信データサイズに達した時点で、その画像の受信を打ち切ると、画像は再現されないか、あるいは全体の一部の画像が表示されるだけであり、解像度を落として全体を表示させる等の方法は不可能であった。可能にするためには、送信者側との間で転送する画像の再変換を行う等の必要があり、手間がかかっていた。
【０００６】
そこで、本発明の第１の目的は、これら従来の課題を解決し、表示時間を優先して品質は悪くても短時間で表示して欲しい利用者の要求と、画像品質を優先して少々時間がかかっても高品質で表示して欲しい利用者の要求とを同一の画像データと同一の処理方法で満たすことが可能な画像転送方法およびその記録媒体を提供することにある。
また、本発明の第２の目的は、同一の画像において、送信先または送信元の希望毎に必要な領域を効率よく画面表示することが可能な画像転送方法を提供することにある。
また、本発明の第３の目的は、トラフィック状態が悪い場合、受信側で画像の概要が判かる程度の低画質で画像を処理ないし表示させるために必要な画像データを全体の一部で済ませて、受信すべき画像情報量を小さくできる画像転送方法およびその記録媒体を提供することにある。
また、本発明の第４の目的は、トラフィック状態が悪い場合、大きな画像を受信するときには、最初から再受信を実施することにして、時間的、コスト的な損失を少なくすることができる画像転送方法を提供することにある。
また、本発明の第５の目的は、送信側で画質の異なる複数の画像を用意する必要がなく、かつ送受信者間で特別なプロトコルを必要とせず、かつ必要な画像品質を送信側に問い合わせることなく、受信側で任意にあるいはトラフィック状態に応じて選択でき、送信側の負荷を減少させるとともに、受信側の機能選択の余地と自由度を大きくすることが可能な画像転送方法を提供することにある。
さらに、本発明の第６の目的は、トラフィック状態の監視を行って、トラフィック状態によって画像受信の画質に切り替えることができ、かつ受信状態の遷移を実施する基準には学習機能を持たせることが可能な画像転送方法を提供することにある。
【０００７】
【課題を解決するための手段】
上記目的を達成するため、本発明の画像転送方法では、（１）送信側は、複数種類のデータ量を任意のタイミングと任意の領域に限定して取り出すことが可能な画像圧縮形式で圧縮された画像データから、最初にデータ量を限定した品質の低い画像を取り出し、受信側で解凍可能な圧縮形式に変換した後、その画像の位置情報および表示順序を含む表示タイミング情報とともに送信し、次に品質のよい画像を表示するための情報を送信し、順次、より多くのデータが必要な画像データを送信する。
（２）送信側は、画像データを送信する際に、受信側に対して表示品質と表示領域と表示順序とを問い合わせて、受信側からの情報を入手した後、受信側で解凍可能な圧縮形式に変換した画像データから表示すべき画像を取り出して送信する。
（３）送信側は、画像データを送信する際に、データの送信状況を監視し、一定以上の遅延が生じた際にはデータの送信を一時中断し、受信側へ次の処理を問い合わせ、受信側からの処理指定を待ってから、データの品質と領域を再設定して送信を開始する。
（４）送信側は、受信側からの表示品質と表示領域と表示順序に関する情報を問い合わせる前に入手した場合には、即座に受信側で解凍可能な圧縮形式に変換した画像データから表示すべき画像を取り出し、送信する。
（５）送信側は、画像データを送信する際にデータの送信状況を監視し、一定以上遅延が生じた際にはデータの送信を一時中断し、データの送信状況にかかわらず予め受信側への次の処理を問い合わせておき、中断中における受信側からの処理指定がない場合には、予め指定されていたデータの品質と領域を再設定して、送信を開始する。
【０００８】
一方、（６）受信側は、粗い品質または低画質から順次高精細となるデータ構造を持つ圧縮または非圧縮の画像データを受信し、受信途中で画像全体の表示が可能であり、かつ受信時にトラフィック状態の監視を行い、トラフィック状態が悪い場合には、粗い画像品質の画像処理に必要なデータ受信のみを行って、順次、次の画像受信に移行し、トラフィック状態が良い場合もしくは良い状態に回復した場合には、高精細な画像処理に必要なデータまでを受信するように、自動または手動で切り替える。
（７）受信側は、受信側が希望する画像品質をトラフィック状態に応じて複数段階設定する。
（８）受信側は、受信する画像品質の切り替えを行うトラフィック状態等の条件にヒステリシスを持たせる。
（９）受信側は、受信する画像品質の切り替えを行うトラフィック状態等の条件および／または画像品質に学習機能を持たせる。
（１０）受信側は、画像データの転送途中で、受信側が希望する画像品質を変更可能とする。
（１１）受信側は、トラフィック状態が悪い場合に低画質で受信した画像を、受信側の処理の空き時間を利用して、受信側が希望する画像品質に達するまで自動で画像情報の再受信を継続する。
【０００９】
【発明の実施の形態】
以下、本発明の動作原理および実施例を、図面により詳細に説明する。
（動作原理）
（第１の実施例）
（１）送信側では、・複数種類のデータ量を任意のタイミングと任意の領域に限定して取り出すことが可能な画像圧縮形式で画像を圧縮しておく。
・受信側から画像送信要求が来るのを待つ。
・画像送信要求が来たならば、画像品質と画像中の表示領域と表示順序を受信側に問い合わせる。
・回線状態の悪化による送信一時中断処理後の処理も問い合わせておく。
・送信の際には、先ずシステムで決定した最も低い品質レベル（最もデータ量の少なくて済む）の画像を表示するのに必要なデータを圧縮画像データ中から取り出して送信する。
・次に、その品質レベルおよび領域の画像データの送信が終了すると、２番目に低い品質レベルまたは次の領域の画像を表示するのに必要なデータを送信する。
・以下、やや高精細な品質レベルの画像を表示するのに必要なデータを送信する。
・送信中のデータ量を監視する。
・画像品質、画像領域および表示順序の問い合わせに対する返事が来ると、現在の送信データを見て、既に送信し終っていればそこで終了し、次の処理を開始する。終っていなければ、送り終るまで送信を継続する。
・一定時間当りの送信データ量がしきい値より少なくなったならば、送信を一時中断する。
・一時中断中は、停止状態である旨を受信側に送信する。停止状態の解除には３種類あり、これらは受信側へ問い合わせてその返事により処理を変える。また、予め指示されていれば、その指示に従う。
（ａ）受信側による処理の停止（キャンセル）。
（ｂ）送信データの品質、位置、順序を指定して継続する。
（ｃ）伝送状態の好転によりしきい値レベル以上のデータ量を送信することが可能になったならば、処理を再開する。それまでは中断状態を継続する。
・送信データの種類、位置情報を受信側から得ると、指定されたデータを優先して送信を再開、継続する。
【００１０】
（２）受信側では、・ブラウザを使用してホストシステム（送信側）に接続する。
・ブラウザ側の持つ機能（本発明で使用する圧縮形式のサポートやクライアントマシンの性能、ブラウザの種類等）を送信側に送り、通信可能な状態を確保する。
・ブラウザ側が予め設定状態を送信する設定になっている場合には、デフォルトの画像品質、画像の表示領域、表示順序を送信しておく。
・画像送信要求を接続した送信側に送る。
・送られてきた画像を指定された場所に展開表示する。
・画像データの受信および展開表示を行う一方、ユーザーからの操作、入力待ち状態とする。
・ユーザーがキャンセル要求を出した場合には、送信側に対して画像送信の停止要求を送る。
・ユーザーが表示領域の指定をした場合には、現在表示している領域と異なるとき、送信側に対して現在送信中の画像の送信停止要求を出すとともに、新たなユーザーが指定した領域の画像の送信要求を出す。
・表示順序の指定状態でユーザーが表示順序の変更をした場合には、送信側に対して表示順序変更要求を出す。
・送信側から送信の一時中断を連絡してきた場合、その後の処理を送信していないとき、そのまま中断するか、または画像品質、画像領域、表示順序を連絡して送信再開まで待つ。
・送信が再開されると、それまでの画像データがキャンセルされているか否かを確認して受信処理を再開する。
【００１１】
（第２の実施例）
（１）送信側では、・転送しようとする画像情報を粗い品質または低画質から順次高精細となるデータ構造を持つ圧縮または非圧縮の画像データを作成する。
・回線接続後、受信側からのデータ送出要求により画像情報を送出し、送信中、一定のタイミングもしくはプロトコルの手順中で受信側からの送信の中断（スキップ）、接続の切断、その他の処理要求を受け付ける。
・受信側からの画像データ送信中止の要求により、その画像の送信を中止し、次の画像送信もしくは次の処理に移行する。
・受信側からの接続切断の要求により、接続を切断する。
【００１２】
（２）受信側では、・受信する画像の品質や１画像当りの最大通信時間等の画像データの受信条件を定めた１つの状態と、他の条件で受信を行う別の１つ以上の状態とがあり、ある状態から他の状態へ遷移するためのトラフィック状態等の条件とが定められたクライテリアマップを、予めデフォルトで定めた値もしくは前回の値で設定する。
・必要に応じて受信側の操作者は、クライテリアマップを再設定する。
・送信側に、データ送信要求を出して画像を含むデータの受信を開始する。
・画像プロファイルや画像表示等に必要な最小限のデータを受信する。
・クライテリアマップに設定されている現在の状態における最大受信画像サイズ、最大通信時間、解像度等の所定画像品質に達した時点で、その画像の受信を打ち切り、画像処理を行って得られる品質の画像を保存もしくは表示し、送信側にはその画像のデータ送信の中止を要求して次の画像のデータ送信要求を行う等、次の処理に移行する。
・トラフィック状態を監視する監視部より、現在の状態から別の状態への遷移条件が発生したことが制御部に通知される。
・遷移後の状態で受信すべき最大受信画像サイズ、最大受信時間、解像度等の所定画像品質をクライテリアマップ等に従って自動ないし手動で、あるいは学習機能によりクライテリアマップの条件を再設定する。
・引き続き、クライテリアマップに従って画像の受信を継続し、最後に回線を切断する。
（３）監視部では、・データ転送速度等のトラフィック条件を監視し、クライテリアマップとの照合を行う。
・クライテリアマップにより現在の状態から別の状態への遷移を行うべき条件に達した場合、その内容を受信側制御部に通知する。
【００１３】
図１は、本発明の第１の実施例を示すシステム全体の概略構成図である。
このシステムは、グローバルなネットワークシステム上に画像等のディジタル情報を供給可能なサーバーシステム１と、供給される情報をネットワーク６を経由して必要な情報のみを選択することにより、受信可能なクライアントシステム３，４，５とから構成される。第１の実施例では、サーバー１等の送信側の制御により、受信側の各要求に応じた画像を送信する方法であって、この方法は、サーバー１およびクライアントシステム３〜５において処理を行わせるソフトウェアとして搭載される。
図２は、図１における具体的構成図である。
ＰＣ（パーソナルコンピュータ）１はサーバー１側であれば、画像データを圧縮したり解凍することができる中央演算処理装置１１と、演算に必要なデータを一時的に保持し得る高速な記憶媒体のメモリ１２と、画像データや長期に渡って保存しておきたいデータを保持するための外部記憶媒体である、いわゆるＨＤＤ（ハードディスク装置）１３と、外部装置との通信やデータの送受信が可能なＩ／Ｆ（インタフェース装置）１４とを備えている。ただし、クライアントシステム側では、これらは特に必要ではない。一方、Ｉ／Ｆ１４には、適合するハードウェアやプロトコルに合わせてＬＡＮや公衆回線等の伝送経路６との接続を行うモデム２が接続されている。これにより、個々の装置間を接続するために外部装置との通信やデータの送受信が可能となる。公衆回線６上には、同様にして他のＰＣ（クライアント）３〜５等が複数接続されており、互いに必要に応じて情報のやり取りを行う。
【００１４】
図３は、受信側（クライアント）において、送られてきた画像データ等の情報を閲覧している状態を示す図である。
図３（ａ）は、ブラウザ側における画像品質の指定を行う場合の図であり、図３（ｂ）は、ブラウザ側における表示領域の指定を行う場合の図である。
サーバーとの接続が行われ、情報送信の要求を出してインターネット等で広く使用されている閲覧ソフトである、いわゆるブラウザ３０が表示され、画面上には送られてきた画像「ｉｍａｇｅ１」〜「ｉｍａｇｅ３」が表示されている。
勿論、図示されていないが、画像のみならずテキストや音声等の情報も送られており、画面上に表示されたり、同時に再生等が行われる。ここで、表示順序の設定画面３１を開くと、送信側（サーバーすなわちホスト）で決定された表示順序が表示され、現在表示中の画像等が分かる。この状態において、例えばマウス等によるポインタ３３により任意の画像を選択し、いわゆるドラッグ＆ドロップ等の操作を行って表示画像のリスト上の位置を変えると、その情報は送信側に送られる。
【００１５】
また、選択した画像毎に画像設定画面３２を開くことができる。画像設定画面３２では、それぞれの画像について、複数の画像品質を選択したり、表示領域のデフォルト設定を変えることができる。
また、直接画像を指定することにより、表示領域を指示することも可能である。
同様に、図３（ｂ）のように、ブラウザ画面３０に表示された画像３４の特定の領域をマウスポインタ３３でクリックすると、通常４分割程度に領域が分けられ、指示したポイントを含む領域がその画像の中で最優先に表示され、高画質化される。分割位置と個数は限定されるものではなく、ホスト側における圧縮率との兼ね合いで決定される。画像毎に画像品質が指定されているので、その指定された画像品質になるまで表示処理が行われる。
【００１６】
図４〜図１８は、送信側（サーバーすなわちホスト）と受信側（クライアント）の各処理を示すフローチャートであって、図４〜図１０は送信側の処理であり、図１１〜図１８は受信側の処理である。
図４では、先ず初期化されて動作可能な状態になり（ステップ４−１）、複数種類のデータ量を任意のタイミングと任意の領域に限定して、取り出すことが可能な後述のデータ圧縮形式で画像を圧縮する（ステップ４−２）。次に、受信側からの画像送信要求が来るのを待つ（ステップ４−３）。ネットワーク上に接続されている不特定のクライアントから画像送信要求が来ると、送信する画像に関する情報を送り、それぞれの画像についての画像品質、表示領域、表示順序を送信要求元に問い合わせる（ステップ４−４）。その結果は、デフォルトの処理として、その後に適用される。また、同時に送信一時中断処理後の処理をどのようにするかも問い合わせる（ステップ４−５）。
【００１７】
次に、要求されている必要な画像データを記憶装置から取り出して、圧縮形式を受信側がサポートしていればそのまま、非サポートであれば解凍可能な形式に最もデータ量が少ない画像品質分の画像データを再圧縮して送信を開始する（ステップ４−６）。その後は、サブルーチン（ステップ４−７）で送信状態を監視しながら、画像送信が終了したか否かをチェックしながら送信を継続する（ステップ４−８）。１画像の送信が終了すると、次の送信データの準備を行う（ステップ４−９）。１頁分の送信が終了したか否かをチェックし（ステップ４−１０）、終了していなければ、繰り返し画像データの送信を継続する（ステップ４−６に戻る）。１頁分が終われば、同様に次の頁の送信データを準備し（ステップ４−１１）、送信したい全てのデータ送信が終了したか否かを確認し（ステップ４−１２）、終了していれば、次の画像送信要求が来るまで待つ（ステップ４−３）。
【００１８】
図５は、送信状態を監視するサブルーチンを示す図である。
画像データ等大量のデータを送信していると、回線の状態によっては、極端に送信レートが低下して１つの画像データを送信し終えるのに非常に長い時間がかかることがある。従って、絶えず伝送経路上の状態を監視し、しきい値以下になったならば一度送信を中断し、受信側の指示を仰ぐようにする。監視方法は、フロー状態のレートを見てもよく、問合わせに対するレスポンスまでの経過時間を見てもよい。
先ず、伝送状態がしきい値以下になったか否かをチェックする（ステップ５−１）。次に、受信側から画像品質の指定がされたか否かをチェックする（ステップ５−２）。同様に、表示領域の指定が行われたか否か（ステップ５−３）、また表示順序の指定が行われたか否かをそれぞれチェックする（ステップ５−４）。さらに、受信側の都合により、送信の中断要求が送られたか否かもチェックする（ステップ５−５）。このような監視、チェックを先に取り出して、送出を開始したデータの送出が終了するまで継続して行う（ステップ５−６）。
【００１９】
図６は、送信状態を監視していた結果、送信状態がしきい値以下になった場合の処理の図である。
先ず、送信を一時中断する（ステップ６−１）。次に、受信側には、現在送信を中断している旨を連絡する（ステップ６−２）。そして、受信側からの画像品質の指定、表示領域の指定、表示順序の指定が来るのを待つ（ステップ６−３，６−４，６−５）。また、受信側から中断要求が来たか否かもチェックする（ステップ６−６）。これらの処理は、再び送信状態がしきい値以上に復活するまで継続して行われる（ステップ６−７）。
図７は、画像品質が受信側から指定された場合の処理の図である。
デフォルトもしくは現在指定されている画像品質と同じであれば、送信状態の監視に戻る（ステップ７−１）（（６）を経由して図５のステップ５−１に）。もし、指定されている画像品質と異なっていれば、新たに画像品質をセットし直して、次のデータの送信を開始する（ステップ７−２）。
通常は、最も画像品質の低いデータ、例えばサムネイル画像から送出を開始し、送定された画像品質になるまで順に元の圧縮画像データから取り出して送信していく。指定品質が現在送出している品質より高い場合には、送信を継続して行い、もし低い場合には、そこで送信を終了して次の画像の送信を行う。
【００２０】
図８および図９は、それぞれ新しい画像領域、および表示順序をセットする処理の図である。
次の指定が現在指定領域でよければ（ステップ８−１）、（６）を経由して図５のステップ５−１に分岐し、現在の指定領域にしない場合には、次の画像領域にセットする（ステップ８−２）。画像領域の指定では、指定された領域が先に指定されている画像品質に達するのを、その画像データの送出では最優先となる。
表示順序では、既に送出された画像は順序に関係なく、新たに送出することはしない。指定された表示順序は、未だ送出していない画像に適用される（ステップ９−１）。現在指定の順序であれば、（６）を経由して図５のステップ５−１に分岐する（ステップ９−２）。
図１０は、受信側から中断要求が来た場合の処理の図である。
現在送信している画像の送出を止めて、送信途中であるフラグを立てておく（ステップ１０−１）。そして、新たに送信要求が来るのを待つ。送信要求が該当画像の場合には、中断した状態から再開できるようにしておく。
【００２１】
図１１〜図１８は、受信側の処理を示す図である。
図１１において、先ず受信側における初期化が行われ（ステップ１１−１）、ユザーからの接続要求操作が行われるまで待つ。接続要求操作が行われると（ステップ１１−２）、指定のホストへの接続処理を行う（ステップ１１−３）。なお、接続方法は図示していないが、従来の方法で行われる。接続処理が終了すると、ホストに知らせておく情報を送出する（ステップ１１−４）。これは、例えばクライアントのハード構成やパフォーマンス、圧縮形式のサポートや閲覧するためのブラウザの種類等である。次に、表示するための設定情報を送出することになっていれば、送出する（ステップ１１−５）。これは必須ではなく、ブラウザ側の設定で決定される。
【００２２】
この後は、ユーザーによる操作もしくはブラウザのデフォルト設定等により、画像の送信要求を出す（ステップ１１−６）。ホストからは、要求した画像を送信してくるので、送られてきた画像の受信処理と、送定場所への展開表示を行う（ステップ１１−７）。受信処理と画像表示処理を行うと同時に、ユーザー操作も受け付ける（ステップ１１−８）。また、ホストからは、画像等の情報の他に、制御に必要な情報も送られてくるので、送信中断の連絡があったか否かをチェックする（ステップ１１−９）。送信中断の連絡があれば、図１４に分岐する。なければ、最初に要求した情報が全て受信できたか否かをチェックし（ステップ１１−１０）、未だ全て受信し終っていなければ、送られてくるデータを表示する処理に戻る（ステップス１１−７）。終了していれば、通信終了要求がユーザーから出ているか否かをチェックして、出ていればステップ１１−２に戻る。また、出ていなければ、ステップ１１−４に戻る。
【００２３】
図１２は、設定情報の送出処理であって、デフォルトの画像品質、表示領域、表示順序を送る処理の図である。
先ずデフォルトの画像品質を送出し（ステップ１２−１）、次にデフォルトの表示領域を送出し（ステップ１２−２）、最後にデフォルトの表示順序を送出する（ステップ１２−３）。
図１３は、ユーザー操作の主な処理を示す図である。
先ずユーザーによるキャンセル要求があるか否かをチェックし（ステップ１３−１）、図３に示すような表示領域、表示順序、画像品質の指定があるか否かをチェックする（ステップ１３−２、１３−３、１３−４）。また、図示しないが、その他のＧＵＩ操作に関する処理もここで行われる（ステップ１３−５）。
【００２４】
図１４は、ホストから送信中断連絡を受けた場合の処理を示す図である。
先ず、受信処理を中断している旨を表示して、ユーザーに示す（ステップ１４−１）。次に、図１３に示すユーザー操作の受け付けを行い（ステップ１４−２）、ホストからの送信再開連絡がきたか否かをチェックする（ステップ１４−３）。
図１５は、ユーザーによりキャンセル処理要求が出た場合の処理を示す図である。
現在表示途中の画像は、１つ前の画像品質の状態に戻し、その他の情報も表示可能なものは表示して中断状態を退避保存する（ステップ１５−１）。その後は、ユーザー操作等により新たな画像送信要求が出されるのを待つ。
図１６、図１７、図１８は、それぞれユーザーにより図３に示すような指示が行われた結果をホストに送出する処理を示す図である。
すなわち、図１６では表示領域を送出し（ステップ１６−１）、図１７では、表示順序を送出し（ステップ１７−１）、図１８では画像品質を送出する（ステップ１８−１）。
【００２５】
図１９は、本発明で利用する複数種類のデータ量を任意のタイミングと任意の領域に限定して取り出すことが可能なデータ圧縮形式の１つを示す図である。
図１９（ａ）はオリジナル画像、（ｂ）は（ａ）のある領域を拡大した様子を示す図、（ｃ）は元の画像のデータ列を示す図、（ｄ）は本発明の画像データ列を示す図、（ｅ）は（ｄ）に示す画像データの一部を拡大したデータの図である。
ここでは、圧縮形式については特定しないものとする。図１９（ａ）に示すオリジナル画像５０は、ｘ方向、ｙ方向に色情報のデータ列として持っている。その拡大した様子を円５１の内に示している。例えば、画像の左上からｘ方向に順に色情報（ＲＧＢやＣＭＹＫ等で表現される）が配列され、それがｘ方向に１ラインずつ構成されている。そして、それらのラインがｙ方向に順に配列され、結果的に２次元のイメージ（画像）を形成している。例えば、非常に高精細な画像では、解像度の単位で４００ｄｐｉを持ち、Ａ３サイズで表示可能な画像であると、概ね１５０ＭＢ程度の情報量となる。これをそのまま送信することも、また記憶装置等に保持することも、非常に効率が悪い。そこで、通常は種々の圧縮方式が用いられて、サイズを小さくしてから送信または記憶する。良く用いられる方式としては、ＪＰＥＧ、ＭＰＥＧ等がある。
図１９（ｃ）に示すように、これらの圧縮では、元の画像データがデータ列５２に示すように、イメージ状態が保存されているのに反して、通常、元のイメージの位置を取り出したり、全体像を簡単に入手することができない。
【００２６】
そこで、一度圧縮状態から解凍して元の画像データの状態に戻してから必要なイメージの部分やサムネイルを作成して入手せざるを得ない。ここで使用する画像圧縮形式は、そのようなものではなく、図１９（ｄ）に示すように、圧縮した結果６０〜６３のような構成を持つものである。
すなわち、本発明における送信画像データ列では、先ずヘッダー６０には元の画像のサイズ色情報の種類や以下の保持する画像の品質や画像の中の位置情報等を格納する。次に、概略画像データ６１には、ある一定の縮尺の全体画像（サムネイル）が格納されており、全体像を見たい場合には、この部分のみを読み込んで解凍すればよい。次に来るものは、やや高画質画像データ６２であって、情報量としては画像データ６１からかなり増加したものである。画像６１，６２を読み込むことにより、やや高画質な画像を読み込むことができる。同様により、高画質画像としての差分データを配列しており、最終の高画質画像データ６３までを読み込むことにより、十分な画像品質を決定することができる。高画質画側をカットすることによって画質よりもサイズを優先した圧縮も可能である。さらに、
個々の画質データ内においては、図１９（ｅ）に示すように、オリジナル画像をブロック毎に分割された状態で保持しているので、位置情報もヘッダーを読んで各品質レベル毎に飛び飛びに読み出すことが可能であり、その結果、オリジナル画像の一部分を取り出し、解凍表示することが可能である。
なお、本発明では、図に示すような圧縮形式に限定されるものではなく、同様に品質や領域を取り出すことが可能な形式であれば、全てに適用可能である。
【００２７】
第１の実施例においては、（１）送信側からの送信内容により、受信側は概略の画像情報を優先的に取得できるので、全体の様子を効率よく把握することが可能となり、また概略画像の品質に満足できない場合には、十分な時間をかけることによりオリジナルの画像の品質を損うことなく、閲覧することも可能となる。それらの要求を出すタイミングも限定されず、ユーザーからは任意の時刻にホストに対して指示を出することができる。
また、（２）受信側が画像品質、領域、順序を指定することにより、希望する画像情報を優先的に表示することができるので、ユーザーは効率よく希望する画像を閲覧することが可能になる。
また、（３）送信側は、送信状態の変化を受信側に通知してその後の処理を選択するので、受信側は送信状態に適した画像情報量を要求することができ、できるだけ早く全体像を把握すること、最も早く見たい部分の情報を優先的に受信すること等が可能となる。
また、（４）受信側は、いつでも希望する画像品質、画像領域、表示順序を指定できるので、ユーザーの優先要求が変化してもそれに対応することが可能になる。
さらに、（５）送信側は、送信状態の変化に対して受信側の状況により特に指定されることがなくても、予め変化に対応した処理内容を設定しておけば、変化する毎にユーザーが処理内容を指定する煩わしさもなく、受信側は最適な情報取得を行うことが可能となる。
【００２８】
以下、本発明の第２の実施例について説明する。第２の実施例では、受信側の制御により、任意の通信時間や画像品質で画像表示する方法、あるいは画像処理する方法について説明する。
図２０は、第２の実施例を示す通信システムの全体図である。
ＬＡＮあるいは公衆回線等のネットワーク７０を介して、サーバー７２とクライアント７１とが接続されている。サーバー７２とクライアント７１はそれぞれ１個ずつ記載してあるが、いずれも複数個が接続されている。
【００２９】
図２１は、受信側つまりクライアントが受信する画像のデータ構造図である。
受信側は、画像を受信する際に、図２１に示す転送画像データ構造に従って、ヘッダ６０、粗い画像６１、高画質化データ（１）６２ａ、高画質化データ（２）６２ｂ、・・・高画質化データ（ｎ）６３を時系列で逐次受信し、画像表示処理部において画像を再現し、表示手段において順次表示されていく。図２１からも明らかなように、受信側で受信される画像のデータ構造は、図１９（ｄ）に示したように、送信側から送信される画像のデータ構造と同じであって、両者の違いは送信側から見た構造と受信側から見た構造の違いだけである。
ヘッダ６０のデータには、転送画像データ構造のフォーマットの大きさ、画像サイズ、圧縮の形式等が格納されているが、この情報のみによって画像の大きさが選択されるので、実際の寸法でのレイアウト枠の表示が可能である。
続いて受信される粗い画像データ６１により、例えば図２３（ｂ）に示すような線画レベルの粗い画像が表示される。細線化は、例えばフィルタリングして高周波成分のみを抽出した画像情報を展開して得ることができる。
【００３０】
図２２は、受信側端末装置の一例を示す構成図である。
受信側端末装置は、各種の動作を実施する制御部８１（例えば、中央演算処理装置）と、通信手段等の外部装置と接続を行うＩ／Ｆ（インタフェース装置）８２と、ＬＡＮや公衆回線を用いてデータ転送を行う通信手段８３と、図２１に示すようなデータ構造を作成することができる画像表示処理部８４と、トラフィック状態を監視する監視部８５と、キーボードやマウス等のＵ／Ｉ（ユーザー・インタフェース装置）８６と、画像を表示する表示手段８７と、データを保持する記憶媒体８８（例えば、ＨＤＤ）と、プログラムを格納するプログラム格納手段８９（例えば、ＲＯＭ）とを具備している。なお、記憶媒体８８には、後述するトラフィック状態等の条件が定められたクライテリアマップ９０も格納されている。
一方、送出側の装置は図示していないが、少なくとも８１〜８４、および８８の各装置を具備している。
【００３１】
図２３は、図２１に示す画像データ構造を逐次受信して得た画像の図である。
図２１のデータ構造のうち、先ずヘッダ６０を受信した時点では、フォーマットの大きさや画像サイズや圧縮の形式等のテキストデータのみであるため、図２３（ａ）に示すように画像は何も表示されない。次に、粗いデータ６１を受信した時点では、図２３（ｂ）に示すような線画レベルでの粗い画像が表示される。次に、高画質化データ（１）６２ａを受信した時点では、図２３（ｃ）に示すような線画に薄い色が付加された画像レベルが表示される。同じように、図２３（ｄ），（ｅ），（ｆ）は、それぞれ高画質化データ（２），（３），（ｎ）を受信した時点での表示画像である。特に、図２３（ｆ）は、全ての画像データを受信して得られた高精細な表示画像となる。
【００３２】
図２４は、本実施例の状態遷移図である。
本実施例では、状態１、状態２、状態３の３状態で動作することを表わしている。状態１から状態２への遷移は、条件Ａ１２を満たした場合に行われ、状態２から状態３への遷移は、条件Ａ２３を満たした場合に実施される。以下、同様にして条件Ｂ３２、条件Ｂ２１を満たした場合に、それぞれ状態３から状態２へ、状態２から状態１への遷移が実施されることになる。
【００３３】
図２５は、クライテリアマップの構成図である。
クライテリアマップは、状態の動作、つまり受信画像の品質と状態遷移の条件を設定した表である。このクライテリアマップは、状態１については、画質Ｑ１を満たすように画像データの受信を行うことを示している。また、その状態で受信すべき画像品質が記述されており、それがＱ１であることを示している。ここで、Ｑ１は１／５と示されているが、この数値は最も粗い画質を示すものとする。例えば、図２１に示す転送画像データ構造において、ヘッダ６０および最初に受信する粗い画像データ６１により再生された画像の品質を表わす。全ての画像データを受信して得られる高精細最大の画質を５／５とし、その中間を２／５〜４／５で規定してある。
状態１にあるときには、画質Ｑ１に達すると、その画像に関してはそれ以上の画像受信を中止して、次の画像受信に移行する。監視部においてトラフィック状態を監視し、Ａ１２という条件に達したときに状態２に遷移する。条件Ａ１２は、所定時間に観測された平均のデータ転送スループットを示すものであり、この実施例では、３，０００ｂｐｓより大きい場合に状態２への遷移を実施することを示している。
状態２は、Ｑ２の画像品質で受信することを示し、状態３への遷移条件Ａ２３は１０，０００ｂｐｓより大きいことを、状態１への遷移条件Ｂ２１は１，５００ｂｐｓより小さいことを、それぞれ示しているが、学習機能を持たせて状態２における受信画像品質を適宜に変更し得ることを示している。
状態３は、Ｑ３の画像品質で受信することを示し、状態２への遷移条件Ｂ３２は６，０００ｂｐｓより小さいことを示している。
【００３４】
学習機能について説明すると、図２５のクライテリアマップは、状態遷移に伴って状態２における受信画像品質Ｑ２の値を変更するように設定している。状態２から状態１に遷移した場合に、Ｑ２の取り得る値の範囲（２／５〜４／５）で値を１段階低くし、状態２から状態３に遷移した場合に、同じくＱ２の値を１段高くする。このような措置をとることにより、状態１と状態２とを繰り返し遷移するような場合には、Ｑ２の値は２／５に近づき、状態２と状態３とを繰り返し遷移するような場合では、Ｑ２の値は４／５に近づくが、これはトラフィック状態が悪い場合には粗い画質での受信を優先し、トラフィック状態が良い場合には比較的高画質での受信を優先することを示している。
また、本実施例では、例えば状態１と状態２の間の遷移条件Ａ１２，Ｂ２１は異なる値を持っているが、これは遷移条件にヒステリシスを持たせたことの実施例になっており、勿論、ヒステリシスのない値を設定してもよい。
【００３５】
図２６〜図２８は、本実施例における送信側、受信側および監視部の動作フローチャートである。
図２６では、送信側は、転送しようとする画像情報を、図２１に示すデータ構造で作成する（ステップ２６−１）。次に、回線接続した後（ステップ２６−２）、受信側からのデータ送出要求があると（ステップ２６−３）、画像情報を送信する（ステップ２６−４）。送出中、一定のタイミングもしくはプロトコルの手順中で受信側からの送信の中断、接続の切断、その他の処理要求を受け付ける（ステップ２６−５）。受信側からの画像データ送出中止の要求により、その画像の送信を中止し（ステップ２６−６）、次の画像送信もしくは次の処理に移行する。受信側からの接続切断の要求により、接続を切断する（ステップ２６−７）。
【００３６】
図２７では、受信側は、クライテリアマップを予めデフォルトで定めた値か、もしくは前回の値で設定する（ステップ２７−１）。必要に応じて受信側の操作者がクライテリアマップを再設定する（ステップ２７−２）。次に、回線の接続を行い（ステップ２７−３）、送信側に対してデータ送信要求を出して、画像を含むデータの受信を開始する（ステップ２７−４）。画像プロファイルや画像表示等に必要な最小限のデータを受信する（ステップ２７−５）。クライテリアマップに設定されている現在の状態の最大受信画像サイズ、最大通信時間、解像度等の所定画像品逸に達したか否かを判断し（ステップ２７−６）、達したならば、その画像の受信を打ち切り、画像処理をして得られる品質の画像を保存もしくは表示し、送信側にはその画像のデータ送信の中止を要求する（ステップ２７−７）。そして、次の画像のデータ送信要求を行う等、次の処理に移行する（ステップ２７−８）。トラフィック状態を監視する監視部より、現在の状態から別の状態への遷移条件が発生したことが制御部に通知されると（ステップ２７−９）、遷移後の状態で受信すべき最大受信画像サイズ、最大通信時間、解像度等の所定画像品質をクライテリアマップ等に従って自動または手動で、あるいは学習機能により条件を再設定する（ステップ２７−１０）。引き続きクライテリアマップに従って画像の受信を継続し（ステップ２７−１１）、最後に回線を切断する（ステップ２７−１２）。
【００３７】
次に、図２８では、監視部は、データ転送速度等のトラフィック条件を監視し（ステップ２８−１）、クライテリアマップとの照合を行い（ステップ２８−２）、クライテリアマップにより現在の状態から別の状態への遷移を行うべき条件に達した時点で、その内容を受信側制御部に通知する（ステップ２８−３）。
【００３８】
次に、本発明の第３の実施例について説明する。
前述の第１の実施例と第２の実施例の処理動作をそれぞれプログラムに変換して、それらのプログラムを記憶媒体に格納すれば、その記憶媒体を持参することにより、任意の場所および時刻に、通信システムで本発明を適用することができる。
【００３９】
第２の実施例においては、（１）画像のように情報量の大きなデータを転送する場合に、粗い画像から順次時系列で転送を行うので、受信側で画像の概要を再生表示させるために必要な画像データは全体の一部で済ませることができる。その結果、概要が分かる程度の低画質で画像を処理ないし表示させる場合には、受信すべき画像情報量を小さくすることができるため、トラフィック状態が悪い場合にも画像の受信が容易となる。また、（２）大きな画像を受信する場合にトラフィック状態が悪いと途中で接続が切断され、受信した画像データは全体の一部を表示するか、もしくは表示することができないため、その画像について最初から再受信を行う必要があったが、本実施例では、このような時間的、コスト的な損失を少なくすることができる。また、（３）低画像から高精細への画像を時系列順に伝送するため、受信側が希望する画質に対応するために送出側で画質の異なる複数の画像を用意する必要がなく、かつ必要な精度の画像を受信した後は、受信側でその画像の受信を中断して次の処理もしくは次画像の受信要求に進めば済むので、送受信者間で特別なプロトコルは不要となる。さらに、必要とする画像品質を送信側に問い合わせることなく、受信側で任意にあるいはトラフィック状態に応じて選択できるため、送信側の負荷を減少させることができ、また受信側の機能選択の余地、自由度を大きくすることができる。さらに、（４）トラフィック状態の監視を行い、所定の基準に照らしてトラフィック状態の悪い場合には低画質での受信状態に、トラフィック状態が回復した場合には、高精細画質での受信状態に遷移するように動作するので、１枚当りの画像の受信を画像品質が異なるものの所定の通信時間内で画像の受信を実施することが可能となる。受信状態の遷移を実施する所定の基準（つまり、クライテリア）には、学習機能を持たせることができるので、ネットワーク等の状態に合わせて最適化を行うことが可能である。
【００４０】
【発明の効果】
以上説明したように、本発明によれば、表示時間を優先して品質は悪くても短時間で表示して欲しい利用者の要求と、画像品質を優先して少々時間がかかっても高品質で表示して欲しい利用者の要求とを同一の画像データと同一の処理方法で満たすことが可能となり、また同一の画像において、送信先または送信元の希望毎に必要な領域を効率よく画面表示することが可能となる。
また、トラフィック状態が悪い場合、受信側で画像の概要が分かる程度の低画質で画像を処理ないし表示させるために必要な画像データを全体の一部で済ませて、受信すべき画像情報量を小さくでき、さらにトラフィック状態が悪い場合、大きな画像を受信するときには、最初から再受信を実施することにして、時間的、コスト的な損失を少なくすることが可能である。
また、送信側で画質の異なる複数の画像を用意する必要がなく、かつ送受信者間で特別なプロトコルを必要とせず、かつ必要な画像品質を送信側に問い合わせることなく、受信側で任意にあるいはトラフィック状態に応じて選択でき、送信側の負荷を減少させるとともに、受信側の機能選択の余地と自由度を大きくすることが可能であり、さらにトラフィック状態の監視を行って、トラフィック状態によって画像受信の画質に切り替えることができ、かつ受信状態の遷移を実施する基準には学習機能を持たせることが可能である。
【図面の簡単な説明】
【図１】本発明の第１の実施例を示す通信システムの全体構成図である。
【図２】図１における各装置内の具体的構成図である。
【図３】受信側における画像データ等の情報を閲覧している状態を示す図である。
【図４】第１の実施例の送信側の基準動作フローチャートである。
【図５】送信状態を監視するサブルーチンのフローチャートである。
【図６】送信の一時中断の動作フローチャートである。
【図７】画像品質が受信側から指定された場合の処理フローチャートである。
【図８】新しい画像領域をセットする場合の処理フローチャートである。
【図９】新しい表示順序をセットする場合の処理フローチャートである。
【図１０】中断処理を行う場合の処理フローチャートである。
【図１１】受信側の基準処理を示す動作フローチャートである。
【図１２】設定情報の送出処理で、デフォルトの画像品質、表示領域、表示順序を送信する場合の動作フローチャートである。
【図１３】ユーザー操作の主な処理を示すフローチャートである。
【図１４】ホストから送信中断連絡を受けた場合の処理フローチャートである。
【図１５】ユーザーによりキャンセル処理要求が出された場合の動作フローチャートである。
【図１６】ユーザーにより表示領域の指示が出された場合の処理フローチャートである。
【図１７】ユーザーにより表示順序の指示が出された場合の処理フローチャートである。
【図１８】ユーザーにより画像品質の指示が出された場合の処理フローチャートである。
【図１９】第１の実施例で利用するデータ圧縮形式の説明図である。
【図２０】第２の実施例を示す通信システムの全体構成図である。
【図２１】第２の実施例で受信される画像データのデータ構造図である。
【図２２】受信側端末装置のブロック構成図である。
【図２３】図２１のデータ構造の画像を順次受信して表示した場合の説明図である。
【図２４】本実施例の状態遷移図である。
【図２５】本実施例のクライテリアマップを示す図である。
【図２６】第２の実施例を示す送信側の基準動作のフローチャートである。
【図２７】同じく受信側の基準動作のフローチャートである。
【図２８】同じく監視部における動作フローチャートである。
【符号の説明】
１…サーバーシステム、２…モデム、３〜５…クライアントシステム、
６…ネットワーク、１１…ＣＰＵ、１２…メモリ、１３…ＨＤＤ、
１４…Ｉ／Ｆ、３０…ブラウザ、３１…表示順序の設定画面、
３２…画像品質の設定画面、３３…ポインタ、３４…画像、
５０…オリジナル画像、５１…拡大した様子、５２…データ列、６０…ヘッダ、
６１…概略画像データ、６２…やや高画質画像データ、
６３…最終の高画質画像データ、６４…画像データの位置を示すブロック、
７１…クライアント、７０…ネットワーク、７２…サーバー、８１…制御部、
８２…Ｉ／Ｆ、８３…通信手段、８４…画像表示処理部、８５…監視部、
８６…Ｕ／Ｉ、８７…表示手段、８８…記憶媒体、８９…プログラム格納手段、
９０…クライテリアマップ。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image transfer method capable of efficiently transmitting / receiving image data in response to an image display request from a remote place under the control of a transmitting side or a receiving side, and displaying a screen with desired quality, display time, etc. The present invention relates to a recording medium storing a program.
[0002]
[Prior art]
In the Internet, information is centrally managed by a Web server, and information is browsed from Web browsers mounted on an unspecified number of terminals. In this case, a method for monitoring and controlling devices on the network using a browser is required. There is also a need for a method that allows an unspecified number of people to view images at remote locations with the desired quality and display time.
However, when displaying an image using a browser on the Internet, due to the performance of the display side and restrictions on the transmission path such as the public line, when displaying a high-quality image, it takes a long time to send all the data. There was sometimes waiting.
Due to these limitations, attempts have been made to reduce the amount of data to be transmitted, that is, to reduce the image quality for transmission, but this causes dissatisfaction for users who desire high-quality images. End up.
[0003]
On the receiving side, all the image data set on the transmitting side is generally received and then processed and displayed on the screen. Therefore, when the traffic condition is poor or the performance of communication means such as a modem is low Takes time to display the necessary images. In particular, when there are a large number of images, the receiver may have to wait for a long time before obtaining the necessary images, and the line is often required to be disconnected. In order to obtain an image desired by the receiving side as soon as possible, the receiving side must negotiate with the transmitting side in advance before selecting an image.
On the other hand, when the traffic state is bad, there is a method of switching and transferring to an image with a low image quality or an image with a small size, but the transmission side must hold a plurality of pieces of image information with different image quality and size, Further, when switching images, a protocol is required with the receiver side.
[0004]
[Problems to be solved by the invention]
In this way, (1) a user who wants to display in a short time even if the quality is poor with priority on display time, and that he wants to display it with high quality even if it takes a little time with priority on image quality. Since the user exists at the same time, it was impossible to efficiently transmit and display it for each user's request.
(2) When transferring a large amount of data such as an image, if the traffic condition is bad, the transfer takes time, so the transfer cost increases for both the receiver and the sender and receiver, and a data error occurs. It becomes easier and affects the quality of the received image. In such a case, the connection may be interrupted during reception. In this case, the image is not reproduced, or only a part of the entire image is displayed, and a method of displaying an outline of the whole is not possible.
(3) Since the receiving side needs to receive all the image data prepared on the transmission side regardless of whether the traffic condition is good or bad, the quality and resolution of the image is reduced on the receiving side when the traffic is bad. A method of receiving and requesting the next image reception is not possible.
[0005]
In addition, (4) image quality such as accuracy and resolution desired by the receiving side needs to be negotiated with the sender. Conventionally, when receiving an image having a quality lower than the image quality set by the transmitting side Even so, this could not be easily changed.
In addition, (5) when the traffic state is bad, there is a method of switching and transferring to an image having a low image quality or an image having a small size. For this purpose, a plurality of pieces of image information having different quality and size are transmitted on the transmission side. In addition, a protocol with the receiver side is required when switching images.
Furthermore, (6) when the transfer time set by the receiver or the reception data size is reached, if the reception of the image is terminated, the image is not reproduced or only a part of the entire image is displayed. There is no way to display the whole image with a reduced resolution. In order to make it possible, it is necessary to reconvert the image to be transferred to the sender side, which is troublesome.
[0006]
Therefore, the first object of the present invention is to solve these conventional problems and give priority to the user's request to display in a short time even if the quality is poor by giving priority to the display time, and a little by giving priority to the image quality. An object of the present invention is to provide an image transfer method capable of satisfying a user's request to display with high quality even if time is required by the same processing method as the same image data and its recording medium.
A second object of the present invention is to provide an image transfer method capable of efficiently displaying a necessary area for each desired destination or source in the same image.
A third object of the present invention is to complete a part of the image data necessary for processing or displaying an image with low image quality so that an outline of the image can be understood on the receiving side when the traffic condition is bad. Thus, an object of the present invention is to provide an image transfer method and recording medium that can reduce the amount of image information to be received.
The fourth object of the present invention is to perform image transfer that can reduce time and cost loss by performing re-reception from the beginning when a large image is received when the traffic condition is bad. It is to provide a method.
The fifth object of the present invention is that it is not necessary to prepare a plurality of images with different image quality on the transmission side, no special protocol is required between the sender and the receiver, and the transmission side is inquired about the required image quality. To provide an image transfer method that can be selected arbitrarily on the receiving side or according to the traffic state, and can reduce the load on the transmitting side and increase the scope and freedom of function selection on the receiving side. It is in.
Furthermore, the sixth object of the present invention is to monitor the traffic state, switch to the image reception image quality depending on the traffic state, and provide a learning function as a reference for performing the transition of the reception state. It is to provide a possible image transfer method.
[0007]
[Means for Solving the Problems]
In order to achieve the above object, in the image transfer method of the present invention, (1) the transmission side is compressed in an image compression format capable of extracting a plurality of types of data by limiting to an arbitrary timing and an arbitrary area. First, a low-quality image with a limited amount of data is extracted from the image data, converted to a compression format that can be decompressed on the receiving side, and then sent together with display timing information including the position information and display order of the image. Information for displaying a high-quality image is transmitted to the image data, and image data that requires more data is sequentially transmitted.
(2) When transmitting image data, the transmitting side inquires the receiving side about the display quality, display area, and display order, obtains information from the receiving side, and then decompresses on the receiving side. An image to be displayed is extracted from the image data converted into the format and transmitted.
(3) When transmitting image data, the transmission side monitors the data transmission status. When a delay of a certain level or more occurs, the transmission side suspends data transmission and inquires the reception side about the next processing. After waiting for processing specification from the receiving side, data quality and area are reset and transmission is started.
(4) If the transmission side obtains information on the display quality, display area, and display order from the reception side before inquiring, it should immediately display the image data converted into a compression format that can be decompressed on the reception side. Retrieve the image and send it.
(5) The transmission side monitors the data transmission status when transmitting the image data, and temporarily suspends the data transmission when a delay of a certain amount or more occurs, to the reception side in advance regardless of the data transmission status. Next, if there is no processing designation from the receiving side during the interruption, the quality and area of the data designated in advance are reset and transmission is started.
[0008]
On the other hand, (6) the receiving side receives compressed or non-compressed image data having a data structure that sequentially becomes high definition from coarse quality or low image quality, and can display the entire image during reception, and at the time of reception Monitor the traffic condition. If the traffic condition is bad, only receive the data required for image processing with coarse image quality, and then move to the next image reception in sequence. If the traffic condition is good or good In the case of recovery, switching is performed automatically or manually so as to receive data necessary for high-definition image processing.
(7) The receiving side sets a plurality of levels of image quality desired by the receiving side according to the traffic state.
(8) The receiving side adds hysteresis to conditions such as a traffic state for switching the received image quality.
(9) The receiving side has a learning function for conditions such as a traffic state for switching the received image quality and / or image quality.
(10) The receiving side can change the image quality desired by the receiving side during the transfer of the image data.
(11) The reception side automatically re-receives image information received with low image quality when the traffic state is bad, using the idle time of processing on the reception side until the reception side reaches the desired image quality. continue.
[0009]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, the operation principle and embodiments of the present invention will be described in detail with reference to the drawings.
(Operating principle)
(First embodiment)
(1) On the transmission side, an image is compressed in an image compression format that allows extraction of a plurality of types of data amounts at an arbitrary timing and an arbitrary area.
-Wait for an image transmission request from the receiving side.
When an image transmission request is received, the receiver is inquired about the image quality, the display area in the image, and the display order.
-Also inquire about the processing after the temporary suspension processing due to the deterioration of the line status.
At the time of transmission, first, data necessary for displaying an image of the lowest quality level (the least amount of data required) determined by the system is extracted from the compressed image data and transmitted.
Next, when the transmission of the image data of the quality level and the area is completed, the data necessary for displaying the image of the second lowest quality level or the next area is transmitted.
・ Hereafter, data necessary to display a slightly high-definition quality level image is transmitted.
-Monitor the amount of data being transmitted.
When a reply to the inquiry about the image quality, the image area, and the display order is received, the current transmission data is viewed, and if transmission has already been completed, the transmission is terminated and the next processing is started. If not finished, continue sending until sending is finished.
・ Transmit is temporarily suspended when the amount of transmission data per fixed time becomes less than the threshold value.
・ During suspension, it sends a message to the receiving side that it is stopped. There are three types of cancellation of the stop state, and these change the process by inquiring the receiving side and replying. If instructed in advance, follow the instruction.
(A) Stop (cancel) processing by the receiving side.
(B) Specify the quality, position, and order of transmission data and continue.
(C) When it becomes possible to transmit a data amount equal to or higher than the threshold level due to the improvement of the transmission state, the processing is resumed. Until then, the suspended state continues.
-When the type and position information of the transmission data is obtained from the receiving side, transmission is resumed and given priority to the specified data.
[0010]
(2) On the receiving side: • Connect to the host system (transmitting side) using a browser.
-The function on the browser side (support of the compression format used in the present invention, performance of the client machine, browser type, etc.) is sent to the transmission side to ensure a communicable state.
When the browser is set to transmit the setting state in advance, the default image quality, image display area, and display order are transmitted.
-Send an image transmission request to the connected sender.
-Expand and display the sent image at the specified location.
・ While receiving image data and displaying it on the display, it waits for user operations and input.
-When the user issues a cancel request, an image transmission stop request is sent to the transmission side.
-If the user designates a display area, and if it is different from the currently displayed area, a request to stop sending the image currently being sent is sent to the sending side, and the image of the area designated by the new user Send a request to send.
-When the user changes the display order while the display order is specified, a display order change request is issued to the transmission side.
When the transmission side notifies the transmission of the temporary suspension, when the subsequent processing is not transmitted, the transmission is interrupted as it is, or the image quality, the image area, the display order are communicated, and the transmission is waited until the transmission is resumed.
When transmission is resumed, it is confirmed whether or not the previous image data has been canceled, and the reception process is resumed.
[0011]
(Second embodiment)
(1) On the transmission side, the image information to be transferred is generated as compressed or uncompressed image data having a data structure that sequentially becomes high definition from coarse quality or low image quality.
-After connecting to the line, send image information in response to a data transmission request from the receiving side. During transmission, interrupt the transmission from the receiving side during a certain timing or protocol procedure (skip), disconnect the connection, and other processing requests. Accept.
In response to a request to stop image data transmission from the receiving side, the image transmission is stopped, and the next image transmission or the next process is started.
-The connection is disconnected by a connection disconnection request from the receiving side.
[0012]
(2) On the receiving side, one state that defines reception conditions for image data such as the quality of the image to be received and the maximum communication time per image, and one or more other states in which reception is performed under other conditions A criterion map in which conditions such as a traffic state for transitioning from one state to another state are determined is set as a default value or a previous value.
・ If necessary, the receiving operator resets the criteria map.
-Send a data transmission request to the transmission side and start receiving data including an image.
・ Receive the minimum data required for image profile and image display.
・ Images of the quality obtained by discontinuing reception of the image and performing image processing when the maximum received image size, maximum communication time, resolution, etc. in the current state set in the criteria map have been reached. Is stored or displayed, and the transmission side is requested to cancel the data transmission of the image, and the next image data transmission request is made.
The monitoring unit that monitors the traffic state notifies the control unit that a transition condition from the current state to another state has occurred.
-The criteria map conditions are reset automatically or manually according to the criteria map or the like, or by the learning function for the predetermined image quality such as the maximum received image size, the maximum reception time, and the resolution to be received in the state after the transition.
-Continue to receive images according to the criteria map, and finally disconnect the line.
(3) The monitoring unit monitors traffic conditions such as data transfer rate and collates with the criteria map.
If the criteria map has reached a condition for transition from the current state to another state, the contents are notified to the receiving side control unit.
[0013]
FIG. 1 is a schematic configuration diagram of the entire system showing a first embodiment of the present invention.
This system includes a
FIG. 2 is a specific configuration diagram in FIG.
If the PC (personal computer) 1 is on the
[0014]
FIG. 3 is a diagram illustrating a state in which information such as transmitted image data is viewed on the receiving side (client).
FIG. 3A is a diagram when the image quality is designated on the browser side, and FIG. 3B is a diagram when the display area is designated on the browser side.
A so-called
Of course, although not shown in the figure, not only images but also information such as texts and sounds are sent and displayed on the screen or simultaneously reproduced. Here, when the display
[0015]
Further, the
It is also possible to specify a display area by directly specifying an image.
Similarly, as shown in FIG. 3B, when a specific area of the
[0016]
4 to 18 are flowcharts showing processing on the transmission side (server or host) and reception side (client). FIGS. 4 to 10 are processing on the transmission side, and FIGS. Side processing.
In FIG. 4, the data compression format described later is first initialized and is operable (step 4-1), and can be extracted by limiting a plurality of types of data amounts to arbitrary timings and arbitrary areas. To compress the image (step 4-2). Next, it waits for an image transmission request from the receiving side (step 4-3). When an image transmission request is received from an unspecified client connected to the network, information about the image to be transmitted is sent, and the image quality, display area, and display order for each image are inquired to the transmission request source (step 4-). 4). The result is then applied as a default process. At the same time, an inquiry is made as to how to perform the processing after the transmission suspension processing (step 4-5).
[0017]
Next, the required required image data is taken out from the storage device, and if the receiving side supports the compression format, the image for the image quality with the smallest amount of data in a decompressable format is supported if it is not supported. Data is recompressed and transmission is started (step 4-6). Thereafter, while monitoring the transmission state in a subroutine (step 4-7), the transmission is continued while checking whether the image transmission is completed (step 4-8). When the transmission of one image is completed, the next transmission data is prepared (step 4-9). It is checked whether or not the transmission for one page has been completed (step 4-10). If the transmission has not been completed, the transmission of the image data is continued repeatedly (return to step 4-6). When one page has been completed, the transmission data for the next page is similarly prepared (step 4-11), and it is confirmed whether or not all the data transmission to be transmitted has been completed (step 4-12). If so, it waits until the next image transmission request is received (step 4-3).
[0018]
FIG. 5 is a diagram showing a subroutine for monitoring the transmission state.
When a large amount of data such as image data is transmitted, depending on the state of the line, the transmission rate may be extremely reduced, and it may take a very long time to finish transmitting one image data. Therefore, the state on the transmission path is constantly monitored, and when the value falls below the threshold, the transmission is interrupted once and the receiving side is instructed. The monitoring method may look at the rate of the flow state or look at the elapsed time until the response to the query.
First, it is checked whether or not the transmission state is below a threshold value (step 5-1). Next, it is checked whether image quality is designated from the receiving side (step 5-2). Similarly, it is checked whether or not the display area has been designated (step 5-3) and whether or not the display order has been designated (step 5-4). Further, it is also checked whether or not a transmission interruption request has been sent for the convenience of the receiving side (step 5-5). Such monitoring and checking are taken out first and are continuously performed until the transmission of the data which has been started is completed (step 5-6).
[0019]
FIG. 6 is a diagram of processing when the transmission state becomes equal to or less than the threshold value as a result of monitoring the transmission state.
First, transmission is temporarily interrupted (step 6-1). Next, the receiving side is notified that transmission is currently interrupted (step 6-2). Then, it waits for the image quality designation, display area designation, and display order designation from the receiving side (steps 6-3, 6-4, 6-5). It is also checked whether or not an interruption request has been received from the receiving side (step 6-6). These processes are continued until the transmission state is restored to the threshold value or more again (step 6-7).
FIG. 7 is a diagram of processing when image quality is designated from the receiving side.
If the image quality is the same as the default or the currently designated image quality, the process returns to the transmission state monitoring (step 7-1) (via step (6) to step 5-1 in FIG. 5). If the image quality is different from the designated image quality, the image quality is newly reset and transmission of the next data is started (step 7-2).
Normally, transmission is started from data having the lowest image quality, for example, a thumbnail image, and the original compressed image data is sequentially extracted and transmitted until the determined image quality is obtained. If the designated quality is higher than the currently transmitted quality, the transmission is continued. If the designated quality is lower, the transmission is terminated and the next image is transmitted.
[0020]
8 and 9 are diagrams of processing for setting a new image area and a display order, respectively.
If the next designation is acceptable in the current designated area (step 8-1), the process branches to step 5-1 in FIG. 5 via (6). Set (step 8-2). In the designation of the image area, the highest priority is given to the designated area reaching the previously designated image quality in the transmission of the image data.
In the display order, images that have already been sent are not newly sent regardless of the order. The designated display order is applied to an image that has not yet been sent (step 9-1). If the current order is specified, the process branches to step 5-1 in FIG. 5 via (6) (step 9-2).
FIG. 10 is a diagram of processing when an interruption request is received from the reception side.
The transmission of the image currently being transmitted is stopped, and a flag indicating that transmission is in progress is set (step 10-1). Then, it waits for a new transmission request. When the transmission request is a corresponding image, it is possible to resume from the interrupted state.
[0021]
11 to 18 are diagrams showing processing on the reception side.
In FIG. 11, first, initialization on the receiving side is performed (step 11-1), and the process waits until a connection request operation from the user is performed. When a connection request operation is performed (step 11-2), connection processing to a designated host is performed (step 11-3). Although a connection method is not shown, it is performed by a conventional method. When the connection process is completed, information to be notified to the host is transmitted (step 11-4). This includes, for example, the hardware configuration and performance of the client, the support of the compression format, the type of browser for browsing, and the like. Next, if setting information for display is to be sent, it is sent (step 11-5). This is not essential and is determined by browser settings.
[0022]
Thereafter, an image transmission request is issued by a user operation or a browser default setting (step 11-6). Since the requested image is transmitted from the host, the received image is subjected to reception processing and expanded and displayed at the sending location (step 11-7). Simultaneously with the reception process and the image display process, a user operation is also accepted (step 11-8). In addition to information such as images, information necessary for control is also sent from the host, so it is checked whether or not there is a notification of transmission interruption (step 11-9). If there is a communication interruption, the process branches to FIG. If not, it is checked whether or not all of the requested information has been received (step 11-10). If not all have been received yet, the process returns to the process of displaying the transmitted data (steps 11-7). ). If completed, it is checked whether a communication termination request is issued from the user, and if it is issued, the process returns to step 11-2. If not, the process returns to step 11-4.
[0023]
FIG. 12 is a diagram showing a process of sending the setting information and sending the default image quality, display area, and display order.
First, the default image quality is transmitted (step 12-1), then the default display area is transmitted (step 12-2), and finally the default display order is transmitted (step 12-3).
FIG. 13 is a diagram illustrating main processing of user operations.
First, it is checked whether or not there is a cancel request by the user (step 13-1), and it is checked whether or not the display area, display order, and image quality as shown in FIG. 3 are specified (step 13-2, 13-3, 13-4). Although not shown, other processes related to GUI operations are also performed here (step 13-5).
[0024]
FIG. 14 is a diagram illustrating processing when a transmission interruption notification is received from the host.
First, the fact that the reception process is interrupted is displayed and shown to the user (step 14-1). Next, the user operation shown in FIG. 13 is accepted (step 14-2), and it is checked whether or not a transmission resumption notification is received from the host (step 14-3).
FIG. 15 is a diagram showing processing when a cancel processing request is issued by the user.
The currently displayed image is returned to the previous image quality state, and other information that can be displayed is displayed and the interrupted state is saved and saved (step 15-1). Thereafter, it waits for a new image transmission request to be issued by a user operation or the like.
FIGS. 16, 17, and 18 are diagrams showing processing for sending the result of instructions given by the user as shown in FIG. 3 to the host.
That is, the display area is sent out in FIG. 16 (step 16-1), the display order is sent out in FIG. 17 (step 17-1), and the image quality is sent out in FIG. 18 (step 18-1).
[0025]
FIG. 19 is a diagram showing one of the data compression formats that can extract a plurality of types of data amounts used in the present invention limited to an arbitrary timing and an arbitrary area.
19A is an original image, FIG. 19B is a diagram showing a state where a certain area of FIG. 19A is enlarged, FIG. 19C is a diagram showing a data string of the original image, and FIG. 19D is image data of the present invention. The figure which shows a row | line | column, (e) is the figure of the data which expanded a part of image data shown in (d).
Here, the compression format is not specified. The
As shown in FIG. 19C, in these compressions, as shown in the
[0026]
Therefore, it is necessary to create and obtain necessary image portions and thumbnails after decompressing from the compressed state and returning to the original image data state. The image compression format used here is not such, and as shown in FIG. 19 (d), has a configuration such as 60 to 63 as a result of compression.
That is, in the transmission image data string according to the present invention, first, the size and color information of the original image, the quality of the held image, the position information in the image, and the like are stored in the
In the individual image quality data, as shown in FIG. 19 (e), the original image is held in a state of being divided into blocks, so the position information is also read from the header. Each quality It is possible to read out every level, and as a result, a part of the original image can be taken out and decompressed and displayed.
It should be noted that the present invention is not limited to the compression format shown in the figure, and can be applied to any format that can similarly extract quality and area.
[0027]
In the first embodiment, (1) since the receiving side can preferentially acquire the rough image information according to the transmission content from the transmitting side, it is possible to efficiently grasp the whole state and the rough image. If the user is not satisfied with the quality of the original image, the user can view the original image without degrading the quality of the original image by taking a sufficient time. The timing for issuing these requests is not limited, and the user can issue an instruction to the host at an arbitrary time.
(2) Since the receiving side designates the image quality, area, and order, the desired image information can be preferentially displayed, so that the user can view the desired image efficiently.
(3) Since the transmission side notifies the reception side of a change in the transmission state and selects subsequent processing, the reception side can request an image information amount suitable for the transmission state, and the entire image can be requested as soon as possible. It is possible to preferentially receive the information of the part that the user wants to see the earliest.
Also, (4) the receiving side can always specify the desired image quality, image area, and display order, so that it is possible to respond to changes in user priority requests.
Further, (5) even if the transmission side is not particularly specified by the situation of the reception side with respect to the change in the transmission state, if the processing content corresponding to the change is set in advance, the user is changed every time it changes. However, the receiving side can obtain optimum information without the trouble of specifying the processing content.
[0028]
The second embodiment of the present invention will be described below. In the second embodiment, a method for displaying an image with an arbitrary communication time or image quality or a method for image processing under the control of the receiving side will be described.
FIG. 20 is an overall view of a communication system showing the second embodiment.
A
[0029]
FIG. 21 is a data structure diagram of an image received by the receiving side, that is, the client.
When the receiving side receives an image, according to the transfer image data structure shown in FIG. 21, the
The data of the
Subsequently, the
[0030]
FIG. 22 is a configuration diagram illustrating an example of a reception-side terminal device.
The receiving-side terminal device includes a control unit 81 (for example, a central processing unit) that performs various operations, an I / F (interface device) 82 that is connected to an external device such as a communication unit, a LAN and a public line. Communication means 83 for transferring data, an image
On the other hand, the sending device is not shown, but includes at least 81 to 84 and 88 devices.
[0031]
FIG. 23 is a diagram of an image obtained by sequentially receiving the image data structure shown in FIG.
In the data structure of FIG. 21, when the
[0032]
FIG. 24 is a state transition diagram of this embodiment.
In the present embodiment, the operation is represented by three states of
[0033]
FIG. 25 is a configuration diagram of the criteria map.
The criteria map is a table in which the state operation, that is, the quality of the received image and the state transition conditions are set. This criterion map indicates that, for
When in the
The
[0034]
The learning function will be described. The criterion map in FIG. 25 is set so that the value of the received image quality Q2 in the
In this embodiment, for example, the transition conditions A12 and B21 between the
[0035]
26 to 28 are operation flowcharts of the transmission side, the reception side, and the monitoring unit in the present embodiment.
In FIG. 26, the transmission side creates image information to be transferred with the data structure shown in FIG. 21 (step 26-1). Next, after the line connection (step 26-2), when there is a data transmission request from the receiving side (step 26-3), the image information is transmitted (step 26-4). During transmission, a transmission interruption, disconnection, or other processing request from the receiving side is accepted during a certain timing or protocol procedure (step 26-5). In response to a request to stop transmission of image data from the receiving side, the transmission of the image is stopped (step 26-6), and the process proceeds to the next image transmission or the next processing. In response to a connection disconnection request from the receiving side, the connection is disconnected (step 26-7).
[0036]
In FIG. 27, the receiving side sets the criterion map as a default value or a previous value (step 27-1). If necessary, the operator on the receiving side resets the criterion map (step 27-2). Next, a line connection is made (step 27-3), a data transmission request is issued to the transmission side, and reception of data including an image is started (step 27-4). The minimum data necessary for the image profile and image display is received (step 27-5). It is determined whether or not a predetermined image quality such as the maximum received image size, maximum communication time, and resolution in the current state set in the criteria map has been reached (step 27-6). Is received, the image of the quality obtained by image processing is stored or displayed, and the transmission side is requested to stop data transmission of the image (step 27-7). Then, the process proceeds to the next process such as a request for data transmission of the next image (step 27-8). When the monitoring unit that monitors the traffic state notifies the control unit that a transition condition from the current state to another state has occurred (step 27-9), the maximum received image that should be received in the state after the transition Conditions are reset for predetermined image quality such as size, maximum communication time, and resolution automatically or manually according to the criteria map or the like, or by a learning function (step 27-10). Subsequently, image reception is continued according to the criteria map (step 27-11), and finally the line is disconnected (step 27-12).
[0037]
Next, in FIG. 28, the monitoring unit monitors traffic conditions such as data transfer rate (step 28-1), collates with the criteria map (step 28-2), and separates from the current state by the criteria map. When the condition for performing the transition to the state is reached, the contents are notified to the receiving side control unit (step 28-3).
[0038]
Next, a third embodiment of the present invention will be described.
If the processing operations of the first embodiment and the second embodiment described above are converted into programs and stored in a storage medium, the storage medium can be brought into an arbitrary place and time. The present invention can be applied to a communication system.
[0039]
In the second embodiment, (1) when transferring a large amount of data such as an image, transfer is performed in time series from a coarse image in order, so that the outline of the image is reproduced and displayed on the receiving side. Necessary image data can be a part of the whole. As a result, when an image is processed or displayed with a low image quality that provides an overview, the amount of image information to be received can be reduced, so that the image can be easily received even when the traffic state is bad. (2) When a large image is received, if the traffic condition is bad, the connection is cut off in the middle, and the received image data cannot be displayed or displayed in part. However, in this embodiment, such time and cost loss can be reduced. (3) Since images from a low image to a high definition are transmitted in chronological order, it is not necessary and necessary to prepare a plurality of images having different image quality on the sending side in order to correspond to the image quality desired by the receiving side. After receiving an accurate image, the reception side interrupts the reception of the image and proceeds to the next process or the reception request for the next image, so that no special protocol is required between the sender and the receiver. Furthermore, since the image quality required can be selected at the receiving side arbitrarily or according to traffic conditions without inquiring the transmitting side, the load on the transmitting side can be reduced, and there is room for function selection on the receiving side, The degree of freedom can be increased. Furthermore, (4) the traffic state is monitored, and when the traffic state is bad according to a predetermined standard, the reception state is in a low image quality, and when the traffic state is recovered, the reception state is in a high definition image quality. Since it operates so as to make a transition, it is possible to receive an image within a predetermined communication time although the image quality per image is different. Since a predetermined criterion (that is, criterion) for performing the transition of the reception state can have a learning function, it is possible to perform optimization according to the state of the network or the like.
[0040]
【The invention's effect】
As described above, according to the present invention, the user's request for displaying in a short time even if the quality is poor with priority on the display time and the high quality even if it takes a little time to prioritize the image quality. The same image data and the same processing method can be used to satisfy the user's request that you want to display in the same image, and the necessary area for each destination or source request can be efficiently displayed on the same image. It becomes possible to do.
Also, if the traffic condition is bad, the image data necessary to process or display the image with low image quality that can be understood on the receiving side can be part of the entire image, and the amount of image information to be received can be reduced. In addition, when the traffic state is bad, when receiving a large image, it is possible to reduce time and cost loss by performing re-reception from the beginning.
In addition, it is not necessary to prepare multiple images with different image quality on the transmission side, no special protocol is required between the sender and the receiver, and any or all on the reception side without inquiring the required image quality to the transmission side. It is possible to select according to the traffic condition, and it is possible to reduce the load on the transmitting side and increase the scope and freedom of function selection on the receiving side, and further monitor the traffic condition and receive images according to the traffic condition It is possible to switch to the image quality of the image, and it is possible to provide a learning function as a reference for performing the transition of the reception state.
[Brief description of the drawings]
FIG. 1 is an overall configuration diagram of a communication system showing a first embodiment of the present invention.
FIG. 2 is a specific configuration diagram in each device in FIG. 1;
FIG. 3 is a diagram showing a state in which information such as image data is viewed on the receiving side.
FIG. 4 is a reference operation flowchart on the transmission side according to the first embodiment;
FIG. 5 is a flowchart of a subroutine for monitoring a transmission state.
FIG. 6 is an operation flowchart of temporary suspension of transmission.
FIG. 7 is a processing flowchart when image quality is designated from the receiving side.
FIG. 8 is a processing flowchart when a new image region is set.
FIG. 9 is a processing flowchart when a new display order is set.
FIG. 10 is a process flowchart when an interruption process is performed.
FIG. 11 is an operation flowchart showing reference processing on the receiving side.
FIG. 12 is an operation flowchart in the case of transmitting default image quality, display area, and display order in setting information transmission processing;
FIG. 13 is a flowchart showing main processing of user operation.
FIG. 14 is a processing flowchart when a transmission interruption notification is received from a host;
FIG. 15 is an operation flowchart when a cancel processing request is issued by a user.
FIG. 16 is a processing flowchart when a display area instruction is issued by a user;
FIG. 17 is a processing flowchart in a case where a display order is instructed by a user.
FIG. 18 is a processing flowchart when an instruction for image quality is issued by a user;
FIG. 19 is an explanatory diagram of a data compression format used in the first embodiment.
FIG. 20 is an overall configuration diagram of a communication system showing a second embodiment;
FIG. 21 is a data structure diagram of image data received in the second embodiment.
FIG. 22 is a block diagram of a receiving side terminal device.
FIG. 23 is an explanatory diagram when images having the data structure of FIG. 21 are sequentially received and displayed;
FIG. 24 is a state transition diagram of the present embodiment.
FIG. 25 is a diagram illustrating a criterion map according to the present embodiment.
FIG. 26 is a flowchart of the reference operation on the transmitting side according to the second embodiment.
FIG. 27 is a flowchart of the reference operation on the receiving side in the same manner.
FIG. 28 is an operation flowchart in the monitoring unit.
[Explanation of symbols]
1 ... server system, 2 ... modem, 3-5 ... client system,
6 ... Network, 11 ... CPU, 12 ... Memory, 13 ... HDD,
14 ... I / F, 30 ... browser, 31 ... display order setting screen,
32 ... Image quality setting screen, 33 ... Pointer, 34 ... Image,
50 ... Original image, 51 ... Enlarged view, 52 ... Data string, 60 ... Header,
61: Outline image data, 62: Somewhat high quality image data,
63 ... final high-quality image data, 64 ... block indicating the position of the image data,
71 ... Client, 70 ... Network, 72 ... Server, 81 ... Control part,
82 ... I / F, 83 ... Communication means, 84 ... Image display processing unit, 85 ... Monitoring unit,
86 ... U / I, 87 ... display means, 88 ... storage medium, 89 ... program storage means,
90 ... Criteria map.
Claims (5)
受信側あるいは送信側より表示品質と表示領域と表示順序の指定がない状態であれば、
送信側は、保持する複数種類のデータ量を任意の品質と任意の領域の画像に限定して取り出すことが可能な画像圧縮形式で圧縮された画像データから、最初にデータ量を限定したシステムで決定した最も低い品質の画像を取り出し、
該画像を受信側で解凍可能な圧縮形式に変換し、
まず、該画像の品質、表示領域、表示順序を受信側に問い合わせるための送信を行った後、該画像を該受信側に送信し、
次に、前記送信した画像より品質の良い画像を表示するための画像データを該受信側に送信し、
同様にして、順次、より多くのデータ量が必要な高品質の画像データを送信し、
一方、送信側が、画像データを送信する際に、受信側に対して表示品質と表示領域と表示順序を問い合わせ、それに対する該受信側からの回答情報を入手した後には、前記圧縮形式で圧縮された画像データから上記表示品質と表示領域と表示順序に従って表示すべき画像を取り出して、該受信側に送信することを特徴とする画像転送方法。In the image transfer method for transmitting image data online from the transmission side to the reception side,
If the display quality, display area, and display order are not specified by the receiver or transmitter,
The transmission side is a system that first limits the amount of data from image data compressed in an image compression format that can be extracted by limiting the number of types of data held to images of arbitrary quality and arbitrary region. Take the lowest quality image you have determined ,
Convert the image into a compression format that can be decompressed on the receiving side,
First, after performing transmission to inquire the reception side about the quality, display area, and display order of the image, the image is transmitted to the reception side.
Next, image data for displaying an image having a higher quality than the transmitted image is transmitted to the receiving side,
In the same way, sequentially send high-quality image data that requires a larger amount of data ,
On the other hand, when the transmitting side transmits image data, it inquires of the receiving side about the display quality, the display area, and the display order, and after obtaining the response information from the receiving side, it is compressed in the compression format. An image transfer method comprising: extracting an image to be displayed from the image data according to the display quality, display area, and display order, and transmitting the image to the receiving side .
一定以上の遅延を生じている場合には、該画像データの送信を一時中止し、
前記受信側へ次の処理を問い合わせて、
該受信側からの処理指定を待って、画像データの品質と領域を再設定してから、送信を開始することを特徴とする請求項１に記載の画像転送方法。The transmission side monitors the transmission status of the image data when transmitting the image data,
If the delay exceeds a certain level, the transmission of the image data is suspended,
Contact the next processing to the receiving side,
2. The image transfer method according to claim 1, wherein the transmission is started after the quality and area of the image data are reset after waiting for processing designation from the receiving side.
一定以上の遅延を生じている場合には、該画像データの送信を一時中断し、
該画像データの送信状況にかかわらず、予め受信側へ一時中断後の処理を問い合わせておき、
中断中における受信側からの処理指定がない場合には、予め問い合わせて指定されている画像データの品質と領域を再設定してから送信を開始することを特徴とする請求項２に記載の画像転送方法。The transmission side monitors the transmission status of the image data when transmitting the image data,
If a delay of a certain level or more has occurred, the transmission of the image data is temporarily suspended,
Regardless of the transmission status of the image data, inquire the processing after the temporary interruption to the receiving side in advance,
3. The image according to claim 2, wherein, when there is no processing designation from the receiving side during the interruption, the transmission is started after resetting the quality and area of the image data designated by inquiring in advance. Transfer method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29989897A JP3988094B2 (en) | 1997-10-31 | 1997-10-31 | Image transfer method and program storage recording medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29989897A JP3988094B2 (en) | 1997-10-31 | 1997-10-31 | Image transfer method and program storage recording medium |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006101714A Division JP4295292B2 (en) | 2006-04-03 | 2006-04-03 | Image transfer method and program storage recording medium |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11136488A JPH11136488A (en) | 1999-05-21 |
| JP3988094B2 true JP3988094B2 (en) | 2007-10-10 |
Family
ID=17878276
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP29989897A Expired - Fee Related JP3988094B2 (en) | 1997-10-31 | 1997-10-31 | Image transfer method and program storage recording medium |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3988094B2 (en) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6407680B1 (en) | 2000-12-22 | 2002-06-18 | Generic Media, Inc. | Distributed on-demand media transcoding system and method |
| JP4245885B2 (en) * | 2002-09-27 | 2009-04-02 | シャープ株式会社 | Communication terminal apparatus and acquisition information size determination method |
| JP4333344B2 (en) * | 2003-11-28 | 2009-09-16 | ブラザー工業株式会社 | COMMUNICATION SYSTEM, CONTENT DATA TRANSMITTING DEVICE, CONTENT DATA RECEIVING DEVICE, AND PROGRAM |
| JP2006186650A (en) * | 2004-12-27 | 2006-07-13 | Kyocera Corp | Mobile terminal |
| JP4116006B2 (en) | 2005-03-04 | 2008-07-09 | 株式会社東芝 | Screen transfer device, screen transfer system, screen transfer method, and program |
| JP6090629B2 (en) * | 2013-12-27 | 2017-03-08 | 尚山 秀光 | Image display system and image display method |
| US9521176B2 (en) | 2014-05-21 | 2016-12-13 | Sony Corporation | System, method, and computer program product for media publishing request processing |
-
1997
- 1997-10-31 JP JP29989897A patent/JP3988094B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11136488A (en) | 1999-05-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4295292B2 (en) | Image transfer method and program storage recording medium | |
| US9653081B2 (en) | Digital media frame | |
| US7539785B2 (en) | Network device manager | |
| JP4774185B2 (en) | Method and system for interfacing with digital media frames | |
| JP4199659B2 (en) | Image data transfer method, image forming apparatus, and image printing system | |
| US7996538B2 (en) | Information processing apparatus and content information processing method for transmitting content and event information to a client | |
| US7110134B2 (en) | Facsimile system | |
| JP4481339B2 (en) | Information processing apparatus, information processing method, information processing program, and computer-readable recording medium recording the same | |
| US7881334B2 (en) | Network system, communication device and program | |
| JP2000209574A (en) | Communication device, processing method, camera device and storage medium | |
| AU2001277956A1 (en) | Method and system for accessing a service available on a second network by a member of a first network | |
| JP3988094B2 (en) | Image transfer method and program storage recording medium | |
| JP3531419B2 (en) | Image input method | |
| US7532335B2 (en) | Print data supply apparatus, printing apparatus, print system and print data transmission method | |
| CN101197928A (en) | Image storing system | |
| JP2001109551A (en) | Device and method for data processing and computer- readable recording medium | |
| JP2001109692A (en) | Device, method and system for processing data and computer readable recording medium | |
| JP2000293458A (en) | Data distribution device, data receiver and controlling method of them | |
| JP2003067147A (en) | Profile information providing method and server device | |
| JP2018200542A (en) | Information processor, server device, information processing system, method for processing information, and program | |
| JP2004086874A (en) | Printing data providing device, printer, printing system, and printing data forwarding method | |
| JPH11232186A (en) | Data accumulating device | |
| JP3641887B2 (en) | Communication network | |
| WO2001022297A1 (en) | Digital media frame | |
| JPH06268801A (en) | Communications system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041101 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051220 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060131 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060403 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070105 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070305 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070622 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070705 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100727 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100727 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100727 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110727 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120727 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120727 Year of fee payment: 5 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130727 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |