JP3851319B2 - 画像データ送信生成システム - Google Patents
画像データ送信生成システム Download PDFInfo
- Publication number
- JP3851319B2 JP3851319B2 JP2004079146A JP2004079146A JP3851319B2 JP 3851319 B2 JP3851319 B2 JP 3851319B2 JP 2004079146 A JP2004079146 A JP 2004079146A JP 2004079146 A JP2004079146 A JP 2004079146A JP 3851319 B2 JP3851319 B2 JP 3851319B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- divided
- divided image
- data
- client device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 230000005540 biological transmission Effects 0.000 title claims description 21
- 238000013500 data storage Methods 0.000 claims description 77
- 238000006073 displacement reaction Methods 0.000 claims description 2
- 238000004891 communication Methods 0.000 description 34
- 238000000034 method Methods 0.000 description 23
- 238000009826 distribution Methods 0.000 description 18
- 238000007906 compression Methods 0.000 description 16
- 230000006835 compression Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 8
- 239000004973 liquid crystal related substance Substances 0.000 description 8
- 239000000463 material Substances 0.000 description 7
- 238000012546 transfer Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000004397 blinking Effects 0.000 description 2
- 238000013144 data compression Methods 0.000 description 2
- 238000012797 qualification Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000001934 delay Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Electrically Operated Instructional Devices (AREA)
- Closed-Circuit Television Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
これらネットワークの整備に伴い、個人はもとより、企業、学校、公共施設等でも該通信を利用したマナー研修、英会話学習、情報技術者資格取得講座等の各種講習、研修、学習等が行われている。所謂E・ラーニングである。これらE・ラーニングでは、代表的な例としてはマナー研修、英語学習、情報技術者資格取得のための遠隔学習などがあり、E・ラーニングシステムによって行っていた。そして、該E・ラーニングシステムでは、講師を撮影した映像と講義スライド資料とを同期させてインターネットを介して配信していた。
即ち、撮影しておいた講師の映像データと共に講義に用いるスライド映像データとを、受講者である端末側に配信するための配信サーバに予め蓄積しておく。これら蓄積しておいたデータがコンテンツとしての利用者への配信対象、即ちコンテンツデータとなる。そして蓄積しておいたコンテンツデータは、受講者である端末からの指示により、該端末へ配信されて視聴するという、オンデマンドでの利用形態が一般的であった。
これら高速ネットワークの普及によりリアルタイムでの画像の提供が可能となってきた。これに伴い、該オンデマンドでの利用では予め蓄積されていたデータの提供に留まっていたが、遠隔地と本部との間でリアルタイムで行われる大学の講義やセミナー等、逐次変化するデータの提供を必要とするリアルタイム画像データ通信が要求されるようになった。該リアルタイムに行われる通信、例えばセミナーなどでは、学習者は解らない箇所を直ぐに講師に尋ねることが可能となり、従来の集合教育同様に講師と学習者とが時間と情報とを共有できて一体感を保つことができ、より効率のよい講義が可能となる。
上記リアルタイム遠隔講義では、予め用意した資料スライド映像を提供するだけでなく、自由記入スペースに記入した映像や、必要に応じて他のWebページを表示する場合も有り、複数のアプリケーションを切替えて講義を進める場合が有る。即ち例えば、講師であるサーバでは、資料スライド映像をクライアントに表示させながら、黒板や白板のような自由記入スペースに書込む専用アプリケーションである板書ツール(以下、ツールとは単一機能を持つ小規模なソフトウェアをいう。)によって自由記入した画像を受講者であるクライアントに送るというような場合である。このような場合には、サーバと予め全てのクライアントとが共通のアプリケーションを用意しておき、サーバが表示するフレーム画像をクライアントが同期して表示するように切替えるシステムが必要であった。
該問題点を解決可能なソフトウェアとしては、従来、1対1の対応においてリアルタイムで任意のアプリケーションが作り出した資料スライド等のフレーム画像をネットワークを介して提供する手段として、例えばアプリケーション画面やWindows(登録商標)のデスクトップ画面をサーバとクライアントとで共有するソフトウェアを利用するものとして、同期遠隔型のリアルタイム画面共有ツールが有った。即ち、遠隔デスクトップ共有ツールである。遠隔デスクトップ共有ツールは、オペレーションシステムであるWindows(登録商標)上で動作するソフトウェアとして幾つかのソフトウェアが存在した。
更に又、該ツールは1対1の通信を目的としたツールであることから、1のサーバから複数のクライアントへ同時に情報を配信する事ができず、大学の講義のようなクライアントが100以上となるような大規模な1対複数の通信ができないという問題点を有した。
しかしながら、WebシステムはHTTPプロトコルがプッシュ型配信をサポートしていないため、複数のクライアントに対してWebサーバから情報をプッシュ型配信することができないという問題点を有した。
即ち、Webサーバでは、講師が用いる端末の表示場面をスナップショットイメージとして画像ファイルに保存する。そして、Webサーバでは、保存したスナップショットイメージを複数のクライアントへ送信可能な機能を有している。従って、クライアントから自動的に且つ定期的に問い合わせがあると、該問い合わせに対してWebサーバが応答して問い合わせたクライアントに対しスナップショットイメージを送信するので、複数のクライアントから問い合わせがあるとそれら複数のクライアントに対してスナップショットイメージを送信することとなり、プッシュ型配信をサポートしていないHTTPプロトコルをもちいて擬似的なプッシュ型配信サービスを実現した。これにより、複数のクライアントに対しWebサーバから講師端末に表示された画像を配信することが可能となった。
そこで、疑似プッシュ型配信システムにおいて転送する画像データを圧縮する為に、前記MPEG2やMPEG4というような画像圧縮技術を応用する事が考えられる。
しかしながら、該画像圧縮技術は、絶えず画像が書き変わる動画像、即ち映像の圧縮を対象としたものであるため、講義に用いる資料スライドのような同一の画面を比較的長い時間表示させておく場合にも常に圧縮が行われて配信されるため、配信するデータ量は減少できるものの、やはり大量のデータ転送が必要となってしまった。
具体的には、講師端末の画像データを圧縮して転送する際には、1クライアントに対して4Mbps乃至6Mbpsのネットワーク領域が必要となってしまった。即ちクライアント数が100であれば、400Mbps乃至600Mbpsの帯域を占有することとなってしまい、常に該領域が使用されるためリアルタイム配信は極めて困難であった。
更には、やはりMPEG2やMPEG4というような画像圧縮技術を用いるに際しても、クライアントが圧縮された画像データを伸長するためのツールが必要となり、クライアント側端末の動作環境を限定してしまうという問題点を有した。
そして、これらの事実に基づき、ピクセル単位の変化を見る圧縮技術を用いずに且つ一部領域の変化をクライアントに転送することで、複数のクライアントに送信する際のネットワーク帯域の軽減をはかることとした。
表示手段、データ出力手段、画像データ記憶手段、及び、制御手段を備え、制御手段が、表示手段の表示するフレームの画像データを複数に分割し、前後に入力したフレームの分割された分割画像データ相互を比較して分割画像データを出力可能な本体装置と、
本体装置とデータ通信可能に接続され、データ入力手段、データ出力手段、画像データ記憶手段、及び、制御手段を備え、HTMLファイルの記述に基づいてフレームを構成可能であり、本体装置から出力される分割画像データをデータ入力手段が入力し、所定の分割位置に表示させるよう画像データをデータ出力手段から出力するクライアント装置とからなり、
本体装置では、制御手段が、表示手段の表示するフレームの画像データを予め定める複数領域に分割し、分割した各領域の分割画像データを分割領域に対応させて画像データ記憶手段へ記憶させると共に該分割画像データを特定可能な変数を生成し、表示部が次に表示するフレームの画像データを予め定める該複数領域に分割し、分割した各領域の分割画像データを分割領域に対応させて画像データ記憶手段へ記憶させ、分割された同一領域の先に表示された画像データ及び次に表示された画像データ相互を比較し、画像データに変更があった場合には、変更があった分割画像データを画像データ記憶手段へ更新された最新の分割画像データとして記憶させると共に該分割画像データを特定可能な変数を生成し、少なくとも更新された最新の分割画像データを該変数によって特定可能に記述したHTMLファイルを生成可能であり、クライアント装置から該HTMLファイルの出力を希望する情報を受領すると該HTMLファイルをデータ出力手段によってクライアント装置へ出力可能であり、クライアント装置から所望の分割画像データを出力希望する情報を受領すると当該データをデータ出力手段からクライアント装置へ出力し、
クライアント装置では、制御手段が、本体装置に対し前記HTMLファイルの出力を希望する情報を出力して該HTMLファイルを受領し、受領したHTMLファイルに記述されている変数を画像データ記憶手段へ記憶すると共に自身の画像データ記憶手段に記憶されていない分割画像データを表す変数の有無を判断し、自身の画像データ記憶手段に記憶されていない分割画像データを表す変数が有る場合には本体装置に対し該変数によって表される分割画像データを出力させる情報を出力し、データ入力手段が本体装置から該分割画像データを受領すると更新された分割画像データとして画像データ記憶手段に記憶させ、画像データ記憶手段に記憶されている各分割画像データの最新データによってフレームを構成可能な画像データを出力可能であることを特徴とする画像データ送信生成システム、
本体装置とデータ通信可能に接続され、データ入力手段、データ出力手段、画像データ記憶手段、及び、制御手段を備え、HTMLファイルの記述に基づいてフレームを構成可能であり、本体装置から出力される分割画像データをデータ入力手段が入力し、所定の分割位置に表示させるよう画像データをデータ出力手段から出力するクライアント装置とからなり、
本体装置では、制御手段が、表示手段の表示するフレームの画像データを予め定める複数領域に分割し、分割した各領域の分割画像データを分割領域に対応させて画像データ記憶手段へ記憶させると共に該分割画像データを特定可能な変数を生成し、表示部が次に表示するフレームの画像データを予め定める該複数領域に分割し、分割した各領域の分割画像データを分割領域に対応させて画像データ記憶手段へ記憶させ、分割された同一領域の先に表示された画像データ及び次に表示された画像データ相互を比較し、画像データに変更があった場合には、変更があった分割画像データを画像データ記憶手段へ更新された最新の分割画像データとして記憶させると共に該分割画像データを特定可能な変数を生成し、少なくとも更新された最新の分割画像データを該変数によって特定可能に記述したテーブルデータを含むHTMLファイルを生成可能であり、クライアント装置から該HTMLファイルの出力を希望する情報を受領すると該HTMLファイルをデータ出力手段によってクライアント装置へ出力可能であり、クライアント装置から所望の分割画像データを出力希望する情報を受領すると当該データをデータ出力手段からクライアント装置へ出力し、
クライアント装置では、制御手段が、本体装置に対し前記HTMLファイルの出力を希望する情報を出力して該HTMLファイルを受領し、受領したHTMLファイルに記述されているテーブルデータを画像データ記憶手段へ記憶すると共に自身の画像データ記憶手段に記憶されていない分割画像データを表す変数の有無を判断し、自身の画像データ記憶手段に記憶されていない分割画像データを表す変数が有る場合には本体装置に対し該変数によって表される分割画像データを出力させる情報を出力し、データ入力手段が本体装置から該分割画像データを受領すると更新された分割画像データとして画像データ記憶手段に記憶させ、画像データ記憶手段に記憶されている各分割画像データの最新データによってフレームを構成可能な画像データを出力可能であることを特徴とする画像データ送信生成システム、
を提供する。
分割されるフレームの画像データが、表示する画面の全部又は一部である画像データ送信生成システム、
を提供する。
本体装置がマルチタスクで利用されている場合において、本体装置は現在利用されているアプリケーションの表示領域を分割されるフレームの画像データとして扱う画像データ送信生成システム、
を提供する。
本体装置はポインティングデバイスを備え、ポインティングデバイスによって指示された画像領域を分割されるフレームの画像データとして扱う画像データ送信生成システム、
を提供する。
従って、クライアント装置と本体装置との間で行われる通信に用いる帯域を、フレーム全体を送信するのに比し小さな帯域で通信可能となる。
これにより、本体装置に対する接続可能なクライアント装置数を増大することができる。
これにより、もっとも一般的に用いられているブラウザによって本体装置からの疑似的なプッシュ型配信システムが構築できる。
第1の実施例は、講師側端末2のデスクトップ画面を複数のクライアント装置4へリアルタイムで配信する場合の例である。尚、各実施例では、講師側端末2とWebサーバ3とが本体装置を形成することとなるが、講師側端末2とWebサーバ3とを別途設けるのではなく、本体装置を講師側端末2及びWebサーバ3とを一体とした構成とし、直接講師が操作することでクライアント装置4へ画像データを送信するように構成してもよい。
尚、Webサーバ3とクライアント装置4とは、この実施例ではWebブラウザを備えインターネットを利用して通信を行い、HTMLによって画像や音声等を通信可能であるが、他のブラウザ等の手段によって通信可能であってもよく、少なくも通信することでクライアント装置4がWebブラウザから取得した画像データを表示可能であればよい。
1.講師側端末2が自身のデスクトップ画面の全部又は一部を複数に分割して分割画像データを作成して画像データ記憶手段25へ記憶し、更新された分割画像データをWebサーバ3へ送信する
2.Webサーバ3は、取得した分割画像データを、作成した時間と分割された位置とを紐付けて公開ディレクトリに記憶する
3.Webサーバ3からクライアント装置4へ分割画像データを送信する際には、未だクライアント装置4へ送信していない更新された分割画像データを送信する
4.クライアント装置4では、Webサーバ3から受領した各分割画像データを記憶すると共に、記憶した各分割画像データによって、フレームの画像を形成して表示する
ことが可能であり、これらを可能とするソフトウェアがインストールされている。
尚、本実施例では、講師側端末2とWebサーバ3とが協調動作することで本体装置として機能する。
講師側端末2の制御手段22は、図2(a)に表す液晶表示部21に表示されているフレームの画像を予め定められた数、即ち図2(b)に表す25に分割し、各分割した分割画像領域毎に分割画像データを生成する。その際、各分割画像データは分割して生成された時刻と分割された画像位置とに紐付け、何処の位置の何時の画像であるかを認識可能に生成される。分割画像の生成タイミングは、予め定める時間間隔毎でよく、この実施例では5秒毎に分割画像の生成を行うものとする。この時間間隔は、短ければより講師側端末2とクライアント装置4とに表示される表示画像の時間的整合が取れ、長ければクライアント装置4に表示される画像は講師側端末2に表示された画像に遅延して表示されることとなるので適宜決定されればよく、クライアント装置4とWebサーバ3との間の通信回線やクライアント装置4の数等により適宜決定すればよい。又、講師側端末2において予め幾つかのタイミングを選択可能にしておいてもよい。尚、この実施例の説明では、講師側端末2の液晶表示部21全体の画像をクライアント装置4の表示部41が表示する例なので、図2に表すように全画面を25分割するが、講師側端末2が現在利用しているアプリケーションプログラム画面を分割対象にすることも可能であり、この場合には、講師側端末2に備えるポインティングデバイス23によって指示されアクティブにされたアプリケーションプログラムのウィンドウをフレームとして取扱い、該フレームを所定数、例えば25に分割することでもよい。更に又、アプリケーションプログラムをアクティブにする切換えをポインティングデバイス23によらず、予め定められた特定のキーを入力することで行ってもよく、その他の如何なる方法によって行ってもよい。更に又、予めショートカットキーを定めておき、該ショートカットキーが押されたときにマウス等のポインティングデバイス23が置かれているアプリケーションのウィンドウの領域を分割画像データを生成するフレームの領域としてもよい。該タイミングで生成された講師側端末2の液晶表示部21に表示されたフレームの画像は、講師側端末2の画像データ記憶手段25に記憶される。
同様に次のタイミングでも、各分割画像領域の分割画像データが画像データ記憶手段25に時刻と画像領域とに紐付けられて記憶される。従って、画像データ記憶手段25には同一の分割画像データが少なくとも異なる時刻に2つは記憶される。
図3に表すフレームの画像は講師側端末2の液晶表示部21に表示されている画像を並べて表示したものであり、説明のために各画像領域の各ピクセルは、最上段のピクセルを左からP00、その隣のピクセルをP10とし、続けてP20・・・Pm0とし、次の段のピクセルを左からP01、P11、P21・・・・・Pm1とし、順次段が下がる毎に同様にして最終段を左からP0n、P1n、P2n・・・・・・Pmnとする。
これらピクセル表示を用いて、講師側端末2の制御手段22が行う同一画像領域の前後の分割画像データ比較を説明すると、講師側端末2の制御部22は、画像データ記憶手段25に先に記憶された領域1−1の分割画像データのうち先に記憶した分割画像データ1−1_0.pngのP00ピクセルのピクセルデータと次に記録した分割画像データ1−1_1のP00ピクセルのピクセルデータとを比較し、P00ピクセルのデータに違いがある場合にはカウントし、違いがない場合にはカウントしない。次いで、同様に分割画像データ1−1_0.pngと分割画像データ1−1_1.pngのP10ピクセルのピクセルデータ相互を比較し、違いが有ればカウントし、違いがなければカウントしない。従って、P00ピクセルデータに違いがある場合にはカウントして「1」となり、次いでP10ピクセルデータにも違いがある場合には更にカウントアップして「2」とする。該カウントは、通常プログラムにおいて行われるカウント手法が用いられればよく、順次加算されて一時的に記憶される。
尚、制御手段22は全てのピクセルにおいて比較したが、カウンタ値が閾値を超えたところで、比較の作業を終了して当該分割画像データを記憶してもよく、この場合には例えば、カウントするたびに閾値とカウント値とを比較してカウント値が閾値を超えた場合には判断ステップによって分割画像データを記憶させるステップを実行するようにすればよい。
更に、講師側端末2では、クライアント装置4とWebサーバ3とがHTMLによって通信を行う場合には、クライアント装置4がWebサーバ3から更新された分割画像データを取得可能とするためのHTMLファイルを自動作成する。これは、本来プッシュ型ではないWebサーバ3を擬似的にプッシュ型とするための手段である。尚、画像データ送信生成システム1がプッシュ型でWebサーバ3から各クライアント装置4へ更新された分割画像データのみを送信するように形成してもよい。この場合にはWebサーバ3は更新された分割画像データを講師側端末2から取得すると、Webサーバ3の制御手段35が該データをデータ出力手段34によって各クライアント装置4へ送信する。該送信の方法は、画像データ送信生成システム1で用いられるプロトコルに基づいて行われれば足りる。
即ち、図3に表す画像は、最も初期に表された画像であり、領域1−1の分割画像データは該画像が有る前はデフォルトの画像データであり、講師側端末2の制御手段22によって先に説明した分割画像データ相互の比較が行われた結果更新があったと判断され更新された分割画像データが「1−1_0.png」ファイルとして生成されてWebサーバ3に送信される。同様に、分割領域2−1、分割領域1−2、分割領域2−2も夫々「2−1_0.png」「1−1_0.png」「2−2_0.png」ファイルが送信される。Webサーバ3では、入力した各分割画像データを記憶する。
講師側端末2では、予め図4に表すようなHTML形式に記述されたHTMLファイルが用意されており、4行目に書かれている「./1−1_0.png」は分割領域1−1の分割画像データを表す変数として記述されている。同様に5行目に書かれている「./2−1_0.png」は分割領域2−1の分割画像データを表す変数として、8行目に書かれている「./1−2_0.png」は分割領域1−2の分割画像データを表す変数として、9行目に書かれている「./2−2_0.png」は分割領域2−2の分割画像データを表す変数として記述されている。このように記述されているHTMLファイルに対し、制御手段22では上記分割画像データの比較を行った結果、更新された分割画像データがあった場合には、更新された分割画像データの領域を表す変数に上記新たに生成した分割画像データを代入することでHTMLファイルを自動的に生成する。そして生成したHTMLファイルは、更新された分割画像データ同様、制御手段22がデータ出力手段によってWebサーバ3は送信する。図4に表す例では、予め記述されていた分割画像データの変数へ更新された各分割画像データ「1−1_0.png」「2−1_0.png」「1−1_0.png」「2−2_0.png」が代入された結果を表している。
従って、講師側端末2では前記のタイミングで各分割画像データを生成して順次Webサーバ3へ送信する。
即ち、Webサーバ3は、講師側端末2から分割画像データが送信されると、制御手段35が該データをデータ記憶手段31へ記憶させる。従って、データ記憶手段31では、送信された「1−1_0.png」「2−1_0.png」「1−1_0.png」「2−2_0.png」を記憶する。記憶された各分割画像データは、クライアント装置4からの問い合わせによってクライアント装置4へ送信可能なように公開ディレクトリに記憶する。同様に、講師側端末2から受領するHTMLファイルも、クライアント装置4からの問い合わせによってクライアント装置4へ送信可能にデータ記憶手段31に記憶する。記憶されたHTMLファイルは、常に更新されて記憶される。このように制御手段35がデータ入力手段33から入力する分割画像データ及びHTMLファイルをデータ記憶手段31へ記憶することで、分割画像データ及びHTMLファイルはクライアント装置4からの問い合わせ(取得要求)によってクライアント装置4へ送信可能となり、制御手段がクライアント装置4から取得要求を受領するとデータ記憶手段31に記憶されたHTMLファイルをデータ出力手段34から出力可能である。
尚、この実施例では、分割画像データを記憶するWebサーバ3のデータ記憶手段31の公開ディレクトリは、ファイアウォールの内側に設置されており、講師側端末2からアクセスするVPNがファイアウォールを超えられるようにセキュリティをかけておくのが望ましい。このようにセキュリティを掛けることで、講師側端末2以外はWebサーバ3の公開ディレクトリへ書込みができなくなり安全性が確保される。
クライアント装置4では、制御手段43がデータ入力手段42によってインターネットを介してWebサーバ3からHTMLファイルの取得要求をし、HTMLファイルを取得可能である。即ちクライアント装置4の制御手段43がHTMLファイルの取得要求をデータ出力手段45から出力することで、Webサーバ3からHTMLファイルが出力されると該ファイルを制御手段43が認識して受領し画像データ記憶手段44へ記憶可能である。これら一連のファイル取得は、一般的に行われているWebブラウザによる通信である。
又、クライアント装置4では、HTMLファイルを受領すると、該ファイルの記述に基づいてHTMLに基づく通信及び画像表示を行う。即ち、HTMLファイルを受信すると、図4に表す4行目、5行目、8行目、9行目に記載された前記各分割画像データを表示部41に表示すべく、制御手段43がクライアント装置4のWebブラウザのローカルキャッシュから取得可能であるか否かを判断し、取得可能であれば該ローカルキャッシュの分割画像データを用いて該分割画像データの表示領域に表示させ、取得可能でなければ制御手段43がデータ出力手段45によってWebサーバ3のデータ記憶手段31に設ける公開ディレクトリへダウンロードに行き取得する。
又、プッシュ型配信システムにおいて、Webサーバ3と接続するクライアント装置4との接続条件、即ちデータ通信可能な速度(単位時間あたりのデータ通信可能な容量)を予めWebサーバ3に登録しておく、あるいは、Webサーバ3が該データ通信可能な速度を自動的に判断可能にしておき、該通信速度に見合った時間間隔で該クライアント装置4へ送信するようにすれば、クライアント装置4毎に異なった時間間隔でデータ通信することが可能となり、Webサーバ3およびクライアント装置4共により効率の良いデータ通信が可能となる。本実施例のような疑似プッシュ型配信システムにおいては、前記データ通信可能な速度(単位時間あたりのデータ通信可能な容量)をクライアント装置4に登録するかクライアント装置4自身がデータ通信可能な速度を自動的に判断可能にしておくことで、同様に通信速度に見合った時間間隔で該クライアント装置4からWebサーバ3へ問い合わせするようにできる。そしてこの場合には、前記Java(登録商標)SCRIPTプロジャに記載される問い合わせを行うタイミングを書き換えることで行える。
まず、クライアント装置4には各分割された領域の分割画像データによって図3に表すフレームの画像が表示されている。このときクライアント装置4は、Webサーバ3へ問い合わせることで図4に表すHTMLファイルを取得し、HTMLファイルに記載された「1−1_0.png」「2−1_0.png」「1−2_0.png」「2−2_0.png」の各分割画像データをWebサーバ3から取得する。このとき取得した画像データはフレームすべてを構成するための全データとなるが、初期に表示するために必要であり、言い換えればすべての分割画像データの分割領域がデフォルト状態から交信されているためである。
そして、この図3のフレーム表示時には既に「1−1_0.png」「2−1_0.png」「1−2_0.png」「2−2_0.png」の各分割画像データはWebブラウザのローカルキャッシュ、即ちクライアント装置4内の画像データ記憶手段44に取得して記憶済みである。
すると講師側端末2では、変更が加えられた次のタイミングで各分割画像データを取得して画像データ記憶手段25へそれぞれ「1−1_1.png」「2−1_1.png」「1−2_1.png」「2−2_1.png」という取得時間即ちタイミングと分割領域とに紐づけた分割画像データとして記憶する。即ち、変更が加えられた分割領域2−1の分割画像データは、変更が加えられる前の分割画像データとは異なる分割画像データとして分割画像データ記憶手段25に分割画像データ「2−1_1.png」というファイルで記憶される。他の領域の分割画像データは、「1−1_1.png」「1−2_1.png」「2−2_1.png」というように分割画像データを取得したタイミングは異なるものの、記録された各ピクセルの情報である分割画像データは同一の内容として記憶される。
すると、該記憶された分割領域2−1に変更が加えられた後のタイミングで、各分割画像領域の更新の有無を判断するステップが行われる。
即ち、領域1−1における既に作成された「1−1_0.png」の分割画像データと、この比較が行われるときに取得されて記録された「1−1_1.png」である前回同様の画像が描かれて変更が加えられていない分割画像データの、それぞれ同位置のピクセルデータを前記したようにP00からPmn迄順次比較して行き、変更があった場合にカウントする。すると「1−1_0.png」の分割画像データと「1−1_1.png」の分割画像データとは同じなので変更の有無をカウントした値が「0」でとなり閾値以下なので、講師側端末2の制御手段22は生成した「1−1_1.png」の分割画像データをWebサーバ3へは送信しない。
すると領域2−1では、変更が加えられているため、「2−1_0.png」の分割画像データと「2−1_1.png」の分割画像データとは異なるので、変更の有無をカウントした値が「0」ではなく例えば「833」等の数値となり閾値を超えている。
講師側端末2の制御手段22では、カウント値が閾値を超えたので、画像データ記憶手段25に新たに記憶した「2−1_1.png」の分割画像データをデータ出力手段を介してWebサーバ3へ送信する。
ついで領域1−2および領域2−2もピクセル単位での比較が行われ、領域1−1同様各領域とも同一の画像であるのでカウント値が閾値以下となり新たに記憶された「1−21_1.png」「2−2_1.png」はWebサーバ3へ送信されない。
そして、講師側端末2では、制御手段22が図4に表すHTMLファイルに全分割画像データ中変更のあった分割画像データである「2−1_1.png」を特定するための変更を加え、Webサーバ3へ送信する。即ち図6に表すように、5段目に記載された領域2−1の画像データを特定するファイル名を、前記したように変数にファイル名「2−1_1.png」を与えて置き換えることで、HTMLファイルを書き換える。尚、図6中のアンダーラインは、5段目を指し示すために表示したにすぎず実際のHTMLファイルにはない。
このようにWebサーバ3では、更新された分割画像データ「2−1_1.png」およびHTMLファイルが記憶され、クライアント装置4に対し公開されることとなる。
ついで、クライアント装置4では、制御手段43がHTMLファイルを解析し、図6の4行目に表される分割画像データを表す「1−1_0.png」のデータが自身のローカルキャッシュに存在するか否かを判断する。分割画像データ「1−1_0.png」は既にローカルキャッシュに存在するので、制御手段43はローカルキャッシュに記憶されている「1−1_0.png」を表示部41の領域1−1へ表示させる。
ついで、制御手段43は、HTMLファイルを解析し、図6の8行目に表される分割画像データを表す「1−2_0.png」のデータが自身のローカルキャッシュに存在するか否かを判断する。分割画像データ「1−2_0.png」は既にローカルキャッシュに存在するので、制御手段43はローカルキャッシュに記憶されている「1−2_0.png」を表示部41の領域1−2へ表示させる。
ついで、制御手段43は、HTMLファイルを解析し、図6の9行目に表される分割画像データを表す「2−2_0.png」のデータが自身のローカルキャッシュに存在するか否かを判断する。分割画像データ「2−2_0.png」は既にローカルキャッシュに存在するので、制御手段43はローカルキャッシュに記憶されている「2−2_0.png」を表示部41の領域2−2へ表示させる。
尚、講師側端末2に変更が加えられていない間でも、クライアント装置4ではJava(登録商標)SCRIPTプロジャに記述されたタイミングで上記同様のWebサーバ3への問い合わせは行っているが、何れの分割領域にも変更が加えられていないためWebサーバ3から取得するHTMLファイルは前回取得したHTMLファイルと同様であるので、HTMLファイルの4行目、5行目、8行目、及び、9行目に記述された各分割画像データとも画像データ記憶手段44であるローカルキャッシュに記憶されているため、Webサーバ3から分割画像データを取得することなく自身の表示部41へ表示を行う。これにより、クライアント装置4では、やはり講師側端末2のフレームの画像と同様のフレームの画像を表示部41へ表示していることになる。
即ち、図5に表す表示画面に対し、講師側端末2で講師が図7に表すような領域1−1に対する画像の変更を加える。
すると講師側端末2では、変更が加えられた次のタイミングで各分割画像データを取得して画像データ記憶手段25へそれぞれ「1−1_2.png」「2−1_2.png」「1−2_2.png」「2−2_2.png」という取得時間即ちタイミングと分割領域とに紐づけた分割画像データとして記憶する。即ち、変更が加えられた分割領域2−1の分割画像データは、変更が加えられる前の分割画像データとは異なる分割画像データとして分割画像データ記憶手段25に分割画像データ「1−1_2.png」というファイルで記憶される。他の領域の分割画像データは、「2−1_2.png」「1−2_2.png」「2−2_2.png」というように分割画像データを取得したタイミングは異なるものの、記録された各ピクセルの情報である分割画像データは同一の内容として記憶される。
即ち、領域1−1における既に作成された「1−1_1.png」の分割画像データと、この比較が行われるときに取得されて記録された「1−1_2.png」である前回に変更が加えられた分割画像データの、それぞれ同位置のピクセルデータを前記したようにP00からPmn迄順次比較して行き変更の有無をカウントしていく。
すると領域1−1では、変更が加えられているため、「1−1_1.png」の分割画像データと「1−1_2.png」の分割画像データとは異なるので、変更の有無をカウントした値が「0」ではなく例えば「7326」等の数値となり閾値を超えている。
ついで、講師側端末2の制御手段22では、カウント値が閾値を超えたので、画像データ記憶手段25に新たに記憶した「1−1_2.png」の分割画像データをデータ出力手段を介してWebサーバ3へ送信する。
ついで領域1−2および領域2−2もピクセル単位での比較が行われ、領域2−1同様各領域とも同一の画像であるのでカウント値が閾値以下となり新たに記憶された「1−21_2.png」「2−2_2.png」はWebサーバ3へ送信されない。
このようにWebサーバ3では、更新された分割画像データ「1−1_2.png」およびHTMLファイルが記憶され、クライアント装置4に対し公開されることとなる。
ついで、制御手段43は、HTMLファイルを解析し、図8の8行目に表される分割画像データを表す「1−2_1.png」のデータが自身のローカルキャッシュに存在するか否かを判断する。分割画像データ「1−2_1.png」は既にローカルキャッシュに存在するので、制御手段43はローカルキャッシュに記憶されている「1−2_1.png」を表示部41の領域1−2へ表示させる。
ついで、制御手段43は、HTMLファイルを解析し、図8の9行目に表される分割画像データを表す「2−2_1.png」のデータが自身のローカルキャッシュに存在するか否かを判断する。分割画像データ「2−2_1.png」は既にローカルキャッシュに存在するので、制御手段43はローカルキャッシュに記憶されている「2−2_1.png」を表示部41の領域2−2へ表示させる。
第2の実施例は、第1の実施例と異なり、講師側端末2が自身のデスクトップ画面の全部又は一部のスナップショットを取得すべき画像領域を設定した段階で一度HTMLファイルを作成してWebサーバ3に送信する。一方Webサーバ3では、クライアント装置4が最初にWebサーバ3へ接続し講師側端末2によって指定された共有するフレームを取得する際に、該HTMLファイルをクライアント装置4へ送信する。これにより、クライアント装置4では、通信を開始して画面を共有する際にHTMLファイルを得る。そして、一度クライアント装置4へWebサーバ3がHTMLファイルを送信した後は、共有する画面の画像領域中にある分割画像データのうちいずれかが更新された場合には、第1の実施例と異なり、Webサーバ3ではいちいちHTMLファイルを再作成することはせず、クライアント装置4からWebサーバ3へ問い合わせが有る度に更新された分割画像領域及び同領域の分割画像データを特定可能な情報をWebサーバ3からクライアント装置4へ出力する。
このように、第2の実施例では、分割画像データの比較の結果、カウンタ値が閾値を越えた場合であっても、HTMLファイルは再作成しない。その代わりに第2の実施例では、分割画像データの比較の結果、カウンタ値が閾値を越えた場合には図9(b)に表す更新された分割画像データのリストを自動的に作成する。このとき作成される分割画像データのリストには、クライアント装置4が新規にWebサーバ3から取得すべき分割画像データのファイル名と当該画像データの座標情報(分割画像領域の位置)とが対応付けられて存在する。
又、クライアント装置4では、第1の実施例同様、所定時間経過毎にWebサーバ3へ更新された分割画像データの有無を問い合わせる。該問い合わせも第1の実施例同様である。但し、第2の実施例では、第1の実施例と異なり、クライアント装置4がWebサーバ3へ問い合わせることで図9(b)に表す更新画像リストファイルを取得する。
『<IMgsrc=”./1−1_1.png”name”1_1>』
部分が
『<IMgsrc=”./1−1_2.png”name”1_1>』
と書換えた時に相当する表示部41への画像表示が行われる。
上述のように、第2の実施例によれば、Webサーバ3から取得したHTMLファイルを変更または再作成することなく、特定の分割画像領域(セル)の画像だけを表示更新することができる。従って、ローカルキャッシュ機能を使用できない種類のWebブラウザであっても、クライアント装置4として用いる事が可能となる。
又、クライアント装置4がWebサーバ3へ更新された分割画像データがあるか否かを問い合わせる時間間隔は、講師側端末2が分割画像データに更新があったか否かを比較する時間間隔と同間隔とすることで、講師側端末2のある分割画像データの更新に続けて他の分割画像領域に変更があった場合でも、講師側端末2の更新比較結果と同じ画像を表示可能にできる。
尚、第2の実施例のその他は第1の実施例と同様である。
第3の実施例は、予め講師側端末2に講師が使用するアプリケーションを登録可能に構成する。そして、例えば、マルチタスクウィンドウ形式のOSによって、講師側端末2において講師が使用しているアプリケーションをOS側の情報から取得可能な場合に、該取得したアプリケーションのウィンドウ領域をクライアント装置4へ転送するフレームとして分割する場合である。
そして、図11に表すように、登録されたアプリケーションのうち、講師側端末2の講師による操作によってアクティブになったアプリケーション、即ち最前面に移動され表示されたアプリケーションがクライアント装置4へ転送すべきフレームの領域として扱う。
具体的には、講師側端末2が図11(a)に表す状態では、アクティブにされているアプリケーションはCなので、転送すべき、即ちフレームをクライアント装置4へ転送しなくても良いと制御手段22が判断する。従って、何も行われない。
即ち、OS側の情報からアプリケーションAのウィンドウの液晶表示部21上のXY座標の範囲を取得し、取得したXY座標を予め定める分割領域数となるように割り分割する。例えばXY座標の範囲がX側が500、Y側が250であり、5×5の25分割であれば各分割領域をアプリケーションAのウィンドウ上にX軸側を100ピクセル、Y軸側を50ピクセルずつとなる領域に分割し、該領域をそれぞれクライアント装置4へ送信する分割領域と定める。そして、アプリケーションAのウィンドウをクライアント装置4へ送信するフレームとして、該フレームに第1の実施例同様の処理を施す。
又、図11(c)に表すようにアクティブなアプリケーションがBに変更された場合には新たにアプリケーションBのウィンドウを分割対象のフレームとして分割領域を設定し、アプリケーションAの場合同様に処理を行う。
更に又、上記各実施例では、クライアント装置4はパーソナルコンピュータ端末として説明したが、PDAや携帯電話等のユビキタス機器を用いても良い。
即ち、プレゼンテーションスライドや、監視カメラが撮影した間欠画像等を遠隔のコンピュータやデバイスに送信し、遠隔において表示や再生する装置に適用でき、E・ラーニング、遠隔セミナ、オンラインヘルプデスク、遠隔ヘルスケア、遠隔故障診断、監視カメラなどの用途に適用可能である。又、特定のオペレーションシステムの使用が強制されないオープンシステムであるので、パーソナルコンピュータ、PDA、携帯電話等のユビキタス機器をクライアント装置として利用するE・ラーニング等上記各用途にも利用可能である。
2 講師側端末
21 液晶表示部
22 制御手段
23 ポインティングデバイス
24 キーボード
25 画像データ記憶手段
3 Webサーバ
31 データ記憶手段
32 表示手段
33 データ入力手段
34 データ出力手段
35 制御手段
4 クライアント装置
41 表示部
42 データ入力手段
43 制御手段
44 画像データ記憶手段
45 データ出力手段
Claims (5)
- 表示手段、データ出力手段、画像データ記憶手段、及び、制御手段を備え、制御手段が、表示手段の表示するフレームの画像データを複数に分割し、前後に入力したフレームの分割された分割画像データ相互を比較して分割画像データを出力可能な本体装置と、
本体装置とデータ通信可能に接続され、データ入力手段、データ出力手段、画像データ記憶手段、及び、制御手段を備え、HTMLファイルの記述に基づいてフレームを構成可能であり、本体装置から出力される分割画像データをデータ入力手段が入力し、所定の分割位置に表示させるよう画像データをデータ出力手段から出力するクライアント装置とからなり、
本体装置では、制御手段が、表示手段の表示するフレームの画像データを予め定める複数領域に分割し、分割した各領域の分割画像データを分割領域に対応させて画像データ記憶手段へ記憶させると共に該分割画像データを特定可能な変数を生成し、表示部が次に表示するフレームの画像データを予め定める該複数領域に分割し、分割した各領域の分割画像データを分割領域に対応させて画像データ記憶手段へ記憶させ、分割された同一領域の先に表示された画像データ及び次に表示された画像データ相互を比較し、画像データに変更があった場合には、変更があった分割画像データを画像データ記憶手段へ更新された最新の分割画像データとして記憶させると共に該分割画像データを特定可能な変数を生成し、少なくとも更新された最新の分割画像データを該変数によって特定可能に記述したHTMLファイルを生成可能であり、クライアント装置から該HTMLファイルの出力を希望する情報を受領すると該HTMLファイルをデータ出力手段によってクライアント装置へ出力可能であり、クライアント装置から所望の分割画像データを出力希望する情報を受領すると当該データをデータ出力手段からクライアント装置へ出力し、
クライアント装置では、制御手段が、本体装置に対し前記HTMLファイルの出力を希望する情報を出力して該HTMLファイルを受領し、受領したHTMLファイルに記述されている変数を画像データ記憶手段へ記憶すると共に自身の画像データ記憶手段に記憶されていない分割画像データを表す変数の有無を判断し、自身の画像データ記憶手段に記憶されていない分割画像データを表す変数が有る場合には本体装置に対し該変数によって表される分割画像データを出力させる情報を出力し、データ入力手段が本体装置から該分割画像データを受領すると更新された分割画像データとして画像データ記憶手段に記憶させ、画像データ記憶手段に記憶されている各分割画像データの最新データによってフレームを構成可能な画像データを出力可能であることを特徴とする画像データ送信生成システム。 - 表示手段、データ出力手段、画像データ記憶手段、及び、制御手段を備え、制御手段が、表示手段の表示するフレームの画像データを複数に分割し、前後に入力したフレームの分割された分割画像データ相互を比較して分割画像データを出力可能な本体装置と、
本体装置とデータ通信可能に接続され、データ入力手段、データ出力手段、画像データ記憶手段、及び、制御手段を備え、HTMLファイルの記述に基づいてフレームを構成可能であり、本体装置から出力される分割画像データをデータ入力手段が入力し、所定の分割位置に表示させるよう画像データをデータ出力手段から出力するクライアント装置とからなり、
本体装置では、制御手段が、表示手段の表示するフレームの画像データを予め定める複数領域に分割し、分割した各領域の分割画像データを分割領域に対応させて画像データ記憶手段へ記憶させると共に該分割画像データを特定可能な変数を生成し、表示部が次に表示するフレームの画像データを予め定める該複数領域に分割し、分割した各領域の分割画像データを分割領域に対応させて画像データ記憶手段へ記憶させ、分割された同一領域の先に表示された画像データ及び次に表示された画像データ相互を比較し、画像データに変更があった場合には、変更があった分割画像データを画像データ記憶手段へ更新された最新の分割画像データとして記憶させると共に該分割画像データを特定可能な変数を生成し、少なくとも更新された最新の分割画像データを該変数によって特定可能に記述したテーブルデータを含むHTMLファイルを生成可能であり、クライアント装置から該HTMLファイルの出力を希望する情報を受領すると該HTMLファイルをデータ出力手段によってクライアント装置へ出力可能であり、クライアント装置から所望の分割画像データを出力希望する情報を受領すると当該データをデータ出力手段からクライアント装置へ出力し、
クライアント装置では、制御手段が、本体装置に対し前記HTMLファイルの出力を希望する情報を出力して該HTMLファイルを受領し、受領したHTMLファイルに記述されているテーブルデータを画像データ記憶手段へ記憶すると共に自身の画像データ記憶手段に記憶されていない分割画像データを表す変数の有無を判断し、自身の画像データ記憶手段に記憶されていない分割画像データを表す変数が有る場合には本体装置に対し該変数によって表される分割画像データを出力させる情報を出力し、データ入力手段が本体装置から該分割画像データを受領すると更新された分割画像データとして画像データ記憶手段に記憶させ、画像データ記憶手段に記憶されている各分割画像データの最新データによってフレームを構成可能な画像データを出力可能であることを特徴とする画像データ送信生成システム。 - 分割されるフレームの画像データが、表示する画面の全部又は一部である請求項1又は請求項2に記載の画像データ送信生成システム。
- 本体装置がマルチタスクで利用されている場合において、本体装置は現在利用されているアプリケーションの表示領域を分割されるフレームの画像データとして扱う請求項1又は請求項2に記載の画像データ送信生成システム。
- 本体装置はポインティングデバイスを備え、ポインティングデバイスによって指示された画像領域を分割されるフレームの画像データとして扱う請求項1又は請求項2に記載の画像データ送信生成システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004079146A JP3851319B2 (ja) | 2004-03-18 | 2004-03-18 | 画像データ送信生成システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004079146A JP3851319B2 (ja) | 2004-03-18 | 2004-03-18 | 画像データ送信生成システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005269272A JP2005269272A (ja) | 2005-09-29 |
JP3851319B2 true JP3851319B2 (ja) | 2006-11-29 |
Family
ID=35093332
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004079146A Expired - Lifetime JP3851319B2 (ja) | 2004-03-18 | 2004-03-18 | 画像データ送信生成システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3851319B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4817289B2 (ja) * | 2005-09-29 | 2011-11-16 | 富士通株式会社 | 穴埋めテスト問題作成プログラム、方法及び装置 |
JP4881930B2 (ja) * | 2008-09-29 | 2012-02-22 | 日本電信電話株式会社 | 画面共有システム及び画面共有方法 |
GB2481612A (en) * | 2010-06-30 | 2012-01-04 | Skype Ltd | Updating image regions in a shared image system |
CN105100134A (zh) | 2014-04-28 | 2015-11-25 | 思科技术公司 | 屏幕共享缓存管理 |
-
2004
- 2004-03-18 JP JP2004079146A patent/JP3851319B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2005269272A (ja) | 2005-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CA2973415C (en) | Method and system for recording and broadcasting of network teaching | |
US10872535B2 (en) | Facilitating facial recognition, augmented reality, and virtual reality in online teaching groups | |
US7185116B2 (en) | Template-based customization of a user interface for a messaging application program | |
US7953795B2 (en) | Method and apparatus for participating in a conference session over a data communication network | |
US20040128350A1 (en) | Methods and systems for real-time virtual conferencing | |
US20150012831A1 (en) | Systems and methods for sharing graphical user interfaces between multiple computers | |
US10404763B2 (en) | System and method for interactive and real-time visualization of distributed media | |
KR20140065764A (ko) | 기능 확장이 가능한 협업 스크린 시스템 및 협업 방법 | |
CN112261434A (zh) | 界面布局控制、处理方法及其相应的装置、设备、介质 | |
CN112911320B (zh) | 一种直播方法、装置、计算机设备和存储介质 | |
Berena et al. | Shared virtual presentation board for e-Meeting in higher education on the WebELS platform | |
Young et al. | Protium, an infrastructure for partitioned applications | |
WO2017151012A1 (ru) | Способ обработки машиночитаемой информации | |
JP3851319B2 (ja) | 画像データ送信生成システム | |
KR101583782B1 (ko) | 클라우드 서버를 활용한 데이터 공유 시스템 및 방법 | |
JP2017062645A (ja) | 画像配信システム、画像配信方法及びプログラム | |
CN103336649A (zh) | 一种多终端间反馈窗图像共享的方法及装置 | |
JP2001243195A (ja) | 共有情報利用システム、方法及び記憶媒体 | |
CN111766998A (zh) | 数据交互方法、装置、电子设备及计算机可读存储介质 | |
KR20220067402A (ko) | 쌍방향 인터넷 실시간 강의 시스템 및 강의 방법 | |
WO2023067715A1 (ja) | 情報提示システム、装置、方法およびプログラム | |
JP7173101B2 (ja) | 端末装置、プログラム、コンテンツ共有方法及び情報処理システム | |
JP2005025399A (ja) | インターネットを使った情報交換手段 | |
CN113568593A (zh) | 内容传输方法、装置及电子设备 | |
CN115801772A (zh) | 多终端控制方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060209 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060421 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20060614 |
|
TRDD | Decision of grant or rejection written | ||
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20060614 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060801 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060831 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 3851319 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100908 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120908 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120908 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150908 Year of fee payment: 9 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |