JP4100421B2 - コンピュータシステム - Google Patents

Description

本発明は、ネットワークを介してリモート操作に係わる情報を送受する計算機間の表示情報転送技術に関する。

ネットワークを介してパーソナルコンピュータ等の計算機を複数接続したネットワークコンピュータシステムにおいて、操作側計算機（ユーザ計算機という）から他の被操作側計算機（ホスト計算機という）に接続してリモート操作を行う技術が実用化されている。リモート操作の際には、操作側計算機で行ったキーボードやマウス等からの入力操作内容が、ホスト計算機へ送信され、その入力操作に応じた情報処理がホスト計算機で実行される。ホスト計算機による画面出力内容は操作側計算機へ送信され、表示装置にリモート操作画面として表示される。

一般に画面出力内容のデータ量は操作入力のデータ量に比べて膨大なため、従来のリモート操作では、有限のネットワーク帯域で効率的にリモート操作画面を送受できるように圧縮符号化が行われている（例えば、特許文献１参照）。加えて、インターネット等の不特定多数が利用するネットワークで秘匿性を高めるために、送受信データの暗号化や仮想私設網（ＶＰＮ）に関する技術も用いられている。

国際公開第２００１／０９２９７３号パンフレット

従来技術には、リモート操作によってホスト計算機で再生処理した、動画やストリーミング配信画像（以下、動画と総称する）を操作側計算機に送信して表示しようとすると、送信データ量の変動やネットワークの帯域幅変動等の影響を受けて、ホスト計算機から送信したデータが操作側計算機でタイミングよく処理されず、表示画像の動きが止まったり、画像の一部が欠落したりして、滑らかな動画を表示できないという問題がある。

すなわち、ホスト計算機では、標準的な動画圧縮アルゴリズムで符号化されている動画データに対して、リモート操作により適切な復号化処理を行い、安定した表示速度の動画となるように再生処理を行う。しかし、再生処理した画像に対して再度、リモート操作のための圧縮符号化をホスト計算機で行い、ネットワーク経由の送受信処理を経て、操作側計算機で画面表示処理を行うため、これらの処理の遅延やゆらぎが増大し、操作側計算機では結果的に動画表示の安定性が失われてしまう。

暗号化したりやインターネット上でのＶＰＮ等を用いたりすると、上記の問題は更に深刻になる。すなわち、暗号処理や通信パケットのカプセル化、トンネリング等のＶＰＮ処理が加わることにより、ホスト計算機の動画送信処理と操作側計算機の画面表示処理のタイミングが必ずしも同期しない。また、ネットワークにおけるパケット処理が原因となって、パケットのロスや再送が多発するなど、新たな問題も発生する。

本発明は、ネットワークを介してリモート操作される被操作側計算機から操作側計算機へ動画を送信し表示する際の上述の問題を解決し、ネットワークコンピュータシステムの操作側計算機において安定した動画表示が可能な動画送信表示方法を提供する。

本発明は、操作側計算機で動画を再生する際に、被操作側計算機と操作側計算機とが連携して動画送信表示処理を行う機能を備え、操作側計算機の表示画面上で正しく表示されるように動画再生を制御する機能を設けたものである。

本発明の動画送信表示方法は、より詳細な一態様によれば、
操作側計算機と被操作側計算機とがネットワークを介して接続され、操作側計算機が被操作側計算機に接続して操作入力を行ない、操作側計算機の表示装置に、被操作側計算機の操作結果画面を表示するネットワークコンピュータシステムにおいて、被操作側計算機による、操作側計算機において入力された、動画像の再生操作に関するイベント情報を捕捉するステップと、イベント情報に基づいて、当該被操作側計算機の動画像の再生に関する制御情報を、操作側計算機に送信するステップと、操作側計算機による、受信した動画像の再生に関する制御情報により再生制御される動画データを受信するステップと、制御情報に基づき、受信した動画データから表示する動画像を再生するステップと、表示装置に表示する操作結果画面に、再生した動画像を重畳表示するステップと、を備えることを特徴とする。

本発明の動画像表示方法は、さらに、被操作側計算機による、捕捉したイベント情報が、当該被操作側計算機に保存している動画ファイルから再生するイベントか、他の計算機に保存している動画データを再生するイベントかを判定するステップ、を備えても良いし、または、被操作側計算機による、捕捉したイベント情報が、保存している動画ファイルから再生するイベントと判定した場合に、保存している動画ファイルから生成した動画データを、操作側計算機へ送信するステップと、操作側計算機による、動画データを被操作側計算機から受信するステップと、を備えてもよい。

本発明の動画像表示方法は、さらに、操作側計算機による、動画データの再生におけるタイミング情報を、被操作側計算機に送信するステップと、被操作側計算機による、操作側計算機が、動画像をその表示すべき速度より早く、対応する動画データから再生するように、受信したタイミング情報に基づき、動画データの送信速度を調節するステップと、を備えても良い。

本発明の動画像表示方法は、さらに、被操作側計算機による、捕捉したイベント情報が、他の計算機から動画データを受信して再生するイベントと判定した場合に、イベント情報に基づいて再生する動画データの取得要求を他の計算機に送信するステップと、操作側計算機による、動画データを他の計算機から受信するステップと、を備えても良い。より詳しくは、操作側計算機は、イベント情報に基づいて再生する動画データの取得要求を他の計算機に送信するステップと、動画データを他の計算機から、被操作側計算機を介さずに受信するステップと、を備えても良い。

本発明の動画像表示方法は、さらに、被操作側計算機による、操作側計算機において入力されたイベント情報に基づき、動画像の表示領域を定めるステップと、定めた表示領域の情報を、操作側計算機へ送信する制御情報に含めるステップと、を備え、操作側計算機による、制御情報に従って、操作結果画面に重畳表示する動画像の表示領域を定め、動画像を重畳表示するステップと、を備えても良い。または、操作側計算機において、入力されたイベント情報に基づき、動画像の表示領域を定めても良い。

本発明の動画像表示方法は、さらに、被操作側計算機による、動画ファイルから読み出した符号化データを動画データとするか、符号化データから他の形式の動画データを作成するか、を選択するステップ、を備えても良い。さらに、操作者が操作側計算機において入力するイベント情報に基づいて、被操作側計算機において上記選択を行っても良い。

上記態様によれば、リモート操作を行うホスト計算機と操作側計算機とが連携して動画転送表示処理を行うので、操作側計算機の表示画面上で表示速度が一定で滑らかな動画表示が可能になる。

また、分散した複数の計算機が連携して動画送信処理を実行するので、計算機資源を有効に活用できるという利点がある。

上記態様による動画送信表示方法は、また、動画コンテンツの配信システムや双方向で動画像を利用するシステム等での利用が可能である。

本発明によれば、操作側計算機が被操作側計算機にネットワークを介して接続して、リモート操作を行う場合に、操作側計算機の表示画面上で、意図された通りの表示速度による動画表示が可能になる。

本発明の一実施例について図１乃至図７を用いて説明する。また、本発明の他の実施例について各々図８乃至図９、および図１０を用いて説明する。

図１は、本発明の動画像表示方法の実施例であるネットワークコンピュータシステムの構成図である。このシステムは、インターネット等から成るネットワーク３にパーソナルコンピュータ等の計算機を複数接続してリモート操作を行うように構成したものである。

図１では、説明の便宜上、操作者側のユーザ計算機１と被操作側のホスト計算機２を一台ずつ図示している。また、符号化された動画データ等をストリーミング配信する動画配信サーバ装置（以下、動画配信サーバという）４も１台だけ図示しているが、このサーバ装置４がネットワーク３上に複数分散して存在してもよい。

ユーザ計算機１は、内部にメモリ１０、中央演算処理部１４、通信制御部１５、画像表示処理部１６、外部インタフェース（Ｉ／Ｆ）処理部１７等を備え、外部接続機器としてディスプレイなどの出力装置（以下、ディスプレイと総称する）１８とキーボードやマウスなどの入力装置（キーボードマウスと総称する）１９を備えている。これらは図示していないバス等の内部接続を介して相互に情報を伝達する仕組みになっており、通常の計算機としての詳細な動作説明はここでは省略する。

メモリ１０上には、中央演算処理部１４により実行される、オペレーティングシステム（ＯＳ）１３と、そのアプリケーションプログラムである、動画受信再生プログラム１１とリモート操作プログラム１２とを備えている。

ホスト計算機２は、内部にメモリ２０、中央演算処理部２４、通信制御部２５、画像表示処理部２６、外部Ｉ／Ｆ処理部２７、ハードディスクなどを用いたデータ記憶部２８等を備えている。

図示していないが、ユーザ計算機１と同様に、ディスプレイやキーボードマウス等を外部接続機器として備えてもよい。これらがバス等の内部接続を介して相互に情報を伝達する仕組みになっていることは、ユーザ計算機１と同様である。

メモリ２０上には、中央演算処理部２４により実行される、ＯＳ２３と、そのアプリケーションプログラムとして、動画処理送信プログラム２１
と被リモート操作プログラム２２、さらに文書処理プログラム２９ａや図形処理プログラム２９ｚ等を備えている。

なお、メモリ１０、２０は電源が供給されなくなると記憶内容が失われる揮発性メモリから成り、計算機の電源を入れると、図示していない不揮発性メモリやデータ記憶部２８からＯＳやプログラムがロードされる一般的なものである。

特別な例では不揮発性メモリを備え、その上でＯＳやプログラムが動作する専用端末等の計算機も存在する。

以下の各実施形態は計算機の種類や用途に依存せず、メモリも揮発性、不揮発性のどちらでも実施可能である。

ネットワーク３は、通常のＬＡＮ（Local Area Network）やインターネット等から成るもので、論理的な構成は様々であり、物理的にも多様な通信媒体で構成可能である。

本実施例においてネットワーク３は、ユーザ計算機１とホスト計算機２とがでリモート操作を行うための通信を実現できるものであればよいが、インターネット等を経由する際に通信の秘匿性を高めるため、ユーザ計算機１とホスト計算機２とは、通信データを暗号化するか、ＶＰＮ（仮想私設網）を利用することが望ましい。

また、ネットワーク３は、動画配信サーバ４からユーザ計算機１やホスト計算機２へ通信データを遅延やゆらぎを少なく配信できるものであればよい。

また、上記各プログラムは、予め図示していない不揮発性メモリやデータ記憶部２８に格納されていても良いし、必要に応じて他の記憶媒体から、または通信媒体を介した他の装置から、導入されても良い。通信媒体とは、上記ネットワーク３やネットワーク３上の搬送波やディジタル信号を指す。

本実施例では、ユーザ計算機１とホスト計算機２が、リモート操作プログラム１２と被リモート操作プログラム２２の実行により、相互に、送信するデータを所定の形式に変換する際に暗号化処理を行い、通信相手の暗号化データを受信して内容を取り出す際に復号化処理を行う。

通信に用いるプロトコルは、ＰＰＴＰ（Point to Point Tunneling Protocol）等の標準的なものであり、ここでは暗号通信のための鍵交換手順や通信プロトコルの詳細については説明を省略する。なお、ネットワーク３に、専用のＶＰＮ装置を設けて、ユーザ計算機１とホスト計算機２との間の通信パケットを暗号化するように構成してもよく、その場合にはユーザ計算機１とホスト計算機２におけるＶＰＮ処理を軽減することができる。

動画配信サーバ４は、標準的な動画圧縮アルゴリズムで符号化（圧縮）した動画データをクライアント（ユーザ計算機１またはホスト計算機２）からの要求に応じて配信する機能を備えたものである。

動画配信サーバ４は、一般的には、配信する動画コンテンツのタイトル一覧をクライアントに表示する機能や、クライアントが選択したコンテンツについて、配信先クライアントの計算機資源、ネットワーク３の通信状況等に基づいて配信条件を決定する機能も備えており、ユーザ認証やコンテンツの著作権管理、課金処理等の特別な機能を備えてもよい。

動画圧縮や配信形式には様々な種類があり、クライアントで実行されるプログラムも複数の種類が実用化されているが、本実施例では動画の種類を限定せず、様々な種類の動画に適用可能である。

ユーザ計算機１からホスト計算機２をリモート操作する際には、各々の計算機が備える複数のプログラムが実行され、連携した処理を実現する。すなわち、リモート操作プログラム１２と被リモート操作プログラム２２が連携して通常のリモート操作処理を実現し、動画ファイルやストリーミング配信画像を再生する際には、動画処理送信プログラム２１と動画受信再生プログラム１１が実行され、連携に加わって動画像表示処理を実現する。

リモート操作プログラム１２は、従来技術によるリモート操作機能と、本発明の動画像表示方法の一実施例の機能を備えたもので、ＯＳ１３と中央演算処理部１４の制御により以下の処理を実現する。

通常のリモート操作の際には、操作者が行ったキーボードマウス１９による入力操作を外部Ｉ／Ｆ処理部１７を介して捕捉し、所定の形式のデータに変換して、通信制御部１５からネットワーク３を経由してホスト計算機２に転送する。

ホスト計算機２におけるリモート操作の処理結果は、所定の形式の画面出力データとして通信制御部１５を介して受信し、画像表示部１６との連携により表示画像を生成して、ディスプレイ１８の画面に表示する。

これにより操作者は、ディスプレイ１８に表示されたリモート操作画面を見ながら、マウス操作やキーボード入力を行い、ホスト計算機２上のアプリケーションプログラムを操作して、所望の情報処理を遠隔実行することができる。

動画転送表示の際には、動画処理送信プログラム２１の実行により転送された所定の形式のデータを、動画受信再生プログラム１１の実行により、通信制御部１５を介して受信する。

被リモート操作プログラム２２は、リモート操作プログラム１２に対応する機能を備えたもので、ＯＳ２３と中央演算処理部２４の制御により以下の処理を実現する。

通常のリモート操作の際には、ユーザ計算機１から転送された操作データを通信制御部２５で受信し、外部Ｉ／Ｆ処理部２７に接続したキーボードマウスの操作データに対するのと同様の制御情報に変換して、ＯＳ２３に制御を渡す。

これによりホスト計算機２は、操作者からの遠隔操作に従って、例えば文書処理プログラム２９ａの実行や図形処理プログラム２９ｚの実行などの情報処理を行う。

これらのアプリケーションプログラムの処理結果は、画像表示処理部２６に対する描画データや、データ記憶部２８に対する記録データとして出力されるので、その中から描画データの出力は、被リモート操作プログラム２２の制御により、捕捉され、所定の形式の画面出力データに圧縮符号化されて、通信制御部２５からネットワーク３を経由してユーザ計算機１に送信される。

動画像表示の際には、動画処理送信プログラム２１の処理により生成された所定の形式のデータが、動画受信再生プログラム１１に中継されるように、通信制御部２５がユーザ計算機１に向けて送信する。

本実施例では、リモート操作の実行中はホスト計算機２のディスプレイ表示は必須では無いので、画像表示処理部２６での実際の処理は簡略化できる。そのため、ホスト計算機２に表示装置等を接続した場合は、変化の無い画面が表示されるが、これには、中央演算処理部２４の画像処理に関する負荷を軽減する効果がある。

動画処理送信プログラム２１は、本発明の動画像表示方法を実施した動画転送機能を備えたもので、ＯＳ２３と中央演算処理部２４の制御により実行され、被リモート操作プログラム２２と連携して概ね以下の処理を実現する。

データ記憶部２８に記録された動画ファイルを再生する際には、表示画面上の動画表示の位置や大きさに関する情報をユーザ計算機１に伝達し、さらに、動画ファイルのデータを、ホスト計算機２の表示装置に表示するための処理を行うことなく、ストリーミング配信に適した所定の形式に圧縮した動画データに変換してユーザ計算機１に転送する。

また、ユーザ計算機１が、動画配信サーバ４からストリーミング配信を受けて画像を再生する際には、配信を受ける動画コンテンツに関する情報をユーザ計算機１に伝達するための処理を行う。

動画受信再生プログラム１１は、動画処理送信プログラム２１に対応する機能を備えたもので、ＯＳ１３と中央演算処理部１４の制御により実行され、リモート操作プログラム１２と連携して概ね以下の処理を実現する。

ホスト計算機２からデータ記憶部２８に記録された動画ファイルを受信し、再生する際には、ホスト計算機２から伝達された動画表示の位置や大きさに関する情報に基づいてリモート操作表示画面上の動画表示位置を決定し、ホスト計算機２から受信した、圧縮された動画データに対して適切な復号化処理を行い、安定した表示速度の動画となるように再生表示処理を行う。

また、動画配信サーバ４からストリーミング配信を受けて画像を再生する際には、ホスト計算機２から伝達された動画コンテンツに関する情報に基づいて動画配信サーバ４から、圧縮された動画データを受信し、適切な復号化処理によって安定した表示速度の動画となるように再生表示処理を行う。

本実施例では、ユーザ計算機１で動画の再生処理を行うので、送信データ量の変動やネットワークの帯域幅変動等の影響を受けることなく、画像の欠落も無い、本来の意図された通りの表示速度による動画表示が可能になる。

図２は、実施例１における動画再生イベント処理の流れを示すフローチャートである。本実施例の動画像表示方法では、ユーザ計算機１での操作による、ホスト計算機２上で動画再生を実行するコマンドの受付や、動画ファイル、動画コンテンツ等に関連付けられたアプリケーションプログラムの起動などの動画再生イベントを契機として、動画処理送信プログラム２１を実行することにより、図２に示す処理を実現する。

動画再生イベント捕捉Ｓ０１では、被リモート操作プログラム２２が、リモート操作の制御情報をＯＳ２３に渡し、その後に、ＯＳ２３の動作反応やアプリケーションプログラムの実行応答等の中から、動画再生に関わるイベント情報を捕捉する。操作者の操作による動画再生イベントにはいくつか種類があるので、代表例を以下に示す。

（１）プログラム一覧の中から動画プログラムを選択して実行する場合、操作者は、例えばマウスポインタの操作でプログラムの名称を選択し、マウスボタンの操作でそのプログラムの実行を指示するコマンドを投入するので、その動作を捕捉することによりイベント情報を取得する。

（２）ファイル名やコンテンツ名の一覧の中から再生対象を選択して実行する場合、操作者は前記（１）と同様に、マウス操作でファイルやコンテンツの名称を選択してその再生を指示するので、その動作を捕捉することによりイベント情報を取得する。

（３）ファイル名やコンテンツ名を入力して実行する場合、操作者が再生対象の名称をキーボード等から入力し、例えば操作画面上の再生実行ボタンをマウス操作で選択することにより再生を指示するので、一連の動作からイベント情報を取得する。

（４）インターネットから受信したコンテンツが動画アプリケーションに関連付けられていた場合、ＯＳ２３がそのアプリケーションプログラムの起動コマンドを発行するので、それを捕捉することによりイベント情報を取得する。

イベント情報の内容について、必要なのは再生対象オブジェクトの名称と、関連するアプリケーション名である。オブジェクトの名称はＵＲＩ（Uniform Resource Identifier）またはＵＲＬ（Uniform Resource Locator）の参照により取得し、コンテンツ要求の際に用いるＲＴＳＰ（Real Time Streaming Protocol）などのプロトコル情報も取得する。

なお、本実施例では、動画再生に関連付けるアプリケーションとして予め動画処理送信プログラム２１に設定し、他の動画アプリケーションプログラムをＯＳ２３から直接起動するような制御は動画再生イベント捕捉Ｓ０１で抑止する。例えば復号化処理に、他の動画アプリケーションプログラムが必要な場合には、動画処理送信プログラム２１から起動するような制御を行う。

ステップＳ０２では、捕捉したイベント情報を解析して、データ記憶部２８に記録した動画ファイルから再生するのか、ＵＲＩ等で指定した他の動画配信サーバ４等から動画データを取得して再生するのかを判定する。

動画ファイルから再生する場合は次のステップＳ０３へ進み、他のサーバから動画データを取得して再生するストリーミング再生の場合はステップＳ２０へ分岐する。ここで、再生対象オブジェクトを指定せず、動画プログラムを直接実行したような場合は判定結果が不明なので、その場合はステップＳ１１へ分岐する。

動画ファイルから再生する場合は、表示画面上に動画ウインドウを開き（Ｓ０３）、ウインドウ内のどの位置にどの大きさの動画を表示するかといった動画表示に関する情報とを表示画面の座標データとしてユーザ計算機１へ送信する（Ｓ０４）。その後、動画データ送信処理Ｓ０５を操作入力等による割込み発生（Ｓ０６）や送信終了（Ｓ０７）まで続ける。

ユーザ計算機１の操作者によるキーボードマウス１９の操作入力による割込みが発生した場合は、判定ステップＳ０７で動画ウインドウ付属の停止ボタン等の操作による送信終了かどうかを判定し、送信終了なら次のステップＳ０８で動画再生処理を終了するかどうかを判定する。

ステップＳ０７で送信終了でなければ、動画用ウインドウの位置や大きさの変更か、早送り等の再生モードの変更と判断してステップＳ０３へ戻り、ウインドウ制御から処理を再開する。

ステップＳ０８で処理終了でなければコンテンツ選択Ｓ１２へジャンプし、処理終了なら動画用ウインドウを閉じて（Ｓ０９）動画再生イベント処理を終了する（Ｓ１０）。

ステップＳ０２で判定結果が不明の場合は、表示画面上に動画ウインドウを開き（Ｓ１１）、次のステップＳ１２で操作入力によるコンテンツ選択の結果を取得してから再度分岐判定を行う（Ｓ１３）。

ステップＳ１３では、ステップＳ０２と同様に、動画配信サーバ４等から動画データを取得してストリーミング再生するのか、自計算機内の動画ファイルを再生するのかを判定し、ストリーミング再生でない場合、すなわち動画ファイルを再生する場合はステップＳ０４へジャンプする。ストリーミング再生の場合は、ウインドウ移行処理Ｓ１４でユーザ計算機１側に動画用ウインドウの制御を移した後に、ステップＳ２０へジャンプする。Ｓ１４では、ウインドウ移行処理データとして、たとえば、ホスト計算機２側で表示したウインドウの位置（始点、縦横サイズ）をユーザ計算機１に送信する。さらに、ボタン配置などの追加情報を含めても良い。

ステップＳ０２で他のサーバから動画データを取得して再生する場合、およびステップＳ１３でストリーミング再生と判定した場合は、ステップＳ２０で再生対象オブジェクトのＵＲＩ情報を含む動画再生イベント情報をユーザ計算機１へ送信する。

以降の動画再生処理はユーザ計算機１が主導的に行い、ユーザ計算機１からの終了通知をもって動画再生イベント処理を終了する（Ｓ１０）。

図３は、図２に示した実施例１の動画再生イベント処理における動画データ送信処理（Ｓ０５）の詳細を示すフローチャートである。

本実施例の動画像表示方法では、ホスト計算機２上に存在する動画データを再生する場合、図３に示す処理を実行して動画データをホスト計算機２からユーザ計算機１へ送信する。

データ送信処理を開始（Ｓ５０）すると、最初のステップＳ５１でデータ記憶部２８から動画処理送信プログラム２１が用意したバッファ領域に、動画ファイルのデータを順次読込む。

動画ファイルの大きさがバッファ領域の容量に比べて小さい場合は、読込み処理が終わってから次のステップＳ５２に進み、通常再生か早送り等の特殊再生かを判定する。動画ファイルのサイズが大きく、バッファ領域に入りきらない場合は、動画ファイルを順次読込みながら、並行して以下の処理を行う。

ステップＳ５２で通常再生の場合は、読込んだデータからストリーミング配信データを切出し（Ｓ５３）、データ送信量とタイミングを調整して（Ｓ５４）動画送信用パケットに整形する。優先送信パケット生成Ｓ５５では、（ａ）ユーザ計算機１への画面出力データのうち動画送信用パケットの処理を優先的に実行、（ｂ）ネットワーク３上で優先度を指定できる場合には優先送信パケットに設定、という二種類の優先制御を行う。

引き続き、通信制御部２５を介してパケットデータをユーザ計算機１に送信し（Ｓ５６）、その応答を受信して（Ｓ５７）、送信タイミングが合っているかどうか確認する（Ｓ５８）。

ステップＳ５２で通常再生でない場合、すなわち特殊再生の場合は、読込んだデータから特殊再生用のデータを切出し（Ｓ５９）、データ送信量およびタイミング調整Ｓ５４へ進む。

図３には明示していないが、早送り等の特殊再生を行う場合はステップＳ５１で動画ファイルの先読み処理を実行する。また、逆再生等の特殊再生を行う場合は、逆送りする動画データがバッファ領域に残っているか、さらにはユーザ計算機１に動画フレームデータが残っているかによって動画ファイル読込みＳ５１と特殊データ切出しＳ５９の処理の内容とタイミングを変更する。特に、ユーザ計算機１に動画フレームデータが残っている場合には、動画データを切出す代わりに逆再生コマンドを送信するようにすれば、データ送信量を低減できる。

ステップＳ５８では、送信タイミングの確認等のほか、ユーザ計算機１側の状態や通信制御部２５の状態に基づいて、送信待ち優先パケットの残量や単位時間に送信可能な送信量等の送信条件を確認する。ここで送信すべきデータをすべて送信済みであればデータ送信処理を終了し（Ｓ６０）、データがある間は確認した送信条件に従って送信を続ける。

図４は、実施例１における動画データ受信再生表示処理の流れを示すフローチャートである。ホスト計算機２の処理（図２、図３）に対応して、ユーザ計算機１では図４に示す処理を実行する。

動画再生イベント情報受信Ｓ２１では、図２のＳ２０でホスト計算機２から送信される動画再生イベント情報、図２のＳ１４でホスト計算機２から送信されるウインドウ移行処理データ、あるいは動画表示画面座標データの受信を契機として、次のステップＳ２２の判定処理を実行する。

受信内容が動画再生イベント情報かウインドウ移行処理データであれば、他のサーバから動画データを取得してストリーミング再生する場合であるので、次のステップＳ２３へ分岐する。受信内容がウインドウ移行処理データの場合は、それに続く動画再生イベント情報を受信してから次のステップに進む。受信内容が動画表示画面座標データであれば、動画ファイルから再生する場合であるので、ステップＳ４１へ分岐する。

ステップＳ２２でストリーミング再生の場合は、ユーザ計算機１が、以下の動画再生処理を主導的に行う。まず、動画再生イベント情報に基づいて動画配信サーバ４等へ動画データの取得要求を送信し（Ｓ２３）、ディスプレイ１８の表示画面に動画用ウインドウを表示する（Ｓ２４）。

その際、ウインドウ移行処理データを受信済みであれば、それに基づいて動画ウインドウの表示位置を決定し、そうでなければユーザ設定や前回表示履歴等の情報を参照して表示位置を決定する。

動画データの取得要求には、ＵＲＩまたはＵＲＬで指定した再生対象オブジェクトの名称と、データ受信の際に用いるＲＴＳＰなどのプロトコル名称を含める。また、ユーザ認証や課金処理のために、例えばユーザ番号やパスワード等の個人情報が必要な場合は、リモート操作画面上にポップアップ画面を表示し、操作者からの入力を得て、動画配信サーバ４等へ送信する。

他のサーバ等からの動画データの受信が始まると、動画データ受信再生処理Ｓ２５を操作入力等による割込み発生（Ｓ２６）や送信終了（Ｓ２７）まで続ける。再生処理した動画は、動画用ウインドウ内の所定の位置に表示する。

操作入力による割込みが発生した場合（Ｓ２６でＹｅｓ）は、判定ステップＳ２７で動画ウインドウ付属の停止ボタン等の操作による送信終了かどうかを判定し、送信終了なら次のステップＳ２８で動画再生処理を終了するかどうかを判定する。

ステップＳ２７で送信終了でなければ、動画用ウインドウの位置や大きさの変更か、早送り等の再生モードの変更と判断してステップＳ２４へ戻り、動画用ウインドウの表示制御から処理を再開する。

ステップＳ２８で動画再生処理終了でなければコンテンツ選択Ｓ３１へ分岐し、新たな操作入力による動画データの指定を待って動画配信サーバ４等へ動画データの取得要求を送信する（Ｓ２３）。動画再生処理終了なら動画用ウインドウを閉じて（Ｓ２９）、動画再生イベント処理を終了する（Ｓ３０）。その際、ホスト計算機２へ処理の終了を通知する。

ステップＳ２２でファイル再生の場合は、受信した動画表示画面座標データに基づいて動画表示用画面位置を計算し（Ｓ４１）、引き続き、ホスト計算機２から送信された動画パケットデータを受信する（Ｓ４２）。動画再生Ｓ４３では、受信した動画パケットデータを再生処理し、ステップＳ４１で計算した動画表示用画面位置に表示する。Ｓ４４として処理時間や受信側バッファ領域等の状態を評価し、受信再生のタイミング応答としてホスト計算機２へ送信する。この処理は、図４に示す連続処理に限定されず、Ｓ４１〜Ｓ４３の処理と並行して行って良い。

これらの処理を処理終了（Ｓ４５）まで続け、動画パケットデータ受信時（Ｓ４２）に動画表示画面座標データを受信した場合はステップＳ４１に戻って処理を繰り返す。また、動画パケットデータ受信時（Ｓ４２）に特殊再生コマンドを受信した場合は、特殊再生処理を実行する。

受信データをすべて受信して処理を終了すれば動画データ受信再生表示処理を終了する（Ｓ４６）。

以上、説明した本実施例によれば、リモート操作を行うユーザ計算機１とホスト計算機２が連携して動画像表示処理を行うので、従来に比べて次のようなメリットがある。

第一に、標準的な動画圧縮アルゴリズムで符号化（圧縮）された動画データの復号化処理を操作者側のユーザ計算機１で実行できるので、動画再生表示処理の制御が容易になり、安定した処理結果を得ることができる。リモート操作画面を送信するための計算機処理やネットワーク処理の遅延やゆらぎの影響を低減できるので、信頼性も向上する。

第二に、従来のようにホスト計算機で一旦復号化して再度符号化して送信する必要がないので、効率的である。リモート操作に関わる２台の計算機に処理を分散できるので、計算機資源の利用効率や処理効率も向上できる。

第三に、他サーバからのストリーミング配信を、ホスト計算機２を介さず、操作者側のユーザ計算機１で受信して再生できるので機能的である。
ホスト計算機２に保存している動画ファイルからも同様の仕組みで再生できるので、実用的な機能である。

なお、実施例１の処理フローでは、様々な操作入力による割込み処理の詳細や、種々の障害要因に対応した異常処理については説明を省略した。

また、動画処理送信プログラム２１や動画受信再生プログラム１１の実装においては、並列処理やバックアップ処理を加えて高速化や高可用化を図ることも可能である。

図５は、実施例１におけるホスト画面出力を例示した図である。実施例１で動画ファイルから再生する場合は、図５に示す要領で動画を表示する。

図５（ａ）は、ユーザ計算機１のディスプレイ画面表示の一例である。リモート操作によって動画再生を行うと、ディスプレイ１８の画面５には例えば図のような、ホスト計算機２から送信された動画ウインドウ５１が表示される。

動画ウインドウ５１の中には、例えば特殊再生のための操作ボタン５２や動画領域５３などがある。このうち動画領域５３には、ユーザ計算機１が、自計算機で再生処理した動画を、ホスト計算機２から送られた動画ウィンドウ５１に重畳して表示する。

図５（ｂ）は、図５（ａ）の表示に対応するホスト画面出力の一例である。なお、ホスト計算機２は表示装置を備えない場合もあるし、備えていても、この画面出力を、表示装置に実際に表示する必要も必ずしも無い。

データ記憶部２８に記録された動画ファイルの再生操作を行うと、ホスト計算機２は、動画ウインドウ５１が開かれたリモート操作画面５０の出力データを作成し、その画面出力データを所定の形式の画面出力データに圧縮符号化してユーザ計算機１に送る。

動画ウインドウ５１の中には特殊再生のための操作ボタン５２等を予め備えておく。ユーザ計算機１の操作者は、このホスト画面出力に対応する図５（ａ）のディスプレイ画面表示に重畳した動画表示を見ながら、マウス操作等で操作ボタン５２を選択することにより、制御情報をホスト計算機２に伝え、早送りや巻き戻しなどの特殊再生を行うことができる。

図６は、実施例１における動画再生画面出力を例示した図である。実施例１で他のサーバから動画データを受信しながら再生する場合は、図６に示す要領で動画を表示する。

図６（ａ）は、ユーザ計算機１のディスプレイ画面表示の一例である。他のサーバから動画データを受信しながら再生する際には、ディスプレイ１８の画面５に例えば図のような、ホスト計算機２から送信された動画ウインドウ５４が表示される。

動画ウインドウ５４の中には、例えば特殊再生のための操作ボタン５６や動画領域５５などがある。この動画ウインドウ５４は、見かけ上、図５の動画ウインドウ５１と同じであるが、再生方法の違いを明示するためにデザインを変えて実施してもよい。

図６（ｂ）は、図６（ａ）の表示に対応する動画再生画面出力の一例である。リモート操作によって例えば動画のストリーミング再生を指示すると、ホスト計算機２からユーザ計算機１へ動画再生イベント情報が伝わる。

ユーザ計算機１は、その情報を基に動画データの受信再生準備を行い、画面に表示するための動画ウインドウ５４を生成する。動画ウインドウ５４の中には、再生処理した動画を表示する動画領域５５や特殊再生のための操作ボタン５６等を備えておく。こうして生成した動画再生画面出力を、ホスト計算機２から送られたリモート操作画面に重畳して表示する。

ユーザ計算機１の操作者は、ディスプレイ画面の表示を見ながら、マウス操作等で操作ボタン５６を選択することにより、ユーザ計算機１上で早送りや巻き戻しなどの特殊再生を行うことができる。

図7は、実施例1における動画像処理の送受信シーケンスを示す図である。実施例1で動画ファイルから再生するためホスト計算機2が動画データを送信する場合に、ホスト計算機側制御部25から送出されたデータパケット60、61、…、6nがユーザ計算機1の通信制御部15に届き、そのデータ内容601、611、…、6n1が動画受信再生プログラム11の処理を経て画像データ612、…、6n2となって画像表示処理部16に到達する。

データパケット６０は、ホスト計算機２側の処理の開始時刻Ｔ０を示す時刻情報６０ａと送信開始情報６０ｂと、動画ウインドウ内のどの位置にどの大きさの動画を表示するかといった動画表示に関する座標データやその他の情報をデータ内容６０１として含み、データ内容６０１がユーザ計算機１（受信側）の動画受信再生プログラム１１に伝えられる。

動画受信再生プログラム１１は、データ内容６０１を解析し、動画表示画面座標データに基づいて動画表示用画面位置計算ステップＳ４１の処理を行う。

データパケット６１は、画像ファイルから適当な大きさに切り出された圧縮符号化データのデータブロック１（６１ｂ）と、その画像データの再生タイミングを示すタイムスタンプＴＳ１（６１ａ）をデータ内容６１１として含み、データ内容６１１がユーザ計算機１の動画受信再生プログラム１１に伝えられる。

動画受信再生プログラム１１の実行により、ユーザ計算機１は受信した符号化データを予め用意したバッファ領域に一時的に保管し、一時保管するデータ量を適度に調節しながら画像データ復号化ステップＳ４７の処理を行う。以下、データパケット６２、…、６ｎの符号化データについて、順次、復号化による画像再生処理を繰り返す。

ユーザ計算機１は動画受信再生プログラム１１の処理により、復号化によって再生処理した動画データを、再生タイムスタンプＴＳ１を伴う画像データ６１２として画像表示処理部１６に送ると同時に、その処理時刻Ｔ１（７１ａ）をＴＳ１確認応答（７１ｂ）に付けてホスト計算機２（送信側）へ返信する。

ＴＳ１確認応答（７１ｂ）には、ユーザ計算機１側の処理状態を示す情報を含めてもよい。この情報は、データパケット７１としてユーザ計算機１側の通信制御部１５からホスト計算機２側の通信制御部２５に伝達される。

以下、動画受信再生プログラム１１の処理により、再生タイムスタンプＴＳ１、ＴＳ２、…、ＴＳｎの各々の再生画像データに対するディスプレイ１８上の表示が等速表示になるように、表示処理のタイミングが調節される。

また、図には明示していないが、再生表示に合わせて確認応答パケットを順次伝達し、受信した最後のデータパケット６ｎに対応するデータパケット７ｎまで処理を繰り返す。

ホスト計算機２の通信制御部２５は、は、ユーザ計算機１から返信された処理時刻Ｔ１（７１ａ）、…、Ｔｘ（７ｎａ）に基づいて、受信側の再生表示処理の進捗状況を把握し、送信タイミングが合っているかどうか確認する。

確認結果は次に送信する画像データの送信量と送信タイミングに反映する。例えば、受信側の再生表示処理が遅れている場合は、送信タイミングを早めたり、受信側の処理負荷を軽減するために送信データ量を削減したりといった調節を行う。

また、受信側の処理状態に余裕がある場合には、送信側の処理を加速し、動画ファイルから切り出すデータ量を増やしてデータの先送り処理を行う。これにより、動画受信再生プログラム１１のバッファ領域を有効活用して、受信側での等速表示を容易に実現できるように制御する。

なお、図７のシーケンスでは、到着したデータブロックごとに確認応答を返送する例を示したが、ネットワーク３の帯域や通信状態に応じて、確認応答の間隔を間引いたり、逆に、よりきめ細かく制御するため、データ受信時やバッファ領域への一時保管時に同種の確認応答を返信したりするように実施してもよい。

実施例１では、リモート操作を行うユーザ計算機１とリモート操作されるホスト計算機２とが連携して動画像表示処理を行うので、ユーザ計算機１の表示画面上で画像の欠落も無く、本来意図された表示速度の動画表示が可能になる。

特に、ホスト計算機２（送信側）からユーザ計算機１（受信側）へ動画データを送信する際には、受信側で表示速度が一定になるように受信再生処理を制御し、送信側では受信側の処理に対して遅れることなく、受信側の状態が可能ならば送信処理を加速して行うように制御するので、ネットワークの遅延やゆらぎに影響されにくい安定した動画表示が可能になる。また、動画像表示処理を送信側と受信側で分散して実行するので、計算機資源を有効に活用できるという利点もある。

なお、動画配信サーバ４等が動画データを送信する例において、ホスト計算機２が動画データの取得要求を動画配信サーバ４等に送信し、その応答である動画データを、ユーザ計算機１がホスト計算機２を介することなく受信するように構成してもよい。

これにより、ユーザ認証やコンテンツの著作権管理、課金処理等において、ホスト計算機２が動画配信サーバ４に正しく認識され、動画の取得要求処理をスムーズに進めることができる。

図８は、本発明の他の実施例であるネットワークコンピュータシステムの構成図である。このシステムは、インターネット等から成るネットワーク３にパーソナルコンピュータ等の計算機を複数接続してリモート操作を行うように構成したものである。
図８では、説明の便宜上、操作者側のユーザ計算機８１と被操作側のホスト計算機８２を一台ずつ示し、また、圧縮された動画データ等をストリーミング配信する動画配信サーバ４を１台示している。

ユーザ計算機８１は、内部にメモリ１０、中央演算処理部１４、通信制御部１５、画像表示処理部１６、外部Ｉ／Ｆ処理部１７等を備え、外部接続機器としてディスプレイ１８とキーボードマウス１９を備えている。これらが図示していないバス等の内部接続を介して相互に情報を伝達する仕組みになっていることは、実施例1のユーザ計算機１と同様である。

メモリ１０上には、中央演算処理部１４により実行される、ＯＳ１３と、そのアプリケーションプログラムである、本実施例による動画処理機能８５を備えたリモート操作プログラム８３を備えている。

ホスト計算機８２は、内部にメモリ２０、中央演算処理部２４、通信制御部２５、画像表示処理部２６、外部Ｉ／Ｆ処理部２７、ハードディスクなどを用いたデータ記憶部２８等を備えている。

図示していないが、ユーザ計算機１と同様に、ディスプレイやキーボードマウス等を外部接続機器として備えてもよい。これらの内部接続の仕組みは、上述の計算機と同様である。

メモリ２０上には、中央演算処理部２４により実行される、ＯＳ２３と、そのアプリケーションプログラムである、本実施例による動画処理機能８６を備えた被リモート操作プログラム８４、さらに文書処理プログラム２９ａや動画再生プログラム８８等を備えている。

ネットワーク３、および
動画配信サーバ４は、実施例1と同様のものである。

ユーザ計算機８１からホスト計算機８２をリモート操作する際には、リモート操作プログラム８３と被リモート操作プログラム８４が実行され、連携した処理を実現する。動画ファイルやストリーミング配信画像を再生する際には、各々のプログラムに備えた動画処理機能８５、８６が実行され、連携に加わって動画像表示処理を実現する。
リモート操作プログラム８３と被リモート操作プログラム８４による処理機能の概要は、実施例１のリモート操作プログラム１２と被リモート操作プログラム２２の処理機能とほぼ同様である。

これにより操作者は、ディスプレイ１８に表示されたリモート操作画面を見ながら、マウス操作やキーボード入力を行い、ホスト計算機８２上のアプリケーションプログラム、例えば文書処理プログラム２９ａの遠隔操作を行うことができる。

アプリケーションプログラムの操作画面は、所定の形式の画面出力データに圧縮符号化されてユーザ計算機８１に返送され、リモート操作画面としてディスプレイ１８に表示される。

動画処理機能８６は、本実施例の動画像表示方法を実施した動画転送機能を備えたもので、被リモート操作プログラム８４の処理機能の一部として概ね以下の処理を実現する。

ホスト計算機２上で動画再生や動画ストリーミングの受信、動画コンテンツ等に関連付けられたアプリケーションの起動等のイベントにより動画再生プログラム８８を実行すると、動画処理機能８６がＯＳ２３を介して動画再生プログラム８８の処理の途中結果を捕捉し、処理データをユーザ計算機８１に送信する。その際、データ記憶部２８に記録された動画ファイルを再生する場合は、動画再生プログラム８８が読込んだ動画ファイルのデータを適切な処理段階で取り出して送信処理を行う。また、動画配信サーバ４からストリーミング配信を受けて画像を再生する場合は、動画再生プログラム８８が受信した動画ストリーミングデータを適切な処理段階で取り出して転送処理を行う。

動画処理機能８５は、動画処理機能８６に対応する機能を実現するもので、リモート操作プログラム８３の処理機能の一部として概ね以下の処理を実現する。ホスト計算機８２の動画再生プログラム８８が動画ウインドウを表示すると、そのウインドウ制御情報や再生する動画データに関する情報を基に、動画処理機能８５と動画処理機能８６とが連携して再生表示手順を決定する。ユーザ計算機８１が、その再生表示手順に基づいた動画データをホスト計算機２から受信すると、ディスプレイ１８上で安定した表示速度の動画が表示されるように、動画処理機能８５が適切な復号化処理や画像再生処理を実現する。

本実施例では、ユーザ計算機８１で動画の再生処理が容易になるように動画像の再生表示手順が決定され、再生処理された動画がリモート操作画面に重畳して表示されるので、ディスプレイ１８の画面上で画像の欠落も無く、本来の正しい速度で滑らかに動く動画表示が可能になる。

図９は、実施例２における動画像表示処理の流れを示すフローチャートである。

本実施例では、ホスト計算機８２に備えた動画再生プログラム８８等の起動（Ｓ７０）を契機に、ホスト計算機８２が送信側の動画処理を開始する（Ｓ８０）。引き続き、ユーザ計算機８１が受信側の動画処理を開始し（Ｓ９０）、ホスト計算機側の動画ウインドウ制御Ｓ７１の処理結果による動画ウインドウの表示位置に関する座標データや再生する動画データに関する情報を取得する。

なお、送信側と受信側の動画処理の開始は同時でもよいし、受信側が先に開始するように実施してもよい。また、動画再生に関する情報の取得は必ずしもこのタイミングでなくてもよく、送受信側の処理開始に先立って情報が伝わるようにしてもよい。

動画処理の開始後、ユーザ計算機８１の動画再生表示手順決定ステップＳ９１では、動画データに関する情報に基づいて動画再生表示手順を決定し、それをホスト計算機８２に送信する。また、動画ウインドウの表示位置に関する座標データに基づいて、再生した動画の表示座標を決定する。

ホスト計算機８２の動画転送ステップＳ８１では、ホスト計算機８２の受信した動画再生表示手順に基づいて動画送信手順を決定し、それをユーザ計算機８１に伝えると共に、動画の再生タイミングを調整して制御情報を動画再生プログラム８８等に伝える（Ｓ８２）。

ここで、リモート操作によりホスト計算機８２に例えばＭＰＥＧ（Moving Picture-coding Expert Group）アルゴリズムの動画再生を指示した場合に、ユーザ計算機８１の動画処理機能８５がＭＰＥＧ画像符号化データを復号化する機能を備えていれば、復号化処理はユーザ計算機８１で行うように動画再生表示手順を決定する（Ｓ９１）。

その場合、ホスト計算機８２では、ＭＰＥＧ圧縮された動画データの復号化処理は行わず、ＭＰＥＧデータのまま適当なサイズのパケットデータに切り出して受信側に送信する。これにより、再生すると膨大な量の動画データであっても、圧縮したデータ形式で送信できるので、データ送信量を削減し、より安定したデータ送受信が可能になる。

また、ユーザ計算機８１が圧縮符号化アルゴリズムに対応するＣＯＤＥＣ（画像符号化・復号化）機能またはプログラムを備えていない場合には、ホスト計算機８２の動画再生プログラム８８等で復号化処理を行うように動画再生表示手順を決定する（Ｓ９１）。

これにより、ホスト計算機８２で動画の復号化処理を行い、ユーザ計算機８１が処理し易い形式のデータに変換して送信することで、様々な符号化アルゴリズムの動画データの表示に対応可能になる。

動画ブロックデータ読出し（Ｓ７２）では、ステップＳ８２から伝えられた制御情報に基づいて動画ファイルや動画ストリーミングデータから適当なサイズのデータを読出し、動画データ処理（Ｓ７３）を行って、これらの処理をデータが終わりになる（Ｓ７４）まで繰り返す。

次のステップＳ７５では、操作者からの割込み等のイベントを判定し、再生プログラムの終了操作が行われるまで動画ウインドウ制御Ｓ７１に戻って処理を続ける。なお、この処理の繰り返しは動画再生プログラム８８等が本来備えている機能を用いればよく、被リモート操作プログラム８４が通常のリモート操作の制御を動画再生プログラム８８等に伝えることによって簡単に実現できる。

動画データ送信処理Ｓ８３では、ステップＳ７３で処理中の動画データを適切な処理段階で取り出し、ユーザ計算機８１への送信処理を行う。取り出す段階は決定された動画再生表示手順に従い、例えばユーザ計算機８１で復号化する場合は復号化処理の前段階で、ホスト計算機８２で復号化する場合は復号化処理の後段階で各々取り出し処理を実行する。

送信されたデータはユーザ計算機８１の動画データ受信再生処理Ｓ９２で逐次処理され、再生した動画をリモート操作画面の動画ウインドウ内に表示する。その際、表示タイミングの計算を行い（Ｓ９３）、判定処理（Ｓ９４）の結果、タイミングがＮＧであれば、タイミング調整されるように、動画再生タイミング調整Ｓ８２にフィードバックを行い、
受信データが無くなるまで（Ｓ９５）処理を続ける。

ホスト計算機８２で送信すべき動画データが無くなると、動画再生プログラムの終了待ち状態（Ｓ８４）になる。ここでリモート操作による終了判定Ｓ７５で動画再生プログラム８８等が終了（Ｓ７６）になると、その状態がステップＳ８４で把握されてホスト計算機８２の動画処理が終了（Ｓ８５）になる。その結果、ユーザ計算機８１は判定ステップＳ９５でデータ受信の終了と判定し、受信側の動画処理を終了する（Ｓ９６）。

実施例２では、ユーザ計算機８１の表示タイミングをホスト計算機８２で把握し、画像データを先送りできるように再生を制御するので、ユーザ計算機８１で表示タイミングを制御するのが容易になり、リモート操作画面上では本来意図した速度で滑らかに動く動画表示が可能になる。

ホスト計算機８２に備える動画再生プログラム８８は一般に使用されているものでよく、ＯＳ２３を介してアプリケーションの実行状況を捕捉できれば、特別な機能拡張や改良を加える必要はない。また、ＭＰＥＧ等の標準的な画像符号化アルゴリズムに限定せず、様々な符号化アルゴリズムに対応した動画再生プログラム８８を用いることができるので、モーションＪＰＥＧ（Joint Photographic Expert Group）等の準動画の再生も可能である。また、動画像表示処理を送信側と受信側とで分散して実行するので、計算機資源を有効に活用できるという利点もある。

なお、図９では動画再生表示手順をステップＳ９１で、ユーザ計算機８１が自律的に決定する処理フローを示したが、このステップで、例えばリモート操作画面にポップアップウインドウを開いて操作者の入力を促すなど、操作者が動画再生表示手順を選択できるように実施してもよい。これにより、ユーザ計算機８１の使用状態やネットワーク３への接続状況を操作者自身が判断して、適切な動画像表示方法を選択することが可能になる。

また、実施例２では、ホスト計算機２のディスプレイ表示について特に説明しなかったが、リモート操作の実行中にホスト計算機８２で画面表示を行うことも可能である。

図１０は、本発明の更なる他の実施例であるネットワークコンピュータシステムの構成図である。このシステムは、インターネット等から成るネットワーク３にパーソナルコンピュータ等の計算機を複数接続してリモート操作を行うように構成したものである。

図１０では、説明の便宜上、操作者側のユーザ計算機９１と被操作側のホスト計算機９２を一台ずつ示し、また、圧縮された動画データ等をストリーミング配信する動画配信サーバ４を１台図示している。

ユーザ計算機９１は、内部にメモリ１０、中央演算処理部１４、通信制御部１５、画像表示処理部１６、外部Ｉ／Ｆ処理部１７等を備え、外部接続機器としてディスプレイ１８とキーボードマウス１９、およびＩＣカード機能付記憶媒体９０を備えている。これらが図示していないバス等の内部接続を介して相互に情報を伝達する仕組みになっていることは、実施例1のユーザ計算機１と同様である。

メモリ１０上には、中央演算処理部１４により実行される、ＯＳ１３と、そのアプリケーションプログラムである、リモート操作プログラム１２を備えている。

ＩＣカード機能付記憶媒体９０は、ＵＳＢ（Universal Serial Bus）コネクタ等の接続端子で外部Ｉ／Ｆ部１７に接続するもので、着脱可能である。

ＩＣカード機能付記憶媒体９０の内部には、ＩＣカード機能部９３と、図には明示していない記憶領域を備えており、その記憶領域に動画受信再生プログラム１１を備えている。この動画受信再生プログラム１１は、実施例1の動画受信再生プログラム１１と機能的に同等のものである。

ホスト計算機９２は、内部にメモリ２０、中央演算処理部２４、通信制御部２５、画像表示処理部２６、外部Ｉ／Ｆ処理部２７、ハードディスクなどを用いたデータ記憶部２８等を備えている。

図示していないが、ユーザ計算機１と同様に、ディスプレイやキーボードマウス等を外部接続機器として備えてもよい。これらの内部接続の仕組みは、上述の計算機と同様である。

メモリ２０上には、中央演算処理部２４により実行される、ＯＳ２３と、そのアプリケーションプログラムである、本実施例による動画処理送信プログラム２１と被リモート操作プログラム２２、さらに文書処理プログラム２９ａや図形処理プログラム２９ｚ等を備えている。

ネットワーク３、および
動画配信サーバ４は、実施例1と同様のものである。

ユーザ計算機９１を介してホスト計算機９２をリモート操作する際には、リモート操作プログラム１２と被リモート操作プログラム２２が実行され、連携した処理を実現する。動画ファイルやストリーミング配信画像を再生する際には、ホスト計算機９２内の動画処理送信プログラム２１とＩＣカード機能付記憶媒体９０内の動画受信再生プログラム１１が実行され、連携に加わって動画像表示処理を実現する。
これらのプログラムの処理機能は、実施例１の各々対応するプログラムの処理機能と同様である。

これにより操作者は、ディスプレイ１８に表示されたリモート操作画面を見ながら、マウス操作やキーボード入力を行い、ホスト計算機９２上のアプリケーションプログラム、例えば文書処理プログラム２９ａの遠隔操作を行うことができる。

アプリケーションプログラムの操作画面は、所定の形式の画面出力データに圧縮符号化されてユーザ計算機８１に返送され、リモート操作画面としてディスプレイ１８に表示される。

本実施例では、ＩＣカード機能付記憶媒体９０内に、実施例１において説明した動画受信再生プログラム１１を備え、ホスト計算機９２の動画処理送信プログラム２１と連携して動画転送表示処理を実現するので、相当するプログラムをユーザ計算機９１の内部に備える必要がない。

ＩＣカード機能付記憶媒体９０は着脱可能なので、操作者がこれを持ち運び、図には明示しない別の計算機に接続して使用することも可能である。その別の計算機が動画受信再生プログラム１１相当の機能を備えていない場合でも、ＩＣカード機能付記憶媒体９０内の動画受信再生プログラム１１を利用して、リモート操作画面上で滑らかな動画を再生表示することが可能である。

さらに別の計算機にリモート操作プログラム１２相当の機能が無い場合に備えて、内にリモート操作プログラム１２を備えておくことにより、別の計算機の利用可能性が広がるというメリットを享受できる。

ＩＣカード機能部９３は、公開鍵認証基盤の証明書や操作者の秘密鍵を格納する機能を備えている。これを用いれば、操作者がユーザ計算機９１やネットワーク３を使用する際のユーザ認証を簡単に実現できる。これにより、操作者がＩＣカード機能付記憶媒体９０を持ち運んで、他の計算機に接続した場合でも、操作者が正しく認識され、他の計算機からのリモート操作の実行が可能になる。

なお、実施例３では、ホスト計算機９２や動画配信サーバ４等から受信した動画データをＩＣカード機能付記憶媒体９０内の動画受信再生プログラム１１の実行により処理するので、受信した動画データの一部または全部をユーザ計算機９１の内部に残さずに処理することが可能である。これにより、例えば有料の著作権管理された動画コンテンツを不正に複製するなどの行為を抑止し、動画データの管理を徹底することができる。

以上、実施例３特有の効果について説明したが、本実施例の動画像表示方法に関するその他の効果は実施例１の効果と同様である。

実施例１でのネットワークコンピュータシステムの構成図 実施例１における動画再生イベント処理の流れを示すフローチャート 実施例１における動画データ転送処理の流れを示すフローチャート 実施例１における動画データ受信再生表示処理の流れを示すフローチャート 実施例１におけるホスト画面出力を例示した図 実施例１における動画再生画面出力を例示した図 実施例１における動画転送処理の送受信シーケンスを示す図 実施例２の動画転送表示方法を実施したネットワークコンピュータシステムの構成図 実施例２における動画転送表示処理の流れを示すフローチャート 実施例３でのネットワークコンピュータシステムの構成図

符号の説明

１、８１、９１…ユーザ計算機、２、８２、９２…ホスト計算機、１０、２０…メモリ、
１１…動画受信再生プログラム、１２…リモート操作プログラム、
２１…動画処理送信プログラム、２２…被リモート操作プログラム、
１４、２４…中央演算処理部、１５、２５…通信制御部、１６、２６…画像表示処理部、
１７、２７…外部インタフェース処理部、１８…ディスプレイ、１９…キーボードマウス、２９ａ…文書処理プログラム、２９ｚ…図形処理プログラム。

Claims (16)

1. 被リモート操作部を有し、ネットワークを介して接続する操作側計算機から遠隔操作される被操作側計算機と、
   前記被操作側計算機に入力情報を送信し、前記被リモート操作部が前記入力情報を解析し判別した遠隔操作の結果生成した動画のフレームデータを、前記被操作側計算機から受信して再生する前記操作側計算機と、
   を備えるコンピュータシステムにおいて、
   前記被操作側計算機は、
   前記被リモート操作部が前記操作側計算機から受信した前記入力情報を解析した結果の遠隔操作が動画データの再生処理であると判定した場合、前記動画データの再生処理に関する情報から、前記動画データの所在情報を取得し、
   前記動画データの所在が前記被操作側計算機及び前記被操作側計算機以外の装置である画像送信装置の場合、前記操作側計算機に、前記動画データの再生処理に関する情報を送信し、
   前記操作側計算機は、
   前記被操作側計算機が送信した前記動画データの再生処理に関する情報を受信し、
   前記動画データの再生処理に関する情報を参照して、前記画像送信装置から前記動画データの取得を実行し、前記画像送信装置から前記被操作側計算機を経由せずに前記動画データを受信し、
   前記動画データを再生することを特徴とするコンピュータシステム。
2. 請求項1記載のコンピュータシステムにおいて、
   前記遠隔操作された結果生成された動画のフレームデータは、前記被操作側計算機によって符号化されて送信され、前記操作側計算機によって受信したあと復号化されてから再生され、
   前記動画データの所在が、前記被操作側計算機の場合、前記被操作側計算機は、前記動画データを前記動画のフレームデータに施される符号化とは異なる符号化をして前記操作側計算機に送信し、前記操作側計算機は、該動画データを受信したあと復号化してから再生することを特徴とするコンピュータシステム。
3. 請求項1又は2記載のコンピュータシステムにおいて、
   前記入力情報を解析した結果動画データの再生処理であると判定された遠隔操作は、前記動画データを再生する動画プログラムの実行コマンドであることを特徴とするコンピュータシステム。
4. 請求項1乃至3のうちいずれか1つに記載のコンピュータシステムにおいて、
   前記入力情報を解析した結果動画データの再生処理であると判定された遠隔操作は、前記動画データを再生する再生命令であることを特徴とするコンピュータシステム。
5. 請求項1乃至3のうちいずれか1つに記載のコンピュータシステムにおいて、
   前記動画データの再生処理に関する情報は、前記動画データのファイル名、及び前記動画データの再生に関するアプリケーション名を含むことを特徴とするコンピュータシステム。
6. 請求項1乃至5のうちいずれか1つに記載のコンピュータシステムにおいて、
   前記動画データの所在情報は、URI、又はURLで示される情報を含むことを特徴とするコンピュータシステム。
7. 請求項6記載のコンピュータシステムにおいて、
   前記動画データの再生処理に関する情報は、RTSPのプロトコル情報を含むことを特徴とするコンピュータシステム。
8. 請求項1乃至7のうちいずれか1つに記載のコンピュータシステムにおいて、
   前記動画データの再生処理に関する情報は、再生画面表示上の表示位置、及び大きさに関する情報を含むことを特徴とするコンピュータシステム。
9. 請求項1乃至8のうちいずれか1つに記載のコンピュータシステムにおいて、
   前記操作側計算機は、前記画像送信装置から前記動画データを受信する前に、利用者の個人情報を前記画像送信装置へ送信し、前記利用者の認証を行うことを特徴とするコンピュータシステム。
10. 請求項1乃至9のうちいずれか1つに記載のコンピュータシステムにおいて、
    前記動画データは、前記動画のフレームデータよりも高い優先度でネットワーク上に送受信されることを特徴とするコンピュータシステム。
11. 請求項1乃至10のうちいずれか1つに記載のコンピュータシステムにおいて、
    前記操作側計算機は、前記画像送信装置と通信し、前記動画データを送信する条件を定めることを特徴とするコンピュータシステム。
12. 請求項11記載のコンピュータシステムにおいて、
    前記動画データを送信する条件は、前記操作側計算機の計算機資源、又はネットワークの通信状況に基づいて定められることを特徴とするコンピュータシステム。
13. 請求項12記載のコンピュータシステムにおいて、
    前記操作側計算機は、前記画像送信装置に前記操作側計算機の処理状態に関する情報を送信し、
    前記動画データを送信する条件は、さらに、前記操作側計算機の処理状態に基づいて定められることを特徴とするコンピュータシステム。
14. 請求項13記載のコンピュータシステムにおいて、
    前記動画データを送信する条件は、前記画像送信装置から送信するデータの送信量、及び/又は送信タイミングを変更することであることを特徴とするコンピュータシステム。
15. 請求項14記載のコンピュータシステムにおいて、
    前記動画データを送信する条件は、さらに、前記操作側計算機の処理状態に余裕がない場合、前記画像送信装置から送信するデータを、データ量を削減して送信することを特徴とするコンピュータシステム。
16. 請求項15記載のコンピュータシステムにおいて、
    前記動画データを送信する条件は、さらに、前記操作側計算機の処理状態に余裕がある場合、前記画像送信装置から送信するデータを先送りすることを特徴とするコンピュータシステム。

Images