JP6435735B2 - システム、送信装置、受信装置、及びプログラム - Google Patents

Description

本発明は、システム、送信装置、受信装置、及びプログラムに関する。

特許文献１には、第１の場所に設置されているコンピュータにより処理を行うための、前記第１の場所とは異なる第２の場所で生成された第１の信号を、所定の伝送媒体を介して前記コンピュータに送信する送信手段と、前記第１の信号または前記コンピュータにより処理を行うための第１の場所で生成された第２の信号に対応して、前記コンピュータで生成された映像信号と音声信号を、前記伝送媒体を介して受信する受信手段と、前記受信手段により受信した前記映像信号と音声信号を出力する出力手段と、を備える遠隔操作装置が開示されている。

特開平９−３０５５１５号公報

ところで、一般のオペレーションシステムやアプリケーションでは、マウスやキーボード等の操作部から制御部に操作入力情報を送信することが標準化されているが、操作入力情報とは異なる情報を制御部に送信しようとする場合、通信手段を別途設けるなど、追加コストが必要になる。

特に、リモートデスクトップでは、例えば、地理的な位置、ネットワーク上の位置、操作機器の姿勢、操作機器の種別などの、操作入力情報とは異なる情報を送信装置から受信装置へ送信できると有用である。

本発明の目的は、送受信可能な情報の種類を増やすことが可能なシステム、送信装置、受信装置、及びプログラムを提供することにある。

請求項１に記載の発明は、ユーザによる操作入力を表すための操作入力符号の方式に、前記操作入力とは異なる情報を符号化する符号化手段と、前記操作入力符号と前記符号化された情報とを混合する混合手段と、混合された前記操作入力符号と前記符号化された情報とから、前記符号化された情報を抽出する抽出手段と、抽出された前記符号化された情報を復号する復号手段と、を備えるシステムである。

請求項２に記載の発明は、前記符号化された情報は、予め定められた条件を満たす操作入力の組により、前記操作入力とは異なる情報を表す、請求項１に記載のシステムである。

請求項３に記載の発明は、前記操作入力符号は、ユーザがポインティングデバイスを操作することにより生成される座標を含み、前記符号化された情報は、予め定められた条件を満たす座標の組により、前記操作入力とは異なる情報を表す、請求項１に記載のシステムである。

請求項４に記載の発明は、前記操作入力符号は、ユーザがポインティングデバイスを操作することにより生成される座標を含み、前記符号化された情報は、基準となる座標に対して予め定められた値が加減された座標の組により、前記操作入力とは異なる情報を表す、請求項１に記載のシステムである。

請求項５に記載の発明は、前記符号化された情報は、前記符号化された情報の開始を表す情報と、前記符号化された情報の長さを表す情報と、前記操作入力とは異なる情報の種類を表す情報と、前記操作入力とは異なる情報の内容を表す情報と、を含む、請求項１に記載のシステムである。

請求項６に記載の発明は、前記抽出手段は、前記符号化された情報を抽出中にユーザによる操作入力を検知した場合、前記符号化された情報の抽出を中止する、請求項１に記載のシステムである。

請求項７に記載の発明は、ユーザによる操作入力を表すための操作入力符号の方式に、前記操作入力とは異なる情報を符号化する符号化手段と、前記操作入力符号と前記符号化された情報とを混合する混合手段と、混合された前記操作入力符号と前記符号化された情報とを送信する送信手段と、を備える送信装置である。

請求項８に記載の発明は、混合された、ユーザによる操作入力を表すための操作入力符号と、前記操作入力符号の方式に符号化された前記操作入力とは異なる情報と、を受信する受信手段と、混合された前記操作入力符号と前記符号化された情報とから、前記符号化された情報を抽出する抽出手段と、抽出された前記符号化された情報を復号する復号手段と、を備える受信装置である。

請求項９に記載の発明は、ユーザによる操作入力を表すための操作入力符号の方式に、前記操作入力とは異なる情報を符号化する符号化手段、前記操作入力符号と前記符号化された情報とを混合する混合手段、及び、混合された前記操作入力符号と前記符号化された情報とを送信する送信手段、としてコンピュータを機能させるためのプログラムである。

請求項１０に記載の発明は、混合された、ユーザによる操作入力を表すための操作入力符号と、前記操作入力符号の方式に符号化された前記操作入力とは異なる情報と、を受信する受信手段、混合された前記操作入力符号と前記符号化された情報とから、前記符号化された情報を抽出する抽出手段、及び、抽出された前記符号化された情報を復号する復号手段、としてコンピュータを機能させるためのプログラムである。

請求項１によると、送受信可能な情報の種類を増やすことが可能である。

請求項２によると、操作入力の組を利用して送受信可能な情報の種類を増やすことが可能である。

請求項３によると、座標の組を利用して送受信可能な情報の種類を増やすことが可能である。

請求項４によると、座標の組を利用して送受信可能な情報の種類を増やすことが可能である。

請求項５によると、符号化された情報の抽出と復号を容易化することが可能である。

請求項６によると、ユーザによる操作入力を優先することが可能である。

請求項７，９によると、送信可能な情報の種類を増やすことが可能である。

請求項８，１０によると、受信可能な情報の種類を増やすことが可能である。

システムの構成の一例を示す図である。 制御部の構成の一例を示す図である。 操作入力情報の一例を示す図である。 符号化情報の一例を示す図である。 制御部の動作の一例を示す図である。

本発明の実施形態を、図面を参照しながら説明する。

図１は、システム１の構成の一例を示す図である。システム１は、送信装置２と受信装置３を備えている。送信装置２と受信装置３は、ネットワークＮＷを介して相互に通信可能である。

送信装置２は、制御部２１と、記憶部２２と、操作部２３と、表示部２４と、通信部２５を備えている。

制御部２１は、ＣＰＵ（Central Processing Unit）を含み、記憶部２２に記憶されたプログラムに従って各種の演算処理を実行すると共に、送信装置２の各部を制御する。

記憶部２２は、制御部２１の動作に必要なプログラムやデータを記憶する他、制御部２１のワークメモリとしても用いられる。プログラムは、ＣＤ−ＲＯＭ等のコンピュータ読み取り可能な情報記録媒体から提供されてもよいし、インターネット等の通信線を介して提供されてもよい。

操作部２３は、例えば、制御部２１に座標情報を出力するマウス等のポインティングデバイスと、制御部２１に文字情報を出力するキーボード等の文字入力デバイスを備えている。

表示部２４は、例えば、液晶ディスプレイ又は有機ＥＬディスプレイ等の薄型ディスプレイである。

通信部２５は、例えば、ネットワークインターフェースカード（ＮＩＣ）を含み、ネットワークＮＷに接続される他のデバイスと通信する。

受信装置３は、制御部３１と、記憶部３２と、操作部３３と、表示部３４と、通信部３５を備えている。これらは、送信装置２の制御部２１〜通信部２５と同様である。

システム１において、送信装置２は、ユーザが操作部２３を操作することにより生成される操作入力情報を受信装置３に送信する。受信装置３は、受信した操作入力情報に応じた演算処理を実行すると共に、画面出力情報を送信装置２に送信する。送信装置２は、受信した画面出力情報を表示部２４の画面に表示する。すなわち、システム１は、いわゆるリモートデスクトップを実現する。

本実施形態では、以下に説明するように、操作入力情報を利用して送受信可能な情報の種類を増やすことを可能にしている。

図２は、制御部２１，３１の構成の一例を示す図である。制御部２１は、操作入力情報送信部２６と情報符号化部２７を備えており、制御部３１は、操作入力情報受信部３６と情報復号部３７を備えている。これらは、制御部２１，３１がプログラムに従った演算処理を実行することにより実現される。

なお、操作入力情報送信部２６、情報符号化部２７、操作入力情報受信部３６及び情報復号部３７は、１つの情報処理装置で実現してもよい。

以下の説明では、操作部２３のポインティングデバイスから操作入力情報送信部２６に供給される情報を「位置座標情報」と呼ぶ。位置座標情報は、ユーザによる操作入力を表す操作入力符号の一例である。また、情報符号化部２７から操作入力情報送信部２６に供給される、位置座標情報の方式に符号化された情報を「符号化情報」と呼ぶ。符号化情報は、符号化された情報の一例である。さらに、位置座標情報と符号化情報を包括する概念を「操作入力情報」とする。

操作入力情報送信部２６は、混合手段の一例であり、送信手段の一例である。操作入力情報送信部２６は、操作部２３から供給される位置座標情報と、情報符号化部２７から供給される符号化情報とを混合し、混合された位置座標情報と符号化情報を操作入力情報として受信装置３へ送信する。

情報符号化部２７は、符号化手段の一例であり、位置座標情報と異なる情報を、位置座標情報の方式に符号化することで符号化情報を生成し、操作入力情報送信部２６へ供給する。

図３は、送信装置２から受信装置３へ送信される操作入力情報の一例を示す図である。図４は、操作入力情報に含まれる符号化情報の一例を示す図である。図３と図４は、操作入力情報を説明するための概略図であり、符号化情報が連続する数は図示の例に限定されない。

操作入力情報は、送信装置２から受信装置３へ逐次送信される。操作入力情報には、位置座標情報が主に含まれており、連続して送信される複数の符号化情報の組が周期的に出現する。各々の位置座標情報は、操作部２３のポインティングデバイスをユーザが操作することで生成される座標を表している。一方、連続して送信される複数の符号化情報の組は、位置座標情報と異なる情報を表している。

位置座標情報は、例えば、マウスカーソルの座標で表される。以下の説明では、位置座標情報の形式を、MouseMove(X,Y)と記述する。Ｘは画面の横方向の位置を表しており、Ｙは画面の縦方向の位置を表している。

一方、符号化情報は、基準となる座標に対して予め定められた値が加減された座標により表される。例えば、基準となる座標（MouseMove(X0,Y0)）に上下左右の何れかに５だけ移動する４通りの座標（MouseMove(X0+5,Y0)、MouseMove(X0,Y0+5)、MouseMove(X0-5,Y0)、MouseMove(X0,Y0-5)）により２ビット相当の値「0」〜「3」が表される。従って、１バイトの情報を送信するには４個の MouseMove 情報が必要となる。基準となる座標は、例えば、直前に送信された座標であってもよいし、予め定められた座標であってもよい。

連続して送信される複数の符号化情報の組は、符号化情報の開始を表す開始情報と、データ長を表す長さ情報と、操作入力と異なる情報の種類を表す種類情報と、操作入力と異なる情報の内容を表す内容情報と、をこの順番に含んでいる。

開始情報は、規則的かつ微小な座標の変化パターンで表される。例えば、次のようなパターンにより符号化情報の開始が表される。MouseMove(X0,Y0-5)→MouseMove(X0,Y0-10)→MouseMove(X0,Y0-5)→MouseMove(X0,Y0)→MouseMove(X0-5,Y0)→MouseMove(X0-10,Y0)→MouseMove(X0-5,Y0)→MouseMove(X0,Y0)。このような規則的かつ微小な座標の変化は、ユーザによる操作では通常発生しない変化であり、これにより、位置座標情報と符号化情報を識別することが可能となる。

連続して送信される複数の符号化情報の組により表される、位置座標情報と異なる情報情報としては、例えばＧＰＳ機能により取得される地理的な位置情報などがある。この場合、種類情報は地理的な位置情報であることを表し、内容情報は経度と緯度の２つの値を表す。例えば、長さ情報が１バイト、種類情報が１バイト、内容情報が８バイト（経度と緯度で４バイトずつ）の合計１０バイトである場合、４０個の MouseMove 情報が必要となる。さらに開始情報も合わせると、４８個の MouseMove 情報が必要である。

図２の説明に戻り、操作入力情報受信部３６は、抽出手段の一例であり、受信手段の一例である。操作入力情報受信部３６は、送信装置２から操作入力情報を受信し、オペレーションシステムやアプリケーションに供給する。さらに、操作入力情報受信部３６は、操作入力情報から符号化情報を抽出し、情報復号部３７へ供給する。

情報復号部３７は、復号手段の一例であり、操作入力情報受信部３６から供給される符号化情報を復号し、復号された情報をオペレーションシステムやアプリケーションに供給する。

具体的には、操作入力情報受信部３６は、受信した操作入力情報に符号化情報の開始を表す開始情報（すなわち、予め定められた座標の変化パターン）が出現するか否かを監視しており、出現を検知した場合に符号化情報の抽出を開始し、情報復号部３７も復号を開始する。また、操作入力情報送信部２６は、開始情報の次に出現する長さ情報を復号することで得られるデータ長に基づいて、符号化情報の抽出を終了する。

図５は、制御部３１の動作の具体的な一例を示す図である。

制御部３１は、送信装置２から受信した操作入力情報が位置座標情報の形式である場合（Ｓ１１、Ｓ１２：ＹＥＳ）、最新のＮ個の操作入力情報を蓄積しておく（Ｓ１３）。Ｎ個は、例えば、符号化情報の開始を表す開始情報（すなわち、予め定められた座標の変化パターン）を判定するために必要な個数として設定される。

制御部３１は、蓄積された操作入力情報に開始情報が出現したか否かを判定し、開始情報が出現した場合（Ｓ１４：ＹＥＳ）、符号化情報の抽出を開始するとともに符号化情報の復号を開始する（Ｓ１５，Ｓ１６）。

符号化情報の抽出と復号は、開始情報の次に出現する長さ情報を復号することで得られるデータ長の抽出と復号が完了するまで、すなわち種類情報と内容情報の抽出と復号が完了するまで続けられる（Ｓ１８）。

なお、制御部３１は、符号化情報の抽出中にユーザによる操作入力を検知した場合、符号化情報の抽出を中止する（Ｓ１７）。具体的には、制御部３１は、抽出中の符号化情報に符号化の規則を満たさないものを検出したときに、ユーザによる操作入力が開始されたものとして、符号化情報の抽出を中止する。

これに限らず、例えば、送信装置２の制御部２１は、符号化情報を送信中にユーザによる操作入力が開始された場合に、符号化情報の送信を中止することを表す予め定められた座標の変化パターンを送信し、受信装置３の制御部３１は、当該変化パターンを検出した場合に、符号化情報の抽出を中止してもよい。

以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、種々の変形実施が当業者にとって可能であるのはもちろんである。

例えば、送信装置２の制御部２１は、符号化情報の抽出前後でマウスカーソルの位置がずれることを回避するため、符号化情報の送信を開始する直前の位置座標情報を記憶しておき、符号化情報の送信が完了した直後に当該位置座標情報を送信してもよい。

また、送信装置２の表示部２４と受信装置３の表示部３４の解像度が異なる等の理由でマウスカーソルの座標が変換されてしまう場合もあるので、例えば、予め定められた値ではなく、任意の一定の値が基準となる座標に対して加減されていることを以て復号を行ってもよい。

また、マウス等のポインティングデバイスは座標以外の操作入力情報も出力可能であるので、例えば、マウスボタンの押下と解放、マウスホイールの操作、キーボードの各キーの押下と解放などに対応する操作入力情報、又はその組み合わせを利用して符号化を行ってもよい。

また、キーボードには、「Shift」キー、「Control」キー、「Alternative」キーが設けられており、これらのキーに対応する操作入力情報が定義されてので、これらのキーの押下・解放に対応する操作入力情報、又はその組み合わせを利用して符号化を行ってもよい。特に、これらのキーは、単独での押下・解放のみでは、オペレーションシステムやアプリケーションへの操作指示を与えないことが通常であるので、これらのキーに対応する操作入力情報を利用して符号化を行うことが好ましい。

１ システム、２ 送信装置、２１ 制御部、２２ 記憶部、２３ 操作部、２４ 表示部、２５ 通信部、２６ 操作入力情報送信部、２７ 情報符号化部、３ 受信装置、３１ 制御部、３２ 記憶部、３３ 操作部、３４ 表示部、３５ 通信部、３６ 操作入力情報受信部、３７ 情報復号部。

Claims (8)

1. ユーザによる操作入力を表すための操作入力符号の方式に、前記操作入力とは異なる情報を符号化する符号化手段と、
   前記操作入力符号と前記符号化された情報とを混合する混合手段と、
   混合された前記操作入力符号と前記符号化された情報とから、前記符号化された情報を抽出する抽出手段と、
   抽出された前記符号化された情報を復号する復号手段と、を備え、
   前記操作入力符号は、ユーザがポインティングデバイスを操作することにより生成される座標を含み、
   前記符号化された情報は、予め定められた条件を満たす座標の組により、前記操作入力とは異なる情報を表す、
   システム。
2. 前記符号化された情報は、基準となる座標に対して予め定められた値が加減された座標の組により、前記操作入力とは異なる情報を表す、
   請求項１に記載のシステム。
3. 前記符号化された情報は、
   前記符号化された情報の開始を表す情報と、
   前記符号化された情報の長さを表す情報と、
   前記操作入力とは異なる情報の種類を表す情報と、
   前記操作入力とは異なる情報の内容を表す情報と、
   を含む、
   請求項１に記載のシステム。
4. 前記抽出手段は、前記符号化された情報を抽出中にユーザによる操作入力を検知した場合、前記符号化された情報の抽出を中止する、
   請求項１に記載のシステム。
5. ユーザによる操作入力を表すための操作入力符号の方式に、前記操作入力とは異なる情報を符号化する符号化手段と、
   前記操作入力符号と前記符号化された情報とを混合する混合手段と、
   混合された前記操作入力符号と前記符号化された情報とを送信する送信手段と、を備え、
   前記操作入力符号は、ユーザがポインティングデバイスを操作することにより生成される座標を含み、
   前記符号化された情報は、予め定められた条件を満たす座標の組により、前記操作入力とは異なる情報を表す、
   送信装置。
6. 混合された、ユーザによる操作入力を表すための操作入力符号と、前記操作入力符号の方式に符号化された前記操作入力とは異なる情報と、を受信する受信手段と、
   混合された前記操作入力符号と前記符号化された情報とから、前記符号化された情報を抽出する抽出手段と、
   抽出された前記符号化された情報を復号する復号手段と、を備え、
   前記操作入力符号は、ユーザがポインティングデバイスを操作することにより生成される座標を含み、
   前記符号化された情報は、予め定められた条件を満たす座標の組により、前記操作入力とは異なる情報を表す、
   受信装置。
7. ユーザによる操作入力を表すための操作入力符号の方式に、前記操作入力とは異なる情報を符号化する符号化手段、
   前記操作入力符号と前記符号化された情報とを混合する混合手段、及び、
   混合された前記操作入力符号と前記符号化された情報とを送信する送信手段、
   としてコンピュータを機能させ、
   前記操作入力符号は、ユーザがポインティングデバイスを操作することにより生成される座標を含み、
   前記符号化された情報は、予め定められた条件を満たす座標の組により、前記操作入力とは異なる情報を表す、
   プログラム。
8. 混合された、ユーザによる操作入力を表すための操作入力符号と、前記操作入力符号の方式に符号化された前記操作入力とは異なる情報と、を受信する受信手段、
   混合された前記操作入力符号と前記符号化された情報とから、前記符号化された情報を抽出する抽出手段、及び、
   抽出された前記符号化された情報を復号する復号手段、
   としてコンピュータを機能させ、
   前記操作入力符号は、ユーザがポインティングデバイスを操作することにより生成される座標を含み、
   前記符号化された情報は、予め定められた条件を満たす座標の組により、前記操作入力とは異なる情報を表す、
   プログラム。
   

Images