JP5914166B2 - リモートアクセス装置、遠隔操作システム、遠隔操作方法、及びプログラム - Google Patents

Description

本発明は、スマートフォン等の情報端末から通信ネットワークを介して遠隔で操作対象装置を操作する技術に関するものである。

遠隔にあるコンピュータをネットワーク経由で操作できるリモートデスクトップと呼ばれる技術が用いられている。

リモートデスクトップ技術では、例えば、センタにあるコンピュータを、外出先からノートパソコンを用いて操作することで、センタのコンピュータが持つアプリケーションを遠隔で利用することが可能である。近年のリモートデスクトップ技術では、遠隔にあるコンピュータを携帯電話機やスマートフォン等の情報端末から操作することも可能になっている（例えば特許文献１）。

ノートパソコンやスマートフォンといったユーザが持ち運びできる情報端末は、盗難や紛失のリスクがあり、情報を格納した情報端末を紛失等した場合には、情報漏えいの危険があるが、リモートデクストップでは、情報端末を操作のためだけに用い、重要な情報を格納しないため、紛失等による情報漏えいのリスクが少ないという利点がある。

特開2005-228227号公報

スマートフォンから遠隔のコンピュータ（遠隔被操作装置）へリモートアクセスを行うクライアントアプリには様々なものがある。しかし、一般的なスマートフォンでは画面が小さいため、キーボードを表示させると画面がほとんど隠れてしまい、本格的な使用には堪えない。

一方、タブレット型端末では、ある程度の広さを持った画面を有するが、それでも画面の半分程度はキーボードで覆われてしまい、ユーザにとって利用し難い。また、その大きさゆえ常時携帯することは利便性に欠ける。

本発明は上記の点に鑑みてなされたものであり、遠隔被操作装置からの出力情報を出力する出力装置と、遠隔被操作装置を操作するための情報を入力する入力装置とを分離して、分離された出力装置と入力装置により遠隔被操作装置の操作を行うことを可能とした技術を提供することを目的とする。

上記の課題を解決するために、本発明は、通信ネットワークを介して遠隔被操作装置と出力装置及び入力装置との間の中継を行うリモートアクセス装置であって、
遠隔被操作装置から出力情報を受信し、当該遠隔被操作装置に対応付けられた出力装置を識別し、当該出力装置に前記出力情報を送信する出力情報制御手段と、
入力装置から入力情報を受信し、当該入力装置及び前記出力装置に対応付けられた遠隔被操作装置を識別し、識別された遠隔被操作装置に前記入力情報を送信する入力情報制御手段とを備えたことを特徴とするリモートアクセス装置として構成される。

前記リモートアクセス装置は、入力装置に割り当てられたセッションＩＤ、遠隔被操作装置に対応付けられた出力装置への送信先、及び当該遠隔被操作装置の識別情報を対応付けて保持する接続管理情報格納手段を更に備え、
前記出力情報制御手段は、遠隔被操作装置から受信する出力情報に付加されている当該遠隔被操作装置の識別情報に対応する出力装置への送信先を前記接続管理情報格納手段から取得し、当該送信先に前記出力情報を送信し、
前記入力情報制御手段は、入力装置から受信する入力情報に付加されているセッションＩＤに対応する遠隔被操作装置の識別情報を前記接続管理情報格納手段から取得し、当該識別情報で識別される遠隔被操作装置に前記入力情報を送信するように構成してもよい。

前記リモートアクセス装置は、入力装置又は出力装置から受信したユーザＩＤに基づいて認証処理を行う認証手段を更に備え、
前記認証手段は、セッションＩＤを生成し、前記ユーザＩＤに対応する遠隔被操作装置に対応付けて当該セッションＩＤを前記接続管理情報格納手段に格納し、当該セッションＩＤを前記入力装置に送信するようにしてもよい。

前記リモートアクセス装置は、入力装置又は出力装置から受信したユーザＩＤに基づいて認証処理を行う認証手段を更に備え、
前記認証手段は、所定のコードを生成し、前記ユーザＩＤに対応する遠隔被操作装置に対応付けて当該所定のコードを前記接続管理情報格納手段に格納し、前記ユーザＩＤを送信した方の装置である入力装置又は出力装置に前記所定のコードを送信し、前記ユーザＩＤを送信しなかった方の装置である入力装置又は出力装置から受信する所定のコードと、前記接続管理情報格納手段に格納した前記所定のコードとの照合を行うことで、入力装置と出力装置との対応付けを行うように構成してもよい。

前記リモートアクセス装置は、前記ユーザＩＤに対応する遠隔被操作装置に送信先としてのチャネル番号を割り当て、当該チャネル番号を当該遠隔被操作装置の識別情報と対応付けて前記接続管理情報格納手段に格納し、当該チャネル番号を、当該遠隔被操作装置に対応付けられる出力装置に通知する手段を備えてもよい。

また、前記リモートアクセス装置は、遠隔被操作装置からの出力情報を受信するためのチャネル番号を出力装置に通知する手段を備えてもよい。

また、前記リモートアクセス装置は、入力装置から、切り替え先の遠隔被操作装置の識別情報及びセッションＩＤを含む切り替え指示を受信し、前記接続管理情報格納手段において、当該セッションＩＤに対応して既に格納されている遠隔被操作装置の識別情報を、前記切り替え指示に含まれる遠隔被操作装置の識別情報に書き換える接続切替手段を更に備えてもよい。

また、本発明は、通信ネットワークを介して遠隔被操作装置と出力装置及び入力装置との間の中継を行うリモートアクセス装置が実行する遠隔操作方法であって、
遠隔被操作装置から出力情報を受信し、当該遠隔被操作装置に対応付けられた出力装置を識別し、当該出力装置に前記出力情報を送信する出力情報制御ステップと、
入力装置から入力情報を受信し、当該入力装置及び前記出力装置に対応付けられた遠隔被操作装置を識別し、識別された遠隔被操作装置に前記入力情報を送信する入力情報制御ステップとを備えたことを特徴とする遠隔操作方法として構成してもよい。

また、本発明は、コンピュータを、前記リモートアクセス装置における各手段として機能させるためのプログラムとして構成してもよい。

更に、本発明は、遠隔被操作装置と出力装置及び入力装置との間の中継を行うリモートアクセス装置を介して前記遠隔被操作装置を操作するための情報を送信する前記入力装置であって、
ユーザにより画面上で行われた動作を検知し、検知した動作を前記遠隔被操作装置への入力情報に変換する変換手段と、
当該入力情報を前記リモートアクセス装置に送信する送信手段とを備えることを特徴とする入力装置として構成することもできる。

本発明によれば、遠隔被操作装置からの出力情報を出力する出力装置と、遠隔被操作装置を操作するための情報を入力する入力装置とを分離して、分離された出力装置と入力装置により遠隔被操作装置の操作を行うことが可能となるので、携帯性を維持しながら、大画面による効率的な作業が可能となり、業務効率が向上する。

本発明の実施の形態における遠隔操作システム１００の構成図である。 本発明の実施の形態におけるリモートアクセス装置１０の構成図である。 接続管理テーブルの例を示す図である。 本発明の実施の形態におけるログインシーケンスの第１の例を示す図である。 ログインシーケンスにおける画面表示例を示す図である。 本発明の実施の形態におけるログインシーケンスの第２の例を示す図である。 本発明の実施の形態における遠隔被操作装置を操作するシーケンスを示す図である。 操作対象となる遠隔被操作装置を切り替えるシーケンスを示す図である。

以下、図面を参照して本発明の実施の形態を説明する。なお、以下で説明する実施の形態は一例に過ぎず、本発明が適用される実施の形態は、以下の実施の形態に限られるわけではない。以下で説明する実施の形態では、遠隔被操作装置２０から送信され出力装置３０により出力される出力情報を画像情報としているが、これは例であり、画像情報に限られない。例えば、音声情報のみ、もしくは音声情報と画像情報が混在した情報であってもよい。

（装置構成）
図１に、本発明の実施の形態に係る遠隔操作システム１００の構成図を示す。図１に示すように、本実施の形態に係る遠隔操作システム１００は、出力装置３０、入力装置４０、リモートアクセス装置１０、及び遠隔被操作装置２０を備え、出力装置３０及び入力装置４０とリモートアクセス装置１０とは通信ネットワーク５０により接続されている。また、リモートアクセス装置１０と遠隔被操作装置２０との間は通信ネットワーク６０で接続されている。

出力装置３０は、ネットワーク通信可能であって画像を表示できるディスプレイを備える装置であれば特定の装置に限定されないが、本実施の形態では、出力装置３０として、ネットワーク対応のテレビを用いる。出力装置３０として、インターネットに接続されたパソコンを用いてもよい。

入力装置４０は、ネットワーク通信可能であって情報入力可能な装置であれば特定の装置に限定されないが、本実施の形態では、入力装置４０として、スマートフォンを用いる。入力装置４０には、入力用アプリケーションであるキーボードアプリが搭載され、キーボードアプリにより、入力装置４０においてログインや操作時の情報入力、入力情報送信、入力を行うために必要な情報表示等が可能となっている。また、後述するように、キーボードアプリにより、キーボード入力と（仮想的な）マウス入力の区別等も可能である。

本実施の形態における遠隔被操作装置２０は、リモートデスクトップ技術におけるサーバソフトウェアを搭載したコンピュータである。当該コンピュータは、物理的に実在するＰＣであってもよいし、仮想ＰＣであってもよい。仮想ＰＣは、例えば、サーバ装置において仮想ＰＣ用のソフトウェアが搭載されることにより実現される。遠隔被操作装置２０は、リモートデスクトップ技術における既存のプロトコルに従って、画像情報（例：デスクトップ画面の画像）をクライアント側（本実施の形態ではリモートアクセス装置１０）に送信し、クライアント側から送られた入力情報を受信し、入力情報に応じた処理を実行する。図１に示すように、一般にリモートアクセス装置１０には複数の遠隔被操作装置２０が接続される。

リモートアクセス装置１０は、遠隔被操作装置２０と出力装置３０／入力装置４０との間を中継する装置である。リモートアクセス装置１０の機能の詳細については後述する。

本実施の形態では、リモートアクセス装置１０と出力装置３０／入力装置４０との間を接続する通信ネットワーク５０はインターネットである。ただし、インターネットを使用することは一例に過ぎない。また、通信ネットワーク５０は、ストリーミングサーバ５１を備えており、当該ストリーミングサーバ５１がリモートアクセス装置１０から出力された画像情報を受け取り、当該画像情報をストリーミングプロトコルにより出力装置３０へ送信する。ストリーミングによる表示を行うことで、出力装置３０側に情報が残らないので、従来のリモートデスクトップを使用しているのと同様なセキュリティを確保できる。

また、本実施の形態では、通信ネットワーク５０がマルチキャストに対応しており、ストリーミングサーバ５１から送信された画像情報（ストリーム）はマルチキャストプロトコルで出力装置３０に送信される。本実施の形態では、マルチキャストアドレス（送信先）で識別されるマルチキャスト通信路をチャネルもしくはストリーミングチャネルと呼んでいる。出力装置３０は、通信ネットワーク５０に対し、ストリーミングチャネル（マルチキャストアドレスそのものであってもよい）を指定してマルチキャストへの参加を行うことで、当該ストリーミングチャネルにより配信されるストリーミング情報を受信できる。

なお、リモートアクセス装置１０から出力装置３０への情報配信を電波放送網やケーブルテレビ網を介して行ってもよい。この場合、出力装置３０が受信し表示する映像を他の装置に表示させたくない場合は、映像にスクランブル暗号をかけ、放送信号を傍受されても内容が判別できないようにできる。スクランブル復号化は、出力装置側に接続した暗号を解除する装置（セットトップボックス）にて行うことができる。

出力装置３０側には特に専用のアプリケーションは不要であり、ブラウザでインターネットにアクセスできる機能や放送を受信できる一般的な機能があればよい。

図２に、リモートアクセス装置１０の機能構成図を示す。図２では、図示の便宜上、１つの遠隔被操作装置２０が接続された状態を示している。

図２に示すように、本実施の形態のリモートアクセス装置１０は、画像情報受信部１１、入力情報送信部１２、画像情報送信部１３、入力情報受信部１４、接続制御部１５、ログイン処理部１６、接続切替処理部１７、接続管理テーブル格納部１８を有する。なお、画像情報受信部１１、接続制御部１５、及び画像情報送信部１３を出力情報制御手段と称し、入力情報送信部１２、接続制御部１５、及び入力情報受信部１４を入力情報制御手段と称してもよい。また、ログイン処理部１６を認証手段と称してもよい。

画像情報受信部１１は、遠隔被操作装置２０から送信される画像情報を受信し、接続制御部１５に対して、当該画像情報を、送信元である遠隔被操作装置を識別する情報（本実施の形態では遠隔被操作装置のアドレス）とともに出力する機能を有する。入力情報送信部１２は、接続制御部１５から遠隔被操作装置２０を識別する情報とともに出力された入力情報（入力装置４０から入力された情報）を当該遠隔被操作装置２０に送信する機能を有する。画像情報受信部１１と入力情報送信部１２は、例えば、既存のリモートデスクトップ技術におけるクライアントソフトウェアを利用して実現できる。なお、画像情報受信部１１と入力情報送信部１２の組は、１つであってもよいし、遠隔被操作装置毎に備えることとしてもよい。遠隔被操作装置毎に備える場合、接続制御部１５からの入力情報は、宛先の遠隔被操作装置に対応した入力情報送信部１２に出力される。

画像情報送信部１３は、接続制御部１５から出力されるチャネルの識別情報（本実施の形態ではチャネル番号）と画像情報をストリーミングサーバ５１に送信する機能を備える。なお、出力装置３０が受信するチャネルの識別情報と画像情報をストリーミングサーバ５１に送信することは、出力装置３０に向けて画像情報を配信することと同等である。

また、入力情報受信部１４は、入力装置４０から送信されたセッションＩＤと入力情報を受信し、セッションＩＤと入力情報を接続制御部１５に渡す機能を備える。

接続制御部１５は、画像情報受信部１１から画像情報と遠隔被操作装置２０を識別する情報を受け取り、接続管理テーブルを参照することにより、遠隔被操作装置２０に対応するチャネル番号と画像情報とを画像情報送信部１３に出力する機能を備える。また、接続制御部１５は、入力情報受信部１４からセッションＩＤと入力情報を受け取り、接続管理テーブルを参照することにより、セッションＩＤに対応する遠隔被操作装置２０を識別し、その識別情報（アドレス）とともに入力情報を入力情報送信部１２に渡す。

ログイン処理部１６は、入力装置４０もしくは出力装置３０からログイン情報を受信し、ユーザ認証を行うとともに、セッションＩＤ払い出し、チャレンジコード払い出し、チャレンジコード認証、ストリーミングチャネル割り当て等を行う機能を有する。接続切替処理部１７は、入力装置４０からの指示に従って、表示及び操作を行う対象である遠隔被操作装置２０を切り替える処理を行う機能を備える。

図３に、接続管理テーブル格納部１８に格納される接続管理テーブルの一例を示す。なお、この図における最初のレコードは、ログイン処理が終わった後の状態を示している。図３に示すように、本実施の形態における接続管理テーブルには、セッションＩＤ、チャレンジコード、ユーザＩＤ、機器ＩＤ、ストリーミングチャネル番号、遠隔被操作装置２０のアドレス（ＩＰアドレス）が記録される。なお、機器ＩＤを記録することは必須ではない。

本実施の形態では、ユーザＩＤと遠隔被操作装置２０は、例えば登録処理を通じて予め対応付けされており、ユーザＩＤと遠隔被操作装置２０のアドレスは予め接続管理テーブルに記録されている。セッションＩＤ、チャレンジコード、及びストリーミングチャネル番号は、ログイン処理時に割り当てられる情報である。なお、本実施の形態では、遠隔被操作装置２０の識別情報としてアドレスを接続管理テーブルに記録するが、遠隔被操作装置の識別情報はアドレスに限られず、遠隔被操作装置を識別できる情報であればよい。

本実施の形態に係るリモートアクセス装置１０は、ＣＰＵ、メモリやハードディスク等の記憶手段、及びデータ通信手段等を備えるコンピュータ（ルータ等の通信装置も含む）に、本実施の形態で説明する各機能部に対応するプログラムを実行させることにより実現可能である。当該プログラムは、可搬メモリ等の記憶媒体に格納して配布し、上記コンピュータにインストールして用いてもよいし、ネットワーク上のサーバからダウンロードして上記コンピュータにインストールしてもよい。

なお、リモートアクセス装置１０の構成を、遠隔被操作装置２０が備えてもよいし、入力装置４０が備えてもよい。

（システムの動作）
以下、図面を参照して、本実施の形態に係る遠隔操作システムの動作を説明する。

＜ログイン処理例１＞
まず、ログイン処理例１を図４のシーケンス図を参照して説明する。ログイン処理例１は、入力装置４０からログインを行う場合の例である。図５は、出力装置３０と入力装置４０に表示される画面例を示している。以下の図４を参照したシーケンスの説明の中で、適宜図５を参照する。

まず、ユーザが入力装置４０のキーボードアプリを起動する（ステップ１）。キーボードアプリが起動すると、入力装置４０にログイン画面が表示される（ステップ２）（図５のＡ）。このログイン画面は、リモートアクセス装置１０へアクセスして、リモートアクセス装置１０からのページ情報で表示されてもよい。ユーザがユーザＩＤとパスワードを入力装置４０に入力すると（ステップ３）、入力装置４０からユーザＩＤとパスワード、及び入力装置４０の機器ＩＤがリモートアクセス装置１０に送信される（ステップ４）。なお、機器ＩＤはログイン処理において必ずしも必要ではなく、送信しなくてもよい。機器ＩＤを送ることにより、入力装置４０が予め登録された装置であるかどうかの認証を行うことができる。

ユーザＩＤとパスワード、及び入力装置４０の機器ＩＤを受信したリモートアクセス装置１０は、ログイン処理部１６においてユーザ認証を行う（ステップ５）。ユーザ認証は、例えば、予め登録したユーザＩＤとパスワード、及び機器ＩＤが、受信したユーザＩＤとパスワード、及び機器ＩＤと一致するか否かをチェックすることにより行う。

本例では認証に成功する。ログイン処理部１６はセッションＩＤを払い出し、セッションＩＤを入力装置４０に送信する（ステップ６）。また、チャレンジコードを生成し、チャレンジコード及びセッションＩＤをユーザＩＤ（遠隔被操作装置２０と予め対応付けられている）と対応付けて接続管理テーブルに記録する（ステップ７）。そして、ログイン処理部１６は、チャレンジコードを入力装置４０に送信する。

入力装置４０では、ステップ６でセッションＩＤを受信すると、当該セッションＩＤを記憶手段に格納しておき、遠隔被操作装置２０を操作する段階で、入力情報を送信するときにセッションＩＤを付加して送信する。

入力装置４０は、ステップ８でチャレンジコードを受信すると、チャレンジコードを表示する（ステップ９）（図５のＢ）。

入力装置４０に表示されたチャレンジコードを見たユーザは、出力装置３０（ネットワーク対応テレビ）からチャレンジコードをリモートアクセス装置１０に送信するための操作を行う。すなわち、ユーザは、リモコン等を用いて出力装置３０のインターネット機能を呼び出し（ステップ１０）、リモートアクセス装置１０のＵＲＬを入力する（ステップ１１）。出力装置３０は、リモートアクセス装置１０にページ要求を送信し（ステップ１２）、リモートアクセス装置１０は出力装置３０にログインページ（認証要求ページ）を返す（ステップ１３）。

ステップ１３で表示されるログインページにはチャレンジコードを入力する欄があり、ユーザはその欄に、入力装置４０に表示されているチャレンジコードを入力する（ステップ１４）（図５のＣ）。入力されたチャレンジコードはリモートアクセス装置１０に送信される（ステップ１５）。チャレンジコードを受信したリモートアクセス装置１０では、ログイン処理部１６が、受信したチャレンジコードが接続管理テーブルに既に格納したチャレンジコードと一致するかどうかを確認することによりチャレンジコード認証を行う（ステップ１６）。ここでは認証に成功し、次にログイン処理部１６はストリーミングチャネルを今回のログインに係る出力装置３０に割り当て、割り当てたストリーミングチャネル番号を、セッションＩＤ等と対応付けて接続管理テーブルに記録する（ステップ１６）。なお、リモートアクセス装置１０は、利用可能な複数のストリーミングチャネル番号を予め保持し、ログインの時点で未使用である１つのストリーミングチャネル番号を割り当てる。

そして、ログイン処理部１６は、割り当てられたストリーミングチャネル番号のストリーミングチャネルを受信するよう指示する指示情報を出力装置３０に通知する（ステップ１７）。本例では、指示を受信した出力装置３０は指示されたストリーミングチャネルに対応するマルチキャストへ参加する処理を行うことで、指示されたストリーミングチャネルを受信可能な状態となる。

その後、ストリーミングチャネルを介して遠隔被操作装置２０からの画像情報が出力装置３０に送信される（ステップ１８）。

なお、チャレンジコードに有効期間を設け、有効期間が経過した後は当該チャレンジコードを無効とする構成としてもよい。

＜ログイン処理例２＞
次に、ログイン処理例２を図６のシーケンス図を参照して説明する。ログイン処理例２は、出力装置３０からログインを行う場合の例である。

まず、ユーザは、出力装置４０のブラウザを起動し、ログイン画面にアクセスする操作を行うことで、出力装置４０はリモートアクセス装置１０にアクセスし（ステップ２１）、リモートアクセス装置１０からログイン画面のページを受信し、ログイン画面を表示する（ステップ２２）。ユーザは、出力装置３０に表示されたログイン画面からユーザＩＤとパスワードを入力し（ステップ２３）、ユーザＩＤとパスワード、及び出力装置３０の機器ＩＤがリモートアクセス装置１０に送信される。前述した場合と同様に、機器ＩＤを送信することは必ずしも必要ではない。

リモートアクセス装置１０のログイン処理部１６は、受信したユーザＩＤとパスワード、及び機器ＩＤが、予め登録されたユーザＩＤとパスワード、及び機器ＩＤと一致するかどうかを確認することによりユーザ認証を行う（ステップ２５）。本例ではユーザ認証に成功し、ログイン処理部１６はチャレンジコードを生成し、当該チャレンジコードをユーザＩＤに対応付けて接続管理テーブルに格納するとともに、当該チャレンジコードを出力装置３０に送信する（ステップ２６）。

出力装置３０には受信したチャレンジコードが表示される（ステップ２７）。出力装置３０に表示されたチャレンジコードを見たユーザは、入力装置４０からチャレンジコードをリモートアクセス装置１０に送信するための操作を行う。すなわち、ユーザは入力装置４０のキーボードアプリを起動する（ステップ２８）。キーボードアプリが起動すると、入力装置４０にチャレンジコード入力画面が表示される（ステップ２９）。なお、このチャレンジコード入力画面は、リモートアクセス装置１０にアクセスして取得したページにより表示されるものであってもよい。ユーザは入力装置４０にチャレンジコードを入力し（ステップ３０）、チャレンジコードは入力装置４０からリモートアクセス装置１０に送信される（ステップ３１）。

チャレンジコードを受信したリモートアクセス装置１０のログイン処理部１６は、受信したチャレンジコードが、既に接続管理テーブルに格納されたチャレンジコードと一致するか否かを判定することによりチャレンジコード認証を行う（ステップ３２）。ここではチャレンジコード認証に成功するので、ログイン処理部１６は、セッションＩＤを払い出すとともにストリーミングチャネル番号を割り当て、これらをチャレンジコードに対応付けて接続管理テーブルに記録するとともに、払い出したセッションＩＤを入力装置４０に送信する（ステップ３３）。更に、ログイン処理部１６は、割り当てられたストリーミングチャネル番号のストリーミングチャネルを受信するよう指示する情報を出力装置３０に通知する（ステップ３４）。本例では、指示を受信した出力装置３０は指示されたストリーミングチャネルに対応するマルチキャストへ参加する処理を行うことで、ストリーミングチャネルを受信可能な状態となる。

その後、ストリーミングチャネルを介して遠隔被操作装置２０からの画像情報が出力装置３０に送信される（ステップ３５）。

なお、ログイン処理例１及びログイン処理例２においては、ユーザＩＤによる認証を契機に、ストリーミングチャネル番号を出力装置３０に通知することとしたが、ストリーミングチャネル番号を出力装置３０に通知する契機はこれに限られるわけではない。例えば、あるコンテンツを不特定多数に対して公開するような場合、認証なしにリモートアクセス装置１０への接続を許容し、コンテンツ要求を行った出力装置３０に対して、そのコンテンツを配信するストリーミングチャネル番号を通知するようにしてもよい。

また、本実施の形態では、認証手段であるログイン処理部１６がストリーミングチャネル番号の割り当てと通知を行うこととしているが、ログイン処理部１６とは別に、ストリーミングチャネル番号の割り当てと通知を行う機能部を備え、当該機能部がストリーミングチャネル番号の割り当てと通知を行うこととしてもよい。

＜遠隔被操作装置を操作する処理＞
次に、遠隔被操作装置２０を操作する際の処理内容を図７のシーケンス図を参照して説明する。

ユーザは、入力装置４０上にキーボードアプリにより表示されているキーボードで文字入力（又はマウス操作）を行う（ステップ４１）。入力装置４０は、キーボードアプリの機能により、入力操作に対応するキーコード（入力情報）と、ログイン時にリモートアクセス装置１０から受信したセッションＩＤとをリモートアクセス装置１０に送信する（ステップ４２）。リモートアクセス装置１０では、入力情報受信部１４が上記キーコードとセッションＩＤを受信し、これらを接続制御部１５に渡す。接続制御部１５は、接続管理テーブルを参照することにより、受け取ったセッションＩＤに対応する遠隔被操作装置２０のアドレスを検索し、取得する（ステップ４３）。そして、接続制御部１５は、このアドレスとキーコードとを入力情報送信部１２に渡し、入力情報送信部１２が当該アドレス宛て（目的の遠隔被操作装置２０宛て）にキーコードを送信する（ステップ４４）。

遠隔被操作装置２０は、受信したキーコードに応じた処理を行い、その結果出力される画面の画像情報を、送信元アドレスを含むパケットとしてリモートアクセス装置１０に送信する（ステップ４５）。リモートアクセス装置１０の画像情報受信部１１は、送信元アドレスと画像情報を受信し（ステップ４５）、受信した画像情報及び送信元アドレスを接続制御部１５に渡す。接続制御部１５は、接続管理テーブルを参照することにより、受信した送信元アドレスに対応するストリーミングチャネル番号を取得し、ストリーミングチャネル番号と画像情報を画像情報送信部１３に渡す。なお、ここで取得されるストリーミングチャネル番号は、チャレンジコード認証により出力装置３０に対応付けられたものであり、また、ストリーミングチャネル番号は、遠隔被操作装置２０に対応付けられているから、送信元アドレスに対応するストリーミングチャネル番号を取得することは、遠隔被操作装置２０に対応付けられた出力装置３０を識別することに相当する。

画像情報送信部１３が上記ストリーミングチャネル番号と画像情報とをストリーミングサーバ５１に送信することにより（ステップ４６）、ストリーミングサーバ５１から該当のストリーミングチャネルで画像情報が送信される（ステップ４７）。

出力装置３０は、上記ストリーミングチャネルを受信する状態にあるので、ストリーミング配信された画像情報を受信し表示する（ステップ４８）。

＜入力装置のソフトウェアキーボードについて＞
入力装置４０上で遠隔被操作装置２０を操作するときに使用されるソフトウェアキーボード（キーボードアプリにより実現されるキーボード）では、キーボード入力と、マウス操作を行うことができる。マウス操作では、例えば、指を画面上でタッチしながら移動ささせることで、マウスポインタの移動ができ、所定の操作（例えば指でのタップやダブルタップ）でマウスのクリック操作を行うことができる。また、キーボードとマウスの切り替えには、切り替えボタン等を用いずに、指の動きを検知して行う。例えば、一箇所を短時間で押す操作が続いている場合はキーボード使用と判定し、指を画面上滑らすような動きをしたらマウス使用と判定する。また、例えば、画面上の特定の場所でピンチアウト／ピンチインの動作を検知した場合に、キーボードのキーサイズを拡大・縮小することができる。

また、例えば、入力装置４０の画面上（上記特定の場所と異なる場所）でピンチアウト／ピンチインの動作を検知したら、出力装置３０で表示される情報の拡大／縮小のコマンドに変換して遠隔被操作装置２０に送信する。また、キーボードのレイアウトを、所定の動作により、例えば、１０１キー、１０６キー、５０音順といったように切り替えることができる。
なお、これまでに挙げた指の動作は一例に過ぎず、他の動作で同様の制御を実現してもよい。

上記のとおり、入力装置４０は、ディスプレイと、ディスプレイに表示される画面上での指等の動作（タッチされている箇所、時間、スライド、ピンチイン／ピンチアウト等）を検知し、検知した動作を遠隔被操作装置２０の動作を指示する入力情報に変換する機能と、当該入力情報にセッションＩＤを付加し、セッションＩＤ付きの入力情報を通信ネットワークを介してリモートアクセス装置１０に送信する機能とを含む。

また、本実施の形態の入力装置４０は、遠隔被操作装置２０から出力される画像情報を表示せず、当該入力装置４０に情報を入力するための画像情報（キーボードの画像等）のみを表示する。入力装置４０は、キーボードによる入力とマウス操作による入力との間の切り替えを、画面上の動作を検知して行う機能を備える。

また、画面上での所定の動作を検知した場合に、情報入力のために画面上に表示される画像情報（キーボードのキー等）のサイズを拡大又は縮小する機能を備える。また、入力装置４０は、画面上での所定の動作（ピンチアウト／ピンチイン等）を検知した場合に、遠隔被操作装置２０から出力され、出力装置３０に表示される画像情報を拡大又は縮小するコマンドを生成してリモートアクセス装置１０に送信する機能を備える。

本実施の形態では、上記各機能はキーボードアプリにより実現されている。つまり、ＣＰＵやメモリ等を含むコンピュータの構成を持つ入力装置４０上でキーボードアプリを実行することにより、上記各機能が実現される。キーボードアプリは、ネットワーク上のサーバからダウンロードして入力装置４０にインストールしてもよいし、キーボードアプリを格納したメモリカード等の記録媒体から入力装置４０に読み込んでインストールしてもよい。

なお、本実施の形態では、キーボードアプリを用いた入力方法の例を説明したが、入力方法はこれに限られない。例えば、入力方法の形態として、手書き入力や音声入力、画像入力などを採用してもよい。

＜遠隔被操作装置の切り替え処理＞
次に、図８を参照して遠隔被操作装置２０の切り替え処理について説明する。本実施の形態では一般に、１ユーザあたり複数の遠隔被操作装置２０を使用可能であり、ユーザＩＤと複数の遠隔被操作装置２０の識別情報（アドレス）が予めリモートアクセス装置１０に格納されているものとする。そして、入力装置４０は、リモートアクセス装置１０にアクセスすることで、リモートアクセス装置１０から自分（のユーザＩＤ）に対応する複数の遠隔被操作装置２０を示す情報（アイコン等）を受信し、キーボードアプリにより、選択可能に画面に表示可能であるものとする。

図８の前提として、ユーザは既にある１つの遠隔被操作装置２０を操作するためのログイン処理を完了しており、当該遠隔被操作装置２０を操作できる状態にあるものとし、接続管理テーブルには、図３の一番目のレコードに示されるように、各情報が記録されているものとする。

ユーザが、現在操作している遠隔被操作装置２０と異なる別の遠隔被操作装置２０を操作したいと考えた場合、ユーザは、入力装置４０上に複数表示される遠隔被操作装置２０の中から所望の遠隔被操作装置２０を選択（アイコンにタッチする等）することにより、遠隔被操作装置２０の切り替え指示を行う（ステップ５１）。

入力装置４０は、選択された遠隔被操作装置２０の識別情報（アドレス）を含む切り替え指示をリモートアクセス装置１０に送信する（ステップ５２）。この切り替え指示には既に払い出されているセッションＩＤが含まれる。

切り替え指示を受信したリモートアクセス装置１０では、接続切替処理部１７が、接続管理テーブルを参照し、切り替え指示に含まれるセッションＩＤに対応付けて格納されている遠隔被操作装置２０のアドレスを、切り替え指示に含まれる遠隔被操作装置２０のアドレスに書き換える（ステップ５３）。

これにより、切り替え後の遠隔被操作装置２０から送信される画像情報は、既に割り当てられたストリーミングチャネルにより出力装置３０に送られるとともに、入力装置４０に入力された入力情報は、切り替え後の遠隔被操作装置２０に送られる。

なお、上記の例では、入力装置４０から切り替え指示をリモートアクセス装置１０に送信することにより切り替えを行うが、切り替えの方法はこの例に限られるわけではない。

例えば、入力情報に遠隔被操作装置２０の情報を含めておき、リモートアクセス装置１０が、当該入力情報に含まれる遠隔被操作装置２０が変更されたことを検知した場合に、遠隔被操作装置２０を自動で切り替えることとしてもよい。

また、例えば、同一ユーザ（入力装置４０）に対して遠隔被操作装置２０毎の異なる複数のセッションＩＤを払い出し、入力装置４０では、操作対象の遠隔被操作装置２０に対応するセッションＩＤを付けて入力情報を送信し、リモートアクセス装置１０は、入力装置４０から送信されてくるセッションＩＤに応じて遠隔被操作装置２０を自動で切り替えることとしてもよい。この例では、上記のように最初に複数のセッションＩＤを払い出してもよいし、ユーザ（入力装置４０）からの操作を希望する遠隔被操作装置２０の要求に応じて、当該要求に応じたセッションＩＤを払い出すこととしてもよい。

（他の実施形態）
上述した例では、出力装置３０に対して、入力装置４０を１つ用いていたが、入力装置４０の数は１つの出力装置４０に対して複数（Ｎ台）であってもよい。

この場合、例えば、ログイン処理例１のシーケンスの後、２台目以降の入力装置４０については、最初の入力装置４０と同じユーザＩＤ／パスワードを用いた認証を行う。このとき、リモートアクセス装置１０のログイン処理部１６が、接続管理テーブルを確認し、上記ユーザＩＤに対応付けてセッションＩＤが既に払い出されていることを確認し、当該セッションＩＤを読み出して２台目以降の入力装置４０に送信する。これにより、２台目以降の入力装置４０も1台目と同じセッションＩＤを付加した入力情報をリモートアクセス装置１０に送信することができるので、１台目の入力装置４０により操作される遠隔被操作装置２０と同じ遠隔被操作装置２０を操作できる。このような形態は、例えば、１つの出力装置３０の画面を複数人で見ながら共同でドキュメントを作成するような場合に適用することができる。

また、上述した例では、１つの遠隔被操作装置２０の画像情報を１つの出力装置３０に表示することとしたが、１つの遠隔被操作装置２０の画像情報を複数（Ｎ台）の出力装置３０に表示することも可能である。

この場合、例えば、ある地点Ａにおいて出力装置Ａ３０と入力装置Ａ４０でのログイン処理例１のシーケンスによるログイン処理により、１つの遠隔被操作装置Ａ１０の操作が可能になった後に、地点Ｂにおいて入力装置Ｂ４０からユーザＩＤ／パスワードを用いたログインを行う。ここでのユーザＩＤ／パスワードは、上記地点Ａで用いたものと同じである。このユーザＩＤは、グループＩＤの位置付けのＩＤである。このとき、リモートアクセス装置１０のログイン処理部１６は、接続管理テーブルを確認し、上記ユーザＩＤ（グループＩＤ）に対応付けてチャレンジコード、セッションＩＤ、ストリーミングチャネル番号が既に割り当てられていることを確認し、接続管理テーブルから読み出したチャレンジコード、セッションＩＤ、ストリーミングチャネル番号を用いて、地点Ｂの出力装置Ｂ３０／入力装置Ｂ４０に対してログイン処理例１のシーケンスを実行する。これにより、地点Ｂの出力装置Ｂ３０も遠隔被操作装置Ａ１０から出力された画像情報のストリーミングを受信できるとともに、入力装置Ｂ４０で入力された入力情報は遠隔被操作装置Ａ１０に送信される。同様の処理を他の地点でも行うことで、更に多くの地点で遠隔被操作装置Ａ１０の画面表示及び操作が可能となる。このような形態は、例えば、遠隔授業やセミナー等の用途に使用することができる。

なお、リモートアクセス装置１０側で前者（出力装置：入力装置＝１：Ｎ）と後者（遠隔被操作装置：出力装置＝１：Ｎ）のサービスを区別するために、前者の場合は２台目以降のログイン時に、"出力装置：入力装置＝１：Ｎ"のサービスを利用する旨の指示をリモートアクセス装置１０に送り、後者の場合は、２地点目以降のログイン時に、"遠隔被操作装置：出力装置＝１：Ｎ"のサービスを利用する旨の指示をリモートアクセス装置１０に送るようにしてもよい。また、後者の場合は、予め登録された"グループＩＤ"を用いてログインがあったときには、リモートアクセス装置１０が"遠隔被操作装置：出力装置＝１：Ｎ"のサービス利用要求があったことを識別することとしてもよい。

また、後者の"遠隔被操作装置：出力装置＝１：Ｎ"の場合において、２地点目以降の地点でのログイン時に、セッションＩＤの入力装置４０への配布を行わず、出力装置３０へのストリーミングチャネル番号通知を行うことにより、入力は１地点だけで行い、画面の視聴をグループに含まれる複数の出力装置４０で行うという使用形態も実現可能である。

（実施の形態のまとめ、効果）
従来のリモートデスクトップ技術では、操作を行う側の端末における出力機能と入力機能とは一体となっている。一方、本実施の形態では、一例として、主に出力機能を担う出力装置としてテレビを用い、入力機能を担う入力装置として、ソフトウェアキーボードを備えるスマートフォンを用いる。これにより、出力機能と入力機能とを分離している。この分離を可能ならしめるために、遠隔被操作装置２０と出力装置３０／入力装置４０との間にリモートアクセス装置１０を備え、リモートアクセス装置１０が、遠隔被操作装置２０からの出力情報を出力装置３０に送信し、入力装置４０からの入力情報を遠隔被操作装置２０に送るように接続制御を行っている。本実施の形態では、リモートアクセス装置１０を備えることで、既存のリモートデスクトップ技術に手を加えることなく出力機能と入力機能とを分離できる。

本実施の形態の技術によれば、携帯性を維持しながら、大画面による効率的な作業が可能となり、業務効率が向上する。

また、画面情報は情報量が大きいことが想定されるため、キーボード情報と切り離して、高速インターネットや放送で転送することとしたので、入力装置（スマートフォン）側の通信の負荷を軽減し、効率的な通信を行うことが可能となる。一方、入力装置（スマートフォン）側では、情報量の小さいキーボード情報のみをやりとりすることで、入力装置（スマートフォン）側が３Ｇ回線であったとしてもストレスなく操作を行うことができる。

また、ユーザは情報を持ち歩かなくてもよくなり、盗難や置忘れなどによる情報漏えいのリスクから解放される。

また、既存のリモートデスクトップ技術（ＲＤＰ、ＩＡＣ、ＶＮＣ等）を変更することなく、また出力装置に特別なアプリケーションをインストールすることなく、入力と出力の分離が可能となる。

更に、本実施の形態では、チャレンジコード認証行うことにより、入力装置と出力装置の組み合わせを認証する（入力装置と出力装置とを対応付ける）ので、予め出力装置の登録（入力装置と出力装置の組み合わせの登録）が必要でなく、例えば外出先に設置してある出力装置を利用できるので、利用者にとっての利便性が高い。

本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。

１００ 遠隔操作システム
１０ リモートアクセス装置
２０ 遠隔被操作装置
３０ 出力装置
４０ 入力装置
５０ 通信ネットワーク
５１ ストリーミングサーバ
１１ 画像情報受信部
１２ 入力情報送信部
１３ 画像情報送信部
１４ 入力情報受信部
１５ 接続制御部
１６ ログイン処理部
１７ 接続切替処理部
１８ 接続管理テーブル格納部

Claims (10)

1. マルチキャストでストリーム配信を行うストリーミングサーバを備えた通信ネットワークを介して遠隔被操作装置と出力装置及び入力装置との間の中継を行うリモートアクセス装置であって、
   前記遠隔被操作装置の識別情報と、前記出力装置が受信するストリーミングチャネルのチャネル番号とを対応付けて保持する接続管理情報格納手段と、
   前記入力装置から入力情報を受信し、当該入力装置及び前記出力装置に対応付けられた前記遠隔被操作装置を識別し、当該遠隔被操作装置に前記入力情報を送信する入力情報制御手段と、
   前記遠隔被操作装置から出力情報を受信し、当該遠隔被操作装置に対応付けられた前記チャネル番号を前記接続管理情報格納手段から取得し、当該チャネル番号と前記出力情報とを前記ストリーミングサーバに送信することにより、当該ストリーミングサーバに前記出力情報を前記出力装置に向けて送信させる出力情報制御手段と、
   を備えたことを特徴とするリモートアクセス装置。
2. 前記接続管理情報格納手段は、前記遠隔被操作装置の識別情報、前記チャネル番号、及び前記入力装置に割り当てられたセッションＩＤを対応付けて保持し、
   前記入力情報制御手段は、前記入力装置から受信する入力情報に付加されているセッションＩＤに対応する前記遠隔被操作装置の識別情報を前記接続管理情報格納手段から取得し、当該識別情報で識別される前記遠隔被操作装置に前記入力情報を送信する
   ことを特徴とする請求項１に記載のリモートアクセス装置。
3. 前記入力装置又は前記出力装置から受信したユーザＩＤに基づいて認証処理を行う認証手段を更に備え、
   前記認証手段は、
   前記セッションＩＤを生成し、前記ユーザＩＤに対応する遠隔被操作装置に対応付けて当該セッションＩＤを前記接続管理情報格納手段に格納し、当該セッションＩＤを前記入力装置に送信する
   ことを特徴とする請求項２に記載のリモートアクセス装置。
4. 前記入力装置又は前記出力装置から受信したユーザＩＤに基づいて認証処理を行う認証手段を更に備え、
   前記認証手段は、
   所定のコードを生成し、前記ユーザＩＤに対応する遠隔被操作装置に対応付けて当該所定のコードを前記接続管理情報格納手段に格納し、前記ユーザＩＤを送信した方の装置である前記入力装置又は前記出力装置に前記所定のコードを送信し、前記ユーザＩＤを送信しなかった方の装置である前記入力装置又は前記出力装置から受信する所定のコードと、前記接続管理情報格納手段に格納した前記所定のコードとの照合を行うことで、前記入力装置と前記出力装置との対応付けを行う
   ことを特徴とする請求項２に記載のリモートアクセス装置。
5. 前記入力装置から、切り替え先の遠隔被操作装置の識別情報及びセッションＩＤを含む切り替え指示を受信し、前記接続管理情報格納手段において、当該セッションＩＤに対応して既に格納されている遠隔被操作装置の識別情報を、前記切り替え指示に含まれる遠隔被操作装置の識別情報に書き換える接続切替手段
   を更に備えたことを特徴とする請求項２ないし４のうちいずれか１項に記載のリモートアクセス装置。
6. マルチキャストでストリーム配信を行うストリーミングサーバを備えた通信ネットワークを介して遠隔被操作装置と出力装置及び入力装置との間の中継を行うリモートアクセス装置が実行する遠隔操作方法であって、
   前記リモートアクセス装置は、前記遠隔被操作装置の識別情報と、前記出力装置が受信するストリーミングチャネルのチャネル番号とを対応付けて保持する接続管理情報格納手段を備えており、前記遠隔操作方法は、
   前記入力装置から入力情報を受信し、当該入力装置及び前記出力装置に対応付けられた前記遠隔被操作装置を識別し、当該遠隔被操作装置に前記入力情報を送信する入力情報制御ステップと、
   前記遠隔被操作装置から出力情報を受信し、当該遠隔被操作装置に対応付けられた前記チャネル番号を前記接続管理情報格納手段から取得し、当該チャネル番号と前記出力情報とを前記ストリーミングサーバに送信することにより、当該ストリーミングサーバに前記出力情報を前記出力装置に向けて送信させる出力情報制御ステップと、
   を備えたことを特徴とする遠隔操作方法。
7. コンピュータを、請求項１ないし５のうちいずれか１項に記載のリモートアクセス装置における各手段として機能させるためのプログラム。
8. マルチキャストでストリーム配信を行うストリーミングサーバを備えた通信ネットワークを介して遠隔被操作装置と出力装置及び入力装置との間の中継を行うリモートアクセス装置と、前記入力装置とを備える遠隔操作システムであって、
   前記入力装置は、
   ユーザにより画面上で行われた動作を検知し、検知した動作を前記遠隔被操作装置への入力情報に変換する変換手段と、
   当該入力情報を前記リモートアクセス装置に送信する送信手段と、を備え、
   前記リモートアクセス装置は、
   前記遠隔被操作装置の識別情報と、前記出力装置が受信するストリーミングチャネルのチャネル番号とを対応付けて保持する接続管理情報格納手段と、
   前記入力装置から前記入力情報を受信し、当該入力装置及び前記出力装置に対応付けられた前記遠隔被操作装置を識別し、当該遠隔被操作装置に前記入力情報を送信する入力情報制御手段と、
   前記遠隔被操作装置から出力情報を受信し、当該遠隔被操作装置に対応付けられた前記チャネル番号を前記接続管理情報格納手段から取得し、当該チャネル番号と前記出力情報とを前記ストリーミングサーバに送信することにより、当該ストリーミングサーバに前記出力情報を前記出力装置に向けて送信させる出力情報制御手段と、を備える、
   ことを特徴とする遠隔操作システム。
9. 前記入力装置は、前記遠隔被操作装置から出力される出力情報を表示せず、当該入力装置に情報を入力するための画像情報のみを表示する
   ことを特徴とする請求項８に記載の遠隔操作システム。
10. 前記入力装置は、キーボードによる入力とマウス操作による入力との間の切り替えを、画面上の動作を検知して行う手段
    を備えることを特徴とする請求項８又は９に記載の遠隔操作システム。

Images