JP7208689B1 - 情報処理プログラム - Google Patents

Abstract

【課題】他者のアプリケーションの環境を部分的にコントロールできる情報処理プログラムを提供すること。
【解決手段】情報処理プログラムは、第１の機器において動作中の通信システムを介して生成されたコマンドをリアルタイム通信のプロトコルを利用して受信することと、受信されたコマンドを解析することと、解析したコマンドに基づき、第２の機器に備えられた機能を実行するための情報を含むコンポーネントを操作することとを第２の機器のコンピュータに実行させる。
【選択図】図１

Description

本開示は、情報処理プログラムに関する。

オンライン会議システムが知られている。この種のオンライン会議システムにおいて、画面共有機能も知られている。画面共有機能は、オンライン会議に参加している１人のユーザの端末の画面をオンライン会議に参加している他のユーザの端末の画面にも表示させる機能である。このような画面共有機能により、例えば１人のユーザが何等かのアプリケーションを操作しながら他のユーザに説明をするといったことをすることができる。

特表２００９－５４１９０１号公報

ここで、画面共有機能は、あくまでも他のユーザと画面が共有されるだけである。このため、あるユーザが共有している画面において起動しているアプリケーションを他のユーザが操作することはできない。また、画面共有のためには、あるユーザの端末において起動している画面のデータを動画像のデータとして他の端末に伝送する必要がある。このため、遅延が生じやすい。遅延を低減するための１つの対応として、あるユーザの端末において起動しているアプリケーションにおける操作を他のユーザの端末においても同じように起動しているアプリケーションにも反映させることが考えられる。

本開示は、他者のアプリケーションの環境を部分的にコントロールできる情報処理プログラムを提供する。

本発明の一態様の情報処理プログラムは、第１の機器から送信されたコマンドをリアルタイム通信のプロトコルを利用して受信することと、受信されたコマンドを解析することと、解析したコマンドに基づき、第２の機器に備えられた機能を実行するための情報を含み、第１のアプリケーションに構築された仮想的な第２のアプリケーションに内包されるコンポーネントを操作することとを第２の機器のコンピュータに実行させる。

本開示によれば、他者のアプリケーションの環境を部分的にコントロールすることが可能となる。

図１は、実施形態に係る通信システムの一例を示す図である。 図２は、端末のハードウェア構成の一例を示す図である。 図３は、サーバのハードウェア構成の一例を示す図である。 図４は、ＩｏＴ機器のハードウェア構成の一例を示す図である。 図５は、実施形態における通信システムの動作を説明するための図である。 図６は、オンライン会議中に表示される画面の一例を示す図である。 図７は、実施形態における１つのカードの概念図である。 図８は、アクションとコンポーネントとの関係の具体例を示す図である。

以下、図面を参照して実施形態を説明する。図１は、実施形態に係る通信システムの一例を示す図である。図１に示すように、通信システム１は、端末１００ａ、１００ｂ、１００ｃと、サーバ２００と、ＩｏＴ（Internet of Things）機器３００とを有している。端末１００ａと、端末１００ｂと、端末１００ｃと、サーバ２００と、ＩｏＴ機器３００とは、相互にリアルタイム通信ができる環境にある。端末１００ａと、端末１００ｂと、端末１００ｃと、サーバ２００と、ＩｏＴ機器３００との間のリアルタイム通信は、例えばブラウザ型ウェブ通信システムにおいて用いられるリアルタイム通信のプロトコルであるＷｅｂＲＴＣ（Web Real-Time Communication）によって実現され得る。ＷｅｂＲＴＣの方式は、図１で示したピア・ツー・ピア（pear to pear）方式に限らず、ＳＦＵ（Selective Forwarding Unit）方式及びＭＣＵ（Multipoint Control Unit）方式であってもよい。

端末１００ａ、１００ｂ、１００ｃは、例えばパーソナルコンピュータ（ＰＣ）、タブレット端末、スマートフォンといった端末である。以下、端末１００ａ、１００ｂ、１００ｃは同じ構成を有する端末１００として説明される。図２は、端末１００のハードウェア構成の一例を示す図である。図２に示すように、端末１００は、プロセッサ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、ストレージ１０４と、入力インタフェース１０５と、出力インタフェース１０６と、通信装置１０７とをハードウェアとして有している。

プロセッサ１０１は、端末１００の全体的な動作を制御するプロセッサである。プロセッサ１０１は、例えばストレージ１０４に記憶されている各種のアプリケーションプログラム（アプリ）を実行することによって、各種の処理を実行し得る。プロセッサ１０１は、例えばＣＰＵ（Central Processing Unit）である。プロセッサ１０１は、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）等であってもよい。プロセッサ１０１は、単一のＣＰＵ等であってもよいし、複数のＣＰＵ等であってもよい。

ＲＯＭ（Read Only Memory）１０２は、不揮発性のメモリである。ＲＯＭ１０２は、端末１００の起動プログラム等を記憶している。ＲＡＭ（Random Access Memory）１０３は、揮発性のメモリである。ＲＡＭ１０３は、例えばプロセッサ１０１における処理の際の作業メモリとして用いられる。

ストレージ１０４は、例えばハードディスクドライブ、ソリッドステートドライブ、フラッシュメモリといったストレージである。ストレージ１０４は、ＯＳ（Operating System）を記憶している。また、ストレージ１０４は、プロセッサ１０１によって実行される各種のプログラムを記憶している。このプログラムは、例えばＷｅｂブラウザ、各種のアプリを含む。また、アプリは、端末１００に予めインストールされているものであってもよいし、サーバ２００等からダウンロードされるものであってもよい。実施形態におけるアプリには、少なくとも１つのアクションが定義されている。それぞれのアクションには、少なくとも１つのコンポーネントが対応づけられている。コンポーネントは、対応するアクションの実施に係る機能と対応するアクションの実施に係るＵＩの少なくとも１つを含む。コンポーネントを構成する機能とＵＩの組み合わせは、ユーザによって適宜にカスタマイズされ得る。さらに、実施形態におけるアプリは、少なくとも１つのアクションが定義された「カード型アプリケーション」として構成されてもよい。「カード型アプリケーション」は、１つのアプリケーションの中に構築された異なる１つ以上の仮想化されたアプリケーションであって、アクションの実施に係る機能と対応するアクションの実施に係るＵＩとの少なくとも１つを含むコンポーネントを記録したアプリケーションである。「カード型アプリケーション」が構築されるアプリケーションは、例えばＳＮＳ（Social Networking Service）アプリケーション、オンライン会議アプリケーションといった各種の通信を伴うアプリケーションであり得る。また、コンポーネントを構成する機能とＵＩの組み合わせは、ユーザによって適宜にカスタマイズされ得る。例えば、「スライドカード」は、スライドショーを実行するための各種のアクションが定義づけられたアプリケーションプログラムである。カード型アプリケーションが構築されたアプリケーションの実行時に表示されるアプリケーションの表示画面は、「カード型」の表示領域を内包している。ユーザは、「カード型」の表示領域を選択することで、その表示領域に対応づけられたアクションを実行させることができる。以下、カード型アプリケーションを単に「カード」と言う。

入力インタフェース１０５は、タッチパネル、キーボード、マウス等の入力装置を含む。入力インタフェース１０５の入力装置の操作がされた場合、操作内容に応じた信号がプロセッサ１０１に入力される。プロセッサ１０１は、この信号に応じて各種の処理を行う。

出力インタフェース１０６は、ディスプレイ、プリンタ等の出力装置を含む。出力装置には、各種の情報が出力される。例えば、ディスプレイには、各種の画面が表示される。

通信装置１０７は、端末１００がサーバ２００、ＩｏＴ機器３００といった外部の機器と通信するための通信装置である。通信装置１０７は、有線通信のための通信装置であってもよいし、無線通信のための通信装置であってもよい。

サーバ２００は、例えばオンライン会議用のサーバであり、端末１００ａ、１００ｂ、１００ｃの間のオンライン会議中の各種のサービスを提供する。実施形態において、サーバ２００は、端末１００ａ、１００ｂ、１００ｃの何れかから送信されるコマンドを受けたときにそのコマンドを他の端末に送信するといった処理を実行する。図３は、サーバ２００のハードウェア構成の一例を示す図である。図３に示すように、サーバ２００は、プロセッサ２０１と、ＲＯＭ２０２と、ＲＡＭ２０３と、ストレージ２０４と、通信装置２０５とをハードウェアとして有している。サーバ２００は、入力インタフェースと、出力インタフェースといった要素を有していてもよい。ここで、サーバ２００は、オンライン会議用のサーバに限るものではない。

プロセッサ２０１は、サーバ２００の全体的な動作を制御するプロセッサである。プロセッサ２０１は、例えばストレージ２０４に記憶されている各種のプログラムを実行することによって、各種の処理を実行し得る。プロセッサ２０１は、例えばＣＰＵである。プロセッサ２０１は、ＭＰＵ、ＧＰＵ、ＡＳＩＣ、ＦＰＧＡ等であってもよい。プロセッサ２０１は、単一のＣＰＵ等であってもよいし、複数のＣＰＵ等であってもよい。

ＲＯＭ２０２は、不揮発性のメモリである。ＲＯＭ２０２は、サーバ２００の起動プログラム等を記憶している。ＲＡＭ２０３は、揮発性のメモリである。ＲＡＭ２０３は、例えばプロセッサ２０１における処理の際の作業メモリとして用いられる。

ストレージ２０４は、例えばハードディスクドライブ、ソリッドステートドライブ、フラッシュメモリといったストレージである。ストレージ２０４は、ＯＳを記憶している。また、ストレージ２０４は、プロセッサ２０１によって実行される各種のプログラムを記憶している。このプログラムは、例えばオンライン会議の制御プログラムといったサーバ毎のプログラム、端末１００ａ、１００ｂ、１００ｃにおいて実行され得る各種のＷｅｂ ＡＰＩ（Application Program Interface）といったものを含む。さらに、このプログラムは、例えば端末１００ａ、１００ｂ、１００ｃのＷｅｂブラウザ上で動作する各種のＷｅｂアプリケーションを含む。実施形態においてストレージ２０４に記憶されるＷｅｂ ＡＰＩ及びＷｅｂアプリケーションも端末１００ａ、１００ｂ、１００ｃにおいて実行されるアプリと同様に少なくとも１つのアクションが定義されている。それぞれのアクションには、対応するアクションによって実施される機能が対応づけられている。さらに、実施形態におけるオンライン会議の制御プログラムといったサーバ毎のプログラム及びＷｅｂアプリケーションは、それ自体が別のアプリケーションに含まれる「カード」として構築されてもよいし、「カード」を内包していてもよい。

通信装置２０５は、サーバ２００が端末１００ａ、１００ｂ、１００ｃ、ＩｏＴ機器３００といった外部の機器と通信するための通信装置である。通信装置２０５は、有線通信のための通信装置であってもよいし、無線通信のための通信装置であってもよい。

ＩｏＴ機器３００は、ネットワーク接続できる種々の機器である。図４は、ＩｏＴ機器３００のハードウェア構成の一例を示す図である。図４に示すように、ＩｏＴ機器３００は、プロセッサ３０１と、ＲＯＭ３０２と、ＲＡＭ３０３と、機能実行部３０４と、通信装置３０５とをハードウェアとして有している。ＩｏＴ機器３００は、入力インタフェースと、出力インタフェースといった要素を有していてもよい。

プロセッサ３０１は、ＩｏＴ機器３００の全体的な動作を制御するプロセッサである。プロセッサ３０１は、例えばＲＯＭ３０３に記憶されているファームウェアに従って各種の処理を実行し得る。プロセッサ３０１は、例えばＣＰＵである。プロセッサ３０１は、ＭＰＵ、ＧＰＵ、ＡＳＩＣ、ＦＰＧＡ等であってもよい。プロセッサ３０１は、単一のＣＰＵ等であってもよいし、複数のＣＰＵ等であってもよい。

ＲＯＭ３０２は、不揮発性のメモリである。ＲＯＭ２０２は、ＩｏＴ機器３００のファームウェア等を記憶している。ＲＡＭ３０３は、揮発性のメモリである。ＲＡＭ３０３は、例えばプロセッサ３０１における処理の際の作業メモリとして用いられる。

機能実行部３０４は、ＩｏＴ機器３００毎に定められた機能を実行するための要素である。例えばＩｏＴ機器３００が遠隔操作ロボットアームであれば、機能実行部３０４は、ロボットアーム、センサ等を含む。また、例えばＩｏＴ機器３００がカメラであれば、機能実行部３０４は、イメージセンサ等を含む。機能実行部３０４の機能は、前述したコンポーネントにおける機能と対応している。なお、機能実行部３０４も、「カード」を含み得る。例えば、機能実行部３０４の制御プログラムにカードが構築され得る。制御プログラムは、ＲＯＭ３０２に記憶されてもよい。

通信装置３０５は、ＩｏＴ機器３００が端末１００ａ、１００ｂ、１００ｃ、サーバ２００といった外部の機器と通信するための通信装置である。通信装置２０５は、有線通信のための通信装置であってもよいし、無線通信のための通信装置であってもよい。

次に、通信システム１の動作を説明する。図５は、実施形態における通信システム１の動作を説明するための図である。例えば、ユーザＵ１とユーザＵ２とは、オンライン会議中である。例えば、ユーザＵ１は、端末１００ａを用いてサーバ２００により指定されたＵＲＬにアクセスし、ウェブブラウザ上にオンライン会議の画面を表示させている。同様に、ユーザＵ２は、端末１００ｂを用いてサーバ２００により指定されたＵＲＬにアクセスし、ウェブブラウザ上にオンライン会議の画面を表示させている。

図６は、オンライン会議中に表示される画面の一例を示す図である。図６に示すように、実施形態では、オンライン会議の画面４００上にそれぞれのユーザの画像を表示するための領域４０１に加えて、カードのための領域４０２が割り当てられている。図６では、領域４０２は、カード型の表示領域として、スライドカード４０２ａ、表計算カード４０２ｂ、ドキュメントビューワカード４０２ｃを内包している。なお、領域４０２に表示させるカードは、端末１００ａ、１００ｂのユーザによって適宜に選択され得る。何れかのユーザによって指定されたカードは、他のユーザのオンライン会議の画面４００上にも表示される。したがって、端末１００ａと端末１００ｂとには同じカードが実行できるように構成されているものとする。一方で、端末１００ａと端末１００ｂとに個別にカードの実行権限が与えられてもよい。この場合、端末１００ａで実行できるカードの機能の一部を端末１００ｂが実行できないといった制限を課すこともできる。

例えば、ユーザＵ１がカードの領域４０２においてスライドカード４０２ａを起動したとする。このとき、ユーザＵ１の端末１００ａからサーバ２００にコマンドが送信される。サーバ２００は、ＷｅｂＲＴＣのＲＴＭ（Real-time messaging）機能により、コマンドをユーザＵ２の端末１００ｂに送信する。なお、例ではコマンドは、サーバ２００経由で送信されるとされている。しかしながら、コマンドは、必ずしもサーバ２００経由で送信されなくてもよい。コマンドは、例えば、端末同士の直接通信で送信されてもよいし、端末とＩｏＴ機器との直接通信で送信されてもよいし、端末から別の端末経由でＩｏＴ機器に送信されてもよい。

端末１００ｂのウェブブラウザは、コマンドの内容を解析する。ここでは、例えばスライドカードの起動のコマンドであると解析される。このとき、端末１００ｂのウェブブラウザは、表示中のオンライン会議の画面におけるカードのための領域４０２においてスライドカード４０２ａを起動するためのアクションを実行する。これにより、端末１００ａで起動されたスライドと同じスライドが端末１００ｂにおいても共有される。ここで、スライドカードは端末１００ａと端末１００ｂの双方で起動されているため、端末１００ｂのユーザＵ２もスライドに対する操作をすることができる。スライドカードの起動コマンドに前述した端末１００ｂの実行権限に関するコマンドが含められてもよい。実行権限に関するコマンドは、例えば端末１００ｂからのスライドに対する操作を禁止するコマンドであり得る。

図７は、実施形態における１つのカードの概念図である。図７に示すように、１つのカードには、少なくとも１つのアクションが対応づけられている。そして、１つのアクションには、少なくとも１つのコンポーネントが対応づけられている。例えば、図７のアクションＡには、機能とＵＩとによって構成されるコンポーネント１が対応づけられている。この場合、コマンドによってアクションＡの実行が指示された場合には、コンポーネント１の機能とＵＩとの少なくとも一方が用いられてアクションＡが実行される。同様に、アクションＢには、機能とＵＩとによって構成されるコンポーネント１と、ＵＩだけによって構成されるコンポーネント２とが対応づけられている。この場合、コマンドによってアクションＢの実行が指示された場合には、コンポーネント１の機能とＵＩ及びコンポーネント２のＵＩが用いられてアクションＢが実行される。

図８は、アクションとコンポーネントとの関係の具体例を示す図である。図８は、例えばスライドカードにおけるアクションとコンポーネントの関係を示している。

例えば、ユーザＵ１が端末１００ａのウェブブラウザ上においてスライドカードを起動したとする。このとき、端末１００ａからサーバ２００を経由してコマンドが送信される。このコマンドに基づいて、端末１００ｂは、スライドカードの起動に係るアクションＡとして、スライドカードの画面をウェブブラウザの前面に固定で大きく表示する処理を行う。

続いて、ユーザＵ１がプレゼンテーションのためにスライドのページを進めて購入履歴の表を表示させたとする。このときも、端末１００ａからサーバ２００を経由してコマンドが送信される。このコマンドに基づいて、端末１００ｂは、アクションＢとして、スライドに購入履歴を表示する。例えば、端末１００ｂは、アクションＢとして、スライドのページを進める処理を行う。また、端末１００ｂは、アクションＢとして、購入履歴の表を表示する処理を行う。

また、コマンドの内容の解析の結果、例えば端末１００ａから送信されたコマンドが端末１００ｂに関連するＷｅｂ ＡＰＩの実行コマンドを含むときには、端末１００ｂは、図５に示すように、必要なＷｅｂ ＡＰＩをコールする。同様に、例えば端末１００ａから送信されたコマンドが端末１００ｂにインストールされた特定のアプリケーションに関わるコマンドを含むときには、端末１００ｂは、コマンドによって指定されたアプリケーションにおいて指定された処理を実行する。同様に、例えば端末１００ａから送信されたコマンドがＩｏＴ機器３００の動作に関わるコマンドを含むときには、ＩｏＴ機器３００は、コマンドによって指定された機能を実行する。さらに、カードに関わるコマンド又は端末１００ｂにインストールされた特定のアプリケーション関わるコマンドによって、他のＩｏＴ機器３００に対するコマンドを発する必要が生じたときには、端末１００ｂからＩｏＴ機器３００に対してコマンドが送信される。そして、ＩｏＴ機器３００は、コマンドによって指定された機能を実行する。この場合、ＩｏＴ機器３００は、ウェブブラウザ上で動作できるカードを含んでいなくてよい。

以上説明したように実施形態によれば、第１の機器で発されたコマンドがリアルタイム通信のプロトコルを用いて、１つ以上の第２の機器に送信される。そして、それぞれの第２の機器は、受信したコマンドに基づいてそれぞれのコンポーネントを動作させる。このように、実施形態では、コマンドの共有によって第２の機器に第１の機器と同じ動作をさせることができる。これにより、例えば、オンライン会議の場においては、第１の機器のユーザが起動したアプリケーションにおける操作と同様の操作が第２の機器のアプリケーションにおいて起動したアプリケーションにも反映される。これにより、オンライン会議における画面の共有の操作をした場合と同様の動作が低遅延で実現され得る。このように、実施形態によれば、他者のアプリケーションの環境を部分的にコントロールすることが可能となる。

また、実施形態ではコマンドによってコントロールされるのはカードが持つ機能又はＵＩの単位、ＷｅｂＡＰＩの単位、ＩｏＴ機器の機能単位に限定される。つまり、実施形態ではリモートデスクトップ制御等とは異なり、他者の端末のコントロールがＯＳ（オペレーティングシステム）レベルで行われるのではなく、部分的に行われるだけである。したがって、セキュリティも考慮される。

また、ウェブアプリケーションに「カード」が内包されている形態であれば、それぞれの端末はウェブブラウザを有しているだけでカードを共有し得る。さらに、通信にピア・ツー・ピア方式が使用されていれば、端末間の通信はサーバを介さずに行われ得る一方で、リアルタイムのデータの協調が行われ得る。

１ 通信システム、１００，１００ａ，１００ｂ，１００ｃ 端末、１０１ プロセッサ、１０２ ＲＯＭ、１０３ ＲＡＭ、１０４ ストレージ、１０５ 入力インタフェース、１０６ 出力インタフェース、１０７ 通信装置、２００ サーバ、２０１ プロセッサ、２０２ ＲＯＭ、２０３ ＲＡＭ、２０４ ストレージ、２０５ 通信装置、３００ ＩｏＴ機器、３０１ プロセッサ、３０２ ＲＯＭ ３０３ ＲＡＭ、３０４ 機能実行部、３０５ 通信装置。

Claims (7)

1. 第１の機器から送信されたコマンドをリアルタイム通信のプロトコルを利用して受信することと、
   受信されたコマンドを解析することと、
   解析した前記コマンドに基づき、第２の機器に備えられた機能を実行するための情報を含み、第１のアプリケーションに構築された仮想的な第２のアプリケーションに内包されるコンポーネントを操作することと、
   を前記第２の機器のコンピュータに実行させるための情報処理プログラム。
2. 前記コンポーネントは、前記機能に関わるユーザインタフェースの設定の情報をさらに含み、
   解析した前記コマンドに基づく前記コンポーネントの操作として、前記ユーザインタフェースの設定を変更することをさらに前記第２の機器のコンピュータに実行させるための請求項１に記載の情報処理プログラム。
3. 前記第１のアプリケーションの実行画面には、前記コンポーネントを実行するためのカード型の表示領域が表示される請求項１に記載の情報処理プログラム。
4. 前記コンポーネントは、ブラウザ型ウェブ通信システムにおいて実行されるアプリケーションプログラムである請求項１に記載の情報処理プログラム。
5. 前記コンポーネントは、前記第２の機器にインストールされたアプリケーションプログラムである請求項１に記載の情報処理プログラム。
6. 前記第２の機器は、ＩｏＴ（Internet of Things）機器であり、
   前記コンポーネントは、前記ＩｏＴ機器の動作を制御するプログラムである請求項１に記載の情報処理プログラム。
7. 前記第２の機器は、複数の機器であり、
   前記コマンドは、複数の前記機器によって共有される請求項１乃至６の何れか１項に記載の情報処理プログラム。

Images