JP5987299B2 - 表示制御装置、表示制御方法およびプログラム - Google Patents

Description

本開示は、表示制御装置、表示制御方法およびプログラムに関する。

近年、画像認識技術が高度化しており、撮像装置からの入力画像に含まれる実オブジェクト（例えば、看板やビルなどの物体）の位置や姿勢を認識することが可能となっている。このような物体認識の応用例の一つとして、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：拡張現実）アプリケーションが知られている。ＡＲアプリケーションによれば、実空間画像に含まれる実オブジェクトに、実オブジェクトに対応付けられた仮想オブジェクト（例えば、広告情報、ナビゲーション情報、またはゲームのための情報）を重畳することができる。

一方、実行端末によるコマンドの実行を遠隔操作により操作端末を用いて制御する技術としてリモートデスクトップ技術が知られている。リモートデスクトップ技術を用いる場合、例えば、コマンドの実行に対する権限を操作端末に与えることも可能である。例えば、コマンドの実行が許容される場合には、操作端末を用いてコマンドの実行を制御できるが、コマンドの実行が制限される場合には、操作端末を用いたコマンド実行の制御が制限される。なお、このようなリモートデスクトップ技術については、例えば、特許文献１に開示されている。

特開２００７−３３４６３３号公報

しかしながら、ユーザが操作する端末が、他の端末によって表示制御された画面の認識結果を用いて他の端末によるコマンド実行の制御を行う場合、実行が制限されるコマンドをユーザに容易に把握させるための技術は開示されていない。したがって、実行が制限されるコマンドをユーザに容易に把握させるための技術が実現されることが望ましい。

本開示によれば、他の表示制御装置の１つ以上の項目を含む画面の構成情報および前記項目から実行されるコマンドに対する権限情報を取得する情報取得部と、前記権限情報が前記コマンドの実行が制限される旨を示す場合、前記画面の認識結果と前記構成情報とに基づいて、前記コマンドの実行が制限される旨を示す表示である制限表示を行うように制御する表示制御部と、を備える、表示制御装置が提供される。

また、本開示によれば、他の表示制御装置の１つ以上の項目を含む画面の構成情報および前記項目から実行されるコマンドに対する権限情報を取得することと、前記権限情報が前記コマンドの実行が制限される旨を示す場合、前記画面の認識結果と前記構成情報とに基づいて、前記コマンドの実行が制限される旨を示す表示である制限表示を行うように制御することと、を含む、表示制御方法が提供される。

また、本開示によれば、コンピュータを、他の表示制御装置の１つ以上の項目を含む画面の構成情報および前記項目から実行されるコマンドに対する権限情報を取得する情報取得部と、前記権限情報が前記コマンドの実行が制限される旨を示す場合、前記画面の認識結果と前記構成情報とに基づいて、前記コマンドの実行が制限される旨を示す表示である制限表示を行うように制御する表示制御部と、を備える表示制御装置として機能させるためのプログラムが提供される。

また、本開示によれば、１つ以上の項目を含む画面を表示するように制御する表示制御部と、前記画面の構成情報および前記項目から実行されるコマンドに対する権限情報を他の表示制御装置に送信するように制御する送信制御部と、を備える、表示制御装置が提供される。

以上説明したように本開示によれば、ユーザが操作する端末が、他の端末によって表示制御された画面の認識結果を用いて他の端末によるコマンド実行の制御を行う場合、実行が制限されるコマンドをユーザに容易に把握させることが可能である。

本開示の実施形態に係る表示制御システムの構成を示した説明図である。 実行端末の機能構成例を示すブロック図である。 操作端末の機能構成例を示すブロック図である。 実行端末により操作端末に送信される情報の一例を示す図である。 操作端末の表示制御部による表示制御を説明するための図である。 操作端末の表示制御部による表示制御に従って表示された画面例を示す図である。 操作端末の送信制御部による送信制御を説明するための図である。 コマンドの実行結果の例を示す図である。 本開示の実施形態に係る表示制御システムの動作の流れを示したフローチャートである。 本開示の実施形態の変形例に係る送信情報の一例を示す図である。 本開示の実施形態の変形例に係る表示制御システムの動作の流れを示したフローチャートである。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
１．表示制御システムの概要
２．実行端末の機能構成例
３．操作端末の機能構成例
４．表示制御装置が有する機能
５．表示制御システムの動作
６．変形例
７．むすび

＜１．表示制御システムの概要＞
以下では、まず、本開示の実施形態に係る表示制御システムの概要について図１を参照して説明する。

図１は、本開示の実施形態に係る表示制御システムの構成を示した説明図である。図１に示したように、本開示の実施形態に係る表示制御システム１は、実行端末１０と操作端末２０とを含む。実行端末１０は、１以上の項目を含む画面を表示することができる。項目の数は特に限定されない。図１に示した例では、項目Ｉｔｍ１〜Ｉｔｍ１５が含まれた画面Ｄ１０が実行端末１０により表示されている。

操作端末２０は、実行端末１０により表示された画面を撮像することができる。図１に示した例では、実行端末１０により表示された画面Ｄ１０が操作端末２０により撮像されている。また、図１に示した例では、撮像により得られた画像（以下、「撮像画像」とも言う）は、操作端末２０により表示される画面Ｄ２０に含められている。ここで、ユーザにより操作端末２０に対して項目を選択するための操作がなされると、その項目に対応するコマンドが実行端末１０により実行される。

例えば、ユーザにより操作端末２０に対して項目Ｉｔｍ３を選択するための操作がなされると、項目Ｉｔｍ３に対応するコマンド「写真選択画面への遷移」が実行端末１０により実行される。

なお、図１においては、実行端末１０および操作端末２０の各々の例としてスマートフォンを示したが、実行端末１０および操作端末２０の各々は、スマートフォンに限定されない。例えば、実行端末１０および操作端末２０の各々は、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、携帯電話、携帯用音楽再生装置、携帯用映像処理装置、または携帯用ゲーム機器であってもよい。

ところで、操作端末２０からのコマンド実行の制御を制限したい場合も想定される。例えば、実行端末１０のユーザが動画を勝手に他人に見られたくない場合などには、操作端末２０に対して項目Ｉｔｍ２を選択するための操作がなされても、コマンド「動画選択画面への遷移」の実行を禁止したい場合もある。かかる場合には、コマンドの実行に対する権限を操作端末に与えることも可能である。このとき、実行が制限されるコマンドを操作端末２０のユーザに容易に把握させることができれば、操作端末２０のユーザに対する利便性が向上すると考えられる。

そこで、上記事情を一着眼点にして本開示の実施形態を創作するに至った。本開示の実施形態によれば、操作端末２０が、実行端末１０によって表示された画面の認識結果を用いて実行端末１０によるコマンド実行の制御を行う場合、実行が制限されるコマンドを操作端末２０のユーザに容易に把握させることができる。以下、図２を参照しながら、本開示の実施形態に係る実行端末１０の機能構成を説明する。

＜２．実行端末の機能構成例＞
図２は、実行端末１０の機能構成例を示すブロック図である。図２を参照すると、実行端末１０は、入力装置１２、記憶装置１４、表示装置１６、通信装置１８および表示制御装置１００を備える。表示制御装置１００は、操作検出部１１０、送信制御部１２０、表示制御部１３０、取得部１４０およびコマンド実行部１５０を備える。

（入力装置）
入力装置１２は、ユーザが実行端末１０を操作しまたは実行端末１０へ情報を入力するために使用される入力デバイスである。入力装置１２は、例えば、キーボード、キーパッド、マウス、ボタン、スイッチまたはタッチパネルなどを含み得る。入力装置１２は、ユーザのジェスチャを認識するジェスチャ認識モジュールを含んでもよい。

（記憶装置）
記憶装置１４は、半導体メモリまたはハードディスクなどの記憶媒体を用いて、実行端末１０による処理のためのプログラムおよびデータを記憶する。例えば、項目を含む画面を表示制御するためのプログラムを記憶する。さらに、例えば、記憶装置１４は、項目に対応するコマンドを実行するためのプログラムを記憶する。

（表示装置）
表示装置１６は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＬＥＤ（Ｏｒｇａｎｉｃ ｌｉｇｈｔ−Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）またはＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）などにより構成される表示モジュールである。表示装置１６は、実行端末１０の一部であってもよく、または実行端末１０とは別体に構成されてもよい。

（通信装置）
通信装置１８は、操作端末２０と有線または無線により通信を行う通信インタフェースである。通信装置１８は、ネットワークに接続される場合には、ネットワークを介して操作端末２０と通信を行ってもよい。また、通信装置１８は、操作端末２０とネットワークを介さずに直接通信を行ってもよい。例えば、通信装置１８は、操作端末２０と電波による近距離無線通信を行ってもよく、赤外線通信を行ってもよい。

（表示制御装置）
表示制御装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）またはＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などのプロセッサに相当する。表示制御装置１００は、記憶装置１４または他の記憶媒体に記憶されるプログラムを実行することにより、後に説明する表示制御装置１００の様々な機能を動作させる。なお、表示制御装置１００は、実行端末１０に組み込まれていなくてもよく、他の装置（例えば、サーバ）に組み込まれていてもよい。

以上、図２を参照しながら、本開示の実施形態に係る実行端末１０の機能構成を説明した。以下、図３を参照しながら、本開示の実施形態に係る操作端末２０の機能構成について詳細に説明する。

＜３．操作端末の機能構成例＞
図３は、操作端末２０の機能構成例を示すブロック図である。図３を参照すると、操作端末２０は、撮像装置２１、入力装置２２、記憶装置２４、表示装置２６、通信装置２８および表示制御装置２００を備える。表示制御装置２００は、画像取得部２１０、認識部２２０、情報取得部２３０、表示制御部２４０、操作検出部２５０および送信制御部２６０を備える。

（撮像装置）
撮像装置２１は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子を用いて実空間を撮像することにより、撮像画像を生成する。本開示の実施形態においては、撮像装置２１が操作端末２０の一部であることを想定しているが、撮像装置２１は、操作端末２０とは別体に構成されてもよい。

（入力装置）
入力装置２２は、ユーザが操作端末２０を操作しまたは操作端末２０へ情報を入力するために使用される入力デバイスである。入力装置２２は、例えば、キーボード、キーパッド、マウス、ボタン、スイッチまたはタッチパネルなどを含み得る。入力装置２２は、ユーザのジェスチャを認識するジェスチャ認識モジュールを含んでもよい。

（記憶装置）
記憶装置２４は、半導体メモリまたはハードディスクなどの記憶媒体を用いて、操作端末２０による処理のためのプログラムおよびデータを記憶する。また、記憶装置２４は、物体認識のために使用される特徴量辞書および表示対象となる仮想オブジェクトのデータである仮想オブジェクトデータを記憶する。さらに、記憶装置２４は、物体認識の結果として生成される認識結果を記憶することもできる。

（表示装置）
表示装置２６は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＬＥＤ（Ｏｒｇａｎｉｃ ｌｉｇｈｔ−Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）またはＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）などにより構成される表示モジュールである。表示装置２６は、操作端末２０の一部であってもよく、または操作端末２０とは別体に構成されてもよい。

（通信装置）
通信装置２８は、実行端末１０と有線または無線により通信を行う通信インタフェースである。通信装置２８は、ネットワークに接続される場合には、ネットワークを介して実行端末１０と通信を行ってもよい。また、通信装置２８は、実行端末１０とネットワークを介さずに直接通信を行ってもよい。例えば、通信装置２８は、実行端末１０と電波による近距離無線通信を行ってもよく、赤外線通信を行ってもよい。

（表示制御装置）
表示制御装置２００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）またはＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などのプロセッサに相当する。表示制御装置２００は、記憶装置２４または他の記憶媒体に記憶されるプログラムを実行することにより、後に説明する表示制御装置２００の様々な機能を動作させる。なお、表示制御装置２００は、操作端末２０に組み込まれていなくてもよく、他の装置（例えば、サーバ）に組み込まれていてもよい。

以上、図３を参照しながら、本開示の実施形態に係る操作端末２０の機能構成を説明した。以下、図４〜図８を参照しながら、本開示の実施形態に係る表示制御装置１００，２００が有する機能について詳細に説明する。

＜４．表示制御装置が有する機能＞
図４は、実行端末１０により操作端末２０に送信される情報（以下、「送信情報」とも言う。）の一例を示す図である。図４に示したように、送信情報は、構成情報および権限情報を含んでいる。構成情報は、１つ以上の項目を含む画面の構成を示す情報である。表示制御部１３０は、この構成情報に従って画面を表示することができる。図４に示した例では、構成情報は、画面Ｄ１０を構成する項目Ｉｔｍ１〜Ｉｔｍ１５の各々の位置および大きさを示す情報である。

項目の位置は、例えば、画面の所定点の位置を基準とした場合における項目の所定点の位置により表現され得る。例えば、画面Ｄ１０の左上隅が画面の所定点となり得るが、画面の所定点は画面Ｄ１０の左上隅でなくてもよい。また、項目の左上隅が項目の所定点となり得るが、項目の所定点は項目の左上隅でなくてもよい。また、図４に示した例では、画面Ｄ１０の所定点の位置を（０，０）とし、項目Ｉｔｍ１〜Ｉｔｍ１５の各々の所定点の位置を（Ｘ１，Ｙ１）〜（Ｘ１５，Ｙ１５）と表現し、項目Ｉｔｍ１〜Ｉｔｍ１５の各々の大きさ（幅，高さ）を（Ｗ１，Ｈ１）〜（Ｗ１５，Ｈ１５）と表現することにより項目の座標を表現しているが、表現の形式は特に限定されない。

例えば、各項目の座標の代わりに、項目と項目との間隔の大きさおよび画面の端と項目との間隔の大きさが構成情報として送信情報に含まれてもよい。その場合、以下のコマンドの実行が許容される旨を示す情報またはコマンドの実行が制限される旨を示す情報は、項目の番号順に並べられていてもよい。また、各項目の形状が矩形以外の形状である場合には、他の表現形式により各項目の座標が規定され得る。例えば、各項目は点であってもよいが、その場合には、各項目の大きさは構成情報として送信情報に含まれていなくてもよい。さらに、例えば、各項目の大きさが操作端末２０により既に把握されている場合には、各項目の大きさは構成情報として送信情報に含まれていなくてもよい。

権限情報は、コマンドの実行が許容される旨を示す情報（以下、単に「許容」とも言う。）またはコマンドの実行が制限される旨を示す情報（以下、単に「制限」とも言う。）により構成される。図４に示した例では、項目Ｉｔｍ１〜Ｉｔｍ１５の各々から実行されるコマンドの実行に対して、「許容」または「制限」が対応付けられている。権限情報は、例えば、操作検出部１１０によりユーザからの設定操作が検出された場合に設定されてもよい。設定操作は、例えば、入力装置１２によりユーザから入力される。

なお、以下では、コマンドの実行が制限される場合には、コマンドの実行が禁止されることとするが、コマンドの実行は禁止されなくてもよい。また、コマンドの実行に対する制限は、段階的に課されてもよい。送信情報は、送信制御部１２０により操作端末２０に送信されるように制御されると、その制御に従って通信装置１８により操作端末２０に送信される。送信情報は、例えば、操作検出部１１０によりユーザからの送信操作が検出された場合に送信されてもよい。送信操作は、例えば、入力装置１２によりユーザから入力される。

実行端末１０から送信された送信情報は、操作端末２０の通信装置２８により受信される。表示制御装置２００の情報取得部２３０は、通信装置２８により受信された送信情報を取得することができる。一方、画像取得部２１０は、画面Ｄ１０の撮像画像を取得する。画面Ｄ１０の撮像画像は、例えば、操作端末２０の撮像装置２１により撮像されることにより得られる。表示制御部２４０は、画像取得部２１０により取得された撮像画像を表示するように制御してもよい。表示装置２６は、表示制御部２４０による表示制御に従って表示を行うことができる。例えば、図１に示した例では、表示制御部２４０が、撮像画像を画面Ｄ２０として表示するように制御している。

認識部２２０は、画面Ｄ１０を認識することにより認識結果を取得する。例えば、認識部２２０は、画像取得部２１０により取得された撮像画像に含まれる画面Ｄ１０および画面Ｄ１０の撮像画像における位置および姿勢を認識する。例えば、認識部２２０は、撮像画像から決定される特徴量を画面Ｄ１０の特徴量と照合することにより、撮像画像に含まれる画面を認識することができる。

より具体的には、認識部２２０は、ＳＩＦＴ法またはＲａｎｄｏｍ Ｆｅｒｎｓ法などの特徴量決定法に従って撮像画像内の実オブジェクトの特徴量を決定し、決定した特徴量を実オブジェクトの特徴量と照合する。そして、認識部２２０は、撮像画像内の実オブジェクトの特徴量と最も適合する特徴量と関連付けられている画面Ｄ１０を識別するための情報、撮像画像における画面Ｄ１０の位置および姿勢を認識する。

ここで、認識部２２０により、実オブジェクトの特徴量データと実オブジェクトを識別するための情報とが関連付けられてなる特徴量辞書が使用されるが、特徴量辞書は、記憶装置２４により記憶されていてもよいし、サーバから通信装置２８により受信されてもよい。実オブジェクトの特徴量データは、例えば、ＳＩＦＴ法またはＲａｎｄｏｍ Ｆｅｒｎｓ法に従って実オブジェクトの学習用画像から決定された特徴量の集合であってもよい。

なお、画面Ｄ１０の認識はかかる例に限定されない。例えば、認識部２２０は、画面Ｄ１０に関連付けられている既知の図形若しくは記号、人工マーカ（例えば、バーコード若しくはＱＲコード）または自然マーカなどのマーカを認識することにより、画面Ｄ１０を間接的に認識してもよい。また、認識部２２０は、画面Ｄ１０を認識し、画面Ｄ１０の撮像画像におけるサイズおよび形状から画面Ｄ１０の位置および姿勢を認識してもよい。

また、上記では、認識部２２０が撮像画像に含まれる画面Ｄ１０の位置および姿勢を画像処理により認識する例を説明したが、画面Ｄ１０の位置および姿勢の認識手法は画像処理による認識手法に限定されない。例えば、認識部２２０は、撮像装置２１の向きおよび操作端末２０の現在位置を検出し、検出結果に基づいて、撮像画像に含まれている画面Ｄ１０、撮像画像における画面Ｄ１０の位置および姿勢を推定することも可能である。

図５は、表示制御部２４０による表示制御を説明するための図である。表示制御部２４０は、権限情報がコマンドの実行が制限される旨を示す場合（「制限」の場合）、構成情報と画面の認識結果とに基づいて、コマンドの実行が制限される旨を示す表示である制限表示を行うように制御する。例えば、表示制御部２４０は、画像取得部２１０により取得された撮像画像に対して制限表示を付加することもできる。

図４に示したような構成情報および権限情報が情報取得部２３０により取得された場合には、各項目の座標（Ｘ２，Ｙ２，Ｗ２，Ｈ２）、（Ｘ１０，Ｙ１０，Ｗ１０，Ｈ１０）、（Ｘ１１，Ｙ１１，Ｗ１１，Ｈ１１）に対して「制限」が関連付けられている。したがって、表示制御部２４０は、各項目の座標（Ｘ２，Ｙ２，Ｗ２，Ｈ２）、（Ｘ１０，Ｙ１０，Ｗ１０，Ｈ１０）、（Ｘ１１，Ｙ１１，Ｗ１１，Ｈ１１）と画面Ｄ１０の認識結果とに基づいて、制限表示を行うように制御すればよい。

表示制御部２４０は、例えば、画面Ｄ１０の認識結果として画面Ｄ１０の位置および姿勢が認識された場合、画面Ｄ１０の位置および姿勢に基づいて、各項目の座標（Ｘ２，Ｙ２，Ｗ２，Ｈ２）、（Ｘ１０，Ｙ１０，Ｗ１０，Ｈ１０）、（Ｘ１１，Ｙ１１，Ｗ１１，Ｈ１１）を変換する。図５には、表示制御部２４０により各項目の座標が変換された後の座標（以下、「変換座標」とも言う。）が（Ｘ２’，Ｙ２’，Ｗ２’，Ｈ２’）、（Ｘ１０’，Ｙ１０’，Ｗ１０’，Ｈ１０’）、（Ｘ１１’，Ｙ１１’，Ｗ１１’，Ｈ１１’）として示されている。

表示制御部２４０は、変換座標が示す位置に制限表示を付加することができる。表示制御部２４０は、図５に示した例では、変換座標（Ｘ２’，Ｙ２’，Ｗ２’，Ｈ２’）、（Ｘ１０’，Ｙ１０’，Ｗ１０’，Ｈ１０’）、（Ｘ１１’，Ｙ１１’，Ｗ１１’，Ｈ１１’）が示す位置に制限表示を付加することができる。表示装置２６は、表示制御部２４０による表示制御に従って表示を行うことができる。

図６は、表示制御部２４０による表示制御に従って表示された画面例を示す図である。図６に示した例では、変換座標（Ｘ２’，Ｙ２’，Ｗ２’，Ｈ２’）、（Ｘ１０’，Ｙ１０’，Ｗ１０’，Ｈ１０’）、（Ｘ１１’，Ｙ１１’，Ｗ１１’，Ｈ１１’）が示す位置に制限表示Ｒ２、Ｒ１０、Ｒ１１が付加された撮像画像が画面Ｄ２１として表示されている。図６に示した例では、制限表示Ｒ２、Ｒ１０、Ｒ１１により各項目がグレーアウトされているが、制限表示の仕方は特に限定されない。例えば、制限表示は、各項目を消去するような表示であってもよい。

このように制限表示がなされれば、表示制御装置２００が、表示制御装置１００によって表示制御された画面の認識結果を用いて表示制御装置１００によるコマンド実行の制御を行う場合、実行が制限されるコマンドをユーザに容易に把握させることが可能である。図６に示した例では、項目Ｉｔｍ２に対応するコマンド「動画選択画面への遷移」、Ｉｔｍ１０に対応するコマンド「Ｆａｓｅｂｏｏｋ」およびＩｔｍ１１に対応するコマンド「日記」の各々に対する権限が制限されている旨がユーザに容易に把握される。

このように制限表示がなされた画面Ｄ１１を閲覧しながら、ユーザは、実行が許容されるコマンドを選択することができる。図６に示した例では、ユーザは項目Ｉｔｍ１、３〜９、１２〜１５のうちのいずれかを選択することができる。ここで、例えば、ユーザが入力装置２２に対して画面上の座標を指定座標（ｓ’，ｔ’）として指定する操作を入力したとする。その場合、操作検出部２５０は、指定座標（ｓ’，ｔ’）を指定する操作を検出する。

図７は、送信制御部２６０による送信制御を説明するための図である。図７に示すように、例えば、操作検出部２５０により指定座標（ｓ’，ｔ’）を指定する操作が検出された場合、送信制御部２６０は、画面Ｄ１０の位置および姿勢に基づいて指定座標（ｓ’，ｔ’）を変換する。指定座標（ｓ’，ｔ’）が変換された後の座標は（ｓ，ｔ）として示されている。送信制御部２６０は、座標（ｓ，ｔ）を表示制御装置１００に送信するように制御する。座標（ｓ，ｔ）は、送信制御部２６０により表示制御装置１００に送信されるように制御されると、その制御に従って通信装置２８により実行端末１０に送信される。

通信装置２８により送信された座標（ｓ，ｔ）は、実行端末１０の通信装置１８により受信される。続いて、通信装置１８により座標（ｓ，ｔ）が受信されると、表示制御装置１００の取得部１４０は、通信装置１８により受信された座標（ｓ，ｔ）を取得する。コマンド実行部１５０は、取得部１４０により項目の座標が取得された場合、かつ、権限情報がコマンドの実行が許容される旨を示す場合（「許容」の場合）、コマンドを実行する。図４に示したように、項目Ｉｔｍ３には「許容」が関連付けられているため、図７に示すように、取得部１４０により取得された座標（ｓ，ｔ）が項目Ｉｔｍ３の座標（例えば、（Ｘ３，Ｙ３，Ｗ３，Ｈ３）により規定される範囲内の座標）と一致する場合、コマンド実行部１５０は、項目Ｉｔｍ３に対応するコマンド「写真選択画面への遷移」を実行すればよい。

図８は、コマンドの実行結果の例を示す図である。コマンド実行部１５０によって項目Ｉｔｍ３に対応するコマンド「写真選択画面への遷移」が実行された場合、図８に示すように、写真選択画面に相当する画面Ｄ１２が表示されるように表示制御部１３０により制御される。画面Ｄ１２は、表示制御部１３０により表示制御されると、その表示制御に従って表示装置１６により表示される。また、図８に示した例では、画面Ｄ１２が撮像装置２１により撮像され、撮像画像が画像取得部２１０により取得されると、その撮像画像が画面Ｄ２２として表示制御部２４０により表示制御されている。

なお、コマンド実行部１５０は、取得部１４０により項目の座標が取得されない場合には、コマンドを実行させなければよい。また、権限情報がコマンドの実行が制限される旨を示す場合（「制限」の場合）、コマンドの実行を制限すればよい。例えば、取得部１４０により取得された座標（ｓ，ｔ）が項目Ｉｔｍ２の座標を示している場合、図４に示したように、項目Ｉｔｍ２には「制限」が関連付けられているため、コマンド実行部１５０は、項目Ｉｔｍ２に対応するコマンド「動画選択画面への遷移」を実行させなければよい。

また、以上に説明したように、送信制御部２６０は、無条件に座標（ｓ，ｔ）を送信するように制御してもよいが、所定の条件を満たすか否かを判定し、所定の条件を満たす場合に座標（ｓ，ｔ）を送信するように制御してもよい。また、送信制御部２６０は、所定の条件を満たさない場合に座標（ｓ，ｔ）を送信しないように制御してもよい。

例えば、送信制御部２６０は、画面Ｄ１０の位置および姿勢に基づいて指定座標（ｓ’，ｔ’）が変換された後の座標（ｓ，ｔ）が項目の座標（Ｘ１，Ｙ１，Ｗ１，Ｈ１）〜（Ｘ１５，Ｙ１５，Ｗ１５，Ｈ１５）のいずれかに一致または近接する場合、座標（ｓ，ｔ）を表示制御装置１００に送信するように制御してもよい。一方、送信制御部２６０は、座標（ｓ，ｔ）が項目の座標（Ｘ１，Ｙ１，Ｗ１，Ｈ１）〜（Ｘ１５，Ｙ１５，Ｗ１５，Ｈ１５）のいずれにも一致または近接しない場合、座標（ｓ，ｔ）を表示制御装置１００に送信しないように制御してもよい。なお、近接の範囲はあらかじめ定めておくことが可能であり、近接の範囲は設けられていなくてもよい。

また、例えば、送信制御部２６０は、権限情報がコマンドの実行が許容される旨を示す場合（「許容」の場合）、座標（ｓ，ｔ）を表示制御装置１００に送信するように制御してもよい。一方、送信制御部２６０は、権限情報がコマンドの実行が制限される旨を示す場合（「制限」の場合）、座標（ｓ，ｔ）を表示制御装置１００に送信しないように制御してもよい。

なお、コマンド実行部１５０は、操作検出部１１０によりユーザからのコマンド指定操作が検出された場合には、コマンド指定操作により指定されたコマンドを実行してもよい。かかる場合、コマンド実行部１５０は、操作検出部１１０によりユーザからのコマンド指定操作が検出された場合には、権限情報に依存せずにコマンドを実行すればよい。一方、コマンド実行部１５０は、取得部１４０により項目の座標が取得された場合には、権限情報がコマンドの実行が許容される旨を示す場合（「許容」の場合）、コマンドを実行すればよい。また、コマンド実行部１５０は、取得部１４０により項目の座標が取得された場合には、権限情報がコマンドの実行が制限される旨を示す場合（「制限」の場合）に、コマンドの実行を制限すればよい。コマンド指定操作は、例えば、入力装置１２によりユーザから入力される。

以上、図４〜図８を参照しながら、本開示の実施形態に係る表示制御装置１００，２００が有する機能を説明した。以下、図９を参照しながら、本開示の実施形態に係る表示制御システム１の動作について詳細に説明する。

＜５．表示制御システムの動作＞
図９は、本開示の実施形態に係る表示制御システム１の動作の流れを示したフローチャートである。

図９に示したように、実行端末１０の表示制御部１３０が、項目を含む画面を表示制御すると、表示装置１６は、表示制御部１３０による表示制御に従って、項目を含む画面を表示する（ステップＳ１１）。上記したように項目の数は特に限定されない。続いて、送信制御部１２０は、画面の構成情報および項目から実行されるコマンドに対する権限情報を操作端末２０に送信するように制御する。通信装置１８は、送信制御部１２０による制御に従って、構成情報および権限情報を操作端末２０に送信する（ステップＳ１２）。上記したように、構成情報および権限情報は、例えば、操作検出部１１０によりユーザからの送信操作が検出された場合に送信される。

続いて、操作端末２０の通信装置２８が、実行端末１０から構成情報および権限情報を受信すると（ステップＳ２１）、情報取得部２３０は、通信装置２８により受信された構成情報および権限情報を取得する。一方、撮像装置２１が、表示制御部１３０により表示制御されている画面を撮像すると、画像取得部２１０は、撮像装置２１により撮像されることにより得られた撮像画像を取得する（ステップＳ２２）。認識部２２０は、撮像画像から画面を認識する（ステップＳ２３）。続いて、表示制御部２４０が、撮像画像を表示制御すると、表示装置２６は、撮像画像を表示する（ステップＳ２４）。

続いて、表示制御部２４０は、権限情報がコマンドの実行が制限される旨を示す場合には（ステップＳ２５で「Ｙｅｓ」）、構成情報および認識結果に基づいて撮像画像に制限表示を付加し（ステップＳ２６）、ステップＳ２７に進む。表示制御部２４０は、権限情報がコマンドの実行が制限される旨を示さない場合（すなわち、コマンドの実行が許容される旨を示す場合）には（ステップＳ２５で「Ｎｏ」）、ステップＳ２７に進む。続いて、ユーザからの指定座標が操作検出部２５０により検出されると、送信制御部２６０は、認識部２２０による認識により得られた認識結果に基づいて指定座標を変換し（ステップＳ２７）、変換後の座標を送信するように制御する。通信装置２８は、送信制御部２６０による制御に従って、変換後の座標を送信する（ステップＳ２８）。

続いて、実行端末１０の通信装置１８が変換後の座標を受信すると（ステップＳ１３）、取得部１４０は、通信装置１８により受信された座標を取得する。コマンド実行部１５０は、通信装置１８が受信した座標が項目の座標でない場合（または項目の座標に近接しない場合）には（ステップＳ１４で「Ｎｏ」）、コマンドを実行しないで動作を終了する。あるいは、表示制御部１３０による表示制御（ステップＳ１１）が再度行われてもよい。コマンド実行部１５０は、通信装置１８が受信した座標が項目の座標である場合（または項目の座標に近接する場合）には（ステップＳ１４で「Ｙｅｓ」）、ステップＳ１５に進む。

コマンド実行部１５０は、権限情報がコマンドの実行が許容される旨を示さない場合（すなわち、コマンドの実行が制限される旨を示す場合）には（ステップＳ１５で「Ｎｏ」）、コマンドを実行しないで動作を終了する。あるいは、表示制御部１３０による表示制御（ステップＳ１１）が再度行われてもよい。コマンド実行部１５０は、権限情報がコマンドの実行が許容される旨を示す場合には（ステップＳ１５で「Ｙｅｓ」）、コマンドを実行し（ステップＳ１６）、動作を終了する。あるいは、表示制御部１３０による表示制御（ステップＳ１１）が再度行われてもよい。コマンドの実行結果は表示制御部１３０により表示制御されてもよい。

以上、図９を参照しながら、本開示の実施形態に係る表示制御システム１の動作について説明した。以下、図１０を参照しながら、本開示の実施形態の変形例に係る表示制御装置１００，２００が有する機能について詳細に説明する。

＜６．変形例＞
図１０は、本開示の実施形態の変形例に係る送信情報の一例を示す図である。図１０に示すように、送信情報には、構成情報および権限情報の他にコマンドを識別するための情報（以下、「コマンド識別情報」とも言う。）が含まれていてもよい。ただし、コマンド識別情報は必須の情報ではない。このような送信情報は、実行端末１０の送信制御部１２０により送信されるように制御されると、通信装置１８により送信される。通信装置１８により送信された送信情報は、操作端末２０の通信装置２８により受信され、情報取得部２３０により取得される。

ここで、例えば、送信制御部２６０は、操作検出部２５０によりコマンドを指定する操作が検出された場合、そのコマンドを識別するためのコマンド識別情報を表示制御装置１００に送信するように制御することができる。ここで、送信制御部２６０は、所定の条件を満たすか否かを判定し、所定の条件を満たす場合にコマンド識別情報を送信するように制御してもよい。また、送信制御部２６０は、所定の条件を満たさない場合にコマンド識別情報を送信しないように制御してもよい。

例えば、送信制御部２６０は、操作検出部２５０により指定座標（ｓ’，ｔ’）を指定する操作が検出された場合、かつ、画面Ｄ１０の位置および姿勢に基づいて指定座標（ｓ’，ｔ’）が変換された後の座標（ｓ，ｔ）が項目の座標（Ｘ１，Ｙ１，Ｗ１，Ｈ１）〜（Ｘ１５，Ｙ１５，Ｗ１５，Ｈ１５）のいずれかに一致または近接する場合、その項目に対応するコマンド識別情報を表示制御装置１００に送信するように制御することができる。

例えば、送信制御部２６０は、操作検出部２５０により指定座標（ｓ’，ｔ’）を指定する操作が検出された場合、かつ、指定座標（ｓ’，ｔ’）が変換された後の座標（ｓ，ｔ）が項目の座標（Ｘ３，Ｙ３，Ｗ３，Ｈ３）に一致または近接する場合、この項目に関連付けられるコマンド識別情報「ＣＯＭ３」を表示制御装置１００に送信するように制御すればよい。送信制御部２６０により送信制御されるコマンド識別情報は、送信情報に含まれていてもよいが、送信情報に含まれていない場合などにおいては、構成情報により規定される項目番号などであってもよい。

また、例えば、送信制御部２６０は、権限情報がコマンドの実行が許容される旨を示す場合（「許容」の場合）、コマンド識別情報を表示制御装置１００に送信するように制御してもよい。一方、送信制御部２６０は、権限情報がコマンドの実行が制限される旨を示す場合（「制限」の場合）、コマンド識別情報を表示制御装置１００に送信しないように制御してもよい。

通信装置２８が、送信制御部２６０による制御に従ってコマンド識別情報を送信すると、実行端末１０の通信装置１８によりコマンド識別情報が受信され、取得部１４０は、通信装置１８により受信されたコマンド識別情報を取得する。コマンド実行部１５０は、取得部１４０によりコマンド識別情報が取得された場合、かつ、権限情報がコマンドの実行が許容される旨を示す場合、コマンドを実行することができる。コマンド実行部１５０は、取得部１４０によりコマンド識別情報が取得されない場合には、コマンドを実行させなくてもよい。また、コマンド実行部１５０は、権限情報がコマンドの実行が制限される旨を示す場合、コマンドの実行を制限することができる。

以上、図１０を参照しながら、本開示の実施形態の変形例に係る表示制御装置１００，２００が有する機能について説明した。以下、図１１を参照しながら、本開示の実施形態の変形例に係る表示制御システム１の動作について詳細に説明する。

図１１は、本開示の実施形態の変形例に係る表示制御システム１の動作の流れを示したフローチャートである。

図１１に示したように、実行端末１０の表示制御部１３０が、項目を含む画面を表示制御すると、表示装置１６は、表示制御部１３０による表示制御に従って、項目を含む画面を表示する（ステップＳ３１）。上記したように項目の数は特に限定されない。続いて、送信制御部１２０は、画面の構成情報、項目から実行されるコマンドに対する権限情報およびコマンド識別情報を操作端末２０に送信するように制御する。通信装置１８は、送信制御部１２０による制御に従って、構成情報、権限情報およびコマンド識別情報を操作端末２０に送信する（ステップＳ３２）。構成情報、権限情報およびコマンド識別情報は、例えば、操作検出部１１０によりユーザからの送信操作が検出された場合に送信される。

続いて、操作端末２０の通信装置２８が、実行端末１０から構成情報、権限情報およびコマンド識別情報を受信すると（ステップＳ４１）、情報取得部２３０は、通信装置２８により受信された構成情報、権限情報およびコマンド識別情報を取得する。一方、撮像装置２１が、表示制御部１３０により表示制御されている画面を撮像すると、画像取得部２１０は、撮像装置２１により撮像されることにより得られた撮像画像を取得する（ステップＳ４２）。認識部２２０は、撮像画像から画面を認識する（ステップＳ４３）。続いて、表示制御部２４０が、撮像画像を表示制御すると、表示装置２６は、撮像画像を表示する（ステップＳ４４）。

続いて、表示制御部２４０は、権限情報がコマンドの実行が制限される旨を示す場合には（ステップＳ４５で「Ｙｅｓ」）、構成情報および認識結果に基づいて撮像画像に制限表示を付加し（ステップＳ４６）、ステップＳ４７に進む。表示制御部２４０は、権限情報がコマンドの実行が制限される旨を示さない場合（すなわち、コマンドの実行が許容される旨を示す場合）には（ステップＳ４５で「Ｎｏ」）、ステップＳ４７に進む。続いて、ユーザからの指定座標が操作検出部２５０により検出されると、送信制御部２６０は、認識部２２０による認識により得られた認識結果に基づいて指定座標を変換する（ステップＳ４７）。

送信制御部２６０は、変換後の座標が項目の座標でない場合（または項目の座標に近接しない場合）には（ステップＳ４８で「Ｎｏ」）、コマンドを実行しないで動作を終了する。あるいは、表示制御部１３０による表示制御（ステップＳ３１）が再度行われてもよい。一方、送信制御部２６０は、変換後の座標が項目の座標である場合（または項目の座標に近接する場合）には（ステップＳ４８で「Ｙｅｓ」）、その項目に対応するコマンド識別情報を送信するように制御する。通信装置２８は、送信制御部２６０による制御に従って、コマンド識別情報を送信する（ステップＳ４９）。実行端末１０の通信装置１８がコマンド識別情報を受信すると（ステップＳ３３）、取得部１４０は、通信装置１８により受信されたコマンド識別情報を取得する。

続いて、コマンド実行部１５０は、権限情報がコマンドの実行が許容される旨を示さない場合（すなわち、コマンドの実行が制限される旨を示す場合）には（ステップＳ３４で「Ｎｏ」）、コマンド識別情報により識別されるコマンドを実行しないで動作を終了する。あるいは、表示制御部１３０による表示制御（ステップＳ３１）が再度行われてもよい。コマンド実行部１５０は、権限情報がコマンドの実行が許容される旨を示す場合には（ステップＳ３５で「Ｙｅｓ」）、コマンド識別情報により識別されるコマンドを実行し（ステップＳ３６）、動作を終了する。あるいは、表示制御部１３０による表示制御（ステップＳ３１）が再度行われてもよい。コマンドの実行結果は表示制御部１３０により表示制御されてもよい。

以上、図１１を参照しながら、本開示の実施形態の変形例に係る表示制御システム１の動作の流れについて説明した。

＜７．むすび＞
以上説明したように、本開示による表示制御装置２００は、表示制御装置１００の１つ以上の項目を含む画面の構成情報および項目から実行されるコマンドに対する権限情報を取得する情報取得部２３０を備える。また、表示制御装置２００は、権限情報がコマンドの実行が制限される旨を示す場合、画面の認識結果と構成情報とに基づいて、コマンドの実行が制限される旨を示す表示である制限表示を行うように制御する表示制御部２４０を備える。このため、ユーザが操作する操作端末２０が、実行端末１０によって表示制御された画面の認識結果を用いて実行端末１０によるコマンド実行の制御を行う場合、実行が制限されるコマンドをユーザに容易に把握させることが可能である。

なお、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上記では、画面の認識の機能を、表示制御装置２００が有する例を主に説明したが、かかる機能は、表示制御装置２００の代わりにサーバが有していてもよい。例えば、表示制御装置２００が撮像画像をサーバに送信した場合、サーバは表示制御装置２００の代わりに撮像画像から画面を認識してもよい。このように、本開示の技術は、クラウドコンピューティングにも適用することが可能である。

また、本明細書の表示制御システム１の動作における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、表示制御システム１の動作における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。

また、実行端末１０または操作端末２０に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した実行端末１０または操作端末２０の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
他の表示制御装置の１つ以上の項目を含む画面の構成情報および前記項目から実行されるコマンドに対する権限情報を取得する情報取得部と、
前記権限情報が前記コマンドの実行が制限される旨を示す場合、前記画面の認識結果と前記構成情報とに基づいて、前記コマンドの実行が制限される旨を示す表示である制限表示を行うように制御する表示制御部と、
を備える、表示制御装置。
（２）
前記表示制御装置は、
前記画面の撮像画像を取得する画像取得部をさらに備え、
前記表示制御部は、
前記画像取得部により取得された前記撮像画像を表示するように制御し、前記撮像画像に対して前記制限表示を付加する、
前記（１）に記載の表示制御装置。
（３）
前記表示制御部は、
前記画面の認識結果として前記画面の位置および姿勢が認識された場合、前記画面の位置および姿勢に基づいて前記項目の座標が変換された後の座標である変換座標が示す位置に、前記制限表示を付加する、
前記（２）に記載の表示制御装置。
（４）
ユーザ操作を検出する操作検出部と、
前記操作検出部により前記画面上の座標を指定座標として指定する操作が検出された場合、前記画面の位置および姿勢に基づいて前記指定座標が変換された後の座標を前記他の表示制御装置に送信するように制御する送信制御部と、
をさらに備える、前記（３）に記載の表示制御装置。
（５）
前記送信制御部は、
前記画面の位置および姿勢に基づいて前記指定座標が変換された後の座標が前記項目の座標に一致または近接する場合、前記指定座標が変換された後の座標を前記他の表示制御装置に送信するように制御する、
前記（４）に記載の表示制御装置。
（６）
前記送信制御部は、
前記権限情報が前記コマンドの実行が許容される旨を示す場合、前記画面の位置および姿勢に基づいて前記指定座標が変換された後の座標を前記他の表示制御装置に送信するように制御する、
前記（４）に記載の表示制御装置。
（７）
ユーザ操作を検出する操作検出部と、
前記操作検出部により前記コマンドを指定する操作が検出された場合、前記コマンドを識別するためのコマンド識別情報を前記他の表示制御装置に送信するように制御する送信制御部と、
をさらに備える、前記（３）に記載の表示制御装置。
（８）
前記送信制御部は、
前記操作検出部により前記画面上の座標を指定座標として指定する操作が検出された場合、かつ、前記画面の位置および姿勢に基づいて前記指定座標が変換された後の座標が前記項目の座標に一致または近接する場合、前記コマンドを識別するためのコマンド識別情報を前記他の表示制御装置に送信するように制御する、
前記（７）に記載の表示制御装置。
（９）
前記送信制御部は、
前記権限情報が前記コマンドの実行が許容される旨を示す場合、前記コマンド識別情報を前記他の表示制御装置に送信するように制御する、
前記（７）に記載の表示制御装置。
（１０）
前記表示制御装置は、
前記画面を認識することにより前記認識結果を取得する認識部をさらに備える、
前記（１）〜（９）のいずれか一項に記載の表示制御装置。
（１１）
他の表示制御装置の１つ以上の項目を含む画面の構成情報および前記項目から実行されるコマンドに対する権限情報を取得することと、
前記権限情報が前記コマンドの実行が制限される旨を示す場合、前記画面の認識結果と前記構成情報とに基づいて、前記コマンドの実行が制限される旨を示す表示である制限表示を行うように制御することと、
を含む、表示制御方法。
（１２）
コンピュータを
他の表示制御装置の１つ以上の項目を含む画面の構成情報および前記項目から実行されるコマンドに対する権限情報を取得する情報取得部と、
前記権限情報が前記コマンドの実行が制限される旨を示す場合、前記画面の認識結果と前記構成情報とに基づいて、前記コマンドの実行が制限される旨を示す表示である制限表示を行うように制御する表示制御部と、
を備える表示制御装置として機能させるためのプログラム。
（１３）
１つ以上の項目を含む画面を表示するように制御する表示制御部と、
前記画面の構成情報および前記項目から実行されるコマンドに対する権限情報を他の表示制御装置に送信するように制御する送信制御部と、
を備える、表示制御装置。
（１４）
前記他の表示制御装置から前記項目の座標を取得する取得部と、
前記取得部により前記項目の座標が取得された場合、かつ、前記権限情報が前記コマンドの実行が許容される旨を示す場合、前記コマンドを実行するコマンド実行部と、
をさらに備える、前記（１３）に記載の表示制御装置。
（１５）
前記他の表示制御装置から前記コマンドを識別するためのコマンド識別情報を取得する取得部と、
前記取得部により前記コマンド識別情報が取得された場合、かつ、前記権限情報が前記コマンドの実行が許容される旨を示す場合、前記コマンドを実行するコマンド実行部と、
をさらに備える、前記（１３）に記載の表示制御装置。
（１６）
前記表示制御装置は、
ユーザ操作を検出する操作検出部をさらに備え、
前記コマンド実行部は、前記操作検出部により前記コマンドを指定する操作が検出された場合、前記コマンドを実行する、
前記（１４）または前記（１５）に記載の表示制御装置。

１ 表示制御システム
１０ 実行端末
２０ 操作端末
１００ 表示制御装置
１１０ 操作検出部
１２０ 送信制御部
１３０ 表示制御部
１４０ 取得部
１５０ コマンド実行部
２００ 表示制御装置
２１０ 画像取得部
２２０ 認識部
２３０ 情報取得部
２４０ 表示制御部
２５０ 操作検出部
２６０ 送信制御部

Claims (14)

1. 他の表示制御装置の１つ以上の項目を含む画面の構成情報および前記項目から実行されるコマンドに対する権限情報を取得する情報取得部と、
   前記権限情報が前記コマンドの実行が制限される旨を示す場合、前記画面の認識結果と前記構成情報とに基づいて、前記コマンドの実行が制限される旨を示す表示である制限表示を行うように制御する表示制御部と、
   を備え、
   前記画面の撮像画像を取得する画像取得部をさらに備え、
   前記表示制御部は、
   前記画像取得部により取得された前記撮像画像を表示するように制御し、前記撮像画像に対して前記制限表示を付加する、
   表示制御装置。
2. 前記表示制御部は、
   前記画面の認識結果として前記画面の位置および姿勢が認識された場合、前記画面の位置および姿勢に基づいて前記項目の座標が変換された後の座標である変換座標が示す位置に、前記制限表示を付加する、
   請求項１に記載の表示制御装置。
3. ユーザ操作を検出する操作検出部と、
   前記操作検出部により前記画面上の座標を指定座標として指定する操作が検出された場合、前記画面の位置および姿勢に基づいて前記指定座標が変換された後の座標を前記他の表示制御装置に送信するように制御する送信制御部と、
   をさらに備える、請求項２に記載の表示制御装置。
4. 前記送信制御部は、
   前記画面の位置および姿勢に基づいて前記指定座標が変換された後の座標が前記項目の座標に一致または近接する場合、前記指定座標が変換された後の座標を前記他の表示制御装置に送信するように制御する、
   請求項３に記載の表示制御装置。
5. 前記送信制御部は、
   前記権限情報が前記コマンドの実行が許容される旨を示す場合、前記画面の位置および姿勢に基づいて前記指定座標が変換された後の座標を前記他の表示制御装置に送信するように制御する、
   請求項３に記載の表示制御装置。
6. ユーザ操作を検出する操作検出部と、
   前記操作検出部により前記コマンドを指定する操作が検出された場合、前記コマンドを識別するためのコマンド識別情報を前記他の表示制御装置に送信するように制御する送信制御部と、
   をさらに備える、請求項２に記載の表示制御装置。
7. 前記送信制御部は、
   前記操作検出部により前記画面上の座標を指定座標として指定する操作が検出された場合、かつ、前記画面の位置および姿勢に基づいて前記指定座標が変換された後の座標が前記項目の座標に一致または近接する場合、前記コマンドを識別するためのコマンド識別情報を前記他の表示制御装置に送信するように制御する、
   請求項６に記載の表示制御装置。
8. 前記送信制御部は、
   前記権限情報が前記コマンドの実行が許容される旨を示す場合、前記コマンド識別情報を前記他の表示制御装置に送信するように制御する、
   請求項６に記載の表示制御装置。
9. 前記表示制御装置は、
   前記画面を認識することにより前記認識結果を取得する認識部をさらに備える、
   請求項１〜８のいずれか一項に記載の表示制御装置。
10. 他の表示制御装置の１つ以上の項目を含む画面の構成情報および前記項目から実行されるコマンドに対する権限情報を取得することと、
    前記権限情報が前記コマンドの実行が制限される旨を示す場合、前記画面の認識結果と前記構成情報とに基づいて、前記コマンドの実行が制限される旨を示す表示である制限表示を行うように制御することと、
    を含み、
    前記画面の撮像画像を取得することをさらに含み、
    前記撮像画像を表示するように制御し、前記撮像画像に対して前記制限表示を付加することを含む、
    表示制御方法。
11. コンピュータを
    他の表示制御装置の１つ以上の項目を含む画面の構成情報および前記項目から実行されるコマンドに対する権限情報を取得する情報取得部と、
    前記権限情報が前記コマンドの実行が制限される旨を示す場合、前記画面の認識結果と前記構成情報とに基づいて、前記コマンドの実行が制限される旨を示す表示である制限表示を行うように制御する表示制御部と、
    前記画面の撮像画像を取得する画像取得部と、
    を備え、
    前記表示制御部は、
    前記画像取得部により取得された前記撮像画像を表示するように制御し、前記撮像画像に対して前記制限表示を付加する表示制御装置として機能させるためのプログラム。
12. １つ以上の項目を含む画面を表示するように制御する表示制御部と、
    前記画面の構成情報および前記項目から実行されるコマンドに対する権限情報を他の表示制御装置に送信するように制御する送信制御部と、
    を備え、
    前記他の表示制御装置から前記項目の座標を取得する取得部と、
    前記取得部により前記項目の座標が取得された場合、かつ、前記権限情報が前記コマンドの実行が許容される旨を示す場合、前記コマンドを実行するコマンド実行部と、
    をさらに備える、表示制御装置。
13. １つ以上の項目を含む画面を表示するように制御する表示制御部と、
    前記画面の構成情報および前記項目から実行されるコマンドに対する権限情報を他の表示制御装置に送信するように制御する送信制御部と、
    を備え、
    前記他の表示制御装置から前記コマンドを識別するためのコマンド識別情報を取得する取得部と、
    前記取得部により前記コマンド識別情報が取得された場合、かつ、前記権限情報が前記コマンドの実行が許容される旨を示す場合、前記コマンドを実行するコマンド実行部と、
    をさらに備える、表示制御装置。
14. 前記表示制御装置は、
    ユーザ操作を検出する操作検出部をさらに備え、
    前記コマンド実行部は、前記操作検出部により前記コマンドを指定する操作が検出された場合、前記コマンドを実行する、
    請求項１２または請求項１３に記載の表示制御装置。

Images