JP6374203B2 - 表示システム及びプログラム - Google Patents

Description

本発明は、表示システム及びプログラムに関する。

現実空間に電子情報を重ね合わせる拡張現実技術が知られている（例えば、特許文献１を参照。）。
［先行技術文献］
［特許文献］
［特許文献１］特表２０００−５１２７８１号公報

しかし、従来の拡張現実技術においては、現実空間に重ね合わせる電子情報を第三者に閲覧されることなく、複数のユーザ間で共有することができない。

本発明の第１の態様においては、複数のクライアント端末に表示させる画像を生成する画像生成サーバを備える表示システムが提供される。上記の表示システムにおいて、複数のクライアント端末のそれぞれは、実空間の像に重畳させて、画像を表示する表示部と、表示部において実空間の像及び画像の少なくとも一方に重畳させて描画される入力情報を入力する入力部とを有してよい。画像生成サーバは、複数のクライアント端末の少なくとも１つから、入力情報を含む更新情報を取得する更新情報取得部と、更新情報に含まれる入力情報に基づいて、画像を更新する画像更新部とを有してよい。

上記の表示システムにおいて、画像生成サーバは、複数のクライアント端末のそれぞれに表示させるべき画像に関する画像情報を、複数のクライアント端末のそれぞれに送信する画像情報送信部をさらに有してよい。

上記の表示システムにおいて、複数のクライアント端末のそれぞれは、入力情報が描画される領域と、実空間上の基準領域との位置関係を示す入力位置情報を取得する入力位置取得部をさらに有してよい。更新情報は、入力情報と、入力情報に対応付けられた入力位置情報を含んでよい。画像生成サーバは、更新情報に含まれる入力位置情報に基づいて、画像更新部が更新した画像が表示される領域と、実空間上の基準領域との位置関係を示す表示位置情報を生成する位置情報生成部をさらに有してよい。画像情報送信部は、画像更新部が更新した画像と、画像更新部が更新した画像に対応付けられた表示位置情報とを含む画像情報を送信してよい。

上記の表示システムにおいて、複数のクライアント端末のそれぞれは、実空間上の基準領域と、複数のクライアント端末のそれぞれの表示部との位置関係に基づいて、画像情報に含まれる画像更新部が更新した画像を変換する画像変換部と、画像情報に含まれる表示位置情報に基づいて、画像変換部が変換した画像を、実空間上の基準領域に重畳させて、又は基準領域とともに、表示部に表示させる表示制御部とをさら有してよい。

上記の表示システムにおいて、画像生成サーバは、複数のクライアント端末の少なくとも１つから、実空間上の基準領域と、複数のクライアント端末の少なくとも１つの表示部との位置関係に関する端末位置情報を取得する端末位置取得部と、端末位置情報に基づいて、画像更新部が更新した画像を変換する画像変換部とをさらに有してよい。画像情報送信部は、画像変換部が変換した画像を含む画像情報を、端末位置情報が取得されたクライアント端末に送信してよい。

上記の表示システムにおいて、複数のクライアント端末のそれぞれは、入力情報が描画される領域と、実空間上の基準領域との位置関係を示す入力位置情報を取得する入力位置取得部をさらに有してよい。更新情報は、入力情報と、入力情報に対応付けられた入力位置情報を含んでよい。画像生成サーバは、更新情報に含まれる入力位置情報に基づいて、画像変換部が変換した画像が表示される領域と、実空間上の基準領域との位置関係を示す表示位置情報を生成する位置情報生成部をさらに有してよい。画像情報送信部は、画像変換部が変換した画像と、画像変換部が変換した画像に対応付けられた表示位置情報とを含む画像情報を、端末位置情報が取得されたクライアント端末に送信してよい。

上記の表示システムにおいて、画像生成サーバは、画像更新部が更新した画像及び画像変換部が変換した画像の一方を、複数のクライアント端末のそれぞれに表示させるべき画像として決定する画像決定部をさらに備えてよい。上記の表示システムにおいて、画像更新部は、複数の画像を更新してよい。画像生成サーバは、複数の画像のそれぞれを識別する画像識別情報と、画像識別情報により識別される画像の送信を許可又は禁止されたクライアント端末に関する情報とが対応付けられた送信制御情報を格納する制御情報格納部と、送信制御情報を参照して、複数の画像のそれぞれについて、少なくとも１つのクライアント端末への送信の可否を決定する送信制御部とをさらに備えてよい。画像情報送信部は、複数の画像のうち、送信管理部により送信を許可された画像に関する画像情報を、少なくとも１つのクライアント端末に送信してよい。

上記の表示システムにおいて、画像生成サーバは、複数のクライアント端末の少なくとも１つを認証する認証部をさらに備えてよい。画像情報送信部は、認証部により認証されたクライアント端末に対して、画像情報を送信してよい。上記の表示システムは、複数のクライアント端末をさらに備えてよい。

本発明の第２の態様においては、コンピュータを、上記の表示システムとして機能させるためのプログラムが提供される。表示システム用のプログラムを記憶するコンピュータ読み取り可能な媒体であって、プログラムは、コンピュータを、上記の何れかの表示システムとして機能させるコンピュータ読み取り可能な媒体が提供されてもよい。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

表示システム１００の一例を概略的に示す。 表示端末１２２を通して視認される映像２００の一例を概略的に示す。 表示端末１４２を通して視認される映像３００の一例を概略的に示す。 画像変換処理の一例を概略的に示す。 画像変換処理の他の例を概略的に示す。 ユーザ端末１１２のシステム構成の一例を概略的に示す。 画面生成部６５０のシステム構成の一例を概略的に示す。 管理サーバ１１０のシステム構成の一例を概略的に示す。 共有制御部８１６のシステム構成の一例を概略的に示す。 データテーブル１０００の一例を概略的に示す。 表示端末１２２を通して視認される映像１１００の一例を概略的に示す。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。なお、図面において、同一または類似の部分には同一の参照番号を付して、重複する説明を省く場合がある。

図１は、表示システム１００の一例を概略的に示す。図１を用いて、基準マーカ１０４が付されたホワイトボード１０２上に描画される画像の電子情報を、ユーザ端末１１２及びユーザ端末１１４の間で共有する場合を例として、表示システム１００について説明する。

本実施形態において、表示システム１００は、管理サーバ１１０と、ユーザ１２に情報を提示するユーザ端末１１２と、ユーザ１４に情報を提示するユーザ端末１１４とを備える。ユーザ端末１１２は、表示端末１２２と、通信端末１２４とを備える。ユーザ端末１１４は、表示端末１４２と、通信端末１４４とを備える。

ユーザ１２は、第１閲覧者の一例であってよい。また、ユーザ１４は、第２閲覧者の一例であってよい。管理サーバ１１０は、画像生成サーバの一例であってよい。ユーザ端末１１２及びユーザ端末１１４は、複数のクライアント端末の一例であってよい。ユーザ端末１１２は、第１表示装置の一例であってよい。ユーザ端末１１４は、第２表示装置の一例であってよい。

ホワイトボード１０２及び基準マーカ１０４の少なくとも一方は、ユーザ端末１１２及びユーザ端末１１４が電子的な画像（単に、画像と称する場合がある。）を実空間の像に重畳させて表示する場合において、当該電子的な画像の表示位置を決定するための基準点又は基準領域として利用される。ホワイトボード１０２及び基準マーカ１０４が、ユーザ端末１１２及びユーザ端末１１４が電子的な画像を実空間の像に重畳させて表示する場合において、当該電子的な画像の形状、又は形状及び大きさを決定するための基準領域として利用されてもよい。

ホワイトボード１０２及び基準マーカ１０４は、少なくとも実空間における形状が、予め定められている。ホワイトボード１０２及び基準マーカ１０４は、大きさ及び形状が予め定められていてもよい。ホワイトボード１０２及び基準マーカ１０４は、模様、色彩及びこれらの組み合わせが施されていてもよい。

説明を簡単にする目的で、本実施形態においては、基準マーカ１０４を、基準領域として利用する場合を例として、表示システム１００について説明する。しかし、基準領域は、本実施形態に限定されない。他の実施形態において、複数の基準マーカ１０４が、基準領域として利用される。例えば、基準領域として利用される２つの基準マーカ１０４が、ホワイトボード１０２の４つの角のうち、対向する２つの角に配される。また、基準マーカ１０４及びホワイトボード１０２が基準領域として利用される。これにより、電子的な画像の表示位置を精度よく決定することができる。

なお、画像を実空間の像に重畳させて表示するとは、（ｉ）光を透過して実空間の像を閲覧者に提供するとともに、閲覧者に対して電子的な画像を表示する透過型ディスプレイにおいて、閲覧者が透過型ディスプレイを通して実空間の像を見た場合に、当該閲覧者により、電子的な画像及び実空間の像が重畳しているように視認される位置に、当該電子的な画像を表示することだけでなく、（ｉｉ）実空間の像を撮像して得られた電子的な映像と、電子的な画像とを合成して得られた画像を表示することを示す。電子的な映像は、動画像であってもよく、静止画像であってもよい。また、画像又は映像には、音声情報が含まれてもよく、画像の表示又は映像の再生とともに、音声が再生されてもよい。

次に、管理サーバ１１０、ユーザ端末１１２及びユーザ端末１１４における情報処理の概要を説明する。本実施形態において、管理サーバ１１０と、ユーザ端末１１２及びユーザ端末１１４とは、クライアント／サーバ方式により、実空間の像に重畳させて表示される画像の電子情報を共有する。

本実施形態において、管理サーバ１１０は、ユーザ１２又はユーザ１４の指示に基づいて、画像を更新する。例えば、ユーザ端末１１２及びユーザ端末１１４の間で「ＡＢ」という文字列の画像が共有されている場合において、ユーザ端末１１２が、ユーザ１２から、「ＡＢ」という文字列の後ろに「ＣＤ」という文字列を入力するための指示を受け取った場合、ユーザ端末１１２は、ユーザ１２からの指示を管理サーバ１１０に送信する。管理サーバ１１０は、ユーザ端末１１２から受信した情報に基づいて、現在、共有されている「ＡＢ」という文字列の画像の内容を更新して、「ＡＢＣＤ」という文字列の画像を生成する。管理サーバ１１０は、更新された画像を、ユーザ端末１１２及びユーザ端末１１４に送信する。これにより、ユーザ端末１１２及びユーザ端末１１４は、ユーザ１２及びユーザ１４に対して表示される画像を共有することができる。

ユーザ端末１１２及びユーザ端末１１４は、実空間の像に重畳させて、それぞれのユーザに画像を表示する。ユーザ端末１１２及びユーザ端末１１４は、必要に応じて画像を変換し、変換後の画像をそれぞれのユーザに表示する。例えば、ユーザ端末１１２及びユーザ端末１１４は、それぞれのユーザと、基準マーカ１０４との位置関係に応じて、画像の形状、又は画像の形状及び大きさを変換する。これにより、あたかも、画像が実空間上の特定の位置に固定されているかのように、当該画像を表示することができる。なお、ユーザ端末１１２及びユーザ端末１１４のそれぞれのユーザと、基準マーカ１０４との位置関係は、ユーザ端末１１２及びユーザ端末１１４の表示デバイスと、基準マーカ１０４との位置関係であってもよい。

上記の実施形態によれば、管理サーバ１１０は、画像を更新した後、変換処理前の画像を、ユーザ端末１１２及びユーザ端末１１４に送信する。ユーザ端末１１２及びユーザ端末１１４は、管理サーバ１１０から受信した画像を変換して、変換処理後の画像をそれぞれのユーザに表示することができる。なお、ユーザ端末１１２及びユーザ端末１１４は、管理サーバ１１０から受信した変換処理前の画像をユーザに表示してもよい。

他の実施形態によれば、画像の変換処理は、管理サーバ１１０において実行される。この場合、管理サーバ１１０は、画像を更新した後、更新された画像をユーザ１２及びユーザ１４に表示するために変換する。なお、管理サーバ１１０は、複数のユーザ端末の少なくとも１つに送信する画像を変換してもよい。

例えば、ユーザ端末１１２において表示される画像の変換処理を管理サーバ１１０において実行する場合、管理サーバ１１０は、ユーザ端末１１２から、ユーザ端末１１２のユーザと、基準マーカ１０４との位置関係に関する情報を取得する。例えば、管理サーバ１１０は、ユーザ端末１１２から、ユーザ１２の近傍において撮像された基準マーカ１０４の形状に関する情報を取得する。管理サーバ１１０は、変換前の画像中の基準マーカ１０４の形状と、ユーザ１２の近傍において撮像された基準マーカ１０４の形状とを比較して、両者が同一となる又は相似するように、画像の形状を変換する。管理サーバ１１０は、変換後の画像をユーザ端末１１２に送信する。これにより、ユーザ端末１１２は、管理サーバ１１０から受信した変換処理後の画像をユーザ１２に表示することができる。

このように、本実施形態の表示システム１００によれば、実空間の像に重畳される画像を複数のユーザ端末間で共有しながら、リアルタイムに画像を更新することができる。また、ユーザ端末の位置に応じて、画像を変換することができる。これにより、臨場感が増加する。さらに、実空間上で情報を描画することなく、当該情報を共有することができるので、情報漏洩のリスクを低減することができる。

本実施形態の表示システム１００によれば、現実のホワイトボードでは不可能な要求に対応することができる。例えば、本実施形態の表示システム１００によれば、画像の表示範囲又は描画範囲を自由に指定することもできる。これにより、例えば、壁面全体をホワイトボードとして利用することができる。また、画像を表示させるとともに、画像に関連付けられた音声を再生することもできる。

次に、管理サーバ１１０、ユーザ端末１１２の各部の概要について説明する。なお、ユーザ端末１１４は、ユーザ端末１１２と同様の構成を有してよい。そのため、ユーザ端末１１４の各部については、説明を省略する。

管理サーバ１１０は、ユーザ端末１１２及びユーザ端末１１４において共有される情報を管理する。管理サーバ１１０は、ユーザ端末１１２及びユーザ端末１１４との間で情報を送受する。例えば、管理サーバ１１０は、ユーザ端末１１２及びユーザ端末１１４に対して、共有する画像に関する情報を送信する。通信端末１２４は、表示端末と基準マーカとの位置関係によらない画像（基本画像と称する場合がある。）を送信してもよく、表示端末１２２及び表示端末１４２のそれぞれと、基準マーカ１０４との位置関係に応じて変換された画像を送信してもよい。

管理サーバ１１０は、ユーザ端末１１２及びユーザ端末１１４と情報を送受することができる装置であればよく、詳細については特に限定されない。管理サーバ１１０は、パーソナルコンピュータ、携帯端末、無線端末、及びこれらの組み合わせであってよい。携帯端末としては、携帯電話若しくはスマートフォン、ノートブック・コンピュータ若しくはラップトップ・コンピュータ、ＰＤＡ、タブレット端末、ウェアラブル・コンピュータなどを例示することができる。ウェアラブル・コンピュータとしては、アイウエア型、腕輪型又は指輪型のウェアラブル・コンピュータを例示することができる。管理サーバ１１０は、仮想サーバ又はクラウドシステムであってもよい。また、管理サーバ１１０の各部の機能が、複数のサーバによって実現されてもよい。

本実施形態において、ユーザ端末１１２は、ユーザ１２に情報を提示し、管理サーバ１１０と情報を送受することができる装置であればよく、詳細については特に限定されない。ユーザ端末１１２は、パーソナルコンピュータ、携帯端末、無線端末、及びこれらの組み合わせであってよい。携帯端末としては、携帯電話若しくはスマートフォン、ノートブック・コンピュータ若しくはラップトップ・コンピュータ、ＰＤＡ、タブレット端末、ウェアラブル・コンピュータなどを例示することができる。ウェアラブル・コンピュータとしては、アイウエア型、腕輪型又は指輪型のウェアラブル・コンピュータを例示することができる。

表示端末１２２は、実空間の像に重畳させて、ユーザ１２に画像を表示する。本実施形態において、表示端末１２２は、通信端末１２４から、ユーザ１２に提示すべき画像を受信して、当該画像を表示する。

表示端末１２２は、ウェアラブル・コンピュータであることが好ましく、アイウエア型の表示デバイスであることが好ましい。アイウエア型の表示デバイスとしては、ヘッドマウントディスプレイ、メガネ型の表示デバイス、コンタクトレンズ型の表示デバイスなどを例示することができる。表示端末１２２は、透過型ディスプレイを有してもよい。

本実施形態において、表示端末１２２は、基準マーカ１０４が含まれるように、ホワイトボード１０２の少なくとも一部を撮像する。表示端末１２２は、ユーザ１２の頭部に装着されているので、ユーザ１２の視線に近い映像を取得することができる。撮像された映像を解析することで、ユーザ１２及び基準マーカ１０４の位置関係に関する情報を取得することができる。表示端末１２２は、ユーザ１２又は第三者のジェスチャを撮像してもよい。撮像された映像を解析することで、ユーザ１２又は第三者のジェスチャを検出することができる。これにより、いわゆるジェスチャ入力（ジェスチャ認識と称される場合がある。）を実現することができる。本実施形態において、表示端末１２２は、撮像された映像を通信端末１２４に送信する。

ユーザ又は第三者（ユーザなどと称する場合がある。）のジェスチャとしては、ユーザなどの動作、ユーザなどが装着又は所持しているデバイスの動き、ユーザなどの視線の動きなどを例示することができる。ユーザなどの動作としては、ユーザなどの指先の動き、ユーザなどの手の形、ユーザなどの腕の形などを例示することができる。なお、ユーザなどのジェスチャの検出方法は、撮像された映像から検出する方法に限定されない。例えば、ユーザなどが、加速度センサ、ジャイロセンサなどを備えたウェアラブル・コンピュータ又は携帯端末を装着又は所持している場合、当該ウェアラブル・コンピュータ又は携帯端末を利用することにより、ユーザなどのジェスチャを検出することができる。通信端末１２４は、ユーザ１２の指示により、ユーザなどのジェスチャを検出してよい。

本実施形態において、通信端末１２４は、表示端末１２２に表示される画像を生成する。例えば、通信端末１２４は、ユーザ１２により入力された、表示端末１２２に表示されるべき情報に基づいて、共有されている情報を更新するための情報を生成する。通信端末１２４は、生成された情報を管理サーバ１１０に送信する。管理サーバ１１０は、通信端末１２４から受信した情報に基づいて、表示端末１２２に表示される画像を更新する。

通信端末１２４は、表示端末１２２から受信した映像の中から、ユーザ１２のジェスチャを検出して、ユーザ１２からの入力を検出してよい。一実施形態において、通信端末１２４は、表示端末１２２から受信した映像の中から、基準マーカ１０４の形状を検出する。通信端末１２４は、検出された基準マーカ１０４の形状と、基準マーカ１０４を正面から見た場合の形状（基準マーカ１０４の基本形状と称する場合がある。）とを比較する。通信端末１２４は、上記の比較結果と、ユーザ１２のジェスチャに基づいて検出されたユーザ１２からの入力とに基づいて、基準マーカ１０４を正面から見る位置において、ユーザ１２のジェスチャを見ていた場合に検出されたであろう、ユーザ１２からの入力（基本入力と称する場合がある。）を生成する。

一実施形態において、通信端末１２４は、基準マーカ１０４を正面から見ているかのように、画像を表示する（相対位置表示と称する場合がある。）。この場合、表示端末１２２と基準マーカ１０４との位置関係によらず、同一の画像が表示される。

他の実施形態において、通信端末１２４は、表示端末１２２と基準マーカ１０４との位置関係に応じて、画像の形状、又は画像の形状及び大きさが変化するように、画像を表示する（絶対位置表示と称する場合がある。）。通信端末１２４が、基準マーカ１０４の大きさに関する情報を取得できる場合、通信端末１２４は、表示端末１２２と基準マーカ１０４との位置関係に応じて、画像の形状及び大きさを変化させてもよい。この場合、画像が、実空間上の特定の位置に固定されているかのように表示される。

ユーザ端末１１２は、通信回線１０を介して、管理サーバ１１０との間で情報を送受する。通信回線１０は、無線通信の伝送路であってもよく、有線通信の伝送路であってもよく、無線通信の伝送路及び有線通信の伝送路の組み合わせであってもよい。通信回線１０としては、移動体通信網、無線パケット通信網、インターネット、専用回線及びこれらの組み合わせを例示することができる。

表示システム１００の各部は、ハードウエアにより実現されてもよく、ソフトウエアにより実現されてもよく、ハードウエアとソフトウエアとの組み合わせにより実現されてもよい。例えば、プログラムが実行されることにより、コンピュータが、表示システム１００の各部として機能する。

上記のソフトウエア又はプログラムは、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、メモリ、ハードディスクなどのコンピュータ読み取り可能な媒体に記憶されていてもよく、ネットワークに接続された記憶装置に記憶されていてもよい。ソフトウエア又はプログラムは、コンピュータ読み取り可能な媒体又はネットワークに接続された記憶装置から、管理サーバ１１０、ユーザ端末１１２及びユーザ端末１１４のそれぞれのコンピュータにインストールされてよい。

コンピュータを、表示システム１００の各部として機能させるプログラムは、表示システム１００の各部の動作を規定したモジュールを備えてよい。これらのプログラム又はモジュールは、プロセッサ、通信インターフェース等に働きかけて、表示システム１００の各部として機能させたり、表示システム１００の各部における情報処理方法を実行させたりする。

これらのプログラムに記述された情報処理は、コンピュータに読込まれることにより、ソフトウエアと、管理サーバ１１０、ユーザ端末１１２及びユーザ端末１１４のハードウエア資源とが協働した具体的手段として機能する。そして、これらの具体的手段によって、本実施形態におけるコンピュータの使用目的に応じた情報の演算又は加工を実現することにより、使用目的に応じた表示システム１００を構築することができる。

表示システム１００の各部は、一般的な構成の情報処理装置において、表示システム１００の各部の動作を規定したソフトウエア又はプログラムを起動することにより実現されてよい。表示システム１００又はその一部として用いられる情報処理装置は、ＣＰＵ等のプロセッサ、ＲＯＭ、ＲＡＭ、通信インターフェースなどを有するデータ処理装置と、キーボード、タッチパネル、マイクなどの入力装置と、液晶ディスプレイ、透過型ディスプレイ、プロジェクタなどの表示装置と、スピーカなどの出力装置と、メモリ、ＨＤＤなどの記憶装置とを備えてよい。上記のデータ処理装置又は記憶装置は、上記のソフトウエア又はプログラムを記憶してよい。

本実施形態において、基準マーカ１０４がホワイトボード１０２に付されている場合について説明した。しかし、基準マーカ１０４の付される場所はホワイトボード１０２に限定されない。他の実施形態において、基準マーカ１０４は、壁、机、手のひらなどに付されてよい。これにより、基準マーカ１０４の付された実空間上の位置を基準として、電子的な画像を実空間の像に重畳させて表示することができる。基準マーカ１０４が配される場所は、平坦であることが好ましいが、湾曲していてもよい。

本実施形態において、特定の画像を、実空間のホワイトボード１０２に重畳させて表示する場合について説明した。しかし、画像の表示方法は、実施形態に限定されない。他の実施形態において、ホワイトボードの電子的な画像を生成して、特定の画像を、当該ホワイトボードの電子的な画像に重畳させて表示してもよい。

本実施形態において、基準マーカ１０４を基準領域として利用する場合について説明した。しかし、基準領域は、本実施形態に限定されない。他の実施形態において、管理サーバ１１０が、ホワイトボード１０２の形状に関する情報を記憶している、又は通信回線を介して当該情報を取得することができる場合、ホワイトボード１０２が、基準領域として利用されてもよい。この場合、基準マーカ１０４はなくてもよい。

本実施形態において、ユーザ端末１１２及びユーザ端末１１４のそれぞれが、同一の基準マーカ１０４を利用して、それぞれの表示部に表示させる画像を変換する場合について説明した。しかし、ユーザ端末１１２及びユーザ端末１１４は、本実施形態に限定されない。ユーザ端末１１２が画像の変換に利用する基準領域と、ユーザ端末１１４が画像の変換に利用する基準領域とが異なってもよい。例えば、種類の異なる基準マーカが利用される場合であっても、それぞれの基準マーカの基本形状が既知であれば、同一の種類の基準マーカを利用する場合又は同一の基準マーカを利用する場合と同様に、情報を共有することができる。

本実施形態において、基準領域が、物理的な形状を有する場合について説明した。しかし、基準領域は、本実施形態に限定されない。他の実施形態において、基準領域は、点滅のリズムやパターンなどが予め定められた光点又は光点群であってもよく、複数のレーザー光線により示されてもよい。基準領域は、液晶ディスプレイ、プロジェクタなどの表示装置により表示される映像であってもよい。

本実施形態において、画像がホワイトボード１０２に重畳するように描画される場合について説明した。しかし、画像が描画される領域（描画領域と称する場合がある。）は、本実施形態に限定されない。他の実施形態において、電子的な画像が描画される領域の大きさは、ユーザ１２又はユーザ１４により指定される。ユーザ１２又はユーザ１４は、基準マーカ１０４及び描画領域の位置関係、描画領域の大きさ若しくは範囲、並びに、描画領域の形状、模様、色彩及びこれらの組み合わせの少なくとも１つについて指定してもよい。

図２及び図３を用いて、表示端末１２２及び表示端末１４２における画像の表示方法の一例について説明する。図２及び図３においては、表示端末１２２及び表示端末１４２が、透過型ディスプレイを有する場合について説明する。

図２は、ユーザ１２が、表示端末１２２を通して視認する映像２００の一例を概略的に示す。図３は、ユーザ１４が、表示端末１４２を通して視認する映像３００の一例を概略的に示す。

映像２００は、ユーザ１４、ユーザ１２の手２８の一部、ホワイトボード１０２及び基準マーカ１０４の像を含む。ユーザ１４、ユーザ１２の手２８の一部、ホワイトボード１０２及び基準マーカ１０４の像は、表示端末１４２を透過してユーザ１２に視認される実空間の像である。

映像２００は、ウィンドウ２１０、ウィンドウ２２０及びウィンドウ２３０を含む。ウィンドウ２１０、ウィンドウ２２０及びウィンドウ２３０は、表示端末１４２に表示される画像である。本実施形態において、ウィンドウ２１０、ウィンドウ２２０及びウィンドウ２３０は、表示端末１４２を透過してユーザ１２に視認される実空間の像に重畳するように表示される。また、ウィンドウ２２０及びウィンドウ２３０は、ウィンドウ２１０に重畳して表示され、ウィンドウ２２０は、ウィンドウ２３０に重畳して表示される。

ウィンドウ２１０は、コマンド表示部２１２と、複数のアイコン２１４とを含む。コマンド表示部２１２は、ウィンドウ２１０又はウィンドウ２１０内に表示される画像を操作するための１以上のコマンドを表示する。複数のアイコン２１４のそれぞれは、上記の1以上のコマンドの１つに対応付けられる。

上記のコマンドとしては、ウィンドウ２１０のサイズの変更、ウィンドウ２１０の画面表示の可否、ウィンドウ２１０に表示される画像の共有に関する設定などを例示することができる。画像の共有に関する設定としては、共有の開始又は終了、他の端末からの共有の申し出に対する応答などを例示することができる。共有の申し出に対する応答としては、共有の許可、共有の拒否、判断の保留などを例示することができる。

ウィンドウ２１０は、画像２１６を含む。本実施形態において、画像２１６は、ユーザ端末１１２とユーザ端末１１４との間で共有されている。また、画像２１６は、表示端末１２２及び基準マーカ１０４の位置関係に応じて変換されている。ユーザ端末１１２及びユーザ端末１１４は、画像２１６の内容だけでなく、画像２１６及び基準マーカ１０４の位置関係についても共有する。そのため、例えば、ユーザ１２が移動して、ユーザ１２及び基準マーカ１０４の位置関係が変化すると、画像２１６の形状又は画像２１６の形状及び大きさも変化する。一方、ユーザ１２及び基準マーカ１０４の位置関係が変化しても、画像２１６は、ホワイトボード１０２上の特定の位置に重畳するように表示される。

ウィンドウ２２０は、コマンド表示部２２２と、複数のアイコン２２４とを含む。コマンド表示部２２２及びアイコン２２４は、それぞれ、コマンド表示部２１２及びアイコン２１４と同様の構成を有してよい。ウィンドウ２２０は、画像２２６を含む。本実施形態において、画像２２６は、ユーザ端末１１４と共有されていない。

本実施形態において、画像２２６は、画像２１６の内容のうち、ユーザ１２により指定された範囲に含まれる内容を拡大して表示するための画像である。本実施形態において、画像２１６及び画像２２６は、同一の基本画像に基づいて生成される。画像２１６及び画像２２６は、表示される範囲、並びに、表示される内容の大きさ及び形状が異なる。本実施形態において、ユーザ端末１１２は、画像２１６上の位置と、画像２２６上の位置との対応関係を記憶しており、ユーザ１２が、画像２２６上で入力した事項は、画像２１６に反映される。

これにより、例えば、ユーザ１２は、画像２２６の特定の位置を指定し、当該指定した位置に、キーボード、タッチパネル、マイクなどの入力デバイスを用いて文字、図形などを入力することができる。入力された情報は、画像２１６に反映され、ユーザ端末１１４に表示される画像にも反映される。また、ユーザ１２が、ホワイトボード１０２から離れた位置にいる場合、ジェスチャ入力により、ホワイトボード１０２上に文字などを入力することが難しい場合がある。ウィンドウ２２０内に画像２１６の一部を拡大して表示することで、例えば、ユーザ１２がホワイトボード１０２から離れた位置にいる場合であっても、ホワイトボード１０２上に文字などを容易に入力することができる。

ウィンドウ２３０は、コマンド表示部２３２と、複数のアイコン２３４とを含む。コマンド表示部２３２及びアイコン２３４は、それぞれ、コマンド表示部２１２及びアイコン２１４と同様の構成を有してよい。ウィンドウ２３０は、スプレッドシート２３６を含む。本実施形態において、スプレッドシート２３６は、ユーザ端末１１４と共有されていない。これにより、ユーザ１２は、スプレッドシート２３６の情報を閲覧しながら、画像２１６上で情報を入力することができる。

映像３００は、ユーザ１２、ユーザ１４の手３８の一部、ホワイトボード１０２及び基準マーカ１０４の像を含む。ユーザ１２、ユーザ１４の手３８の一部、ホワイトボード１０２及び基準マーカ１０４の像は、表示端末１４２を透過してユーザ１４に視認される実空間の像である。

映像２００は、ウィンドウ３１０を含む。ウィンドウ３１０は、表示端末１４２に表示される画像である。本実施形態において、ウィンドウ３１０は、表示端末１４２を透過してユーザ１４に視認される実空間の像に重畳するように表示される。

ウィンドウ３１０は、コマンド表示部３１２と、複数のアイコン３１４とを含む。コマンド表示部３１２及びアイコン３１４は、それぞれ、コマンド表示部２１２及びアイコン２１４と同様の構成を有してよい。ウィンドウ３１０は、画像３１６を含む。本実施形態において、画像３１６は、ユーザ端末１１２と共有されている。画像３１６は、画像２１６に対応する。画像３１６は、表示端末１４２及び基準マーカ１０４の位置関係に応じて変換されている。そのため、画像２１６及び画像３１６は、表示される内容は同一であるが、形状又は形状及び大きさが異なる場合がある。

図４は、画像変換処理の一例を概略的に示す。本実施形態においては、ユーザ端末１１２は、各画像の基本画像を管理しており、ユーザ１２、又はユーザ１２及びユーザ１４からの指示に基づいて、基本画像を更新する。

例えば、管理サーバ１１０は、画像２１６及び画像３１６に対応する基本画像４１６と、スプレッドシート２３６のデータ４３６とを記憶装置に記憶している。基本画像４１６は、管理サーバ１１０及びユーザ端末１１２の少なくも一方において変換され、基本画像４１６とは形状又は形状及び大きさの異なる画像２１６が生成される。また、管理サーバ１１０及びユーザ端末１１２の少なくも一方において、基本画像４１６の特定の領域が切り取られて、画像２２６が生成される。さらに、データ４３６のうち、画面上に表示させる領域が決定され、スプレッドシート２３６の画像が生成される。

基本画像４１６が管理サーバ１１０において変換される場合、変換後の画像２１６がユーザ端末１１２に送信される。基本画像４１６がユーザ端末１１２において変換される場合、変換前の基本画像４１６がユーザ端末１１２に送信される。その後、生成された画像が、それぞれのウィンドウ内の特定の位置に配される。

一方、基本画像４１６は、管理サーバ１１０及びユーザ端末１１４の少なくとも一方において変換され、画像３１６が生成される。基本画像４１６が管理サーバ１１０において変換される場合、変換後の画像３１６がユーザ端末１１４に送信される。基本画像４１６がユーザ端末１１４において変換される場合、変換前の基本画像４１６がユーザ端末１１４に送信される。その後、画像３１６が、ウィンドウ３１０内の特定の位置に配される。

図５は、画像変換処理の他の例を概略的に示す。本実施形態においては、ユーザ端末１１２は、表示端末１２２に表示されている画像を管理しており、ユーザ１２、又はユーザ１２及びユーザ１４からの指示に基づいて、当該画像を更新する。

例えば、管理サーバ１１０は、例えば、現在、表示端末１２２に表示されている画像５１６と、スプレッドシート２３６のデータ４３６とを記憶装置に記憶している。画像５１６は、管理サーバ１１０及びユーザ端末１１２の少なくも一方において変換され、画像５１６とは形状又は形状及び大きさの異なる画像２１６が生成される。なお、ユーザ１２及び基準マーカ１０４の位置関係の変動が小さく、画像の内容に変更がない場合、画像５１６及び画像２１６の形状及び大きさは、ほぼ同一である。

また、管理サーバ１１０及びユーザ端末１１２の少なくも一方において、画像５１６が基本画像４１６に変換され、変換された基本画像４１６の特定の領域が切り取られて、画像２２６が生成される。さらに、データ４３６のうち、画面上に表示させる領域が決定され、スプレッドシート２３６の画像が生成される。その後、生成された画像が、それぞれのウィンドウ内の特定の位置に配される。

一方、画像５１６は、管理サーバ１１０及びユーザ端末１１４の少なくとも一方において変換され、画像３１６が生成される。その後、画像３１６が、ウィンドウ３１０内の特定の位置に配される。

図６から図９を用いて、管理サーバ１１０及びユーザ端末１１２のシステム構成の一例について説明する。図６及び図７は、ユーザ端末１１２のシステム構成の一例を概略的に示す。図８及び図９は、管理サーバ１１０のシステム構成の一例を概略的に示す。

図６に示されるとおり、本実施形態において、ユーザ端末１１２は、入力部６１０と、校正部６３２と、基準マーカ検出部６３６と、画面生成部６５０と、表示部６５２と、更新情報生成部６６０と、通信制御部６７２と、通信制御部６７４とを備える。入力部６１０は、撮像部６１２と、マイク６１４と、ジェスチャ検出部６１６と、サーバ情報受信部６１８とを有する。ユーザ端末１１２の各部は、互いに情報を送受してよい。基準マーカ検出部６３６は、画像解析部の一例であってよい。サーバ情報受信部６１８は、画像情報受信部の一例であってよい。更新情報生成部６６０は、入力位置取得部の一例であってよい。

図７に示されるとおり、本実施形態において、画面生成部６５０は、画像変換部７５６と、表示制御部７５８とを備える。表示制御部７５８は、画像決定部７６２と、合成部７６４とを備える。

図８に示されるとおり、本実施形態において、管理サーバ１１０は、端末情報受信部８１０と、画像更新部８１２と、位置情報生成部８１４と、共有制御部８１６と、画像情報送信部８１８とを備える。端末情報受信部８１０は、更新情報取得部及び端末位置情報取得部の一例であってよい。図９に示されるとおり、本実施形態において、共有制御部８１６は、端末認証部９６２と、送信制御部９６４と、制御情報格納部９６６とを備える。

図６に示されるとおり、本実施形態において、撮像部６１２、マイク６１４、表示部６５２及び通信制御部６７２が、表示端末１２２に配され、その他の部材が、通信端末１２４に配される場合について説明する。しかし、ユーザ端末１１２は、本実施形態に限定されない。他の実施形態において、全ての部材が表示端末１２２に配されてもよく、画面生成部６５０が表示端末１２２に配されてもよい。ユーザ端末１１４は、ユーザ端末１１２と同様のシステム構成を有してよい。

入力部６１０は、ユーザ１２の指示に基づく情報であって、表示端末１２２において実空間の像及び電子的な画像の少なくとも一方に重畳させて描画される情報を入力する。入力部６１０の各部は、入力された情報を通信端末１２４に送信してよい。なお、入力部６１０は、キーボード、タッチパネル、マウスなどのその他の入力デバイスを有してもよい。

撮像部６１２は、実空間の像を撮像する。撮像部６１２は、複数のカメラを有してよい。例えば、撮像部６１２は、基準マーカ１０４を撮像するためのカメラと、ユーザ１２のジェスチャを撮像するためのカメラとを備える。ユーザ１２のジェスチャを撮像するためのカメラは、ユーザ１２の手又は指を撮像するためのカメラと、ユーザ１２の目を撮像するためのカメラとを含んでもよい。なお、撮像される映像は、静止画像であってもよく、動画像であってもよい。撮像される映像は動画像であることが好ましい。

マイク６１４は、音声を入力する。これにより、ユーザ１２は、音声によりユーザ端末１１２に対する指示を入力することができる。

ジェスチャ検出部６１６は、撮像部６１２により撮像された映像を解析して、ユーザ１２のジェスチャを検出する。ジェスチャ検出部６１６は、検出されたジェスチャを解析して、ユーザ１２からの入力を検出してよい。

サーバ情報受信部６１８は、管理サーバ１１０から、画像情報を受信する。サーバ情報受信部６１８は、受信した画像情報を、画面生成部６５０に送信する。

校正部６３２は、表示端末１２２に表示される画像の位置を校正する。表示端末１２２が、ユーザ１２の頭部に装着されるデバイスである場合、撮像部６１２及びユーザ１２の目の距離は、比較的、個人差が小さい。そこで、ユーザ端末１１２は、撮像部６１２及びユーザ１２の目のおおよその距離に基づいて、表示端末１２２に表示される画像の位置を調整することができる。校正部６３２は、表示端末１２２に表示される画像の位置をさらに微調整する。例えば、表示端末１２２が透過型ディスプレイを有する場合、ユーザ１２は、校正部６３２を起動して、撮像部６１２により撮像された映像を表示端末１２２に表示しながら、表示端末１２２に表示される映像と、表示端末１２２を介して視認される実空間の像とが一致するように、画像の表示位置を調整する。

これにより、校正部６３２は、撮像部６１２により撮像された映像中の位置と、表示部６５２上の位置との関係を取得することができる。校正部６３２は、撮像部６１２により撮像された映像中の位置ごとに、上記の関係を取得してもよい。撮像部６１２により撮像された映像中の位置と、表示部６５２上の位置との関係を利用することで、表示部６５２上で、画像と、実空間の像とを、より正確に重畳させることができる。校正部６３２は、上記の関係を示す情報を表示制御部７５８に送信してよい。校正部６３２は、上記の関係を示す情報を記憶してもよい。なお、ユーザ１２は、表示端末１２２が非透過型ディスプレイを有する場合にも、校正部６３２を起動して画像の表示位置を調整してよい。

基準マーカ検出部６３６は、撮像部６１２により撮像された実空間の像の映像を解析して、当該映像の中に基準マーカ１０４が含まれているか否かを判断する。上記映像の中に基準マーカ１０４が含まれている場合、基準マーカ検出部６３６は、基準マーカ１０４の形状を検出してよい。基準マーカ検出部６３６は、基準マーカ１０４の形状とともに、基準マーカ１０４の位置及び大きさの少なくとも一方を検出してもよい。基準マーカ検出部６３６は、検出された情報を画面生成部６５０に送信してよい。基準マーカ検出部６３６は、検出された情報を管理サーバ１１０に送信してよい。上記の情報は、基準マーカ１０４が検出されたことを示す情報の一例であってよい。上記映像の中に基準マーカ１０４が含まれていなかった場合、基準マーカ検出部６３６は、基準マーカ１０４が検出されなかったことを示す情報を、管理サーバ１１０に送信してよい。

画面生成部６５０は、表示部６５２に表示させる画面を生成する。例えば、画面生成部６５０は、サーバ情報受信部６１８から画像情報を受信して、画像情報に含まれる画像を変換する。画面生成部６５０は、実空間上の基準マーカ１０４と、表示部６５２との位置関係に基づいて、更新された画像を変換してよい。画面生成部６５０は、画像情報に含まれる画像又は変換された画像を、基準マーカ１０４に重畳させて、又は基準マーカ１０４とともに、表示部６５２に表示させてよい。

表示部６５２に表示される画面の少なくとも一部の領域に表示される情報を、ユーザ端末１１４と共有する場合、画面生成部６５０は、当該領域に表示される画像をキャプチャしてよい。画面生成部６５０は、キャプチャした画像を、管理サーバ１１０を介して、又は管理サーバ１１０を介さずに、ユーザ端末１１４にストリーミング配信してよい。これにより、表示部６５２に表示される画面の少なくとも一部の領域に表示される情報を、ユーザ端末１１４と共有することができる。画像とともに、音声情報がストリーミング配信されてもよい。

表示部６５２は、実空間の像に重畳させて、ユーザ１２に画像を表示する。表示部６５２は、液晶ディスプレイ、有機ＥＬディスプレイ、プロジェクタなどの表示デバイスであってよい。表示部６５２は、透過型ディスプレイを有してよい。透過型ディスプレイには、プロジェクタにより映像が投影されてもよい。表示部６５２は、ユーザ１２の目の一部に映像を投影するプロジェクタであってもよい。目の一部は、網膜であってよい。

更新情報生成部６６０は、入力部６１０が受け付けたユーザ１２からの入力に関する情報（入力情報と称する場合がある。）に基づいて、管理サーバ１１０により管理されている画像を更新するための情報（更新情報と称する場合がある。）を生成する。入力情報は、例えば、画像の内容に関する情報を含む。画像の内容に関する情報は、ユーザ１２により表示部６５２に表示させることを指示された情報であってよい。

例えば、ユーザ１２は、ジェスチャによって、表示部６５２に表示させるべき情報を指示する。ジェスチャ検出部６１６は、ユーザ１２のジェスチャを検出して、特定の数字、文字、記号、図形及びこれらの組み合わせの少なくとも１つを入力する。ユーザ１２は、音声によって、表示部６５２に表示させるべき情報を指示してもよく、キーボードなどの入力デバイスを利用して、表示部６５２に表示させるべき情報を指示してもよい。

更新情報生成部６６０は、入力部６１０から、入力情報が描画される領域（入力領域と称する場合がある。）と、実空間上の基準マーカ１０４との位置関係を示す入力位置情報を取得してよい。入力位置情報は、ユーザ１２が入力情報を描画することを意図している実空間上の領域の位置と、実空間上の基準マーカ１０４との位置関係を示すであってよい。

例えば、例えば、ユーザ１２は、ホワイトボード１０２の中央に「ＡＢ」という文字列を描画することを意図して、「ＡＢ」という文字列を描画することをジェスチャで表現する。この場合、実空間上のホワイトボード１０２には「ＡＢ」という文字列は描画されていないが、例えば、ジェスチャ検出部６１６が、撮像部６１２により撮像された映像を解析して、ユーザ１２の指先の動きを検出することにより、ユーザ１２が入力情報を描画することを意図している実空間上の領域を検出することができる。

例えば、ジェスチャ検出部６１６は、ユーザ１２の目の位置と、ユーザ１２の指先の位置と、撮像部６１２により撮像された映像とに基づいて、ユーザ１２により指示された情報の入力位置又は入力領域を検出する。ユーザ１２の目の位置は、表示端末１２２の構造及び大きさに基づいて決定されてよい。ジェスチャ検出部６１６は、校正部６３２から、撮像部６１２により撮像された映像中の位置と、表示部６５２上の位置との関係を取得して、ユーザ１２により指示された情報の入力位置又は入力領域を検出してもよい。

これにより、ジェスチャ検出部６１６は、ユーザ１２が入力情報を描画することを意図している実空間上の領域を検出することができる。ジェスチャ検出部６１６は、例えば、撮像部６１２により撮像された映像中の基準マーカ１０４の大きさを用いて、上記の入力位置又は入力領域の実空間上の位置と、基準マーカ１０４の実空間上の位置との関係を算出して、入力位置情報を生成する。

更新情報は、入力情報を含んでよい。更新情報は、入力情報と、当該入力情報に対応付けられた入力位置情報とを含んでよい。更新情報生成部６６０は、生成された更新情報を管理サーバ１１０に送信してよい。

通信制御部６７２及び通信制御部６７４は、表示端末１２２及び通信端末１２４における通信を制御する。表示端末１２２及び通信端末１２４は、例えば、有線通信方式又は近距離無線通信方式により情報を送受する。近距離無線通信方式としては、ＮＦＣ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＷｉＦｉ（登録商標）、ＷｉＭＡＸ（登録商標）などを例示することができる。通信制御部６７４は、通信端末１２４及び管理サーバ１１０における通信を制御する。通信制御部６７２及び通信制御部６７４は、通信インターフェースであってもよい。通信制御部６７２及び通信制御部６７４は、複数の通信方式に対応していてもよい。

図７に示されるとおり、本実施形態において、画像変換部７５６は、実空間上の基準マーカ１０４と、表示部６５２との位置関係に基づいて、管理サーバ１１０から受信した画像情報に含まれる画像更新部８１２が更新した画像を変換する。画像変換部７５６は、変換した画像を表示制御部７５８に送信してよい。

例えば、画像変換部７５６は、基準マーカ検出部６３６から、撮像部６１２により撮像された映像中の基準マーカ１０４の形状、又は形状及び大きさに関する情報を取得する。画像変換部７５６は、取得した映像中の基準マーカ１０４の形状は、実空間上の基準マーカ１０４と、表示部６５２との位置関係を表す。

図４を用いて説明したように、画像更新部８１２が、基本画像４１６の内容を更新する場合、画像変換部７５６は、例えば、撮像部６１２により撮像された映像中の基準マーカ１０４の形状と、基準マーカ１０４の基本形状とを比較して、両者が同一となる又は相似するように、基本画像４１６の形状を変換する。これにより、新たに表示端末１２２に表示されることになる画像２１６を生成する。

また、図５を用いて説明したように、画像更新部８１２が、現在、表示端末１２２に表示されている画像５１６の内容を更新する場合、画像変換部７５６は、例えば、撮像部６１２により撮像された映像中の基準マーカ１０４の形状と、画像５１６が生成されたときの基準マーカ１０４の形状とを比較して、両者が同一となる又は相似するように、画像５１６の形状を変換する。これにより、新たに表示端末１２２に表示されることになる画像２１６を生成する。

表示制御部７５８は、画像更新部８１２が更新した画像又は画像変換部７５６が変換した画像を、基準マーカ１０４に重畳させて、又は基準マーカ１０４にとともに、表示部６５２に表示させる。表示制御部７５８は、管理サーバ１１０から受信した画像情報に含まれる表示位置情報に基づいて、表示部６５２に画像を表示させてよい。

表示制御部７５８は、例えば、表示端末１２２が、ユーザ１２の頭部に装着される透過型デバイスである場合、校正部６３２の校正結果に基づいて、画像を表示させる位置を微調整してよい。表示制御部７５８は、６１２により実空間の像を撮像して得られた電子的な映像と、電子的な画像とを合成して得られた画像を表示部６５２に表示させてもよい。

本実施形態において、画像決定部７６２は、画像更新部８１２が更新した画像及び画像変換部７５６が変換した画像のうち、表示部６５２に表示させるべき画像を決定する。例えば、図４を用いて説明した例においては、画像２１６について、画像決定部７６２は、画像更新部８１２が内容を更新した基本画像４１６と、画像変換部７５６が変換した画像２１６とのうち、画像変換部７５６が変換した画像２１６を、表示部６５２に表示させるべき画像として決定する。画像決定部７６２は、１以上の画像のそれぞれについて、絶対位置表示により表示するか、相対位置表示により表示するかを決定してよい。

合成部７６４は、１以上の画像を合成して、表示部６５２に表示させる画面を生成する。例えば、合成部７６４は、画像決定部７６２により選択された画像を、基準マーカ１０４に重畳させて、又は基準マーカ１０４とともに、表示部６５２に表示させる。

合成部７６４は、例えば、画像決定部７６２が、特定の画像について、絶対位置表示により表示することを決定した場合、ユーザ１２及びユーザ１４から入力された情報に基づいて、当該特定の画像を表示させる位置を決定する。例えば、合成部７６４は、撮像部６１２により撮像された映像を解析して、上記の入力がなされた実空間上の位置と、基準マーカ１０４の実空間上の位置との関係に関する情報を取得する。合成部７６４は、上記の情報を入力部６１０から取得してもよい。

合成部７６４は、撮像部６１２により撮像された映像を解析して、基準マーカ１０４の形状の変化に関する情報を取得する。合成部７６４は、上記の情報を基準マーカ検出部６３６から取得してもよい。合成部７６４は、校正部６３２から、撮像部６１２により撮像された映像中の位置と、表示部６５２上の位置との関係に関する情報を取得する。

合成部７６４は、入力がなされた実空間上の位置と、基準マーカ１０４の実空間上の位置との関係を、撮像部６１２により撮像された映像中の位置及び表示部６５２上の位置の関係に関する情報、並びに、基準マーカ１０４の形状の変化に関する情報に基づいて、補正する。これにより、合成部７６４は、上記の特定の画像が、実空間上の特定の位置に固定されているように、表示部６５２に表示させる画面を生成することができる。

図８に示されるとおり、本実施形態において、端末情報受信部８１０は、ユーザ端末１１２から、更新情報を取得する。端末情報受信部８１０は、ユーザ端末１１２以外のクライアント端末からも、更新情報を取得してよい。また、端末情報受信部８１０は、ユーザ端末１１２から、基準マーカ１０４と、ユーザ端末１１２の表示部６５２との実空間上での位置関係に関する端末位置情報を取得してよい。端末情報受信部８１０は、ユーザ端末１１２以外のクライアント端末からも、端末位置情報を取得してよい。端末位置情報は、基準マーカ検出部６３６により検出された、基準マーカ１０４の形状であってよい。端末位置情報は、基準マーカ検出部６３６により検出された、基準マーカ１０４の形状及び大きさであってよい。

画像更新部８１２は、端末情報受信部８１０が受信した更新情報に基づいて、管理している画像を更新する。例えば、更新情報には、ジェスチャ検出部６１６から、ユーザ１２又は第三者のジェスチャに基づいて検出された、ユーザ１２又は第三者からの指示又は入力に関する情報が含まれる。また、更新情報は、マイク６１４から、ユーザ１２の音声に基づいて検出された、ユーザ１２からの指示又は入力に関する情報を含んでもよい。更新情報には、入力位置情報が含まれてもよい。

画像更新部８１２は、現在、表示部６５２に表示されている画像の内容を更新してもよく、現在、表示部６５２に表示されている画像の基本画像の内容を更新してもよい。画像更新部８１２は、複数の画像のそれぞれを更新してもよい。なお、画像を更新するとは、既に存在する画像の内容を更新する場合だけでなく、画像が存在しない場合に、新たに画像を作成する場合をも含む。

画像更新部８１２は、更新された画像を画像変換部７５６に送信してよい。画像更新部８１２は、更新された画像を表示制御部７５８に送信してもよい。画像更新部８１２は、更新された画像を共有制御部８１６に送信してもよい。

位置情報生成部８１４は、画像更新部８１２が更新した画像が表示される領域と、実空間上の基準マーカ１０４との位置関係を示す表示位置情報を生成する。位置情報生成部８１４は、更新情報に含まれる入力位置情報に基づいて、表示位置情報を生成してよい。位置情報生成部８１４は、生成された表示位置情報を画像情報送信部８１８に送信してよい。表示位置情報は、ユーザ１２が入力情報を描画することを意図している実空間上の位置に対応する、表示画面上の位置を示す情報であってよい。

例えば、入力位置情報が、実空間上において、基準マーカ１０４の左端部から左に１ｍかつ下方に５０ｃｍの位置から、基準マーカ１０４の左端部から左に２ｍかつ下方に１ｍの位置までの範囲を有する長方形の領域に、入力情報を描画すべきことを示している場合、位置情報生成部８１４は、更新された画像を、上記の実空間上の長方形の領域に相当する、表示部６５２上の領域に表示すべきことを示す情報を生成する。

共有制御部８１６は、ユーザ端末１１４などの他の端末との間で画像を共有するための処理を制御する。例えば、共有制御部８１６は、ユーザ端末１１２、ユーザ端末１１４などの複数のクライアント端末のそれぞれを認証する。共有制御部８１６は、複数の画像の共有に関する設定を管理してよい。共有制御部８１６は、複数の画像のそれぞれについて、共有を許可された端末又は共有を禁止された端末を識別する端末識別情報（端末ＩＤと称する場合がある。）を対応付けて格納してよい。

画像情報送信部８１８は、複数のクライアント端末のそれぞれに表示させるべき画像に関する画像情報を、複数のクライアント端末のそれぞれに送信する。画像情報は、画像更新部８１２が更新した画像と、当該画像に対応付けられた表示位置情報とを含んでよい。

例えば、画像情報送信部８１８は、画像更新部８１２が更新した画像と、位置情報生成部８１４が生成した表示位置情報とが対応付けられた画像情報を、少なくともユーザ端末１１２に送信する。画像情報送信部８１８は、画像情報を、ユーザ端末１１２以外の他のクライアント端末に送信してもよい。これにより、ユーザ１２は、他の端末のユーザと画像を共有することができる。

画像情報送信部８１８は、共有制御部８１６の制御に従って、画像情報を送信してよい。一実施形態において、画像情報送信部８１８は、共有制御部８１６により認証されているクライアント端末に対して、画像情報を送信する。他の実施形態において、画像情報送信部８１８は、複数の画像のうち、共有制御部８１６により、特定のクライアント端末に対して送信することを許可された画像を、当該クライアント端末に送信する。

図９に示すとおり、本実施形態において、端末認証部９６２は、ユーザ端末１１２、ユーザ端末１１４などの１以上の端末のそれぞれを認証する。認証方法は、特に限定されない。送信制御部９６４は、単一又は複数の画像（１以上の画像と称する場合がある。）のそれぞれについて、１以上の端末のそれぞれへの送信を制御する。送信制御部９６４は、制御情報格納部９６６に格納された情報を参照して、１以上の画像のそれぞれについて、他の端末への送信の可否を決定してよい。

制御情報格納部９６６は、１以上の画像のそれぞれを識別する画像識別情報（画像ＩＤと称する場合がある。）と、画像識別情報により識別される画像の送信の可否に関する情報とが対応付けられた送信制御情報を格納する。画像の送信の可否に関する情報は、当該画像の送信を許可される端末の端末識別情報であってもよく、当該画像の送信を禁止される端末の端末識別情報であってもよい。これにより、共有する画像を管理することができる。

本実施形態において、画像変換部７５６が通信端末１２４に配される場合について説明した。しかし、画像変換部７５６は本実施形態に限定されない。他の実施形態において、画像変換部７５６は、管理サーバ１１０に配されて、同様の処理を実施してよい。

この場合、管理サーバ１１０に配された画像変換部７５６は、例えば、ユーザ端末１１２から、表示端末１２２の表示部６５２と、基準マーカ１０４との位置関係に関する情報を取得する。画像変換部７５６は、取得した位置関係に関する情報に基づいて、画像更新部８１２が更新した画像を変換する。画像情報送信部８１８は、管理サーバ１１０に配された画像変換部７５６が変換した画像を含む画像情報を、ユーザ端末１１２に送信する。

図１０は、データテーブル１０００の一例を概略的に示す。データテーブル１０００は、制御情報格納部９６６に格納される情報の一例であってよい。データテーブル１０００は、送信制御情報の一例であってもよい。

本実施形態において、データテーブル１０００は、画像ＩＤ１００２と、画像の表示位置１００４と、画像の大きさ１００６と、画像の送信を許可された端末の端末ＩＤ１００８とを対応づけて格納する。画像の表示位置１００４は、基準マーカ１０４の位置を基準とした実空間上の位置であってもよく、表示部６５２上の特定の点又は特定の領域を基準とした表示部６５２上の位置であってもよい。画像の大きさ１００６は、実空間上の大きさであってもよく、表示部６５２上の特定の領域を基準とした大きさであってもよい。画像の大きさ１００６は、基準マーカ１０４の大きさに基づいて推測された大きさであってもよい。画像の大きさ１００６は、撮像部６１２により撮像された映像を用いて推測されてよい。

図１１は、ユーザ１２が、表示端末１２２を通して視認する映像１１００の一例を概略的に示す。図２においては、表示端末１２２が透過型ディスプレイを有する場合に、ユーザ１２が、表示端末１２２を通して視認する映像２００の一例について説明した。一方、本実施形態に係る映像１１００は、例えば、通常の液晶ディスプレイ上に表示される。

本実施形態によれば、ウィンドウ２１０において、画像２１６が、撮像部６１２により撮像された実空間の像の映像中の特定の位置に重畳するように表示される。また、ウィンドウ２１０は、表示部６５２上において全画面表示されておらず、画面の一部の領域に表示されている。本実施形態によれば、ウィンドウ２２０及びウィンドウ２３０は、ウィンドウ２１０に重畳しないように表示されている。なお、ウィンドウ２１０、ウィンドウ２２０及びウィンドウ２３０は、表示部６５２上で自由に移動させることができる。映像１１００には、その他のウィンドウ１１２０が表示されてもよい。ウィンドウ１１２０は、ウィンドウ２２０などと同様に、コマンド表示部１１２２を有してよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。また、技術的に矛盾しない範囲において、特定の実施形態について説明した事項を、他の実施形態に適用することができる。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０ 通信回線、１２ ユーザ、１４ ユーザ、２８ 手、３８ 手、１００ 表示システム、１０２ ホワイトボード、１０４ 基準マーカ、１１０ 管理サーバ、１１２ ユーザ端末、１１４ ユーザ端末、１２２ 表示端末、１２４ 通信端末、１４２ 表示端末、１４４ 通信端末、２００ 映像、２１０ ウィンドウ、２１２ コマンド表示部、２１４ アイコン、２１６ 画像、２２０ ウィンドウ、２２２ コマンド表示部、２２４ アイコン、２２６ 画像、２３０ ウィンドウ、２３２ コマンド表示部、２３４ アイコン、２３６ スプレッドシート、３００ 映像、３１０ ウィンドウ、３１２ コマンド表示部、３１４ アイコン、３１６ 画像、４１６ 基本画像、４３６ データ、５１６ 画像、６１０ 入力部、６１２ 撮像部、６１４ マイク、６１６ ジェスチャ検出部、６１８ サーバ情報受信部、６３２ 校正部、６３６ 基準マーカ検出部、６５０ 画面生成部、６５２ 表示部、６６０ 更新情報生成部、６７２ 通信制御部、６７４ 通信制御部、７５６ 画像変換部、７５８ 表示制御部、７６２ 画像決定部、７６４ 合成部、８１０ 端末情報受信部、８１２ 画像更新部、８１４ 位置情報生成部、８１６ 共有制御部、８１８ 画像情報送信部、９６２ 端末認証部、９６４ 送信制御部、９６６ 制御情報格納部、１０００ データテーブル、１００２ 画像ＩＤ、１００４ 表示位置、１００６ 大きさ、１００８ 端末ＩＤ、１１００ 映像、１１２０ ウィンドウ、１１２２ コマンド表示部

Claims (8)

1. 複数のクライアント端末に表示させる画像を生成する画像生成サーバを備え、
   前記複数のクライアント端末のそれぞれは、
   実空間の像に重畳させて、画像を表示する表示部と、
   前記表示部において実空間の像及び前記画像の少なくとも一方に重畳させて描画される入力情報を入力する入力部と、
   前記入力情報が描画される領域と、実空間上の基準領域との位置関係を示す入力位置情報を取得する入力位置取得部と、
   を有し、
   前記画像生成サーバは、
   前記複数のクライアント端末の少なくとも１つから、前記入力情報と、前記入力情報に対応付けられた前記入力位置情報とを含む、更新情報を取得する更新情報取得部と、
   前記更新情報に含まれる前記入力情報に基づいて、前記画像を更新する画像更新部と、
   前記更新情報に含まれる前記入力位置情報に基づいて、前記画像更新部が更新した画像が表示される領域と、実空間上の前記基準領域との位置関係を示す表示位置情報を生成する位置情報生成部と、
   前記複数のクライアント端末のそれぞれに表示させるべき画像に関する画像情報を、前記複数のクライアント端末のそれぞれに送信する画像情報送信部と、
   を有し、
   前記画像情報は、前記画像更新部が更新した画像と、前記画像更新部が更新した画像に対応付けられた前記表示位置情報とを含む、
   表示システム。
2. 前記複数のクライアント端末のそれぞれは、
   実空間上の前記基準領域と、前記複数のクライアント端末のそれぞれの前記表示部との位置関係に基づいて、前記画像情報に含まれる前記画像更新部が更新した画像を変換する画像変換部と、
   前記画像情報に含まれる前記表示位置情報に基づいて、前記画像変換部が変換した画像を、実空間上の前記基準領域に重畳させて、又は前記基準領域とともに、前記表示部に表示させる表示制御部と、
   をさら有する、
   請求項１に記載の表示システム。
3. 複数のクライアント端末に表示させる画像を生成する画像生成サーバを備え、
   前記複数のクライアント端末のそれぞれは、
   実空間の像に重畳させて、画像を表示する表示部と、
   前記表示部において実空間の像及び前記画像の少なくとも一方に重畳させて描画される入力情報を入力する入力部と、
   前記入力情報が描画される領域と、実空間上の基準領域との位置関係を示す入力位置情報を取得する入力位置取得部と、
   を有し、
   前記画像生成サーバは、
   前記複数のクライアント端末の少なくとも１つから、前記入力情報と、前記入力情報に対応付けられた前記入力位置情報とを含む、更新情報を取得する更新情報取得部と、
   前記更新情報に含まれる前記入力情報に基づいて、前記画像を更新する画像更新部と、
   前記複数のクライアント端末のそれぞれに表示させるべき画像に関する画像情報を、前記複数のクライアント端末のそれぞれに送信する画像情報送信部と、
   前記複数のクライアント端末の少なくとも１つから、実空間上の前記基準領域、及び、前記複数のクライアント端末の少なくとも１つの前記表示部の位置関係に関する、端末位置情報を取得する端末位置取得部と、
   前記端末位置情報に基づいて、前記画像更新部が更新した画像を変換する画像変換部と、
   前記更新情報に含まれる前記入力位置情報に基づいて、前記画像変換部が変換した画像が表示される領域と、実空間上の前記基準領域との位置関係を示す、表示位置情報を生成する位置情報生成部と、
   を有し、
   前記画像情報送信部は、前記画像変換部が変換した画像と、前記画像変換部が変換した画像に対応付けられた前記表示位置情報とを含む、前記画像情報を、前記端末位置情報が取得されたクライアント端末に送信する、
   表示システム。
4. 前記画像生成サーバは、前記画像更新部が更新した画像及び前記画像変換部が変換した画像の一方を、前記複数のクライアント端末のそれぞれに表示させるべき画像として決定する画像決定部をさらに備える、
   請求項３に記載の表示システム。
5. 前記画像更新部は、複数の画像を更新し、
   前記画像生成サーバは、
   前記複数の画像のそれぞれを識別する画像識別情報と、前記画像識別情報により識別される画像の送信の可否に関する情報とが対応付けられた送信制御情報を格納する制御情報格納部と、
   前記送信制御情報を参照して、前記複数の画像のそれぞれについて、少なくとも１つのクライアント端末への送信の可否を決定する送信制御部と、
   をさらに備え、
   前記画像情報送信部は、前記複数の画像のうち、前記送信制御部により送信を許可された画像に関する前記画像情報を、前記少なくとも１つのクライアント端末に送信する、
   請求項１から請求項４までの何れか一項に記載の表示システム。
6. 前記画像生成サーバは、
   前記複数のクライアント端末の少なくとも１つを認証する認証部をさらに備え、
   前記画像情報送信部は、前記認証部により認証されたクライアント端末に対して、前記画像情報を送信する、
   請求項１から請求項５までの何れか一項に記載の表示システム。
7. 前記複数のクライアント端末をさらに備える、
   請求項１から請求項６までの何れか一項に記載の表示システム。
8. コンピュータを、請求項１から請求項７までの何れか一項に記載の表示システムとして機能させるためのプログラム。