JP6742871B2 - 情報処理システム、装置、情報処理方法、コンピュータプログラム、及び記憶媒体 - Google Patents

Description

本発明は、透過型ディスプレイ及び表示装置を用いた画像表示技術に関する。

透過型ディスプレイを搭載したメガネ型ディスプレイとスマートフォン等の情報処理装置とを組み合わせた画像表示システムがある。メガネ型ディスプレイには、地図ソフト等のアプリケーションの実行画面や写真等の画像が表示される。情報処理装置がメガネ型ディスプレイに画像を表示させる場合、メガネ型ディスプレイの意図した位置に画像を表示させることが重要である。メガネ型ディスプレイは、その形状から入力装置の配置場所が限られる。例えば、入力装置は、メガネの縁にタッチパネルとして設けられる。このようなタッチパネルは、大きさが限られるために操作しづらい。そのために、ユーザが画像の表示位置を指定することが困難である。特許文献１は、タッチパッドを入力装置に用いたメガネ型ディスプレイを開示する。特許文献２は、メガネ型ディスプレイ又は携帯端末への操作により、メガネ型ディスプレイの表示領域を固定する発明を開示する。

特開２０１２−１６４０３３号公報 特開２０１１−１８６８５６号公報

ディスプレイを備える情報処理装置と透過型ディスプレイを備えるメガネ型ディスプレイとを組みあわせた画像表示システムでは、一方のディスプレイから他方のディスプレイに画像を移動させる場合がある。例えば、情報処理装置のディスプレイに表示されるオブジェクトをメガネ型ディスプレイに移動させて表示する。この場合、移動したオブジェクトをメガネ型ディスプレイのユーザが意図した位置に意図したサイズで表示させる必要がある。

特許文献１のようにタッチパッドを入力装置に用いたメガネ型ディスプレイの場合、タッチパッドによりオブジェクトの表示位置の位置合わせを行う手間が発生する。特許文献２では、メガネ型ディスプレイの表示領域と情報処理装置の表示領域とが重畳した範囲をオブジェクトの表示が可能な領域に設定する。しかしながら、メガネ型ディスプレイの視野内のオブジェクトの表示位置及び表示サイズの指定についてはなんら開示されていない。このように、情報処理装置とメガネ型ディスプレイとの間でオブジェクト等の画像を移動させる場合、画像の表示位置及び表示サイズを簡単に指定することは困難である。

本発明は、上記課題に鑑みてなされたものであり、ディスプレイ間の画像の移動を簡単な操作で行う情報処理システムを提供することを目的とする。

本発明の情報処理システムは、相互に通信可能な第１装置及び第２装置を有し、前記第１装置は、画像を表示する第１表示手段と、前記第１表示手段の表示画面上で指示されたタッチ位置を検知するタッチ位置検知手段と、前記タッチ位置検知手段で検知した前記タッチ位置に表示される画像を前記第２装置に移動させる第１画像に特定して、前記第２装置に移動通知を送信する第１制御手段と、を備え、前記第２装置は、透過型ディスプレイを有する第２表示手段と、前記第２表示手段の視野を撮像範囲として、前記第２表示手段に表示される画像を含んで撮像する撮像手段と、前記撮像手段で撮像した撮像画像に前記第１表示手段が含まれ且つ前記第１装置から前記移動通知があるときに、前記第１装置から前記第１画像を取得し、前記撮像画像の前記第１画像が表示される位置及びサイズに応じた位置及びサイズで、前記第２表示手段に前記第１画像を表示させる第２制御手段と、を備えることを特徴とする。

本発明によれば、撮像画像に基づいて移動する画像を特定し、該画像の位置及びサイズを決定することが可能である。ユーザは、第１装置を撮像範囲に移動させ、第１装置が表示する画像を指示するという簡単な操作で、容易に該画像を移動させることができる。

情報処理システムのハードウェア構成図。 情報処理システムの機能ブロック図。 第１装置によるオブジェクト移動に関する処理を表すフローチャート。 第２装置によるオブジェクト移動に関する処理を表すフローチャート。 第２装置から第１装置へオブジェクトを移動させる場合の具体例の説明図。 第２装置から第１装置へオブジェクトを移動させる場合の具体例の説明図。 第２装置から第１装置へオブジェクトを移動させる場合の具体例の説明図。 第２装置から第１装置へオブジェクトを移動させる場合の具体例の説明図。 第２装置から第１装置へオブジェクトを移動させる場合の具体例の説明図。 第２装置から第１装置へオブジェクトを移動させる場合の具体例の説明図。 第２装置から第１装置へオブジェクトを移動させる場合の具体例の説明図。 第２装置から第１装置へオブジェクトを移動させる場合の具体例の説明図。 第１装置から第２装置へオブジェクトを移動させる場合の具体例の説明図。 第１装置から第２装置へオブジェクトを移動させる場合の具体例の説明図。 第１装置から第２装置へオブジェクトを移動させる場合の具体例の説明図。 第１装置から第２装置へオブジェクトを移動させる場合の具体例の説明図。

以下、実施の形態を図面を参照しつつ詳細に説明する。

（構成）
図１は、本実施形態の情報処理システムのハードウェア構成図である。情報処理システム１００は、第１装置１０１及び第２装置１０２を備える。第１装置１０１及び第２装置１０２は、通信路１０３を介して相互に通信可能に接続される。通信路１０３は、無線ＬＡＮ（Local Area Network）や近距離無線通信（例えば、ブルートゥース（登録商標））等の無線通信により実現される。第１装置１０１は、例えばスマートフォン等のディスプレイを備える情報処理装置である。第２装置１０２は、例えば透過型ディスプレイを搭載した装置である。本実施形態では第２装置１２０をメガネ型ディスプレイとして説明するが、透過型ディスプレイを搭載した装置であればこれに限られない。

第１装置１０１は、ＣＰＵ（Central Processing Unit）１０４、ＲＯＭ（Read Only Memory）１０７、及びＲＡＭ（Random Access Memory）１０８により動作が制御されるコンピュータである。ＣＰＵ１０４は、ＲＯＭ１０７に格納されるコンピュータプログラムを読み出し、ＲＡＭ１０８を作業領域に用いて実行することで第１装置１０１の動作を制御する。ＲＯＭ１０７は、第１装置１０１のＯＳ（Operation System）やアプリケーションのコンピュータプログラムを格納する。

第１装置１０１は、第１表示デバイス１０５、入出力Ｉ／Ｆ（インタフェース）１０６、及び通信Ｉ／Ｆ（インタフェース）１０９を備える。ＣＰＵ１０４、第１表示デバイス１０５、入出力Ｉ／Ｆ１０６、ＲＯＭ１０７、ＲＡＭ１０８、及び通信Ｉ／Ｆ１０９は、バスにより相互に通信可能に接続される。

第１表示デバイス１０５は、液晶ディスプレイやＬＥＤ（Light Emitting Diode）表示装置等のディスプレイと、入力装置であるタッチパッドと、が組み合わされたタッチパネルである。タッチパッドは、例えばユーザが指やスタイラスペン等の指示体でタッチすることで指示する第１表示デバイス１０５の表示画面上のタッチ位置を検知するタッチ位置検知デバイスである。タッチパッドにより、ユーザによるディスプレイの表示画面上のタッチ位置が検知される。第１表示デバイス１０５は、例えば第１装置１０１の本体に一体に構成される。第１表示デバイス１０５のディスプレイに表示されるオブジェクト等の画像へのタッチイベントは、ＣＰＵ１０４に入力される。

入出力Ｉ／Ｆ１０６は、メモリカードやハードディスク等の外部記憶装置とのインタフェース制御を行う。ＣＰＵ１０４は、入出力Ｉ／Ｆ１０６を介して外部記憶装置にデータの書き込み、及び外部記憶装置からのデータの読み出しを行う。なお、ＯＳやアプリケ−ションのコンピュータプログラムは、外部記憶装置に格納されていてもよい。この場合、ＣＰＵ１０４は、外部記憶装置からコンピュータプログラムを読み出して実行することになる。通信Ｉ／Ｆ１０９は、通信路１０３を介した他の装置（ここでは第２装置１０２）との間の通信制御を行う。

第２装置１０２は、ＣＰＵ１１１、ＲＯＭ１１５、及びＲＡＭ１１６により動作が制御されるコンピュータである。ＣＰＵ１１１は、ＲＯＭ１１５に格納されるコンピュータプログラムを読み出し、ＲＡＭ１１６を作業領域に用いて実行することで第２装置１０２の動作を制御する。ＲＯＭ１１５は、第２装置１０２のＯＳ（Operation System）やアプリケーションのコンピュータプログラムを格納する。

第２装置１０２は、第２表示デバイス１１２、入出力Ｉ／Ｆ（インタフェース）１１３、カメラ１１４、及び通信Ｉ／Ｆ（インタフェース）１１７を備える。ＣＰＵ１１１、第２表示デバイス１１２、入出力Ｉ／Ｆ１１３、カメラ１１４、ＲＯＭ１１５、ＲＡＭ１１６、及び通信Ｉ／Ｆ１１７は、バスにより相互に通信可能に接続される。

第２表示デバイス１１２は透過型ディスプレイであり、表示したオブジェクト等の画像の奥に現実の空間が透けて見える構成である。したがって、第２表示デバイス１１２に表示された画像は現実空間の物体に重畳表示される。またユーザは、第２表示デバイス１１２及び第１表示デバイス１０５にそれぞれ画像を表示することで、各ディスプレイの画像が重畳された画像を視認することができる。第２表示デバイス１１２に用いられる透過型ディスプレイには、液晶ディスプレイ方式や眼球への直接投影方式等を用いることができる。

カメラ１１４は、第２表示デバイス１１２を通して見える視野範囲を撮像範囲として撮像する光学特性を持つ撮像装置である。第２装置１０２は、メガネ型であるために使用時にユーザの頭部に装着される。ユーザが第２装置１０２を頭部に装着した状態で第２表示デバイス１１２を通して見ることができる範囲が視野範囲（撮像範囲）となる。

入出力Ｉ／Ｆ１１３は、メモリカードやハードディスク等の外部記憶装置とのインタフェース制御を行う。ＣＰＵ１１１は、入出力Ｉ／Ｆ１１３を介して外部記憶装置にデータの書き込み、及び外部記憶装置からのデータの読み出しを行う。なお、ＯＳやアプリケ−ションのコンピュータプログラムは、外部記憶装置に格納されていてもよい。この場合、ＣＰＵ１１１は、外部記憶装置からコンピュータプログラムを読み出して実行することになる。通信Ｉ／Ｆ１１７は、通信路１０３を介した他の装置（ここでは第１装置１０１）との間の通信制御を行う。

図２は、このような構成の情報処理システム１００の機能ブロック図である。この機能ブロック図は、第１装置１０１と第２装置１０２との間でアプリケーションの実行画面やオブジェクト等の画像を移動させるための機能を表す。本実施形態では、第１装置１０１と第２装置１０２とでオブジェクトを移動させる場合について説明する。

第１装置１０１は、ＣＰＵ１０４がコンピュータプログラムを実行することで、オブジェクト状態判定部２０１、描画部２０２、第１制御部２０３、及び通信部２０４として機能する。

オブジェクト状態判定部２０１は、移動対象となるオブジェクトの状態を判定する。描画部２０２は、第１表示デバイス１０５へのオブジェクトの描画を行う。第１表示デバイス１０５は、描画部２０２によりオブジェクトが表示されることになる。第１制御部２０３は、第１装置１０１によるオブジェクトの表示、移動等に関する各種の判断等の処理を実行することで、第１装置１０１の動作を制御する。第１制御部２０３により、オブジェクトの移動処理や、オブジェクトの表示位置、表示サイズ等の決定処理が行われる。通信部２０４は、通信Ｉ／Ｆ１０９を用いて、通信路１０３を介した第２装置１０２との間の通信制御を行う。通信部２０４は、例えば第２装置１０２との間でオブジェクトの移動に関する各種の情報、データの交換を行う。

第２装置１０２は、ＣＰＵ１１１がコンピュータプログラムを実行することで、撮像部２１１、識別部２１２、オブジェクト状態判定部２１３、描画部２１４、第２制御部２１５、及び通信部２１６として機能する。

撮像部２１１は、カメラ１１４の動作を制御して、カメラ１１４が撮像した撮像画像を取得する。識別部２１２は、撮像部２１１が取得した撮像画像に第１装置１０１が含まれるか否かの判定を行う。撮像部２１１は、識別部２１２が判定を行う際にカメラ１１４に撮像させる。

オブジェクト状態判定部２１３は、移動対象となるオブジェクトの状態及び撮像部２１１で取得した撮像画像に含まれるオブジェクトの状態を判定する。描画部２１４は、第２表示デバイス１１２へのオブジェクトの描画を行う。第２表示デバイス１１２は、描画部２１４によりオブジェクトが表示されることになる。第２制御部２１５は、第２装置１０２によるオブジェクトの表示、移動等に関する各種の判断等の処理を実行することで、第２装置１０２の動作を制御する。第２制御部２１５により、オブジェクトの移動処理や、オブジェクトの表示位置、表示サイズ等の決定が行われる。通信部２１６は、通信Ｉ／Ｆ１１７を用いて、通信路１０３を介した第１装置１０１との間の通信制御を行う。通信部２１６は、例えば第１装置１０１との間でオブジェクトの移動に関する各種の情報、データの交換を行う。

（運用形態）
このような構成の情報処理システム１００により、第１装置１０１と第２装置１０２との間でオブジェクトを移動させる際の処理について説明する。第１装置１０１と第２装置１０２とが協働してこの処理を行う。この処理の開始時に第１装置１０１と第２装置１０２とは通信路１０３により通信可能に接続され、第１制御部２０３と第２制御部２１５との間のペアリング処理が完了している。

図３は、第１装置１０１によるオブジェクト移動に関する処理を表すフローチャートである。

第１装置１０１の第１制御部２０３は、第２装置１０２からのオブジェクトの移動通知判定を行う（Ｓ３０１）。第１制御部２０３は、例えば第２装置１０２から通信部２０４を介してオブジェクトの移動通知を取得したか否かにより、オブジェクトの移動通知判定を行う。移動通知は、例えば第２装置１０２が後述する判定オブジェクトプロパティ送信により送信するプロパティ情報であってもよい。プロパティ情報は、オブジェクトを第１装置１０１の第１表示デバイス１０５に表示する際の表示位置、表示サイズ、属性等を表す。プロパティ情報を取得した場合、つまり第２装置１０２からのオブジェクトの移動通知がある場合（Ｓ３０１：Y）、第１制御部２０３は、第２装置１０２から第１装置１０１へのオブジェクト移動のための処理を行う。プロパティ情報を取得していない場合、つまり第２装置１０２からのオブジェクトの移動通知がない場合（Ｓ３０１：N）、第１制御部２０３は、第１装置１０１から第２装置１０２へのオブジェクトの移動のための処理を行う。

・第２装置１０２から第１装置１０１へのオブジェクトの移動
第２装置１０２からのオブジェクトの移動通知がある場合、第１制御部２０３は、通信部２０４を介して第２装置１０２から移動対象となるオブジェクトのプロパティ情報を取得する（Ｓ３０２）。なお、Ｓ３０１の処理においてプロパティ情報の取得により移動通知の取得を判定する場合、第１制御部２０３は、Ｓ３０２の処理で改めてプロパティ情報を取得する必要はない。第１制御部２０３は、描画部２０２により、取得したプロパティ情報に基づくオブジェクトの表示位置に、プロパティ情報を表示する（Ｓ３０３）。オブジェクトを通信路１０３を介して取得するために、オブジェクトの実体の取得には遅延が発生する。そのために第１装置１０１は、ユーザの操作感を損なわないように、伝送時間が比較的短いプロパティ情報を事前に第１表示デバイス１０５に表示する。

第１制御部２０３は、プロパティ情報の取得に引き続いて、通信部２０４を介して第２装置１０２からオブジェクトの実体を取得する。第１制御部２０３は、取得したオブジェクトをプロパティ情報に基づいて、描画部２０２により第１表示デバイス１０５に表示する（Ｓ３０４）。第１制御部２０３は、オブジェクト状態判定部２０１が通信部を介して第２装置１０２から遺失通知を受信したか否かを判定する（Ｓ３０５）。遺失通知は、第２装置１０２に表示され且つ第１装置１０１と重畳状態にあると判定されたオブジェクトが、重畳状態から外れたことを表す通知である。遺失通知を受信していない場合（Ｓ３０５：N）、第１制御部２０３は、オブジェクト状態判定部２０１により、ユーザが第１表示デバイス１０５に表示されたオブジェクトをタッチしたかを判定する（Ｓ３０６）。オブジェクト状態判定部２０１は、第１表示デバイス１０５のタッチパッドへのユーザのタッチ位置と、オブジェクトの表示位置とから、該オブジェクトへのタッチ状態を判定する。

遺失通知を受信した場合（Ｓ３０５：N）、第１制御部２０３は、描画部２０２によるプロパティ情報及びオブジェクトの表示を停止する（Ｓ３０７）。また、遺失通知を受信していない場合であっても、所定時間の間にユーザがオブジェクトをタッチしない場合（Ｓ３０６：N）、第１制御部２０３は、描画部２０２によるプロパティ情報及びオブジェクトの表示を停止する（Ｓ３０７）。オブジェクトの表示を停止した第１制御部２０３は、Ｓ３０１の処理に戻り、第２装置１０２からの次のオブジェクトの移動通知判定を行う。

遺失通知を受信せず、且つ所定時間の間にユーザがオブジェクトをタッチした場合（Ｓ３０６：Y）、第１制御部２０３は、通信部２０４を介して、第２装置１０２にオブジェクトがタッチ状態にあることを通知する（Ｓ３０８）。

ユーザは、オブジェクトをタッチしたまま第１装置１０１を第２装置１０２の第２表示デバイス１１２の視野外に移動させた後に、オブジェクトのタッチを解除する。第１制御部２０３は、オブジェクト状態判定部２０１によりユーザによるオブジェクトのタッチ解除を判定する（Ｓ３０９）。第１制御部２０３は、オブジェクトのタッチ状態が解除されたことを検知すると、通信部２０４を介して第２装置１０２にタッチ状態の解除を通知する（Ｓ３１０）。タッチ状態が解除された通知を受信した第２装置１０２は、後述の処理によりオブジェクトの移譲通知又は移譲不可通知を第１装置１０１へ送信する。

第１制御部２０３は、通信部２０４を介して第２装置１０２からオブジェクトの移譲通知又は移譲不可通知を受信する。第１制御部２０３は、オブジェクト状態判定部２０１により、第２装置１０２から受信した通知がオブジェクトの移譲通知及び移譲不可通知のいずれであるかを判定する（Ｓ３１１）。移譲通知を受信した場合（Ｓ３１１：Y）、第１制御部２０３は、ＲＡＭ１０８又は外部記憶装置に、第２装置１０２から取得したオブジェクトをインストールする（Ｓ３１２）。移譲不可通知を受信した場合（Ｓ３１１：N）、第１制御部２０３は、取得したオブジェクトをインストールせずに、そのまま処理を終了する。以上により第２装置１０２から第１装置１０１へのオブジェクトの移動処理が終了する。

・第１装置１０１から第２装置１０２へのオブジェクトの移動
第２装置１０２からのオブジェクトの移動通知がない場合、第１制御部２０３は、オブジェクト状態判定部２０１により、既に第１表示デバイス１０５に表示されているオブジェクトのタッチ状態を判定する（Ｓ３２０）。オブジェクト状態判定部２０１は、表示中のオブジェクトの表示位置と、第１表示デバイス１０５のタッチパッドが検知したタッチ位置とから、オブジェクトのタッチ状態を判定する。タッチされているオブジェクトがない場合（Ｓ３２０：N）、第１制御部２０３は、Ｓ３０１の処理に戻り、第２装置１０２からの次のオブジェクトの移動通知判定を行う。

タッチされているオブジェクトがある場合（Ｓ３２０：Y）、第１制御部２０３は、当該オブジェクトのプロパティ情報を通信部２０４を介して第２装置１０２へ通知する（Ｓ３２１）。プロパティ情報の通知後に第１制御部２０３は、当該オブジェクトの実体を通信部２０４を介して第２装置１０２へ送信する（Ｓ３２２）。

第１制御部２０３は、オブジェクト状態判定部２０１により、ユーザによるオブジェクトのタッチ解除を判定する（Ｓ３２３）。オブジェクトのタッチ状態が解除されない場合（Ｓ３２３：N）、第１制御部２０３は、Ｓ３２１の処理に戻り、プロパティ情報を送信する。これは、プロパティ情報の更新を第２装置１０２に通知するための処理である。オブジェクトのタッチ状態が解除されたことを検知した場合（Ｓ３２３：Y）、第１制御部２０３は、通信部２０４を介して第２装置１０２にタッチ状態の解除を通知する（Ｓ３２４）。タッチ状態が解除された通知を受信した第２装置１０２は、後述の処理によりオブジェクトの移動済み通知を第１装置１０１へ送信する。

タッチ状態の解除を通知した後に、第１制御部２０３は、第２装置１０２からのオブジェクトの移動済み通知の受信を待機する。第２装置１０２から移動済み通知を受信した場合（Ｓ３２５：Y）、第１制御部２０３は、当該オブジェクトをアンインストールする（Ｓ３２６）。移動済み通知は、第２装置１０２へのオブジェクトの移動が正常に終了したことを表す。そのために第１制御部２０３は、移動済みのオブジェクトをアンストールして第１表示デバイス１０５から当該オブジェクトを消去する。

一定時間経過しても移動済み通知を受信しない場合（Ｓ３２５：N）、第１制御部２０３は、オブジェクトのアンインストールを行わずに、そのまま処理を終了する。移動済み通知を受信しない場合、第２装置１０２へのオブジェクトの移動が正常に終了していないことを表す。オブジェクトの移動が正常に終了しない場合とは、例えば、Ｓ３２１〜Ｓ３２３の処理において、ユーザがオブジェクトのタッチ状態を解除するタイミングがオブジェクトの実体の送信完了よりも早い場合である。そのために第１制御部２０３は、オブジェクトの表示をそのままにして処理を終了する。以上により第１装置１０１から第２装置１０２へのオブジェクトの移動処理が終了する。

図４は、第２装置１０２によるオブジェクト移動に関する処理を表すフローチャートである。

第２装置１０２の第２制御部２１５は、第１装置１０１からのオブジェクトの移動通知判定を行う（Ｓ４０１）。第２制御部２１５は、例えば第１装置１０１から通信部２１６を介してオブジェクトの移動通知を取得したか否かにより、オブジェクトの移動通知判定を行う。移動通知は、例えば第１装置１０１がＳ３２１の処理（図３参照）により送信するプロパティ情報であってもよい。プロパティ情報は、オブジェクトの種別、サムネイル画像、及びオブジェクトの状態等を含む。プロパティ情報を取得した場合、第２制御部２１５は、第１装置１０１からのオブジェクトの移動通知があると判定する。また、第２制御部２１５は、第１装置１０１の第１表示デバイス１０５が第２表示デバイス１１２の視野内にあるかを、識別部２１２により、撮像部２１１がカメラ１１４から取得した撮像画像に基づいて判定する（Ｓ４０２）。識別部２１２は、撮像画像に第１装置１０１の第１表示デバイス１０５が写り込んでいる場合に、第１表示デバイス１０５が第２表示デバイス１１２の視野内にあると判定する。第１表示デバイス１０５が第２表示デバイス１１２の視野内にある場合を「重畳状態」にあるという。

第１装置１０１からのオブジェクトの移動通知判定及び第１装置１０１の第１表示デバイス１０５が第２表示デバイス１１２の視野内にあるか否かにより、第２制御部２１５は、オブジェクトの移動を判定する。移動通知があり且つ第１表示デバイス１０５が重畳状態にある場合（Ｓ４０２：重畳且つ移動）、第２制御部２１５は、第１装置１０１から第２装置１０２へのオブジェクトの移動のための処理を行う。移動通知がなく且つ第１表示デバイス１０５が重畳状態にある場合（Ｓ４０２：重畳のみ）、第２制御部２１５は、第２装置１０２から第１装置１０１へのオブジェクトの移動のための処理を行う。移動通知がなく且つ第１表示デバイス１０５が重畳状態にない場合、第２制御部２１５は、オブジェクトの移動を行わずに処理を終了する。

・第１装置１０１から第２装置１０２へのオブジェクトの移動
移動通知があり且つ第１表示デバイス１０５が重畳状態にある場合、第２制御部２１５は、通信部２１６を介して第１装置１０１から移動対象となるオブジェクトのプロパティ情報を取得する（Ｓ４１０）。なお、Ｓ４０１の処理においてプロパティ情報の取得により移動通知の取得を判定する場合、第２制御部２１５は、Ｓ４１０の処理で改めてプロパティ情報を取得する必要はない。第２制御部２１５は、プロパティ情報の取得に応じて、描画部２１４により、第２表示デバイス１１２にオブジェクトが移動中であることを表す効果画像を表示する（Ｓ４１１）。

第２制御部２１５は、プロパティ情報の取得に引き続いて、通信部２１６を介してＳ３２２の処理（図３参照）で送信される第１装置１０１からオブジェクトの実体を取得する（Ｓ４１２）。第２制御部２１５は、通信部２１６を介して第１装置１０１からＳ３２４の処理（図３参照）で通知されるタッチ状態の解除通知を受信することで、タッチ解除を判定する（Ｓ４１３）。なお、第２制御部２１５は、オブジェクトの取得後にタッチ状態の解除通知の受信まで待機する。タッチ状態の解除通知を受信した第２制御部２１５は、再度、第１装置の第１表示デバイス１０５が重畳状態にあるかを、識別部２１２により、撮像部２１１がカメラ１１４から取得した撮像画像に基づいて判定する（Ｓ４１４）。第１装置の第１表示デバイス１０５が第２表示デバイス１１２の視野内にない、すなわち重畳状態にない場合（Ｓ４１４：N）、第２制御部２１５は、オブジェクトの移動を中止して処理を終了する。

第１装置の第１表示デバイス１０５が第２表示デバイス１１２の視野内にある、すなわち重畳状態にある場合（Ｓ４１４：Y）、第２制御部２１５は、通信部２１６を介して第１装置１０１へオブジェクトの移動済み通知を送信する（Ｓ４１５）。オブジェクトの移動済み通知は、オブジェクトの移動が完了したことを表す通知である。第２制御部２１５は、識別部２１２により、取得したオブジェクトの重畳位置及びサイズを撮像部２１１で取得した撮像画像に基づいて判定する（Ｓ４１６）。識別部２１２は、例えば撮像画像とプロパティ情報とにより、オブジェクトの重畳位置及びサイズを判定する。第２制御部２１５は、ＲＡＭ１１６又は外部記憶装置に、第１装置１０１から取得したオブジェクトをインストールする（Ｓ４１７）。第２制御部２１５は、描画部２１４により、インストールしたオブジェクトを、重畳位置及びサイズに応じて第２表示デバイス１１２に表示して処理を終了する。以上により第１装置１０１から第２装置１０２へのオブジェクトの移動処理が終了する。

・第２装置１０２から第１装置１０１へのオブジェクトの移動
移動通知がなく且つ第１表示デバイス１０５が重畳状態にある場合、第２制御部２１５は、識別部２１２により、第１表示デバイス１０５に重畳表示されるオブジェクトを判定する（Ｓ４２０）。識別部２１２は、撮像部２１１で取得した撮像画像に基づいて、第２表示デバイス１１２が表示し、且つ第１表示デバイス１０５に重畳表示されるオブジェクトを判定する。重畳表示されるオブジェクトがない場合（Ｓ４２０：N）、第２制御部２１５は、オブジェクトの移動を行わずに処理を終了する。

重畳表示されるオブジェクトがある場合（Ｓ４２０：Y）、第２制御部２１５は、重畳表示されるオブジェクトの第１表示デバイス１０５上の表示位置、表示サイズ等を表すプロパティ情報を生成し、通信部２１６を介して第１装置１０１に送信する（Ｓ４２１）。これが上述の「判定オブジェクトプロパティ送信」である。第１装置１０１は、このプロパティ情報に基づいてＳ３０１（図３参照）の処理を行うことになる。第２制御部２１５は、プロパティ情報に続いて、重畳表示されるオブジェクトの実体を通信部２１６を介して第１装置１０１へ送信する（Ｓ４２２）。オブジェクトの実体を送信した第２制御部２１５は、描画部２１４により、当該オブジェクトの第２表示デバイス１２１への表示状態を変更して、透過度を上昇する（Ｓ４２３）。これにより第２装置１０２は、ユーザに対して、第２表示デバイス１２２に表示された該オブジェクトのコントロールが、第１装置１０１へ移動していることを示す。

第２制御部２１５は、Ｓ３０８（図３参照）の処理の結果として、オブジェクトがタッチ状態にあることの通知を第１装置１０１から取得したかを判定する（Ｓ４２４）。該通知を取得していない場合（Ｓ４２４：N）、第２制御部２１５は、識別部２１２により、Ｓ４２０の処理で重畳判定されたオブジェクトが依然として第１表示デバイス１０５に重畳表示されているかを判定する（Ｓ４５０）。Ｓ４２０の処理で重畳判定されたオブジェクトが依然として第１表示デバイス１０５に重畳表示されている場合（Ｓ４５０：Y）、第２制御部２１５は、Ｓ４２１の処理に戻ってプロパティ情報を送信する。Ｓ４２１〜Ｓ４２４の処理は、第２制御部２１５が第１装置１０１からオブジェクトがタッチ状態にあることの通知を取得するまで繰り返し実行される。これにより、第１装置１０１の第１表示デバイス１０５には、第２装置１０２の第２表示デバイス１１２に表示されていたときのオブジェクトの大きさと位置が維持されて表示される。

Ｓ４２０の処理で重畳判定されたオブジェクトが第１表示デバイス１０５に重畳表示されていない場合（Ｓ４５０：N）、第２制御部２１５は、オブジェクト状態判定部２１３により、通信部２１６を介して第１装置１０１に遺失通知を送信する（Ｓ４５１）。オブジェクト状態判定部２１３は、重畳状態にあったオブジェクトが重畳状態から外れたために遺失通知を送信する。第２制御部２１５は、重畳状態から外れたために、描画部２１４により、第２表示デバイス１１２に表示しているオブジェクトの透過度を元に戻す（Ｓ４５２）。第２制御部２１５は、その後、一定時間待機してＳ４２０の処理に戻る（Ｓ４５３）。これは、一時的な視線移動や手の揺れ等により重畳状態が崩れた意図しない重畳状態の解除の場合、すぐに再度重畳状態になることが見込めるため一定時間の作業猶予を与えるものである。

Ｓ３０８（図３参照）の処理により第１装置１０１からオブジェクトがタッチ状態にあることの通知を取得した場合（Ｓ４２４：Y）、第２制御部２１５は、該オブジェクトの表示位置、表示サイズ等のプロパティ情報を更新する（Ｓ４２６）。また、第２制御部２１５は、描画部２１４により、表示中のオブジェクトの表示状態を更新する（Ｓ４２７）。第２制御部２１５は、Ｓ３２４（図３参照）の処理結果として、第１装置１０１からタッチ解除の通知を取得するまで待機する（Ｓ４２８）。

タッチ解除の通知を取得した場合（Ｓ４２８：Y）、第２制御部２１５は、識別部２１２により、第２表示デバイス１１２の視野内に第１表示デバイス１０５に表示されたオブジェクトが存在するかを判定する（Ｓ４２９）。識別部２１２は、撮像部２１１で取得した撮像画像によりこの判定を行う。

オブジェクトが視野内に存在する場合（Ｓ４２９：Y）、第２制御部２１５は、オブジェクト状態判定部２１３により、通信部２１６を介して第１装置１０１にオブジェクトの移譲不可通知を送信する（Ｓ４３０）。移譲不可通知は、第１装置１０１へのオブジェクトの移動が正常に終了していないことを表す。移譲不可通知の送信後に第２制御部２１５は、描画部２１４により、当該オブジェクトの表示を更新させて処理を終了する（Ｓ４４０）。描画部２１４は、例えばＳ４２３の処理で変更したオブジェクトの透過度を元に戻す。

オブジェクトが視野内に存在しない場合（Ｓ４２９：N）、第２制御部２１５は、オブジェクト状態判定部２１３により、通信部２１６を介して第１装置１０１にオブジェクトの移譲通知を送信する（Ｓ４３１）。移譲通知は、第１装置１０１へのオブジェクトの移動が正常に終了したことを表す。移譲通知の送信後に第２制御部２１５は、当該オブジェクトをアンインストールし、移動済みのオブジェクトをアンストールして第２表示デバイス１１２から当該オブジェクトを消去する（Ｓ４４０）。以上により第２装置１０２から第１装置１０１へのオブジェクトの移動処理が終了する。

（実施例１）
図５〜図９は、第２装置１０２から第１装置１０１へオブジェクトを移動させる場合の具体例の説明図である。第１装置１０１はスマートフォンであり、第２装置１０２はメガネ型ディスプレイである。メガネ型ディスプレイの第２表示デバイス１１２は、透過型ディスプレイである。第２装置１０２から第１装置１０１へオブジェクトを移動させるために、図３のＳ３０２以降の処理及び図４の４２０以降の処理が行われる。

図５に示すように、メガネ型ディスプレイを通して見える視野５０１には、実際の背景である山や樹木５０２と、メガネ型ディスプレイの透過型ディスプレイに表示されるオブジェクト５０３、５０４、５０５と、が含まれる。第１装置１０１であるスマートフォンは、視野５０１に含まれていない。第２装置１０２であるメガネ型ディスプレイが有するカメラ１１４が撮像した撮像画像は、視野５０１に含まれる画像と同様の画像である。スマートフォンとメガネ型ディスプレイとは、通信路１０３を介して通信可能である。

図６は、図５の状態からスマートフォンを視野５０１内に移動させた状態を示す。メガネ型ディスプレイは、スマートフォンからオブジェクトの移動通知を取得しておらず、且つスマートフォンが重畳状態にあると判定する。そのためにメガネ型ディスプレイは、図４のＳ４２０以降の処理を行うことになる。メガネ型ディスプレイは、第２表示デバイス１１２に表示されるオブジェクト５０４が、スマートフォンの第１表示デバイス１０５上に重畳表示されていると判定する（Ｓ４２０：Y）。メガネ型ディスプレイは、重畳表示されているオブジェクト５０４のプロパティ情報をスマートフォンへ送信する（Ｓ４２１）。プロパティ情報は、スマートフォンの第１表示デバイス１０５内のオブジェクトの位置及びサイズを含む。メガネ型ディスプレイは、スマートフォンへオブジェクトの実体である画像情報を送信する（Ｓ４２２）。スマートフォンへ画像情報を送信開始した時点で、メガネ型ディスプレイは、第２表示デバイス１１２に表示するオブジェクト５０４を非表示または透過度を上げる等の処理を行う（Ｓ４２３）。これによってメガネ型ディスプレイは、ユーザに対して、オブジェクト５０４がスマートフォンで操作することができる対象であることを示す。

スマートフォンは、以上のようなメガネ型ディスプレイの処理を受けて、メガネ型ディスプレイからオブジェクトの移動通知を取得したと判定し（Ｓ３０１）、プロパティ情報取得からオブジェクト表示までの処理を行う（Ｓ３０２〜Ｓ３０４）。スマートフォンは、Ｓ３０２の処理で取得したプロパティ情報から、オブジェクトの表示位置及び表示サイズを設定する。

以上の処理により、メガネ型ディスプレイの視野５０１でスマートフォン上に表示されるオブジェクト５０４は、スマートフォンの第１表示デバイス１０５に表示される。つまり図５の状態から図６の状態に遷移することで、オブジェクト６０２が、メガネ型ディスプレイの第２表示デバイス１１２からスマートフォンの第１表示デバイス１０５に移動を開始する。

図７は、図６の状態から、スマートフォンをメガネ型ディスプレイ側に引き寄せた状態を示す。スマートフォンがメガネ型ディスプレイに接近するために、スマートフォンが視野５０１に対して図６より大きくなる。これによりオブジェクト６０２のスマートフォンへの表示サイズが変更されている。すなわち、スマートフォンの第１表示デバイス１０５に対して、オブジェクト６０２の表示が小さくなる。

メガネ型ディスプレイは、図６の処理が終わると、スマートフォンからのタッチ状態の通知を待機する（Ｓ４２４）。図７では、メガネ型ディスプレイは、待機中にスマートフォンが接近したために、スマートフォンの第１表示デバイス１０５に対するオブジェクト６０２のプロパティ情報を変更する。すなわち、視野５０１内のオブジェクトの表示サイズはメガネ型ディスプレイに表示されていたときの表示サイズを維持しており、メガネ型ディスプレイはＳ４２１のプロパティ情報の送信処理を繰り返しスマートフォンに対して行っている。ユーザはこの特性を用い、スマートフォンに移動したいオブジェクトの表示位置と表示サイズを特定する。

図８は、オブジェクト６０２の移動を確定するために、ユーザがオブジェクト６０２をタッチしたときの状態を示す。スマートフォンは、ユーザによるオブジェクト６０２のタッチ状態を検知して、オブジェクト６０２がタッチ状態にあることをメガネ型ディスプレイに通知する（Ｓ３０６、Ｓ３０８）。

メガネ型ディスプレイは、スマートフォンからオブジェクト６０２がタッチ状態であることの通知を取得し、オブジェクトのプロパティ情報を更新する（Ｓ４２４、Ｓ４２６）。図８の点線８０３は、オブジェクト６０２がタッチ状態であることを表している。メガネ型ディスプレイは、タッチ状態の解除通知をスマートフォンから取得するまで、オブジェクト６０２の視野５０１内における表示位置及び表示サイズを取得して、表示状態を更新する（Ｓ４２７、Ｓ４２８）。表示状態は、Ｓ４２３の処理のように透過度等を変更して行われる。

メガネ型ディスプレイは、この時点でタッチ状態の解除通知を取得した場合に、移動不可通知をスマートフォンに送信するとともに、第２表示デバイス１１２にオブジェクト５０４を表示する（Ｓ４３０、Ｓ４４０）

なお、オブジェクト５０３は、重畳状態にあると判定されていないため、スマートフォンには表示されず、メガネ型ディスプレイに表示される。ユーザからは、オブジェクト５０３がスマートフォンの筐体上に表示されて見える。

図９は、ユーザがスマートフォンをメガネ型ディスプレイの視野５０１の外に移動させ、オブジェクトのタッチを解除した状態を示す。スマートフォンは、オブジェクトのタッチ状態が解除されたことを検知して、メガネ型ディスプレイにタッチ状態の解除を通知する（Ｓ３０９、Ｓ３１０）。

メガネ型ディスプレイは、タッチ状態の解除通知をスマートフォンから取得して、視野５０１内にオブジェクト６０２が存在しないことを判定する（Ｓ４２８、Ｓ４２９）。メガネ型ディスプレイは、判定結果に応じてオブジェクト６０２の移譲通知をスマートフォンに送信する（Ｓ４３１）。メガネ型ディスプレイは、移譲通知の送信後にオブジェクト６０２をアンインストールすることで削除し、表示対象から取り除く（Ｓ４３２）。

スマートフォンは、メガネ型ディスプレイからオブジェクト６０２の移譲通知を取得して、オブジェクト６０２のインストールを行う（Ｓ３１２）。これにより、オブジェクト６０２のメガネ型ディスプレイからスマートフォンへの移動が完了する。

（実施例２）
図１０〜図１２は、第２装置１０２から第１装置１０１へオブジェクトを移動させる場合の別の具体例の説明図である。第１装置１０１はスマートフォンであり、第２装置１０２はメガネ型ディスプレイである。メガネ型ディスプレイの第２表示デバイス１１２は、透過型ディスプレイである。ここでは、実施例１の場合よりもメガネ型ディスプレイにおける移動対象のオブジェクトの特定を、より簡便にする処理について説明する。第２装置１０２から第１装置１０１へオブジェクトを移動させるために、図３のＳ３０２以降の処理及び図４の４２０以降の処理が行われる。

図１０に示すように、メガネ型ディスプレイを通して見える視野１４００には、メガネ型ディスプレイが第２表示デバイス１１２に表示するオブジェクト１４０６、１４０７、１４０８と、実際の背景１４０５とが含まれる。メガネ型ディスプレイを通して見える視野１４００は、第１分割エリア１４０１〜第３分割エリア１４０３の複数のエリア（ここでは３エリア）に分割される。第１分割エリア１４０１にはオブジェクト１４０６が表示される。第２分割エリア１４０２にはオブジェクト１４０７が表示される。第３分割エリア１４０３にはオブジェクト１４０８が表示される。

図１１は、図１０の状態からメガネ型ディスプレイの視野１４００内にスマートフォンを移動させた状態を示す。メガネ型ディスプレイは、オブジェクト１４０６〜１４０８のいずれかが、スマートフォンの第１表示デバイス１０５上に重畳表示されているかの判定を行う（Ｓ４２０）。これによりメガネ型ディスプレイは、スマートフォンが第２分割エリア１４０２内に大部分が含まれることがわかる。

メガネ型ディスプレイは、撮像部２１１で取得した撮像画像から、スマートフォンの大部分が第２分割エリア１４０２内に含まれることを判定し、第２分割エリア１４０２のオブジェクト１４０７を移動対象であると判定する。このときメガネ型ディスプレイは、どの分割エリアにスマートフォンが位置しているかを視覚的に見せる効果として、第２分割エリア１４０２の色を変えたり、枠１５０３で囲う等を行ってもよい。メガネ型ディスプレイは、第２分割エリア１４０２を重畳状態エリアとしてＳ４２３の処理を行い、スマートフォンからのタッチ状態の通知を待機する（Ｓ４２４）。

スマートフォンにはＳ３０４までの処理により、第２分割エリア１４０２のオブジェクト１４０７の移動が開始される。この後、ユーザがスマートフォンに表示されたオブジェクトをタッチすることで、スマートフォンは、該オブジェクトを選択状態とする。スマートフォンは、メガネ型ディスプレイに 該オブジェクトがタッチされたことを通知する（Ｓ３０８）。これ以降の処理は図８、図９で説明した処理と同様である。

図１２は、ユーザがスマートフォンをメガネ型ディスプレイの視野５０１の外に移動させ、オブジェクトのタッチを解除した状態を示す。スマートフォンは、オブジェクトのタッチ状態が解除されたことを検知して、メガネ型ディスプレイにタッチ状態の解除を通知する（Ｓ３０９、Ｓ３１０）。スマートフォンには、メガネ型ディスプレイから移動したオブジェクト１６０１が表示される。オブジェクト１６０１は、第２分割エリア１４０２に表示されていたオブジェクト１４０７と同じオブジェクトである。これにより、オブジェクト１４０７のメガネ型ディスプレイからスマートフォンへの移動が完了する。

（実施例３）
図１３〜図１６は、第１装置１０１から第２装置１０２へオブジェクトを移動させる場合の具体例の説明図である。第１装置１０１はスマートフォンであり、第２装置１０２はメガネ型ディスプレイである。メガネ型ディスプレイの第２表示デバイス１１２は、透過型ディスプレイである。第１装置１０１から第２装置１０２へオブジェクトを移動させるために、図３のＳ３２０以降の処理及び図４のＳ４１０以降の処理が行われる。

図１３に示すように、メガネ型ディスプレイを通して見える視野１０００には、実際の背景１００１のみが含まれる。メガネ型ディスプレイは、オブジェクトを表示しておらず、スマートフォンも視野１０００に含まれていない。スマートフォンは、オブジェクト１００３、１００４、１００５を表示する。

図１４は、図１３の状態から、ユーザがスマートフォンに表示されるオブジェクト１００４をタッチすることで選択した状態を示す。スマートフォンは、これによりＳ３２２の処理まで実行する。スマートフォンの第１制御部２０３は、このときタッチされたオブジェクト１００４がタッチ状態であることを強調するために、点線枠１１０１のような強調表示を描画部２０２により行う。

図１５は、図１４の状態から、ユーザがメガネ型ディスプレイの視野１０００内にスマートフォンが移動させた状態を示す。これによりメガネ型ディスプレイは、Ｓ４１０〜Ｓ４１２の処理を実行し、タッチされたオブジェクト１００４のプロパティ情報及びオブジェクト１００４の実体を取得する。このときオブジェクト１００４は、まだスマートフォン側に表示されている。メガネ型ディスプレイは、プロパティ情報に含まれる表示位置に、プロパティ情報で取得したサムネイル等を表示してもよい。タッチされたオブジェクト１００４を囲う二重破線１２０１は、メガネ型ディスプレイに表示された移動先の表示位置をガイドする。

図１６は、図１５の状態から、ユーザがタッチを解除してスマートフォンをメガネ型ディスプレイの視野１０００から外れた位置に再度移動させた状態を示す。スマートフォンは、タッチ解除を判定して、メガネ型ディスプレイにタッチ状態の解除を通知する（Ｓ３２３、Ｓ３２４）。

メガネ型ディスプレイは、タッチ状態の解除通知を受信することで、タッチ解除を判定する（Ｓ４１３）。メガネ型ディスプレイは、スマートフォンが重畳状態であるかを判定する（Ｓ４１４）。ここではタッチ状態の解除時に、スマートフォンが重畳状態である場合の例を説明する。重畳状態でのタッチ解除により、メガネ型ディスプレイは、オブジェクトの移動済み通知をスマートフォンに送信する（Ｓ４１５）。その後、メガネ型ディスプレイは、表示位置および表示サイズを判定し（Ｓ４１６）、オブジェクト１３０１のインストールを行う（Ｓ４１７）。図１６の視野１０００は、オブジェクト１３０１のインストール後のメガネ型ディスプレイの表示状態である。

スマートフォンは、オブジェクトの移動済み通知を受信し（Ｓ３２５）、オブジェクト１００４をアンインストールする（Ｓ３２６）。オブジェクト１００４のアンインストール後のスマートフォンの表示は、スマートフォン画面１３０４のようになる。すなわちオブジェクト１００４が消去される。これにより、オブジェクト１１０４のスマートフォンからメガネ型ディスプレイへの移動が完了する。

以上のような本実施形態の情報処理システムは、複数のディスプレイ間の画像の移動を簡易な操作で実現することができる。特に、移動する画像の表示位置及び表示サイズを簡単に指定することができる。ユーザは、第１装置１０１の移動及び移動させる画像のタッチを行うだけで、第１装置１０１と第２装置１０２との間の画像の移動を行うことができる。

例えば、実施例１では、ユーザは、第１装置１０１を第２装置１０２が備えるカメラ１１４の撮像領域内（第２表示デバイス１１２の視野内）に移動させる。これによりユーザは、第１装置１０１の第１表示デバイス１０５の表示領域内に、第２表示デバイス１１２が表示する画像を重畳させる。ユーザは、重畳した画像が、第１表示デバイス１０５の表示領域内の表示させたい位置に、表示させたいサイズになるように、第１装置１０１の位置を調整する。ユーザは、重畳した画像をタッチすることで、当該画像の移動を実行する。これにより、第１装置１０１の第１表示デバイス１０５の表示領域のユーザが希望する位置に、希望する大きさで、当該画像が表示される。

実施例２では、ユーザは、第１装置１０１を第２装置１０２が備えるカメラ１１４の撮像領域（第２表示デバイス１１２の視野）の分割エリアのいずれかに移動させる。これによりユーザは、移動させたい画像を特定することができる。ユーザは、特定した画像が、第１表示デバイス１０５の表示領域内の表示させたい位置に、表示させたいサイズになるように、第１装置１０１の位置を調整する。ユーザは、特定した画像をタッチすることで、当該画像の移動を実行する。これにより、第１装置１０１の第１表示デバイス１０５の表示領域のユーザが希望する位置に、希望する大きさで、当該画像が表示される。この場合、ユーザのタッチ操作は不要となる。

実施例３では、ユーザは、第１装置１０１の第１表示デバイス１０５上で移動させる画像をタッチすることで特定する。ユーザは、画像をタッチしたまま、第１装置１０１を第２装置１０２が備えるカメラ１１４の撮像領域（第２表示デバイス１１２の視野）の分割エリアのいずれかに移動させる。ユーザは、特定した画像が、第２表示デバイス１１２の表示領域内の表示させたい位置に、表示させたいサイズになるように、第１装置１０１の位置を調整する。ユーザは、特定した画像のタッチ状態を解除することで、当該画像の移動を実行する。これにより、第２装置１０２の第２表示デバイス１１２の表示領域のユーザが希望する位置に、希望する大きさで、当該画像が表示される。

以上の説明では、移動対象をオブジェクトの画像として説明したが、移動対象は地図アプリケーションやＳＮＳアプリケーション等の実行画面であってもよい。その場合、プロパティ情報の更新により処理のマイグレーションを行ってもよい。また、メガネ型ディスプレイとして説明した第２装置１０２は透過型ディスプレイを備えるものとして説明したが、カメラのモニタのように撮像中の画像をライブで表示できる装置であってもよい。また、第１装置１０１にて移動対象となるオブジェクトを特定する行為を第１表示デバイス１０５へのタッチ操作として説明したが、オブジェクトを特定する方法はこの限りでない。例えば視線によるオブジェクト特定や、アプリケーション処理によるオブジェクト特定等、オブジェクト特定を指示できる方式であればいずれでもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

Claims (15)

1. 相互に通信可能な第１装置及び第２装置を有し、
   前記第１装置は、
   画像を表示する第１表示手段と、
   前記第１表示手段の表示画面上で指示されたタッチ位置を検知するタッチ位置検知手段と、
   前記タッチ位置検知手段で検知した前記タッチ位置に表示される画像を前記第２装置に移動させる第１画像に特定して、前記第２装置に移動通知を送信する第１制御手段と、を備え、
   前記第２装置は、
   透過型ディスプレイを有する第２表示手段と、
   前記第２表示手段の視野を撮像範囲として、前記第２表示手段に表示される画像を含んで撮像する撮像手段と、
   前記撮像手段で撮像した撮像画像に前記第１表示手段が含まれ且つ前記第１装置から前記移動通知があるときに、前記第１装置から前記第１画像を取得し、前記撮像画像の前記第１画像が表示される位置及びサイズに応じた位置及びサイズで、前記第２表示手段に前記第１画像を表示させる第２制御手段と、を備えることを特徴とする、
   情報処理システム。
2. 前記第１制御手段は、前記第１画像のプロパティ情報を前記移動通知として前記第２装置に送信し、
   前記第２制御手段は、前記プロパティ情報の取得に応じて、前記第２表示手段に、前記第１画像が移動中であることを表す効果画像を表示させることを特徴とする、
   請求項１記載の情報処理システム。
3. 前記第１制御手段は、前記タッチ位置検知手段がタッチ解除を検知したときにタッチ状態の解除通知を前記第２装置に送信し、
   前記第２制御手段は、前記解除通知を取得した後の前記撮像画像に前記第１表示手段が含まれないときに、前記第１画像の移動を中止し、前記解除通知を取得した後の前記撮像画像に前記第１表示手段が含まれるときに、前記第１装置に移動済み通知を送信し、
   前記第１制御手段は、前記移動済み通知を受信したときに前記第１画像をアンインストールすることを特徴とする、
   請求項１又は２記載の情報処理システム。
4. 相互に通信可能な第１装置及び第２装置を有し、
   前記第１装置は、
   画像を表示する第１表示手段と、
   第１制御手段と、を備え、
   前記第２装置は、
   透過型ディスプレイを有する第２表示手段と、
   前記透過型ディスプレイの視野を撮像範囲として、前記第２表示手段に表示される画像を含んで撮像する撮像手段と、
   前記撮像手段で撮像した撮像画像に含まれる前記第２表示手段に表示された画像の前記第１装置に対する位置に応じて、該画像を前記第１装置に移動させる第１画像に特定するかを判定し、移動させる場合に、前記第１画像の前記第１装置に対する位置及び前記第１画像の前記第１装置に対するサイズに応じた表示位置及び表示サイズを表すプロパティ情報を、前記第１画像とともに前記第１装置へ送信する第２制御手段と、を備え、
   前記第１制御手段は、前記第２装置から取得した前記第１画像を、取得した前記プロパティ情報が表す前記表示位置及び前記表示サイズで、前記第１表示手段に表示させることを特徴とする、
   情報処理システム。
5. 前記第２制御手段は、前記撮像画像に含まれる前記第２表示手段に表示された画像が前記第１表示手段に重畳するときに、該画像を前記第１装置に移動させる前記第１画像と判定し、前記第１画像の前記第１表示手段に重畳する位置及びサイズに応じて前記プロパティ情報を生成することを特徴とする、
   請求項４記載の情報処理システム。
6. 前記第１装置は、前記第１表示手段の表示画面上で指示された位置を検知するタッチ位置検知手段を備えており、
   前記第１制御手段は、前記タッチ位置検知手段により、前記第１表示手段に表示される前記第２装置から取得した前記第１画像の表示位置がタッチされたことを検知すると、前記第２装置に前記第１画像がタッチされたことを通知し、タッチが解除されると、前記第２装置にタッチ状態の解除を通知し
   前記第２制御手段は、前記タッチされたことの通知を取得した後に前記タッチ状態の解除の通知を取得したときに、前記撮像画像に前記第１装置が含まれなければ、前記第１画像をアンインストールすることを特徴とする、
   請求項４又は５記載の情報処理システム。
7. 第１表示手段を有する第１装置との通信を制御する通信手段と、
   透過型ディスプレイを有する第２表示手段と、
   前記透過型ディスプレイの視野を撮像範囲として、前記第２表示手段に表示される画像を含んで撮像する撮像手段と、
   前記撮像手段で撮像した撮像画像に含まれる前記第２表示手段に表示された画像の前記第１装置に対する位置に応じて、該画像を前記第１装置に移動させる第１画像に特定するかを判定し、移動させる場合に、前記第１画像の前記第１装置に対する位置及び前記第１画像の前記第１装置に対するサイズに応じた表示位置及び表示サイズを表すプロパティ情報を、前記第１画像とともに前記第１装置へ送信する制御手段と、を備えることを特徴とする、
   装置。
8. 前記制御手段は、前記撮像画像に含まれる前記第２表示手段に表示された画像が、前記第１表示手段の表示画面上に重畳されれば、該画像を前記第１画像に特定し、前記第１画像が重畳される前記第１表示手段の表示画面の位置に、前記第１画像が重畳されるサイズで、前記第１画像を表示させることを特徴とする、
   請求項７記載の装置。
9. 前記第２表示手段は、表示画面が、それぞれに画像が表示される複数のエリアに分割されており、
   前記制御手段は、前記撮像画像の前記第１装置が含まれるエリアに表示される画像を前記第１装置に移動させる前記第１画像に特定することを特徴とする、
   請求項７記載の装置。
10. 前記制御手段は、前記撮像手段で撮像した撮像画像に前記第１表示手段が含まれ且つ前記第１装置から第２画像の移動通知があるときに、前記第１装置から前記第２画像を取得し、前記撮像画像の前記第２画像が表示される位置及びサイズに応じた位置及びサイズで、前記第２表示手段に前記第２画像を表示させることを特徴とする、
    請求項７〜９のいずれか１項記載の装置。
11. 前記第２表示手段は、メガネ型ディスプレイであり、
    前記撮像手段は、前記透過型ディスプレイの視野を撮像範囲として撮像することを特徴とする、
    請求項７〜１０のいずれか１項記載の装置。
12. 画像を表示する第１表示手段及び前記第１表示手段の表示画面上で指示されたタッチ位置を検知するタッチ位置検知手段を備える第１装置と、透過型ディスプレイを有する第２表示手段及び前記第２表示手段の視野を撮像範囲として、前記第２表示手段に表示される画像を含んで撮像する撮像手段を備える第２装置とを有し、前記第１装置と前記第２装置とが通信可能な情報処理システムにより実行される方法であって、
    前記第１装置が、前記タッチ位置検知手段で検知した前記タッチ位置に表示される画像を前記第２装置に移動させる第１画像に特定して、前記第２装置に移動通知を送信し、
    前記第２装置が、前記撮像手段で撮像した撮像画像に前記第１表示手段が含まれ且つ前記第１装置から前記移動通知があるときに、前記第１装置から前記第１画像を取得し、前記撮像画像の前記第１画像が表示される位置及びサイズに応じた位置及びサイズで、前記第２表示手段に前記第１画像を表示させることを特徴とする、
    情報処理方法。
13. 画像を表示する第１表示手段を備える第１装置と、透過型ディスプレイを有する第２表示手段及び前記第２表示手段の視野を撮像範囲として、前記第２表示手段に表示される画像を含んで撮像する撮像手段を備える第２装置とを有し、前記第１装置と前記第２装置とが通信可能な情報処理システムにより実行される方法であって、
    前記第２装置が、前記撮像手段で撮像した撮像画像に含まれる前記第２表示手段に表示された画像の前記第１装置に対する位置に応じて、該画像を前記第１装置に移動させる第１画像に特定するかを判定し、移動させる場合に、前記第１画像の前記第１装置に対する位置及び前記第１画像の前記第１装置に対するサイズに応じた表示位置及び表示サイズを表すプロパティ情報を、前記第１画像とともに前記第１装置へ送信し、
    前記第１装置が、前記第２装置から取得した前記第１画像を、取得した前記プロパティ情報が表す前記表示位置及び前記表示サイズで、前記第１表示手段に表示させることを特徴とする、
    情報処理方法。
14. 第１表示手段を有する第１装置との通信を制御する通信手段と、透過型ディスプレイを有する第２表示手段と、前記透過型ディスプレイの視野を撮像範囲として、前記第２表示手段に表示される画像を含んで撮像する撮像手段と、を備えるコンピュータを、
    前記撮像手段で撮像した撮像画像に含まれる前記第２表示手段に表示された画像の前記第１装置に対する位置に応じて、該画像を前記第１装置に移動させるかを判定し、移動させる場合に、該画像の前記第１装置に対する位置及び該画像の前記第１装置に対するサイズに応じた表示位置及び表示サイズを表すプロパティ情報を、該画像とともに前記第１装置へ送信する制御手段、
    として機能させるためのコンピュータプログラム。
15. 請求項１４記載のコンピュータプログラムを記憶するコンピュータにより読み取り可能な記憶媒体。