JPWO2014162824A1 - 表示制御装置、表示制御方法およびプログラム - Google Patents

Abstract

【課題】実空間を透過的に表示させつつＡＲ空間を表現する場合のユーザ体験を向上させる。【解決手段】端末装置の表示部を制御して前記端末装置が存在する実空間の像を表示させる表示制御部を備え、前記表示制御部は、前記表示部に表示させる画像を、前記表示部以外の領域で視認される前記実空間の像との間に連続性を有する第１の画像、または前記実空間の撮像画像に基づいて生成され前記表示部以外の領域で視認される前記実空間の像とは独立した第２の画像から選択する表示制御装置が提供される。【選択図】図７

Description

本開示は、表示制御装置、表示制御方法およびプログラムに関する。

近年、実世界に付加的な情報を重畳してユーザに提示する拡張現実（ＡＲ：Augmented Reality）と呼ばれる技術が注目されている。ＡＲ技術においてユーザに提示される情報は、アノテーションとも呼ばれ、テキスト、アイコンまたはアニメーションなど様々な形態の仮想的なオブジェクトを用いて可視化されうる。例えば、特許文献１には、こうしたＡＲの仮想オブジェクトの操作を、ＡＲ空間へのユーザの没入感を損なうことなく実現するための技術が記載されている。

特開２０１２−２１２３４５号公報

上記の特許文献１などで提案されているＡＲ技術は、未だ開発されてから日が浅く、さまざまな局面でＡＲを活用するための技術が十分に提案されているとはいいがたい。例えば、実空間を透過的に表示させつつＡＲ空間を表現するための技術も、十分には提案されていないものの一つである。

そこで、本開示では、実空間を透過的に表示させつつＡＲ空間を表現する場合のユーザ体験を向上させることが可能な、新規かつ改良された表示制御装置、表示制御方法およびプログラムを提案する。

本開示によれば、端末装置の表示部を制御して前記端末装置が存在する実空間の像を表示させる表示制御部を備え、前記表示制御部は、前記表示部に表示させる画像を、前記表示部以外の領域で視認される前記実空間の像との間に連続性を有する第１の画像、または前記実空間の撮像画像に基づいて生成され前記表示部以外の領域で視認される前記実空間の像とは独立した第２の画像から選択する表示制御装置が提供される。

また、本開示によれば、端末装置の表示部を制御して前記端末装置が存在する実空間の像を表示させるプロセッサが、前記表示部に表示させる画像を、前記表示部以外の領域で視認される前記実空間の像との間に連続性を有する第１の画像、または前記実空間の撮像画像に基づいて生成され前記表示部以外の領域で視認される前記実空間の像とは独立した第２の画像から選択することを含む表示制御方法が提供される。

また、本開示によれば、端末装置の表示部を制御して前記端末装置が存在する実空間の像を表示させるコンピュータに、前記表示部に表示させる画像を、前記表示部以外の領域で視認される前記実空間の像との間に連続性を有する第１の画像、または前記実空間の撮像画像に基づいて生成され前記表示部以外の領域で視認される前記実空間の像とは独立した第２の画像から選択する機能を実現させるためのプログラムが提供される。

以上説明したように本開示によれば、実空間を透過的に表示させつつＡＲ空間を表現する場合のユーザ体験を向上させることができる。

本開示の一実施形態に係るシステムの概略的な構成を示す図である。 本開示の一実施形態に係る装置の概略的な構成を示す図である。 本開示の一実施形態における撮像画像の共有の例を示す図である。 本開示の一実施形態におけるアノテーション入力の例を示す図である。 本開示の一実施形態における撮像画像の共有の別の例を示す図である。 本開示の一実施形態において利用されうる技術の処理の例を示すフローチャートである。 本開示の一実施形態において利用されうる技術の処理の別の例を示すフローチャートである。 本開示の一実施形態に係るウェアラブル端末の構成例を示す図である。 本開示の一実施形態に係るウェアラブル端末におけるマージビューの例を示す図である。 本開示の一実施形態に係るウェアラブル端末におけるマージビューの例を示す図である。 本開示の一実施形態に係るウェアラブル端末におけるカメラビューの例を示す図である。 本開示の一実施形態におけるウェアラブル端末でのキャリブレーション手順の例を示す図である。 本開示の一実施形態に係るタブレット端末におけるマージビューの例を示す図である。 本開示の一実施形態における切り替え表示の例を示す図である。 本開示の一実施形態における切り替え表示の例を示す図である。 本開示の一実施形態における切り替え表示の例を示す図である。 本開示の一実施形態における切り替え表示の別の例を示す図である。 本開示の一実施形態における表示可能範囲外にあるアノテーションの表示の第１の例を示す図である。 本開示の一実施形態における表示可能範囲外にあるアノテーションの表示の第１の例を示す図である。 本開示の一実施形態における表示可能範囲外にあるアノテーションの表示の第１の例を示す図である。 本開示の一実施形態における表示可能範囲外にあるアノテーションの表示の第２の例を示す図である。 本開示の一実施形態における表示可能範囲外にあるアノテーションの表示の第２の例を示す図である。 本開示の一実施形態における表示可能範囲外にあるアノテーションの表示の第３の例を示す図である。 本開示の一実施形態における表示可能範囲外にあるアノテーションの表示の第３の例を示す図である。 本開示の一実施形態における表示可能範囲外にあるアノテーションの表示の第４の例を示す図である。 本開示の一実施形態における表示可能範囲外にあるアノテーションの表示の第５の例を示す図である。 本開示の一実施形態における表示可能範囲外にあるアノテーションの表示の第６の例を示す図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．システムおよび装置の構成
１−１．システム構成
１−２．装置構成
２．実空間画像の共有およびインタラクション
２−１．インタラクションの概念
２−２．利用されうる技術
３．ウェアラブル端末での表示例
３−１．マージビュー
３−２．カメラビュー
３−３．キャリブレーション
４．タブレット端末での表示例
５．マージビューとカメラビューとの切り替え
６．表示可能範囲外にあるアノテーションの表示
７．補足

（１．システムおよび装置の構成）
（１−１．システム構成）
図１は、本開示の一実施形態に係るシステムの概略的な構成を示す図である。図１を参照すると、システム１０は、サーバ１００と、クライアント２００〜５００とを有する。

サーバ１００は、単一のサーバ装置、または有線または無線の各種ネットワークで接続されて協働する複数のサーバ装置によって実現される機能の集合体であり、クライアント２００〜７００にサービスを提供する。

クライアント２００〜５００は、サーバ１００と有線または無線の各種ネットワークで接続された端末装置である。クライアント２００〜５００は、サーバ１００によって提供されるサービスの種類に応じて以下の（１）〜（３）に分類される。

（１）カメラなどの撮像手段を有し、実空間の画像をサーバ１００に提供する装置。
（２）ディスプレイなどの表示手段と、タッチパネルなどの操作手段とを有し、（１）の装置から提供された画像をサーバ１００から取得し、ユーザの閲覧に供するとともに、ユーザによる画像へのアノテーション入力を受け付ける装置。
（３）ディスプレイなどの表示手段を有し、（２）の装置によって入力が受け付けられたアノテーションを実空間に表示させる装置。

クライアント２００は、ウェアラブル端末である（以下、単にウェアラブル端末２００ともいう）。ウェアラブル端末２００は、例えば撮像手段または表示手段のいずれかまたは両方を有し、上記（１）または（３）のいずれかまたは両方の装置として機能する。図示された例においてウェアラブル端末２００は眼鏡型であるが、ユーザの身体に装着可能な形状であればこの例には限られない。上記（１）の装置として機能する場合、ウェアラブル端末２００は、撮像手段として、例えば眼鏡のフレーム部分に設置されたカメラを有する。このカメラによって、ウェアラブル端末２００は、ユーザの視点に近い位置から実空間の画像を取得することができる。取得した画像は、サーバ１００に送信される。また、上記（３）の装置として機能する場合、ウェアラブル端末２００は、表示手段として、例えば眼鏡のレンズ部分の一部または全部に設置されたディスプレイを有する。ウェアラブル端末２００は、上記のカメラによって撮像された画像をこのディスプレイに表示させるとともに、当該画像に対して上記（２）の装置によって入力されたアノテーションを重畳表示させる。あるいは、ディスプレイが透過型である場合、ウェアラブル端末２００は、ユーザが直接視認している実世界の像にアノテーションを透過的に重畳表示させてもよい。

クライアント３００は、タブレット端末である（以下、単にタブレット端末３００ともいう）。タブレット端末３００は、少なくとも表示手段および操作手段を有し、例えば上記（２）の装置として機能しうる。タブレット端末３００は、さらに撮像手段を有し、上記の（１）または（３）のいずれかまたは両方の装置として機能してもよい。つまり、タブレット端末３００は、上記の（１）〜（３）の装置のうちの任意の装置として機能しうる。上記（２）の装置として機能する場合、タブレット端末３００は、例えば表示手段としてディスプレイを、操作手段としてディスプレイ上のタッチセンサを有し、上記（１）の装置からサーバ１００を介して提供される画像を表示するとともに、当該画像に対するユーザのアノテーション入力を受け付ける。受け付けられたアノテーション入力は、サーバ１００を介して上記（３）の装置に提供される。上記（１）の装置として機能する場合、タブレット端末３００は、例えば上記のウェアラブル端末２００と同様に撮像手段としてカメラを有し、ユーザがタブレット端末３００を実空間にかざすことによって、ユーザの視線の延長線上にある実空間の画像を取得することができる。取得した画像は、サーバ１００に送信される。上記（３）の装置として機能する場合、タブレット端末３００は、上記のカメラによって撮像された画像をディスプレイに表示させるとともに、当該画像に対して上記（２）の装置（例えば他のタブレット端末など）によって入力されたアノテーションを重畳表示させる。あるいは、ディスプレイが透過型である場合、タブレット端末３００は、ユーザが直接視認している実世界の像にアノテーションを透過的に重畳表示させてもよい。

クライアント４００は、携帯電話（スマートフォン）である（以下、単に携帯電話４００ともいう）。なお、システム１０における携帯電話４００の機能は、タブレット端末３００と同様であるため、詳細な説明は省略する。なお、図示していないが、例えば携帯型ゲーム機やデジタルカメラのような装置も、通信手段と表示手段、操作手段または撮像手段とを有していれば、システム１０においてタブレット端末３００や携帯電話４００と同様に機能しうる。

クライアント５００は、ラップトップＰＣ（Personal Computer）である（以下、単にラップトップＰＣ５００ともいう）。ラップトップＰＣ５００は、表示手段および操作手段を有し、上記（２）の装置として機能する。図示された例において、ラップトップＰＣ５００は、基本的に固定して使用されるために上記（１）の装置としては機能しない装置の例として扱われている。図示していないが、例えばデスクトップＰＣやテレビなども、ラップトップＰＣ５００と同様に機能しうる。ラップトップＰＣ５００は、表示手段としてディスプレイを、操作手段としてマウスやキーボードを有し、上記（１）の装置からサーバ１００を介して提供される画像を表示するとともに、当該画像に対するユーザのアノテーション入力を受け付ける。受け付けられたアノテーション入力は、サーバ１００を介して上記(３)の装置に提供される。

以上、本開示の一実施形態に係るシステムについて説明した。図１に示されたように、本実施形態に係るシステム１０は、上記（１）の実空間の画像を取得可能な装置（ウェアラブル端末２００、タブレット端末３００、携帯電話４００）と、（２）の実空間の画像をユーザの閲覧に供するとともにユーザによる画像へのアノテーション入力を受け付けることが可能な装置（タブレット端末３００、携帯電話４００、ラップトップＰＣ５００）と、（３）のアノテーションを実空間に表示させる装置（ウェアラブル端末２００、タブレット端末３００、携帯電話４００）とを含みうる。

サーバ１００は、上記の各装置と協働することによって、実空間の画像を取得し、その画像をユーザ（例えば上記実空間にはいないユーザでありうる）の閲覧に供するとともにユーザによる画像へのアノテーション入力を受け付け、入力されたアノテーションを上記実空間に表示させる機能を実現する。このような機能によって、例えば、第１のユーザがいる実空間の画像を第２のユーザが閲覧し、第２のユーザが画像に対して加えたアノテーションが上記実空間に表示されて第１のユーザによって視認されるといったような、ＡＲ技術を利用したユーザ間のインタラクションが可能になる。

あるいは、システム１０において、上記（２）の装置の機能は、サーバ１００によって実現されてもよい。この場合、サーバ１００は、予め登録された位置情報やオブジェクト情報に基づいて、（１）の装置から提供された画像に対するアノテーションを生成し、アノテーションの情報を（３）の装置に送信する。例えば（１）の装置と（３）の装置とが同一の装置である場合、画像およびアノテーションのやりとりはクライアントとサーバ１００との間で完結する。

（１−２．装置構成）
図２は、本開示の一実施形態に係る装置の概略的な構成を示す図である。図２を参照すると、装置９００は、プロセッサ９１０、およびメモリ９２０を含む。装置９００は、さらに、表示部９３０、操作部９４０、通信部９５０、撮像部９６０、またはセンサ９７０を含みうる。これらの構成要素は、バス９８０によって相互に接続される。装置９００は、例えば、上記のサーバ１００を構成するサーバ装置、およびクライアント２００〜５００を実現しうる。

プロセッサ９１０は、例えばＣＰＵ（Central Processing Unit）またはＤＳＰ（Digital Signal Processor）といったような各種のプロセッサであり、例えばメモリ９２０に格納されたプログラムに従って演算や制御などの動作を実行することによって各種の機能を実現する。プロセッサ９１０は、例えば上記のサーバ１００およびクライアント２００〜７００の装置全体の制御機能を実現する。また、プロセッサ９１０は、例えばウェアラブル端末２００、タブレット端末３００、または携帯電話４００において、後述する例のようなＡＲ画像の表示を実現するための表示制御を実行する。

メモリ９２０は、半導体メモリまたはハードディスクなどの記憶媒体によって構成され、装置９００による処理のためのプログラムおよびデータを格納する。メモリ９２０は、例えば、撮像部９６０によって取得された撮像画像データや、センサ９７０によって取得されたセンサデータを格納してもよい。なお、本明細書で説明するプログラムおよびデータの一部は、メモリ９２０に格納されることなく、外部のデータソース（例えばデータサーバ、ネットワークストレージまたは外付けメモリなど）から取得されてもよい。

表示部９３０は、例えば上述した表示手段を有するクライアントに設けられる。表示部９３０は、例えば装置９００の形状に応じたディスプレイでありうる。例えば、上記の例でいえば、ウェアラブル端末２００は、例えば眼鏡のレンズ部分に対応した形状のディスプレイを有しうる。また、タブレット端末３００や携帯電話４００、ラップトップＰＣ５００は、それぞれの筐体に設けられる平板型のディスプレイを有しうる。

操作部９４０は、例えば、上述した操作手段を有するクライアントに設けられる。操作部９４０は、例えばディスプレイ上に設けられたタッチセンサ（ディスプレイとあわせてタッチパネルを構成する）やタッチパッド、マウスなどのポインティングデバイスに、必要に応じてキーボード、ボタン、スイッチなどを組み合わせて構成される。操作部９４０は、例えばポインティングデバイスによって表示部９３０に表示された画像中の位置を特定し、その位置に対してキーボードやボタン、スイッチなどによって何らかの情報を入力するユーザの操作を受け付ける。あるいは、操作部９４０は、ポインティングデバイスによって表示部９３０に表示された画像中の位置を特定し、さらにポインティングデバイスによってその位置に対して何らかの情報を入力するユーザの操作を受け付けてもよい。

通信部９５０は、装置９００による他の装置との間の通信を仲介する通信インターフェースである。通信部９５０は、任意の無線通信プロトコルまたは有線通信プロトコルをサポートし、他の装置との間の通信接続を確立する。上記の例では、クライアントで撮像された実空間の画像や入力されたアノテーション情報のサーバ１００への送信、およびサーバ１００からクライアントへの実空間の画像やアノテーション情報の送信に通信部９５０が用いられる。

撮像部９６０は、画像を撮像するカメラモジュールである。撮像部９６０は、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を用いて実空間を撮像し、撮像画像を生成する。撮像部９６０によって生成される一連の撮像画像は、映像を構成する。なお、撮像部９６０は、必ずしも装置９００の一部でなくてもよい。例えば、装置９００と有線または無線で接続される撮像装置が撮像部９６０として扱われてもよい。また、撮像部９６０は、撮像部９６０と被写体との間の距離を画素ごとに測定する深度（depth）センサを含んでいてもよい。深度センサから出力される深度データは、後述するように実空間を撮像した画像における環境の認識のために利用されうる。

センサ９７０は、測位センサ、加速度センサおよびジャイロセンサなどのさまざまなセンサを含みうる。センサ９７０において得られる測定結果は、実空間を撮像した画像における環境の認識の支援、地理的な位置に特化したデータの取得、またはユーザ入力の検出などのさまざまな用途で利用されてもよい。なお、センサ９７０は、撮像部９６０を有する装置、上記の例ではウェアラブル端末２００やタブレット端末３００、または携帯電話４００に設けられうる。

（２．実空間画像の共有およびインタラクション）
次に、図３Ａ〜図４を参照して、本開示の一実施形態に係るインタラクションの基本的な概念について説明する。

（２−１．インタラクションの概念）
図３Ａは、本開示の一実施形態における撮像画像の共有の例を示す図である。図示された例では、ウェアラブル端末２００のカメラ２６０（撮像部）によって撮像された実空間の画像がサーバ１００を介してタブレット端末３００にストリーミング配信され、ディスプレイ３３０（表示部）に画像１３００として表示される。このとき、ウェアラブル端末２００では、撮像された実空間の画像がディスプレイ２３０（表示部）に表示されるか、実空間の像がディスプレイ２３０を透過して直接視認される。このときディスプレイ２３０に表示されている像（透過して視認される背景を含む）を、以下では画像１２００として参照する。

図３Ｂは、本開示の一実施形態におけるアノテーション入力の例を示す図である。タブレット端末３００では、ディスプレイ３３０上にタッチセンサ３４０（操作部）が設けられており、ディスプレイ３３０に表示された画像１３００に対するユーザのタッチ入力を取得することが可能である。図示された例では、画像１３００内のある位置を指示するユーザのタッチ入力がタッチセンサ３４０によって取得され、その位置にポインタ１３１０が表示されている。さらに、例えば別途表示されるスクリーンキーボードなどを用いて入力されたテキストが、画像１３００にコメント１３２０として表示されている。このポインタ１３１０およびコメント１３２０が、アノテーションとしてサーバ１００を介してウェアラブル端末２００に送信される。

ウェアラブル端末２００では、タブレット端末３００で入力されたアノテーションが、画像１２００にポインタ１２１０およびコメント１２２０として表示される。画像１２００においてこれらのアノテーションが表示される位置は、タブレット端末３００で表示される画像１３００における実空間の位置に対応している。このようにして、送信側（ストリーミング側）の装置であるウェアラブル端末２００と、受信側（視聴者側）の装置であるタブレット端末３００との間でのインタラクションが成立する。なお、この例において、装置間でアノテーションの表示位置を対応させたり、アノテーションを継続的に表示させたりするために用いられうる技術については後述する。

図３Ｂは、本開示の一実施形態における撮像画像の共有の別の例を示す図である。図示された例では、タブレット端末３００ａのカメラ（撮像部；背面側にあるため図示されていない）によって撮像された実空間の画像がタブレット端末３００ｂにストリーミング配信され、ディスプレイ３３０ｂ（表示部）に画像１３００ｂとして表示される。このとき、タブレット端末３００ａでは、撮像された実空間の画像がディスプレイ３３０ａに表示されるか、実空間の像がディスプレイ３３０ａを透過して直接視認されている。このときディスプレイ３３０ａに表示されている像（透過して視認される背景を含む）を、以下では画像１３００ａとして参照する。図示された例でも、タブレット端末３００ｂで画像１３００ｂに対して入力されたアノテーションを画像１３００ａに表示させることによって、送信側（ストリーミング側）の装置であるタブレット端末３００ａと、受信側（視聴者側）の装置であるタブレット端末３００ｂとの間でのインタラクションが成立しうる。

なお、本実施形態における実空間の画像の共有とそれに基づくユーザ間のインタラクションは、ウェアラブル端末２００およびタブレット端末３００に係る上記の例には限られず、既に説明した携帯電話４００、またはラップトップＰＣ５００も、それぞれの機能（例えば上述した（１）〜（３）の機能）を実現する限りにおいて、任意の装置を送信側（ストリーミング側）および受信側（視聴者側）として成立しうる。

また、上述のように、本実施形態はユーザ間のインタラクションが発生する例には限らず、アノテーションがサーバ１００で自動的に生成される場合をも含む。また、後述するような表示画像の切り替えに関しては、アノテーション情報の有無とは独立して実行されうる。

（２−２．利用されうる技術）
本実施形態では、上述した実空間画像の共有とインタラクションを実現するにあたって、いくつかの技術が利用される。まず、本実施形態では、送信側の装置において、送信される実空間の画像データに空間情報が付加される。空間情報は、送信側の装置の撮像部（図３Ａおよび図３Ｂの例ではウェアラブル端末２００のカメラ２６０、図４の例ではタブレット端末３００ａのカメラ）が実空間の中でどのように移動しているかを推定することを可能にする情報である。

例えば、空間情報は、ＳｆＭ（Structure from Motion）法またはＳＬＡＭ（Simultaneous Localization And Mapping）法などの公知の画像認識技術によって認識される環境認識行列でありうる。環境認識行列は、例えば送信側の装置固有の座標系に対する基準環境（実空間）の座標系の相対的な位置および姿勢を示す。例えば、ＳＬＡＭ法が利用される場合、送信側の装置のプロセッサが、装置の位置、姿勢、速度および角速度、ならびに撮像画像に含まれる少なくとも１つの特徴点の位置を含む状態変数を、拡張カルマンフィルタの原理に基づいて撮像画像のフレームごとに更新する。これによって、装置の位置および姿勢を基準とする基準環境の位置および姿勢を、単眼カメラからの入力画像を利用して認識することができる。なお、ＳＬＡＭ法の詳しい説明は、例えば“Real-Time Simultaneous Localization and Mapping with a Single Camera”（Andrew J.Davison，Proceedings of the 9th IEEE International Conference on Computer Vision Volume 2, 2003, pp.1403-1410）に記載されている。

他にも、空間情報は、撮像部の実空間における相対的な位置および姿勢を示す情報であればどのようなものであってもよい。例えば、撮像部に設けられうる深度センサからの深度データに基づいて環境認識行列が認識されてもよい。また、赤外線測距システムまたはモーションキャプチャシステムなどの環境認識システムからの出力データに基づいて環境認識行列が認識されてもよい。こうした技術の一例は、例えばS.Izadi, et al, KinectFusion: Real-time 3D Reconstruction and Interaction Using a Moving Depth Camera, ACM Symposium on User Interface Software and Technology, 2011に記載されているが、この例には限られず、公知の様々な技術が空間情報の生成に利用可能である。

あるいは、空間情報は、実空間を撮像した一連のフレーム画像のステッチング解析によって、各フレーム画像の相対的な位置関係を特定することによって生成されてもよい。この場合、ステッチング解析は、基底平面上に各フレーム画像を貼りつける２次元ステッチング解析、または空間内の任意の位置に各フレーム画像を貼りつける３次元ステッチング解析でありうる。

以下、上記の技術に係る送信側の装置、受信側の装置、およびサーバの処理の例について、図５Ａのフローチャートを参照しながら、図３Ａおよび図３Ｂに示した例を用いて説明する。なお、上記の技術は、図３Ａおよび図３Ｂの例に関わらず上述したシステム１０における任意の装置の組み合わせについて適用可能でありうる。

まず、ウェアラブル端末２００（送信側の装置）において、撮像部が実空間の画像データを取得するとともに、撮像部またはセンサが取得した情報を必要に応じてプロセッサが処理することによって空間情報が生成される（ステップＳ１０１）。画像データと空間情報とは、互いに関連付けられてウェアラブル端末２００の通信部からサーバ１００に送信される（ステップＳ１０３）。サーバ１００では、通信部がウェアラブル端末２００から画像データおよび空間情報を受信し、画像データをタブレット端末３００（受信側の装置）に転送する（ステップＳ１０５）。また、サーバ１００では、プロセッサが空間情報を用いて受信された画像内の位置とウェアラブル端末２００が存在する実空間の位置とを関係づける（ステップＳ１０７）。

タブレット端末３００では、通信部がサーバ１００から画像データを受信し、受信された画像データに基づいてプロセッサがディスプレイ３３０に画像１３００を表示させる（ステップＳ１０９）。ここで、タッチセンサ３４０によって画像１３００に対するユーザのアノテーション入力が取得された場合（ステップＳ１１１）、プロセッサはアノテーション入力を画像１３００内の位置（例えばポインタ１３１０の位置）に関係づけ、通信部からサーバ１００に送信する（ステップＳ１１３）。

サーバ１００では、通信部がタブレット端末３００から送信されたアノテーション入力および画像内の位置の情報を受信すると、プロセッサが受信された情報に含まれる画像内の位置を実空間の位置に変換する（ステップＳ１１５）。変換後の実空間の位置に関連付けられたアノテーション入力は、通信部からウェアラブル端末２００に送信される（ステップＳ１１７）。

ウェアラブル端末２００では、通信部がサーバ１００からアノテーション入力および実空間の位置の情報を受信し、プロセッサが空間情報を用いてアノテーション情報に関連付けられた実空間の位置を現在ディスプレイ２３０に表示されている画像１２００内の位置に変換し（ステップＳ１１９）、その位置にアノテーション（例えばポインタ１２１０やコメント１２２０）を表示させる（ステップＳ１２１）。

図５Ｂに、上記の処理の別の例を示す。この例では、サーバ１００のプロセッサが画像内の位置と実空間の位置とを関係づけた後に、通信部が画像データとともに画像に含まれる実空間の位置の情報をタブレット端末３００に送信する（ステップＳ２０１）。タブレット端末３００では、ディスプレイ３３０に画像が表示される（ステップＳ１０９）のは上記の図５Ａの例と同様であるが、アノテーション入力が、画像内の位置ではなくステップＳ２０１で受信された実空間の位置に関連付けて送信される（ステップＳ２０３）。従って、サーバ１００では、通信部が実空間の位置が関連付けられたアノテーション入力の情報をウェアラブル端末２００に転送すればよい（ステップＳ２０５）。

（第１の利点）
上記で説明した技術には、いくつかの利点がある。例えば、ウェアラブル端末２００で実空間の画像が取得されてから、タブレット端末３００で当該画像に対するアノテーションが入力され、さらにそのアノテーションがウェアラブル端末２００に送信されるまでには時間差が生じていることが多い。

従って、画像内の位置を基準にしてアノテーションをやりとりすると、上記の時間差の間にユーザや装置の移動によってウェアラブル端末２００で表示される画像１２００の表示範囲が変化したために、タブレット端末３００から送信されたアノテーションが、ウェアラブル端末２００ではタブレット端末３００のユーザが画像１３００を見ながら意図した位置とは異なった位置に表示される場合がある。

これに対して、上記の技術を適用すれば、アノテーションを実空間の位置に関連付けることが可能であるため、画像１２００の表示範囲の変化に関わらず、ウェアラブル端末２００でも、タブレット端末３００のユーザが画像１３００を見ながら意図した位置（例えば実空間にある特定のオブジェクトに対応する位置）にアノテーションが表示されうる。

（第２の利点）
また、例えば、ウェアラブル端末２００で表示される実空間の画像１２００が、ディスプレイ２３０を透過して直接視認されるものであったり、ディスプレイ２３０の外側に見えている実空間の像と整合させてディスプレイ２３０に表示されるものであったりする場合、画像１２００の範囲が、ウェアラブル端末２００のカメラ２６０が撮像する実空間の画像の範囲よりも狭い（つまり、ウェアラブル端末２００のユーザが視認している範囲よりも、撮像画像の範囲の方が広い）場合がありうる。

このような場合、タブレット端末３００のディスプレイ３３０に表示される画像１３００の範囲がウェアラブル端末２００の画像１２００の範囲よりも広くなり、タブレット端末３００のユーザが、画像１２００の外側、つまりウェアラブル端末２００のユーザには見えていない領域にアノテーションを入力することが可能になりうる。従って、画像内の位置を基準にしてアノテーションをやりとりすると、タブレット端末３００では入力可能であっても、ウェアラブル端末２００の画像１２００には表示されないアノテーションが発生してしまう。

これに対して、上記の技術を適用すれば、アノテーションを実空間の位置に関連付けることが可能であるため、サーバ１００またはウェアラブル端末２００に受信された時点では画像１２００の表示範囲に入っていない位置に対するアノテーションであっても、例えばその後に画像１２００の表示範囲が変化してアノテーションの位置を含むようになった場合に画像１２００に表示することができる。

なお、上記の技術には、ここで説明したものには限られず、利用される状況に応じて他の利点が存在しうる。それらの利点は、以下の説明の中で明示または示唆されうる。

（３．ウェアラブル端末での表示例）
次に、図６〜図９を参照して、本開示の一実施形態におけるウェアラブル端末での表示例について説明する。

図６は、本開示の一実施形態に係るウェアラブル端末の構成例を示す図である。図６を参照すると、ウェアラブル端末２００は、ディスプレイ２３０と、カメラ２６０とを有する。ここで、ディスプレイ２３０は、眼鏡状のウェアラブル端末２００のレンズ部分２３１の一部または全面に配置されうる。

ディスプレイ２３０は、例えばレンズ部分２３１を通して直接的に視認される実空間の像を透過し、透過される像に重畳してアノテーションなどの情報を表示させてもよい。あるいは、ディスプレイ２３０は、レンズ部分２３１を通して直接的に視認される実空間の像に連続するように、カメラ２６０による撮像画像を加工した画像を表示させ、当該画像にアノテーションなどの情報を表示させてもよい。なお、例えばディスプレイ２３０がレンズ部分２３１の全面に配置される場合、ディスプレイ２３０は、レンズ部分２３１の周囲のフレームの外側の実空間の像に連続するように実空間の画像を表示させてもよい。上述したいずれの場合も、ディスプレイ２３０は、撮像画像に基づく画像をディスプレイ２３０の外側で視認される実空間の像に連続するように表示している。また、ディスプレイ２３０は、ディスプレイ２３０の外側で視認される実空間の像とは独立した画像を表示してもよい。以下では、こうしたディスプレイ２３０の表示のいくつかの例について、さらに説明する。

（３−１．マージビュー）
図７および図８は、本開示の一実施形態に係るウェアラブル端末におけるマージビューの例を示す図である。図示された例では、ディスプレイ２３０の領域でも他のレンズ部分２３１を通して視認される実空間の像に連続した像が表示されている（透過している場合を含む）状態で、ディスプレイ２３０に実空間の位置または実空間のオブジェクトに対するアノテーション（ポインタ１２１０およびコメント１２２０）が表示されている。このとき、ディスプレイ２３０の表示は、周囲の実空間の像に没入されている。従って、本明細書では、このようなディスプレイ２３０の表示によって観察されるビューをマージビューともいう。

図７には、マージビューの第１の例が示されている。図示された例では、ディスプレイ２３０が、他のレンズ部分２３１と同様に実空間の像を透過させている。従って、ユーザは、ディスプレイ２３０の領域でも、他のレンズ部分２３１と同様に実空間の像を視認することが可能である。さらに、ディスプレイ２３０は、透過される実空間の像に重畳させてアノテーション（ポインタ１２１０およびコメント１２２０）を表示させている。これによって、ユーザは、実空間の位置または実空間にあるオブジェクトに対するアノテーションを視認することができる。

図８には、マージビューの第２の例が示されている。図示された例では、ディスプレイ２３０が、他のレンズ部分２３１を通して視認される実空間の像に連続するように、実空間の画像２３００を表示させる。画像２３００には、アノテーション（ポインタ１２１０およびコメント１２２０）がさらに表示される。これによって、ユーザは、上記の図７の例と同様に、実空間の位置または実空間にあるオブジェクトに対するアノテーションを視認することができる。

上記のようなマージビューの表示にあたっては、例えばアノテーションの対象になる実空間の位置を特定するために、上述したような空間情報が利用されうる。例えば、空間情報を利用してウェアラブル端末２００から対象となる実空間の位置や物体までの距離を算出できれば、両眼のディスプレイ２３０に表示されるアノテーションの表示に適切なディスパリティを設定することができる。さらに、カメラ２６０が撮像した実空間の画像と、ユーザによって視認される実空間の像との位置を整合させるために、後述するキャリブレーションの手順が予め実行されてもよい。

（３−２．カメラビュー）
図９は、本開示の一実施形態に係るウェアラブル端末におけるカメラビューの例を示す図である。図示された例では、ディスプレイ２３０の領域において、他のレンズ部分２３１を通して視認される実空間の像とは独立して、カメラ２６０によって撮像された実空間の画像２３００が表示され、画像２３００に実空間の位置または実空間のオブジェクトに対するアノテーション（ポインタ１２１０およびコメント１２２０）が表示されている。このとき、ディスプレイ２３０の表示は、周囲の実空間の像にかかわらず、カメラ２６０の撮像画像が表示されている。従って、本明細書では、このようなディスプレイ２３０の表示によって観察されるビューをカメラビューともいう。

図示された例では、上記の図６〜図８の例とは異なり、ディスプレイ２３０がレンズ部分２３１の右上隅に配置されているが、この違いに本質的な意味はなく、ディスプレイ２３０の配置は上記の例と同様であってもよい。ディスプレイ２３０は、レンズ部分２３１を通して視認される実空間の像とは別に、カメラ２６０によって撮像された実空間の画像２３００を表示させる。図示された例の場合、レンズ部分２３１を通して視認される実空間の範囲よりも、カメラ２６０によって撮像される実空間の範囲の方が広い。従って、画像２３００には、レンズ部分２３１を通してユーザが視認しているよりも広い範囲の実空間が表示されている。画像２３００に表示されているアノテーション（ポインタ１２１０およびコメント１２２０）は、レンズ部分２３１を通して視認されている範囲の外側に対して設定されている。

上記のようなカメラビューの表示にあたっては、例えばアノテーションを撮像画像の位置情報に関連付けることも可能であるが、カメラ２６０の位置も刻々と変化することを考慮すると、上述したような空間情報を利用してアノテーションの対象になる実空間の位置を特定することが望ましい。なお、カメラ２６０の撮像画像をそのまま画像２３００として表示する場合には後述するキャリブレーションの手順は不要である。しかしながら、例えば後述するようにマージビューとの間で表示を切り替えたりするような場合にはキャリブレーションの手順が実行されうる。

（３−３．キャリブレーション）
図１０は、本開示の一実施形態におけるウェアラブル端末でのキャリブレーション手順の例を示す図である。図示された例では、ユーザが、他の端末装置２０１に表示されたグラフィックＧを、ウェアラブル端末２００を通して視認する。このとき、レンズ部分２３１に含まれるディスプレイ２３０には所定の位置および形状の基準線２３３０が表示され、ユーザはグラフィックＧが基準線２３３０に一致するように端末装置２０１を移動および回転させる。グラフィックＧが基準線２３３０にほぼ一致したところで、ユーザはウェアラブル端末２００の操作部に対して所定の決定操作を実行する。あるいは、ユーザは端末装置２０１の操作部に対して所定の決定操作を実行し、その情報が端末装置２０１の通信部からサーバ１００、またはサーバ１００を経由してウェアラブル端末２００に伝送されてもよい。

上記の決定操作が実行された場合、ウェアラブル端末２００またはサーバ１００のプロセッサは、ウェアラブル端末２００におけるカメラ２６０の撮像画像の補正パラメータを決定する。この補正パラメータは、カメラ２６０による実空間の撮像画像２６００をどのように変形すれば、ウェアラブル端末２００のユーザが直接視認している実空間の画像に整合し、マージビューにおいて表示可能になるかを示すパラメータである。上記プロセッサは、例えば、ウェアラブル端末２００から提供されている空間情報に基づいて端末装置２０１のディスプレイの実空間における位置および姿勢を特定し、当該位置および姿勢に基づいて補正パラメータを決定する。つまり、上記プロセッサは、ウェアラブル端末２００において視認されている実空間の像に含まれるグラフィックＧの形状またはサイズと、カメラ２６０による撮像画像に含まれるグラフィックＧ’の形状またはサイズとを比較することによって補正パラメータを決定する。

例えば、図示された例のように、ユーザが直接視認するグラフィックＧが基準線２３３０にほぼ一致する正方形であるのに対し、撮像画像２６００に映っている端末装置２０１’に表示されたグラフィックＧ’が台形である場合、グラフィックＧ’が正方形に変換されるように補正パラメータを設定すればよいことになる。また、ユーザが直接視認するグラフィックＧが基準線２３３０にほぼ一致してディスプレイ２３０の中央付近に位置するのに対し、撮像画像２６００に映っているグラフィックＧ’が中央からずれていれば、グラフィックＧ’が中央に移動されるように補正パラメータを設定すればよいことになる。

上記のようなキャリブレーションの手順は、例えばウェアラブル端末２００のディスプレイ２３０とカメラ２６０との位置関係がほぼ固定されており、またディスプレイ２３０とユーザの視点との位置関係の個人差も無視できるような場合には必ずしも必要ではない。ただし、例えばカメラ２６０の位置や角度が可変であって、ディスプレイ２３０とカメラ２６０との位置関係が変化しうる場合や、上記の個人差が無視できないような場合には、キャリブレーションの手順が有効である。

なお、キャリブレーションに用いられるグラフィックＧは、必ずしも端末装置に電子的に表示されなくてもよい。例えば、グラフィックＧは紙などに印刷されていてもよい。また、グラフィックＧの形状やサイズも、方向や角度を識別できるものであればどのようなものであってもよい。上記の例では、グラフィックＧが基準線２３３０に一致するように、ユーザがグラフィックＧを表示する（印刷される場合も含む）媒体を移動および回転させたが、他の例では、グラフィックＧを表示する媒体は固定されており、グラフィックＧが基準線２３３０に一致するように、ウェアラブル端末２００を装着したユーザが移動してもよい。

（４．タブレット端末での表示例）
次に、図１１を参照して、本開示の一実施形態におけるタブレット端末での表示例について説明する。

図１１は、本開示の一実施形態に係るタブレット端末におけるマージビューの例を示す図である。図示された例では、タブレット端末３００のディスプレイ３３０に、タブレット端末３００の向こう側に視認される実空間の像に連続した画像１３００が表示されている（透過している場合を含む）状態で、ディスプレイ３３０に実空間の位置または実空間のオブジェクトに対するアノテーション１３１０が表示されている。画像１３００に含まれる実空間の像は、例えばタブレット端末３００のカメラ（背面側にあるため図示していない）による撮像画像を加工することによって表示されてもよい。あるいは、実空間の像は、ディスプレイ３３０が背面側の実空間の像を透過させることによって表示されてもよい。

なお、図示された例において、アノテーション１３１０は、実空間に存在するリンゴに対して表示され、リンゴの成分を示している。このリンゴについては、タブレット端末３００の向こう側に見えているリンゴの像ＡＰＰＬＥ＿Ａに連続するように、ディスプレイ３３０の画像１３００にリンゴの画像ＡＰＰＬＥ＿Ｂが表示されている。このようなタブレット端末３００における表示によって観察されるビューも、ディスプレイ３３０の表示が周囲の実空間の像に没入されているため、上記のウェアラブル端末２００の例と同様にマージビューであるといえる。

一方、図示していないが、タブレット端末３００のディスプレイ３３０に、タブレット端末３００の向こう側に視認される実空間の像とは独立して、タブレット端末３００のカメラによって撮像された実空間の画像を表示する場合、タブレット端末３００における表示によって観察されるビューはカメラビューであるといえる。この場合、例えば、タブレット端末３００の向こう側に視認される実空間において、ユーザの平均的な視野角に基づいて視認可能範囲が推定されてもよい。例えばタブレット端末３００のカメラによって撮像される実空間の範囲が推定される視認可能範囲よりも広い場合や、空間情報の利用によって実空間の位置にアノテーションが関連付けられうる場合、視認可能範囲の外にアノテーションが設定される場合がありうる。

なお、タブレット端末３００の場合も、上記のウェアラブル端末２００の場合と同様にキャリブレーションの手順を実行することが可能である。タブレット端末３００は、例えばユーザが実空間に対してかざすことによってマージビュー可能なディスプレイとして機能するため、ユーザの視点とディスプレイ３３０との位置関係はウェアラブル端末２００の場合よりも多様に変化しうる。従って、タブレット端末３００によってマージビューを可能にする場合は、上述したキャリブレーションの手順が有効でありうる。

（５．マージビューとカメラビューとの切り替え）
次に、図１２〜図１５を参照して、本開示の一実施形態におけるマージビューとカメラビューとの切り替えについて説明する。マージビューとカメラビューは、上記の例で説明したように、例えばウェアラブル端末２００のディスプレイ２３０の表示によって提供される２種類のビューである。なお、以下の例では、例としてウェアラブル端末２００のディスプレイ２３０によるマージビューとカメラビューとの切り替えについて説明するが、本開示の実施形態はこの例には限られない。例えば、上記のようにタブレット端末３００においてもマージビューおよびカメラビューの表示が可能であるため、同様にビューを切り替えることが可能である。

図１２〜図１４は、本開示の一実施形態における切り替え表示の例を示す図である。図１２に示された状態では、ウェアラブル端末２００のディスプレイ２３０に、周囲のレンズ部分２３１を通して視認される実空間の像に連続するように、カメラ２６０の撮像画像を加工した画像２３００ａが表示されている。ここでは、画像２３００ａにアノテーションは表示されていない。例えば撮像画像に対してアノテーションが設定されていない場合は、図示された例のようにマージビューが表示されてもよい。

図１３に示された状態では、カメラ２６０の撮像画像に対して、例えば他の端末装置のユーザまたはサーバ１００によってアノテーションが入力されている。アノテーションの対象になる実空間の位置は、カメラ２６０の撮像画像の範囲には含まれているが、ユーザがレンズ部分２３１を通して直接視認可能な範囲には含まれない。そこで、ウェアラブル端末２００のプロセッサは、ディスプレイ２３０の表示を画像２３００ａから画像２３００ｂに切り替えることによって、表示されるビューをマージビューからカメラビューに変更し、画像２３００ｂにアノテーション１２１１を表示させる。これによって、ユーザは、直接視認可能な範囲にはないアノテーション１２１１を視認することができる。

さらに、図１４に示された状態でも、カメラ２６０の撮像画像に対して、例えば他の端末装置のユーザまたはサーバ１００によってアノテーションが入力されている。アノテーションの対象になる実空間のオブジェクト（ディスプレイ２３０の右下にあるリンゴ）は、カメラ２６０の撮像画像の範囲に含まれているとともに、ユーザがレンズ部分２３１を通して直接視認可能な範囲にも含まれている。そこで、ウェアラブル端末２００のプロセッサは、ディスプレイ２３０の表示を再び画像２３００ａに切り替えることによって、表示されるビューをカメラビューからマージビューに変更し、画像２３００ａにアノテーション（ポインタ１２１０およびコメント１２２０）を表示させる。これによって、ユーザは、直接視認可能な実空間の像の中でアノテーションを視認することができる。

このように、本実施形態では、アノテーションの対象になる実空間の位置またはオブジェクトが視認可能な範囲に含まれるか否かによって、ディスプレイ２３０による表示がマージビューとカメラビューとの間で切り替えられうる。なお、アノテーションの対象になる実空間の位置またはオブジェクトが視認可能な範囲に含まれても、ディスプレイ２３０との位置関係からアノテーションの表示が困難であるような場合には、カメラビューが選択されうる。マージビューとカメラビューとの間の切り替えは、例えばディスプレイ２３０に表示される画像２３００の範囲が徐々に変化するようなアニメーションを伴って表示されてもよい。

また、マージビューとカメラビューとは、上記の例のように自動的に切り替えられてもよいし、ユーザの操作入力に応じて切り替えられてもよい。従って、アノテーションの対象になる実空間の位置またはオブジェクトが視認可能な範囲に含まれてもカメラビューが表示されていてもよいし、アノテーションの対象になる実空間の位置またはオブジェクトが視認可能な範囲に含まれていなかったり、アノテーションが設定されていなくても、カメラビューが表示される場合もありうる。

図１５は、本開示の一実施形態における切り替え表示の別の例を示す図である。図１５の例では、ディスプレイ２３０に表示される画像２３００ａが、画像２３００ｂ，２３００ｃ，２３００ｄへと連続的に変化する。これらの一連の表示によって、画像２３００ａに斜めに映っていた雑誌（ＭＡＧ）に対して正対するとともにズームインした画像２３００ｄが表示される。

ここで、画像２３００ａは、例えば上述したマージビューにおいて表示される画像でありうる。つまり、画像２３００ａは、ディスプレイ２３０の周囲で直接視認される実空間の像に連続した表示であり、視認される実空間では雑誌（ＭＡＧ）が斜めに見えている。一方、カメラ２６０によって撮像される画像を加工することによって、正対するように変形および拡大された雑誌（ＭＡＧ）を表示する画像２３００ｄは、少なくとも雑誌（ＭＡＧ）の表示領域において、ディスプレイ２３０の周囲で直接視認される実空間の像とは独立している。従って、画像２３００ｄは、上述したカメラビューとして表示される画像でありうる。

なお、画像２３００における雑誌（ＭＡＧ）以外の領域は、図示された例のように雑誌（ＭＡＧ）の表示とともに変形および拡大されてもよいし、雑誌（ＭＡＧ）の変形および拡大の影響を受けず、ディスプレイ２３０の周囲で直接視認される実空間の像に連続した表示を維持していてもよい。

上記の例のような表示は、例えば、カメラ２６０の撮像画像に対する画像処理によって雑誌（ＭＡＧ）のようなオブジェクトを認識し、認識されたオブジェクトの姿勢を推定することによって可能になる。カメラ２６０の解像度が十分に高ければ、画像２３００ｄのようにオブジェクトの変形および拡大を実行しても、画像を十分な品質で表示することができうる。

（６．表示可能範囲外にあるアノテーションの表示）
続いて、図１６〜図２５を参照して、本開示の一実施形態における表示可能範囲外にあるアノテーションの表示について説明する。本実施形態では、上記のように、送信側の装置において送信される実空間の画像データに空間情報が付加される。この空間情報を利用すれば、受信側の装置では、送信側の装置で表示されている画像の表示範囲に関わらず、実空間の任意の位置に対してアノテーションを入力することが可能である。

例えば、上述した図７〜図１０の例では、マージビューの表示中に、カメラの撮像画像には含まれるが、ディスプレイの表示領域から離れている（視認可能ではない場合も含む）実空間上の位置またはオブジェクトに対してアノテーションが入力される場合がある。このような場合、アノテーションをディスプレイに表示することは困難である。それゆえ、アノテーションは、マージビューが自動的に、またはユーザの操作入力に応じてカメラビューに切り替えられるか、カメラおよび／またはディスプレイの位置を移動させることによってディスプレイに表示されることになる。

上記の場合、自動的にマージビューがカメラビューに切り替わる場合を別にすれば、送信側の装置（以下、例としてウェアラブル端末２００とする）のユーザがアノテーションの存在を知らないと、アノテーションが画像２３００の表示範囲に含まれることなく時間が経過してしまう可能性がある。アノテーションは、例えばその時にユーザにとって必要な情報を表示することも多いため、アノテーションの存在はウェアラブル端末２００のユーザに知らされる方が望ましい。

そこで、本実施形態では、以下の例に示すように、表示可能範囲外にあるアノテーションに関する情報が表示されうる。これらの情報の表示もまたアノテーションの一種であるが、以下の説明では、表示可能範囲外の位置またはオブジェクトに対して設定された情報を特にアノテーションと呼んで区別する場合がある。このような表示がされることによって、ウェアラブル端末２００のユーザは、マージビューを表示するかカメラビューを表示させるか、またはカメラおよび／もしくはディスプレイをどの方向に移動させるかを判断することが容易になる。これらの表示のための表示制御は、例えばアノテーションを表示させる装置（例えばウェアラブル端末２００やタブレット端末３００など）のプロセッサで実行されてもよいし、これらの装置における視認可能範囲外を認識しているサーバ１００のプロセッサによって実行されてもよい。

（第１の例）
図１６〜図１８は、本開示の一実施形態における表示可能範囲外にあるアノテーションの表示の第１の例を示す図である。

図１６は、アノテーションが画像２３００に表示可能である場合の表示例を示す。この場合、アノテーションは、テーブルの上に置かれたカップ（ＣＵＰ）を対象として表示され、ポインタ１２１０と、コメント１２２０とを含む。

図１７は、アノテーションの対象であるカップ（ＣＵＰ）が画像２３００に表示可能ではない場合の表示例を示す。この場合、図１６に示したようなアノテーションの代わりに、アノテーションの対象が存在する方向を示す方向表示１２３０が表示されうる。方向表示１２３０は、例えば、ウェアラブル端末２００が取得している空間情報に基づいて、画像２３００の表示範囲とアノテーションの対象との位置関係を特定することによって表示可能になる。また、このとき、アノテーションのうちのコメント１２２０が、方向表示１２３０とともに表示されてもよい。コメント１２２０は、アノテーションの内容または種類などを示す情報であるため、ポインタ１２１０ではなく方向表示１２３０とともに表示されても有用である。

図１８は、ウェアラブル端末２００のユーザが方向表示１２３０に応じてカメラ２６０の向きを変えたことなどによって画像２３００の表示範囲が移動し、アノテーションの一部が画像２３００に表示可能になった場合の表示例を示す。この場合、アノテーションの全部が画像２３００に表示可能でなくても、ポインタ１２１０の一部とコメント１２２０とがアノテーションとして表示されてもよい。

（第２の例）
図１９および図２０は、本開示の一実施形態における表示可能範囲外にあるアノテーションの表示の第２の例を示す図である。この第２の例では、表示可能範囲外にアノテーションの対象が存在することに加えて、アノテーションの対象までの距離が表示される。

図１９は、表示可能範囲からアノテーションの対象までの距離が異なる２つの画像に対する表示の例を示す図である。この例では、ディスプレイ２３００の表示可能範囲外にアノテーションが存在することが、円１２４０によって表示される。円１２４０は、図２０にも示すように、アノテーションの対象からディスプレイ２３００の表示範囲までの距離に応じた半径で表示される。図２０Ａに示されるように、アノテーションの対象から表示範囲（画像２３００ａ）までの距離が大きい場合、より大きい半径ｒ_１の円１２４０ａが表示される。また、図２０Ｂに示されるように、アノテーションの対象から表示範囲（画像２３００ｂ）までの距離が小さい場合、より小さい半径ｒ_２の円１２４０ｂが表示される。円１２４０の半径ｒは、アノテーションの対象までの距離に応じて連続的に設定されてもよいし、段階的に設定されてもよい。また、図１９に示されるように、円１２４０とともに、アノテーションのうちのコメント１２２０が表示されてもよい。

このように円１２４０を表示することによって、例えば、画像２３００を見ているユーザが、表示可能範囲外にアノテーションが存在することだけではなく、画像２３００の表示範囲をどの方向にどの程度移動させればアノテーションが表示されるかを直感的に把握することができうる。

（第３の例）
図２１および図２２は、本開示の一実施形態における表示可能範囲外にあるアノテーションの表示の第３の例を示す図である。

図２１は、アノテーションの対象であるリンゴ（ＡＰＰＬＥ）が画像２３００の外にあり、かつ視認可能範囲にも含まれない場合の表示例を示す。この場合、図１７の例と同様の方向表示１２５０とともに、対象のアイコン１２５１が表示されうる。アイコン１２５１は、例えば現在または過去においてカメラ２６０が撮像した画像にリンゴ（ＡＰＰＬＥ）が含まれる場合、サーバ１００またはウェアラブル端末２００のプロセッサがカメラ２６０によって撮像された画像からリンゴＡＰＰＬＥの部分を切り出すことによって生成されうる。この場合、アイコン１２５１は、カメラ２６０が取得するフレーム画像の変化に応じて変化する必要はなく、例えば静止画であってよい。あるいは、リンゴＡＰＰＬＥがオブジェクト認識されている場合であれば、カメラ２６０が撮像した画像に関係なく、リンゴを表すイラストや写真がアイコン１２５１として表示されてもよい。また、このとき、アノテーションのうちのコメント１２２０が、方向表示１２５０およびアイコン１２５１とともに表示されてもよい。

図２２は、ウェアラブル端末２００のユーザが方向表示１２５０に応じてカメラ２６０の向きを変えたことなどによって画像２３００の表示範囲が移動し、アノテーションの一部が画像２３００に表示可能になった場合の表示例を示す。この場合、方向表示１２５０およびアイコン１２５１の表示が終了し、図１８の例と同様にポインタ１２１０の一部とコメント１２２０とがアノテーションとして表示されてもよい。

このようにアイコン１２５１を表示することによって、例えば、画像２３００を見ているユーザが、表示可能範囲外（視認可能範囲外でもありうる）にアノテーションが存在することだけではなく、アノテーションの対象が何であるかを把握することができ、すぐに見るか、後で見るかといった行動の決定が容易になりうる。

（第４の例）
図２３は、本開示の一実施形態における表示可能範囲外にあるアノテーションの表示の第４の例を示す図である。図示された例では、アノテーションの対象であるリンゴ（ＡＰＰＬＥ）が画像２３００の外にある場合に、リンゴにより近い画像２３００の端部分１２６０が光る。例えば、画像２３００ａでは、リンゴが画面の右下の方向にあるため、右下の端部分１２６０ａが光る。また、画像２３００ｂでは、リンゴが画面の左上の方向にあるため、左上の端部分１２６０ｂが光る。画像２３００ｃでは、リンゴが画面の左下の方向にあるため、左下の端部分１２６０ｃが光る。

上記の例において、端部分１２６０の領域は、画像２３００からみてアノテーションの対象が存在する方向に基づいて設定されうる。図には斜め方向の例が示されているが、他の例では、リンゴが画像２３００の左方向にある場合に、左の端部分１２６０が光ってもよい。この場合、端部分１２６０は、画像２３００の左側の辺の全体であってもよい。また、アノテーションの対象が斜め方向に存在し、画像２３００の角を含む端部分１２６０が光る場合、角を挟んだ端部分１２６０の縦部分と横部分の比率は、アノテーションの対象が存在する方向の角度に応じて設定されてもよい。この場合、例えば、より上に近い左上に対象が存在すれば端部分１２６０の縦部分（画像２３００の左辺に沿う）よりも横部分（画像２３００の上辺に沿う）が長くなりうる。逆に、より左に近い左上に対象が存在すれば端部分１２６０の横部分（画像２３００の上辺に沿う）よりも縦部分（画像２３００の左辺に沿う）が長くなりうる。また、別の例において、端部分１２６０は光る代わりに所定の色（透過色でありうる）で着色されてもよい。

このように、端部分１２６０の表示の変化によって表示可能範囲外にアノテーションが存在することを通知する場合、例えば矢印などによる別途の方向表示をしなくてもよいため、画像２３００の表示を邪魔することなくアノテーションの存在を通知することができる。

（第５の例）
図２４は、本開示の一実施形態における表示可能範囲外にあるアノテーションの表示の第５の例を示す図である。図示された例では、アノテーションとしてコメント１２２０が表示されている。しかし、コメント１２２０は横に長いため、画像２３００には表示しきれていない。図では、これによって生じる非表示部分１２２１も示されている。この場合のコメント１２２０の非表示部分１２２１も、表示可能範囲外にあるアノテーションであるといえる。この非表示部分１２２１の存在を示すために、コメント１２２０が画像２３００の端部に当接した部分に発光領域１２８０が表示される。

ここで、発光領域１２８０の長さは、非表示部分１２２１の長さ（例えば長さ方向のピクセル数などで表現されてもよく、コメント１２２０の表示部分との比率や他の非表示部分１２２１との比率によって表現されてもよい）に応じて設定されうる。図示された例では、コメント１２２０ａの非表示部分１２２１ａについて発光領域１２８０ａが表示され、コメント１２２０ｂの非表示部分１２２１ｂについて発光領域１２８０ｂが表示されるが、非表示部分１２２１ａよりも非表示部分１２２１ｂの方が長いことを反映して、発光領域１２８０ａよりも発光領域１２８０ｂの方が長く表示されてもよい。

このように、発光領域１２８０の表示によって表示可能範囲外にアノテーションが存在することを通知する場合、アノテーションであるコメント１２２０の内部で表示を完結させることができるため、画像２３００の表示を邪魔することなくアノテーションの存在を通知することができる。また、非表示部分１２２１の長さに応じて発光領域１２８０の長さが設定される場合、コメント１２２０が全体としてどのくらいの長さであるかがユーザに直感的に把握されるため、すぐに見るか、後で見るかといった行動の決定が容易になる。なお、コメント１２２０の非表示部分１２２１を画像２３００の表示に含めようとする場合、例えば画像２３００の表示範囲を移動させてもよいし、あるいはコメント１２２０を画像２３００の内側（図示された例のコメント１２２０ａであれば左側、コメント１２２０ｂであれば右側）にドラッグしてもよい。

（第６の例）
図２５は、本開示の一実施形態における表示可能範囲外にあるアノテーションの表示の第６の例を示す図である。図示された例では、道案内で方向を示す矢印のアノテーション１２１０が表示されている。このアノテーション１２１０は、例えばユーザが画像２３００ｂを見ている場合には視認可能であるが、画像２３００ａを見ている場合には視認可能ではない。そこで、ユーザが画像２３００ａを見ている場合には、アノテーション１２１０の影１２９０が表示されうる。影１２９０が表示されることによって、画像２３００ａを見ているユーザは、画面の上方の外にアノテーションが存在することを認識することができる。

その後、ユーザが画像２３００ｂを見るようになった場合、影１２９０の表示は終了してもよいし、継続されてもよい。影１２９０がアノテーション１２１０とともに継続して表示される場合、影１２９０が表示されることによって、ユーザは空中に配置されたアノテーション１２１０の奥行き方向の位置を認識することが容易になりうる。

このように影１２９０を表示することによって、仮想的な光源の方向による制約はあるものの、違和感のない表示によってユーザにアノテーションの存在を通知することができる。

（７．補足）
本開示の実施形態は、例えば、上記で説明したような表示制御装置（サーバまたはクライアント）、システム、画像処理装置またはシステムで実行される表示制御方法、表示制御装置を機能させるためのプログラム、およびプログラムが記録された一時的でない有形の媒体を含みうる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）端末装置の表示部を制御して前記端末装置が存在する実空間の像を表示させる表示制御部を備え、
前記表示制御部は、前記表示部に表示させる画像を、前記表示部以外の領域で視認される前記実空間の像との間に連続性を有する第１の画像、または前記実空間の撮像画像に基づいて生成され前記表示部以外の領域で視認される前記実空間の像とは独立した第２の画像から選択する表示制御装置。
（２）前記第２の画像は、前記第１の画像よりも広い前記実空間の範囲を含み、
前記表示制御部は、前記撮像画像に対して設定される仮想オブジェクトが配置される前記実空間の位置が前記第１の画像の範囲に含まれる場合には前記仮想オブジェクトを含む前記第１の画像を前記表示部に表示させ、前記仮想オブジェクトが配置される前記実空間の位置が前記第１の画像の範囲には含まれず前記第２の画像の範囲には含まれる場合には前記仮想オブジェクトを含む前記第２の画像を前記表示部に表示させる、前記（１）に記載の表示制御装置。
（３）前記表示制御部は、前記表示部において透過される前記実空間の像に前記仮想オブジェクトを重畳させることによって前記第１の画像を表示させる、前記（２）に記載の表示制御装置。
（４）前記表示制御部は、前記撮像画像を前記表示部以外の領域で視認される前記実空間の像に整合するように変形した画像に前記仮想オブジェクトを加えた画像を前記第１の画像として表示させる、前記（２）に記載の表示制御装置。
（５）前記表示制御部は、前記仮想オブジェクトが設定されていない場合には前記第１の画像を前記表示部に表示させる、前記（２）に記載の表示制御装置。
（６）前記表示制御部は、前記表示部において前記実空間の像を透過させることによって前記第１の画像を表示させる、前記（１）に記載の表示制御装置。
（７）前記表示制御部は、前記撮像画像を前記表示部以外の領域で視認される前記実空間の像に整合するように変形した画像を前記第１の画像として表示させる、前記（１）に記載の表示制御装置。
（８）前記表示部は、前記実空間の像を透過させることが可能であり、
前記表示制御部は、前記実空間に存在するグラフィックを前記表示部を透過して視認した場合の第１の形状と前記撮像画像に含まれる前記グラフィックの第２の形状とを比較することによって、前記撮像画像を前記実空間の像に整合させるためにどのように変形するかを決定する、前記（７）に記載の表示制御装置。
（９）前記表示制御部は、固定された前記第１の形状を示す基準線を前記表示部に表示させ、前記表示部を透過して視認される前記グラフィックが前記基準線に合わせられた場合に前記第１の形状と前記第２の形状とを比較する、前記（８）に記載の表示制御装置。
（１０）前記端末装置におけるユーザ操作に基づく情報を取得する操作取得部をさらに備え、
前記表示制御部は、前記ユーザ操作に応じて前記第１の画像または前記第２の画像のいずれかを前記表示部に表示させる、前記（１），（６）〜（９）のいずれか１項に記載の表示制御装置。
（１１）前記第２の画像は、前記第１の画像よりも広い前記実空間の範囲を含み、
前記表示制御部は、前記第１の画像が前記表示部に表示されていて、前記撮像画像に対して設定される仮想オブジェクトが配置される前記実空間の位置が前記第１の画像の範囲に含まれず前記第２の画像の範囲には含まれる場合に、前記仮想オブジェクトの存在を示す通知を前記第１の画像に表示させる、前記（１０）に記載の表示制御装置。
（１２）前記表示制御部は、前記仮想オブジェクトの全部が前記第１の画像の範囲の外にある場合に前記通知を表示させる、前記（１１）に記載の表示制御装置。
（１３）前記通知は、前記第１の画像の範囲から見て前記仮想オブジェクトが存在する方向を示す表示を含む、前記（１２）に記載の表示制御装置。
（１４）前記通知は、前記第１の画像の範囲と前記仮想オブジェクトとの間の距離を示す表示を含む、前記（１３）に記載の表示制御装置。
（１５）前記仮想オブジェクトは、前記仮想オブジェクトが配置される前記実空間の位置を示すポインタと、前記位置に関する情報とを含み、
前記通知は、前記情報を含む、前記（１２）に記載の表示制御装置。
（１６）前記通知は、前記撮像画像から抽出された、前記仮想オブジェクトが配置される前記実空間の位置の前記実空間の画像を含む、前記（１２）に記載の表示制御装置。
（１７）前記第２の画像は、前記実空間に存在する実オブジェクトを基準にして前記撮像画像を拡大した画像である、前記（１），（６）〜（１０）のいずれか１項に記載の表示制御装置。
（１８）前記表示制御部は、前記第１の画像の少なくとも前記実オブジェクトを含む部分を前記実オブジェクトに対して正対するように変形および拡大することによって前記第２の画像を生成する、前記（１７）に記載の表示制御装置。
（１９）端末装置の表示部を制御して前記端末装置が存在する実空間の像を表示させるプロセッサが、
前記表示部に表示させる画像を、前記表示部以外の領域で視認される前記実空間の像との間に連続性を有する第１の画像、または前記実空間の撮像画像に基づいて生成され前記表示部以外の領域で視認される前記実空間の像とは独立した第２の画像から選択すること
を含む表示制御方法。
（２０）端末装置の表示部を制御して前記端末装置が存在する実空間の像を表示させるコンピュータに、
前記表示部に表示させる画像を、前記表示部以外の領域で視認される前記実空間の像との間に連続性を有する第１の画像、または前記実空間の撮像画像に基づいて生成され前記表示部以外の領域で視認される前記実空間の像とは独立した第２の画像から選択する機能
を実現させるためのプログラム。

１０ システム
１００ サーバ
２００，３００，４００，５００，６００，７００ クライアント
９００ 装置
９１０ プロセッサ
９２０ メモリ
９３０ 表示部
９４０ 操作部
９５０ 通信部
９６０ 撮像部
９７０ センサ

Claims (20)

1. 端末装置の表示部を制御して前記端末装置が存在する実空間の像を表示させる表示制御部を備え、
   前記表示制御部は、前記表示部に表示させる画像を、前記表示部以外の領域で視認される前記実空間の像との間に連続性を有する第１の画像、または前記実空間の撮像画像に基づいて生成され前記表示部以外の領域で視認される前記実空間の像とは独立した第２の画像から選択する表示制御装置。
2. 前記第２の画像は、前記第１の画像よりも広い前記実空間の範囲を含み、
   前記表示制御部は、前記撮像画像に対して設定される仮想オブジェクトが配置される前記実空間の位置が前記第１の画像の範囲に含まれる場合には前記仮想オブジェクトを含む前記第１の画像を前記表示部に表示させ、前記仮想オブジェクトが配置される前記実空間の位置が前記第１の画像の範囲には含まれず前記第２の画像の範囲には含まれる場合には前記仮想オブジェクトを含む前記第２の画像を前記表示部に表示させる、請求項１に記載の表示制御装置。
3. 前記表示制御部は、前記表示部において透過される前記実空間の像に前記仮想オブジェクトを重畳させることによって前記第１の画像を表示させる、請求項２に記載の表示制御装置。
4. 前記表示制御部は、前記撮像画像を前記表示部以外の領域で視認される前記実空間の像に整合するように変形した画像に前記仮想オブジェクトを加えた画像を前記第１の画像として表示させる、請求項２に記載の表示制御装置。
5. 前記表示制御部は、前記仮想オブジェクトが設定されていない場合には前記第１の画像を前記表示部に表示させる、請求項２に記載の表示制御装置。
6. 前記表示制御部は、前記表示部において前記実空間の像を透過させることによって前記第１の画像を表示させる、請求項１に記載の表示制御装置。
7. 前記表示制御部は、前記撮像画像を前記表示部以外の領域で視認される前記実空間の像に整合するように変形した画像を前記第１の画像として表示させる、請求項１に記載の表示制御装置。
8. 前記表示部は、前記実空間の像を透過させることが可能であり、
   前記表示制御部は、前記実空間に存在するグラフィックを前記表示部を透過して視認した場合の第１の形状と前記撮像画像に含まれる前記グラフィックの第２の形状とを比較することによって、前記撮像画像を前記実空間の像に整合させるためにどのように変形するかを決定する、請求項７に記載の表示制御装置。
9. 前記表示制御部は、固定された前記第１の形状を示す基準線を前記表示部に表示させ、前記表示部を透過して視認される前記グラフィックが前記基準線に合わせられた場合に前記第１の形状と前記第２の形状とを比較する、請求項８に記載の表示制御装置。
10. 前記端末装置におけるユーザ操作に基づく情報を取得する操作取得部をさらに備え、
    前記表示制御部は、前記ユーザ操作に応じて前記第１の画像または前記第２の画像のいずれかを前記表示部に表示させる、請求項１に記載の表示制御装置。
11. 前記第２の画像は、前記第１の画像よりも広い前記実空間の範囲を含み、
    前記表示制御部は、前記第１の画像が前記表示部に表示されていて、前記撮像画像に対して設定される仮想オブジェクトが配置される前記実空間の位置が前記第１の画像の範囲に含まれず前記第２の画像の範囲には含まれる場合に、前記仮想オブジェクトの存在を示す通知を前記第１の画像に表示させる、請求項１０に記載の表示制御装置。
12. 前記表示制御部は、前記仮想オブジェクトの全部が前記第１の画像の範囲の外にある場合に前記通知を表示させる、請求項１１に記載の表示制御装置。
13. 前記通知は、前記第１の画像の範囲から見て前記仮想オブジェクトが存在する方向を示す表示を含む、請求項１２に記載の表示制御装置。
14. 前記通知は、前記第１の画像の範囲と前記仮想オブジェクトとの間の距離を示す表示を含む、請求項１３に記載の表示制御装置。
15. 前記仮想オブジェクトは、前記仮想オブジェクトが配置される前記実空間の位置を示すポインタと、前記位置に関する情報とを含み、
    前記通知は、前記情報を含む、請求項１２に記載の表示制御装置。
16. 前記通知は、前記撮像画像から抽出された、前記仮想オブジェクトが配置される前記実空間の位置の前記実空間の画像を含む、請求項１２に記載の表示制御装置。
17. 前記第２の画像は、前記実空間に存在する実オブジェクトを基準にして前記撮像画像を拡大した画像である、請求項１に記載の表示制御装置。
18. 前記表示制御部は、前記第１の画像の少なくとも前記実オブジェクトを含む部分を前記実オブジェクトに対して正対するように変形および拡大することによって前記第２の画像を生成する、請求項１７に記載の表示制御装置。
19. 端末装置の表示部を制御して前記端末装置が存在する実空間の像を表示させるプロセッサが、
    前記表示部に表示させる画像を、前記表示部以外の領域で視認される前記実空間の像との間に連続性を有する第１の画像、または前記実空間の撮像画像に基づいて生成され前記表示部以外の領域で視認される前記実空間の像とは独立した第２の画像から選択すること
    を含む表示制御方法。
20. 端末装置の表示部を制御して前記端末装置が存在する実空間の像を表示させるコンピュータに、
    前記表示部に表示させる画像を、前記表示部以外の領域で視認される前記実空間の像との間に連続性を有する第１の画像、または前記実空間の撮像画像に基づいて生成され前記表示部以外の領域で視認される前記実空間の像とは独立した第２の画像から選択する機能
    を実現させるためのプログラム。
    

Images