JP6304241B2 - 表示制御装置、表示制御方法およびプログラム - Google Patents

表示制御装置、表示制御方法およびプログラム Download PDF

Info

Publication number
JP6304241B2
JP6304241B2 JP2015509967A JP2015509967A JP6304241B2 JP 6304241 B2 JP6304241 B2 JP 6304241B2 JP 2015509967 A JP2015509967 A JP 2015509967A JP 2015509967 A JP2015509967 A JP 2015509967A JP 6304241 B2 JP6304241 B2 JP 6304241B2
Authority
JP
Japan
Prior art keywords
display
image
real space
annotation
virtual object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015509967A
Other languages
English (en)
Other versions
JPWO2014162825A1 (ja
Inventor
俊一 笠原
俊一 笠原
暦本 純一
純一 暦本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2014162825A1 publication Critical patent/JPWO2014162825A1/ja
Application granted granted Critical
Publication of JP6304241B2 publication Critical patent/JP6304241B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004Annotating, labelling

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Description

本開示は、表示制御装置、表示制御方法およびプログラムに関する。
近年、実世界に付加的な情報を重畳してユーザに提示する拡張現実(AR:Augmented Reality)と呼ばれる技術が注目されている。AR技術においてユーザに提示される情報は、アノテーションとも呼ばれ、テキスト、アイコンまたはアニメーションなど様々な形態の仮想的なオブジェクトを用いて可視化されうる。例えば、特許文献1には、こうしたARの仮想オブジェクトの操作を、AR空間へのユーザの没入感を損なうことなく実現するための技術が記載されている。
特開2012−212345号公報
上記の特許文献1などで提案されているAR技術は、未だ開発されてから日が浅く、さまざまな局面でARを活用するための技術が十分に提案されているとはいいがたい。例えば、AR技術を利用したユーザ間のインタラクションを円滑にするための技術も、十分には提案されていないものの一つである。
そこで、本開示では、AR技術を利用したユーザ間のインタラクションをより円滑にすることが可能な、新規かつ改良された表示制御装置、表示制御方法およびプログラムを提案する。
本開示によれば、端末装置の表示部を制御する表示制御部を備え、上記表示制御部は、上記表示部を介して実空間に表示される仮想オブジェクトに関連付けられた上記実空間での位置情報に基づいて上記仮想オブジェクトの表示位置を決定し、上記表示位置に基づいて上記仮想オブジェクトを上記実空間に表示させる制御と、上記仮想オブジェクトの一部または全部が上記実空間の視認可能範囲の外にある場合に上記仮想オブジェクトの存在を示す通知を上記実空間に表示させる制御とを実行する表示制御装置が提供される。
また、本開示によれば、端末装置の表示部を制御するプロセッサが、上記表示部を介して実空間に表示される仮想オブジェクトに関連付けられた上記実空間での位置情報に基づいて上記仮想オブジェクトの表示位置を決定し、上記表示位置に基づいて上記仮想オブジェクトを上記実空間に表示させることと、上記仮想オブジェクトの一部または全部が上記実空間の視認可能範囲の外にある場合に上記仮想オブジェクトの存在を示す通知を上記実空間に表示させることとを含む表示制御方法が提供される。
また、本開示によれば、端末装置の表示部を制御するコンピュータに、上記表示部を介して実空間に表示される仮想オブジェクトに関連付けられた上記実空間での位置情報に基づいて上記仮想オブジェクトの表示位置を決定し、上記表示位置に基づいて上記仮想オブジェクトを上記実空間に表示させる機能と、上記仮想オブジェクトの一部または全部が上記実空間の視認可能範囲の外にある場合に上記仮想オブジェクトの存在を示す通知を上記実空間に表示させる機能とを実現させるためのプログラムが提供される。
以上説明したように本開示によれば、AR技術を利用したユーザ間のインタラクションをより円滑にすることができる。
本開示の一実施形態に係るシステムの概略的な構成を示す図である。 本開示の一実施形態に係る装置の概略的な構成を示す図である。 本開示の一実施形態における撮像画像の共有の例を示す図である。 本開示の一実施形態におけるアノテーション入力の例を示す図である。 本開示の一実施形態における撮像画像の共有の別の例を示す図である。 本開示の一実施形態において利用されうる技術の処理の例を示すフローチャートである。 本開示の一実施形態において利用されうる技術の処理の別の例を示すフローチャートである。 本開示の一実施形態における1人称画像の表示例を示す図である。 本開示の一実施形態における3人称画像の表示例を示す図である。 本開示の一実施形態における3人称画像の表示例を示す図である。 本開示の一実施形態における3人称画像の表示例を示す図である。 本開示の一実施形態における1.3人称画像の表示例を示す図である。 本開示の一実施形態における1.3人称画像について説明するための図である。 本開示の一実施形態における1.3人称画像について説明するための図である。 本開示の一実施形態において異なる視点の画像が同時に表示される例を示す図である。 本開示の一実施形態において異なる視点の画像が同時に表示される例を示す図である。 本開示の一実施形態におけるアノテーション表示の第1の例を示す図である。 本開示の一実施形態におけるアノテーション表示の第2の例を示す図である。 本開示の一実施形態におけるアノテーション表示の第3の例を示す図である。 本開示の一実施形態におけるアノテーション表示の第4の例を示す図である。 本開示の一実施形態におけるアノテーション表示の第5の例を示す図である。 本開示の一実施形態におけるアノテーション表示の第6の例を示す図である。 本開示の一実施形態におけるアノテーションの配置について説明するための図である。 本開示の一実施形態におけるアノテーションの配置の選択の例を示す図である。 本開示の一実施形態における視認可能範囲外にあるアノテーションの表示の第1の例を示す図である。 本開示の一実施形態における視認可能範囲外にあるアノテーションの表示の第1の例を示す図である。 本開示の一実施形態における視認可能範囲外にあるアノテーションの表示の第1の例を示す図である。 本開示の一実施形態における視認可能範囲外にあるアノテーションの表示の第2の例を示す図である。 本開示の一実施形態における視認可能範囲外にあるアノテーションの表示の第2の例を示す図である。 本開示の一実施形態における視認可能範囲外にあるアノテーションの表示の第3の例を示す図である。 本開示の一実施形態における視認可能範囲外にあるアノテーションの表示の第3の例を示す図である。 本開示の一実施形態における視認可能範囲外にあるアノテーションの表示の第4の例を示す図である。 本開示の一実施形態における視認可能範囲外にあるアノテーションの表示の第5の例を示す図である。 本開示の一実施形態における視認可能範囲外にあるアノテーションの表示の第6の例を示す図である。 本開示の一実施形態における視認可能範囲外にあるアノテーションの表示の応用例を示す図である。 本開示の一実施形態における視認可能範囲外にあるアノテーションの表示の応用例を示す図である。 本開示の一実施形態におけるエッジ検出を利用したアノテーション対象物体の表示例を示す図である。 本開示の一実施形態におけるストリーミングフレームのロールバック表示の例を示す図である。 本開示の一実施形態におけるストリーミングフレームのロールバック表示の例を示す図である。 本開示の一実施形態に係る技術を利用して旅行者の視点を共有するアプリケーションの例を示す図である。 本開示の一実施形態に係る技術を利用して登山者の視点を共有するアプリケーションの例を示す図である。 本開示の一実施形態に係る技術を利用して料理をする人の視点を共有するアプリケーションの例を示す図である。 本開示の一実施形態に係る技術を利用して買い物をする人の視点を共有するアプリケーションの例を示す図である。 本開示の一実施形態に係る技術を利用して工作をする人の視点を共有するアプリケーションの例を示す図である。 本開示の一実施形態に係る技術を利用して複数のユーザの視点を切り替えて共有するアプリケーションの例を示す図である。 本開示の一実施形態に係る技術を利用して複数のユーザの視点を切り替えて共有するアプリケーションの例を示す図である。 本開示の一実施形態に係る技術を利用して複数のユーザの視点を切り替えて共有するアプリケーションの例を示す図である。 本開示の一実施形態に係る技術を利用して複数のユーザの視点を切り替えて共有するアプリケーションの例を示す図である。 本開示の一実施形態における入力対象位置と視認可能範囲との関係の表示の第1の例を示す図である。 本開示の一実施形態における入力対象位置と視認可能範囲との関係の表示の第2の例を示す図である。 本開示の一実施形態における入力対象位置と視認可能範囲との関係の表示の第2の例を示す図である。 本開示の一実施形態における入力対象位置と視認可能範囲との関係の表示の第3の例を示す図である。 本開示の一実施形態における入力対象位置と視認可能範囲との関係の表示の第4の例を示す図である。 本開示の一実施形態における身体形状を利用したアノテーション関連表示の第1の例を示す図である。 本開示の一実施形態における身体形状を利用したアノテーション関連表示の第2の例を示す図である。 本開示の一実施形態における身体形状を利用したアノテーション関連表示の第3の例を示す図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.システムおよび装置の構成
1−1.システム構成
1−2.装置構成
2.実空間画像の共有およびインタラクション
2−1.インタラクションの概念
2−2.利用されうる技術
3.可変視点画像の表示の例
4.アノテーションの実空間への表示
4−1.表示例
4−2.アノテーションの配置
5.視認可能範囲外にあるアノテーションの表示
6.その他の表示例
7.アプリケーションの例
8.入力対象位置と視認可能範囲との関係の表示
9.身体形状を利用したアノテーション関連表示
10.補足
(1.システムおよび装置の構成)
(1−1.システム構成)
図1は、本開示の一実施形態に係るシステムの概略的な構成を示す図である。図1を参照すると、システム10は、サーバ100と、クライアント200〜700とを有する。
サーバ100は、単一のサーバ装置、または有線または無線の各種ネットワークで接続されて協働する複数のサーバ装置によって実現される機能の集合体であり、クライアント200〜700にサービスを提供する。
クライアント200〜700は、サーバ100と有線または無線の各種ネットワークで接続された端末装置である。クライアント200〜700は、システム10の中で以下の(1)〜(3)の少なくともいずれかの機能を実現する。
(1)カメラなどの撮像手段を有し、実空間の画像をサーバ100に提供する装置。
(2)ディスプレイなどの表示手段と、タッチパネルなどの操作手段とを有し、(1)の装置から提供された画像をサーバ100から取得し、ユーザの閲覧に供するとともに、ユーザによる画像へのアノテーション入力を受け付ける装置。
(3)ディスプレイなどの表示手段を有し、(2)の装置によって入力が受け付けられたアノテーションを実空間に直接的または間接的に表示させる装置。
クライアント200は、ウェアラブル端末である(以下、単にウェアラブル端末200ともいう)。ウェアラブル端末200は、例えば撮像手段または表示手段のいずれかまたは両方を有し、上記(1)または(3)のいずれかまたは両方の装置として機能する。図示された例においてウェアラブル端末200は眼鏡型であるが、ユーザの身体に装着可能な形状であればこの例には限られない。上記(1)の装置として機能する場合、ウェアラブル端末200は、撮像手段として、例えば眼鏡のフレーム部分に設置されたカメラを有する。このカメラによって、ウェアラブル端末200は、ユーザの視点に近い位置から実空間の画像を取得することができる。取得した画像は、サーバ100に送信される。また、上記(3)の装置として機能する場合、ウェアラブル端末200は、表示手段として、例えば眼鏡のレンズ部分の一部または全部に設置されたディスプレイを有する。ウェアラブル端末200は、上記のカメラによって撮像された画像をこのディスプレイに表示させるとともに、当該画像に対して上記(2)の装置によって入力されたアノテーションを重畳表示させる。あるいは、ディスプレイが透過型である場合、ウェアラブル端末200は、ユーザが直接視認している実世界の像にアノテーションを透過的に重畳表示させてもよい。
クライアント300は、タブレット端末である(以下、単にタブレット端末300ともいう)。タブレット端末300は、少なくとも表示手段および操作手段を有し、例えば上記(2)の装置として機能しうる。タブレット端末300は、さらに撮像手段を有し、上記の(1)または(3)のいずれかまたは両方の装置として機能してもよい。つまり、タブレット端末300は、上記の(1)〜(3)の装置のうちの任意の装置として機能しうる。上記(2)の装置として機能する場合、タブレット端末300は、例えば表示手段としてディスプレイを、操作手段としてディスプレイ上のタッチセンサを有し、上記(1)の装置からサーバ100を介して提供される画像を表示するとともに、当該画像に対するユーザのアノテーション入力を受け付ける。受け付けられたアノテーション入力は、サーバ100を介して上記(3)の装置に提供される。上記(1)の装置として機能する場合、タブレット端末300は、例えば上記のウェアラブル端末200と同様に撮像手段としてカメラを有し、ユーザがタブレット端末300を実空間にかざすことによって、ユーザの視線の延長線上にある実空間の画像を取得することができる。取得した画像は、サーバ100に送信される。上記(3)の装置として機能する場合、タブレット端末300は、上記のカメラによって撮像された画像をディスプレイに表示させるとともに、当該画像に対して上記(2)の装置(例えば他のタブレット端末など)によって入力されたアノテーションを重畳表示させる。あるいは、ディスプレイが透過型である場合、タブレット端末300は、ユーザが直接視認している実世界の像にアノテーションを透過的に重畳表示させてもよい。
クライアント400は、携帯電話(スマートフォン)である(以下、単に携帯電話400ともいう)。なお、システム10における携帯電話400の機能は、タブレット端末300と同様であるため、詳細な説明は省略する。なお、図示していないが、例えば携帯型ゲーム機やデジタルカメラのような装置も、通信手段と表示手段、操作手段または撮像手段とを有していれば、システム10においてタブレット端末300や携帯電話400と同様に機能しうる。
クライアント500は、ラップトップPC(Personal Computer)である(以下、単にラップトップPC500ともいう)。ラップトップPC500は、表示手段および操作手段を有し、上記(2)の装置として機能する。図示された例において、ラップトップPC500は、基本的に固定して使用されるために上記(1)の装置としては機能しない装置の例として扱われている。図示していないが、例えばデスクトップPCやテレビなども、ラップトップPC500と同様に機能しうる。ラップトップPC500は、表示手段としてディスプレイを、操作手段としてマウスやキーボードを有し、上記(1)の装置からサーバ100を介して提供される画像を表示するとともに、当該画像に対するユーザのアノテーション入力を受け付ける。受け付けられたアノテーション入力は、サーバ100を介して上記(3)の装置に提供される。また、ラップトップPC500は、上記(3)の装置として機能することも可能である。この場合、ラップトップPC500は、自ら撮像した実空間の画像にアノテーションを重畳表示させるのではなく、後述する例のように、実空間の一部となってアノテーションを表示する。なお、このようなアノテーションの表示は、上記のタブレット端末300や携帯電話400などでも可能である。
クライアント600は、固定カメラである(以下、単に固定カメラ600ともいう)。固定カメラ600は、撮像手段を有し、上記(1)の装置として機能する。図示された例において、固定カメラ600は、固定して使用され、かつ表示手段を有さないために上記(2)および(3)の装置としては機能しない装置の例として扱われている。図示していないが、例えばデスクトップPCやテレビに画面の前を映すカメラが設けられている場合や、デジタルカメラのような移動可能な装置が三脚などに一時的に固定されている場合も、これらの装置は固定カメラ600と同様に機能しうる。固定カメラ600は、撮像手段としてカメラを有し、固定された視点(カメラが自動的に、または撮像画像を閲覧するユーザの操作に応じてスイングするような場合も含む)から実空間の画像を取得することができる。取得した画像は、サーバ100に送信される。
クライアント700は、プロジェクタである(以下、単にプロジェクタ700ともいう)。プロジェクタ700は、表示手段として投影装置を有し、上記(3)の装置として機能する。図示された例において、プロジェクタ700は、撮像手段を有さず、また表示(投影)した画像に対する入力を受け付ける操作手段も有さないため、上記(1)および(2)の装置としては機能しない装置の例として扱われている。プロジェクタ700は、投影装置を用いてスクリーンやオブジェクトの表面に画像を投影することによって、実空間にアノテーションを表示させる。なお、プロジェクタ700は、固定型のものが図示されているが、ハンドヘルド型のものであってもよい。
以上、本開示の一実施形態に係るシステムについて説明した。図1に示されたように、本実施形態に係るシステム10は、実空間の画像を取得可能な装置(ウェアラブル端末200、タブレット端末300、携帯電話400、固定カメラ600)と、実空間の画像をユーザの閲覧に供するとともにユーザによる画像へのアノテーション入力を受け付けることが可能な装置(タブレット端末300、携帯電話400、ラップトップPC500)と、アノテーションを実空間に直接的または間接的に表示させる装置(ウェアラブル端末200、タブレット端末300、携帯電話400、ラップトップPC500、プロジェクタ700)とを含みうる。
サーバ100は、上記の各装置と協働することによって、実空間の画像を取得し、その画像をユーザ(例えば上記実空間にはいないユーザでありうる)の閲覧に供するとともにユーザによる画像へのアノテーション入力を受け付け、入力されたアノテーションを上記実空間に直接的または間接的に表示させる機能を実現する。このような機能によって、例えば、第1のユーザがいる実空間の画像を第2のユーザが閲覧し、第2のユーザが画像に対して加えたアノテーションが上記実空間に直接的または間接的に表示されて第1のユーザによって視認されるといったような、AR技術を利用したユーザ間のインタラクションが可能になる。
上記のようなシステム10において表示されるAR画像(例えば、実空間にアノテーションが表示された画像)の具体的な例については後述する。図示された例のシステム10において、AR画像を構成するための画像処理は、主にサーバ100で実行される。しかし、他の例では、画像処理の一部または全部が、例えば実空間にアノテーションを表示させる上記(3)の装置や、実空間の画像を表示するとともにアノテーション入力を受け付ける上記(2)の装置などで実行されてもよい。
(1−2.装置構成)
図2は、本開示の一実施形態に係る装置の概略的な構成を示す図である。図2を参照すると、装置900は、プロセッサ910、およびメモリ920を含む。装置900は、さらに、表示部930、操作部940、通信部950、撮像部960、またはセンサ970を含みうる。これらの構成要素は、バス980によって相互に接続される。装置900は、例えば、上記のサーバ100を構成するサーバ装置、およびクライアント200〜700を実現しうる。
プロセッサ910は、例えばCPU(Central Processing Unit)またはDSP(Digital Signal Processor)といったような各種のプロセッサであり、例えばメモリ920に格納されたプログラムに従って演算や制御などの動作を実行することによって各種の機能を実現する。プロセッサ910は、例えば上記のサーバ100およびクライアント200〜700の装置全体の制御機能を実現する。プロセッサ910は、例えばサーバ100において、後述する例のようなAR画像の表示を実現するための画像処理を実行する。また、プロセッサ910は、例えばサーバ100、ウェアラブル端末200、タブレット端末300、携帯電話400、ラップトップPC500、またはプロジェクタ700において、後述する例のようなAR画像の表示を実現するための表示制御を実行する。
メモリ920は、半導体メモリまたはハードディスクなどの記憶媒体によって構成され、装置900による処理のためのプログラムおよびデータを格納する。メモリ920は、例えば、撮像部960によって取得された撮像画像データや、センサ970によって取得されたセンサデータを格納してもよい。なお、本明細書で説明するプログラムおよびデータの一部は、メモリ920に格納されることなく、外部のデータソース(例えばデータサーバ、ネットワークストレージまたは外付けメモリなど)から取得されてもよい。
表示部930は、例えば上述した表示手段を有するクライアントに設けられる。表示部930は、例えば装置900の形状に応じたディスプレイでありうる。例えば、上記の例でいえば、ウェアラブル端末200は、例えば眼鏡のレンズ部分に対応した形状のディスプレイを有しうる。また、タブレット端末300や携帯電話400、ラップトップPC500は、それぞれの筐体に設けられる平板型のディスプレイを有しうる。あるいは、表示部930は、オブジェクトに画像を投影する投影装置であってもよい。上記の例では、プロジェクタ700が表示部として投影装置を有しうる。
操作部940は、例えば、上述した操作手段を有するクライアントに設けられる。操作部940は、例えばディスプレイ上に設けられたタッチセンサ(ディスプレイとあわせてタッチパネルを構成する)やタッチパッド、マウスなどのポインティングデバイスに、必要に応じてキーボード、ボタン、スイッチなどを組み合わせて構成される。操作部940は、例えばポインティングデバイスによって表示部930に表示された画像中の位置を特定し、その位置に対してキーボードやボタン、スイッチなどによって何らかの情報を入力するユーザの操作を受け付ける。あるいは、操作部940は、ポインティングデバイスによって表示部930に表示された画像中の位置を特定し、さらにポインティングデバイスによってその位置に対して何らかの情報を入力するユーザの操作を受け付けてもよい。
通信部950は、装置900による他の装置との間の通信を仲介する通信インターフェースである。通信部950は、任意の無線通信プロトコルまたは有線通信プロトコルをサポートし、他の装置との間の通信接続を確立する。上記の例では、クライアントで撮像された実空間の画像や入力されたアノテーション情報のサーバ100への送信、およびサーバ100からクライアントへの実空間の画像やアノテーション情報の送信に通信部950が用いられる。
撮像部960は、画像を撮像するカメラモジュールである。撮像部960は、CCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子を用いて実空間を撮像し、撮像画像を生成する。撮像部960によって生成される一連の撮像画像は、映像を構成する。なお、撮像部960は、必ずしも装置900の一部でなくてもよい。例えば、装置900と有線または無線で接続される撮像装置が撮像部960として扱われてもよい。また、撮像部960は、撮像部960と被写体との間の距離を画素ごとに測定する深度(depth)センサを含んでいてもよい。深度センサから出力される深度データは、後述するように実空間を撮像した画像における環境の認識のために利用されうる。
センサ970は、測位センサ、加速度センサおよびジャイロセンサなどのさまざまなセンサを含みうる。センサ970において得られる測定結果は、実空間を撮像した画像における環境の認識の支援、地理的な位置に特化したデータの取得、またはユーザ入力の検出などのさまざまな用途で利用されてもよい。なお、センサ970は、撮像部960を有する装置、上記の例ではウェアラブル端末200やタブレット端末300、携帯電話400、または固定カメラ600に設けられうる。
(2.実空間画像の共有およびインタラクション)
次に、図3A〜図4を参照して、本開示の一実施形態に係るインタラクションの基本的な概念について説明する。
(2−1.インタラクションの概念)
図3Aは、本開示の一実施形態における撮像画像の共有の例を示す図である。図示された例では、ウェアラブル端末200のカメラ260(撮像部)によって撮像された実空間の画像がサーバ100を介してタブレット端末300にストリーミング配信され、ディスプレイ330(表示部)に画像1300として表示される。このとき、ウェアラブル端末200では、撮像された実空間の画像がディスプレイ230(表示部)に表示されるか、実空間の像がディスプレイ230を透過して直接視認される。このときディスプレイ230に表示されている像(透過して視認される背景を含む)を、以下では画像1200として参照する。
図3Bは、本開示の一実施形態におけるアノテーション入力の例を示す図である。タブレット端末300では、ディスプレイ330上にタッチセンサ340(操作部)が設けられており、ディスプレイ330に表示された画像1300に対するユーザのタッチ入力を取得することが可能である。図示された例では、画像1300内のある位置を指示するユーザのタッチ入力がタッチセンサ340によって取得され、その位置にポインタ1310が表示されている。さらに、例えば別途表示されるスクリーンキーボードなどを用いて入力されたテキストが、画像1300にコメント1320として表示されている。このポインタ1310およびコメント1320が、アノテーションとしてサーバ100を介してウェアラブル端末200に送信される。
ウェアラブル端末200では、タブレット端末300で入力されたアノテーションが、画像1200にポインタ1210およびコメント1220として表示される。画像1200においてこれらのアノテーションが表示される位置は、タブレット端末300で表示される画像1300における実空間の位置に対応している。このようにして、送信側(ストリーミング側)の装置であるウェアラブル端末200と、受信側(視聴者側)の装置であるタブレット端末300との間でのインタラクションが成立する。なお、この例において、装置間でアノテーションの表示位置を対応させたり、アノテーションを継続的に表示させたりするために用いられうる技術については後述する。
は、本開示の一実施形態における撮像画像の共有の別の例を示す図である。図示された例では、タブレット端末300aのカメラ(撮像部;背面側にあるため図示されていない)によって撮像された実空間の画像がタブレット端末300bにストリーミング配信され、ディスプレイ330b(表示部)に画像1300bとして表示される。このとき、タブレット端末300aでは、撮像された実空間の画像がディスプレイ330aに表示されるか、実空間の像がディスプレイ330aを透過して直接視認されている。このときディスプレイ330aに表示されている像(透過して視認される背景を含む)を、以下では画像1300aとして参照する。図示された例でも、タブレット端末300bで画像1300bに対して入力されたアノテーションを画像1300aに表示させることによって、送信側(ストリーミング側)の装置であるタブレット端末300aと、受信側(視聴者側)の装置であるタブレット端末300bとの間でのインタラクションが成立しうる。
なお、本実施形態における実空間の画像の共有とそれに基づくユーザ間のインタラクションは、ウェアラブル端末200およびタブレット端末300に係る上記の例には限られず、既に説明した携帯電話400、ラップトップPC500、固定カメラ600、またはプロジェクタ700も、それぞれの機能(例えば上述した(1)〜(3)の機能)を実現する限りにおいて、任意の装置を送信側(ストリーミング側)および受信側(視聴者側)として成立しうる。
(2−2.利用されうる技術)
本実施形態では、上述した実空間画像の共有とインタラクションを実現するにあたって、いくつかの技術が利用される。まず、本実施形態では、送信側の装置において、送信される実空間の画像データに空間情報が付加される。空間情報は、送信側の装置の撮像部(図3Aおよび図3Bの例ではウェアラブル端末200のカメラ260、図4の例ではタブレット端末300aのカメラ)が実空間の中でどのように移動しているかを推定することを可能にする情報である。
例えば、空間情報は、SfM(Structure from Motion)法またはSLAM(Simultaneous Localization And Mapping)法などの公知の画像認識技術によって認識される環境認識行列でありうる。環境認識行列は、例えば送信側の装置固有の座標系に対する基準環境(実空間)の座標系の相対的な位置および姿勢を示す。例えば、SLAM法が利用される場合、送信側の装置のプロセッサが、装置の位置、姿勢、速度および角速度、ならびに撮像画像に含まれる少なくとも1つの特徴点の位置を含む状態変数を、拡張カルマンフィルタの原理に基づいて撮像画像のフレームごとに更新する。これによって、装置の位置および姿勢を基準とする基準環境の位置および姿勢を、単眼カメラからの入力画像を利用して認識することができる。なお、SLAM法の詳しい説明は、例えば“Real-Time Simultaneous Localization and Mapping with a Single Camera”(Andrew J.Davison,Proceedings of the 9th IEEE International Conference on Computer Vision Volume 2, 2003, pp.1403-1410)に記載されている。
他にも、空間情報は、撮像部の実空間における相対的な位置および姿勢を示す情報であればどのようなものであってもよい。例えば、撮像部に設けられうる深度センサからの深度データに基づいて環境認識行列が認識されてもよい。また、赤外線測距システムまたはモーションキャプチャシステムなどの環境認識システムからの出力データに基づいて環境認識行列が認識されてもよい。こうした技術の一例は、例えばS.Izadi, et al, KinectFusion: Real-time 3D Reconstruction and Interaction Using a Moving Depth Camera, ACM Symposium on User Interface Software and Technology, 2011に記載されているが、この例には限られず、公知の様々な技術が空間情報の生成に利用可能である。
あるいは、空間情報は、実空間を撮像した一連のフレーム画像のステッチング解析によって、各フレーム画像の相対的な位置関係を特定することによって生成されてもよい。この場合、ステッチング解析は、基底平面上に各フレーム画像を貼りつける2次元ステッチング解析、または空間内の任意の位置に各フレーム画像を貼りつける3次元ステッチング解析でありうる。
以下、上記の技術に係る送信側の装置、受信側の装置、およびサーバの処理の例について、図5Aのフローチャートを参照しながら、図3Aおよび図3Bに示した例を用いて説明する。なお、上記の技術は、図3Aおよび図3Bの例に関わらず上述したシステム10における任意の装置の組み合わせについて適用可能でありうる。
まず、ウェアラブル端末200(送信側の装置)において、撮像部が実空間の画像データを取得するとともに、撮像部またはセンサが取得した情報を必要に応じてプロセッサが処理することによって空間情報が生成される(ステップS101)。画像データと空間情報とは、互いに関連付けられてウェアラブル端末200の通信部からサーバ100に送信される(ステップS103)。サーバ100では、通信部がウェアラブル端末200から画像データおよび空間情報を受信し、画像データをタブレット端末300(受信側の装置)に転送する(ステップS105)。また、サーバ100では、プロセッサが空間情報を用いて受信された画像内の位置とウェアラブル端末200が存在する実空間の位置とを関係づける(ステップS107)。
タブレット端末300では、通信部がサーバ100から画像データを受信し、受信された画像データに基づいてプロセッサがディスプレイ330に画像1300を表示させる(ステップS109)。ここで、タッチセンサ340によって画像1300に対するユーザのアノテーション入力が取得された場合(ステップS111)、プロセッサはアノテーション入力を画像1300内の位置(例えばポインタ1310の位置)に関係づけ、通信部からサーバ100に送信する(ステップS113)。
サーバ100では、通信部がタブレット端末300から送信されたアノテーション入力および画像内の位置の情報を受信すると、プロセッサが受信された情報に含まれる画像内の位置を実空間の位置に変換する(ステップS115)。変換後の実空間の位置に関連付けられたアノテーション入力は、通信部からウェアラブル端末200に送信される(ステップS117)。
ウェアラブル端末200では、通信部がサーバ100からアノテーション入力および実空間の位置の情報を受信し、プロセッサが空間情報を用いてアノテーション情報に関連付けられた実空間の位置を現在ディスプレイ230に表示されている画像1200内の位置に変換し(ステップS119)、その位置にアノテーション(例えばポインタ1210やコメント1220)を表示させる(ステップS121)。
図5Bに、上記の処理の別の例を示す。この例では、サーバ100のプロセッサが画像内の位置と実空間の位置とを関係づけた後に、通信部が画像データとともに画像に含まれる実空間の位置の情報をタブレット端末300に送信する(ステップS201)。タブレット端末300では、ディスプレイ330に画像が表示される(ステップS109)のは上記の図5Aの例と同様であるが、アノテーション入力が、画像内の位置ではなくステップS201で受信された実空間の位置に関連付けて送信される(ステップS203)。従って、サーバ100では、通信部が実空間の位置が関連付けられたアノテーション入力の情報をウェアラブル端末200に転送すればよい(ステップS205)。
(第1の利点)
上記で説明した技術には、いくつかの利点がある。例えば、ウェアラブル端末200で実空間の画像が取得されてから、タブレット端末300で当該画像に対するアノテーションが入力され、さらにそのアノテーションがウェアラブル端末200に送信されるまでには時間差が生じていることが多い。
従って、画像内の位置を基準にしてアノテーションをやりとりすると、上記の時間差の間にユーザや装置の移動によってウェアラブル端末200で表示される画像1200の表示範囲が変化したために、タブレット端末300から送信されたアノテーションが、ウェアラブル端末200ではタブレット端末300のユーザが画像1300を見ながら意図した位置とは異なった位置に表示される場合がある。
これに対して、上記の技術を適用すれば、アノテーションを実空間の位置に関連付けることが可能であるため、画像1200の表示範囲の変化に関わらず、ウェアラブル端末200でも、タブレット端末300のユーザが画像1300を見ながら意図した位置(例えば実空間にある特定のオブジェクトに対応する位置)にアノテーションが表示されうる。
(第2の利点)
また、例えば、ウェアラブル端末200で表示される実空間の画像1200が、ディスプレイ230を透過して直接視認されるものであったり、ディスプレイ230の外側に見えている実空間の像と整合させてディスプレイ230に表示されるものであったりする場合、画像1200の範囲が、ウェアラブル端末200のカメラ260が撮像する実空間の画像の範囲よりも狭い(つまり、ウェアラブル端末200のユーザが視認している範囲よりも、撮像画像の範囲の方が広い)場合がありうる。
このような場合、タブレット端末300のディスプレイ330に表示される画像1300の範囲がウェアラブル端末200の画像1200の範囲よりも広くなり、タブレット端末300のユーザが、画像1200の外側、つまりウェアラブル端末200のユーザには見えていない領域にアノテーションを入力することが可能になりうる。従って、画像内の位置を基準にしてアノテーションをやりとりすると、タブレット端末300では入力可能であっても、ウェアラブル端末200の画像1200には表示されないアノテーションが発生してしまう。
これに対して、上記の技術を適用すれば、アノテーションを実空間の位置に関連付けることが可能であるため、サーバ100またはウェアラブル端末200に受信された時点では画像1200の表示範囲に入っていない位置に対するアノテーションであっても、例えばその後に画像1200の表示範囲が変化してアノテーションの位置を含むようになった場合に画像1200に表示することができる。
なお、上記の技術には、ここで説明したものには限られず、利用される状況に応じて他の利点が存在しうる。それらの利点は、以下の説明の中で明示または示唆されうる。
(3.可変視点画像の表示の例)
次に、図6〜図12を参照して、本開示の一実施形態に係る可変視点画像の表示について説明する。本実施形態では、上記のように、送信側の装置が、実空間の画像データに空間情報を付加して送信する。空間情報は、例えば送信側の装置の撮像部の実空間における位置および姿勢を示す情報である。この情報を利用すれば、以下で説明するように、1人称画像(撮像部が撮像した実空間の画像)の視点にとらわれず、自由な視点で実空間を観察する画像を生成して受信側の装置に提供することが可能である。
なお、以下の説明では、送信側の装置、受信側の装置、およびサーバの動作について、図3Aおよび図3Bに示した例を用いて説明するが、同様の構成は、図3Aおよび図3Bの例に限らず上述したシステム10における任意の装置の組み合わせによって実現されうる。
(1人称画像)
図6は、本開示の一実施形態における1人称画像の表示例を示す図である。図6には、1人称画像1010が示されている。1人称画像1010は、ウェアラブル端末200(送信側の装置)のカメラ260が撮像した画像であり、ウェアラブル端末200でディスプレイ230に表示される画像1200と同一でありうるため、本明細書では「1人称画像」という。1人称画像1010はストリーミングフレーム、つまりカメラ260が撮像している一連のフレーム画像であるため、その表示範囲は例えばウェアラブル端末200を装着したユーザの動きに伴って刻々と変化する。
(3人称画像)
図7〜図9は、本開示の一実施形態における3人称画像の表示例を示す図である。図7〜図9に示された3人称画像1020は、ウェアラブル端末200のカメラ260が存在する実空間を、撮像画像のデータとともに提供された空間情報に基づいて1人称画像とは異なる視点から仮想的に撮像した画像である。3人称画像1020は、1人称画像1010とは異なり、ウェアラブル端末200のカメラ260の実空間での位置、すなわち送信側の装置の視点に関わらず自由に設定された視点で生成されうるため、本明細書では「3人称画像」という。3人称画像1020は、例えば、サーバ100のプロセッサが、ウェアラブル端末200から提供された空間情報に基づいてウェアラブル端末200のカメラ260が取得した実空間の画像を加工することによって生成され、通信部によってタブレット端末300に送信されうる。
3人称画像1020では、カメラ260が撮像した画像がストリーミングフレーム1021として表示されうる。ストリーミングフレーム1021は、例えば上記の1人称画像1010と同じ画像であり、空間情報に従って、表示されている実空間の中でストリーミングフレーム1021の画面に対応する四角形の領域に配置される。この領域の形状は、例えば3人称画像1020の視点のストリーミングフレーム1021に対する傾きに応じて、例えば台形や不等辺四角形などの形状に変形されうる。
なお、3人称画像1020で完全に自由な視点の設定が可能である場合、例えばストリーミングフレーム1021が3人称画像1020の表示範囲外になるような視点を設定したり、ストリーミングフレーム1021の背面側に視点を設定したりすることも可能でありうる。このような場合、3人称画像1020にはストリーミングフレーム1021が表示されなくなってもよい。さらに、この場合、3人称画像1020とストリーミングフレームを提供するカメラ260を有するウェアラブル端末200とのリンクが解除され、3人称画像1020が一時的に送信側の装置から離脱してもよい。この場合、離脱したときの空間情報のキャッシュに基づいてさらに3人称画像1020の視点を移動させることが可能でありえ、例えばストリーミングフレーム1021や、他の送信側の装置から提供されるストリーミングフレームが再び3人称画像1020の表示範囲に入った場合に、3人称画像1020と送信側の装置とのリンクが再開されうる。また、3人称画像1020の視点がストリーミングフレーム1021の背面側に設定された場合、ストリーミングフレーム1021の表示は枠だけになって継続されてもよい。あるいは、3人称画像1020における視点の設定は、上記のようにストリーミングフレーム1021の通常の表示がされない範囲を除くように制限されてもよい。
3人称画像1020におけるストリーミングフレーム1021以外の部分は、空間情報によって認識されていてもリアルタイムの画像は提供されていないため、例えば図示された例のようにワイヤーフレームなどを用いて模式的に表示されうる。なお、図示されたワイヤーフレームは四角い部屋を示しているが、これは必ずしも実空間がこのような部屋であることを意味せず、例えば広い実空間において上下を認識させるために表示されるものであってもよい。また、図9に示す例のように、過去に提供されたストリーミングフレーム1024が、例えばステッチング解析の結果を利用してストリーミングフレーム1021に貼り合わされて表示されてもよい。あるいは、ストリーミングフレーム1021の周囲には、後述する1.3人称画像と同様の周辺領域画像が表示されてもよい。
さらに、図7および図8に示されるように、3人称画像1020には、1人称画像の視点オブジェクト1022と、1.3人称画像の視点オブジェクト1023とが表示されてもよい。1人称画像の視点オブジェクト1022は、1人称画像、すなわちストリーミングフレーム1021の視点を示す。また、1.3人称画像の視点オブジェクト1023は、後述する1.3人称画像を生成するにあたり、仮想的に設定される視点を示す。これらの視点の位置は、いずれも空間情報に基づいて特定されうる。3人称画像1020では、例えば視点オブジェクト1022または視点オブジェクト1023を選択することによって、それぞれの視点に対応する画像、すなわち1人称画像1010または後述する1.3人称画像への切り替えが可能であってもよい。また、3人称画像1020では、実空間において認識されているオブジェクトを基準にして、当該オブジェクトが正対および/または拡大されるように自動的に視点を変更することが可能であってもよい。
このような表示のため、3人称画像1020の表示範囲は、例えばウェアラブル端末200のカメラ260が移動したことによるストリーミングフレーム1021の表示範囲の変化の影響を受けなくてもよい。例えば、カメラ260が移動すると、ストリーミングフレーム1021の表示領域および表示内容が変化し、1人称画像の視点オブジェクト1022が移動しうるが、3人称画像1020の表示範囲は維持されうる。また、1.3人称画像の視点オブジェクト1023も、カメラ260の移動に伴って移動しうる。3人称画像1020の表示範囲は、例えばタブレット端末300において3人称画像1020を閲覧するユーザからの視点変更の指示が取得された場合に変更されうる。
なお、3人称画像1020は、必ずしも単一の送信側の装置、例えばウェアラブル端末200のカメラ260によって取得された実空間の画像のみに基づいて生成されなくてもよい。例えば、3人称画像1020は、例えば、ウェアラブル端末200と同じ実空間(例えば同じ部屋など)に存在する他の装置(例えば固定カメラ600)によって取得された実空間の画像をさらに組み合わせることによって生成されてもよい。この場合、固定カメラ600も、実空間の画像データに空間情報を付加してサーバ100に提供する。サーバ100は、それぞれの装置から提供された空間情報に基づいて、複数の実空間の画像データを組み合わせた3人称画像1020を生成しうる。この場合、3人称画像1020では、複数のストリーミングフレーム1021が表示されてもよい。
(1.3人称画像)
図10Aは、本開示の一実施形態における1.3人称画像の表示例を示す図である。図10Aには、1.3人称画像1030が示されている。1.3人称画像1030は、ウェアラブル端末200のカメラ260が撮像した画像に基づいて、カメラ260の背面側の視点から実空間を仮想的に撮像した画像である。1.3人称画像1030の視点は、1人称画像1010の視点とは別に設定されうるが、3人称画像1020の視点のように自由に設定されるわけではないため、本明細書では、1人称画像と3人称画像との中間的な性質を有する画像を意味する用語として「1.3人称画像」を用いる。なお、1.3人称画像1030の視点と1人称画像1010の視点との関係は、例えば図7および図8に示された3人称画像1020で表示される視点オブジェクト1022および視点オブジェクト1023の関係を参照すれば容易に理解できる。
1.3人称画像1030では、例えば、カメラ260が撮像した画像がストリーミングフレーム1031として表示される。ストリーミングフレーム1031は、例えば上記の1人称画像1010と同一の画像でありうる。ここで、1.3人称画像1030の視点はカメラ260の背面側に設定されるため、ストリーミングフレーム1031の位置は典型的には1.3人称画像1030の中央付近であり、ストリーミングフレーム1031の形状は典型的には矩形である。
ここで、カメラ260が移動した場合、1.3人称画像1030の表示範囲もストリーミングフレーム1031に追従して変化しうる。このとき、例えばサーバ100のプロセッサが、空間情報に基づいて算出されるカメラ260の変位をノイズフィルタまたはローパスフィルタなどによって処理した上で、1.3人称画像1030の視点の変位に反映させてもよい。これによって、例えばカメラ260の細かい動きによってストリーミングフレーム1031にぶれが生じている場合にも、1.3人称画像1030のぶれを抑制できる。また、例えばウェアラブル端末200のユーザが振り向くなどしてカメラ260の位置または姿勢が急に変化した場合にも、1.3人称画像1030の表示範囲を滑らかに追従させることによって、視点にどのような変化が生じたかを1.3人称画像1030を閲覧しているユーザが認識することを容易にすることができる。このように、ストリーミングフレーム1031の表示範囲変化に対する1.3人称画像1030の表示範囲の変化に調整が加えられる場合、ストリーミングフレーム1031は一時的に1.3人称画像1030の中央以外の位置に表示されたり、1.3人称画像1030に表示されなかったりすることがありうる。
また、1.3人称画像1030では、ストリーミングフレーム1031の周囲に、周辺領域画像1032が表示されうる。周辺領域画像1032は、3人称画像1020について図9を参照して示した例のように、過去に提供されたストリーミングフレームをステッチング解析などの結果を利用してストリーミングフレーム1031の周囲に貼り合わせることによって生成されうる。あるいは、SLAM法などによって検出された特徴点や、デンスマッピングの3次元データなどを用いて生成されたストリーミングフレーム1031の周囲の空間モデルが周辺領域画像1032として表示されてもよい。このとき、空間モデルに含まれる面に過去のストリーミングフレームから抽出された画像がテクスチャとして貼り付けられてもよい。例えばストリーミングフレーム1031から遠い1.3人称画像1030の辺縁部などでは、過去のストリーミングフレーム1031として蓄積された画像が少なかったり、ストリーミングフレーム1031の表示範囲から外れてから時間が経ったために実空間の状況が変化している可能性があったり、空間モデルの精度が低かったりする可能性がある。そのような場合、周辺領域画像1032は、図示されているように、部分的に表示されないか、部分的にぼかして表示されてもよい。
図10Bおよび図10Cは、本開示の一実施形態における1.3人称画像について説明するための図である。これらの図を参照して、上述した1.3人称画像について、別の観点からさらに説明する。図10Bに示されているように、1.3人称画像の視点CP2は、例えばSLAM法などによって取得される実空間の座標系において、1人称画像の視点CP1を仮想的に後ろに移動した位置に設定される。
ここで、例えばサーバ100のプロセッサは、視点CP2が視点CP1に追従するときの移動速度(以下、視点CP2の追従速度ともいう)に所定の上限値を設定したり、視点CP1の移動速度に1よりも小さいゲインをかけて視点CP2の追従速度を設定したりすることによって、視点CP1が急に移動した場合でも視点CP2を滑らかに追従させることができる。これによって、視点にどのような変化が生じたかを1.3人称画像を閲覧するユーザに容易に認識させることができる。
しかしながら、視点CP1によって取得されるフレームFRM、すなわち1人称画像の最新のフレームが1.3人称画像の範囲から外れてしまうと、1.3人称画像に表示される空間のコンテキストを保持することが困難になる。そこで、例えば上記のように上限値やゲインが設定されることによって視点CP2の追従速度が抑制されるような場合であっても、視点CP1の移動速度が大きいためにフレームFRMの所定の割合以上の領域が1.3人称画像の範囲から外れた場合には、例えば上限値やゲインの値をより大きくして視点CP2の追従速度を上げ、フレームFRMを1.3人称画像の範囲内に保つ制御が追加されてもよい。
図10Cは、例えば上記のような制御が実施される場合に表示される画像の例を示す。Aでは、1人称画像1010が表示されている。Bでは、1人称画像1010の視点を仮想的に後ろに移動させることによって、1.3人称画像1030の表示が開始される。図示された例では、このとき過去のフレーム画像はまだ蓄積されていないため、1.3人称画像1030のフレームFRM以外の部分には何も表示されていない。
Cでは、1.3人称画像1030が表示された状態で視点CP1が移動し、1.3人称画像の視点CP2も視点CP1に追従して移動している。ただし、上記の例のように視点CP2の追従速度が抑制されているため、1.3人称画像1030の表示範囲の移動はフレームFRMの移動に対して少し遅れる。従って、フレームFRMは、1.3人称画像1030の中央からは少し外れて位置している。一方、このとき、例えばBなどで表示されていた過去のフレームFRMの画像を利用して、最新のフレームFRM以外の部分にもオブジェクトが表示されている。
Dでは、視点CP1の移動速度が大きかったために、視点CP2が抑制された追従速度では視点CP1に追従しきれず、フレームFRMの一部が1.3人称画像1030の表示範囲から外れている。このとき、例えばサーバ100のプロセッサは、上限値やゲインの値をより大きくして視点CP2の追従速度を上げる。結果として、Eでは、フレームFRMの全体が再び1.3人称画像1030の表示範囲に戻っている。
上述したような視点CP1の移動速度およびフレームFRMの表示状態による視点CP2の追従速度の制御に加えて、例えばサーバ100のプロセッサは、タブレット端末300などの1.3人称画像1030への操作(例えばアノテーションの入力など)を取得する装置において、タッチパネルなどを介した1.3人称画像1030への操作が取得されている場合には、視点CP2の移動を抑制することによって1.3人称画像1030の表示範囲を固定させてもよい。これによって、例えば、ユーザが1.3人称画像1030に表示された特定の位置に対してする操作が容易になる。
また、1人称画像1010と1.3人称画像1030との表示の切り替えについて、例えば以下のような構成が可能である。まず、例えばサーバ100のプロセッサは、カメラの視点位置が認識されていない(探索中である)場合には、1人称画像1010を表示させる。ここで、例えばSLAM法などによって視点位置が認識され、トラッキングが開始された場合、プロセッサは表示される画像を1.3人称画像1030に切り替えてもよい。その後、例えばSLAM法などによるトラッキングが失敗し、視点位置の探索が再開された場合には、プロセッサが表示される画像を1人称画像1010に戻してもよい。なお、この例における1人称画像1010から1.3人称画像1030への遷移や、1.3人称画像1030から1人称画像1010への遷移は、いずれもアニメーションを伴って表示されてもよい。
以上で説明したように、本実施形態では、受信側の装置(上記の例ではタブレット端末300)において、送信側の装置(上記の例ではウェアラブル端末200)の撮像部が撮像している範囲を超えて実空間を表示する画像を提供することが可能である。これによって、受信側の装置のユーザは、送信側の装置のユーザの視点にとらわれず、自由な視点で実空間の画像を共有することができる。
(応用例)
さらに、既に述べたように、本実施形態では実空間の位置を基準にしてアノテーションをやりとりする技術を利用することが可能である。この技術を利用すれば、タブレット端末300(受信側の装置)のユーザは、3人称画像1020や1.3人称画像1030において表示されるストリーミングフレーム1021,1031以外の領域に対してもアノテーションを入力することができる。これによって、例えば、ウェアラブル端末200(送信側の装置)が過去に見ていたが現在は見ていないオブジェクトや実空間内の位置に対してもアノテーションを加えることが可能である。このアノテーションは、例えば、後にストリーミングフレーム1021,1031が移動した場合に表示されてもよいし、後述する例のように、ウェアラブル端末200において、画像1200の外にアノテーションが存在することを示す通知が表示されてもよい。
図11および図12は、本開示の一実施形態において異なる視点の画像が同時に表示される例を示す図である。図11に例示する画像1040では、3人称画像1020と1人称画像1010とが同時に表示されている。このとき、3人称画像1020では、例えば1人称画像の視点オブジェクト1022が強調表示されてもよい。また、図示された例では3人称画像1020の画面の子画面として1人称画像1010が表示されているが、逆に1人称画像1010の画面の子画面として3人称画像1020が表示されてもよい。
一方、図12に例示する画像1050では、3人称画像1020と1.3人称画像1030とが同時に表示されている。このとき、3人称画像1020では、例えば1.3人称画像の視点オブジェクト1023が強調表示されてもよい。また、図示された例では3人称画像1020の画面の子画面として1.3人称画像1030が表示されているが、逆に1.3人称画像1030の画面の子画面として3人称画像1020が表示されてもよい。
このように、異なる視点の画像を同時に表示して受信側の装置(上記の例ではタブレット端末300)のユーザに提供することによって、例えば、ユーザが所望する共有体験を提供する画像がどの視点からの画像であるかを容易に発見することができる。
(4.アノテーションの実空間への表示)
続いて、図13〜図20を参照して、本開示の一実施形態におけるアノテーションの実空間への表示について説明する。本実施形態では、上記のように、送信側の装置において送信される実空間の画像データに空間情報が付加される。空間情報は、例えば送信側の装置の撮像部の実空間における位置および姿勢を示す情報である。この情報を利用すれば、受信側の装置で入力されたアノテーションを、さまざまな形で送信側の装置がある実空間に直接的または間接的に表示させることが可能である。
なお、以下の説明では、送信側の装置、受信側の装置、およびサーバの動作について、特定の装置の例を用いて説明するが、同様の構成は、これらの例に関わらず上述したシステム10における任意の装置の組み合わせによって実現されうる。
(4−1.表示例)
図13は、本開示の一実施形態におけるアノテーション表示の第1の例を示す図である。図13には、タブレット端末300cとタブレット端末300dとが示されている。図示された例において、タブレット端末300cは、図示しないカメラ(撮像部)によって実空間の画像を撮像し、それをディスプレイ330c(表示部)に画像1300cとして表示させる。タブレット端末300cのユーザは、ディスプレイ330c上に設けられたタッチセンサ340(操作部)によって画像1300cに対するアノテーション1310cを入力する。ここで、タブレット端末300cでは、画像1300c内の位置ではなく、画像1300cによってとらえられている実空間内の位置を指定してアノテーション1310cが入力される。実空間内の位置は、タブレット端末300cが撮像画像とともに取得する空間情報に基づいて指定することが可能であり、例えばタブレット端末300cの撮像部を基準にした相対的な位置、または空間内の特徴点などを基準とした位置として表現されうる。
一方、タブレット端末300dも、図示しないカメラ(撮像部)によって実空間の画像を撮像し、それをディスプレイ330d(表示部)に画像1300dとして表示させている。図示されているように、タブレット端末300cとタブレット端末300dとは同じ空間にあり、タブレット端末300dのカメラの画角にはタブレット端末300cが含まれるため、画像1300dにはタブレット端末300c’が映っている。さらに、タブレット端末300cにおいて入力された画像1300cに対するアノテーション1310cの情報は、サーバ100を介して、または機器間通信によってタブレット端末300dに送信されており、画像1300dにおいてアノテーション1310dとして表示される。
ここで、アノテーション1310dは、タブレット端末300cにおいて指定された実空間内の位置に表示される。このことは、アノテーション1310dが画像1300d内でタブレット端末300c’から離れた空中に表示されていることによって表現されている。タブレット端末300dも撮像画像とともに空間情報を取得することが可能であり、取得した空間情報によって空間内でのタブレット端末300cの位置、または空間内の特徴点の位置などを特定することができる。従って、タブレット端末300dは、例えばタブレット端末300cから取得した実空間内の位置を示す情報と、自ら取得した空間情報とに基づいてアノテーション1310dの空間内での位置を特定することができる。
なお、上記の例を、図1を参照して説明したシステム10に対応付けると、タブレット端末300cが(1)および(2)の装置として機能しており、タブレット端末300dが(3)の装置として機能していることになる。上記のように、タブレット端末300cにおいて入力されたアノテーション1310cの情報は機器間通信によってタブレット端末300dに送信されてもよい。この場合、上記の例は、各装置がサーバを介さずに通信し、いずれかの装置において空間情報を利用した画像処理が実行されるシステム10の変形例を示しているともいえる。
図14は、本開示の一実施形態におけるアノテーション表示の第2の例を示す図である。図14には、タブレット端末300と、プロジェクタ700(図示せず)によって画像が投影されるスクリーン(SCREEN)とが示されている。図示された例において、タブレット端末300は、図示しないカメラ(撮像部)によって実空間の画像を撮像し、それをディスプレイ330(表示部)に画像1300として表示させる。図示されているように、タブレット端末300のカメラの画角にはスクリーンが含まれるため、画像1300にはスクリーン(SCREEN’)が映っている。
タブレット端末300のユーザは、ディスプレイ330上に設けられたタッチセンサ340(操作部)によって画像1300に対するアノテーション1310を入力する。図示された例において、アノテーション1310は、スクリーン(SCREEN’)上に描かれる落書きである。アノテーション1310は、例えばタブレット端末300が撮像画像とともに取得する空間情報に基づいて、実空間におけるスクリーン(SCREEN)上の位置に関連付けられる。タブレット端末300において入力されたアノテーション1310の情報は、実空間の位置情報(スクリーンの位置を示す)とともに、サーバ100を介して、または機器間通信によってプロジェクタ700に送信される。
プロジェクタ700は、撮像画像は取得しないが、タブレット端末300と同様に空間情報を取得しており、スクリーン(SCREEN)の実空間における位置を認識している。従って、プロジェクタ700は、タブレット端末300においてアノテーション1310として入力されたのと同様のアノテーション1710(落書き)をスクリーン(SCREEN)に投影することができる。この場合、プロジェクタ700は、タブレット端末300でディスプレイ330に表示されている画像1300(仮想空間)に対して入力されたアノテーションを、スクリーンに投影することによって実空間に直接的に表示させているともいえる。
図15には、本開示の一実施形態におけるアノテーション表示の第3の例を示す図である。図15には、タブレット端末300と、ラップトップPC500とが示されている。図示された例において、タブレット端末300は、図示しないカメラ(撮像部)によって実空間の画像を撮像し、それをディスプレイ330(表示部)に画像1300として表示させる。図示されているように、タブレット端末300のカメラの画角にはラップトップPC500のディスプレイ530(表示部)が含まれるため、画像1300にはディスプレイ530’が映っている。
タブレット端末300のユーザは、ディスプレイ330上に設けられたタッチセンサ340(操作部)によって画像1300に対するアノテーション1310を入力する。図示された例において、アノテーション1310は、ディスプレイ530’上に表示されたコンテンツのサムネイル画像の1つを囲む円である。アノテーション1310は、例えばタブレット端末300が撮像画像とともに取得する空間情報に基づいて、実空間におけるディスプレイ530の位置に関連付けられる。タブレット端末300において入力されたアノテーション1310の情報は、実空間の位置情報(ディスプレイ530の位置を示す)とともに、サーバ100を介して、または機器間通信によってラップトップPC500に送信される。
ラップトップPC500は、撮像画像は取得しないが、タブレット端末300と同様に空間情報を取得しており、実空間におけるディスプレイ530の位置を認識している。従って、ラップトップPC500は、タブレット端末300において入力されたアノテーション1310に対応して、アノテーション1310として入力されたのと同様のアノテーション1510(サムネイル画像の1つを囲む円)をディスプレイ530に表示させることができる。この場合、ラップトップPC500は、タブレット端末300でディスプレイ330に表示されている画像1300(仮想空間)に対して入力されたアノテーションを、実空間の一部を構成するディスプレイ530に表示させることによって実空間に直接的に表示させているといえる。
図16は、本開示の一実施形態におけるアノテーション表示の第4の例を示す図である。図16には、ウェアラブル端末200と、タブレット端末300と、プロジェクタ700とが示されている。図示された例において、ウェアラブル端末200は、カメラ260(撮像部)によって実空間の画像を撮像するとともに空間情報を取得し、撮像画像のデータを空間情報とともにサーバ100を介してタブレット端末300に送信する。ここで、タブレット端末300は、例えばウェアラブル端末200およびプロジェクタ700とは異なる場所に存在してもよい。
タブレット端末300は、受信した画像をディスプレイ330(表示部)に画像1300として表示させる。図示されているように、画像1300には、ウェアラブル端末200と同じ空間にあるテーブルと、テーブルの上のカップ、皿、鍵(KEY’)が含まれる。タブレット端末300のユーザは、ディスプレイ330上に設けられたタッチセンサ340(操作部)によって画像1300に対するアノテーション1310を入力する。図示された例において、アノテーション1310は、鍵(KEY’)を囲む円と、「Please bring this(これをもってきて)」というメッセージとを含む。アノテーション1310は、ウェアラブル端末200から画像とともに受信された空間情報に基づいて、実空間における鍵(KEY)の位置に関連付けられる。タブレット端末300において入力されたアノテーション1310の情報は、実空間の位置情報(例えば鍵(KEY)の位置を示す)とともに、サーバ100を介してプロジェクタ700に送信される。
プロジェクタ700は、撮像画像は取得しないが、ウェアラブル端末200と同様に空間情報を取得しており、画像が投影される面(図示された例では例えばテーブルの表面)の実空間における位置を認識している。従って、プロジェクタ700は、タブレット端末300においてアノテーション1310として入力されたのと同様のアノテーション1710(円およびメッセージ)を、テーブルの上の鍵(KEY)の周りに投影することができる。これによって、ウェアラブル端末200のユーザは、テーブルの表面に投影されたアノテーション1710を直接視認することができうる。従って、この場合、ウェアラブル端末200は、ディスプレイなどの表示部を有さなくてもよい。
上記の例では、ウェアラブル端末200において撮像された実空間の画像に付加された空間情報に基づいて特定される実空間の位置情報を基準にすることによって、タブレット端末300において入力されたアノテーションを、画像を撮影した装置とは異なる装置であるプロジェクタ700によって実空間に表示させることが可能になる。このような構成よって、例えばウェアラブル端末200が必ずしもディスプレイなどの表示部を有さなくてもよくなり、AR技術を利用したユーザ間のインタラクションを実践するにあたっての装置構成の自由度が向上しうる。
図17は、本開示の一実施形態におけるアノテーション表示の第5の例を示す図である。図17には、固定カメラ600と、タブレット端末300と、プロジェクタ700とが示されている。なお、プロジェクタ700は、これまでの例で示された固定型のものとは異なり、ハンドヘルド型でありうる。図示された例において、固定カメラ600は、カメラ660(撮像部)によって実空間の画像を撮像するとともに空間情報を取得し、撮像画像のデータを空間情報とともにサーバ100を介してタブレット端末300に送信する。ここで、タブレット端末300は、例えば固定カメラ600およびプロジェクタ700とは異なる場所に存在してもよい。
なお、固定カメラ600は移動しないため、固定カメラ600における空間情報は上記の例えばウェアラブル端末200などの場合とは異なる方法で取得されてもよい。例えば、固定カメラ600における空間情報は、設置時などに周辺環境を計測して設定された固定の情報であってもよい。この場合、固定カメラ600は、メモリに格納された空間情報を有するほかは、空間情報の取得のためのセンサなどは有さなくてもよい。このような空間情報の取得は、他の固定型の装置においても可能である。
タブレット端末300は、受信した画像をディスプレイ330(表示部)に画像1300として表示させる。図示されているように、画像1300には、固定カメラ600の下にあるテーブルと、テーブルの上の鍵(KEY’)が含まれる。タブレット端末300のユーザは、ディスプレイ330上に設けられたタッチセンサ340(操作部)によって画像1300に対するアノテーション1310を入力する。図示された例において、アノテーション1310は、鍵(KEY’)を囲む円を含む。アノテーション1310は、固定カメラ600から画像とともに受信された空間情報に基づいて、実空間における鍵(KEY)の位置に関連付けられる。タブレット端末300において入力されたアノテーション1310の情報は、実空間の位置情報(例えば鍵(KEY)の位置を示す)とともに、サーバ100を介してプロジェクタ700に送信される。
プロジェクタ700は、撮像画像は取得しないが(してもよい)、空間情報を取得しており、画像が投影される面(図示された例では例えばテーブルの表面)の実空間における位置を認識している。従って、プロジェクタ700は、タブレット端末1310においてアノテーション1310として入力されたのと同様のアノテーション1710(円)を、テーブルの上の鍵(KEY)の周りに投影することができる。なお、プロジェクタ700はハンドヘルド型であり、ユーザに携帯されて容易に移動することが可能である。従って、プロジェクタ700における空間情報の取得方法は、例えばウェアラブル端末200などの携帯型の端末と同様でありうる。
上記の例では、固定カメラ600において撮像された実空間の画像に付加された空間情報に基づいて特定される実空間の位置情報を基準にすることによって、タブレット端末300において入力されたアノテーションが、画像を撮像した装置とは異なる装置であるプロジェクタ700によって実空間に直接的に表示される。この例において、プロジェクタ700はハンドヘルド型であり、ユーザに携帯されて実空間内の任意の位置に画像を投影することが可能である。それゆえ、例えば、ユーザは、あたかも懐中電灯を用いて暗闇の中を探索するかのように、プロジェクタ700で実空間内のいろいろな場所に画像を投影させることによって、タブレット端末300のユーザが入力したアノテーションによってよって指示されたオブジェクトまたは位置を探索することができる。この場合、ユーザは、ウェアラブル端末200のような装置を装着する必要すらなく、より自由にAR技術を利用したユーザ間のインタラクションを実践することができる。
図18は、本開示の一実施形態におけるアノテーション表示の第6の例を示す図である。図18の例は、上記で図16を参照して説明した例の変形例ともいえる。図には、ウェアラブル端末200と、タブレット端末300とが示されている。図示された例において、ウェアラブル端末200は、カメラ260(撮像部)によって実空間の画像を撮像するとともに空間情報を取得し、撮像画像のデータを空間情報とともにサーバ100を介して、ウェアラブル端末200およびタブレット端末300とは異なる場所にある装置に送信する。なお、図では送信先の装置は図示されていない。
タブレット端末300は、上記送信先の装置において入力されたアノテーションの情報をサーバ100から受信する。タブレット端末300は、ウェアラブル端末200と同じ空間にあるテーブルの上に置かれている。タブレット端末300は、撮像画像を取得していないが(撮像部自体は有していてもよい)、ウェアラブル端末200と同様に空間情報を取得しており、実空間におけるディスプレイ330の位置を認識している。図示された例において、テーブルの上に置かれたタブレット端末300のディスプレイ330には、隣にある鍵(KEY)を指す矢印1310が表示されている。この矢印は、上記送信先の装置において、画像に表示された鍵に対して入力されたアノテーションに対応する表示でありうる。
(4−2.アノテーションの配置)
図19は、本開示の一実施形態におけるアノテーションの配置について説明するための図である。図19に示されたウェアラブル端末200は、カメラ260(撮像部)で撮像した実空間の画像を空間情報とともにサーバ100に送信する。さらに、ウェアラブル端末200は、送信した画像に対して他の装置で入力されたアノテーションの情報を実空間の位置情報とともに受信し、受信した情報に基づいて、ディスプレイ230(表示部)を透過して視認される実空間の像に重畳してアノテーション1210を表示させる。なお、アノテーション1210は、実空間の像に重畳して仮想的に表示された結果ウェアラブル端末200のユーザに認識される位置に図示されている。つまり、図示されたようなアノテーション1210は、ウェアラブル端末200のユーザ以外には不可視である。
アノテーション1210は、テーブルの上にある鍵(KEY)を指して表示されるが、図ではその2つの例が示されている。ここでいう2つの例とは、空間配置されるアノテーション1210a、およびオブジェクト配置されるアノテーション1210bである。
図示された例において、アノテーション1210aは、鍵(KEY)の上方の空中に表示される。このようなアノテーションの空間配置は、画像を視認するユーザの注意を惹きやすいため、例えばアノテーションによって方向を指示したい場合などに適する。また、例えば写真の撮影アングルなどを表現したい場合、写真撮影時にカメラが配置されていた位置は空中であることが多いので(カメラは通常ユーザに把持されるか三脚などの上に設置されるため)、アノテーションの空間配置は有用でありうる。なお、上記のアノテーションの空間配置は、例えばアノテーションがディスプレイに画像として表示される場合に可能でありうる他、例えば上記の図16および図17の例のようにアノテーションがプロジェクタによって投影して表示される場合にも、例えばプロジェクタが3Dプロジェクタであれば可能である。
一方、アノテーション1210bは、鍵(KEY)が置かれたテーブルの上で、鍵(KEY)の近傍に表示される。このようなアノテーションのオブジェクト配置は、アノテーションの対象になっているオブジェクトとの関係が認識されやすいため、例えばアノテーションによってオブジェクトを指示したい場合などに適する。なお、アノテーションをオブジェクト配置する場合、対象となるオブジェクトを特定するために、SLAM法などによって検出された特徴点や、デンスマッピングの3次元データなどが用いられうる。あるいは、公知のオブジェクト認識技術によって個々のオブジェクトが認識されている場合、それらのオブジェクトの中から対象となるオブジェクトが特定されてもよい。オブジェクトが認識されている場合、例えばオブジェクトが(ユーザの手で移動されるなどして)空間とは独立して移動したような場合でも、オブジェクトを追尾してアノテーションを配置することが可能である。
アノテーション入力を受け付ける装置(以下、例としてタブレット端末300とするが、他の装置であってもよい)では、上記のようなアノテーションの空間配置とオブジェクト配置とが、何らかの方法で選択される。例えば、タブレット端末300またはサーバ100のプロセッサが、ユーザが入力しようとしているアノテーションの種類に応じて空間配置またはオブジェクト配置を自動的に初期設定してもよい。上記のように、方向の指示や撮影アングルの表示の場合には空間配置が自動的に選択され、オブジェクトの指示の場合にはオブジェクト配置が自動的に選択されうる。また、アノテーションの配置は、装置の操作部に対するユーザの操作によって選択可能であってもよい。
例えば、図20に示した例のように、タブレット端末300のディスプレイ330に表示された画像1300に対してタッチセンサ340を用いてアノテーション1310を入力する場合、空間配置されたアノテーション1310aとオブジェクト配置されたアノテーション1310bとが両方表示され、ユーザがタッチ操作によっていずれかを選択するGUI(Graphical User Interface)が提供されてもよい。
例えばこのようなGUIによってアノテーション1310の配置を切り替える場合、アノテーション1310が空間配置によって空中に表示されているのか、オブジェクト配置によってその奥のオブジェクトの面に表示されているのかが識別しにくい場合がある。そのような場合のために、例えば、空間配置されたアノテーション1310aについては、画像1300に映った実空間の上方を光源として影を表示させることによって、空中に配置されていることを識別しやすくしてもよい。同様の表示として、空間配置されたアノテーション1310から、その下のオブジェクトの面までの垂線を表示してもよい。また、アノテーション1310の奥行き方向の位置を認識しやすくするために、画像1300の奥行き方向にグリッドを表示してもよい。アノテーション1310の奥行き方向の位置の調整には、タッチセンサ340を利用したピンチイン/アウトや、別途設けられる手前/奥への移動ボタンが用いられてもよい。また、タブレット端末300のセンサがタブレット端末300自体をユーザから見て手前/奥に動かす動きを検出して、プロセッサがその動きをアノテーション1310の奥行き方向の位置に反映されてもよい。
(5.視認可能範囲外にあるアノテーションの表示)
続いて、図21〜図32を参照して、本開示の一実施形態における視認可能範囲外にあるアノテーションの表示について説明する。本実施形態では、上記のように、送信側の装置において送信される実空間の画像データに空間情報が付加される。この空間情報を利用すれば、受信側の装置では、送信側の装置で表示されている画像の表示範囲に関わらず、実空間の任意の位置に対してアノテーションを入力することが可能である。
例えば、上述した図3Aおよび図3Bの例では、ウェアラブル端末200(送信側の装置)でディスプレイ230(表示部)に表示される画像1200の表示範囲よりも、カメラ260(撮像部)によって撮像されてタブレット端末300(受信側の装置)において表示される画像1300の表示範囲の方が広い。このような場合、タブレット端末300では、現時点ではウェアラブル端末200で表示される画像1200の表示範囲に含まれていない実空間の位置に対してもアノテーション1310,1320を入力することが可能である。入力されたアノテーションは、ウェアラブル端末200で取得された空間情報に基づいて定義される実空間での位置情報に関連付けてタブレット端末300、サーバ100またはウェアラブル端末200で保持され、後にウェアラブル端末200とともにカメラ260が移動したことによってその位置が画像1200の表示範囲内になった場合に、画像1200にアノテーション1210,1220として表示されうる。
また、例えば、上述した図7〜図10Cの例では、3人称画像1020または1.3人称画像1030として、送信側の装置で視認されている1人称画像1010を超えた範囲の画像が表示され、受信側の装置でこれらの画像を閲覧するユーザは、1人称画像1010の表示範囲の外にある実空間に対してもアノテーションを入力することが可能である。この場合も、入力されたアノテーションは、送信側の装置で取得された空間情報に基づいて定義される実空間での位置情報に関連付けて保持され、後に1人称画像1010の表示範囲が移動してその位置を含むようになった場合に表示されうる。
上記のような場合、例えば送信側の装置(以下、例としてウェアラブル端末200とする)のユーザがアノテーションの存在を知らなければ、アノテーションが画像1200の表示範囲に含まれることなく時間が経過してしまう可能性がある。AR技術を利用したユーザ間のインタラクションでは、多くのアノテーションは受信側の装置(以下、例としてタブレット端末300とする)のユーザがウェアラブル端末200のユーザに何かを伝えるために入力すると考えられるため、アノテーションの存在はウェアラブル端末200のユーザに知らされる方が望ましい。
そこで、本実施形態では、以下の例に示すように、視認可能範囲外にあるアノテーションに関する情報が表示されうる。これらの情報の表示もまたアノテーションの一種であるが、以下の説明では、受信側の装置のユーザによって入力されたものを特にアノテーションと呼んで区別する場合がある。これらの表示のための表示制御は、例えばアノテーションを表示させる装置(例えばウェアラブル端末200やタブレット端末300など)のプロセッサで実行されてもよいし、これらの装置における視認可能範囲外を認識しているサーバ100のプロセッサによって実行されてもよい。なお、以下の例は、例えば上述したさまざまな例とは独立して、実空間の画像の視認可能範囲外にアノテーションが入力される可能性がある場合には遍く適用されうる。
(第1の例)
図21〜図23は、本開示の一実施形態における視認可能範囲外にあるアノテーションの表示の第1の例を示す図である。
図21は、アノテーションが画像1200(視認可能範囲)の中にある場合の表示例を示す。この場合、アノテーションは、テーブルの上に置かれたカップ(CUP)を対象として表示され、ポインタ1210と、コメント1220とを含む。
図22は、アノテーションの対象であるカップ(CUP)が画像1200の外にある場合の表示例を示す。この場合、図21に示したようなアノテーションの代わりに、アノテーションの対象が存在する方向を示す方向表示1230が表示されうる。方向表示1230は、例えば、ウェアラブル端末200が取得している空間情報に基づいて、画像1200の表示範囲とアノテーションの対象との位置関係を特定することによって表示可能になる。また、このとき、アノテーションのうちのコメント1220が、方向表示1230とともに表示されてもよい。コメント1220は、アノテーションの内容または種類などを示す情報であるため、ポインタ1210ではなく方向表示1230とともに表示されても有用である。
図23は、ウェアラブル端末200のユーザが方向表示1230に応じてカメラ260の向きを変えたことなどによって画像1200の表示範囲が移動し、アノテーションの対象であるカップ(CUP)の一部が画像1200に含まれるようになった場合の表示例を示す。この場合、対象の全部が画像1200に含まれていなくても、ポインタ1210の一部とコメント1220とがアノテーションとして表示されてもよい。
(第2の例)
図24および図25は、本開示の一実施形態における視認可能範囲外にあるアノテーションの表示の第2の例を示す図である。この第2の例では、視認可能範囲外にアノテーションの対象が存在することに加えて、アノテーションの対象までの距離が表示される。
図24は、視認可能範囲からアノテーションの対象までの距離が異なる2つの画像に対する表示の例を示す図である。この例では、視認可能範囲外にアノテーションが存在することが、円1240によって表示される。円1240は、図25にも示すように、アノテーションの対象から視認可能範囲までの距離に応じた半径で表示される。図25Aに示されるように、アノテーションの対象から視認可能範囲(画像1200a)までの距離が大きい場合、より大きい半径rの円1240aが表示される。また、図25Bに示されるように、アノテーションの対象から視認可能範囲(画像1200b)までの距離が小さい場合、より小さい半径rの円1240bが表示される。円1240の半径rは、アノテーションの対象までの距離に応じて連続的に設定されてもよいし、段階的に設定されてもよい。また、図24に示されるように、円1240とともに、アノテーションのうちのコメント1220が表示されてもよい。
このように円1240を表示することによって、例えば、画像1200を見ているユーザが、視認可能範囲外にアノテーションが存在することだけではなく、画像1200の表示範囲をどの方向にどの程度移動させればアノテーションを視認することができるかを直感的に把握することができうる。
(第3の例)
図26および図27は、本開示の一実施形態における視認可能範囲外にあるアノテーションの表示の第3の例を示す図である。
図26は、アノテーションの対象であるリンゴ(APPLE)が画像1200の外にある場合の表示例を示す。この場合、図22の例と同様の方向表示1250とともに、対象のアイコン1251が表示されうる。アイコン1251は、例えば現在または過去においてカメラ260が撮像した画像にリンゴ(APPLE)が含まれる場合、サーバ100またはウェアラブル端末200のプロセッサがカメラ260によって撮像された画像からリンゴAPPLEの部分を切り出すことによって生成されうる。この場合、アイコン1251は、カメラ260が取得するフレーム画像の変化に応じて変化する必要はなく、例えば静止画であってよい。あるいは、リンゴAPPLEがオブジェクト認識されている場合であれば、カメラ260が撮像した画像に関係なく、リンゴを表すイラストや写真がアイコン1251として表示されてもよい。また、このとき、アノテーションのうちのコメント1220が、方向表示1250およびアイコン1251とともに表示されてもよい。
図27は、ウェアラブル端末200のユーザが方向表示1230に応じてカメラ260の向きを変えたことなどによって画像1200の表示範囲が移動し、アノテーションの対象であるリンゴ(APPLE)の一部が画像1200に含まれるようになった場合の表示例を示す。この場合、方向表示1250およびアイコン1251の表示が終了し、図23の例と同様にポインタ1210の一部とコメント1220とがアノテーションとして表示されてもよい。
このようにアイコン1251を表示することによって、例えば、画像1200を見ているユーザが、視認可能範囲外にアノテーションが存在することだけではなく、アノテーションの対象が何であるかを把握することができ、すぐに見るか、後で見るかといった行動の決定が容易になりうる。
(第4の例)
図28は、本開示の一実施形態における視認可能範囲外にあるアノテーションの表示の第4の例を示す図である。図示された例では、アノテーションの対象であるリンゴ(APPLE)が画像1200の外にある場合に、リンゴにより近い画像1200の端部分1260が光る。例えば、画像1200aでは、リンゴが画面の右下の方向にあるため、右下の端部分1260aが光る。また、画像1200bでは、リンゴが画面の左上の方向にあるため、左上の端部分1260bが光る。画像1200cでは、リンゴが画面の左下の方向にあるため、左下の端部分1260cが光る。
上記の例において、端部分1260の領域は、画像1200からみてアノテーションの対象が存在する方向に基づいて設定されうる。図には斜め方向の例が示されているが、他の例では、リンゴが画像1200の左方向にある場合に、左の端部分1260が光ってもよい。この場合、端部分1260は、画像1200の左側の辺の全体であってもよい。また、アノテーションの対象が斜め方向に存在し、画像1200の角を含む端部分1260が光る場合、角を挟んだ端部分1260の縦部分と横部分の比率は、アノテーションの対象が存在する方向の角度に応じて設定されてもよい。この場合、例えば、より上に近い左上に対象が存在すれば端部分1260の縦部分(画像1200の左辺に沿う)よりも横部分(画像1200の上辺に沿う)が長くなりうる。逆に、より左に近い左上に対象が存在すれば端部分1260の横部分(画像1200の上辺に沿う)よりも縦部分(画像1200の左辺に沿う)が長くなりうる。また、別の例において、端部分1260は光る代わりに所定の色(透過色でありうる)で着色されてもよい。
このように、端部分1260の表示の変化によって視認可能範囲外にアノテーションが存在することを通知する場合、例えば矢印などによる別途の方向表示をしなくてもよいため、画像1200の表示を邪魔することなくアノテーションの存在を通知することができる。
(第5の例)
図29は、本開示の一実施形態における視認可能範囲外にあるアノテーションの表示の第5の例を示す図である。図示された例では、アノテーションとしてコメント1220が表示されている。しかし、コメント1220は横に長いため、画像1200には表示しきれていない。図では、これによって生じる非表示部分1221も示されている。この場合のコメント1220の非表示部分1221も、視認可能範囲外にあるアノテーションであるといえる。この非表示部分1221の存在を示すために、コメント1220が画像1200の端部に当接した部分に発光領域1280が表示される。
ここで、発光領域1280の長さは、非表示部分1221の長さ(例えば長さ方向のピクセル数などで表現されてもよく、コメント1220の表示部分との比率や他の非表示部分1221との比率によって表現されてもよい)に応じて設定されうる。図示された例では、コメント1220aの非表示部分1221aについて発光領域1280aが表示され、コメント1220bの非表示部分1221bについて発光領域1280bが表示されるが、非表示部分1221aよりも非表示部分1221bの方が長いことを反映して、発光領域1280aよりも発光領域1280bの方が長く表示されてもよい。
このように、発光領域1280の表示によって視認可能範囲外にアノテーションが存在することを通知する場合、アノテーションであるコメント1220の内部で表示を完結させることができるため、画像1200の表示を邪魔することなくアノテーションの存在を通知することができる。また、非表示部分1221の長さに応じて発光領域1280の長さが設定される場合、コメント1220が全体としてどのくらいの長さであるかがユーザに直感的に把握されるため、すぐに見るか、後で見るかといった行動の決定が容易になる。なお、コメント1220の非表示部分1221を画像1200の表示に含めようとする場合、例えば画像1200の表示範囲を移動させてもよいし、あるいはコメント1220を画像1200の内側(図示された例のコメント1220aであれば左側、コメント1220bであれば右側)にドラッグしてもよい。
(第6の例)
図30は、本開示の一実施形態における視認可能範囲外にあるアノテーションの表示の第6の例を示す図である。図示された例では、道案内で方向を示す矢印のアノテーション1210が表示されている。このアノテーション1210は、例えばユーザが画像1200bを見ている場合には視認可能であるが、画像1200aを見ている場合には視認可能ではない。そこで、ユーザが画像1200aを見ている場合には、アノテーション1210の影1290が表示されうる。影1290が表示されることによって、画像1200aを見ているユーザは、画面の上方の外にアノテーションが存在することを認識することができる。
その後、ユーザが画像1200bを見るようになった場合、影1290の表示は終了してもよいし、継続されてもよい。影1290がアノテーション1210とともに継続して表示される場合、影1290が表示されることによって、ユーザは空中に配置されたアノテーション1210の奥行き方向の位置を認識することが容易になりうる。
このように影1290を表示することによって、仮想的な光源の方向による制約はあるものの、違和感のない表示によってユーザにアノテーションの存在を通知することができる。
(応用例)
図31および図32は、本開示の一実施形態における視認可能範囲外にあるアノテーションの表示の応用例を示す図である。図示された例では、ウェアラブル端末200のユーザが見ている画像1200が画像1200aから画像1200b、さらに画像1200cへと変化する中で、アノテーションの表示が変化する。画像1200には、アノテーションとして、ポインタ1210と、方向表示1230と、コメント1220とが表示される。
なお、ポインタ1210は、上記のいくつかの例とは異なり、例えばユーザの注視領域を示すアイコンとして画像1200の中央付近に継続して表示される。ウェアラブル端末200のユーザは、例えばタブレット端末300のユーザによって入力されたアノテーションの対象(図示された例では鍋(PAN))がポインタ1210に入るように、方向表示1230によって誘導される。
画像1200aおよび画像1200bでは、鍋(PAN)がユーザの視認可能範囲外にあるため、鍋のある方向を示す方向表示1230aおよび方向表示1230bが表示される。ユーザが方向表示1230に従って画像1200の表示範囲を移動させ、画像1200cで鍋を表示範囲に捉え、さらにポインタ1210の中に鍋を入れると、そこで初めてコメント1220が表示される。このときの画像1200cを、図32に別途示す。
このような表示の変化は、アノテーションの対象である鍋(PAN)がポインタ1210の中に入ったことによって、ウェアラブル端末200のユーザが鍋に対するアノテーションを確認できる状態になったと判断されるために生じる。このように、確認が必要とされるアノテーションについては、アノテーションの対象がユーザの注視領域(またはフォーカス領域)に入った場合に確認可能な状態になったと認定してアノテーションの全体を表示することとし、それまでは方向表示1230などによって対象を注視領域(またはフォーカス領域)に入れるようユーザを誘導し続けてもよい。
なお、ユーザがアノテーションを確認可能な状態になったことは、単にアノテーションの対象が注視領域(またはフォーカス領域)に入ったことだけではなく、その状態で所定の時間が経過したことによって認定されてもよい。
(6.その他の表示例)
続いて、図33〜図35を参照して、本開示の一実施形態におけるその他の表示例について説明する。
図33は、本開示の一実施形態におけるエッジ検出を利用したアノテーション対象物体の表示例を示す図である。図示された例では、車(VEHICLE)を対象にしてアノテーション1210が入力されている。画像1200では、アノテーション1210が表示されるとともに、車のエッジに光るエフェクト1285が表示される。このような表示は、例えば、ウェアラブル端末200での空間情報の生成処理によって、特徴点の解析などによって車(VEHICLE)のエッジが検出されている場合に可能である。
エッジを基準にしてエフェクト1285を表示させることによって、例えば対象のオブジェクトが認識されておらず「この辺り」という位置の指定によってアノテーションが入力された場合にも、アノテーションの対象を表現することができる。対象のオブジェクトが認識されている場合には、そのオブジェクトのエッジについてエフェクト1285を表示させてもよい。
図34および図35は、本開示の一実施形態におけるストリーミングフレームのロールバック表示の例を示す図である。この例では、図34に示されるように、ウェアラブル端末200(送信側の装置の例)のユーザが見ている画像1200が、画像1200pから画像1200q、画像1200r、画像1200sへと変化する。これらの画像は、いずれもストリーミングフレームとして順次サーバ100を介してタブレット端末300(受信側の装置の例)に送信される。
タブレット端末300のユーザは、上記の各画像に対してアノテーションを入力することができる。図示された例では、画像1200pに対してアノテーション1210p(コメントA)が、画像1200qに対してアノテーション1210q(コメントB)が、それぞれ入力されている。これらのアノテーションは、リアルタイムで画像1200に表示されてもよいし、例えば画像1200の表示範囲が移動したなどの理由によってリアルタイムでは画像1200に表示されていなくてもよい。
ここで、図示された例では、上記のようにアノテーションが入力されたストリーミングフレームを、図35に示すような一覧表示画面1205で後から閲覧することが可能である。一覧表示画面1205は、アノテーションが入力されたストリーミングフレーム、つまり画像1200p,1200qが一覧表示される。画像1200p,1200qには、例えばリアルタイムで表示されなかった(されていてもよい)アノテーション1210p,1210qがそれぞれ表示されうる。このような表示は、例えばサーバ100が画像1200pに対するアノテーション1210pの入力があったことを検出した場合に、ストリーミングフレームの中で画像1200pをスナップショットとして保存するとともにアノテーション1210pの情報を関連付けることによって可能になりうる。
また、別の例として、一覧表示画面1205に代えて、画像1200に、画像1200pまたは画像1200qが取得された位置(つまり、画像1200の表示範囲が再び画像1200pまたは画像1200qと同じになる位置)までウェアラブル端末200のユーザを誘導するようなナビゲーションが表示されてもよい。この場合も、ユーザがナビゲーションに従って画像1200p,1200qと同様の画像1200を視認した場合には、画像1200にアノテーション1210pまたはアノテーション1210qが表示されてもよい。
(7.アプリケーションの例)
続いて、図36〜図44を参照して、本開示の一実施形態を利用したアプリケーションの例について説明する。
図36は、本開示の一実施形態に係る技術を利用して旅行者の視点を共有するアプリケーションの例を示す図である。例えばウェアラブル端末200などの送信側の装置を装着して旅行先の実空間の画像を提供するのは一般の旅行者でありうる(専門のレポーターであってもよい)。例えばタブレット端末300などの受信側の装置を用いて提供された画像1300を閲覧するユーザは、例えば画像全体に対して、または画像の中の特定のオブジェクトや位置に対してコメント1320(アノテーションの一例)を入力することが可能である。入力されたコメント1320は、ウェアラブル端末200のディスプレイに表示されて旅行者に対してリクエストやアドバイスなどを伝えるのに用いられてもよい。あるいは、コメント1320は、図示されているようにタブレット端末300の画像1300に表示されてもよい。この場合、例えば、複数のユーザがそれぞれ入力したコメント1320がいずれも画像1300上に表示されることによって、旅行者の視点を共有しているユーザ間でのコミュニケーションが発生してもよい。
図37は、本開示の一実施形態に係る技術を利用して登山者の視点を共有するアプリケーションの例を示す図である。図36の例と同様に、例えばウェアラブル端末200などを装着して実空間の画像を提供するのは一般の登山者でありうる(専門のレポーターであってもよい)。例えばタブレット端末300などを用いて提供された画像1300を閲覧するユーザは、例えば画像全体に対して、または画像の中の特定のオブジェクトや位置に対してコメント1320(アノテーションの一例)を入力することが可能である。また、アノテーションの入力とは別に、画像1300を閲覧するユーザは、画像1300をキャプチャして写真のように保存してもよい。上記の例と同様に、入力されたコメント1320は、登山者に対してアドバイスなどを伝えたり、登山者の視点を共有しているユーザ間でのコミュニケーションに用いられたりしてもよい。
図38は、本開示の一実施形態に係る技術を利用して料理をする人の視点を共有するアプリケーションの例を示す図である。例えばウェアラブル端末200などを装着して旅行先の実空間の画像を提供するのは、例えば料理が得意な一般のユーザでありうる(料理の先生であってもよい)。例えばタブレット端末300などを用いて提供される画像1300を閲覧するユーザは、例えば画像全体に対して、または画像の中の特定の位置に対してコメント1320を入力することができる。コメント1320は、例えばウェアラブル端末200のディスプレイに表示されて、先生役のユーザに質問などを伝えるのに用いられうる。コメント1320を、画像1300内の位置ではなくウェアラブル端末200の周囲の実空間の位置に関連付けることによって、例えば特定の材料や器具(図示された例では、鍋の中身を混ぜるおたまがもっと小さいものでもよいかという質問がされている)についてコメント1320が入力された場合に、ウェアラブル端末200の移動によって画像の表示範囲が変化していても、コメント1320を入力したユーザが意図した位置(上記の例であれば、おたまの位置)にコメントが表示されうる。
図39は、本開示の一実施形態に係る技術を利用して買い物をする人の視点を共有するアプリケーションの例を示す図である。この例では、ウェアラブル端末200などを装着して店頭の画像を提供するユーザに対して、タブレット端末300などを用いてこの画像を共有するユーザは、個別の画像の共有を許可されたユーザ、例えば画像を提供するユーザの家族などでありうる。つまり、図39の例では、プライベートな範囲で実空間の画像が共有されている。実空間の画像をプライベートに共有するか、パブリックに共有するかは、例えば提供される実空間の画像の種類や、画像を提供するユーザがアノテーションとしてどのような情報を得られることを望んでいるかによって適宜設定されうる。
図示された例では、コメント1320として、買い物リスト1320pと、リンゴのうちの1つを指定するコメント1320qとが入力されている。このうち、リンゴを指定するコメント1320qは、ウェアラブル端末200の移動によって画像の表示範囲が変化しても同じリンゴに対して表示されることが望ましいため、ウェアラブル端末200の周囲の実空間の位置に関連付けられうる。一方、買い物リスト1320pは、ウェアラブル端末200の移動によって画像の表示範囲が変化しても引き続き画像の同じ位置に表示されることが望ましいため、画像1300内の位置に関連付けられてもよい。このように、アノテーションが入力される装置(例えばタブレット端末300)のプロセッサは、アノテーションの種類やユーザ操作などに応じて、アノテーションを実空間の位置に関連付けるか、画像内の位置に関連付けるかを切り替えてもよい。
図40は、本開示の一実施形態に係る技術を利用して工作をする人の視点を共有するアプリケーションの例を示す図である。この例では、ウェアラブル端末200などを装着して工作過程の画像を提供するユーザに対して、タブレット端末300などを用いてこの画像を共有するユーザは、画像を提供するユーザが予め先生として指定したユーザでありうる。先生役のユーザは、画像1300を閲覧し、例えばコメント1320s(部品が壊れやすいことへの注意を喚起するアドバイス)などのアノテーションを入力することができる。一方、画像を提供するユーザも、例えば音声認識など(キーボードなどによる入力でもよい)を利用して、例えば先生役のユーザへの質問などのコメント1320tを入力することが可能でありうる。
つまり、図示された例では、コメント1320を介して、画像を提供するユーザと先生役のユーザとの間で例えば工作に関するインタラクティブな会話が可能である。この場合も、コメント1320が実空間の位置に関連付けられることによって、対象になっている部品などの位置に正確にコメントを表示させることができる。なお、この画像は、さらに別のユーザとの間でも共有することが可能であってもよい。この場合、画像を提供するユーザおよび先生役のユーザ以外の他のユーザによるコメント1320の入力は制限されてもよい。あるいは、他のユーザによって入力されたコメント1320は、他のユーザ同士の間に限って画像1300に表示されてもよい。
図41〜図44は、本開示の一実施形態に係る技術を利用して複数のユーザの視点を切り替えて共有するアプリケーションの例を示す図である。
図41は、視点の切り替えを概念的に説明するための図である。図41には、同じ実空間に存在する2つのウェアラブル端末200a,200bが、それぞれ撮像部を有して画像1200a,1200bを取得している様子が示されている。このとき、ウェアラブル端末200a,200bがそれぞれ空間情報を取得していれば、実空間の位置情報を介して互いの位置(視点位置)を認識することができる。従って、例えば、画像1200aに映っているウェアラブル端末200b、または画像1200bに映っているウェアラブル端末200aを選択することによって、画像1200aの表示と画像1200bの表示とを切り替えることができる。
図42は、3人称画像を用いた視点切り替えの例を示す図である。図示された例では、タブレット端末300のディスプレイ330に3人称画像1020が表示されており、そこに2つのストリーミングフレーム1021a,1021bが表示されている。これらのストリーミングフレームは、例えば、図41に示したウェアラブル端末200a,200bによってそれぞれ取得されたものでありうる。ユーザは、例えばディスプレイ330上のタッチセンサ340へのタッチ操作でいずれかのストリーミングフレーム1021を選択することによって、ウェアラブル端末200aの視点からの画像とウェアラブル端末200bの視点からの画像とを切り替えて共有することができる。
図43および図44は、1人称画像を用いた視点切り替えの例を示す図である。図43に示された例では、1人称画像1010に、切り替え可能な視点を示すポインタ1011と、その視点に関する情報1012とが表示されている。ポインタ1011は、例えば、別の視点で画像を提供している装置を指し示す表示でありえ、図示されているようにその装置によって提供される画像の画角を表してもよい。また、情報1012は、例えば他の装置によって提供される画像がどのような種類の画像であるか(図示された例では「Camera View」である)、誰によって提供される画像であるか、などを示す。ユーザが受信側の装置の操作部を介してポインタ1011または情報1012を選択した場合、図44に示すように他の視点からの1人称画像1010’に表示が切り替えられうる。なお、図43に示された画像は、ファッションショーに出演しているモデルを見る観客の視点からの画像である。一方、図44に示された画像は、上記のモデルの視点からの画像であり、ランウェイの脇にいる観客が映っている。
なお、上記のような切り替え可能な複数の視点画像のそれぞれには、例えばパブリックかプライベートか、有料か無料か、などといった属性が設定されていてもよい。この場合、例えば、図42に示した3人称画像1020や図43に示した1人称画像1010には、パブリックであるか、プライベートであっても既に許可が与えられているために閲覧することが可能である画像に限ってポインタ1011や情報1012が表示されてもよい。あるいは、3人称画像1020や1人称画像1010では、画像を閲覧しているユーザの設定によって、無料であるか、有料であっても既に購入されているために閲覧することが可能である画像に限ってポインタ1011や情報1012が表示されてもよい。
(8.入力対象位置と視認可能範囲との関係の表示)
続いて、図45〜図49を参照して、本開示の一実施形態における入力対象位置と視認可能範囲との関係の表示について説明する。本実施形態では、上記のように、送信側の装置において送信される実空間の画像データに空間情報が付加される。この空間情報を利用すれば、受信側の装置では、送信側の装置で表示されている画像の表示範囲に関わらず、実空間の任意の位置に対してアノテーションを入力することが可能である。
例えば、上述した図3Aおよび図3Bの例では、ウェアラブル端末200(送信側の装置)でディスプレイ230(表示部)に表示される画像1200の表示範囲よりも、カメラ260(撮像部)によって撮像されてタブレット端末300(受信側の装置)において表示される画像1300の表示範囲の方が広い。このような場合、タブレット端末300では、現時点ではウェアラブル端末200で表示される画像1200の表示範囲に含まれていない実空間の位置に対してもアノテーション1310,1320を入力することが可能である。入力されたアノテーションは、ウェアラブル端末200で取得された空間情報に基づいて定義される実空間での位置情報に関連付けてタブレット端末300、サーバ100またはウェアラブル端末200で保持され、後にウェアラブル端末200とともにカメラ260が移動したことによってその位置が画像1200の表示範囲内になった場合に、画像1200にアノテーション1210,1220として表示されうる。
また、例えば、上述した図7〜図10Cの例では、3人称画像1020または1.3人称画像1030として、送信側の装置で視認されている1人称画像1010を超えた範囲の画像が表示され、受信側の装置でこれらの画像を閲覧するユーザは、1人称画像1010の表示範囲の外にある実空間に対してもアノテーションを入力することが可能である。この場合も、入力されたアノテーションは、送信側の装置で取得された空間情報に基づいて定義される実空間での位置情報に関連付けて保持され、後に1人称画像1010の表示範囲が移動してその位置を含むようになった場合に表示されうる。
上記のような場合、受信側の装置(以下、例としてタブレット端末300とする)のユーザとしては、入力しようとしているアノテーションが現時点で送信側の装置(以下、例としてウェアラブル端末200とする)において視認可能であるか、またはどのように視認されるかを知りたい場合がある。例えば、上述した例のように、視認可能範囲外にあるアノテーションに関する情報がウェアラブル端末200において表示される構成が採用されない場合がある。また、そのような構成が採用される場合でも、視認可能範囲外にあるアノテーションに関する情報が表示されて送信側の装置のユーザの注視を明示的に促すことが望まれない場合(例えば、受信側の装置のユーザが、自然に、またはそれとなくアノテーションが視認されることを望む場合)もある。
そこで、本実施形態では、以下の例に示すように、入力対象位置と視認可能範囲との関係が表示されうる。このような表示のための表示制御は、送信側の装置における視認可能範囲の情報と、受信側の装置においてアノテーションの入力対象位置が設定されうる範囲の情報とが提供されることによって、例えば送信側の装置もしくは受信側の装置(例えばウェアラブル端末200やタブレット端末300など)、またはサーバ100のプロセッサで実行される。なお、以下の例は、例えば上述したさまざまな例とは独立して、実空間の画像の視認可能範囲外にアノテーションが入力される可能性がある場合には遍く適用されうる。
(第1の例)
図45は、本開示の一実施形態における入力対象位置と視認可能範囲との関係の表示の第1の例を示す図である。図45には、タブレット装置300に表示される画像1300が示されている。
図示された例において、画像1300では、まだアノテーションが入力されていない。この状態において、画像1300には、視認可能範囲表示1330が表示されている。視認可能範囲表示1330は、例えばウェアラブル端末200におけるカメラ260の撮像範囲とディスプレイ230の透過表示範囲(実際の透過表示と仮想的な透過表示とを含む)とのキャリブレーションの結果に基づいて特定される、ウェアラブル端末200のユーザの視認可能範囲に対応して表示される。なお、視認可能範囲表示1330は、図示された例のような枠線には限らず、例えば色のついたレイヤ状のオブジェクトなど、さまざまな形態で表示されうる。
このような視認可能範囲表示1330が表示されることによって、タブレット端末300のユーザは、これからアノテーションを入力しようとする位置(入力対象位置)が、ウェアラブル端末200のユーザの現時点での視認可能範囲内にあるか否かを予め容易に認識することができる。
(第2の例)
図46および図47は、本開示の一実施形態における入力対象位置と視認可能範囲との関係の表示の第2の例を示す図である。図46および図47には、タブレット端末300に表示される画像1300が示されている。
図示された例において、画像1300では、実空間内の任意の位置をポインティングするアノテーションが入力されている。図46では、アノテーション表示1340aが視認可能範囲表示1330の外側、すなわちウェアラブル端末200のユーザの視認可能範囲外に入力されている。一方、図47では、アノテーション表示1340bが、視認可能範囲表示1330の内側、すなわちウェアラブル端末200のユーザの視認可能範囲内に入力されている。図示された例では、アノテーション表示1340a(円が点線で表示される)とアノテーション表示1340b(円が太線で表示される)との違いからも分かるように、アノテーション表示1340が、ウェアラブル端末200のユーザの視認可能範囲内に入力されたか否かによって異なる態様で表示される。
このようにアノテーション表示1340が表示されることによって、タブレット端末300のユーザは、アノテーションを入力した位置(入力対象位置)が、ウェアラブル端末200のユーザの現時点での視認可能範囲内にあるか否かを容易に認識することができる。
例えば、タブレット端末300のユーザが、ウェアラブル端末200のユーザの視認可能範囲内にアノテーションを入力したかったにもかかわらず、システム側で認識された入力対象位置が視認可能範囲外であった場合、アノテーション表示1340aが表示されることによって、タブレット端末300のユーザはアノテーションを視認可能範囲内に入力できなかったことを認識できる。そのような場合、タブレット端末300のユーザは、アノテーション表示1340bが表示されるまで、アノテーションの入力をやり直すことができる。
なお、この第2の例において、視認可能範囲表示1330は、必ずしも表示されなくてもよい。視認可能範囲表示1330がなくても、タブレット端末300のユーザは、例えば画像1300の中央付近を視認可能範囲と推定してアノテーションを入力し、アノテーション表示1340の表示態様によってアノテーションが視認可能範囲内に入力されたか否かを認識することができる。
(第3の例)
図48は、本開示の一実施形態における入力対象位置と視認可能範囲との関係の第3の例を示す図である。図48には、タブレット端末300に表示される画像1300が示されている。
図示された例において、画像1300では、アノテーションとして手書きストローク1350が入力されている。手書きストローク1350は、画像1300において、視認可能範囲表示1330の外側、すなわちウェアラブル端末200のユーザの視認可能範囲外では、点線のストローク1350aとして表示される。一方、手書きストローク1350は、視認可能範囲表示1330の内側、すなわちウェアラブル端末200のユーザの視認可能範囲内では、実線のストローク1350bとして表示される。このように、図示された例では、手書きストローク1350の各部分が、ウェアラブル端末200のユーザの視認可能範囲内に位置するか否かによって異なる態様で表示される。
このように手書きストローク1350が表示されることによって、タブレット端末300のユーザは、ストロークの各部分を入力した位置(入力対象位置)が、ウェアラブル端末200のユーザの現時点での視認可能範囲内にあるか否かを容易に認識することができる。
例えば、タブレット端末300のユーザが、ウェアラブル端末200のユーザの視認可能範囲外にあるオブジェクトを矢印で指す手書きストロークをアノテーションとして入力する場合、オブジェクトから引かれた矢印のストロークが実線のストローク1350bとして表示されることによって、タブレット端末300のユーザは、視認可能範囲内まで矢印が表示され、ウェアラブル端末200のユーザがその矢印をたどって視線を移動させた結果オブジェクトを注視するする可能性があることを認識することができる。
なお、この第3の例において、視認可能範囲表示1330は、必ずしも表示されなくてもよい。視認可能範囲表示1330がなくても、タブレット端末300のユーザは、例えば画像1300の中央付近を視認可能範囲と推定してアノテーションの手書きストローク1350を入力し、実線のストローク1350bが表示されることによって、ストロークの少なくとも一部が視認可能範囲内に入力されていることを認識することができる。
(第4の例)
図49は、本開示の一実施形態における入力対象位置と視認可能範囲との関係の表示の第4の例を示す図である。図49には、タブレット端末300に表示される画像1300が示されている。
図示された例は、上記の第1の例と同様の状況であり、まだアノテーションが入力されていない状態で、視認可能範囲表示1330が表示されている。ただし、この例では、画像1300が、上記で図9および図10などを参照して説明したような手法で、ウェアラブル端末200のカメラ260のリアルタイムの撮像画像に基づくストリーミングフレームの範囲よりも拡大されている。従って、画像1300には、ストリーミングフレーム1360が表示され、その中に視認可能範囲表示1330が表示される。
この第4の例のように、上述した入力対象位置と視認可能範囲との関係の表示の例は、タブレット端末300においてウェアラブル端末200のカメラ260のリアルタイムの撮像画像に基づくストリーミングフレームが表示されている場合に限らず、例えば過去に提供されたストリーミングフレームの画像に基づいて表示範囲が拡大され、ウェアラブル端末200のユーザの体外に離脱したような視点が提供される場合にも適用可能である。より具体的には、図49の例に示したような画像1300においても、第2の例に係るアノテーション表示1340a,1340bや、第3の例に係る手書きストローク1350a,1350bが表示されうる。
以上で説明したように、本実施形態は、タブレット端末300において入力されうる、ウェアラブル端末200における視認可能範囲外に入力されうるアノテーションについて、(1)ウェアラブル端末200で、当該アノテーションについての情報を表示する例と、(2)タブレット端末300で、当該アノテーションと視認可能範囲との関係を表示する例とを含む。これらの例に係る構成は、いずれか一方が採用されてもよいし、両方が採用されてもよい。
ここで、例えば、(1)の構成が採用される場合、視認可能範囲外のアノテーションについての情報(例えば図22に例示した方向表示1230など)が、ウェアラブル端末200で画像1200に表示される。この情報は、ウェアラブル端末200、タブレット端末300、またはサーバ100のプロセッサによる制御に基づいて、タブレット端末300でも同様にして画像1300に表示されてもよい。なお、ここで、「表示のための制御を実行するプロセッサ」は、表示が実行される装置のプロセッサを意味してもよいし、表示が実行される装置のプロセッサが制御において用いる情報を生成する他の装置のプロセッサを意味してもよい。従って、視認可能範囲外のアノテーションについての情報をタブレット端末300で画像1300に表示させるための制御は、ウェアラブル端末200で実行されてもよく、タブレット端末300で実行されてもよく、サーバ100で実行されてもよい。
つまり、本実施形態において、視認可能範囲外のアノテーションについて画像1200に表示されている情報は、画像1300においても同期して表示されてもよい。これによって、タブレット端末300のユーザは、アノテーションが視認可能範囲外に表示されていることともに、当該アノテーションについての情報が画像1200において表示されており、ウェアラブル端末200のユーザの視点移動によってアノテーションが視認される可能性があることを認識することができる。
(9.身体形状を利用したアノテーション関連表示)
続いて、図50〜図52を参照して、本開示の一実施形態における身体形状を利用したアノテーション関連表示について説明する。本実施形態では、実空間のストリーミング画像の受信側の装置から、当該ストリーミング画像の送信側の装置に対して、様々なアノテーションを入力することが可能である。送信側の装置において送信される実空間の画像データに付加される空間情報を利用して、アノテーションが、送信側の装置のユーザが視認可能な範囲に対しても、その外の実空間に対しても入力されうることは、既に述べた通りである。以下の例では、そのようなアノテーションのバリエーションとして、受信側の装置のユーザの身体形状を利用したアノテーション関連表示の例について説明する。
(第1の例)
図50は、本開示の一実施形態における身体形状を利用したアノテーション関連表示の第1の例を示す図である。図50では、実空間のストリーミング画像の受信側の装置の例として、デスクトップ型のPC302が示されている。PC302は、図示しないセンサによって、ユーザの手などの身体形状、またはジェスチャを認識することが可能である。図示されているように、PC302のユーザは、手のジェスチャによって、PC302に表示された実空間のストリーミング画像1300に対するアノテーションを入力することが可能である。
このとき、画像1300には、センサによって認識されているユーザの手の形状に対応するグラフィック1370が表示される。グラフィック1370は、画像1300においてユーザの手が対応付けられる実空間の位置に表示されうる。つまり、図示された状態でユーザが手の任意の部分(例えば右手の人差し指の先)で何らかのアノテーション入力を実行した場合、アノテーションは、グラフィック1370の右手の人差し指の先が表示されている位置に対して入力されうる。
このような構成によって、ユーザは、ジェスチャを用いてアノテーションを入力するにあたり、アノテーションが入力される位置を予め直観的に認識することができる。また、後述するように、グラフィック1370は、ストリーミング画像の送信側の装置(例えばウェアエアブル端末200)において同期して表示されてもよい。この場合、グラフィック1370自体がアノテーションを構成するともいえる。
(第2の例)
図51は、本開示の一実施形態における身体形状を利用したアノテーション関連表示の第2の例を示す図である。図51でも、画像1300において、上記で図50を参照して説明した第1の例と同様のグラフィック1370が表示されている。ただし、この例では、画像1300が、上記で図9および図10などを参照して説明したような手法で、リアルタイムのストリーミング画像の範囲よりも拡大されている。従って、画像1300には、ストリーミングフレーム1360が表示され、それとともにグラフィック1370が表示される。
この第2の例のように、本実施形態における身体形状を利用したアノテーション関連表示の例は、ストリーミング画像の受信側の装置においてリアルタイムのストリーミング画像がそのまま表示されている場合に限らず、例えば過去に提供されたストリーミング画像に基づいて表示範囲が拡大され、ストリーミング画像の送信側のユーザの体外に離脱したような視点が提供される場合にも適用可能である。
(第3の例)
図52は、本開示の一実施形態における身体形状を利用したアノテーション関連表示の第3の例を示す図である。図52では、実空間のストリーミング画像の送信側の装置(例えばウェアラブル端末200)において、上記の例で画像1300に表示されたグラフィック1370と同様のグラフィック1291が表示されている。
グラフィック1291は、ストリーミング画像の受信側の装置(例えば上記の例におけるPC302)でセンサによって認識されているユーザの手の形状に対応する。つまり、図示された例では、受信側の装置におけるユーザの手のジェスチャが、そのままアノテーション(グラフィック1291)として表示される。これによって、受信側の装置のユーザは、例えばオブジェクトを指さしたり、方向を示したりといった情報の伝達を、ジェスチャによって別途アノテーションを入力するのではなく、ジェスチャそのものによって実行することが可能である。
なお、この第4の例では、受信側の装置で表示される画像1300でもグラフィック1370が表示され、グラフィック1370とグラフィック1291とが同期してもよい。また、受信側の装置では、画像1300に継続的にグラフィック1370を表示しつつ、グラフィック1370に同期するグラフィック1291を送信側の装置で画像1200に表示させる(つまり、グラフィック1370に対応するアノテーションを入力する)か否かをユーザが選択可能であってもよい。これによって、受信側の装置のユーザは、必要な場合に限って手の形状をアノテーションとして表示させることができる。
また、画像1200では、グラフィック1291とともに、上述した他のアノテーション、例えばテキスト(コメントなど)や各種の図形(ポインタまたは手書きストロークなど)が表示されてもよい。この場合、例えば、グラフィック1291の動きに合わせて、当該動きによって入力された他のアノテーションが現れてもよい。これによって、送信側の装置のユーザは、アノテーションが新たに入力されたことを直観的に認識することができる。
(10.補足)
本開示の実施形態は、例えば、上記で説明したような画像処理装置(サーバまたはクライアント)、システム、画像処理装置またはシステムで実行される画像処理方法、画像処理装置を機能させるためのプログラム、およびプログラムが記録された一時的でない有形の媒体を含みうる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)端末装置の表示部を制御する表示制御部を備え、
前記表示制御部は、
前記表示部を介して実空間に表示される仮想オブジェクトに関連付けられた前記実空間での位置情報に基づいて前記仮想オブジェクトの表示位置を決定し、前記表示位置に基づいて前記仮想オブジェクトを前記実空間に表示させる制御と、
前記仮想オブジェクトの一部または全部が前記実空間の視認可能範囲の外にある場合に前記仮想オブジェクトの存在を示す通知を前記実空間に表示させる制御と
を実行する表示制御装置。
(2)前記表示制御部は、前記仮想オブジェクトの全部が前記視認可能範囲の外にある場合に前記通知を表示させる、前記(1)に記載の表示制御装置。
(3)前記通知は、前記視認可能範囲から見て前記仮想オブジェクトが存在する方向を示す表示を含む、前記(2)に記載の表示制御装置。
(4)前記通知は、前記方向に対応する前記視認可能範囲の辺縁部に表示される、前記(3)に記載の表示制御装置。
(5)前記通知は、前記視認可能範囲と前記仮想オブジェクトとの間の距離を示す表示を含む、前記(3)または(4)に記載の表示制御装置。
(6)前記通知は、前記視認可能範囲から見て前記仮想オブジェクトが存在する方向が前記実空間における光源方向に対応する場合には、前記仮想オブジェクトの影の表示を含む、前記(3)に記載の表示制御装置。
(7)前記表示制御部は、前記仮想オブジェクトが前記視認可能範囲の中に入った後も前記影の表示を継続する、前記(6)に記載の表示制御装置。
(8)前記実空間の撮像画像を取得する画像取得部をさらに備え、
前記通知は、前記撮像画像から抽出された前記位置情報に対応する位置の前記実空間の画像を含む、前記(2)〜(5)のいずれか1項に記載の表示制御装置。
(9)前記通知は、過去に取得された前記撮像画像から抽出された前記位置情報に対応する位置の前記実空間の画像に前記仮想オブジェクトを重畳させた画像を含む、前記(8)に記載の表示制御装置。
(10)前記通知は、過去の前記仮想オブジェクトに関連付けられた前記位置情報に対応する位置が前記視認可能範囲に入るように前記表示部を移動させるためのナビゲーションを含む、前記(2)に記載の表示制御装置。
(11)前記表示制御部は、前記仮想オブジェクトの一部が前記視認可能範囲の外にある場合に前記通知を表示させる、前記(1)に記載の表示制御装置。
(12)前記通知は、前記仮想オブジェクトのうち前記視認可能範囲の外にある不可視部分のサイズまたは割合を示す表示を含む、前記(11)に記載の表示制御装置。
(13)前記不可視部分のサイズまたは割合を示す表示は、前記仮想オブジェクトが前記視認可能範囲の辺縁部に当接した部分に配置される領域であり、該領域のサイズによって前記不可視部分のサイズまたは割合が示される、前記(12)に記載の表示制御装置。
(14)前記仮想オブジェクトは、前記位置情報に対応する位置に存在する実オブジェクトに関する情報を含み、
前記表示制御部は、前記実オブジェクトが前記表示部において所定の位置に配置されるまで前記仮想オブジェクトの表示を抑制するとともに前記通知の表示を継続する、前記(1)に記載の表示制御装置。
(15)前記視認可能範囲は、前記表示部に表示される前記実空間の画像の範囲によって規定される、前記(1)に記載の表示制御装置。
(16)前記実空間の撮像画像を取得する画像取得部をさらに備え、
前記表示制御部は、前記撮像画像の一部を前記実空間の画像として前記表示部に表示させる、前記(15)に記載の表示制御装置。
(17)前記視認可能範囲は、前記表示部が前記実空間に付加的に画像を表示させることが可能な範囲によって規定される、前記(1)に記載の表示制御装置。
(18)前記表示制御部は、前記仮想オブジェクトの入力が実行される、前記端末装置とは異なる装置において前記通知を表示させるための制御を実行する、前記(1)〜前記(17)のいずれか1項に記載の表示制御装置。
(19)端末装置の表示部を制御するプロセッサが、
前記表示部を介して実空間に表示される仮想オブジェクトに関連付けられた前記実空間での位置情報に基づいて前記仮想オブジェクトの表示位置を決定し、前記表示位置に基づいて前記仮想オブジェクトを前記実空間に表示させることと、
前記仮想オブジェクトの一部または全部が前記実空間の視認可能範囲の外にある場合に前記仮想オブジェクトの存在を示す通知を前記実空間に表示させることと
を含む表示制御方法。
(20)端末装置の表示部を制御するコンピュータに、
前記表示部を介して実空間に表示される仮想オブジェクトに関連付けられた前記実空間での位置情報に基づいて前記仮想オブジェクトの表示位置を決定し、前記表示位置に基づいて前記仮想オブジェクトを前記実空間に表示させる機能と、
前記仮想オブジェクトの一部または全部が前記実空間の視認可能範囲の外にある場合に前記仮想オブジェクトの存在を示す通知を前記実空間に表示させる機能と
を実現させるためのプログラム。
10 システム
100 サーバ
200,300,400,500,600,700 クライアント
900 装置
910 プロセッサ
920 メモリ
930 表示部
940 操作部
950 通信部
960 撮像部
970 センサ

Claims (20)

  1. 端末装置の表示部を制御する表示制御部を備え、
    前記表示制御部は、
    前記表示部を介して実空間に表示される仮想オブジェクトに関連付けられた前記実空間での位置情報に基づいて前記仮想オブジェクトの表示位置を決定し、前記表示位置に基づいて前記仮想オブジェクトを前記実空間に表示させる制御と、
    前記仮想オブジェクトの一部または全部が前記実空間の視認可能範囲の外にある場合に前記仮想オブジェクトの存在を示す通知を前記実空間に表示させる制御と
    を実行し、
    前記通知は、前記視認可能範囲と前記仮想オブジェクトとの間の距離を示す表示を含む、
    表示制御装置。
  2. 前記表示制御部は、前記仮想オブジェクトの全部が前記視認可能範囲の外にある場合に前記通知を表示させる、請求項1に記載の表示制御装置。
  3. 前記通知は、前記視認可能範囲から見て前記仮想オブジェクトが存在する方向を示す表示を含む、請求項2に記載の表示制御装置。
  4. 前記通知は、前記方向に対応する前記視認可能範囲の辺縁部に表示される、請求項3に記載の表示制御装置。
  5. 前記通知は、前記視認可能範囲から見て前記仮想オブジェクトが存在する方向が前記実空間における光源方向に対応する場合には、前記仮想オブジェクトの影の表示を含む、請求項3に記載の表示制御装置。
  6. 前記表示制御部は、前記仮想オブジェクトが前記視認可能範囲の中に入った後も前記影の表示を継続する、請求項に記載の表示制御装置。
  7. 前記実空間の撮像画像を取得する画像取得部をさらに備え、
    前記通知は、前記撮像画像から抽出された前記位置情報に対応する位置の前記実空間の画像を含む、請求項1〜4のいずれか1項に記載の表示制御装置。
  8. 前記通知は、過去に取得された前記撮像画像から抽出された前記位置情報に対応する位置の前記実空間の画像に前記仮想オブジェクトを重畳させた画像を含む、請求項に記載の表示制御装置。
  9. 前記通知は、過去の前記仮想オブジェクトに関連付けられた前記位置情報に対応する位置が前記視認可能範囲に入るように前記表示部を移動させるためのナビゲーションを含む、請求項2に記載の表示制御装置。
  10. 前記表示制御部は、前記仮想オブジェクトの一部が前記視認可能範囲の外にある場合に前記通知を表示させる、請求項1に記載の表示制御装置。
  11. 前記通知は、前記仮想オブジェクトのうち前記視認可能範囲の外にある不可視部分のサイズまたは割合を示す表示を含む、請求項10に記載の表示制御装置。
  12. 前記不可視部分のサイズまたは割合を示す表示は、前記仮想オブジェクトが前記視認可能範囲の辺縁部に当接した部分に配置される領域であり、該領域のサイズによって前記不可視部分のサイズまたは割合が示される、請求項11に記載の表示制御装置。
  13. 前記仮想オブジェクトは、前記位置情報に対応する位置に存在する実オブジェクトに関する情報を含み、
    前記表示制御部は、前記実オブジェクトが前記表示部において所定の位置に配置されるまで前記仮想オブジェクトの表示を抑制するとともに前記通知の表示を継続する、請求項1に記載の表示制御装置。
  14. 前記視認可能範囲は、前記表示部に表示される前記実空間の画像の範囲によって規定される、請求項1に記載の表示制御装置。
  15. 前記実空間の撮像画像を取得する画像取得部をさらに備え、
    前記表示制御部は、前記撮像画像の一部を前記実空間の画像として前記表示部に表示させる、請求項14に記載の表示制御装置。
  16. 前記視認可能範囲は、前記表示部が前記実空間に付加的に画像を表示させることが可能な範囲によって規定される、請求項1に記載の表示制御装置。
  17. 前記表示制御部は、前記仮想オブジェクトの入力が実行される、前記端末装置とは異なる装置において前記通知を表示させるための制御を実行する、請求項1〜請求項16のいずれか1項に記載の表示制御装置。
  18. 端末装置の表示部を制御するプロセッサが、
    前記表示部を介して実空間に表示される仮想オブジェクトに関連付けられた前記実空間での位置情報に基づいて前記仮想オブジェクトの表示位置を決定し、前記表示位置に基づいて前記仮想オブジェクトを前記実空間に表示させることと、
    前記仮想オブジェクトの一部または全部が前記実空間の視認可能範囲の外にある場合に前記仮想オブジェクトの存在を示す通知を前記実空間に表示させることと
    を含み、
    前記通知は、前記視認可能範囲と前記仮想オブジェクトとの間の距離を示す表示を含む、
    表示制御方法。
  19. 端末装置の表示部を制御するコンピュータに、
    前記表示部を介して実空間に表示される仮想オブジェクトに関連付けられた前記実空間での位置情報に基づいて前記仮想オブジェクトの表示位置を決定し、前記表示位置に基づいて前記仮想オブジェクトを前記実空間に表示させる機能と、
    前記仮想オブジェクトの一部または全部が前記実空間の視認可能範囲の外にある場合に前記仮想オブジェクトの存在を示す通知を前記実空間に表示させる機能と
    を実現させ
    前記通知は、前記視認可能範囲と前記仮想オブジェクトとの間の距離を示す表示を含む、
    プログラム。
  20. 端末装置の表示部を制御する表示制御部を備え、
    前記表示制御部は、
    前記表示部を介して実空間に表示される仮想オブジェクトに関連付けられた前記実空間での位置情報に基づいて前記仮想オブジェクトの表示位置を決定し、前記表示位置に基づいて前記仮想オブジェクトを前記実空間に表示させる制御と、
    前記仮想オブジェクトの一部または全部が前記実空間の視認可能範囲の外にある場合に前記仮想オブジェクトの存在を示す通知を前記実空間に表示させる制御と
    を実行し、
    前記通知は、前記仮想オブジェクトのうち前記視認可能範囲の外にある不可視部分のサイズまたは割合を示す表示を含む、
    表示制御装置。
JP2015509967A 2013-04-04 2014-03-10 表示制御装置、表示制御方法およびプログラム Active JP6304241B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2013078892 2013-04-04
JP2013078892 2013-04-04
JP2013191464 2013-09-17
JP2013191464 2013-09-17
PCT/JP2014/056162 WO2014162825A1 (ja) 2013-04-04 2014-03-10 表示制御装置、表示制御方法およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2014162825A1 JPWO2014162825A1 (ja) 2017-02-16
JP6304241B2 true JP6304241B2 (ja) 2018-04-04

Family

ID=51658128

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015509967A Active JP6304241B2 (ja) 2013-04-04 2014-03-10 表示制御装置、表示制御方法およびプログラム

Country Status (5)

Country Link
US (1) US20160055676A1 (ja)
EP (1) EP2983138A4 (ja)
JP (1) JP6304241B2 (ja)
CN (1) CN105103198A (ja)
WO (1) WO2014162825A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10853681B2 (en) 2016-03-29 2020-12-01 Sony Corporation Information processing device, information processing method, and program
JP7505113B2 (ja) 2021-03-29 2024-06-24 京セラ株式会社 ウェアラブル端末装置、プログラムおよび表示方法

Families Citing this family (79)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3070585A4 (en) * 2013-11-13 2017-07-05 Sony Corporation Display control device, display control method and program
WO2015145778A1 (ja) 2014-03-28 2015-10-01 パイオニア株式会社 車載用照明装置
CN104093061B (zh) * 2014-07-18 2020-06-02 北京智谷睿拓技术服务有限公司 内容分享方法和装置
US9791919B2 (en) * 2014-10-19 2017-10-17 Philip Lyren Electronic device displays an image of an obstructed target
JP2016085642A (ja) * 2014-10-27 2016-05-19 富士通株式会社 操作支援方法、操作支援プログラムおよび操作支援装置
US10511608B2 (en) * 2014-10-30 2019-12-17 Lenovo (Singapore) Pte. Ltd. Aggregate service with file sharing
US20170061700A1 (en) * 2015-02-13 2017-03-02 Julian Michael Urbach Intercommunication between a head mounted display and a real world object
JP2016177614A (ja) * 2015-03-20 2016-10-06 株式会社リコー 会議システム、情報処理装置、情報端末、及びプログラム
EP3281403A4 (en) * 2015-04-06 2018-03-07 Scope Technologies US Inc. Methods and apparatus for augmented reality applications
US10062208B2 (en) 2015-04-09 2018-08-28 Cinemoi North America, LLC Systems and methods to provide interactive virtual environments
KR20160125674A (ko) * 2015-04-22 2016-11-01 엘지전자 주식회사 이동 단말기 및 그 제어 방법
JP2016218268A (ja) * 2015-05-21 2016-12-22 セイコーエプソン株式会社 可搬型表示装置、表示システム、表示方法
WO2016185845A1 (ja) 2015-05-21 2016-11-24 日本電気株式会社 インタフェース制御システム、インタフェース制御装置、インタフェース制御方法、及びプログラム
WO2017013986A1 (ja) * 2015-07-17 2017-01-26 シャープ株式会社 情報処理装置、端末、および、遠隔通信システム
JP6531007B2 (ja) * 2015-08-07 2019-06-12 シャープ株式会社 マーク処理装置、プログラム
JP2017054185A (ja) * 2015-09-07 2017-03-16 株式会社東芝 情報処理装置、情報処理方法及び情報処理プログラム
JP6684559B2 (ja) * 2015-09-16 2020-04-22 株式会社バンダイナムコエンターテインメント プログラムおよび画像生成装置
JP6886236B2 (ja) * 2015-09-30 2021-06-16 富士通株式会社 視野誘導方法、視野誘導プログラム、及び視野誘導装置
EP3377961B1 (en) 2015-11-17 2021-07-21 PCMS Holdings, Inc. System and method for using augmented reality to visualize network service quality
JP6766824B2 (ja) * 2015-12-10 2020-10-14 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
CN105487834B (zh) * 2015-12-14 2018-08-07 广东威创视讯科技股份有限公司 拼接墙回显方法和系统
IL262279B2 (en) 2016-04-21 2023-04-01 Magic Leap Inc A visual aura around the field of vision
CN109314800B (zh) 2016-06-13 2022-02-01 索尼互动娱乐有限责任公司 用于将用户注意力引导到基于位置的游戏进行伴随应用的方法和系统
CN106331689B (zh) * 2016-08-26 2018-09-18 杭州智屏电子商务有限公司 Vr视频播放时定位对象方法及vr视频播放时定位对象装置
US10593116B2 (en) 2016-10-24 2020-03-17 Snap Inc. Augmented reality object manipulation
WO2018100906A1 (ja) * 2016-11-30 2018-06-07 グリー株式会社 アプリケーション制御プログラム、アプリケーション制御方法及びアプリケーション制御システム
US10146300B2 (en) * 2017-01-25 2018-12-04 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Emitting a visual indicator from the position of an object in a simulated reality emulation
WO2018167843A1 (ja) 2017-03-14 2018-09-20 日本電気株式会社 情報処理装置、情報処理システム、制御方法、及びプログラム
JP2018163461A (ja) * 2017-03-24 2018-10-18 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
JP6541704B2 (ja) * 2017-03-27 2019-07-10 Kddi株式会社 仮想物体を表示する端末装置とサーバ装置とを含むシステム
CN107247510A (zh) * 2017-04-27 2017-10-13 成都理想境界科技有限公司 一种基于增强现实的社交方法、终端、服务器和系统
US10509556B2 (en) * 2017-05-02 2019-12-17 Kyocera Document Solutions Inc. Display device
CN108875460B (zh) * 2017-05-15 2023-06-20 腾讯科技(深圳)有限公司 增强现实处理方法及装置、显示终端及计算机存储介质
EP3631601A1 (en) 2017-05-23 2020-04-08 PCMS Holdings, Inc. System and method for prioritizing ar information based on persistence of real-life objects in the user's view
EP3413167A1 (en) 2017-06-06 2018-12-12 Thomson Licensing Method and apparatus for inciting a viewer to rotate toward a reference direction when consuming an immersive content item
US10430924B2 (en) * 2017-06-30 2019-10-01 Quirklogic, Inc. Resizable, open editable thumbnails in a computing device
JP6952065B2 (ja) * 2017-07-21 2021-10-20 株式会社コロプラ 仮想空間を提供するコンピュータで実行されるプログラム、方法、および当該プログラムを実行する情報処理装置
US10803642B2 (en) 2017-08-18 2020-10-13 Adobe Inc. Collaborative virtual reality anti-nausea and video streaming techniques
US10613703B2 (en) * 2017-08-18 2020-04-07 Adobe Inc. Collaborative interaction with virtual reality video
US10715746B2 (en) * 2017-09-06 2020-07-14 Realwear, Inc. Enhanced telestrator for wearable devices
JP2019053423A (ja) 2017-09-13 2019-04-04 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
WO2019054086A1 (ja) * 2017-09-15 2019-03-21 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US11199946B2 (en) * 2017-09-20 2021-12-14 Nec Corporation Information processing apparatus, control method, and program
CN108304075B (zh) * 2018-02-11 2021-08-06 亮风台(上海)信息科技有限公司 一种在增强现实设备进行人机交互的方法与设备
WO2019181488A1 (ja) * 2018-03-20 2019-09-26 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US10776943B2 (en) * 2018-07-17 2020-09-15 Samsung Electronics Co., Ltd. System and method for 3D association of detected objects
US11694369B2 (en) * 2018-09-21 2023-07-04 Lg Electronics Inc. Vehicle user interface device and operating method of vehicle user interface device
US10785413B2 (en) 2018-09-29 2020-09-22 Apple Inc. Devices, methods, and graphical user interfaces for depth-based annotation
USD920997S1 (en) * 2019-01-04 2021-06-01 Samsung Electronics Co., Ltd. Refrigerator with transitional graphical user interface
USD904431S1 (en) * 2019-01-04 2020-12-08 Samsung Electronics Co., Ltd. Display screen or portion thereof with transitional graphical user interface
USD904432S1 (en) * 2019-01-04 2020-12-08 Samsung Electronics Co., Ltd. Display screen or portion thereof with transitional graphical user interface
CN113498531A (zh) 2019-03-06 2021-10-12 麦克赛尔株式会社 头戴式信息处理装置以及头戴式显示系统
US11216149B2 (en) * 2019-03-15 2022-01-04 Samsung Electronics Co., Ltd. 360° video viewer control using smart device
US10957108B2 (en) * 2019-04-15 2021-03-23 Shutterstock, Inc. Augmented reality image retrieval systems and methods
CN114009068A (zh) * 2019-04-17 2022-02-01 苹果公司 用于跟踪和查找物品的用户界面
WO2020223176A1 (en) 2019-04-28 2020-11-05 Prestacom Services Llc Generating tactile output sequences associated with an object
JP6815439B2 (ja) * 2019-06-07 2021-01-20 Kddi株式会社 仮想物体を表示する端末装置とサーバ装置とを含むシステム及び該サーバ装置
US11023095B2 (en) 2019-07-12 2021-06-01 Cinemoi North America, LLC Providing a first person view in a virtual world using a lens
USD1009884S1 (en) * 2019-07-26 2024-01-02 Sony Corporation Mixed reality eyeglasses or portion thereof with an animated graphical user interface
US11227446B2 (en) 2019-09-27 2022-01-18 Apple Inc. Systems, methods, and graphical user interfaces for modeling, measuring, and drawing using augmented reality
CN110716646A (zh) * 2019-10-15 2020-01-21 北京市商汤科技开发有限公司 一种增强现实数据呈现方法、装置、设备及存储介质
US11244164B2 (en) * 2020-02-03 2022-02-08 Honeywell International Inc. Augmentation of unmanned-vehicle line-of-sight
US11263787B2 (en) * 2020-03-05 2022-03-01 Rivian Ip Holdings, Llc Augmented reality detection for locating autonomous vehicles
US11043038B1 (en) * 2020-03-16 2021-06-22 Hong Kong Applied Science and Technology Research Institute Company Limited Apparatus and method of three-dimensional interaction for augmented reality remote assistance
CN111492409B (zh) * 2020-03-16 2023-05-02 香港应用科技研究院有限公司 用于增强现实远程协助的三维交互的装置和方法
US11727650B2 (en) 2020-03-17 2023-08-15 Apple Inc. Systems, methods, and graphical user interfaces for displaying and manipulating virtual objects in augmented reality environments
US11431952B2 (en) * 2020-05-11 2022-08-30 Sony Interactive Entertainment Inc. User selection of virtual camera location to produce video using synthesized input from multiple cameras
JP7390978B2 (ja) * 2020-05-27 2023-12-04 清水建設株式会社 アノテーション支援装置および方法
US11778421B2 (en) 2020-09-25 2023-10-03 Apple Inc. User interfaces for tracking and finding items
US11354868B1 (en) * 2021-02-26 2022-06-07 Zebra Technologies Corporation Method to map dynamically drawn augmented reality (AR) scribbles using recognition of discrete spatial anchor(s)
CN112947756A (zh) * 2021-03-03 2021-06-11 上海商汤智能科技有限公司 内容导览方法、装置、系统、计算机设备及存储介质
US11523063B2 (en) * 2021-03-25 2022-12-06 Microsoft Technology Licensing, Llc Systems and methods for placing annotations in an augmented reality environment using a center-locked interface
WO2022208600A1 (ja) * 2021-03-29 2022-10-06 京セラ株式会社 ウェアラブル端末装置、プログラムおよび表示方法
US20240177436A1 (en) 2021-03-29 2024-05-30 Kyocera Corporation Wearable terminal device, program, and notification method
US11941764B2 (en) 2021-04-18 2024-03-26 Apple Inc. Systems, methods, and graphical user interfaces for adding effects in augmented reality environments
US11887260B2 (en) 2021-12-30 2024-01-30 Snap Inc. AR position indicator
US11928783B2 (en) 2021-12-30 2024-03-12 Snap Inc. AR position and orientation along a plane
US11954762B2 (en) 2022-01-19 2024-04-09 Snap Inc. Object replacement system
WO2023223750A1 (ja) * 2022-05-18 2023-11-23 株式会社Nttドコモ 表示装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4065507B2 (ja) * 2002-07-31 2008-03-26 キヤノン株式会社 情報提示装置および情報処理方法
JP2005174021A (ja) * 2003-12-11 2005-06-30 Canon Inc 情報提示方法及び装置
CN2875135Y (zh) * 2005-10-17 2007-03-07 超源实业有限公司 宽幅吊颈带
US9013505B1 (en) * 2007-11-27 2015-04-21 Sprint Communications Company L.P. Mobile system representing virtual objects on live camera image
US20100198506A1 (en) * 2009-02-03 2010-08-05 Robert Steven Neilhouse Street and landmark name(s) and/or turning indicators superimposed on user's field of vision with dynamic moving capabilities
US20100238161A1 (en) * 2009-03-19 2010-09-23 Kenneth Varga Computer-aided system for 360º heads up display of safety/mission critical data
US20100305843A1 (en) * 2009-05-29 2010-12-02 Nokia Corporation Navigation indicator
US9258408B2 (en) * 2009-06-04 2016-02-09 Nokia Technologies Oy Method and apparatus for third-party control of device behavior
KR100989663B1 (ko) * 2010-01-29 2010-10-26 (주)올라웍스 단말 장치의 시야에 포함되지 않는 객체에 대한 정보를 제공하기 위한 방법, 단말 장치 및 컴퓨터 판독 가능한 기록 매체
CN102834799B (zh) * 2010-03-01 2015-07-15 Metaio有限公司 在真实环境的视图中显示虚拟信息的方法
US20110234631A1 (en) * 2010-03-25 2011-09-29 Bizmodeline Co., Ltd. Augmented reality systems
CN101833896B (zh) * 2010-04-23 2011-10-19 西安电子科技大学 基于增强现实的地理信息指引方法与系统
KR101347518B1 (ko) * 2010-08-12 2014-01-07 주식회사 팬택 필터의 선택이 가능한 증강 현실 사용자 장치 및 방법, 그리고, 증강 현실 서버
CN102375972A (zh) * 2010-08-23 2012-03-14 谢铮 一种分布式的基于可移动设备的增强现实平台
JP5724543B2 (ja) 2011-03-31 2015-05-27 ソニー株式会社 端末装置、オブジェクト制御方法及びプログラム
JP5765019B2 (ja) * 2011-03-31 2015-08-19 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
CN102980570A (zh) * 2011-09-06 2013-03-20 上海博路信息技术有限公司 一种实景增强现实导航系统
US9081177B2 (en) * 2011-10-07 2015-07-14 Google Inc. Wearable computer with nearby object response
US8635021B2 (en) * 2012-05-04 2014-01-21 Google Inc. Indicators for off-screen content
US8589818B1 (en) * 2013-01-03 2013-11-19 Google Inc. Moveable viewport for indicating off-screen content
US9208583B2 (en) * 2013-02-13 2015-12-08 Blackberry Limited Device with enhanced augmented reality functionality

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10853681B2 (en) 2016-03-29 2020-12-01 Sony Corporation Information processing device, information processing method, and program
JP7505113B2 (ja) 2021-03-29 2024-06-24 京セラ株式会社 ウェアラブル端末装置、プログラムおよび表示方法

Also Published As

Publication number Publication date
WO2014162825A1 (ja) 2014-10-09
EP2983138A1 (en) 2016-02-10
EP2983138A4 (en) 2017-02-22
US20160055676A1 (en) 2016-02-25
JPWO2014162825A1 (ja) 2017-02-16
CN105103198A (zh) 2015-11-25

Similar Documents

Publication Publication Date Title
JP6304241B2 (ja) 表示制御装置、表示制御方法およびプログラム
JP6308213B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP6304242B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP6304240B2 (ja) 表示制御装置、表示制御方法およびプログラム
US11886633B2 (en) Virtual object display interface between a wearable device and a mobile device
US9256986B2 (en) Automated guidance when taking a photograph, using virtual objects overlaid on an image
US9384594B2 (en) Anchoring virtual images to real world surfaces in augmented reality systems
WO2014188798A1 (ja) 表示制御装置、表示制御方法および記録媒体
JPWO2014188797A1 (ja) 表示制御装置、表示制御方法および記録媒体

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170202

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180219

R151 Written notification of patent or utility model registration

Ref document number: 6304241

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151