JP7285586B2 - 副端末と同一の仮想空間へ主端末を参入させる方法、システム、主端末、副端末及びプログラム - Google Patents

副端末と同一の仮想空間へ主端末を参入させる方法、システム、主端末、副端末及びプログラム Download PDF

Info

Publication number
JP7285586B2
JP7285586B2 JP2021172083A JP2021172083A JP7285586B2 JP 7285586 B2 JP7285586 B2 JP 7285586B2 JP 2021172083 A JP2021172083 A JP 2021172083A JP 2021172083 A JP2021172083 A JP 2021172083A JP 7285586 B2 JP7285586 B2 JP 7285586B2
Authority
JP
Japan
Prior art keywords
terminal
sub
main terminal
virtual space
main
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021172083A
Other languages
English (en)
Other versions
JP2023062235A (ja
Inventor
英悟 池谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
IKEYA SEISAKUSHO CO.,LTD.
Original Assignee
IKEYA SEISAKUSHO CO.,LTD.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by IKEYA SEISAKUSHO CO.,LTD. filed Critical IKEYA SEISAKUSHO CO.,LTD.
Priority to JP2021172083A priority Critical patent/JP7285586B2/ja
Publication of JP2023062235A publication Critical patent/JP2023062235A/ja
Priority to JP2023080501A priority patent/JP2023113678A/ja
Application granted granted Critical
Publication of JP7285586B2 publication Critical patent/JP7285586B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Digital Computer Display Output (AREA)
  • User Interface Of Digital Computer (AREA)
  • Mobile Radio Communication Systems (AREA)

Description

本発明は、仮想現実(Virtual Reality)、拡張現実(Augmented Reality)又は複合現実(Mixed Reality)の技術に関する。
仮想現実とは、ユーザの頭部にＨＭＤ(Head Mount Display)端末を装着し、ユーザの視界に３次元の仮想空間を表示する技術をいう。ユーザは、自ら動きながら仮想空間への没入感を得ることができる。
拡張現実とは、ユーザの視界に映る現実空間に、ＣＧ(Computer Graphics)映像を表示する技術をいう。例えばシースルーのディスプレイ上に、又は、現実空間をカメラで撮影した映像上に、ＣＧを重畳的に表示することによって、現実空間を拡張する。
複合現実とは、ＣＧで人工的に作られた仮想空間を、現実空間と融合させる技術をいう。現実空間の物体が仮想空間と一体化しており、ユーザは、自らの動きが、現実空間且つ仮想空間として相互に影響する。
これら技術によれば、ＨＭＤ端末やＡＲ／ＭＲ端末は、姿勢センサによってユーザの動きを検知すると共に、仮想空間サーバにアクセスすることによって仮想空間情報を取得して表示する。
従来、複数のユーザ間における体験共有システムの技術がある（例えば特許文献１参照）。この技術によれば、カメラによって撮影された映像を無線で送信する「スマートめがね」と、そのスマートめがねから映像を受信し、ユーザに仮想現実映像を表示する「ＶＲ機器」とを有する。
また、拡張現実空間（又は仮想現実空間）を介したサービスを提供する技術もある（例えば特許文献２参照）。この技術によれば、識別コードが貼り付けられたＩｏＴ機器と、識別コードを撮影するＡＲ（又はＶＲ）機器とを有する。ＡＲ機器は、識別コードを読み取ることによって、その基準点となる拡張現実空間をユーザに表示すると共に、ＩｏＴ機器は、拡張現実空間と連携してユーザにサービスを提供する。
特表２０２０－５０６５６５号公報 特開２０１６－７１４９６号公報
SteamVR・lighthouse、[online]、［令和３年１０月１日検索］、インターネット＜URL:https://www.moguravr.com/terms/index-r/lighthouse/#:~:text=Lighthouse%E3%81%A8%E3%81%AF%E3%80%81PC%E5%90%91%E3%81%91,%E3%81%99%E3%82%8B%E3%81%93%E3%81%A8%E3%81%8C%E5%8F%AF%E8%83%BD%E3%81%A7%E3%81%99%E3%80%82＞ 「部屋を歩き回れるVRトラッキングシステムLighthouseのライセンスを発表」、[online]、［令和３年１０月１日検索］、インターネット＜URL:https://www.moguravr.com/lighthouse-tracking-vr/＞ 回転行列、[online]、［令和３年１０月１日検索］、インターネット＜URL:https://ja.wikipedia.org/wiki/%E5%9B%9E%E8%BB%A2%E8%A1%8C%E5%88%97＞ ARToolkit Overview、[online]、［令和３年１０月１日検索］、インターネット＜URL:https://im-lab.net/artoolkit-overview/＞ OpenCV Detection of ArUco Markers、[online]、［令和３年１０月１日検索］、インターネット＜URL:https://docs.opencv.org/master/d5/dae/tutorial_aruco_detection.html＞ ＳＬＡＭ、[online]、［令和３年１０月１日検索］、インターネット＜URL:https://ja.wikipedia.org/wiki/SLAM＞ 指さし行動の理解支援に向けたＡＲ図示システムの提案、[online]、［令和３年１０月１日検索］、インターネット＜URL:http://www.res.kutc.kansai-u.ac.jp/~yone/research/pdf_graduate_thesis/201703g_UENO_Kaede.pdf＞ コリジョンの概要、[online]、［令和３年１０月１日検索］、インターネット＜URL:https://docs.unrealengine.com/ja/InteractiveExperiences/Physics/Collision/Overview/index.html＞
図１は、オペレータが視認可能な現実空間に複数の副端末が存在するシステム構成図である。
図１によれば、オペレータが、現実空間に存在する複数のユーザａ～ｃを視認している。複数のユーザａ～ｃはそれぞれ、ＨＭＤ端末のような副端末２を頭部に装着し、各ＨＭＤ端末は、仮想空間サーバ３にアクセスしている。これによって、副端末２はそれぞれ、ユーザ所望の仮想空間を再生することができる。
ＨＭＤ端末によって再生中の仮想空間は、そのＨＭＤ端末を装着したユーザ主導で体験するものである。あくまで、その仮想空間に干渉できるのは、ＨＭＤ端末を装着したユーザのみであり、極めて個人的な体験になってしまっている。
図１によれば、例えば、身体が不自由な要介護者（ユーザ）に、ＨＭＤ端末（副端末２）を装着させ、仮想空間を体験してもらうことを想定する。このとき、要介護者は、個人的に仮想空間に没頭することができるが、介護者（オペレータ）は、その要介護者がＨＭＤ端末によって視認している仮想空間を認識することができない。当然、介護者は、要介護者の仮想空間に対する操作を補助することもできない。
このような課題は、介護の場面に限らない。例えばＨＭＤ端末を装着した職業訓練者と、仮想空間における訓練を指導する指導者との関係も同様なものである。
オペレータも例えば主端末（例えばＡＲ端末）を頭部に装着することによって、シースルーディスプレイを通して副端末２と同一の仮想空間へ参入することができる。しかしながら、仮想空間には、副端末の現実空間に存在しない不特定多数のユーザも参入することができ、判別することも難しい。
これに対し、本願の発明者は、主端末が、副端末との間で視認可能な距離に存在していることを条件として、その主端末のユーザを、副端末の仮想空間へ参入させるのがよい、のではないかと考えた。即ち、要介護者が副端末によって視認している仮想空間に、介護者（オペレータ）が主端末によって参入することができれば、介護者は、要介護者の仮想空間に対する操作を補助することができるのではないか、と考えた。
そこで、本願発明として、現実空間で視認可能な距離に存在する副端末と同一の仮想空間へ主端末を参入させる方法、システム、主端末、副端末及びプログラムを提供することを目的とする。
本発明によれば、主端末と副端末とを有するシステムの仮想空間参入方法であって、
主端末は、カメラを搭載し、副端末又はその周辺機器の物体形状又はマーカを予め記憶しており、
主端末は、カメラによる現実空間の映像から物体認識によって当該副端末又はその周辺機器の物体形状又はマーカを検出したか否かを判定する第１のステップと、
主端末が、真と判定した際に、副端末と同一の仮想空間サーバへアクセスし、同一の仮想空間へ参入する第２のステップと
を有することを特徴とする。
本発明の仮想空間参入方法における他の実施形態によれば、
システムは、ユーザ識別子と、当該ユーザ識別子に相当するユーザが現に参入している仮想空間サーバのサーバアドレスとを対応付けて記憶する検索サーバを更に有し、
第１のステップについて、
主端末は、現実空間で視認可能な距離に存在する副端末又はその周辺機器からユーザ識別子を取得し、
第２のステップについて、
主端末が、副端末から取得したユーザ識別子を、検索サーバへ送信し、
検索サーバが、当該ユーザ識別子に対応するサーバアドレスを、主端末へ応答し、
主端末が、当該サーバアドレスに基づく仮想空間サーバへログインする
ことも好ましい。
本発明の仮想空間参入方法における他の実施形態によれば、
第２のステップについて、主端末は、副端末から取得したユーザ識別子を、仮想空間サーバへ更に送信し、
仮想空間サーバに対して、現実空間の当該副端末と仮想空間の端末とを紐付ける
ことも好ましい。
本発明の仮想空間参入方法における他の実施形態によれば、
第１のステップについて、
主端末は、現実空間で視認可能な距離に存在する副端末又はその周辺機器から、仮想空間サーバのサーバアドレスを取得し、
第２のステップについて、
主端末が、当該サーバアドレスに基づく仮想空間サーバへログインする
ことも好ましい。
本発明の仮想空間参入方法における他の実施形態によれば、
主端末は、副端末からユーザ識別子又はサーバアドレスを取得するために、
副端末からの近距離通信用電波によって受信するか、又は、
副端末に装着された、ユーザ識別子又はサーバアドレスが記述されたマーカを、カメラによって撮影して読み取る
ことも好ましい。
本発明の仮想空間参入方法における他の実施形態によれば、
主端末は、カメラ及び姿勢センサを更に搭載し、
所定時間毎に、副端末それぞれから、副端末座標系Ｈの副端末姿勢ＴH2を受信し、
所定時間毎に、カメラの映像から物体認識によって現実空間の副端末それぞれについて、主端末の姿勢センサに基づく主端末座標系Ａの副端末姿勢ＴA2を検出し、
所定時間毎に、副端末それぞれについて、副端末座標系Ｈの副端末姿勢ＴH2の変位ΔＴH2と、主端末座標系Ａの副端末姿勢ＴA2の変位ΔＴA2とを検出し、
副端末それぞれについて、副端末座標系Ｈの副端末姿勢ＴH2の変位ΔＴH2と最も近い変位となる主端末座標系Ａの副端末姿勢ＴA2の変位ΔＴA2の副端末を特定し、当該副端末の端末識別子を、映像から認識された副端末に対応付け、
カメラの映像に映り込む現実空間の複数の副端末の中で、１つの副端末のオブジェクトをオペレータ操作によって選択させる
ことも好ましい。
本発明の仮想空間参入方法における他の実施形態によれば、
副端末も、姿勢センサを搭載しており、
主端末座標系Ａの副端末姿勢ＴA2は、映像に映り込む副端末におけるユーザが向く前面に対する位置ｖ及び傾きｒから導出されたものであり、
副端末座標系Ｈの副端末姿勢ＴH2は、当該副端末の姿勢センサによって検知されたものである
ことも好ましい。
本発明の仮想空間参入方法における他の実施形態によれば、
主端末座標系Ａの副端末姿勢ＴA2について、映像に映り込む副端末におけるユーザが向く前面は、副端末に配置された所定マーカの位置に基づいて特定される
ことも好ましい。
本発明の仮想空間参入方法における他の実施形態によれば、
当該副端末座標系Ｈに基づく位置ｖ及び傾きｒを受信し、傾きｒに基づく回転行列Ｒと位置ｖとからなる姿勢行列を、副端末座標系Ｈの副端末姿勢ＴH2とし、
カメラの映像から、副端末それぞれについて、主端末座標系Ａに基づく位置ｖ及び傾きｒを検出し、傾きｒに基づく回転行列Ｒと位置ｖとからなる姿勢行列を、主端末座標系Ａの副端末姿勢ＴA2とする
ことも好ましい。
本発明によれば、主端末と副端末とを有するシステムの仮想空間参入方法であって、
副端末は、カメラを搭載し、主端末又はその周辺機器の物体形状又はマーカを予め記憶しており、
副端末は、カメラによる現実空間の映像から物体認識によって当該主端末又はその周辺機器の物体形状又はマーカを検出したか否かを判定し、真と判定した際に、許可信号を主端末へ通知する第１のステップと、
主端末が、副端末から許可信号を取得した際に、副端末と同一の仮想空間サーバへアクセスし、同一の仮想空間へ参入する第２のステップと
を有することを特徴とする。
本発明の仮想空間参入方法における他の実施形態によれば、
システムは、ユーザ識別子と、当該ユーザ識別子に相当するユーザが現に参入している仮想空間サーバのサーバアドレスとを対応付けて記憶する検索サーバを更に有し、
第１のステップについて、
副端末は、許可信号としてユーザ識別子を主端末へ通知し、
第２のステップについて、
主端末が、副端末から取得したユーザ識別子を、検索サーバへ送信し、
検索サーバが、当該ユーザ識別子に対応するサーバアドレスを、主端末へ応答し、
主端末が、当該サーバアドレスに基づく仮想空間サーバへログインする
ことも好ましい。
本発明の仮想空間参入方法における他の実施形態によれば、
第２のステップについて、主端末は、副端末から取得したユーザ識別子を、仮想空間サーバへ更に送信し、
仮想空間サーバに対して、現実空間の当該副端末と仮想空間の端末とを紐付ける
ことも好ましい。
本発明の仮想空間参入方法における他の実施形態によれば、
第１のステップについて、
副端末は、許可信号としてサーバアドレスを主端末へ通知し、
第２のステップについて、
主端末が、当該サーバアドレスに基づく仮想空間サーバへログインする
ことも好ましい。
本発明の仮想空間参入方法における他の実施形態によれば、
副端末は、主端末へユーザ識別子又はサーバアドレスを通知するために、
主端末へ近距離通信用電波によって送信するか、又は、
副端末に装着された、ユーザ識別子又はサーバアドレスが記述されたマーカを、主端末のカメラによって撮影させて読み取らせる
ことも好ましい。
本発明の仮想空間参入方法における他の実施形態によれば、
副端末は、カメラ及び姿勢センサを更に搭載し、
所定時間毎に、端末それぞれから、主端末座標系Ｈの主端末姿勢ＴH2を受信し、
所定時間毎に、カメラの映像から物体認識によって現実空間の主端末それぞれについて、副端末の姿勢センサに基づく副端末座標系Ａの主端末姿勢ＴA2を検出し、
所定時間毎に、主端末それぞれについて、主端末座標系Ｈの主端末姿勢ＴH2の変位ΔＴH2と、副端末座標系Ａの主端末姿勢ＴA2の変位ΔＴA2とを検出し、
主端末それぞれについて、主端末座標系Ｈの主端末姿勢ＴH2の変位ΔＴH2と最も近い変位となる副端末座標系Ａの主端末姿勢ＴA2の変位ΔＴA2の主端末を特定し、当該主端末の端末識別子を、映像から認識された主端末に対応付け、
カメラの映像に映り込む現実空間の複数の主端末の中で、１つの主端末のオブジェクトをオペレータ操作によって選択させる
ことも好ましい。
本発明の仮想空間参入方法における他の実施形態によれば、
主端末は、姿勢センサを搭載しており、
副端末座標系Ａの主端末姿勢ＴA2は、映像に映り込む副端末におけるユーザが向く前面に対する位置ｖ及び傾きｒから導出されたものであり、
主端末座標系Ｈの主端末姿勢ＴH2は、当該主端末の姿勢センサによって検知されたものである
ことも好ましい。
本発明の仮想空間参入方法における他の実施形態によれば、
副端末座標系Ａの主端末姿勢ＴA2について、映像に映り込む主端末におけるユーザが向く前面は、主端末に配置された所定マーカの位置に基づいて特定される
ことも好ましい。
本発明の仮想空間参入方法における他の実施形態によれば、
当該主端末座標系Ｈに基づく位置ｖ及び傾きｒを受信し、傾きｒに基づく回転行列Ｒと位置ｖとからなる姿勢行列を、主端末座標系Ｈの主端末姿勢ＴH2とし、
カメラの映像から、主端末それぞれについて、副端末座標系Ａに基づく位置ｖ及び傾きｒを検出し、傾きｒに基づく回転行列Ｒと位置ｖとからなる姿勢行列を、副端末座標系Ａの主端末姿勢ＴA2とする
ことも好ましい。
本発明の仮想空間参入方法における他の実施形態によれば、
第２のステップについて、主端末は、
広域通信を介して外部ネットワークに配置された仮想空間サーバへ、
近距離通信を介してローカルに配置された仮想空間サーバへ、又は、
近距離通信を介して副端末に搭載された仮想空間サーバへ
アクセスすることも好ましい。
本発明の仮想空間参入方法における他の実施形態によれば、
主端末又は副端末は、ディスプレイを搭載した眼鏡型、コンタクトレンズ型、又は、ヘッドマウント型の端末であり、シースルーによって、又は、カメラによって撮影された映像を表示するディスプレイによって、現実空間に存在する複数の端末をオペレータに視認させる
ことも好ましい。
本発明によれば、副端末と通信可能な主端末において、
カメラを搭載し、副端末又はその周辺機器の物体形状又はマーカを予め記憶しており、
カメラによる現実空間の映像から物体認識によって当該副端末又はその周辺機器の物体形状又はマーカを検出したか否かを判定する視認距離判定手段と、
視認距離判定手段によって真と判定した際に、副端末と同一の仮想空間サーバへアクセスし、同一の仮想空間へ参入するサーバアクセス手段と
を有することを特徴とする。
本発明によれば、主端末と、当該主端末と通信可能な副端末とを有するシステムにおいて、
副端末は、カメラを搭載し、主端末又はその周辺機器の物体形状又はマーカを予め記憶しており、
副端末は、カメラによる現実空間の映像から物体認識によって当該主端末又はその周辺機器を検出したか否かを判定し、真と判定した際に、許可信号を主端末へ通知し、
主端末が、副端末から許可信号を取得した際に、副端末と同一の仮想空間サーバへアクセスし、同一の仮想空間へ参入する
ことを特徴とする。
本発明によれば、主端末と通信可能な副端末において、
カメラを搭載し、主端末又はその周辺機器の物体形状又はマーカを予め記憶しており、
カメラによる現実空間の映像から物体認識によって当該主端末又はその周辺機器の物体形状又はマーカを検出したか否かを判定し、真と判定した際に、許可信号を主端末へ通知する許可信号通知手段
を有し、
主端末に、副端末と同一の仮想空間サーバへアクセスさせ、同一の仮想空間へ参入させる
ことを特徴とする。
本発明によれば、副端末と通信可能な主端末に搭載されたコンピュータを機能させるプログラムにおいて、
カメラを搭載し、副端末又はその周辺機器の物体形状又はマーカを予め記憶しており、
カメラによる現実空間の映像から物体認識によって当該副端末又はその周辺機器を検出したかを判定する視認距離判定手段と、
視認距離判定手段によって真と判定した際に、副端末と同一の仮想空間サーバへアクセスし、同一の仮想空間へ参入するサーバアクセス手段と
してコンピュータを機能させることを特徴とする。
本発明によれば、主端末と通信可能な副端末に搭載されたコンピュータを機能させるプログラムにおいて、
カメラを搭載し、主端末又はその周辺機器の物体形状又はマーカを予め記憶しており、
カメラによる現実空間の映像から物体認識によって当該主端末又はその周辺機器の物体形状又はマーカを検出したか否かを判定し、真と判定した際に、許可信号を主端末へ通知する許可信号通知手段と
してコンピュータを機能させ、
主端末に、副端末と同一の仮想空間サーバへアクセスさせ、同一の仮想空間へ参入させる
ことを特徴とする。
本願発明における方法、システム、主端末、副端末及びプログラムによれば、現実空間で視認可能な距離に存在する副端末と同一の仮想空間へ主端末を参入させることができる。
オペレータが視認可能な現実空間に複数の副端末が存在するシステム構成図である。 本発明におけるシステム構成図である。 主端末が副端末に対する視認距離を判定する第１のシーケンス図である。 主端末が副端末からユーザＩＤ及び／又はサーバアドレスを取得する第１のシーケンス図である。 第１のシーケンスにおける主端末及び副端末の機能構成図である。 副端末が主端末に対する視認距離を判定する第２のシーケンス図である。 主端末が副端末からユーザＩＤ又はサーバアドレスを取得する第２のシーケンス図である。 第２のシーケンスにおける主端末及び副端末の機能構成図である。 主端末から副端末を視認する現実空間におけるシステム構成図である。 図９における主端末のフローチャートである。 主端末座標系と副端末座標系との関係を表す説明図である。 現実空間と仮想空間との関係を表す説明図である。
以下では、図面を用いて、本発明を実施するための形態について詳細に説明する。
図２は、本発明におけるシステム構成図である。
既存技術によれば、仮想空間サーバは、一般的に、遠隔地に滞在する複数のユーザ同士を、同じ仮想空間に存在できるようにするものである。
これに対し、本発明によれば、オペレータが所持する主端末１と、ユーザが所持する副端末２とは、「互いに現実空間で視認可能な距離に存在する」ことを条件としている。即ち、本発明によれば、現実空間の近距離周辺で実現されることに特徴があり、そのために、副端末２を装着する要介護者を、主端末１を装着する介護者（オペレータ）が補助できるようにしたものである。
主端末１は、例えば眼鏡型のＡＲ(Augmented Reality)端末であり、シースルーディスプレイに仮想空間のＣＧを表示することができる。オペレータは、主端末１を装着し、シースルーディスプレイを通して複数のユーザａ～ｃを視認することができる。
一方で、副端末２は、例えばＨＭＤ(Head Mount Display)端末であり、仮想空間サーバ３へアクセスすることができる。ユーザａ～ｃは、ＨＭＤを装着し、仮想空間を体験しているとする。
図２によれば、主端末１はＡＲ端末であるとしているが、ＭＲ(Mixed Reality)端末であってもよいし、これらに限られるものではない。主端末１は、コンタクトレンズ型であってもよいし、カメラ付きで外界の映像も再生するＨＭＤ端末であってもよい。オペレータは、シースルーによって、又は、カメラによって撮影された映像を表示するディスプレイによって、現実空間に存在する複数の副端末２を視認することができる。
一方で、副端末２もＨＭＤ端末であるとしているが、勿論、ＡＲ端末又はＭＲ端末であってもよいし、これに限られるものでもない。
主端末１及び副端末２は、例えばスマートフォンのような、カメラとディスプレイとを搭載した端末であってもよいし、タブレットやパーソナルコンピュータであってもよい。
主端末１は、近距離通信を介して副端末２と通信すると共に、仮想空間サーバ３にアクセスする。仮想空間サーバ３が配置される場所として、例えば以下の３つのパターンがある。
（１）外部ネットワーク（インターネット）に配置された仮想空間サーバ(Dedicated Server)
（２）ローカルに配置された仮想空間サーバ(Dedicated Server)
（３）副端末に搭載された仮想空間サーバ(Listen Server)
ここで、仮想空間サーバ３がインターネットに配置されている場合、主端末１は、広域通信を介してインターネットに接続する。
図３は、主端末が副端末に対する視認距離を判定する第１のシーケンス図である。
図３によれば、主端末１は、現実空間で視認可能な距離に存在する副端末２であることを条件として、当該副端末２と同一の仮想空間へ参入することができる。
（Ｓ１）主端末１が、現実空間で視認可能な距離に、副端末２又はその周辺機器が存在するか否かを判定する。
（Ｓ２）主端末１が、Ｓ１について真と判定した際に、副端末２と同一の仮想空間サーバへアクセスし、同一の仮想空間へ参入する。
＜視認可能な距離の判定方法＞
主端末１は、副端末２が現実空間で視認可能な距離に存在するか否かを、例えば以下の判定１～５によって判定することができる。
（判定１）カメラを搭載し、副端末２又はその周辺機器の物体形状又はマーカを予め記憶しており、カメラの映像から物体認識によって当該副端末２又はその周辺機器がオブジェクトとして検出された場合、主端末１からみて副端末２が現実空間で視認可能な距離に存在すると判定する。
副端末２は、現実空間では同一物体であっても、視点によって多様な形状で映像に映り込む。そのように形状が変化しても、同一物体として検出できるようにロバストな特徴抽出技術が用いられる。例えば副端末２の外観（例えばＨＭＤ端末の外観）を予め学習した物体認識エンジンを用いて、副端末２のオブジェクトを認識するものであってもよい。一般的には、例えばＳＩＦＴ(Scale-Invariant Feature Transform)や深層ニューラルネットワークのクラス分類技術がある。このような特徴抽出技術は、２Ｄ画像であっても、３Ｄ画像（又はポイントクラウド）であっても可能となる。
最も簡易には、２Ｄ画像であれば、物体認識は、例えば副端末２自体に又はその周辺装置に貼り付けられたマーカを認識するものであってもよい。マーカは、例えば２次元的なＱＲ(Quick Response)コード（登録商標）であってもよい。少なくとも、マーカは、副端末２について、主端末１から視認可能な位置に装着されたものであればよい。
（判定２）距離センサ又はデプスカメラを搭載し、副端末２又はその周辺機器の物体形状又はマーカを予め記憶しており、計測した当該副端末２又はその周辺機器までの距離が、第１の所定閾値以下である場合、主端末１からみて副端末２が現実空間で視認可能な距離に存在すると判定する。
距離センサとは、光源（ＬＥＤやレーザダイオード）から光を照射し、副端末２のような測定対象物から反射した光を受光素子で受光する。光源からの投光から、反射によって受光するまでの時間から距離を算出する。
デプスカメラとは、奥行きの情報を取得する深度センサを内蔵したカメラである。その方式としては、ＴＯＦ(Time-of-Flight)があり、照射範囲を拡散してカメラのように画像で距離情報を得ることができる。
（判定３）近距離通信インタフェースを有し、副端末２の端末識別子を予め記憶しており、当該副端末２から受信した近距離通信用電波の受信強度が、第２の所定閾値以上である場合、主端末１からみて副端末２が現実空間で視認可能な距離に存在すると判定する。
「近距離通信」としては、例えばBluetooth（登録商標）やZigbee（登録商標）、ＵＷＢ(Ultra Wide Band)であってもよい。例えばBluetoothの場合、特に電波の到達範囲が狭いＢＬＥ(Bluetooth Low Energy)が適する。低消費電力版Bluetoothとして、１／３程度の電力で動作するために、主端末１及び副端末２の電力消費を低く抑えることができる。
例えば副端末２が、タグデバイスとして、広報パケット(Advertising Packet)を常時発信する。広報パケットは、例えば100msの間隔で、周期的に送信される。ＢＬＥ規格によれば、副端末２を「advertiser」として機能させ、広報パケットには、端末ＩＤとして「ビーコンＩＤ」が含められる。主端末１は、広報パケットを受信することによって、その電波の受信強度を検知し、副端末２が現実空間で視認可能な程度に近いと想定することができる。
（判定４）アクセスポイントと通信可能な近距離通信インタフェースを有し、副端末２のエリア識別子を予め記憶しており、当該主端末の位置によって検知されるエリア識別子と同一である場合、主端末１からみて副端末２が現実空間で視認可能な距離に存在すると判定する。
例えばLighthouse（登録商標）のようなエリアトラッキング技術を採用することができる（例えば非特許文献１，２参照）。例えばＵＷＢ(Ultra Wide Band)のような超広帯域無線通信を用いて、室内に配置された複数の基準アンカーからの電波を受信することによって測位するものであってもよい。主端末１及び副端末２の両方をトラッキングしているエリア識別子が同一であるということによって、両端末の距離が近いと判定することができる。ＵＷＢの場合、低消費電力で且つ到達距離30メートル程度であり、誤差が数十ｃｍと正確な屋内測位を可能とする。
（判定５）アクセスポイントと通信可能な近距離通信インタフェースを有し、副端末２のアクセスポイント識別子を予め記憶しており、当該主端末１が受信する電波のアクセスポイントのアクセスポイント識別子と同一である場合、主端末１からみて副端末２が現実空間で視認可能な距離に存在すると判定する。
例えば無線ＬＡＮの場合、主端末１は、現に電波を受信している無線ルータのアクセスポイント識別子が、副端末２のアクセスポイント識別子と同一であるということによって、両端末の距離が近いと判定する。このとき、同一の無線ルータから受信する電波強度について、主端末１の電波強度と、副端末２の電波強度との差が閾値以下である場合、両端末の距離は近いと判定するものであってもよい。
（判定６）アクセスポイントと通信可能な近距離通信インタフェースを有し、副端末２の端末識別子を予め記憶しており、当該主端末１が受信する電波のアクセスポイント内に含まれている場合、主端末１からみて副端末２が現実空間で視認可能な距離に存在すると判定する。
例えば無線ＬＡＮである場合、主端末１は、マルチキャストで問い合わせ要求を配信することによって、副端末２から端末識別子を含む応答を受信することができる。応答を得られた端末識別子によって、両端末が同一エリアにいるか否かを判定することができる。
図４は、主端末が副端末からユーザＩＤ及び／又はサーバアドレスを取得する第１のシーケンス図である。
（Ｓ１）主端末１は、現実空間で視認可能な距離に、副端末２又はその周辺機器が存在すると判定すると共に、当該副端末２又はその周辺機器から「ユーザＩＤ（識別子、IDentifier）」を取得する。
ここで、主端末１は、副端末２から「ユーザＩＤ」を取得するために、以下の２つの実施形態がある。
（Ｓ１－１）副端末２からの近距離通信用電波によって受信する。例えばBluetoothの場合、副端末２から配信される広報パケットに、ユーザＩＤを含めることもできる。
（Ｓ１－２）副端末２に装着された、ユーザＩＤが記述されたマーカを、カメラによって撮影して読み取る。
ここで、システムとして、検索サーバ４を更に有する。検索サーバ４は、「ユーザＩＤ」と、当該ユーザＩＤに相当するユーザが現に参入している仮想空間サーバの「サーバアドレス」とを対応付けて記憶したものである。
（Ｓ２）主端末１は、Ｓ１によって真と判定された場合、副端末２から取得したユーザＩ
Ｄを、検索サーバ４へ送信する。これに対し、検索サーバ４は、当該ユーザＩＤに対応するサーバアドレスを検索する。検索サーバ４は、当該ユーザＩＤに対応するサーバアドレスを、主端末１へ応答する。そして、主端末１は、当該サーバアドレスに基づく仮想空間サーバへログインすることができる。
主端末１は、副端末２から取得したユーザＩＤを、仮想空間サーバ３へ更に送信するものであってもよい。これによって、仮想空間サーバ３に対して、現実空間の当該副端末と仮想空間の端末とを紐付けることができる。
尚、副端末２は、ユーザが所持するスマートフォンと通信可能なものであってもよい。ユーザがスマートフォンを所持しており、そのスマートフォンは副端末２と通信する。副端末２は、スマートフォンからユーザ情報を受信し、当該ユーザ情報に基づくユーザＩＤを、主端末１へ通知することができる。ユーザＩＤをマーカに表示する場合、副端末２を装着するユーザに応じて、当該マーカを可変して表示させる必要がある。
また、他の実施形態として、ユーザＩＤに代えて、サーバアドレスであってもよい。
（Ｓ１）主端末１は、当該副端末２又はその周辺機器から「サーバアドレス」を取得するものであってもよい。サーバアドレスとは、ＵＲＬ(Uniform Resource Locator)や、ＩＰアドレス、ポート番号、その他の仮想空間サーバにアクセスするために必要な情報を含む。尚、サーバアドレスは、仮想空間ルーム名や、例えばVRChat（登録商標）のようなソーシャルＶＲプラットフォームにおける識別子であってもよい。
（Ｓ２）主端末１は、Ｓ１によって真と判定された場合、当該サーバアドレスに基づく仮想空間サーバへログインすることができる。
図５は、第１のシーケンスにおける主端末及び副端末の機能構成図である。
図５によれば、ハードウェアとして、主端末１は、オペレータの視覚に映すディスプレイと、現実空間の映像として副端末２を撮影可能なカメラと、副端末２と通信可能な近距離通信インタフェースと、仮想空間サーバ３及び検索サーバ４へアクセス可能な広域通信インタフェースとを有する。また、図５によれば、ソフトウェアとして、主端末１は、視認距離判定部１１と、サーバアクセス部１２とを有する。これら機能構成部は、主端末に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。これら機能構成部の処理の流れは、仮想空間参入方法としても理解できる。
［視認距離判定部１１］
視認距離判定部１１は、現実空間で視認可能な距離に、副端末２又はその周辺機器が存在するか否かを判定する。前述したＳ１と同様の処理を実行する。
［サーバアクセス部１２］
サーバアクセス部１２は、視認距離判定部１１によって真と判定した際に、副端末２と同一の仮想空間サーバ３へアクセスし、同一の仮想空間へ参入する。前述したＳ２と同様の処理を実行する。
図６は、副端末が主端末に対する視認距離を判定する第２のシーケンス図である。
図６によれば、副端末２は、現実空間で視認可能な距離に存在する主端末１であることを条件として、当該主端末１を同一の仮想空間へ参入させることができる。
（Ｓ１）副端末２が、現実空間で視認可能な距離に、主端末１又はその周辺機器が存在するか否かを判定し、真と判定した際に、許可信号を主端末１へ通知する。
（Ｓ２）主端末１が、副端末２から許可信号を取得した際に、副端末２と同一の仮想空間サーバ３へアクセスし、同一の仮想空間へ参入する。
尚、副端末２からみた主端末１に対する視認可能な距離の判定方法は、前述した主端末１からみた副端末２に対する視認可能な距離の判定方法と全く同じである。即ち、主体が、主端末１か又は副端末２かの違いのみである。
図７は、主端末が副端末からユーザＩＤ又はサーバアドレスを取得する第２のシーケンス図である。
（Ｓ１）副端末２は、現実空間で視認可能な距離に、主端末１又はその周辺機器が存在すると判定すると共に、当該主端末１又はその周辺機器へ「ユーザＩＤ」を通知する。
ここで、副端末２は、主端末１へ「ユーザＩＤ」を通知するために、以下の２つの実施形態がある。
（Ｓ１－１）副端末２からの近距離通信用電波によって、許可信号として主端末１へ送信する。例えばBluetoothの場合、副端末２から配信される広報パケットに、許可信号として、ユーザＩＤを含めることもできる。
（Ｓ１－２）副端末２は、ユーザＩＤが記述されたマーカを表示し、主端末１のカメラによって撮影して読み取らせる。
図７についても図４と同様に、システムとして、検索サーバ４を更に有する。
（Ｓ２）主端末１は、副端末２から許可信号と共に受信したユーザＩＤを、検索サーバ４へ送信する。これに対し、検索サーバ４は、当該ユーザＩＤに対応するサーバアドレスを検索する。検索サーバ４は、当該ユーザＩＤに対応するサーバアドレスを、主端末１へ応答する。そして、主端末１は、当該サーバアドレスに基づく仮想空間サーバへログインすることができる。
勿論、主端末１は、副端末２から取得したユーザＩＤを、仮想空間サーバ３へ更に送信するものであってもよい。これによって、仮想空間サーバ３に対して、現実空間の当該副端末と仮想空間の端末とを紐付けることができる。
また、他の実施形態として、図７についても図４と同様に、ユーザＩＤに代えて、サーバアドレスであってもよい。
（Ｓ１）副端末２は、当該主端末１へ「サーバアドレス」を通知するものであってもよい。
（Ｓ２）主端末１は、副端末２から通知されたサーバアドレスに基づく仮想空間サーバ３へログインすることができる。
図８は、第２のシーケンスにおける主端末及び副端末の機能構成図である。
図８によれば、図５と比較して、副端末２に、視認距離判定部２１が備えられたものである。視認距離判定部２１の機能は、図５における主端末１の視認距離判定部１１の機能と全く同じものである。副端末２は、視認距離判定部２１によって真と判定した場合、近距離通信インタフェースから、許可信号と共に、ユーザＩＤ及び／又はサーバアドレスを主端末１へ通知する。勿論、ＱＲコードのようなマーカを変化させて通知するものであってもよい。
＜主端末から見た副端末（又は副端末から見た主端末）を選択する実施形態＞
オペレータが装着した主端末１は、ユーザが装着した複数の副端末２と通信することは可能である。しかしながら、オペレータが、現実空間で視認可能な複数の副端末２の中で、所望の副端末２を選択することは難しい。
主端末がＡＲ端末であれば、例えばオペレータの視認先となる副端末２のオブジェクトを、オペレータの指で指し示すことによって、その副端末２を選択できるかもしれない。しかしながら、オペレータのＡＲ端末のカメラから見える映像内のオブジェクトとして選択できたに過ぎない。このとき、オペレータ所望の副端末２と通信するためのアドレス（端末ＩＤ）を特定することはできない。アドレスとは、例えばＩＰアドレスやＭＡＣ(Media Access Control)アドレス、ビーコンＩＤのような端末ＩＤである。
オペレータの主端末１は、ユーザの副端末２を任意に選択し、直接的な通信をすることは難しい。
図９は、主端末から副端末を視認する現実空間におけるシステム構成図である。
図９によれば、主端末１及び副端末２の両方とも、姿勢センサを更に有する。
［姿勢センサ］
姿勢センサは、起動中は常時、自らの姿勢(Transform)となる「位置ｖ」及び「傾きｒ」を検知するものである。
図９によれば、以下のような姿勢が表されている。
ＴA1：主端末座標系Ａの主端末姿勢
ＴH2：副端末座標系Ｈの副端末姿勢
尚、主端末座標系Ａは、機器起動時に設定される基準座標系とする。同様に、副端末座標系Ｈも、機器起動時に設定される基準座標系とする。
姿勢センサは、「傾きｒ」を検知するために、ＩＭＵ(Inertial Measurement Unit)を搭載している。これは、一般的なスマートフォンなどに搭載されたものと同じものである。
また、姿勢センサは、「位置ｖ」を検知するために、例えばSteamVR（登録商標）のLighthouse（登録商標）のような、ヘッドマウントディスプレイに搭載されたトラッキングデバイスを搭載する（例えば非特許文献１参照）。これは、現実空間に設置されたアンカー（ベースステーション）と通信することによって、所定範囲内における位置ｖを追跡することができる。
又は、姿勢センサは、前述したＩＭＵやカメラを搭載することによって、ＳＬＡＭ(Simultaneous Localization And Mapping)を用いて、自己位置ｖ及び傾きｒを同時に追跡することができる（例えば非特許文献６参照）。
本発明における「姿勢」とは、現実空間（３次元空間）における「位置ｖ」（３行列）と、傾きｒ（３行列）から算出された「回転行列Ｒ」（３×３行列）とから、以下のように「姿勢Ｔ」（４×４行列）を定義する（例えば非特許文献３参照）。
Figure 0007285586000001
 これによって、位置ｖ及び傾きｒから姿勢Ｔを導出することができると共に、逆に、姿勢Ｔから位置ｖ及び傾きｒを導出することもできる。
図１０は、図９における主端末のフローチャートである。
［副端末検出部１０１］
副端末検出部１０１は、副端末２それぞれから、端末ＩＤを取得する。
端末ＩＤとしては、例えばビーコンＩＤやＩＰアドレス、ＭＡＣ(Media Access Control)アドレスであってもよい。
例えば近距離通信がＢＬＥである場合、副端末２は定期的に端末ＩＤを発信しており、主端末１の副端末検出部１０１は、その端末ＩＤを受信することができる。
例えば近距離通信が無線ＬＡＮである場合、主端末１の副端末検出部１０１は、マルチキャストで問い合わせ要求を配信することによって、副端末２から端末ＩＤを受信することができる。
取得された端末ＩＤは、副端末姿勢受信部１０２へ出力される。
［副端末姿勢受信部１０２］
副端末姿勢受信部１０２は、所定時間毎（Δt）に、副端末検出部１０１によって既に検出された副端末２それぞれから、副端末座標系Ｈの副端末姿勢ＴH2（位置ｖ及び傾きｒ）を受信する。副端末座標系Ｈの副端末姿勢ＴH2は、副端末２の姿勢センサによって検知されたものである。
ＴH2：副端末座標系Ｈの副端末姿勢
副端末２それぞれにおける所定時間毎の副端末座標系Ｈの副端末姿勢ＴH2は、姿勢変位検出部１０４へ出力される。
物体認識部１１２は、カメラによって撮影された映像から、現実空間の複数の副端末２を、オブジェクトとして認識する。
副端末２は、現実空間では同一物体であっても、視点によって多様な形状で映像に映り込む。そのように形状が変化しても、同一物体として検出できるようにロバストな特徴抽出技術が用いられる。例えば副端末２の外観（例えばＨＭＤ端末の外観）を予め学習した物体認識エンジンを用いて、副端末２のオブジェクトを認識するものであってもよい。一般的には、例えばＳＩＦＴ(Scale-Invariant Feature Transform)や深層ニューラルネットワークのクラス分類技術がある。このような特徴抽出技術は、２Ｄ画像であっても、３Ｄ画像（又はポイントクラウド）であっても可能となる。
最も簡易には、２Ｄ画像であれば、物体認識部１１２は、例えば副端末２自体に貼り付けられたマーカを認識するものであってもよい。マーカは、例えば２次元的なＱＲコード（登録商標）であってもよい。
［物体姿勢検出部１０３］
物体姿勢検出部１０３は、所定時間毎（Δt）に、副端末２（のオブジェクト）それぞれについて、主端末１の姿勢センサに基づく主端末座標系Ａの副端末姿勢ＴA2を検出する。
ＴA2：主端末座標系Ａの副端末姿勢
物体姿勢検出部１０３は、カメラによって撮影された映像から、物体認識部１１２によって認識された副端末２のオブジェクトそれぞれについて、主端末座標系Ａに基づく位置ｖ及び傾きｒを検出する。そして、傾きｒに基づく回転行列Ｒと位置ｖとからなる姿勢行列を、主端末座標系Ａの副端末姿勢ＴA2として検出する。
前述した図５によれば、主端末座標系Ａの副端末姿勢ＴA2は、映像に映り込む副端末２（ＨＭＤ端末）を装着したユーザが向く前面に対する位置ｖ及び傾きｒから導出されたものである。ユーザが向く前面は、副端末２に配置された所定マーカの位置に基づいて特定される。
カメラによって撮影された２Ｄ画像に、物体（例えばマーカ）が映り込む場合、そのオブジェクトは、カメラの向きに応じて異なる角度から映る。映像に映り込むオブジェクトの画像の形状から、その姿勢（位置ｖ及び傾きｒ）を検出することができる（例えば非特許文献４参照）。具体的には、マーカの中心位置を示す位置ベクトルと、ｘ軸及びｙ軸がマーカの辺に平行で、z軸がそれらに垂直になるような回転軸ベクトルが検出される。
回転軸ベクトルとは、ロドリゲスの回転公式に従って、物体を任意の傾きにするべく回転させる際の軸方向を「向き」とし、回転角度を「ノルム」として持つベクトルを意味する。具体的には、OpenCV（登録商標）のarucoというマーカ検出機能を用いることができる（例えば非特許文献５参照）。
尚、主端末座標系Ａの副端末姿勢ＴA2は、物体検知場所（例えばマーカ設置位置）に大きな影響を受けるために、姿勢補正行列を導入することが好ましい。
ＴA2＝ＴA1Ｔ1sＴS2Ｔc
ＴA1：主端末座標系Ａにおける主端末姿勢
Ｔ1s：主端末姿勢座標系におけるカメラ（センサ）座標系の姿勢
ＴS2：カメラ（センサ）座標系における映像認識された副端末の姿勢
Ｔc：姿勢補正行列
ここで、主端末姿勢座標系とは、主端末座標系Ａにおける主端末姿勢を基準とする座標系である。
このように実際には、センサ座標系から主端末座標系に変換する処理が必要となる。
［姿勢変位検出部１０４］
姿勢変位検出部１０４は、所定時間毎（Δt）に、副端末姿勢受信部１０２から、副端末それぞれについて、副端末座標系Ｈの副端末姿勢ＴH2を入力すると共に、物体姿勢検出部１０３から主端末座標系Ａの副端末姿勢ＴA2を入力する。
（時刻t）
副端末２１の副端末座標系Ｈの副端末姿勢ＴH21(t)
副端末２２の副端末座標系Ｈの副端末姿勢ＴH22(t)
副端末２３の副端末座標系Ｈの副端末姿勢ＴH23(t)
映像認識されたオブジェクトａの主端末座標系Ａの副端末姿勢ＴA2a(t)
映像認識されたオブジェクトｂの主端末座標系Ａの副端末姿勢ＴA2b(t)
映像認識されたオブジェクトｃの主端末座標系Ａの副端末姿勢ＴA2c(t)
（時刻t+Δt）
副端末２１の副端末座標系Ｈの副端末姿勢ＴH21(t+Δt)
副端末２２の副端末座標系Ｈの副端末姿勢ＴH22(t+Δt)
副端末２３の副端末座標系Ｈの副端末姿勢ＴH23(t+Δt)
映像認識されたオブジェクトａの主端末座標系Ａの副端末姿勢ＴA2a(t+Δt)
映像認識されたオブジェクトｂの主端末座標系Ａの副端末姿勢ＴA2b(t+Δt)
映像認識されたオブジェクトｃの主端末座標系Ａの副端末姿勢ＴA2c(t+Δt)
そして、姿勢変位検出部１０４は、副端末座標系Ｈの副端末姿勢ＴH2の変位ΔＴH2と、主端末座標系Ａの副端末姿勢ＴA2の変位ΔＴA2とを検出する。
副端末２１の副端末座標系Ｈの副端末姿勢ＴH21の変位：
ΔＴH21＝（ＴH21(t)）-1ＴH21(t+Δt)
副端末２２の副端末座標系Ｈの副端末姿勢ＴH22の変位：
ΔＴH22＝（ＴH22(t)）-1ＴH22(t+Δt)
副端末２３の副端末座標系Ｈの副端末姿勢ＴH23の変位：
ΔＴH23＝（ＴH23(t)）-1ＴH23(t+Δt)
映像認識されたオブジェクトａの主端末座標系Ａの副端末姿勢ＴA2aの変位：
ΔＴA2a＝（ＴA2a(t)）-1ＴA2a(t+Δt)
映像認識されたオブジェクトｂの主端末座標系Ａの副端末姿勢ＴA2bの変位：
ΔＴA2b＝（ＴA2b(t)）-1ＴA2b(t+Δt)
映像認識されたオブジェクトｃの主端末座標系Ａの副端末姿勢ＴA2cの変位：
ΔＴA2c＝（ＴA2c(t)）-1ＴA2c(t+Δt)
図１１は、主端末座標系と副端末座標系との関係を表す説明図である。
図１２は、現実空間と仮想空間との関係を表す説明図である。
図１１によれば、１つの物体としての副端末であっても、基準とする座標系が異なれば、姿勢も異なる。また、副端末座標系Ｈも、異なる主端末座標系Ａを基準とした姿勢を持つ。
ＴA1：主端末座標系Ａの主端末姿勢
ＴA2：主端末座標系Ａの副端末姿勢
ＴH2：副端末座標系Ｈの副端末姿勢
ＴAH：主端末座標系Ａからみた副端末座標系Ｈの姿勢
ＴHA：副端末座標系Ｈからみた主端末座標系Ａの姿勢
主端末座標系Ａの主端末姿勢ＴA1は、主端末１に搭載された姿勢センサによって検知されたものである。
副端末座標系Ｈの副端末姿勢ＴH2も、副端末２に搭載された姿勢センサによって検知されたものである。主端末１は、副端末２から、その副端末座標系Ｈの副端末姿勢ＴH2を受信する。
主端末座標系Ａの副端末姿勢ＴA2は、主端末１のカメラによって撮影された映像に映り込むオブジェクトから、物体姿勢検出部１１４によって検出されたものである。
現実空間の相対姿勢としては、主端末座標系Ａの副端末姿勢ＴA2と、副端末座標系Ｈの副端末姿勢ＴH2とから算出した、例えば主端末座標系Ａからみた副端末座標系Ｈの相対姿勢ＴAHである。これは、以下のように算出される。
ＴAH＝ＴA2ＴH2 -1
ＴA2：主端末座標系Ａの副端末姿勢
ＴH2 -1：副端末座標系Ｈの副端末姿勢ＴH2の逆行列
図１１によれば、現実空間と仮想空間との関係を、主端末座標系Ａからみた副端末座標系Ｈの姿勢ＴAHと、副端末座標系Ｈからみた主端末座標系Ａの姿勢ＴHAとを逆行列で一致させることができる。
ＴAH：主端末座標系Ａからみた副端末座標系Ｈの姿勢
ＴHA：副端末座標系Ｈからみた主端末座標系Ａの姿勢
ＴAH＝ＴHA -1
［副端末特定部１０５］
副端末特定部１０５は、副端末それぞれについて、副端末座標系Ｈの副端末姿勢ＴH2の変位ΔＴH2と最も近い変位となる主端末座標系Ａの副端末姿勢変位ΔＴA2の副端末を特定し、当該副端末の端末識別子を、映像から認識された副端末に対応付ける。
（副端末の端末ＩＤ） （映像認識されたオブジェクト）
副端末２１ <-> 副端末ａ
副端末２２ <-> 副端末ｃ
副端末２３ <-> 副端末ｂ
副端末特定部１０５は、変位が最小となる副端末同士を対応付けるために、各ΔＴAと各ΔＴHにおける各要素の差の絶対値の和である「行列ノルム」を用いてもよい。他の方法としては、各ΔＴAから抽出した位置ｖ又は傾きｒと、各ΔＴHから抽出した位置ｖ又は傾きｒにおいて、ベクトル差を求め、その大きさである「ベクトルノルム」を用いてもよいし、各ΔＴAから抽出した傾きrと各ΔＴHから抽出した傾きrから回転軸ベクトルを算出し、そのノルムを用いてもよい。
これらのノルムが閾値以下かつ最も小さい副端末同士を対応付ける。
［副端末選択部１０６］
副端末選択部１０６は、オペレータ操作によって、いずれかの副端末２を選択する。選択された副端末２の端末ＩＤは、視認距離判定部１１へ出力される。
副端末選択部１０６は、カメラによって撮影された映像に映り込む現実空間の複数の副端末の中で、１つの副端末のオブジェクトをオペレータ操作によって選択させる。このとき、ディスプレイには、オペレータから視認するカメラの映像のオブジェクトと、取得した端末ＩＤとが対応付けて表示され、オペレータにとって選択しやすくすることができる。また、各端末ＩＤに、予め設定されたユーザ識別名を対応付けてディスプレイに表示することもできる。
前述した図７によれば、副端末選択部１０６は、カメラにオペレータの指が映り込んだ場合、その指で指し示すことによって、映像上の副端末２を選択することができる（例えば非特許文献７及び８参照）。具体的には、副端末２と認識された映像内のオブジェクトと、指と認識された映像内のオブジェクトとのコリジョンを判定する。
尚、前述した＜主端末から見た副端末を選択する実施形態＞は、逆から見て、＜副端末から見た主端末を選択する実施形態＞として実現することができる。即ち、主体が、主端末１か又は副端末２かの違いのみである。
以上、詳細に説明したように、本発明として、主端末からみて現実空間で視認可能な距離に存在する副端末と同一の仮想空間へ参入することができる。
前述した本発明における種々の実施形態によれば、当業者は、本発明の技術思想及び見地の範囲における種々の変更、修正及び省略を容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
１ 主端末
１０１ 副端末検出部
１０２ 副端末姿勢受信部
１０３ 物体姿勢検出部
１０４ 姿勢変位検出部
１０５ 副端末特定部
１０６ 副端末選択部
１１ 視認距離判定部
１２ サーバアクセス部
２ 副端末
２１ 視認距離判定部
３ 仮想空間サーバ
４ 検索サーバ

Claims (25)

  1. 主端末と副端末とを有するシステムの仮想空間参入方法であって、
    主端末は、カメラを搭載し、副端末又はその周辺機器の物体形状又はマーカを予め記憶しており、
    主端末は、カメラによる現実空間の映像から物体認識によって当該副端末又はその周辺機器の物体形状又はマーカを検出したか否かを判定する第１のステップと、
    主端末が、真と判定した際に、副端末と同一の仮想空間サーバへアクセスし、同一の仮想空間へ参入する第２のステップと
    を有することを特徴とする仮想空間参入方法。
  2. システムは、ユーザ識別子と、当該ユーザ識別子に相当するユーザが現に参入している仮想空間サーバのサーバアドレスとを対応付けて記憶する検索サーバを更に有し、
    第１のステップについて、
    主端末は、現実空間で視認可能な副端末又はその周辺機器からユーザ識別子を取得し、
    第２のステップについて、
    主端末が、副端末から取得したユーザ識別子を、検索サーバへ送信し、
    検索サーバが、当該ユーザ識別子に対応するサーバアドレスを、主端末へ応答し、
    主端末が、当該サーバアドレスに基づく仮想空間サーバへログインする
    ことを特徴とする請求項１に記載の仮想空間参入方法。
  3. 第２のステップについて、主端末は、副端末から取得したユーザ識別子を、仮想空間サーバへ更に送信し、
    仮想空間サーバに対して、現実空間の当該副端末と仮想空間の端末とを紐付ける
    ことを特徴とする請求項２に記載の仮想空間参入方法。
  4. 第１のステップについて、
    主端末は、現実空間で視認可能な副端末又はその周辺機器から、仮想空間サーバのサーバアドレスを取得し、
    第２のステップについて、
    主端末が、当該サーバアドレスに基づく仮想空間サーバへログインする
    ことを特徴とする請求項１に記載の仮想空間参入方法。
  5. 主端末は、副端末からユーザ識別子又はサーバアドレスを取得するために、
    副端末からの近距離通信用電波によって受信するか、又は、
    副端末に装着された、ユーザ識別子又はサーバアドレスが記述されたマーカを、カメラによって撮影して読み取る
    ことを特徴とする請求項２から４のいずれか１項に記載の仮想空間参入方法。
  6. 主端末は、カメラ及び姿勢センサを更に搭載し、
    所定時間毎に、副端末それぞれから、副端末座標系Ｈの副端末姿勢ＴH2を受信し、
    所定時間毎に、カメラの映像から物体認識によって現実空間の副端末それぞれについて、主端末の姿勢センサに基づく主端末座標系Ａの副端末姿勢ＴA2を検出し、
    所定時間毎に、副端末それぞれについて、副端末座標系Ｈの副端末姿勢ＴH2の変位ΔＴH2と、主端末座標系Ａの副端末姿勢ＴA2の変位ΔＴA2とを検出し、
    副端末それぞれについて、副端末座標系Ｈの副端末姿勢ＴH2の変位ΔＴH2と最も近い変位となる主端末座標系Ａの副端末姿勢ＴA2の変位ΔＴA2の副端末を特定し、当該副端末の端末識別子を、映像から認識された副端末に対応付け、
    カメラの映像に映り込む現実空間の複数の副端末の中で、１つの副端末のオブジェクトをオペレータ操作によって選択させる
    ことを特徴とする請求項１から５のいずれか１項に記載の仮想空間参入方法。
  7. 副端末も、姿勢センサを搭載しており、
    主端末座標系Ａの副端末姿勢ＴA2は、映像に映り込む副端末におけるユーザが向く前面に対する位置ｖ及び傾きｒから導出されたものであり、
    副端末座標系Ｈの副端末姿勢ＴH2は、当該副端末の姿勢センサによって検知されたものである
    ことを特徴とする請求項６に記載の仮想空間参入方法。
  8. 主端末座標系Ａの副端末姿勢ＴA2について、映像に映り込む副端末におけるユーザが向く前面は、副端末に配置された所定マーカの位置に基づいて特定される
    ことを特徴とする請求項７に記載の仮想空間参入方法。
  9. 当該副端末座標系Ｈに基づく位置ｖ及び傾きｒを受信し、傾きｒに基づく回転行列Ｒと位置ｖとからなる姿勢行列を、副端末座標系Ｈの副端末姿勢ＴH2とし、
    カメラの映像から、副端末それぞれについて、主端末座標系Ａに基づく位置ｖ及び傾きｒを検出し、傾きｒに基づく回転行列Ｒと位置ｖとからなる姿勢行列を、主端末座標系Ａの副端末姿勢ＴA2とする
    ことを特徴とする請求項６から８のいずれか１項に記載の仮想空間参入方法。
  10. 主端末と副端末とを有するシステムの仮想空間参入方法であって、
    副端末は、カメラを搭載し、主端末又はその周辺機器の物体形状又はマーカを予め記憶しており、
    副端末は、カメラによる現実空間の映像から物体認識によって当該主端末又はその周辺機器の物体形状又はマーカを検出したか否かを判定し、真と判定した際に、許可信号を主端末へ通知する第１のステップと、
    主端末が、副端末から許可信号を取得した際に、副端末と同一の仮想空間サーバへアクセスし、同一の仮想空間へ参入する第２のステップと
    を有することを特徴とする仮想空間参入方法。
  11. システムは、ユーザ識別子と、当該ユーザ識別子に相当するユーザが現に参入している仮想空間サーバのサーバアドレスとを対応付けて記憶する検索サーバを更に有し、
    第１のステップについて、
    副端末は、許可信号としてユーザ識別子を主端末へ通知し、
    第２のステップについて、
    主端末が、副端末から取得したユーザ識別子を、検索サーバへ送信し、
    検索サーバが、当該ユーザ識別子に対応するサーバアドレスを、主端末へ応答し、
    主端末が、当該サーバアドレスに基づく仮想空間サーバへログインする
    ことを特徴とする請求項１０に記載の仮想空間参入方法。
  12. 第２のステップについて、主端末は、副端末から取得したユーザ識別子を、仮想空間サーバへ更に送信し、
    仮想空間サーバに対して、現実空間の当該副端末と仮想空間の端末とを紐付ける
    ことを特徴とする請求項１１に記載の仮想空間参入方法。
  13. 第１のステップについて、
    副端末は、許可信号としてサーバアドレスを主端末へ通知し、
    第２のステップについて、
    主端末が、当該サーバアドレスに基づく仮想空間サーバへログインする
    ことを特徴とする請求項１２に記載の仮想空間参入方法。
  14. 副端末は、主端末へユーザ識別子又はサーバアドレスを通知するために、
    主端末へ近距離通信用電波によって送信するか、又は、
    副端末に装着された、ユーザ識別子又はサーバアドレスが記述されたマーカを、主端末のカメラによって撮影させて読み取らせる
    ことを特徴とする請求項１１から１３のいずれか１項に記載の仮想空間参入方法。
  15. 副端末は、カメラ及び姿勢センサを更に搭載し、
    所定時間毎に、端末それぞれから、主端末座標系Ｈの主端末姿勢ＴH2を受信し、
    所定時間毎に、カメラの映像から物体認識によって現実空間の主端末それぞれについて、副端末の姿勢センサに基づく副端末座標系Ａの主端末姿勢ＴA2を検出し、
    所定時間毎に、主端末それぞれについて、主端末座標系Ｈの主端末姿勢ＴH2の変位ΔＴH2と、副端末座標系Ａの主端末姿勢ＴA2の変位ΔＴA2とを検出し、
    主端末それぞれについて、主端末座標系Ｈの主端末姿勢ＴH2の変位ΔＴH2と最も近い変位となる副端末座標系Ａの主端末姿勢ＴA2の変位ΔＴA2の主端末を特定し、当該主端末の端末識別子を、映像から認識された主端末に対応付け、
    カメラの映像に映り込む現実空間の複数の主端末の中で、１つの主端末のオブジェクトをオペレータ操作によって選択させる
    ことを特徴とする請求項１０から１４のいずれか１項に記載の仮想空間参入方法。
  16. 主端末は、姿勢センサを搭載しており、
    副端末座標系Ａの主端末姿勢ＴA2は、映像に映り込む副端末におけるユーザが向く前面に対する位置ｖ及び傾きｒから導出されたものであり、
    主端末座標系Ｈの主端末姿勢ＴH2は、当該主端末の姿勢センサによって検知されたものである
    ことを特徴とする請求項１５に記載の仮想空間参入方法。
  17. 副端末座標系Ａの主端末姿勢ＴA2について、映像に映り込む主端末におけるユーザが向く前面は、主端末に配置された所定マーカの位置に基づいて特定される
    ことを特徴とする請求項１６に記載の仮想空間参入方法。
  18. 当該主端末座標系Ｈに基づく位置ｖ及び傾きｒを受信し、傾きｒに基づく回転行列Ｒと位置ｖとからなる姿勢行列を、主端末座標系Ｈの主端末姿勢ＴH2とし、
    カメラの映像から、主端末それぞれについて、副端末座標系Ａに基づく位置ｖ及び傾きｒを検出し、傾きｒに基づく回転行列Ｒと位置ｖとからなる姿勢行列を、副端末座標系Ａの主端末姿勢ＴA2とする
    ことを特徴とする請求項１６又は１７に記載の仮想空間参入方法。
  19. 第２のステップについて、主端末は、
    広域通信を介して外部ネットワークに配置された仮想空間サーバへ、
    近距離通信を介してローカルに配置された仮想空間サーバへ、又は、
    近距離通信を介して副端末に搭載された仮想空間サーバへ
    アクセスすることを特徴とする請求項１から１８のいずれか１項に記載の仮想空間参入方法。
  20. 主端末又は副端末は、ディスプレイを搭載した眼鏡型、コンタクトレンズ型、又は、ヘッドマウント型の端末であり、シースルーによって、又は、カメラによって撮影された映像を表示するディスプレイによって、現実空間に存在する複数の端末をオペレータに視認させる
    ことを特徴とする請求項１から１９のいずれか１項に記載の仮想空間参入方法。
  21. 副端末と通信可能な主端末において、
    カメラを搭載し、副端末又はその周辺機器の物体形状又はマーカを予め記憶しており、
    カメラによる現実空間の映像から物体認識によって当該副端末又はその周辺機器の物体形状又はマーカを検出したか否かを判定する視認距離判定手段と、
    視認距離判定手段によって真と判定した際に、副端末と同一の仮想空間サーバへアクセスし、同一の仮想空間へ参入するサーバアクセス手段と
    を有することを特徴とする主端末。
  22. 主端末と、当該主端末と通信可能な副端末とを有するシステムにおいて、
    副端末は、カメラを搭載し、主端末又はその周辺機器の物体形状又はマーカを予め記憶しており、
    副端末は、カメラによる現実空間の映像から物体認識によって当該主端末又はその周辺機器を検出したか否かを判定し、真と判定した際に、許可信号を主端末へ通知し、
    主端末が、副端末から許可信号を取得した際に、副端末と同一の仮想空間サーバへアクセスし、同一の仮想空間へ参入する
    ことを特徴とするシステム。
  23. 主端末と通信可能な副端末において、
    カメラを搭載し、主端末又はその周辺機器の物体形状又はマーカを予め記憶しており、
    カメラによる現実空間の映像から物体認識によって当該主端末又はその周辺機器の物体形状又はマーカを検出したか否かを判定し、真と判定した際に、許可信号を主端末へ通知する許可信号通知手段
    を有し、
    主端末に、副端末と同一の仮想空間サーバへアクセスさせ、同一の仮想空間へ参入させる
    ことを特徴とする副端末。
  24. 副端末と通信可能な主端末に搭載されたコンピュータを機能させるプログラムにおいて、
    カメラを搭載し、副端末又はその周辺機器の物体形状又はマーカを予め記憶しており、
    カメラによる現実空間の映像から物体認識によって当該副端末又はその周辺機器を検出したか否かを判定する視認距離判定手段と、
    視認距離判定手段によって真と判定した際に、副端末と同一の仮想空間サーバへアクセスし、同一の仮想空間へ参入するサーバアクセス手段と
    してコンピュータを機能させることを特徴とする主端末用のプログラム。
  25. 主端末と通信可能な副端末に搭載されたコンピュータを機能させるプログラムにおいて、
    カメラを搭載し、主端末又はその周辺機器の物体形状又はマーカを予め記憶しており、
    カメラによる現実空間の映像から物体認識によって当該主端末又はその周辺機器の物体形状又はマーカを検出したか否かを判定し、真と判定した際に、許可信号を主端末へ通知する許可信号通知手段と
    してコンピュータを機能させ、
    主端末に、副端末と同一の仮想空間サーバへアクセスさせ、同一の仮想空間へ参入させる
    ことを特徴とする副端末用のプログラム。
JP2021172083A 2021-10-21 2021-10-21 副端末と同一の仮想空間へ主端末を参入させる方法、システム、主端末、副端末及びプログラム Active JP7285586B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021172083A JP7285586B2 (ja) 2021-10-21 2021-10-21 副端末と同一の仮想空間へ主端末を参入させる方法、システム、主端末、副端末及びプログラム
JP2023080501A JP2023113678A (ja) 2021-10-21 2023-05-16 副端末と同一のサーバへ主端末からアクセスする方法、副端末、主端末及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021172083A JP7285586B2 (ja) 2021-10-21 2021-10-21 副端末と同一の仮想空間へ主端末を参入させる方法、システム、主端末、副端末及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023080501A Division JP2023113678A (ja) 2021-10-21 2023-05-16 副端末と同一のサーバへ主端末からアクセスする方法、副端末、主端末及びプログラム

Publications (2)

Publication Number Publication Date
JP2023062235A JP2023062235A (ja) 2023-05-08
JP7285586B2 true JP7285586B2 (ja) 2023-06-02

Family

ID=86269891

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021172083A Active JP7285586B2 (ja) 2021-10-21 2021-10-21 副端末と同一の仮想空間へ主端末を参入させる方法、システム、主端末、副端末及びプログラム
JP2023080501A Pending JP2023113678A (ja) 2021-10-21 2023-05-16 副端末と同一のサーバへ主端末からアクセスする方法、副端末、主端末及びプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023080501A Pending JP2023113678A (ja) 2021-10-21 2023-05-16 副端末と同一のサーバへ主端末からアクセスする方法、副端末、主端末及びプログラム

Country Status (1)

Country Link
JP (2) JP7285586B2 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006229379A (ja) 2005-02-16 2006-08-31 Nec Corp 多者間通信システム、クライアント端末及びそれらに用いる多者間通信方法並びにそのプログラム
US20110216002A1 (en) 2010-03-05 2011-09-08 Sony Computer Entertainment America Llc Calibration of Portable Devices in a Shared Virtual Space
JP2015192436A (ja) 2014-03-28 2015-11-02 キヤノン株式会社 送信端末、受信端末、送受信システム、およびそのプログラム
WO2021053805A1 (ja) 2019-09-20 2021-03-25 マクセル株式会社 情報端末装置および位置認識共有方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006229379A (ja) 2005-02-16 2006-08-31 Nec Corp 多者間通信システム、クライアント端末及びそれらに用いる多者間通信方法並びにそのプログラム
US20110216002A1 (en) 2010-03-05 2011-09-08 Sony Computer Entertainment America Llc Calibration of Portable Devices in a Shared Virtual Space
JP2015192436A (ja) 2014-03-28 2015-11-02 キヤノン株式会社 送信端末、受信端末、送受信システム、およびそのプログラム
WO2021053805A1 (ja) 2019-09-20 2021-03-25 マクセル株式会社 情報端末装置および位置認識共有方法

Also Published As

Publication number Publication date
JP2023113678A (ja) 2023-08-16
JP2023062235A (ja) 2023-05-08

Similar Documents

Publication Publication Date Title
US8965741B2 (en) Context aware surface scanning and reconstruction
US10395116B2 (en) Dynamically created and updated indoor positioning map
CN104903775B (zh) 头戴式显示器及其控制方法
US9661470B1 (en) Methods and systems for locating an actor within an environment
US20170176209A1 (en) Systems, apparatus and methods for delivery of location-oriented information
CN106575425B (zh) 经由地理围栏边界段穿越进行的调节
CN117356116A (zh) 用于定位可穿戴设备和向可穿戴设备递送内容的信标
US9721388B2 (en) Individual identification character display system, terminal device, individual identification character display method, and computer program
KR101958723B1 (ko) 지오펜스 크로싱 기반 제어를 위한 시스템들 및 기술들
US20180053352A1 (en) Occluding augmented reality content or thermal imagery for simultaneous display
US20140253589A1 (en) Inconspicuous tag for generating augmented reality experiences
CN109117684A (zh) 用于在双目增强现实设备上选择性扫描的系统和方法
US20130169682A1 (en) Touch and social cues as inputs into a computer
JP4282091B1 (ja) 端末装置、情報処理方法及びプログラム
US20130174213A1 (en) Implicit sharing and privacy control through physical behaviors using sensor-rich devices
CN105378801A (zh) 全息图快照网格
US11532227B2 (en) Discovery of and connection to remote devices
US9875546B1 (en) Computer vision techniques for generating and comparing three-dimensional point clouds
CN110168615A (zh) 信息处理设备、信息处理方法和程序
TW202004424A (zh) 用於追蹤和渲染對應於實體對象的虛擬對象的追蹤系統以及用於其的操作方法
JP7285586B2 (ja) 副端末と同一の仮想空間へ主端末を参入させる方法、システム、主端末、副端末及びプログラム
JP7266329B2 (ja) 現実空間で視認可能な位置に存在する副端末を特定する主端末、プログラム、システム及び方法
JP7015081B1 (ja) 副端末と同一の仮想空間へ参入する主端末、プログラム、システム及び方法
CN112581630B (zh) 一种用户交互方法和系统
JP2023056195A (ja) 副端末と同一の仮想空間へ参入する主端末、システム、プログラム及び方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211021

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221223

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230418

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230516

R150 Certificate of patent or registration of utility model

Ref document number: 7285586

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150