JP7160183B2 - 情報処理装置、表示システム、表示方法、及びプログラム - Google Patents

情報処理装置、表示システム、表示方法、及びプログラム Download PDF

Info

Publication number
JP7160183B2
JP7160183B2 JP2021508106A JP2021508106A JP7160183B2 JP 7160183 B2 JP7160183 B2 JP 7160183B2 JP 2021508106 A JP2021508106 A JP 2021508106A JP 2021508106 A JP2021508106 A JP 2021508106A JP 7160183 B2 JP7160183 B2 JP 7160183B2
Authority
JP
Japan
Prior art keywords
coordinate system
coordinates
real space
model
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021508106A
Other languages
English (en)
Other versions
JPWO2020195021A1 (ja
Inventor
一範 大橋
泳樹 渡辺
暢徹 皆川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2020195021A1 publication Critical patent/JPWO2020195021A1/ja
Application granted granted Critical
Publication of JP7160183B2 publication Critical patent/JP7160183B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Description

本発明は情報処理装置、表示システム、表示方法、及びプログラムに関する。
近年、拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）に関する技術の開発が盛んになっている。例えば、特許文献１では、ＡＲ技術を用いて、現実空間に図面情報を投影する図面投影システムについて開示している。
ところで、ＰＴＡＭ（Ｐａｒａｌｌｅｌ Ｔｒａｃｋｉｎｇ ａｎｄ Ｍａｐｐｉｎｇ）などのマーカーレス型のＡＲでは、特定の物体について深度センサ等により空間認識することで、現実の風景に重畳されて表示される画像であるＡＲ画像の表示位置を特定している。マーカーレス型のＡＲのメリットとして、特別なマーカーを用意する必要がなくマーカーの設置が難しい状況でもＡＲ表示を行うことができるという点が挙げられる。
特開2018-163466号公報
マーカーレス型ＡＲでは、上述した特定の物体を認識するためにその物体の特徴点を多く取り込む必要がある。したがって、特徴点を取り込むのが難しい箇所、例えばスポーツ会場のような広い場所、又は、遠い場所に、ＡＲ表示を行うことは困難である。すなわち、マーカーレス型ＡＲ表示において、ＡＲ画像を所望の位置に表示することが困難な場合があった。
本明細書に開示される実施形態が達成しようとする目的の１つは、マーカーレス型のＡＲ表示において、ＡＲ画像を所望の位置に適切に表示することができる情報処理装置、表示システム、表示方法、及びプログラムを提供することにある。
第１の態様にかかる情報処理装置は、
実空間に存在する所定の物体の三次元モデルを記憶するモデル空間記憶手段と、
拡張現実表示装置のカメラが撮影した前記物体の画像を取得する物体情報取得手段と、
前記画像と前記三次元モデルとを照合した結果に基づいて、前記三次元モデルが存在するモデル空間の座標系であるモデル座標系と前記拡張現実表示装置が管理する実空間の座標系である実空間座標系の対応関係を特定する関係特定手段と、
前記関係特定手段により特定された前記対応関係を用いて、所定の画像の表示位置を特定するための前記モデル座標系における座標を前記実空間座標系における座標に変換する変換手段と、
前記変換手段により変換された座標を前記拡張現実表示装置に通知する座標通知手段と
を有する。
第２の態様にかかる表示システムは、
カメラを有する拡張現実表示装置と、
情報処理装置と、
を備え、
前記情報処理装置は、
実空間に存在する所定の物体の三次元モデルを記憶するモデル空間記憶手段と、
前記カメラが撮影した前記物体の画像を取得する物体情報取得手段と、
前記画像と前記三次元モデルとを照合した結果に基づいて、前記三次元モデルが存在するモデル空間の座標系であるモデル座標系と前記拡張現実表示装置が管理する実空間の座標系である実空間座標系の対応関係を特定する関係特定手段と、
前記関係特定手段により特定された前記対応関係を用いて、所定の画像の表示位置を特定するための前記モデル座標系における座標を前記実空間座標系における座標に変換する変換手段と、
前記変換手段により変換された座標を前記拡張現実表示装置に通知する座標通知手段と
を有し、
前記拡張現実表示装置は、
前記座標通知手段により通知された前記座標に基づいて、前記所定の画像を拡張現実表示する表示制御手段を有する。
第３の態様にかかる表示方法では、
拡張現実表示装置のカメラが撮影した、実空間に存在する所定の物体の画像を取得し、
前記画像と前記物体の三次元モデルとを照合した結果に基づいて、前記三次元モデルが存在するモデル空間の座標系であるモデル座標系と前記拡張現実表示装置が管理する実空間の座標系である実空間座標系の対応関係を特定し、
前記対応関係を用いて、所定の画像の表示位置を特定するための前記モデル座標系における座標を前記実空間座標系における座標に変換し、
変換された座標を前記拡張現実表示装置に通知する。
第４の態様にかかるプログラムは、
拡張現実表示装置のカメラが撮影した、実空間に存在する所定の物体の画像を取得する物体情報取得ステップと、
前記画像と前記物体の三次元モデルとを照合した結果に基づいて、前記三次元モデルが存在するモデル空間の座標系であるモデル座標系と前記拡張現実表示装置が管理する実空間の座標系である実空間座標系の対応関係を特定する関係特定ステップと、
前記対応関係を用いて、所定の画像の表示位置を特定するための前記モデル座標系における座標を前記実空間座標系における座標に変換する変換ステップと、
変換された座標を前記拡張現実表示装置に通知する通知ステップと
をコンピュータに実行させる。
上述の態様によれば、マーカーレス型のＡＲ表示において、ＡＲ画像を所望の位置に適切に表示することができる情報処理装置、表示システム、表示方法、及びプログラムを提供することができる。
実施の形態１にかかる表示システムの構成の一例を示すブロック図である。 実施の形態１にかかる拡張現実表示装置のハードウェア構成の一例を示す模式図である 実施の形態１にかかる情報処理装置のハードウェア構成の一例を示す模式図である 実施の形態１にかかる拡張現実表示装置の機能構成の一例を示すブロック図である。 実施の形態１にかかる情報処理装置の機能構成の一例を示すブロック図である。 実空間における基準位置の例を示す斜視図である。 モデル座標系における基準位置の座標の算出について説明する模式図である。 モデル座標系における基準位置の座標を特定する動作の一例を示すシーケンスチャートである。 ＡＲ画像を表示する動作の一例を示すシーケンスチャートである。 所定の二点についての情報を記憶するための動作の一例を示すシーケンスチャートである。 所定の二点を用いて競技会場を特定し、ＡＲ画像を表示する動作の一例を示すシーケンスチャートである。 長方形の競技会場の４つの頂点の算出について説明する模式図である。 実施の形態３にかかる情報処理装置の機能構成の一例を示すブロック図である。
以下、図面を参照して本発明の実施の形態について説明する。なお、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。
＜実施の形態１＞
図１は、実施の形態１にかかる表示システム１の構成の一例を示すブロック図である。図１に示すように、表示システム１は、情報処理装置１０と、１以上の拡張現実表示装置２０とを備えている。情報処理装置１０と、拡張現実表示装置２０とは、有線又は無線により通信可能に接続されている。
拡張現実表示装置２０は、現実空間（現実の風景）に、ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）などのＡＲ画像を重畳して表示する装置である。拡張現実表示装置２０は、具体的には、例えば、マイクロソフト社のホロレンズ（ＨｏｌｏＬｅｎｓ：登録商標）等のヘッドマウントディスプレイである。拡張現実表示装置２０は、マーカーレス型のＡＲ表示をユーザに提供する。
図２は、拡張現実表示装置２０のハードウェア構成の一例を示す模式図である。図２に示すように、拡張現実表示装置２０は、例えば、ネットワークインタフェース２１と、メモリ２２と、プロセッサ２３と、空間認識センサ２４と、カメラ２５と、ＩＭＵ２６と、ディスプレイ２７とを有する。
ネットワークインタフェース２１は、情報処理装置１０などの他の装置と通信するために使用される。ネットワークインタフェース２１は、例えば、ネットワークインタフェースカード（ＮＩＣ）を含んでもよい。
メモリ２２は、例えば、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。メモリ２２は、プロセッサ２３により実行される１以上の命令を含むソフトウェア（コンピュータプログラム）、及び、拡張現実表示装置２０の処理に必要となる様々なデータを格納するために使用される。なお、拡張現実表示装置２０は、メモリ２２の他にハードディスクなどの記憶装置を有してもよい。
プロセッサ２３は、メモリ２２からソフトウェア（コンピュータプログラム）を読み出して実行することで、後述する図４に示す要素の処理を行う。このように、拡張現実表示装置２０は、コンピュータとしての機能を備えている。プロセッサ２３は、例えば、マイクロプロセッサ、ＭＰＵ(Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｏｒ Ｕｎｉｔ)、又はＣＰＵ(Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ)などであってもよい。プロセッサ２３は、複数のプロセッサを含んでもよい。
空間認識センサ２４は、現実空間を認識するためのセンサである。具体的には、空間認識センサ２４は、例えば深度センサであり、現実空間の距離情報を取得する。
カメラ２５は、現実空間を撮影する。すなわち、カメラ２５は、拡張現実表示装置２０のユーザの視界にある現実空間の風景を撮影する。
ＩＭＵ（慣性計測装置：Inertial Measurement Unit）２６は、ジャイロ及び加速度計を備え、拡張現実表示装置２０（カメラ２５）の位置及び向きを検出するために用いられる。
ディスプレイ２７は、現実空間の風景にＡＲ画像を重畳させて表示する装置である。ディスプレイ２７は、例えば、マイクロディスプレイ及びハーフミラーなどにより構成された光学透過型のディスプレイであってもよい。また、ディスプレイ２７は、カメラ２５により撮影されたリアルタイムな画像とＡＲ画像とを合成して表示するビデオ透過型のディスプレイであってもよい。
情報処理装置１０は、拡張現実表示装置２０に対し、ＡＲ画像の表示位置を特定するための拡張現実空間における座標を通知する装置である。情報処理装置１０は、例えば、ＭＥＣ（Ｍｏｂｉｌｅ Ｅｄｇｅ Ｃｏｍｐｕｔｉｎｇ）サーバなどのサーバである。
図３は、情報処理装置１０のハードウェア構成の一例を示す模式図である。図３に示すように、情報処理装置１０は、例えば、ネットワークインタフェース１１と、メモリ１２と、プロセッサ１３とを有する。
ネットワークインタフェース１１は、拡張現実表示装置２０などの他の装置と通信するために使用される。ネットワークインタフェース１１は、例えば、ネットワークインタフェースカード（ＮＩＣ）を含んでもよい。
メモリ１２は、例えば、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。メモリ１２は、プロセッサ１３により実行される１以上の命令を含むソフトウェア（コンピュータプログラム）、及び、情報処理装置１０の処理に必要となる様々なデータを格納するために使用される。なお、情報処理装置１０は、メモリ１２の他にハードディスクなどの記憶装置を有してもよい。
プロセッサ１３は、メモリ１２からソフトウェア（コンピュータプログラム）を読み出して実行することで、後述する図５に示す要素の処理を行う。このように、情報処理装置１０は、コンピュータとしての機能を備えている。プロセッサ１３は、例えば、マイクロプロセッサ、ＭＰＵ、又はＣＰＵなどであってもよい。プロセッサ１３は、複数のプロセッサを含んでもよい。
なお、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌe ｍｅｄｉｕｍ）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（ｔａｎｇｉｂｌｅ ｓｔｏｒａｇｅ ｍｅｄｉｕｍ）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＣＤ－ＲＯＭ）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ（ＰＲＯＭ）、Ｅｒａｓａｂｌｅ ＰＲＯＭ（ＥＰＲＯＭ）、フラッシュＲＯＭ、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
図４は、拡張現実表示装置２０の機能構成の一例を示すブロック図である。図４に示すように、拡張現実表示装置２０は、空間管理部２０１と、画像送信部２０２と、操作受付部２０３と、指定情報通知部２０４と、表示制御部２０５とを有する。空間管理部２０１、画像送信部２０２、操作受付部２０３、指定情報通知部２０４、及び表示制御部２０５の各処理は、例えば、プロセッサ２３がプログラムの実行することにより実現される。
空間管理部２０１は、空間認識センサ２４及びＩＭＵ２６の出力情報に基づいて、実空間の座標系を管理する。例えば、空間管理部２０１は、拡張現実表示装置２０（カメラ２５）が実空間において存在している位置に対応する、当該座標系における座標を管理する。また、空間管理部２０１は、拡張現実表示装置２０（カメラ２５）が実空間において向いている方向に対応する、当該座標系における方向（すなわち、ベクトル）を管理する。また、例えば、空間管理部２０１は、実空間に存在する物体の位置に対応する、当該座標系における座標を管理する。
例えばマイクロソフト社のホロレンズでは、アプリを起動したタイミングのカメラ位置が原点となり、その時に向いている方向によって座標軸の向きが決定する。
なお、空間管理部２０１が管理する座標系を実空間座標系と称すこととする。
画像送信部２０２は、カメラ２５が撮影した画像を情報処理装置１０に送信する。このとき、画像送信部２０２は、画像とともに、空間管理部２０１が管理している、カメラ２５の座標及び方向を情報処理装置１０に送信する。
操作受付部２０３は、拡張現実表示装置２０のユーザからの操作を受け付ける。例えば、操作受付部２０３は、空間認識センサ２４又はカメラ２５からの出力情報に基づいて、ユーザによるエアタップなどの所定の動作を検出することにより、ユーザからの入力操作を受け付ける。なお、エアタップとは、例えば、手の１本の指を立てた状態から倒した状態へと変更する動作であるが、指先やペン先等で軽く叩くような動作であってもよい。なお、操作受付部２０３は、エアタップのようにＩＭＵ２６および空間認識センサ２４を介して入力された操作を受け付けてもよいし、拡張現実表示装置２０が備える物理的なボタンを押下げる操作を受け付けてもよい。また、操作受付部２０３は、他の任意の入力装置を介して入力された操作を受け付けてもよい。
特に、本実施の形態では、操作受付部２０３は、カメラ２５の実空間座標系における座標を起点とした実空間座標系における方向の指定を受け付ける。これについて、具体的に説明する。ユーザは、実空間上の所定の一点（例えば、競泳プールの四隅のいずれか）の存在する方向を指定する。なお、本実施の形態では、この所定の一点は、後述する所定の平面上の一点である。実空間上の所定の一点の存在する方向とは、拡張現実表示装置２０（すなわちカメラ２５）から、上述した一点への方向である。換言すると、実空間上の所定の一点の存在する方向とは、拡張現実表示装置２０（すなわちカメラ２５）を起点とした、上述した一点の存在方向である。例えば、ユーザは、次のように方向を指定する。ユーザは、実空間上の所定の一点が、カメラ２５の視野の所定の点（例えば、中心点）に一致するようカメラ２５の向きを変更し、両者が一致した状態でエアタップを行なう。なお、実空間上の所定の一点と、カメラ２５の視野の所定の一点とを一致させるために、カメラ２５の視野の所定の一点を明示する目印がディスプレイ２７に表示されてもよい。この場合、ヘッドマウントディスプレイである拡張現実表示装置２０を装着したユーザは、頭部の向きを調整することにより、目印と実空間上の所定の一点とを一致させ、両者が一致した状態でエアタップを行なう。目印は、カメラ２５の視野の所定の点近傍の領域を示してもよい。この場合、拡張現実表示装置２０を装着したユーザは、当該領域内に実空間上の所定の一点が収まるように頭部を動かして拡張現実表示装置２０の向きを調整する。操作受付部２０３は、エアタップを検出した際のカメラ２５の向きを、実空間上の所定の一点の存在する方向として受け付ける。具体的には、操作受付部２０３は、エアタップを検出した時点で空間管理部２０１が管理している、実空間座標系におけるカメラ２５の方向をユーザから指定された方向として受け付ける。このように、本実施の形態では、操作受付部２０３は、カメラ２５の実空間座標系における座標を起点とした実空間座標系における方向の指定を受け付ける。なお、操作受付部２０３は、方向受付部と称されることがある。
指定情報通知部２０４は、操作受付部２０３が方向の指定を受け付けると、空間管理部２０１が管理する、カメラ２５の実空間座標系における座標と、操作受付部２０３が受け付けた方向の指定とを情報処理装置１０に通知する。すなわち、指定情報通知部２０４は、実空間座標系におけるカメラ２５の位置と、カメラ２５を起点とした上述の一点の実空間座標系における存在方向とを情報処理装置１０に通知する。
ユーザは、ＡＲ画像の表示位置を特定するための実空間上の基準位置を上述した実空間上の所定の一点とし、方向の指定を行なう。このため、指定情報通知部２０４は、ＡＲ画像の表示位置を特定するための実空間上の基準位置が拡張現実表示装置２０を起点としてどの方向に存在しているかを示す、実空間座標系における情報を情報処理装置１０に通知する。なお、基準位置は、複数点であってもよい。例えば、競泳プールの四隅を基準位置とする場合、基準位置は四点となる。この場合、ユーザは、一点ずつ方向を指定する操作を４回繰り返すことにより、４つの基準位置それぞれの存在方向を拡張現実表示装置２０に入力する。
表示制御部２０５は、ディスプレイ２７の表示を制御する。特に、表示制御部２０５は、情報処理装置１０から通知された、ＡＲ画像の表示位置を特定するための実空間座標系における座標に基づいて、ＡＲ画像を拡張現実表示する。ＡＲ画像の表示位置を特定するための実空間座標系における座標とは、上述した基準位置の実空間座標系における座標である。具体的には、表示制御部２０５は、基準位置を基準とした所定の相対位置に、ＡＲ画像が見えるよう表示位置を制御する。なお、ＡＲ画像の表示位置は基準位置と異なっていてもよいし、同じであってもよい。すなわち、相対位置を示すベクトルは、非零ベクトルであってもよいし、零ベクトルであってもよい。
例えば、基準位置が一つである場合、表示制御部２０５は、基準位置の上方の例えば３メートルの位置にＡＲ画像が表示されているように見えるよう制御する。また、基準位置が２つである場合、２つの基準位置により規定される線分を基準とした所定の相対位置、例えば、当該線分に平行な所定の位置に、ＡＲ画像が表示されているように見えるよう制御する。また、基準位置が３つ以上である場合、これらの基準位置により規定される領域を基準とした所定の相対位置、例えば、当該領域内の所定の位置に、ＡＲ画像が表示されているように見えるよう制御する。例えば、基準位置が競泳プールの四隅である場合、情報処理装置１０から通知される４つの座標は、実空間座標系における競泳プールの四隅の座標に相当する。このため、実空間座標系において、競泳プールに相当する領域が特定される。このため、表示制御部２０５は、例えば、競泳プールの短辺に存在するスタート台の上部などに、ＡＲ画像が存在しているように見えるよう表示を制御することができる。
ＡＲ画像は、例えば、情報処理装置１０から拡張現実表示装置２０に送信されるが、拡張現実表示装置２０のメモリ２２に予め記憶されていてもよい。また、上述した所定の相対位置は、拡張現実表示装置２０のメモリ２２に予め記憶されていてもよいし、基準位置の座標の通知とともに情報処理装置１０から拡張現実表示装置２０に通知されてもよい。
図５は、情報処理装置１０の機能構成の一例を示すブロック図である。図５に示すように、情報処理装置１０は、モデル空間記憶部１０１と、物体情報取得部１０２と、画像認識部１０３と、関係特定部１０４と、変換部１０５と、指定情報取得部１０６と、基準位置算出部１０７と、座標通知部１０８とを有する。物体情報取得部１０２、画像認識部１０３、関係特定部１０４、変換部１０５、指定情報取得部１０６、基準位置算出部１０７、及び座標通知部１０８の各処理は、例えば、プロセッサ１３がプログラムの実行することにより実現される。モデル空間記憶部１０１は、例えば、メモリ１２又は他の記憶装置により実現される。
モデル空間記憶部１０１は、実空間に存在する所定の物体の三次元モデルを記憶する。三次元モデルは、座標系を有するモデル空間において、所定の座標に配置されている。なお、この三次元モデルが存在するモデル空間の座標系をモデル座標系と称すこととする。所定の物体は、ＡＲ表示が行なわれる環境に設置されている物体であればよい。環境に設置されているどの物体を用いるかは、ユーザなどの人が決める。以下の説明では、この所定の物体をリファレンス物体と称すこととする。モデル空間記憶部１０１は、リファレンス物体の三次元モデルを、モデル座標系におけるリファレンス物体の位置を示す座標とともに予め記憶している。
また、本実施の形態では、拡張現実表示装置２０から通知される基準位置についての情報に基づいて基準位置の座標を特定するために、モデル空間記憶部１０１は、さらに以下の情報を記憶する。すなわち、モデル空間記憶部１０１は、実空間に存在する所定の平面と実空間に存在するリファレンス物体との位置関係を規定する情報をさらに記憶する。具体的には、例えば、モデル空間記憶部１０１は、実空間に存在するリファレンス物体から当該平面までの距離と、リファレンス物体から見た当該平面の方向を表す単位ベクトルとを記憶する。この単位ベクトルは、当該平面と直交する、大きさ１のベクトルである。なお、当該平面とリファレンス物体との位置関係を規定できればよいため、モデル空間記憶部１０１は、当該単位ベクトルの代わりに当該平面の法線ベクトルを記憶してもよい。当該平面は、具体的には、例えば床面、地面などである。より具体的には、当該平面は、例えば、競泳プールの水槽の上面であってもよいし、サッカー場、ラグビー場、又は陸上競技場のフィールド面であってもよい。ただし、これらに限られない。
拡張現実表示装置２０から基準位置についての情報が通知される場合、この基準位置は、上述した所定の平面上に存在するものとする。これについて、具体的な例により説明する。図６は、実空間における基準位置の例を示す斜視図である。図６に示した例では、競泳プール５０、上述した所定の平面としての床面５１、カメラ２５が示されている。競泳プール５０の水槽５２は、床面５１の下側に存在している。競泳プール５０の四隅が基準位置である場合、４つの基準位置５３Ａ、５３Ｂ、５３Ｃ、及び５３Ｄは、床面５１と同一平面上に存在する。図６において、矢印５４は、カメラ２５から見た基準位置５３Ａの方向を示すベクトルであり、操作受付部２０３が受け付ける方向に相当する。図６に示されるように、基準位置５３Ａは、矢印５４で表されるベクトルと床面５１との交点となっている。
物体情報取得部１０２は、拡張現実表示装置２０のカメラ２５が撮影したリファレンス物体の画像を取得する。すなわち、物体情報取得部１０２は、拡張現実表示装置２０の画像送信部２０２が送信した情報を取得する。このため、物体情報取得部１０２は、リファレンス物体の画像とともに、実空間座標系におけるカメラ２５の座標及び方向を取得する。
画像認識部１０３は、物体情報取得部１０２が取得した画像と、モデル空間記憶部１０１に記憶されたリファレンス物体の三次元モデルとを画像認識処理により照合する。そして、画像認識部１０３は、リファレンス物体を撮影した時点におけるカメラ２５の位置（座標）及び方向をモデル座標系において特定する。これらは、カメラ２５が撮影したリファレンス物体の大きさ及び向きの情報を用いることで特定できる。
関係特定部１０４は、画像認識部１０３による照合結果に基づいて、モデル座標系と実空間座標系の対応関係を特定する。具体的には、関係特定部１０４は、リファレンス物体の画像とともに物体情報取得部１０２が取得した実空間座標系におけるカメラ２５の座標及び方向と、画像認識部１０３が特定したモデル座標系におけるカメラ２５の座標及び方向とを比較する。これにより、関係特定部１０４は、両座標系間の変換を表す座標変換式を特定する。なお、この座標変換式は例えばアフィン行列として表される。
変換部１０５は、関係特定部１０４により特定された対応関係、すなわち座標変換式を用いて、両座標系間の座標及び方向の変換を行なう。特に、変換部１０５は、ＡＲ画像の表示位置を特定するためのモデル座標系における座標を実空間座標系における座標に変換する。
ＡＲ画像の表示位置を特定するためのモデル座標系における座標が、リファレンス物体からの相対的な位置として特定される場合、変換部１０５は、その特定された座標を実空間座標系における座標へと変換する。すなわち基準位置のモデル座標系における座標が、リファレンス物体からの相対的な位置としてモデル座標系において特定可能である場合、変換部１０５は、そのように特定される座標を実空間座標系における座標へと変換する。なお、リファレンス物体からの相対的な位置の具体例には、リファレンス物体自体の位置も含まれる。したがって、ＡＲ画像の表示位置を特定するための座標は、リファレンス物体の座標であってもよい。すなわち、ＡＲ表示のための基準位置がリファレンス物体の位置であってもよい。この場合、基準位置は、モデル座標系において予め定められているため、拡張現実表示装置２０からの基準位置についての通知は不要である。すなわち、操作受付部２０３による方向の指定の受け付け、及び、指定情報通知部２０４による情報処理装置１０への通知は省略されてもよい。
基準位置をリファレンス物体の位置からの相対位置として特定できない場合、変換部１０５は、指定情報取得部１０６が取得した情報に基づいて特定される、モデル座標系における基準位置の座標を実空間座標系における座標へと変換する。この場合、モデル座標系における基準位置の座標は、指定情報取得部１０６、変換部１０５、及び基準位置算出部１０７による処理により特定される。
指定情報取得部１０６は、カメラ２５の実空間座標系における座標と、当該座標を起点とした実空間座標系における方向の指定とを取得する。すなわち、指定情報取得部１０６は、拡張現実表示装置２０の指定情報通知部２０４による通知内容を取得する。換言すると、指定情報取得部１０６は、基準位置についての情報を拡張現実表示装置２０から取得する。この場合、ＡＲ画像の表示位置を特定するためのモデル座標系における座標、すなわちモデル座標系における基準位置の座標が、指定情報取得部１０６が取得した座標及び方向に基づいて特定されることとなる。
変換部１０５は、指定情報取得部１０６がカメラ２５の実空間座標系における座標と方向の指定を取得すると、関係特定部１０４により特定された座標変換式を用いて、この座標及び方向をモデル座標系における座標及び方向に変換する。すなわち、変換部１０５は、指定情報取得部１０６が基準位置についての情報を取得した場合、この情報で示される座標及び方向を変換する。
基準位置算出部１０７は、指定情報取得部１０６が取得した座標及び方向についての変換部１０５による変換結果に基づいて、基準位置のモデル座標系における座標を算出する。本実施の形態では、基準位置算出部１０７は、上述した所定の平面と、変換部１０５により変換された座標及び方向によって表されるベクトルとの交点を基準位置として算出する。
図７は、モデル座標系における基準位置の座標の算出について説明する模式図である。図７において、点Ｐは、カメラ２５のモデル座標系における位置、すなわち座標を示す。また、ベクトルＤは、指定情報取得部１０６が取得した方向についてのモデル座標系における方向を示すベクトルである。ベクトルＤは、点Ｐを起点としたベクトルである。点Ｐ及びベクトルＤは、変換部１０５による変換により得られる。点Ａは、リファレンス物体のモデル座標系における位置、すなわち座標を示す。距離ｈは、リファレンス物体（点Ａ）から平面６０までの距離である。ベクトルｎは、リファレンス物体（点Ａ）から見た平面６０の方向を表す単位ベクトルである。点Ａ、距離ｈ、及びベクトルｎは、モデル空間記憶部１０１に予め記憶されている。なお、リファレンス物体（点Ａ）と平面６０の交点Ｘは、以下の式（１）で表される。
Ｘ＝Ａ＋ｈｎ ・・・（１）
ベクトルｎは、平面６０の法線ベクトルといえるため、ベクトルｎと点Ｘとから平面６０のモデル座標系における座標が特定される。このように、基準位置算出部１０７は、まず、平面６０のモデル座標系における座標を算出する。このため、モデル空間記憶部１０１は、平面６０のモデル座標系における座標を予め記憶していなくてもよい。なお、モデル座標系における平面６０の座標が予めモデル空間記憶部１０１に記憶されている場合には、この算出は不要である。
次に、基準位置算出部１０７は、平面６０と、点Ｐを起点としたベクトルＤとの交点Ｑの座標を算出する。この交点Ｑの座標は、基準位置のモデル座標系における座標に相当する。基準位置が複数ある場合には、それぞれに対し、基準位置算出部１０７は、モデル座標系における座標を算出する。
基準位置算出部１０７が、モデル座標系における基準位置の座標を算出すると、変換部１０５は、算出された座標を実空間座標系の座標へと変換する。
座標通知部１０８は、変換部１０５により変換された基準位置の座標、すなわち、実空間座標系における基準位置の座標を拡張現実表示装置２０に通知する。この通知に基づいて、拡張現実表示装置２０の表示制御部２０５は、ＡＲ画像の表示位置を決定し、決定された表示位置にＡＲ画像を表示する。
次に、表示システム１の動作について説明する。図８は、モデル座標系における基準位置の座標を特定する動作の一例を示すシーケンスチャートである。以下、図８に示すシーケンスチャートに沿って、基準位置のモデル座標系における座標を特定する動作について説明する。なお、図８に示した動作は、１台の拡張現実表示装置２０と情報処理装置１０との間で実施されればよい。
ステップＳ１００において、カメラ２５がリファレンス物体の画像を取得する。
次に、ステップＳ１０１において、画像送信部２０２が、ステップＳ１００で取得された画像とともに、空間管理部２０１が管理している、当該画像撮影時のカメラ２５の座標及び方向を情報処理装置１０に送信する。これを情報処理装置１０の物体情報取得部１０２が取得する。
次に、ステップＳ１０２において、画像認識部１０３が画像認識処理を行なって、リファレンス物体の画像と三次元モデルとを照合する。そして、画像認識部１０３は、リファレンス物体を撮影した際のカメラ２５の座標及び方向をモデル座標系において特定する。
次に、ステップＳ１０３において、関係特定部１０４は、ステップＳ１０２で特定されたモデル座標系におけるカメラ２５の座標及び方向と、ステップＳ１０１で取得した実空間座標系におけるカメラ２５の座標及び方向とを用いて、座標変換式を特定する。
次に、ステップＳ１０４において、操作受付部２０３は、カメラ２５の実空間座標系における座標を起点とした実空間座標系における方向の指定を受け付ける。
次に、ステップＳ１０５において、指定情報通知部２０４は、空間管理部２０１が管理する、カメラ２５の実空間座標系における座標と、ステップＳ１０４で指定された方向とを情報処理装置１０に送信する。これを情報処理装置１０の指定情報取得部１０６が取得する。
次に、ステップＳ１０６において、変換部１０５は、ステップＳ１０３で得られた座標変換式を用いて、ステップＳ１０５で取得した座標及び方向をモデル座標系における座標及び方向に変換する。
次に、ステップＳ１０７において、基準位置算出部１０７は、ステップＳ１０６による変換結果に基づいて、基準位置のモデル座標系における座標を算出する。基準位置算出部１０７は、基準位置のモデル座標系における座標を例えばメモリ１２に記憶する。
以上の動作により、基準位置のモデル座標系における座標が特定される。なお、基準位置をリファレンス物体の位置からの相対位置として特定可能な場合、座標変換式の特定（ステップＳ１０３）までの処理が行なわれ、ステップＳ１０４からステップＳ１０７の処理は省略される。
図９は、ＡＲ画像を表示する動作の一例を示すシーケンスチャートである。以下、図９に示すシーケンスチャートに沿って、ＡＲ画像を表示する動作について説明する。
図８に示した動作により情報処理装置１０は、モデル座標系における基準位置の座標が特定されている。このため、拡張現実表示装置２０に実空間座標系における基準位置の座標を通知できれば、拡張現実表示装置２０はＡＲ画像を基準位置に従った位置に適切に表示することが可能となる。したがって、以下のような処理が行なわれる。図８の動作に用いられた拡張現実表示装置２０においてＡＲ画像を表示する場合、図８の動作において、当該拡張現実表示装置２０に対する座標変換式は既に特定されている。このため、ステップＳ２００からステップＳ２０３までの処理が省略されてもよい。しかしながら、図８の動作に用いられていない拡張現実表示装置２０については、座標変換式を特定する必要がある。このため、図８のステップＳ１００からステップＳ１０３と同様のステップであるステップＳ２００からステップＳ２０３が行われる。つまり、情報処理装置１０は、複数の拡張現実表示装置２０の各々に対して座標変換式を特定する。
ステップＳ２００において、カメラ２５がリファレンス物体の画像を取得する。
次に、ステップＳ２０１において、画像送信部２０２が、ステップＳ２００で取得された画像とともに、空間管理部２０１が管理している、当該画像撮影時のカメラ２５の座標及び方向を情報処理装置１０に送信する。これを情報処理装置１０の物体情報取得部１０２が取得する。
次に、ステップＳ２０２において、画像認識部１０３が画像認識処理を行なって、リファレンス物体の画像と三次元モデルとを照合する。そして、画像認識部１０３は、リファレンス物体を撮影した際のカメラ２５の座標及び方向をモデル座標系において特定する。
次に、ステップＳ２０３において、関係特定部１０４は、ステップＳ２０２で特定されたモデル座標系におけるカメラ２５の座標及び方向と、ステップＳ２０１で取得した実空間座標系におけるカメラ２５の座標及び方向とを用いて、座標変換式を特定する。
次に、ステップＳ２０４において、変換部１０５は、座標変換式を用いて、基準位置の実空間座標系における座標を算出する。なお、このとき、変換部１０５は、ステップＳ１０７において算出された座標を変換してもよいし、リファレンス物体の位置からの相対位置として特定される座標を変換してもよい。特に、リファレンス物体の位置にＡＲ画像が表示されているように見えるよう表示する場合、変換部１０５は、座標変換式を用いて、リファレンス物体の実空間座標系における座標を算出してもよい。
次に、ステップＳ２０５において、座標通知部１０８は、ステップＳ２０４で算出された座標を拡張現実表示装置２０に送信する。
次に、ステップＳ２０６において、表示制御部２０５は、ステップＳ２０５で取得した座標に基づいて特定される表示位置にＡＲ画像を表示する。すなわち、表示制御部２０５は、情報処理装置１０から通知された、ＡＲ画像の表示位置を特定するための実空間座標系における座標に基づいて、ＡＲ画像を表示する。なお、表示制御部２０５は、情報処理装置１０からリファレンス物体の座標を受信した場合、リファレンス物体の位置にＡＲ画像が表示されているように見えるようＡＲ画像の表示を行なってもよい。
なお、拡張現実表示装置２０の移動等に起因して、空間管理部２０１が管理する座標系に誤差が生じることが考えられる。このため、関係特定部１０４は、物体情報取得部１０２によりリファレンス物体の新たな画像が取得された場合、再度、対応関係（座標変換式）を特定してもよい。このようにすることで、ＡＲ画像の表示位置に誤差が生じることを抑制することができる。
また、図８のステップＳ１０４からステップＳ１０７の処理は、複数の基準位置に対して行なわれてもよい。すなわち、指定情報取得部１０６は、カメラ２５の実空間座標系における座標と、当該座標を起点とした実空間座標系における方向の指定との組を複数取得してもよい。これにともない、表示制御部２０５は、ステップＳ２０４で変換部１０５により変換された複数の基準位置（複数点の座標）により表される線分又は領域を用いてＡＲ画像の表示位置を特定してもよい。このようにすることにより、様々な表示位置を実現することができる。例えば、線分に平行な所定の位置に、ＡＲ画像が表示されているように見えるよう制御することができる。また、例えば、領域内の所定の位置に、ＡＲ画像が表示されているように見えるよう制御することができる。
以上、実施の形態１について説明した。本実施の形態によれば、拡張現実表示装置２０はＡＲ画像の表示位置を特定するための位置として、実空間座標系の座標を得ることができる。このため、拡張現実表示装置２０は、実空間における表示先について、空間認識センサ２４で適切に検出できない場合であっても、拡張現実表示装置２０が管理する実空間座標系において表示先を特定できる。したがって、空間認識センサ２４により特徴点を取り込むのが難しい箇所、例えばスポーツ会場のような広い場所、又は、遠い場所であっても、適切にＡＲ表示を行うことができる。このように、本実施の形態によれば、マーカーレス型ＡＲ表示において、ＡＲ画像を所望の位置に適切に表示することができる。また、表示位置が実空間座標系で特定されるため、拡張現実表示装置２０の位置及び向きが、空間認識センサ２４又はカメラ２５がリファレンス物体及び表示先を検出できないような位置及び向きであっても、ＡＲ画像を適切な表示位置に表示できる。また、本実施の形態では、画像認識処理は、情報処理装置１０が行なう。このため、拡張現実表示装置２０側の処理負荷を抑制することができる。
＜実施の形態２＞
実施の形態１では、平面６０と、点Ｐを起点としたベクトルＤとの交点Ｑの座標を算出することにより、基準位置の座標を算出する方法について説明した。本実施の形態では、基準位置の座標の他の算出方法について説明する。なお、以下の説明では、実施の形態１と異なる点を中心に説明し、重複する説明は適宜割愛する。
本実施の形態では、モデル空間記憶部１０１は、リファレンス物体の三次元モデル、及びモデル座標系におけるリファレンス物体の位置を示す座標に加え、さらに、表示が行なわれる会場（表示会場）の形状情報を予め記憶している。なお、以下の説明では、表示会場が競技会場である場合について説明するが、表示会場は競技会場に限られない。
競技会場の形状情報は、競技会場における所定の二点の距離についての情報と、当該二点により定まる線分と競技会場における当該二点とは異なる所定の一点との位置関係を示す情報と、これら所定の三点が競技会場におけるどの位置に対応しているかを特定する情報と、を含む情報である。これら所定の三点は、競技会場平面上の点であり、いずれも基準位置として用いられる。ここで、所定の二点により定まる線分と所定の一点との位置関係を示す情報とは、当該線分から当該所定の一点の位置を特定するための情報である。
例えば、競技会場が、長方形である場合、上述した所定の二点は、長方形を構成するいずれかの一つの線分の両端点であり、上述した所定の一点は、当該線分と直交する、長方形を構成する線分の端点（ただし、上述した所定の二点とは異なる点）である。この場合、競技会場の形状情報における、競技会場における所定の二点の距離とは、長方形の一辺の両端点の距離を示す情報である。また、競技会場の形状情報における、当該二点により定まる線分と所定の一点との位置関係を示す情報とは、長方形の上述した一辺と所定の距離だけ離れて平行する、長方形の他の辺の両端点のいずれか一方の点として、所定の一点が位置しているという情報である。これら所定の三点が競技会場におけるどの位置に対応しているかを特定する情報とは、これら所定の三点が長方形の競技会場の３つの頂点に対応しているという条件を示す情報である。したがって、所定の二点の座標が特定できれば、競技会場の形状情報を参照することにより、競技会場を一意に特定することができる。「競技会場を特定する」とは、競技会場平面上の所定の三点の座標を特定することを含む。「競技会場を特定する」とは、本実施の形態において、「競技会場が存在する領域を特定する」とも表現される。なお、上述した例では、所定の三点は、長方形の競技会場の直交する二辺に対応する点であるが、競技会場は長方形でなくてもよい。例えば、所定の三点は、競技会場における直交する所定の２つの線分の端点に対応する三点であってもよい。また、所定の三点は、直交する所定の２つの線分の端点に対応する三点でなくてもよい。例えば、野球のグラウンドの場合には、例えば、ホームベース（一点）と、ライト及びレフトのファールラインとフェンスとの交点（二点）の合計三点が用いられてもよい。フェンスがない場合には、ファールラインとフェンスとの交点の代わりに、グラウンドとグラウンド外とを仕切る線との交点が用いられてもよい。
また、モデル空間記憶部１０１は、実空間に存在するリファレンス物体から見た競技会場平面の方向を表す単位ベクトルを記憶する。この単位ベクトルは、競技会場平面と直交する、大きさ１のベクトルである。なお、モデル空間記憶部１０１は、当該単位ベクトルの代わりに競技会場平面の法線ベクトルを記憶してもよい。競技会場平面は、具体的には、例えば床面、地面などである。より具体的には、競技会場平面は、例えば、競泳プールの水槽の上面であってもよいし、サッカー場、ラグビー場、野球場、又は陸上競技場のフィールド面であってもよい。ただし、これらに限られない。
本実施の形態において、モデル空間記憶部１０１は、実空間に存在するリファレンス物体から競技会場平面までの距離を、必ずしも記憶していなくてもよいが、当該距離を記憶してもよい。この場合、競技会場を特定する際に、この距離情報が参照されてもよい。ただし、本実施の形態では、後述するように、この距離情報を用いずに、基準位置の座標の特定を行なうことが可能である。
本実施形態の基準位置算出部１０７は、指定情報取得部１０６が取得した、上述した所定の二点についての情報に基づいて、基準位置の座標を算出する。本実施の形態では、基準位置算出部１０７は、指定情報取得部１０６が取得した所定の二点についての情報と、モデル空間記憶部１０１が記憶している競技会場の形状情報とを用いて基準位置の座標を算出する。
本実施形態にかかる表示システム１の動作について説明する。本実施形態では、基準位置の座標の特定のために、まず、上述した所定の二点（すなわち、所定の２つの基準位置）についての情報を記憶する処理が行なわれる。図１０は、所定の二点についての情報を記憶するための動作の一例を示すシーケンスチャートである。以下、図１０に示すシーケンスチャートに沿って、所定の二点についての情報を記憶するための動作について説明する。なお、図１０に示した動作は、１台の拡張現実表示装置２０と情報処理装置１０との間で実施されればよい。
図１０に示したシーケンスチャートでは、図８に示したシーケンスチャートと同様、まず、ステップＳ１００からステップＳ１０３までの処理が行なわれ、座標変換式が特定される。
次に、ステップＳ２００において、操作受付部２０３は、所定の二点（所定の２つの基準位置）それぞれについて、カメラ２５の実空間座標系における座標を起点とした実空間座標系における方向の指定を受け付ける。つまり、実空間における競技会場平面上の所定の第一の点の方向の指定と、当該競技会場平面上の所定の第二の点の方向の指定とを受け付ける。
ユーザは、例えば四角形の競技会場の頂点のうち隣り合う２点についての方向を指定する。例えば、図６を例に説明すると、ユーザは、競技会場（より具体的には競泳プールの水槽）の四隅５３Ａ、５３Ｂ、５３Ｃ、及び５３Ｄのうち、隣り合う２点（競技会場の一辺の両端点）についての方向を指定する。例えば、ユーザは、基準位置５３Ａ及び基準位置５３Ｂの方向を指定する。
次に、ステップＳ２０１において、指定情報通知部２０４は、空間管理部２０１が管理する、方向の指定時のカメラ２５の実空間座標系における座標と、ステップＳ２００で指定された２つの方向とを情報処理装置１０に送信する。これを情報処理装置１０の指定情報取得部１０６が取得する。
次に、ステップＳ２０２において、変換部１０５は、ステップＳ１０３で得られた座標変換式を用いて、ステップＳ２０１で取得した実空間座標系における座標及び方向をモデル座標系における座標及び方向に変換する。
次に、ステップＳ２０３において、変換部１０５は、ステップＳ２０２で得られたモデル座標系の座標及び方向をモデル空間記憶部１０１に記憶する。すなわち、所定の二点（２つの基準位置）それぞれについて、モデル座標系でのベクトル情報が記憶される。
図１１は、所定の二点（２つの基準位置）を用いて競技会場を特定し、ＡＲ画像を表示する動作の一例を示すシーケンスチャートである。以下、図１１に示すシーケンスチャートに沿って、本実施形態においてＡＲ画像を表示する動作について説明する。
図１０に示した動作により情報処理装置１０において、所定の二点（２つの基準位置）のそれぞれについて、モデル座標系でのベクトル情報が記憶されている。あとは、このベクトル情報を用いて、実空間座標系における基準位置の座標を特定することができれば、拡張現実表示装置２０はＡＲ画像を基準位置に従った位置に適切に表示することが可能となる。したがって、以下のような処理が行なわれる。なお、図１０の動作に用いられた拡張現実表示装置２０においてＡＲ画像を表示する場合、図１０の動作において、当該拡張現実表示装置２０に対する座標変換式は既に特定されている。このため、ステップＳ３００からステップＳ３０３までの処理が省略されてもよい。しかしながら、図１０の動作に用いられていない拡張現実表示装置２０については、座標変換式を特定する必要がある。このため、図１０のステップＳ１００からステップＳ１０３と同様のステップであるステップＳ３００からステップＳ３０３が行われる。つまり、情報処理装置１０は、複数の拡張現実表示装置２０の各々に対して座標変換式を特定する。ステップＳ３００からステップＳ３０３までの処理については、ステップＳ１００からステップＳ１０３までの処理と同様であるため、説明を省略し、ステップＳ３０４以降について以下で説明する。
ステップＳ３０４において、変換部１０５は、特定された各々の座標変換式を用いて、図１０のステップＳ２０３で記憶されたモデル座標系の座標及び方向を、実空間座標系の座標及び方向に変換する。すなわち、変換部１０５は、図１０の動作に用いられたカメラ２５の方向指定時の位置座標と、２つの基準位置の方向とを、特定された座標変換式を用いてモデル座標系から実空間座標系へと変換する。これにより、図１０の動作に用いられていない（２つの基準位置の方向指定を行っていない）拡張現実表示装置２０においても、所定の二点（２つの基準位置）それぞれについて、実空間座標系でのベクトル情報を得られる。
ステップＳ３０５において、基準位置算出部１０７は、所定の二点、すなわち、２つの基準位置の実空間座標系の座標を算出する。基準位置算出部１０７は、ステップＳ３０４で得られた実空間座標系でのベクトル情報と、モデル空間記憶部１０１が記憶する競技会場の形状情報、及び競技会場平面と直交する単位ベクトルとを用いて、２つの基準位置の座標を算出する。
なお、本ステップでは、基準位置算出部１０７は、競技会場の形状情報のうち、特に、所定の二点の距離についての情報を用いる。基準位置算出部１０７は、ステップＳ３０４で得られた実空間座標系でのベクトル情報、すなわち座標Ｐ及び方向を表わすベクトルＤ１及びベクトルＤ２と、モデル空間記憶部１０１が記憶する所定の二点の距離Ｗと、競技会場平面と直交する単位ベクトルｎとにより、競技会場平面上の２つの基準位置５５Ａ及び５５Ｂの座標を実空間座標系において特定する（図１２参照）。つまり、競技会場平面上の２つの基準位置の座標が、実空間座標系において一意に特定される。より具体的には、基準位置算出部１０７は、ステップＳ３０４で得られたベクトルＤ１、Ｄ２によって表されるベクトルの大きさがＷ、かつ、当該ベクトルＤ１、Ｄ２によって表されるベクトルが単位ベクトルｎに直交するという条件に基づいて、実空間座標系において競技会場平面上の２つの基準位置５５Ａ及び５５Ｂの座標を算出する。これにより、競技会場の形状情報に関する上述した所定の三点のうちの所定の二点についての実空間座標系の座標が算出される。
次に、ステップＳ３０６において、基準位置算出部１０７は、実空間座標系において競技会場を特定する。具体的には基準位置算出部１０７は、競技会場の形状情報のうち、所定の二点により定まる線分と所定の一点との位置関係を示す情報と、これら所定の三点が競技会場におけるどの位置に対応しているかを特定する情報とに基づいて、実空間座標系において競技会場を特定する。例えば、次のようにして、実空間座標系において競技会場が特定される。ここでは、一例として、所定の三点が競技会場におけるどの位置に対応しているかを特定する情報が、所定の三点が長方形の競技会場の３つの頂点に対応していることを示すものとする。また、二点により定まる線分と所定の一点との位置関係を示す情報が、当該所定の一点が、当該線分と所定の距離だけ離れて平行する、長方形の他の辺の両端点のいずれか一方の点であるという情報であるとする。この場合、ステップＳ３０５において、長方形の隣り合う２つの頂点の座標が算出され、ステップＳ３０６において、残りの２つの頂点の座標が算出される。これにより、基準位置算出部１０７は、実空間座標系において競技会場が存在する領域を特定することができる。なお、基準位置算出部１０７は、表示会場特定部とも称される。
図１２は、長方形の競技会場の４つの頂点の算出について説明する模式図である。図１２において、基準位置５５Ａ、５５Ｂ、５５Ｃ、及び５５Ｄは、長方形の競技会場の４つの頂点を示している。このうち、基準位置５５Ａ及び５５Ｂが、上述した所定の二点の一例である。点Ａは、リファレンス物体の実空間座標系における位置、すなわち座標を示す。ベクトルｎは、リファレンス物体（点Ａ）から見た競技会場平面の方向を表す単位ベクトルである。点Ｐは、図１０の動作に用いられたカメラ２５の実空間座標系における位置、すなわち座標を示す。また、ベクトルＤ１、Ｄ２は、所定の二点についての実空間座標系における方向を示すベクトルである。ベクトルＤ１、Ｄ２は、点Ｐを起点としたベクトルである。モデル空間記憶部１０１は、競技会場の形状情報として、所定の二点（基準位置５５Ａ及び５５Ｂ）の距離Ｗを記憶している。また、モデル空間記憶部１０１は、競技会場の形状情報として、基準位置５５Ｃ（上述した所定の一点に相当）が、基準位置５５Ａ及び５５Ｂにより定まる線分と所定の距離Ｈだけ離れて平行する、長方形の他の辺（線分５５Ｃ５５Ｄ）の端点であるという情報を記憶している。また、モデル空間記憶部１０１は、競技会場の形状情報として、競技会場が長方形であるという情報（所定の三点が競技会場におけるどの位置に対応しているかを特定する情報に相当）を記憶している。
上述した通り、基準位置算出部１０７は、ベクトルＤ１、Ｄ２と、距離Ｗと、ベクトルｎとにより、競技会場平面上の基準位置５５Ａ及び５５Ｂの座標を特定する。なお、このとき、リファレンス物体から競技会場平面までの距離が記憶されている場合、距離情報が参照されることにより、より正確に、競技会場平面上の座標が特定されてもよい。基準位置算出部１０７は、ベクトルＤ１、Ｄ２の差を表すベクトルの大きさがＷ、かつ、当該差を表すベクトルがベクトルｎに直交するという条件に基づいて、実空間座標系において競技会場平面上の２つの基準位置５５Ａ及び５５Ｂの座標を算出する。そして、基準位置算出部１０７は、基準位置５５Ａ及び５５Ｂからそれぞれ距離Ｈだけ離れている基準位置５５Ｃ及び５５Ｄについての座標を算出する。
ステップＳ３０６の次に、ステップＳ３０７において、情報処理装置１０の座標通知部１０８は、実空間座標系において競技会場の位置を表わす座標を拡張現実表示装置２０に送信する。例えば、座標通知部１０８は、長方形の競技会場の４つの基準位置（４つの頂点）の実空間座標系の座標を拡張現実表示装置２０に送信する。
次に、ステップＳ３０８において、表示制御部２０５は、ステップＳ３０７で取得した座標に基づいて特定される表示位置にＡＲ画像を表示する。すなわち、表示制御部２０５は、情報処理装置１０から通知された、ＡＲ画像の表示位置を特定するための実空間座標系における座標に基づいて、ＡＲ画像を表示する。
以上、実施形態２について説明した。本実施形態によれば、実空間に存在するリファレンス物体から競技会場平面までの距離が不明である場合であっても、競技会場を特定することができる。なお、情報処理装置１０は、ＡＲ画像の表示位置を特定するための座標の算出方法として、実施形態１で説明した方法と本実施形態で説明した方法との両方が実装されていてもよい。
＜実施の形態３＞
上述の実施の形態では、表示システム１について示したが、図１３に示すような実施の形態においても、マーカーレス型のＡＲ表示において、ＡＲ画像を所望の位置に適切に表示することができる。
図１３は、実施の形態３にかかる情報処理装置５００の機能構成の一例を示すブロック図である。情報処理装置５００は、モデル空間記憶部５０１と、物体情報取得部５０２と、関係特定部５０３と、変換部５０４と、座標通知部５０５とを有する。
モデル空間記憶部５０１は、実空間に存在するリファレンス物体の三次元モデルを記憶する。
物体情報取得部５０２は、拡張現実表示装置のカメラが撮影したリファレンス物体の画像を取得する。
関係特定部５０３は、取得された画像とリファレンス物体の三次元モデルとを照合した結果に基づいて、モデル座標系と実空間座標系の対応関係を特定する。
変換部５０４は、関係特定部５０３により特定された対応関係を用いて、ＡＲ画像の表示位置を特定するためのモデル座標系における座標を実空間座標系における座標に変換する。
座標通知部５０５は、変換部５０４により変換された座標を拡張現実表示装置に通知する。
このような情報処理装置５００によれば、拡張現実表示装置に、ＡＲ画像の表示位置を特定するための基準位置の実空間座標系における座標を通知することができる。このため、拡張現実表示装置は、この座標に従ってＡＲ画像の表示位置を特定することができる。よって、マーカーレス型のＡＲ表示において、ＡＲ画像を所望の位置に適切に表示することができる。
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
また、上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
実空間に存在する所定の物体の三次元モデルを記憶するモデル空間記憶手段と、
拡張現実表示装置のカメラが撮影した前記物体の画像を取得する物体情報取得手段と、
前記画像と前記三次元モデルとを照合した結果に基づいて、前記三次元モデルが存在するモデル空間の座標系であるモデル座標系と前記拡張現実表示装置が管理する実空間の座標系である実空間座標系の対応関係を特定する関係特定手段と、
前記関係特定手段により特定された前記対応関係を用いて、所定の画像の表示位置を特定するための前記モデル座標系における座標を前記実空間座標系における座標に変換する変換手段と、
前記変換手段により変換された座標を前記拡張現実表示装置に通知する座標通知手段と
を有する情報処理装置。
（付記２）
前記所定の画像の表示位置を特定するための前記モデル座標系における前記座標は、前記物体からの相対的な位置として特定される
付記１に記載の情報処理装置。
（付記３）
前記カメラの前記実空間座標系における座標と、当該座標を起点とした前記実空間座標系における方向の指定とを取得する指定情報取得手段をさらに有し、
前記所定の画像の表示位置を特定するための前記モデル座標系における前記座標は、前記指定情報取得手段が取得した座標及び方向に基づいて特定される座標である
付記１に記載の情報処理装置。
（付記４）
前記指定情報取得手段は、前記カメラの前記実空間座標系における座標と、当該座標を起点とした前記実空間座標系における方向の指定との組を複数取得し、
前記変換手段により変換された複数点の座標により表される線分又は領域を用いて前記所定の画像の表示位置が特定される
付記３に記載の情報処理装置。
（付記５）
前記指定情報取得手段が取得した座標及び方向と、表示が行なわれる会場の形状情報とを用いて、前記実空間座標系において前記会場の領域を特定する表示会場特定手段を有する
付記３に記載の情報処理装置。
（付記６）
前記物体情報取得手段により前記物体の画像の新たな画像が取得された場合、前記関係特定手段は、再度、前記対応関係を特定する
付記１乃至５のいずれか１項に記載の情報処理装置。
（付記７）
カメラを有する拡張現実表示装置と、
情報処理装置と、
を備え、
前記情報処理装置は、
実空間に存在する所定の物体の三次元モデルを記憶するモデル空間記憶手段と、
前記カメラが撮影した前記物体の画像を取得する物体情報取得手段と、
前記画像と前記三次元モデルとを照合した結果に基づいて、前記三次元モデルが存在するモデル空間の座標系であるモデル座標系と前記拡張現実表示装置が管理する実空間の座標系である実空間座標系の対応関係を特定する関係特定手段と、
前記関係特定手段により特定された前記対応関係を用いて、所定の画像の表示位置を特定するための前記モデル座標系における座標を前記実空間座標系における座標に変換する変換手段と、
前記変換手段により変換された座標を前記拡張現実表示装置に通知する座標通知手段と
を有し、
前記拡張現実表示装置は、
前記座標通知手段により通知された前記座標に基づいて、前記所定の画像を拡張現実表示する表示制御手段を有する
表示システム。
（付記８）
前記所定の画像の表示位置を特定するための前記モデル座標系における前記座標は、前記物体からの相対的な位置として特定される
付記７に記載の表示システム。
（付記９）
前記拡張現実表示装置は、
前記カメラの前記実空間座標系における座標を起点とした前記実空間座標系における方向の指定を受け付ける方向受付手段と、
前記カメラの前記実空間座標系における座標と、前記方向受付手段が受け付けた方向の指定とを前記情報処理装置に通知する指定情報通知手段と
をさらに有し、
前記所定の画像の表示位置を特定するための前記モデル座標系における前記座標は、前記指定情報通知手段により通知された座標及び方向に基づいて特定される座標である
付記７に記載の表示システム。
（付記１０）
拡張現実表示装置のカメラが撮影した、実空間に存在する所定の物体の画像を取得し、
前記画像と前記物体の三次元モデルとを照合した結果に基づいて、前記三次元モデルが存在するモデル空間の座標系であるモデル座標系と前記拡張現実表示装置が管理する実空間の座標系である実空間座標系の対応関係を特定し、
前記対応関係を用いて、所定の画像の表示位置を特定するための前記モデル座標系における座標を前記実空間座標系における座標に変換し、
変換された座標を前記拡張現実表示装置に通知する
表示方法。
（付記１１）
拡張現実表示装置のカメラが撮影した、実空間に存在する所定の物体の画像を取得する物体情報取得ステップと、
前記画像と前記物体の三次元モデルとを照合した結果に基づいて、前記三次元モデルが存在するモデル空間の座標系であるモデル座標系と前記拡張現実表示装置が管理する実空間の座標系である実空間座標系の対応関係を特定する関係特定ステップと、
前記対応関係を用いて、所定の画像の表示位置を特定するための前記モデル座標系における座標を前記実空間座標系における座標に変換する変換ステップと、
変換された座標を前記拡張現実表示装置に通知する通知ステップと
をコンピュータに実行させるプログラムが格納された非一時的なコンピュータ可読媒体。
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、２０１９年３月２８日に出願された日本出願特願２０１９－０６４６３７を基礎とする優先権を主張し、その開示の全てをここに取り込む。
１ 表示システム
１０ 情報処理装置
１１ ネットワークインタフェース
１２ メモリ
１３ プロセッサ
２０ 拡張現実表示装置
２１ ネットワークインタフェース
２２ メモリ
２３ プロセッサ
２４ 空間認識センサ
２５ カメラ
２６ ＩＭＵ
２７ ディスプレイ
１０１ モデル空間記憶部
１０２ 物体情報取得部
１０３ 画像認識部
１０４ 関係特定部
１０５ 変換部
１０６ 指定情報取得部
１０７ 基準位置算出部
１０８ 座標通知部
２０１ 空間管理部
２０２ 画像送信部
２０３ 操作受付部
２０４ 指定情報通知部
２０５ 表示制御部
５００ 情報処理装置
５０１ モデル空間記憶部
５０２ 物体情報取得部
５０３ 関係特定部
５０４ 変換部
５０５ 座標通知部

Claims (10)

  1. 実空間に存在する所定の物体の三次元モデルを記憶するモデル空間記憶手段と、
    拡張現実表示装置のカメラが撮影した前記物体の画像を取得する物体情報取得手段と、
    前記画像と前記三次元モデルとを照合した結果に基づいて、前記三次元モデルが存在するモデル空間の座標系であるモデル座標系と前記拡張現実表示装置が管理する実空間の座標系である実空間座標系の対応関係を特定する関係特定手段と、
    前記関係特定手段により特定された前記対応関係を用いて、所定の画像の表示位置を特定するための前記モデル座標系における座標を前記実空間座標系における座標に変換する変換手段と、
    前記変換手段により変換された座標を前記拡張現実表示装置に通知する座標通知手段と
    を有する情報処理装置。
  2. 前記所定の画像の表示位置を特定するための前記モデル座標系における前記座標は、前記物体からの相対的な位置として特定される
    請求項１に記載の情報処理装置。
  3. 前記カメラの前記実空間座標系における座標と、当該座標を起点とした前記実空間座標系における方向の指定とを取得する指定情報取得手段をさらに有し、
    前記所定の画像の表示位置を特定するための前記モデル座標系における前記座標は、前記指定情報取得手段が取得した座標及び方向に基づいて特定される座標である
    請求項１に記載の情報処理装置。
  4. 前記指定情報取得手段は、前記カメラの前記実空間座標系における座標と、当該座標を起点とした前記実空間座標系における方向の指定との組を複数取得し、
    前記変換手段により変換された複数点の座標により表される線分又は領域を用いて前記所定の画像の表示位置が特定される
    請求項３に記載の情報処理装置。
  5. 前記指定情報取得手段が取得した座標及び方向と、表示が行なわれる会場の形状情報とを用いて、前記実空間座標系において前記会場の領域を特定する表示会場特定手段を有する
    請求項３に記載の情報処理装置。
  6. 前記物体情報取得手段により前記物体の画像の新たな画像が取得された場合、前記関係特定手段は、再度、前記対応関係を特定する
    請求項１乃至５のいずれか１項に記載の情報処理装置。
  7. カメラを有する拡張現実表示装置と、
    情報処理装置と、
    を備え、
    前記情報処理装置は、
    実空間に存在する所定の物体の三次元モデルを記憶するモデル空間記憶手段と、
    前記カメラが撮影した前記物体の画像を取得する物体情報取得手段と、
    前記画像と前記三次元モデルとを照合した結果に基づいて、前記三次元モデルが存在するモデル空間の座標系であるモデル座標系と前記拡張現実表示装置が管理する実空間の座標系である実空間座標系の対応関係を特定する関係特定手段と、
    前記関係特定手段により特定された前記対応関係を用いて、所定の画像の表示位置を特定するための前記モデル座標系における座標を前記実空間座標系における座標に変換する変換手段と、
    前記変換手段により変換された座標を前記拡張現実表示装置に通知する座標通知手段と
    を有し、
    前記拡張現実表示装置は、
    前記座標通知手段により通知された前記座標に基づいて、前記所定の画像を拡張現実表示する表示制御手段を有する
    表示システム。
  8. 前記所定の画像の表示位置を特定するための前記モデル座標系における前記座標は、前記物体からの相対的な位置として特定される
    請求項７に記載の表示システム。
  9. 拡張現実表示装置のカメラが撮影した、実空間に存在する所定の物体の画像を取得し、
    前記画像と前記物体の三次元モデルとを照合した結果に基づいて、前記三次元モデルが存在するモデル空間の座標系であるモデル座標系と前記拡張現実表示装置が管理する実空間の座標系である実空間座標系の対応関係を特定し、
    前記対応関係を用いて、所定の画像の表示位置を特定するための前記モデル座標系における座標を前記実空間座標系における座標に変換し、
    変換された座標を前記拡張現実表示装置に通知する
    表示方法。
  10. 拡張現実表示装置のカメラが撮影した、実空間に存在する所定の物体の画像を取得する物体情報取得ステップと、
    前記画像と前記物体の三次元モデルとを照合した結果に基づいて、前記三次元モデルが存在するモデル空間の座標系であるモデル座標系と前記拡張現実表示装置が管理する実空間の座標系である実空間座標系の対応関係を特定する関係特定ステップと、
    前記対応関係を用いて、所定の画像の表示位置を特定するための前記モデル座標系における座標を前記実空間座標系における座標に変換する変換ステップと、
    変換された座標を前記拡張現実表示装置に通知する通知ステップと
    をコンピュータに実行させるプログラム。
JP2021508106A 2019-03-28 2020-01-14 情報処理装置、表示システム、表示方法、及びプログラム Active JP7160183B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019064637 2019-03-28
JP2019064637 2019-03-28
PCT/JP2020/000895 WO2020195021A1 (ja) 2019-03-28 2020-01-14 情報処理装置、表示システム、表示方法、及びプログラムが格納された非一時的なコンピュータ可読媒体

Publications (2)

Publication Number Publication Date
JPWO2020195021A1 JPWO2020195021A1 (ja) 2021-12-16
JP7160183B2 true JP7160183B2 (ja) 2022-10-25

Family

ID=72609719

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021508106A Active JP7160183B2 (ja) 2019-03-28 2020-01-14 情報処理装置、表示システム、表示方法、及びプログラム

Country Status (4)

Country Link
US (1) US20220254109A1 (ja)
EP (1) EP3951722A4 (ja)
JP (1) JP7160183B2 (ja)
WO (1) WO2020195021A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012168798A (ja) 2011-02-15 2012-09-06 Sony Corp 情報処理装置、オーサリング方法及びプログラム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4356983B2 (ja) * 2004-02-10 2009-11-04 キヤノン株式会社 画像処理方法、画像処理装置
WO2007011306A2 (en) * 2005-07-20 2007-01-25 Bracco Imaging S.P.A. A method of and apparatus for mapping a virtual model of an object to the object
EP2189945A1 (en) * 2008-11-21 2010-05-26 A&P ip B.V. Method of and arrangement for linking image coordinates to coordinates of reference model
US8970690B2 (en) * 2009-02-13 2015-03-03 Metaio Gmbh Methods and systems for determining the pose of a camera with respect to at least one object of a real environment
KR102167273B1 (ko) * 2013-06-25 2020-10-20 한양대학교 산학협력단 실제 객체를 증강하는 방법, 장치 및 컴퓨터 프로그램 제품
US9639987B2 (en) * 2013-06-27 2017-05-02 Canon Information And Imaging Solutions, Inc. Devices, systems, and methods for generating proxy models for an enhanced scene
CN104427230B (zh) * 2013-08-28 2017-08-25 北京大学 增强现实的方法和增强现实的系统
WO2015051827A1 (en) * 2013-10-08 2015-04-16 Metaio Gmbh Method of determining a similarity transformation between first and second coordinates of 3d features
JP6572497B2 (ja) * 2013-12-18 2019-09-11 ザ・スクリップス・リサーチ・インスティテュート 修飾された治療剤、ステープル留めされたペプチド脂質複合体、及びそれらの組成物
JP6564259B2 (ja) * 2015-06-26 2019-08-21 キヤノン株式会社 画像処理装置、画像処理方法
WO2018032083A1 (en) * 2016-08-17 2018-02-22 Synaptive Medical (Barbados) Inc. Methods and systems for registration of virtual space with real space in an augmented reality system
CN106791784B (zh) * 2016-12-26 2019-06-25 深圳增强现实技术有限公司 一种虚实重合的增强现实显示方法和装置
US10499997B2 (en) * 2017-01-03 2019-12-10 Mako Surgical Corp. Systems and methods for surgical navigation
JP6624646B2 (ja) * 2017-02-08 2019-12-25 ソフトバンク株式会社 情報提示システム、情報提示方法及び情報提示プログラム
JP6438995B2 (ja) 2017-03-24 2018-12-19 株式会社インフォマティクス 図面投影システム、図面投影方法及びプログラム
JP6275310B1 (ja) * 2017-05-26 2018-02-07 株式会社テクテック 拡張現実表示システム、プログラム及び方法
JP6585665B2 (ja) * 2017-06-29 2019-10-02 ファナック株式会社 仮想オブジェクト表示システム
JP6953083B2 (ja) 2017-09-29 2021-10-27 トキコシステムソリューションズ株式会社 燃料荷卸しシステム
JP2019185475A (ja) * 2018-04-12 2019-10-24 富士通株式会社 特定プログラム、特定方法及び情報処理装置
JP7182976B2 (ja) * 2018-09-27 2022-12-05 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
KR102051889B1 (ko) * 2018-12-05 2019-12-06 주식회사 증강지능 스마트 글래스에서 ２ｄ 데이터를 기반으로 ３ｄ 증강현실을 구현하는 방법 및 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012168798A (ja) 2011-02-15 2012-09-06 Sony Corp 情報処理装置、オーサリング方法及びプログラム

Also Published As

Publication number Publication date
EP3951722A4 (en) 2022-05-11
WO2020195021A1 (ja) 2020-10-01
US20220254109A1 (en) 2022-08-11
EP3951722A1 (en) 2022-02-09
JPWO2020195021A1 (ja) 2021-12-16

Similar Documents

Publication Publication Date Title
JP4926817B2 (ja) 指標配置情報計測装置および方法
US7676079B2 (en) Index identification method and apparatus
JP4739004B2 (ja) 情報処理装置及び情報処理方法
KR101146119B1 (ko) 실내 이동 로봇의 위치 인식 방법 및 장치
US20090037023A1 (en) Information processing system, robot apparatus, and control method therefor
JP6464938B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
US20240071016A1 (en) Mixed reality system, program, mobile terminal device, and method
JP4502361B2 (ja) 指標姿勢検出方法および装置
JP6323025B2 (ja) 表示制御プログラム、表示制御装置及び表示制御システム
WO2012081319A1 (ja) 映像監視装置
CN112949375A (zh) 计算系统、计算方法及存储介质
KR100975128B1 (ko) 뷰잉 프러스텀을 이용하여 객체에 대한 정보를 제공하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
JP2009258884A (ja) ユーザインタフェイス
JP2018185240A (ja) 位置特定装置
JP7160183B2 (ja) 情報処理装置、表示システム、表示方法、及びプログラム
EP4246281A1 (en) Information display system, information display method, and carrier means
US10931896B2 (en) Image capture device and image capture management system
JP2021047516A (ja) 情報処理装置、座標変換システム、座標変換方法、及び座標変換プログラム
JP2017162192A (ja) 画像処理プログラム、画像処理装置、画像処理システム、及び画像処理方法
JP2005107964A (ja) 指標識別方法および装置
JP6683919B2 (ja) 情報処理装置、情報処理システム、その制御方法及びプログラム
JP2016045670A (ja) ジェスチャ管理システム、ジェスチャ管理プログラム、ジェスチャ管理方法および指さし認識装置
WO2024095744A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2018181237A (ja) 設営アシストシステム
JP2013211741A (ja) 画像監視装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210811

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210811

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220913

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220926

R151 Written notification of patent or utility model registration

Ref document number: 7160183

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151