JP7480408B1 - 情報処理システム、情報処理装置、プログラム及び情報処理方法 - Google Patents

情報処理システム、情報処理装置、プログラム及び情報処理方法 Download PDF

Info

Publication number
JP7480408B1
JP7480408B1 JP2023180675A JP2023180675A JP7480408B1 JP 7480408 B1 JP7480408 B1 JP 7480408B1 JP 2023180675 A JP2023180675 A JP 2023180675A JP 2023180675 A JP2023180675 A JP 2023180675A JP 7480408 B1 JP7480408 B1 JP 7480408B1
Authority
JP
Japan
Prior art keywords
information
position information
terminal device
virtual object
identification information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023180675A
Other languages
English (en)
Inventor
ヒサン ロー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Akatsuki Inc
Original Assignee
Akatsuki Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Akatsuki Inc filed Critical Akatsuki Inc
Priority to JP2023180675A priority Critical patent/JP7480408B1/ja
Application granted granted Critical
Publication of JP7480408B1 publication Critical patent/JP7480408B1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】拡張現実（ＡＲ）オブジェクトのモーション情報を簡易に生成する情報処理システム、情報処理装置、プログラム及び情報処理方法を提供する。【解決手段】方法は、ＡＲオブジェクトを端末装置に表示させるための情報が関連付けられた識別情報を端末装置が認識することにより端末装置を基準とした識別情報の座標及び角度を含む第１位置情報を算出する第１位置情報算出処理と、第１位置情報に基づいて識別情報に対応するＡＲオブジェクトを端末装置に表示させる表示処理と、表示処理で表示したＡＲオブジェクトが関連付けられた識別情報を基準とした端末装置の座標及び角度を含む第２位置情報を算出する第２位置情報算出処理と、ＡＲオブジェクトが表示された状態で所定期間に亘って端末装置に識別情報を認識させることにより得られる、所定期間における第２位置情報に基づいて、ＡＲオブジェクトに関するモーション情報を生成する生成処理と、を実行する。【選択図】図１０

Description

本発明は、情報処理システム、情報処理装置、プログラム及び情報処理方法に関する。
近年、ユーザが知覚可能な現実空間の映像にコンピュータグラフィックスによる映像を
重ね合わせて現実空間と映像との調和を楽しむことが可能な、現実空間が拡張された拡張
現実空間（ＡＲ空間）を提供する技術が提案されている。
特許文献１には、端末装置でＡＲマーカを認識することによってＡＲマーカ上にＡＲオ
ブジェクトを表示させ、そのＡＲオブジェクトを複数の視点の位置から撮像することによ
って、ＡＲオブジェクトが動作しているように描画することができる技術が開示されてい
る。
特開２０２０－９５６４５公報
ところで、ＡＲオブジェクトを含むモーション情報を生成する場合は、複数のＡＲマー
カが付着された物体（例えば人）の動作をカメラ（モーションキャプチャカメラ）で所定
期間にわたって撮影して、取得した物体の動作を含む情報に基づいて、ＡＲオブジェクト
を含むモーション情報を生成することになる。
この場合、ＡＲマーカが付着された物体が動作するスペース（空間）を確保する必要が
あり、かつ物体の動作を取得するカメラを含めたモーションキャプチャシステムが高価で
あって導入が容易ではないことから、ＡＲオブジェクトを含むモーション情報の生成には
困難が伴うことが懸念される。
本発明は、上記事情に鑑みてなされたものであり、仮想オブジェクトに関するモーショ
ン情報を簡易に生成することができる情報処理システム、情報処理装置、プログラム及び
情報処理方法を提供することを課題とするものである。
上記課題を達成するための本発明に係る情報処理システムは、仮想オブジェクトを端末
装置に表示させるための情報が関連付けられた識別情報を前記端末装置が認識することに
より前記端末装置を基準とした前記識別情報の座標及び角度を含む第１位置情報を算出す
る第１位置情報算出処理と、該第１位置情報算出処理で算出した前記第１位置情報に基づ
いて前記識別情報に対応する前記仮想オブジェクトを前記端末装置に表示させる表示処理
と、該表示処理で表示した前記仮想オブジェクトが関連付けられた前記識別情報を基準と
した前記端末装置の座標及び角度を含む第２位置情報を算出する第２位置情報算出処理と
、前記仮想オブジェクトが表示された状態で所定期間にわたって前記端末装置に前記識別
情報を認識させることにより得られる、前記所定期間における前記第２位置情報に基づい
て、前記仮想オブジェクトに関するモーション情報を生成する生成処理と、を実行するも
のである。
これによれば、端末装置で識別情報を認識させることで算出される第２位置情報に基づ
いて、モーション情報を生成することができることから、特殊な環境、設備、装置を確保
したり、複雑な操作を行ったりすることなく、モーション情報を簡易に生成することがで
きる。
上記課題を達成するための本発明に係る情報処理装置は、前記生成処理において、前記
所定期間の中で前記端末装置が前記識別情報を認識できない期間の前記端末装置の動きを
、前記端末装置が前記識別情報を認識している期間の情報に基づいて補完する補完処理を
実行する、
請求項１または２に記載の情報処理システム。 仮想オブジェクトを端末装置に表示さ
せるための情報が関連付けられた識別情報を前記端末装置が認識することにより前記端末
装置を基準とした前記識別情報の座標及び角度を含む第１位置情報を算出する第１位置情
報算出処理と、
該第１位置情報算出処理で算出した前記第１位置情報に基づいて前記識別情報に対応す
る前記仮想オブジェクトを前記端末装置に表示させる表示処理と、
該表示処理で表示した前記仮想オブジェクトが関連付けられた前記識別情報を基準とし
た前記端末装置の座標及び角度を含む第２位置情報を算出する第２位置情報算出処理と、
前記仮想オブジェクトが表示された状態で所定期間にわたって前記端末装置に前記識別
情報を認識させることにより得られる、前記所定期間における前記第２位置情報に基づい
て、前記仮想オブジェクトに関するモーション情報を生成する生成処理と、
を実行する制御部を備えるものである。
上記課題を達成するための本発明に係るプログラムは、仮想オブジェクトを端末装置に
表示させるための情報が関連付けられた識別情報を前記端末装置が認識することにより前
記端末装置を基準とした前記識別情報の座標及び角度を含む第１位置情報を算出する第１
位置情報算出処理と、
該第１位置情報算出処理で算出した前記第１位置情報に基づいて前記識別情報に対応す
る前記仮想オブジェクトを前記端末装置に表示させる表示処理と、
該表示処理で表示した前記仮想オブジェクトが関連付けられた前記識別情報を基準とし
た前記端末装置の座標及び角度を含む第２位置情報を算出する第２位置情報算出処理と、
前記仮想オブジェクトが表示された状態で所定期間にわたって前記端末装置に前記識別
情報を認識させることにより得られる、前記所定期間における前記第２位置情報に基づい
て、前記仮想オブジェクトに関するモーション情報を生成する生成処理と、
をコンピュータに実行させるものである。
上記課題を達成するための本発明に係る情報処理方法は、仮想オブジェクトを端末装置
に表示させるための情報が関連付けられた識別情報を前記端末装置が認識することにより
前記端末装置を基準とした前記識別情報の座標及び角度を含む第１位置情報を算出する第
１位置情報算出処理と、
該第１位置情報算出処理で算出した前記第１位置情報に基づいて前記識別情報に対応す
る前記仮想オブジェクトを前記端末装置に表示させる表示処理と、
該表示処理で表示した前記仮想オブジェクトが関連付けられた前記識別情報を基準とし
た前記端末装置の座標及び角度を含む第２位置情報を算出する第２位置情報算出処理と、
前記仮想オブジェクトが表示された状態で所定期間にわたって前記端末装置に前記識別
情報を認識させることにより得られる、前記所定期間における前記第２位置情報に基づい
て、前記仮想オブジェクトに関するモーション情報を生成する生成処理と、
をコンピュータが実行するものである。
この発明によれば、仮想オブジェクトに関するモーション情報を簡易に生成することが
できる。
本発明の実施の形態に係る情報処理システムの構成の概略を説明するブロック図である。 同じく、本実施の形態に係る情報処理システムのユーザ端末の構成の概略を説明するブロック図である。 同じく、本実施の形態に係る情報処理システムのユーザ端末の機能の概略を説明するブロック図である。 同じく、本実施の形態に係る情報処理システムのユーザ端末の機能における処理の概略を説明するブロック図である。 同じく、本実施の形態に係る情報処理システムのユーザ端末の機能における処理の概略を説明するブロック図である。 同じく、本実施の形態に係る情報処理システムのユーザ端末の機能における処理の概略を説明するブロック図である。 同じく、本実施の形態に係る情報処理システムのサーバの構成の概略を説明するブロック図である。 同じく、本実施の形態に係る情報処理システムのサーバの機能の概略を説明するブロック図である。 同じく、本実施の形態に係る情報処理システムの仮想オブジェクト情報の概略を説明する図である。 同じく、本実施の形態に係る情報処理システムの処理の概略を説明するフローチャートである。
次に、図１～図１０に基づいて、本発明の実施の形態に係る情報処理システムについて
説明する。
図１は、本発明の実施の形態に係る情報処理システムの構成の概略を説明するブロック
図である。図示のように、情報処理システム１０は、識別情報であるＡＲマーカＭを認識
する端末装置であるユーザ端末２０及び情報処理装置であるサーバ３０を主要構成として
備える。
この情報処理システム１０は、本実施の形態では、ユーザ端末２０がユーザ１に保有さ
れ、サーバ３０が事業者２に配備されて、これらがインターネット網等のネットワークＮ
を介して互いにアクセス可能に接続される。
ＡＲマーカＭは、本実施の形態では、ＡＲオブジェクトＯ（仮想オブジェクト）を端末
装置に表示させるための情報（例えば描画情報）が関連付けられた（記憶された）識別情
報であって、ユーザ１が保有するユーザ端末２０に認識されると、ＡＲオブジェクトＯが
ユーザ端末２０に表示される。
次に、本実施の形態のゲームシステム１０の各部の具体的な構成について説明する。
ユーザ端末２０は、本実施の形態では、携帯型情報端末であるスマートフォンで実装さ
れるが、例えばタブレット型のコンピュータ、デスクトップ型あるいはノート型のコンピ
ュータによって実装されるものであってもよい。
図２は、ユーザ端末２０の構成の概略を説明するブロック図である。図示のように、ユ
ーザ端末２０は、制御部２１、カメラ２２、ディスプレイ２３及びセンサ類２４を主要構
成として備える。
制御部２１は、本実施の形態では、カメラ２２、ディスプレイ２３及びセンサ類２４等
のユーザ端末２０の各部を制御するものであって、例えばプロセッサ、メモリ、ストレー
ジ、送受信部等によって構成される。
この制御部２１には、本実施の形態では、ユーザ端末２０上で起動する各種のアプリケ
ーションが格納され、本実施の形態では、ＡＲマーカＭを認識して取得した情報を処理す
るアプリケーションが格納される。
カメラ２２は、ユーザ１と対面するディスプレイ２３の反対側（ユーザ端末２０の裏面
）に配置され、本実施の形態では、制御部２１に格納されたアプリケーションと協働して
ＡＲマーカＭを撮影することにより認識するインターフェースとして作動する。カメラ２
２は、ユーザ端末２０の表面（ディスプレイ２３が設けられた面）、側面等に設けられて
もよい。
ディスプレイ２３には、本実施の形態では、ユーザ端末２０で実行されるアプリケーシ
ョン等の画面インターフェース等が表示されるとともに、ＡＲマーカＭを認識することに
よってＡＲオブジェクトＯが描画される。
このディスプレイ２３は、表示面への接触によって情報の入力を受け付けるいわゆるタ
ッチパネルであって、抵抗膜方式や静電容量方式といった各種の技術によって実装される
。
ディスプレイ２３への情報の入力は、ディスプレイ３２に対するプレイヤ２の任意の動
作（例えば画面をタップ、ダブルタップ、ロングタップ、マルチタッチ、ピンチイン、ピ
ンチアウト、スライド、スワイプする動作や、画面に表示されるアイコン等をドラッグし
てドロップする動作等）に基づいて入力される。
センサ類２４は、本実施の形態では、ジャイロセンサ、加速度センサ、GPS等によって
構成され、任意の空間におけるユーザ端末２０の座標位置や角度等を検知する。センサ類
２４は、ユーザ端末２０の傾き（水平方向、鉛直方向に対する角度）を検出することがで
きる。
図３は、ユーザ端末２０の機能の概略を説明するブロック図である。図示のように、ユ
ーザ端末２０は、本実施の形態では、第１位置情報算出部２０ａ、生成部２０ｂ、第２位
置情報算出部２０ｃ及び送受信部２０ｄを備える。
これら第１位置情報算出部２０ａ、生成部２０ｂ、第２位置情報算出部２０ｃ及び送受
信部２０ｄは、制御部２１のメモリに記憶されたプログラムを制御部２１のプロセッサで
実行することによって実現される。
図４は、第１位置情報算出部２０ａの処理の概略を説明する図である。図示のように、
ユーザ端末２０がカメラ２２を介してＡＲマーカＭを認識すると、第１位置情報算出部２
０ａは、ユーザ端末２０を基準としたＡＲマーカＭが配置された空間における座標及び角
度を含む位置情報を、第１位置情報Ｄ１として算出する（第１位置情報算出処理）。
図５は、生成部２０ｂの処理の概略を説明する図である。生成部２０ｂは、本実施の形
態では、第１位置情報算出処理で算出した第１位置情報Ｄ１とＡＲマーカＭに関連づけら
れた後述するＡＲオブジェクト情報とに基づいて、図示のように、ＡＲマーカＭに応じた
ＡＲオブジェクトＯをユーザ端末２０のディスプレイ２３に描画する（表示処理）。ディ
スプレイ２３には、ＡＲマーカＭの真上に位置し、ＡＲマーカＭの向きに応じた向き（例
えば、ＡＲマーカの一方側がＡＲオブジェクトの正面となる向き）でＡＲオブジェクトＯ
が表示される。ユーザがユーザ端末２０を動かすと、ＡＲマーカＭとユーザ端末２０の相
対的な位置関係（3次元の位置、方向）が変化し、その変化に応じてディスプレイ２３に
表示されるＡＲオブジェクトＯも変化する。すなわち、例えば、ＡＲマーカＭの一方側か
らユーザ端末２０でＡＲマーカＭを認識すると、ＡＲオブジェクトＯの正面の画像が表示
され、ＡＲマーカＭの逆側からユーザ端末２０でＡＲマーカＭを認識すると、ＡＲオブジ
ェクトＯの背面の画像が表示される。なお、ＡＲマーカＭに対するＡＲオブジェクトＯの
位置及び向きは基本的に一定であるが、予め記憶されたプログラムに応じて変化してもよ
い。
図６は、第２位置情報算出部２０ｃの処理の概略を説明する図である。図示のように、
第２位置情報算出部２０ｃは、表示処理で描画したＡＲオブジェクトＯの描画情報が記憶
されたＡＲマーカＭを基準としたユーザ端末２０の空間における座標及び角度を含む位置
情報を、第２位置情報Ｄ２として算出する（第２位置情報算出処理）。
この第２位置情報算出部２０ｃは、本実施の形態では、第１位置情報算出処理で算出し
た第１位置情報Ｄ１を座標変換処理によって逆算することで、ＡＲマーカＭを基準とした
場合のユーザ端末２０の相対的な座標及び相対的な角度を第２位置情報Ｄ２として算出す
る。具体的には、例えば、座標変換行列等を用いた公知の座標変換処理によって、ユーザ
端末２０のカメラの位置及び向きを原点とする座標系を、ＡＲマーカＭの位置及び向きを
基準とする座標系に変換することによって、第２位置情報Ｄ２を算出する。
図３で示す送受信部２０ｄは、本実施の形態では、第２位置情報算出処理で算出した第
２位置情報Ｄ２等の情報を、サーバ３０に送信する処理を実行する（送信処理）。送受信
部２０ｄは、ユーザ端末２０をネットワークＮに接続する。この送受信部２０ｄは、Ｂｌ
ｕｅｔｏｏｔｈ（登録商標）やＢＬＥ（Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ）と
いった近距離通信インターフェースを具備するものであってもよい。なお、本実施の形態
では、第１位置情報算出処理、表示処理、第２位置情報算出処理、送信処理を所定期間（
例えば、０．１秒、０．５秒ごと等の一定期間）ごとに繰返し連続して行う。また、表示
処理と第２位置情報算出処理の前後関係は限定されずどちらが時間的に先でもよく、また
、同時でもよい。
図１で示すサーバ３０は、本実施の形態では、デスクトップ型あるいはノート型のコン
ピュータによって実装される。
図７は、サーバ３０の構成の概略を説明するブロック図である。図示のように、サーバ
３０は、プロセッサ３１、メモリ３２、ストレージ３３、送受信部３４、及び入出力部３
５を備え、これらが互いにバス３６を介して電気的に接続される。
プロセッサ３１は、サーバ３０の動作を制御し、各要素間におけるデータの送受信の制
御や、アプリケーションプログラムの実行に必要な処理等を行う演算装置である。
このプロセッサ３１は、本実施の形態では例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅ
ｓｓｉｎｇ Ｕｎｉｔ）であり、後述するストレージ３３に格納されてメモリ３２に展開
されたアプリケーションプログラムを実行して各処理を行う。
メモリ３２は、本実施の形態では、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃ
ｅｓｓ Ｍｅｍｏｒｙ）等の揮発性記憶装置で構成される主記憶装置で実装される。
このメモリ３２は、プロセッサ３１の作業領域として使用される一方、サーバ３０の起
動時に実行されるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）、
及び各種の設定情報等が格納される。
ストレージ３３は、プログラムや各種の処理に用いられる情報等が格納されている。
送受信部３４は、サーバ３０をネットワークＮに接続する。この送受信部３４は、Ｂｌ
ｕｅｔｏｏｔｈ（登録商標）やＢＬＥ（Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ）と
いった近距離通信インターフェースを具備するものであってもよい。
入出力部３５は、キーボードやマウス、あるいはディスプレイ等の入出力機器が接続さ
れるインターフェースである。
バス３６は、接続したプロセッサ３１、メモリ３２、ストレージ３３、送受信部３４及
び入出力部３５の間において、例えばアドレス信号、データ信号及び各種の制御信号を伝
達する。
図８は、サーバ３０の機能の概略を説明するブロック図である。図示のように、サーバ
３０は、本実施の形態では、記憶部３０ａ、受信部３０ｂ及び生成部３０ｃを備える。
記憶部３０ａは、ストレージ３３の記憶領域が区画されることによって実現される。こ
の記憶部３０ａには、本実施の形態では、第２位置情報Ｄ２、ＡＲオブジェクト情報Ｄ３
及びモーション情報Ｄ４が格納される。
図９は、ＡＲオブジェクト情報Ｄ３の概略を説明する図である。図示のように、ＡＲオ
ブジェクト情報Ｄ３は、本実施の形態では、ＡＲマーカの識別情報（識別番号等）がそれ
ぞれ割り当てられた複数のＡＲオブジェクトによって構成されるデータベースあるいはラ
イブラリである。ＡＲオブジェクトは、例えば３次元のキャラクタ、アイテム、建物、植
物、動物、人物等の任意の対象物の画像であり、ＡＲオブジェクト情報は、３次元モデル
データ情報を含む。ＡＲオブジェクト情報は、静止したオブジェクトに限らず、動作する
オブジェクトを含んでもよい。
図８で示すモーション情報Ｄ４は、ＡＲオブジェクトＯを含む映像を記録した動画情報
とすることができる。モーション情報Ｄ４は、ＡＲマーカを基準とする所定期間のユーザ
端末（カメラ）の位置、角度を含むカメラ動作情報を含むようにしてもよい。モーション
情報Ｄ４は、本実施の形態では、例えば、スマートフォン、ゲーム端末等のコンピュータ
で実行されるゲームにおけるキャラクタの映像処理を実現する素材として用いることがで
きる。より具体的に、ゲームにおいてキャラクタを含む映像を生成する際に、ゲーム内の
仮想カメラ（視点）の動作情報としてカメラ動作情報を用いることができる。
受信部３０ｂ及び生成部３０ｃは、本実施の形態では、メモリ３２に記憶されたプログ
ラムをプロセッサ３１で実行することによって実現される。
受信部３０ｂは、本実施の形態では、ユーザ端末２０から送信される第２位置情報Ｄ２
を受信する受信処理を実行する。
生成部３０ｃは、本実施の形態では、ユーザ端末２０の第２位置情報算出処理で算出し
た第２位置情報Ｄ２に基づいて、任意のＡＲオブジェクトＯのモーション情報Ｄ４を生成
する処理を実行する（生成処理）。
この生成処理は、本実施の形態では、ＡＲマーカＭに関連づけられたＡＲオブジェクト
情報Ｄ３と所定期間の第２位置情報Ｄ２とを関連づけて記録（録画）したデータを書き出
す（適宜、データ形式を変換する）ことによって、ＡＲオブジェクトＯのモーション情報
Ｄ４を生成する処理を実行する。
次に、本実施の形態の情報処理システム１０の処理の概略について説明する。
図１０は、本実施の形態に係る情報処理システム１０の処理の概略を説明するフローチ
ャートである。図示のように、まず、ステップＳ１において、ユーザ１がユーザ端末２０
のアプリケーションを起動してカメラ２２を介してＡＲマーカＭを認識させると、ユーザ
端末２０を基準としたＡＲマーカＭが配置された空間における第１位置情報Ｄ１を算出す
る（第１位置情報算出処理）。
この第１位置情報Ｄ１は、本実施の形態では、ＡＲマーカＭが配置された空間（現実空
間）における座標及び角度を含む位置情報を含むものである。より具体的に、ユーザ端末
２０の所定の一点を原点とするユーザ端末座標系上でのＡＲマーカＭの３次元座標、３次
元方向（角度）の情報を含む。
続くステップＳ２において、第１位置情報算出処理で算出した第１位置情報Ｄ１とＡＲ
オブジェクト情報Ｄ３とに基づいて、ＡＲマーカＭに対応するＡＲオブジェクトＯ（ＡＲ
キャラクタ）の画像データを生成し、ユーザ端末２０のディスプレイ２３に表示させる（
表示処理）。ディスプレイ２３には、ＡＲマーカＭを含む現実空間にＡＲオブジェクトＯ
を重畳させたＡＲ画像が表示される。
一方、ステップＳ３において、描画処理で描画したＡＲオブジェクトＯの描画情報が記
憶されたＡＲマーカＭを基準としたユーザ端末２０の空間における第２位置情報Ｄ２を算
出する（第２位置情報算出処理）。
この第２位置情報算出部２０ｃは、本実施の形態では、ＡＲマーカＭを基準とした場合
のユーザ端末２０の相対的な座標及び相対的な角度を含むものである。第２位置情報算出
部２０ｃは、例えばＡＲマーカの中心点を原点とするＡＲマーカ座標系上での、ユーザ端
末２０の３次元座標、３次元方向（角度）の情報を含む。
第２位置情報Ｄ２を算出した後、ユーザ端末２０は、ステップＳ４において、算出した
第２位置情報Ｄ２をサーバ３０に送信する（送信処理）。
サーバ３０は、ユーザ端末２０から送信された第２位置情報Ｄ２を受信する（受信処理
）と、ステップＳ５において、受信した第２位置情報Ｄ２とＡＲオブジェクト情報Ｄ３と
を関連づけて記憶する。また、ステップＳ６において、受信したデータ（記憶したデータ
）に基づいて、ＡＲオブジェクトＯに関するモーション情報Ｄ４を生成する（生成処理）
。
ユーザは、表示処理によってＡＲオブジェクトＯがユーザ端末２０に表示された状態で
、任意の所定期間にわたってユーザ端末２０にＡＲマーカＭを認識させる。これにより、
サーバ３０は所定期間にわたって第２位置情報算出処理を繰返し実行し、所定期間におけ
る第２位置情報が算出され、ＡＲマーカＭを基準とする（ＡＲマーカ座標系上での）ユー
ザ端末２０の動きに関するモーション情報を生成することができる。ユーザは、所定期間
において、ユーザ端末２０をＡＲマーカ、すなわちＡＲオブジェクトに近づけたり、遠ざ
けたりして相対的な距離を変化させるようにしてもよいし、ＡＲマーカの周囲でユーザ端
末２０を移動させて、様々な角度からＡＲマーカ、すなわちＡＲオブジェクトを撮影する
ようにしてもよい。これによれば、ＡＲマーカに対するユーザ端末の位置、角度の変化に
応じてＡＲオブジェクトの表示サイズ（大きさ）や角度が変化するモーション情報が生成
される。
所定期間は、ユーザ端末２０を使用するユーザから受け付ける開始操作と終了操作の間
の期間とすることができる。開始操作は、例えば、表示処理によってＡＲオブジェクトＯ
がユーザ端末２０に表示された状態で、ユーザがユーザ端末２０に表示される撮影開始ア
イコンを選択する操作とすることができる。そして、終了操作は、ユーザがユーザ端末２
０に表示される撮影終了アイコンを選択する操作とすることができる。あるいは、所定期
間は、ユーザがユーザ端末２０に表示される撮影アイコンを継続的に選択（長押し）し続
けた期間とすることも可能である。その場合、撮影アイコンを選択開始する（タッチパネ
ルへの接触を開始する）操作が、上記開始操作であり、撮影アイコンから指を離す操作が
終了操作となる。
生成されたモーション情報Ｄ４は、例えば、ゲームやアニメーション映画等の映像表現
におけるキャラクタの映像処理等を実現する素材として用いることができる。
このように、ユーザ端末２０でＡＲマーカＭを認識することを起因として算出される第
２位置情報Ｄ２に基づいて、ＡＲオブジェクトＯのモーション情報Ｄ４を生成することが
できることから、特殊な設備を確保したり特殊な装置を導入したりすることなく、モーシ
ョン情報Ｄ４を簡易に生成することができる。
なお、本発明は上記実施の形態に限定されることはなく、発明の趣旨を逸脱しない範囲
で種々の変更が可能である。
上記実施の形態では、ユーザ端末２０及びサーバ３０に格納されたプログラムが、ＡＲ
オブジェクトに関する情報処理を実行する場合を説明したが、ユーザ端末２０とサーバ３
０とで処理を分散させないでユーザ端末２０でＡＲオブジェクトに関する情報処理を実行
するように構成してもよい。また、上記説明において、ユーザ端末２０で実行する情報処
理の少なくとも一部をサーバ３０で実行してもよいし、サーバ３０で実行する情報処理の
一部をユーザ端末２０で実行してもよい。
また、本実施形態にあっては、ユーザ端末２０の傾きを検出可能なセンサ（センサ類２
４）から取得するセンサ情報に基づいて、ＡＲマーカの傾き情報を算出する傾き情報算出
処理を実行するようにしてもよい。その場合、生成処理においてモーション情報を生成す
る際に、傾き情報に基づいてＡＲオブジェクト及び仮想カメラの少なくとも何れかの傾き
を補正する傾き補正処理を実行するようにしてもよい。これによれば、ＡＲマーカが水平
面に対して傾斜した斜めの面に置かれていたとしても、水平面に置かれた場合と同じモー
ションデータを生成することができる。その結果、ＡＲマーカ上に表示されるＡＲオブジ
ェクトが傾いて表示されることを抑制することができる。ＡＲマーカの傾き情報を算出す
る際には、ユーザ端末２０の水平方向（又は鉛直方向）に対する傾きと、ユーザ端末に対
するＡＲマーカの相対的な角度の情報に基づいて、ＡＲマーカの水平方向（又は鉛直方向
）に対する傾きを算出することができる。
また、本実施形態にあっては、生成処理において、所定期間の中でユーザ端末２０がＡ
Ｒマーカを認識できない期間の端末装置の動きを、端末装置が識別情報を認識している期
間の情報に基づいて補完する補完処理を実行するようにしてもよい。例えば、所定期間の
うち、ＡＲマーカを認識できない期間の直前の端末装置の位置と、ＡＲマーカを認識でき
ない期間の直後の端末装置の位置とを線で結ぶ（連続させる）処理により、ＡＲマーカを
認識できない期間のモーション情報を補完することができる。これによれば、所定期間の
中で一時的にＡＲマーカを認識できない期間があっても、モーション情報を生成すること
ができる。
本発明は、以下の構成を備える。
（項目１）
仮想オブジェクトを端末装置に表示させるための情報が関連付けられた識別情報を前記
端末装置が認識することにより前記端末装置を基準とした前記識別情報の座標及び角度を
含む第１位置情報を算出する第１位置情報算出処理と、
該第１位置情報算出処理で算出した前記第１位置情報に基づいて前記識別情報に対応す
る前記仮想オブジェクトを前記端末装置に表示させる表示処理と、
該表示処理で表示した前記仮想オブジェクトが関連付けられた前記識別情報を基準とし
た前記端末装置の座標及び角度を含む第２位置情報を算出する第２位置情報算出処理と、
前記仮想オブジェクトが表示された状態で所定期間にわたって前記端末装置に前記識別
情報を認識させることにより得られる、前記所定期間における前記第２位置情報に基づい
て、前記仮想オブジェクトに関するモーション情報を生成する生成処理と、
を実行する情報処理システム。
（項目２）
前記第２位置情報算出処理は、
前記第１位置情報算出処理で算出した前記第１位置情報を座標変換処理することによっ
て前記第２位置情報を算出する、
項目１に記載の情報処理システム。
（項目３）
前記所定期間は、前記端末装置を使用するユーザから受け付ける開始操作と終了操作の
間の期間である、
前記識別情報に記憶された前記描画情報と関連づけられた前記仮想オブジェクトとして
のＡＲオブジェクトに関するＡＲオブジェクト情報と前記第２位置情報とに基づいて前記
モーション情報を生成する、
項目１または２に記載の情報処理システム。
（項目４）
前記識別情報は、
前記仮想オブジェクトとしてのＡＲオブジェクトの情報が関連付けられたＡＲマーカで
ある、
項目１または２に記載の情報処理システム。
（項目５）
前記端末装置の傾きを検出可能なセンサから取得するセンサ情報に基づいて、前記識別
情報の傾き情報を算出する傾き情報算出処理と、
前記生成処理において前記モーション情報を生成する際に、前記傾き情報に基づいて傾
きを補正する傾き補正処理と、を実行する、
項目１または２に記載の情報処理システム。
（項目６）
前記生成処理において、前記所定期間の中で前記端末装置が前記識別情報を認識できな
い期間の前記端末装置の動きを、前記端末装置が前記識別情報を認識している期間の情報
に基づいて補完する補完処理を実行する、
項目１または２に記載の情報処理システム。
（項目７）
仮想オブジェクトを端末装置に表示させるための情報が関連付けられた識別情報を前記
端末装置が認識することにより前記端末装置を基準とした前記識別情報の座標及び角度を
含む第１位置情報を算出する第１位置情報算出処理と、
該第１位置情報算出処理で算出した前記第１位置情報に基づいて前記識別情報に対応す
る前記仮想オブジェクトを前記端末装置に表示させる表示処理と、
該表示処理で表示した前記仮想オブジェクトが関連付けられた前記識別情報を基準とし
た前記端末装置の座標及び角度を含む第２位置情報を算出する第２位置情報算出処理と、
前記仮想オブジェクトが表示された状態で所定期間にわたって前記端末装置に前記識別
情報を認識させることにより得られる、前記所定期間における前記第２位置情報に基づい
て、前記仮想オブジェクトに関するモーション情報を生成する生成処理と、
を実行する制御部を備える情報処理装置。
（項目８）
仮想オブジェクトを端末装置に表示させるための情報が関連付けられた識別情報を前記
端末装置が認識することにより前記端末装置を基準とした前記識別情報の座標及び角度を
含む第１位置情報を算出する第１位置情報算出処理と、
該第１位置情報算出処理で算出した前記第１位置情報に基づいて前記識別情報に対応す
る前記仮想オブジェクトを前記端末装置に表示させる表示処理と、
該表示処理で表示した前記仮想オブジェクトが関連付けられた前記識別情報を基準とし
た前記端末装置の座標及び角度を含む第２位置情報を算出する第２位置情報算出処理と、
前記仮想オブジェクトが表示された状態で所定期間にわたって前記端末装置に前記識別
情報を認識させることにより得られる、前記所定期間における前記第２位置情報に基づい
て、前記仮想オブジェクトに関するモーション情報を生成する生成処理と、
をコンピュータに実行させる、プログラム。
（項目９）
仮想オブジェクトを端末装置に表示させるための情報が関連付けられた識別情報を前記
端末装置が認識することにより前記端末装置を基準とした前記識別情報の座標及び角度を
含む第１位置情報を算出する第１位置情報算出処理と、
該第１位置情報算出処理で算出した前記第１位置情報に基づいて前記識別情報に対応す
る前記仮想オブジェクトを前記端末装置に表示させる表示処理と、
該表示処理で表示した前記仮想オブジェクトが関連付けられた前記識別情報を基準とし
た前記端末装置の座標及び角度を含む第２位置情報を算出する第２位置情報算出処理と、
前記仮想オブジェクトが表示された状態で所定期間にわたって前記端末装置に前記識別
情報を認識させることにより得られる、前記所定期間における前記第２位置情報に基づい
て、前記仮想オブジェクトに関するモーション情報を生成する生成処理と、
をコンピュータが実行する、情報処理方法。
１ ユーザ
２ 事業者
１０ 情報処理システム
２０ ユーザ端末（端末装置）
３０ サーバ（情報処理装置）

Claims (7)

  1. 仮想オブジェクトを端末装置に表示させるための情報が関連付けられた識別情報を前記端末装置が認識することにより前記端末装置を基準とした前記識別情報の座標及び角度を含む第１位置情報を算出する第１位置情報算出処理と、
    該第１位置情報算出処理で算出した前記第１位置情報に基づいて前記識別情報に対応する前記仮想オブジェクトを前記端末装置に表示させる表示処理と、
    該表示処理で表示した前記仮想オブジェクトが関連付けられた前記識別情報を基準とした前記端末装置の座標及び角度を含む第２位置情報を算出する第２位置情報算出処理と、
    前記仮想オブジェクトが表示された状態で所定期間にわたって前記端末装置に前記識別情報を認識させることにより得られる、前記所定期間における前記第２位置情報に基づいて、前記仮想オブジェクトに関するモーション情報を生成する生成処理と、
    を実行し、
    前記モーション情報は、前記所定期間にわたる前記端末装置の座標及び角度の情報であるカメラ動作情報を含み、
    前記カメラ動作情報は、ゲームにおける前記仮想オブジェクトを含む映像を生成するための仮想カメラの動作情報として用いられる情報であり、
    前記第２位置情報算出処理は、
    前記第１位置情報算出処理で算出した前記第１位置情報を座標変換処理することによって前記第２位置情報を算出する、情報処理システム。
  2. 前記所定期間は、前記端末装置を使用するユーザから受け付ける開始操作と終了操作の間の期間であり、
    前記識別情報に関連づけられた前記仮想オブジェクトとしてのＡＲオブジェクトに関するＡＲオブジェクト情報と前記第２位置情報とに基づいて前記モーション情報を生成する、
    請求項１に記載の情報処理システム。
  3. 前記識別情報は、
    前記仮想オブジェクトとしてのＡＲオブジェクトの情報が関連付けられたＡＲマーカである、
    請求項１または２に記載の情報処理システム。
  4. 前記端末装置の傾きを検出可能なセンサから取得するセンサ情報に基づいて、前記識別情報の傾き情報を算出する傾き情報算出処理と、
    前記生成処理において前記モーション情報を生成する際に、前記傾き情報に基づいて傾きを補正する傾き補正処理と、を実行する、
    請求項１または２に記載の情報処理システム。
  5. 仮想オブジェクトを端末装置に表示させるための情報が関連付けられた識別情報を前記端末装置が認識することにより前記端末装置を基準とした前記識別情報の座標及び角度を含む第１位置情報を算出する第１位置情報算出処理と、
    該第１位置情報算出処理で算出した前記第１位置情報に基づいて前記識別情報に対応する前記仮想オブジェクトを前記端末装置に表示させる表示処理と、
    該表示処理で表示した前記仮想オブジェクトが関連付けられた前記識別情報を基準とした前記端末装置の座標及び角度を含む第２位置情報を算出する第２位置情報算出処理と、
    前記仮想オブジェクトが表示された状態で所定期間にわたって前記端末装置に前記識別情報を認識させることにより得られる、前記所定期間における前記第２位置情報に基づいて、前記仮想オブジェクトに関するモーション情報を生成する生成処理と、
    を実行する制御部を備え、
    前記モーション情報は、前記所定期間にわたる前記端末装置の座標及び角度の情報であるカメラ動作情報を含み、
    前記カメラ動作情報は、ゲームにおける前記仮想オブジェクトを含む映像を生成するための仮想カメラの動作情報として用いられる情報であり、
    前記第２位置情報算出処理は、
    前記第１位置情報算出処理で算出した前記第１位置情報を座標変換処理することによって前記第２位置情報を算出する、情報処理装置。
  6. 仮想オブジェクトを端末装置に表示させるための情報が関連付けられた識別情報を前記端末装置が認識することにより前記端末装置を基準とした前記識別情報の座標及び角度を含む第１位置情報を算出する第１位置情報算出処理と、
    該第１位置情報算出処理で算出した前記第１位置情報に基づいて前記識別情報に対応する前記仮想オブジェクトを前記端末装置に表示させる表示処理と、
    該表示処理で表示した前記仮想オブジェクトが関連付けられた前記識別情報を基準とした前記端末装置の座標及び角度を含む第２位置情報を算出する第２位置情報算出処理と、
    前記仮想オブジェクトが表示された状態で所定期間にわたって前記端末装置に前記識別情報を認識させることにより得られる、前記所定期間における前記第２位置情報に基づいて、前記仮想オブジェクトに関するモーション情報を生成する生成処理と、
    をコンピュータに実行させ、
    前記モーション情報は、前記所定期間にわたる前記端末装置の座標及び角度の情報であるカメラ動作情報を含み、
    前記カメラ動作情報は、ゲームにおける前記仮想オブジェクトを含む映像を生成するための仮想カメラの動作情報として用いられる情報であり、
    前記第２位置情報算出処理は、
    前記第１位置情報算出処理で算出した前記第１位置情報を座標変換処理することによって前記第２位置情報を算出する、プログラム。
  7. 仮想オブジェクトを端末装置に表示させるための情報が関連付けられた識別情報を前記端末装置が認識することにより前記端末装置を基準とした前記識別情報の座標及び角度を含む第１位置情報を算出する第１位置情報算出処理と、
    該第１位置情報算出処理で算出した前記第１位置情報に基づいて前記識別情報に対応する前記仮想オブジェクトを前記端末装置に表示させる表示処理と、
    該表示処理で表示した前記仮想オブジェクトが関連付けられた前記識別情報を基準とした前記端末装置の座標及び角度を含む第２位置情報を算出する第２位置情報算出処理と、
    前記仮想オブジェクトが表示された状態で所定期間にわたって前記端末装置に前記識別情報を認識させることにより得られる、前記所定期間における前記第２位置情報に基づいて、前記仮想オブジェクトに関するモーション情報を生成する生成処理と、
    をコンピュータが実行し、
    前記モーション情報は、前記所定期間にわたる前記端末装置の座標及び角度の情報であるカメラ動作情報を含み、
    前記カメラ動作情報は、ゲームにおける前記仮想オブジェクトを含む映像を生成するための仮想カメラの動作情報として用いられる情報であり、
    前記第２位置情報算出処理は、
    前記第１位置情報算出処理で算出した前記第１位置情報を座標変換処理することによって前記第２位置情報を算出する、情報処理方法。
JP2023180675A 2023-05-01 2023-10-20 情報処理システム、情報処理装置、プログラム及び情報処理方法 Active JP7480408B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023180675A JP7480408B1 (ja) 2023-05-01 2023-10-20 情報処理システム、情報処理装置、プログラム及び情報処理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2023180666 2023-05-01
JP2023180675A JP7480408B1 (ja) 2023-05-01 2023-10-20 情報処理システム、情報処理装置、プログラム及び情報処理方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2023180666 Division 2023-05-01 2023-05-01

Publications (1)

Publication Number Publication Date
JP7480408B1 true JP7480408B1 (ja) 2024-05-09

Family

ID=90931778

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023180675A Active JP7480408B1 (ja) 2023-05-01 2023-10-20 情報処理システム、情報処理装置、プログラム及び情報処理方法

Country Status (1)

Country Link
JP (1) JP7480408B1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014071850A (ja) 2012-10-02 2014-04-21 Osaka Prefecture Univ 画像処理装置、端末装置、画像処理方法、およびプログラム
JP2019133507A (ja) 2018-02-01 2019-08-08 株式会社Ｃｙｇａｍｅｓ 複合現実システム、プログラム、方法、及び携帯端末装置
JP2020119334A (ja) 2019-01-24 2020-08-06 株式会社バンダイナムコエンターテインメント プログラム、電子機器およびデータ記録方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014071850A (ja) 2012-10-02 2014-04-21 Osaka Prefecture Univ 画像処理装置、端末装置、画像処理方法、およびプログラム
JP2019133507A (ja) 2018-02-01 2019-08-08 株式会社Ｃｙｇａｍｅｓ 複合現実システム、プログラム、方法、及び携帯端末装置
JP2020119334A (ja) 2019-01-24 2020-08-06 株式会社バンダイナムコエンターテインメント プログラム、電子機器およびデータ記録方法

Similar Documents

Publication Publication Date Title
US10732725B2 (en) Method and apparatus of interactive display based on gesture recognition
US11231845B2 (en) Display adaptation method and apparatus for application, and storage medium
US9639988B2 (en) Information processing apparatus and computer program product for processing a virtual object
US9213436B2 (en) Fingertip location for gesture input
US9268410B2 (en) Image processing device, image processing method, and program
KR101732839B1 (ko) 컨텐츠 전달의 세그먼테이션
CN104364753A (zh) 用于突出显示活动界面元素的方法
US10114543B2 (en) Gestures for sharing data between devices in close physical proximity
KR20110082636A (ko) 임의의 위치들을 가지는 디스플레이 구성 요소들 상에 3차원 콘텐츠의 공간적으로 상호 연관된 렌더링
JP7078234B2 (ja) 拡張現実空間に配置される３ｄオブジェクトを生成する方法
US20140152544A1 (en) Displaying system, display controller, storage medium and method
CN113546419B (zh) 游戏地图显示方法、装置、终端及存储介质
US9665232B2 (en) Information-processing device, storage medium, information-processing method, and information-processing system for enlarging or reducing an image displayed on a display device
JP7480408B1 (ja) 情報処理システム、情報処理装置、プログラム及び情報処理方法
US11562538B2 (en) Method and system for providing a user interface for a 3D environment
US10410425B1 (en) Pressure-based object placement for augmented reality applications
CN114167997B (zh) 一种模型显示方法、装置、设备和存储介质
JP7373090B1 (ja) 情報処理システム、情報処理装置、プログラム及び情報処理方法
JP7287172B2 (ja) 表示制御装置、表示制御方法、及びプログラム
US20220253198A1 (en) Image processing device, image processing method, and recording medium
CN115686233A (zh) 一种主动笔与显示设备的交互方法、装置及交互系统
JP7162795B2 (ja) 映像処理システム
JP6169462B2 (ja) 情報処理装置及び情報処理方法
CN117991967A (zh) 虚拟键盘交互方法、装置、设备、存储介质和程序产品
CN114011058A (zh) 一种游戏控制的方法和装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231020

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231020

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20231020

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240411

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240424

R150 Certificate of patent or registration of utility model

Ref document number: 7480408

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150