JP7357415B1 - プログラム、情報処理装置および情報処理方法 - Google Patents

プログラム、情報処理装置および情報処理方法 Download PDF

Info

Publication number
JP7357415B1
JP7357415B1 JP2023029021A JP2023029021A JP7357415B1 JP 7357415 B1 JP7357415 B1 JP 7357415B1 JP 2023029021 A JP2023029021 A JP 2023029021A JP 2023029021 A JP2023029021 A JP 2023029021A JP 7357415 B1 JP7357415 B1 JP 7357415B1
Authority
JP
Japan
Prior art keywords
information
virtual
photo
camera
photographed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023029021A
Other languages
English (en)
Inventor
大樹 半田
裕之 東峰
Original Assignee
クラスター株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クラスター株式会社 filed Critical クラスター株式会社
Priority to JP2023029021A priority Critical patent/JP7357415B1/ja
Application granted granted Critical
Publication of JP7357415B1 publication Critical patent/JP7357415B1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

【課題】 仮想写真に写っているオブジェクトに関するオブジェクト情報を取得することが可能な情報処理装置を提供する。【解決手段】 プログラムは、コンピュータを、仮想現実空間内で利用される仮想カメラに関するカメラ情報と、仮想カメラにより撮影された仮想写真に関する写真情報とを含む撮影情報を取得する、撮影情報取得部(221)と、仮想現実空間内に配置されたオブジェクトのうち、仮想写真が撮影されたときの仮想カメラの撮影範囲内に含まれるオブジェクトに関するオブジェクト情報を取得する、オブジェクト情報取得部(222)と、カメラ情報とオブジェクト情報とに基づいて、撮影範囲内に含まれるオブジェクトについて、仮想写真に写った被写オブジェクトとするか否かが判定された判定結果を取得する、判定結果取得部(224)と、判定結果に基づいて、オブジェクト情報と写真情報とを紐づける、紐づけ部(225)と、を備える情報処理装置(2)として機能させる。【選択図】 図1

Description

本発明は、プログラム、情報処理装置および情報処理方法に関する。
仮想現実技術は、コンピュータ上に構築された仮想的な世界を現実のように人々に体験させる技術である。この仮想的な世界は、様々な仮想オブジェクト(以下、単に「オブジェクト」という。)により構成される世界であり、仮想現実空間と呼ばれる。
オブジェクトの1つに、現実のカメラを模した、仮想カメラがある。仮想カメラは、例えば、仮想現実空間内のアバターによって操作され得る。アバターは、例えば、現実の人(以下「参加者」という。)が仮想現実空間に参加する際に、参加者自身の分身として利用されるオブジェクトである。
従来、この仮想カメラを用いて撮影された仮想写真に関する情報と、仮想写真に写っているオブジェクトに関する情報とを自動的に紐づけする技術がある(例えば、特許文献1)。
特許第6952065号公報
仮想現実空間の特性の1つとして、仮想現実空間内に配置されたすべてのオブジェクトの位置は、仮想現実空間を提供するコンピュータによって把握されている、ということがある。この特性により、仮想現実空間を提供するコンピュータは、例えば、仮想カメラを利用した撮影が行われる際、仮想カメラの配置位置から見て、あるオブジェクトの背後に配置されているために現実の空間であれば視認できない位置に存在するようなオブジェクトの存在も、把握し得る。
しかしながら、従来の技術における、仮想写真に関する情報とオブジェクトに関する情報との紐づけは、上述のような仮想現実空間の特性を活かしたものではないという課題があった。
本発明は、上記課題を解決するものであり、仮想現実空間の特性を活かして、仮想写真に関する情報とオブジェクトに関する情報との紐づけを行うことができるプログラム、情報処理装置および情報処理方法を得ることを目的とする。
本発明に係るプログラムは、1または複数のコンピュータを、仮想現実空間内において利用される仮想カメラに関するカメラ情報と、仮想カメラにより撮影された仮想写真に関する写真情報とを含む撮影情報を取得する、撮影情報取得部と、仮想現実空間内に配置された1または複数のオブジェクトのうち、仮想カメラにより撮影された仮想写真が撮影されたときの仮想カメラの撮影範囲内に含まれる1または複数のオブジェクトに関するオブジェクト情報を取得する、オブジェクト情報取得部と、カメラ情報とオブジェクト情報とに基づいて、撮影範囲内に含まれる1または複数のオブジェクトのそれぞれについて、仮想写真に写った被写オブジェクトとするか被写オブジェクトとしない非被写オブジェクトとするかが判定された判定結果であって、仮想カメラにより撮影された仮想写真に写っているオブジェクトであって遮蔽されていないオブジェクトを被写オブジェクトとし、仮想カメラにより撮影された仮想写真に写っているオブジェクトであって遮蔽されているオブジェクトを非被写オブジェクトとするように遮蔽の状態を考慮して判定された判定結果を取得する、判定結果取得部と、判定結果に基づいて、オブジェクト情報と写真情報とを紐づける、紐づけ部と、を備える情報処理装置として機能させるものである。
本発明に係るプログラムによれば、コンピュータは、仮想カメラに関するカメラ情報と仮想写真に関する写真情報とを含む撮影情報を取得し、仮想写真が撮影されたときの仮想カメラの撮影範囲内に含まれるオブジェクトに関するオブジェクト情報を取得し、カメラ情報とオブジェクト情報に基づいて、撮影範囲内に含まれるオブジェクトのそれぞれについて、仮想写真に写った被写オブジェクトとするか否かが判定された判定結果を取得し、判定結果に基づいて、オブジェクト情報と写真情報とを紐づける情報処理装置として機能する。これにより、本発明に係るプログラムは、仮想現実空間の利点を活かして、仮想写真に関する情報とオブジェクトに関する情報との紐づけを行うことができる。
実施の形態1に係る情報処理システムの構成を示すブロック図である。 実施の形態1に係る情報処理装置の機能を実現するハードウェア構成を示すブロック図である。 仮想写真撮影の一例を示す概念図である。 仮想写真の一例を示す画面図である。 仮想写真におけるオブジェクト指定の一例を示す画面図である。 仮想写真におけるオブジェクトおよびオブジェクト情報の表示例を示す画面図である。 実施の形態1に係る情報処理方法を示すフローチャートである。
実施の形態1.
図1は、実施の形態1に係る情報処理システム1の構成を示すブロック図である。図1において、情報処理システム1は、情報処理装置2、サービス提供サーバ3、および、参加端末4が、ネットワーク5を介して接続されたシステムである。ネットワーク5としては、既存の電気通信回線を利用できる。ネットワーク5は、例えばインターネットである。情報処理装置2、サービス提供サーバ3、および、参加端末4は、ネットワーク5を介して、互いに通信可能である。
(情報処理装置の概要)
情報処理装置2は、仮想現実空間内において利用される仮想カメラに関するカメラ情報と、仮想カメラにより撮影された仮想写真に関する写真情報とを含む撮影情報を取得し、仮想現実空間内に配置された1または複数のオブジェクトのうち、仮想写真が撮影されたときの仮想カメラの撮影範囲内に含まれる1または複数のオブジェクトに関するオブジェクト情報を取得し、カメラ情報とオブジェクト情報とに基づいて、撮影範囲内に含まれる1または複数のオブジェクトのそれぞれについて、仮想写真に写った被写オブジェクトとするか否かが判定された判定結果を取得し、判定結果に基づいて、オブジェクト情報と写真情報とを紐づける。
情報処理システム1において、情報処理装置2の機能については、その一部または全部を、サービス提供サーバ3が備えていてもよいし、参加端末4が備えていてもよい。また、情報処理システム1において、情報処理装置2の機能については、その一部または全部を、サービス提供サーバ3と参加端末4とが重複して備えていてもよい。
以下では、特段の説明がない場合、情報処理装置2の機能の全部を、サービス提供サーバ3および参加端末4とは独立した物理的構成を有する1台のサーバが備えているものとする。ただし、情報処理装置2の機能については、その全部が、1台のサーバによって実現されていてもよいし、複数台のサーバによって実現されていてもよい。
情報処理装置2の詳細については、後述する。
(サービス提供サーバ)
サービス提供サーバ3は、ネットワーク5を介して、空間データによって表現される仮想現実空間に関するサービスを仮想現実空間への参加者等の利用者に提供する。例えば、サービスの利用を希望する者は、自身の使用する端末からサービス提供サーバ3にアクセスして、所定の手続きを行うことで、サービスの利用者として登録を行うことができる。サービス提供サーバ3は、登録された利用者に固有のID(以下「利用者ID」という。)を付して、利用者を管理する。サービスの利用者への提供は、例えば、参加端末4等の利用者が使用する端末にインストールされるサービス用アプリを通じて行われる。
サービス提供サーバ3は、仮想現実空間の3次元データ(以下「空間データ」という。)を管理する。サービス提供サーバ3は、互いに異なる複数の空間データを管理できる。サービス提供サーバ3は、複数の空間データのそれぞれに、メタデータとして固有のIDを付与して、空間データを管理する。
また、サービス提供サーバ3は、複数の空間データのそれぞれに、メタデータとして、空間作成者を示す固有のID(以下「空間作成者ID」という。)、イベント開催者を示す固有のID(以下「開催者ID」という。)、または、空間監視者を示す固有のID(以下「監視者ID」という。)を付与してもよい。
空間作成者とは、アバターの3次元データを除く空間データを作成した者である。空間作成者は、図示しない空間作成用の端末を使用して、公知の方法で、アバターが配置されていない状態の仮想現実空間を表現するための空間データを作成することができる。そして、例えば、上述の利用者IDを有する空間作成者は、空間作成用の端末を操作して、作成した空間データをサービス提供サーバ3にアップロードすることができる。サービス提供サーバ3は、空間作成用の端末から空間データがアップロードされると、その空間データに固有のIDを付与するとともに、空間作成者の利用者IDを紐づけて、その空間データを管理する。
イベント開催者とは、空間データによって表現される仮想現実空間を特定のイベントの開催場所として使用する者である。サービス提供サーバ3で管理されている空間データによって表現される仮想現実空間を使用して、種々のイベントを開催することを希望する者は、上述の利用者IDを取得した後、例えば、自身の使用する端末から、サービス提供サーバ3にアクセスして、希望するイベントの種類、使用を希望する空間データ等の情報を入力することで、仮想現実空間を利用したイベントを登録することができる。サービス提供サーバ3は、例えば、登録されたイベントを特定する情報と、イベントに使用される空間データに固有のIDと、イベントを登録した者の利用者IDとを紐づけて、イベントを管理する。
登録されたイベントを特定する情報は、例えば、イベントに固有のID(以下「イベントID」という。)である。イベントIDは、空間データのメタデータに含まれてもよい。以下、開催者ID、または、イベントIDを「イベント情報」ともいう。
空間監視者とは、空間データによって表現される仮想現実空間が参加者によって適切に使用されているかを監視する者である。空間監視者は、例えば、サービス提供サーバ3を使用してサービスを提供する会社等の団体に所属する者のうち、仮想現実空間の使用の監視を担当する者である。サービス提供サーバ3は、当該監視を担当する者のID(例えば社員ID等)を、空間データに固有のIDと紐づける等して、空間データを管理する。
以下、単に「空間データ」という場合には、空間データのメタデータも含まれるものとする。
1つの空間データは、その空間データによって表現される仮想現実空間内に配置された1または複数のオブジェクトのそれぞれの3次元データを含む。
オブジェクトの3次元データには、例えば、オブジェクトの3次元形状情報、サイズ情報、彩色情報、位置情報、および、向き情報が含まれる。位置情報は、例えば、仮想現実空間に設定されたグローバル座標の座標値で表される。向き情報は、例えば、仮想現実空間に設定されたグローバル座標の座標軸に対する回転角度で表される。
また、ある空間データによって表現される仮想現実空間に参加者がアバターとして参加している場合、オブジェクトにはアバターも含まれる。オブジェクトがアバターである場合、オブジェクトの3次元データには上述の3次元形状情報等の各情報に加え、アバターの姿勢情報も含まれる。姿勢情報は、例えば、アバターを構成する複数のボーンそれぞれの位置情報または向き情報で表される。
また、オブジェクトの3次元データには、メタデータとして、オブジェクトに固有のID(以下「オブジェクトID」という。)、オブジェクト名、オブジェクトの所有者に固有のID(以下「所有者ID」という。)、オブジェクトの作成者に固有のID(以下「オブジェクト作成者ID」という。)、オブジェクトの販売者に固有のID(以下「販売者ID」)、または、オブジェクトのお気に入り登録者の固有のID(以下「お気に入り登録者ID」という。)が含まれ得る。
オブジェクトの所有者とは、オブジェクトの3次元データを管理または支配する者である。例えば、あるアバターの3次元データの販売者から、そのアバターの3次元データを購入した者は、アバターの3次元データを管理または支配する者であり、アバターの所有者である。参加者は、自身がその3次元データを所有するアバターを使用して、仮想現実空間に参加することがある。したがって、サービス提供サーバ3は、例えば、アバターを使用して仮想現実空化に参加している参加者の利用者IDを、そのアバターの所有者IDとして使用することができる。
オブジェクトの作成者とは、オブジェクトの3次元データを作成した者である。例えば、オブジェクトには、仮想現実空間内の各種の構造物、構造物を構成する各種の部品、草木、アバター、および、アバターが使用可能なアイテム等がある。これらのオブジェクトの3次元データは、すべて誰かが作成したものであるため、それぞれのオブジェクトの3次元データを作成した者は、自身に固有のIDをオブジェクトの3次元データのメタデータとして付与した上で、当該3次元データを、例えば、空間作成者等の他者に提供することができる。したがって、サービス提供サーバ3が管理する空間データに含まれるオブジェクトの3次元データのメタデータには、そのオブジェクトのオブジェクト作成者IDが含まれ得る。
サービス提供サーバ3は、その提供するサービスにおいて有償または無償で利用できるオブジェクトを提供する目的でサービス提供サーバ3にオブジェクトをアップロードした利用者の利用者IDを、オブジェクト作成者IDとして管理してもよい。なお、オブジェクトをアップロードする利用者には、オブジェクト販売者も含まれ得る。
オブジェクトの販売者とは、オブジェクトの3次元データを販売する者である。オブジェクトの3次元データを販売する者は、自身に固有のIDをオブジェクトの3次元データのメタデータとして付与した上で、当該3次元データを、例えば、参加者等の他者に販売することができる。したがって、サービス提供サーバ3が管理する空間データに含まれるオブジェクトの3次元データのメタデータには、そのオブジェクトの販売者IDが含まれ得る。
なお、オブジェクトの販売は、サービス提供サーバ3を介して行われてもよい。オブジェクトの販売者は、例えば、上述の利用者IDを取得した後、例えば、自身の使用する端末から、サービス提供サーバ3にアクセスして、販売対象のオブジェクトの3次元データ、オブジェクトの販売名称またはオブジェクト名、および、販売価格等を登録することで、他の利用者に、オブジェクトを販売することができる。
オブジェクトのお気に入り登録者とは、例えば、販売されているオブジェクトの3次元データに対して、特定の操作をすることで、いわゆる「お気に入り」の情報を登録した者である。このお気に入りを登録した者を特定する、お気に入り登録者IDは、図示しないサーバ等によって、販売されているオブジェクトの3次元データまたはオブジェクトIDと紐づけて管理され得る。サービス提供サーバ3は、管理する空間データに含まれるオブジェクトについて、必要に応じて、当該図示しないサーバ等にアクセスして、そのオブジェクトの3次元データまたはオブジェクトIDと紐づけて管理されているお気に入り登録者IDを取得することができる。
以下では、販売者もお気に入りを登録できる登録者も、いずれもサービス提供サーバ3が提供するサービスの利用者であって、利用者IDを有しているものとして説明する。この場合、販売者IDは、利用者IDと共通であってもよく、お気に入り登録者IDも、利用者IDと共通であってもよい。
また、以下、単に「オブジェクトの3次元データ」という場合には、オブジェクトの3次元データのメタデータも含まれるものとする。
サービス提供サーバ3は、例えば、アバターの3次元データを除く空間データを複製して、1または複数の新たな複製としての空間データを作成するものであってもよい。以下、複製によって新たに作成された空間データを「複製空間データ」という。
例えば、ある空間データへのアバターとしての参加人数が限られている場合、または、ある空間データに、特定の参加者だけで参加したい場合などに、アバターの3次元データを除く当該空間データの複製としての複製空間データが利用できると、参加者にとっての利便性が高い。
サービス提供サーバ3は、複製空間データにも固有のIDを付与して、複製空間データを管理する。サービス提供サーバ3は、複製空間データに固有のIDを、例えば、複製元の空間データに固有のIDと紐づけて管理する。以下、空間データに固有のIDおよび複製空間データに固有のIDを総称して、「空間データID」ともいう。また、以下、空間データおよび複製空間データを総称して、単に「空間データ」ともいう。
サービス提供サーバ3は、ネットワーク5を介して、空間データによって表現される仮想現実空間を用いたサービスを参加者に提供する。
なお、図1では、情報処理システム1は、1台のサービス提供サーバ3のみを有している。しかしながら、情報処理システム1は、1台または複数台のサービス提供サーバ3を有していてもよい。情報処理システム1が複数台のサービス提供サーバ3を有する場合、各サービス提供サーバ3は、例えば、それぞれ、異なる空間データを互いに管理してもよいし、ある1台のサービス提供サーバ3がある空間データを管理する場合に、他のサービス提供サーバ3がその空間データの複製としての複製空間データを管理するものであってもよい。
以下では、図1に示しているのと同様に、情報処理システム1が1台のサービス提供サーバ3を有するものとして説明する。
サービス提供サーバ3は、図示しない記憶部(以下「サービス提供サーバ用記憶部」という。)とアクセス可能である。サービス提供サーバ記憶部には、1または複数の仮想現実空間を表現するための空間データが記憶されている。また、サービス提供サーバ記憶部には、利用者ID、その利用者IDが示す利用者が登録したサービス利用時の利用者名、その利用者IDが示す利用者への通知手段を示す情報(例えば、電子メールアドレス、または、サービス用アプリのアプリ内通知等)等が記憶されている。また、サービス提供サーバ用記憶部には、オブジェクトID等のオブジェクトを特定できる情報と紐づけて、オブジェクトの3次元データ、オブジェクト作成者ID、オブジェクトが販売されているものもしくは販売されたものである場合の販売情報、または、お気に入り登録者ID等が記憶されている。オブジェクトの販売情報には、例えば、オブジェクトの販売者ID、オブジェクトが販売された価格もしくは販売されている価格、オブジェクトが販売された日付、オブジェクトの販売が開始された日付、オブジェクトが特定のセールで販売され購入された場合を示す当該セールに固有のセールID、または、オブジェクトが通常価格で販売され購入された場合を示す通常価格販売ID等が含まれ得る。
(参加端末)
参加端末4は、参加者が仮想現実空間に参加する際に使用される端末である。参加者は、参加端末4を使用して、サービス提供サーバ3にアクセスし、所望の空間データを参加端末4にダウンロードする。参加者は、参加端末4を使用して、空間データによって表現される仮想現実空間にアバターとして参加する。参加者は、アバターを使用せずに、仮想現実空間を単に閲覧するという態様で仮想現実空間に参加することもできる。
参加者が仮想現実空間にアバターとして参加する場合、参加者は、参加端末4を操作することで、仮想現実空間内でアバターを移動させる、アバターの姿勢を変える、または、他のオブジェクトを移動もしくは使用するためにアバターを動かす等して、アバターまたは他のオブジェクトの状態を変更することができる。
参加端末4は、例えば、スマートフォン、タブレット端末またはPC(Personal Computer)である。また、参加端末4は、コントローラとともに使用される、通信機能を有したヘッドマウントディスプレイであってもよい。
例えば、ヘッドマウントディスプレイを頭部に装着しコントローラを手に持った参加者は、頭部もしくは手を動かすこと、または、コントローラのボタン等を操作することにより、ヘッドマウントディスプレイに表示された仮想現実空間に対する操作が可能である。
すなわち、参加端末4は、仮想現実空間を表示し、仮想現実空間に対する操作が可能なデバイスであればよい。
(空間データの共有)
参加者が参加端末4を使用して仮想現実空間にアバターとして参加している場合に、アバターまたは他のオブジェクトの状態を変更するために、参加者が参加端末4を操作すると、参加端末4は、その操作を示す情報(以下「操作情報」という。)に基づいて、ダウンロードした空間データを修正し、仮想現実空間内のアバターまたは他のオブジェクトの状態を変更する。また、参加端末4は、その操作情報を、サービス提供サーバ3に送信する。サービス提供サーバ3は、参加端末4から取得した操作情報に基づいて、管理している空間データのうち、上述のアバターが参加している仮想現実空間の空間データを修正し、その仮想現実空間内のアバターまたは他のオブジェクトの状態を変更する。
このようにして、参加端末4およびサービス提供サーバ3は、ある1つの同じ仮想現実空間内のアバターおよびオブジェクトの状態を、ほぼリアルタイムで、共有することができる。言い換えれば、参加端末4およびサービス提供サーバ3は、ある1つの同じ仮想現実空間の空間データを、ほぼリアルタイムで、共有することができる。
ここで、図1には、1台の参加端末4のみが示されている。しかしながら、情報処理システム1は、通常、複数台の参加端末4を有する。
例えば、複数の参加者がそれぞれ自身の参加端末4から、ある1つの同じ仮想現実空間にアバターとして参加している場合、サービス提供サーバ3は、ある参加端末4から操作情報を取得すると、他のすべての参加端末4にも、その操作情報を送信する。他のすべての参加端末4は、サービス提供サーバ3から上述の操作情報を取得すると、ダウンロードした空間データを修正し、仮想現実空間内のアバターまたは他のオブジェクトの状態を変更する。
このようにして、複数の参加端末4およびサービス提供サーバ3は、ある1つの同じ仮想現実空間内のアバターおよびオブジェクトの状態を、ほぼリアルタイムで、共有することができる。言い換えれば、複数の参加端末4およびサービス提供サーバ3は、ある1つの同じ仮想現実空間の空間データを、ほぼリアルタイムで、共有することができる。
(仮想カメラ)
オブジェクトの1つに、現実のカメラを模した、仮想カメラがある。仮想カメラは、その位置および向き等に応じて仮想現実空間における撮影範囲を規定し、特定の瞬間における当該仮想カメラの位置から見える撮影範囲内の仮想現実空間の状態を(仮想写真として)記録するために、仮想現実空間内において利用されるオブジェクトである。
仮想カメラは、あたかも、現実空間において人がカメラを保持して操作することによって、現実空間内に存在する物体を被写体とする写真を撮影するのと同様に、例えば、典型的には、仮想現実空間においてアバターによって保持されて操作されることで、仮想現実空間内に存在するオブジェクトを被写オブジェクトとする、仮想写真を撮影するために利用され得る。また、仮想カメラは、あたかも、現実空間において人がカメラを三脚に固定して所定位置に配置した上で操作することによって、現実空間内で集合写真の撮影またはいわゆる自撮り写真を撮影するのと同様に、例えば、仮想現実空間においてアバターによって所定位置に固定されて操作されることで、仮想現実空間内に存在する複数のアバターの集合(仮想)写真または自撮り仮想写真を撮影するために利用され得る。
つまり、この仮想カメラは、例えば参加端末4のディスプレイに仮想現実空間を表示するために、単に仮想現実空間内のどの位置からどの角度で仮想現実空間を見るかを定める、つまり、単に視点を定める役割を持つようなもの(それも一般的にはカメラとも呼ばれる。以下「視点カメラ」という。)とは、異なるものである。
仮想カメラは、オブジェクトの1つであるため、その他のオブジェクトと同様に、その実体は、3次元形状情報、サイズ情報、彩色情報、位置情報、および、向き情報を含む、3次元データである。仮想カメラの3次元データには、上記の各情報に加えて、メタデータとして、画角等の仮想カメラ特有の情報も含まれる。
(仮想写真)
仮想写真には、仮想カメラが撮影のために操作された時点(以下「撮影時」という。)における、仮想カメラの位置および向きから見た場合の、仮想現実空間内の1または複数のオブジェクトが写っている。仮想写真は、2次元画像であり、その実体は、現実のデジタル写真と同様に、縦方向と横方向にそれぞれ所定のピクセル数を有する2次元データである。
また、仮想写真の実体は、2次元データではあるが、オブジェクトの1つとすることもできる。つまり、仮想写真の2次元データは、厚みのない3次元データとしても扱われ得るものである。仮想写真の3次元データは、その他のオブジェクトと同様に、3次元形状情報、サイズ情報、彩色情報、位置情報、および、向き情報を含む。
例えば、仮想現実空間内のアバターは、仮想写真を他のオブジェクトと同様に保持し、移動させる等して、その状態を変更させ得る。
仮想写真の生成は、参加端末4またはサービス提供サーバ3の少なくともいずれか一方で行われる。
例えば、仮想写真を撮影するための操作が仮想カメラに対してなされると、まず、仮想現実空間内に配置された1または複数のオブジェクトのうち、撮影時の仮想カメラの撮影範囲内に含まれる1または複数のオブジェクトが特定される(以下「範囲内オブジェクト特定」という。)。撮影時の仮想カメラの撮影範囲は、撮影時の仮想カメラの位置情報、向き情報および画角情報等に基づいて特定される。以下、少なくとも、撮影時の仮想カメラの位置情報、向き情報、および、画角情報を含む情報を、「カメラ情報」ともいう。
撮影範囲は、3次元形状であり、例えば、仮想カメラの位置を頂点とする四角錐の形状、または、当該四角錐の頂点位置から一定の距離までの部分を除いた四角錐台の形状を有する。
撮影時の仮想カメラの撮影範囲内に含まれる1または複数のオブジェクトは、撮影範囲を示す3次元形状情報と、仮想現実空間内に配置された1または複数のオブジェクトの3次元形状情報、サイズ情報、撮影時の位置情報および向き情報等から、特定することができる。
範囲内オブジェクト特定がなされると、次に、特定された1または複数のオブジェクト(以下「範囲内オブジェクト」という。)について、それぞれ、遮蔽物となる他のオブジェクトの存在によって、仮想カメラの位置から見て、その一部または全部が不可視となるか否かが判定される(以下「遮蔽判定」という。)。
例えば、仮想現実空間内に2つのオブジェクトが配置されており、いずれも仮想カメラの撮影範囲内にあり、かつ、仮想カメラの位置から見て、一方のオブジェクトが他方のオブジェクトの手前にある場合、一方のオブジェクトは仮想写真に写るが、他方のオブジェクトのうち一方のオブジェクトの背後にある部分は、仮想写真には写らない。一方のオブジェクトのサイズと位置、および、他方のオブジェクトのサイズと位置の関係によっては、仮想カメラの位置から見て、他方のオブジェクトの全体が一方のオブジェクトの背後となり、他方のオブジェクトが全く仮想写真に写らないこともあり得る。
遮蔽判定は、範囲内オブジェクトのそれぞれについて、このような状態が生じているか否かを判定する処理である。
遮蔽判定が行われると、次に、その遮蔽判定の判定結果と範囲内オブジェクトの彩色情報等に基づいて仮想写真の各ピクセルの色等が特定され、仮想写真の2次元データを生成することができる。
上述のとおり、仮想写真の生成は、仮想現実空間内の1または複数のオブジェクトの3次元形状情報、サイズ情報および彩色情報、撮影時における各オブジェクトの位置情報、向き情報および姿勢情報、ならびに、撮影時の仮想カメラの位置情報、向き情報および画角情報等に基づいて行うことができる。
これらの情報は、いずれも、空間データに含まれる情報であり、また、空間データは、ほぼリアルタイムで参加端末4とサービス提供サーバ3とで共有されている。したがって、参加端末4が後述の撮影操作を示す操作情報も含めた操作情報をサービス提供サーバ3に送信する場合、参加端末4とサービス提供サーバ3のいずれもが、仮想写真の生成を行うことができる。
以下では、少なくとも参加端末4が仮想写真の生成を行い、仮想写真に関する後述の写真情報等は、参加端末4から情報処理装置2に送信されるものとして説明する。しかしながら、上述のように、サービス提供サーバ3も仮想写真の生成を行うことができる。サービス提供サーバ3が仮想写真の生成を行う場合、写真情報等は、参加端末4から情報処理装置2に送信されることに代えて、サービス提供サーバ3から情報処理装置2に送信されてもよい。
なお、参加端末4とサービス提供サーバ3の両方が、ともに仮想写真を生成する場合は、後述の写真IDを生成するためのルールを、参加端末4とサービス提供サーバ3とで共通のルールにしておくことも可能である。
仮想写真の2次元データには、参加端末4またはサービス提供サーバ3によって、固有のID(以下「写真ID」という。)が付与される。参加端末4は、自身が生成した仮想写真の2次元データと写真IDと紐づけて、参加端末4が有する図示しない記憶部(以下「参加端末用記憶部」という。)に保存してもよい。また、サービス提供サーバ3が仮想写真を生成しない場合、参加端末4は、自身が生成した仮想写真の2次元データと写真IDと当該参加端末4を使用して仮想現実空間に参加して仮想写真を撮影した参加者の利用者IDとを紐づけて、サービス提供サーバ3に送信してもよい。サービス提供サーバ3は、参加端末4から、これらの情報を取得すると、仮想写真の2次元データと写真IDを、既にサービス提供サーバ用記憶部に記憶された利用者IDと紐づけて、サービス提供サーバ用記憶部に記憶させる。
参加者が参加端末4を使用して仮想現実空間に例えばアバターとして参加している場合に、仮想カメラを利用して仮想写真を撮影するために、参加者が参加端末4を操作(以下「撮影操作」という。)すると、参加端末4は、仮想写真を生成するとともに生成した仮想写真に写真IDを付与する。また、参加端末4は、カメラ情報と、生成した仮想写真の写真情報と、範囲内オブジェクトの情報(以下「オブジェクト情報」という。)とを、情報処理装置2に送信する。
写真情報には、少なくとも写真IDが含まれる。また、写真情報には生成された仮想写真の2次元データが含まれてもよい。また、写真情報には、仮想写真の撮影時刻が含まれていてもよい。
オブジェクト情報は、少なくとも、各範囲内オブジェクトの3次元形状情報、サイズ情報、オブジェクトID、撮影時の位置情報を含む情報である。また、オブジェクト情報には、加えて、各範囲内オブジェクトの撮影時の向き情報、撮影時の姿勢情報、または、オブジェクトID以外のメタデータも含まれ得る。オブジェクトID以外のメタデータには、例えば、所有者ID、オブジェクトの販売に関する販売情報等が含まれていてもよい。
以下、カメラ情報と写真情報とを合わせて、「撮影情報」という。
(情報処理装置の詳細)
以下、情報処理装置2の詳細について説明する。図1に示すように、情報処理装置2は、通信部21、演算部22、および、記憶部23を備える。
通信部21は、ネットワーク5を介して、サービス提供サーバ3および参加端末4と通信を行う。また、例えば、通信部21は、LTE、3G、4Gまたは5Gなどの通信方式によるモバイル通信が可能な通信装置であり、ネットワーク5に接続されたサービス提供サーバ3および参加端末4といった他の機器との通信を行う。また、通信部21は、Bluetooth(登録商標)等の近距離無線通信手段を備えていてもよい。
演算部22は、情報処理装置2の全体動作を制御する。演算部22は、撮影情報取得部221、オブジェクト情報取得部222、判定部223、判定結果取得部224、紐づけ部225、検索キー取得部226、検索結果取得部227、通知部228、および、表示情報生成部229を備える。演算部22が情報処理アプリケーションを実行することで、演算部22により、撮影情報取得部221、オブジェクト情報取得部222、判定部223、判定結果取得部224、紐づけ部225、検索キー取得部226、検索結果取得部227、通知部228、および、表示情報生成部229の各機能が実現される。
記憶部23は、例えば、情報処理アプリケーションと、演算部22の演算処理に用いられる情報を記憶する。記憶部23は、情報処理装置2として機能するコンピュータが備える記憶装置であり、HDD(Hard Disk Drive)もしくはSSD(Solid State Drive)等のストレージ、または、図2のメモリ103等を含むものである。なお、記憶部23は、情報処理装置2がアクセス可能なものであればよく、情報処理装置2の外部に設けられていてもよい。
図2は、情報処理装置2の機能を実現するハードウェア構成を示すブロック図である。例えば、情報処理装置2は、ハードウェア構成として、通信インタフェース100、入出力インタフェース101、プロセッサ102およびメモリ103を有する。情報処理装置2が備える、撮影情報取得部221、オブジェクト情報取得部222、判定部223、判定結果取得部224、紐づけ部225、検索キー取得部226、検索結果取得部227、通知部228、および、表示情報生成部229の各機能は、これらのハードウェア構成において、情報処理アプリケーションが実行されることで実現される。
通信インタフェース100は、ネットワーク5を介してサービス提供サーバ3および参加端末4等から受信されたデータをプロセッサ102へ出力し、プロセッサ102が生成したデータを、ネットワーク5を介して、サービス提供サーバ3および参加端末4等へ送信する。プロセッサ102は、入出力インタフェース101を介して、図1における記憶部23に対しデータを読み書きする。
情報処理装置2が備える、撮影情報取得部221、オブジェクト情報取得部222、判定部223、判定結果取得部224、紐づけ部225、検索キー取得部226、検索結果取得部227、通知部228、および、表示情報生成部229の各機能を実現するための情報処理アプリケーションを構成するプログラムは、記憶部23に記憶されている。
プロセッサ102は、入出力インタフェース101を介して記憶部23に記憶されたプログラムを読み出してメモリ103にロードし、メモリ103にロードされたプログラムを実行する。これにより、プロセッサ102は、撮影情報取得部221、オブジェクト情報取得部222、判定部223、判定結果取得部224、紐づけ部225、検索キー取得部226、検索結果取得部227、通知部228、および、表示情報生成部229の各機能を実現する。メモリ103は、例えば、RAM(Random Access Memory)である。
(撮影情報取得部)
撮影情報取得部221は、仮想現実空間内において利用される仮想カメラに関するカメラ情報と、仮想カメラにより撮影された仮想写真に関する写真情報とを含む撮影情報を取得する。
参加者が参加端末4を使用して仮想現実空間に例えばアバターとして参加している場合に、アバターによって保持される仮想カメラを利用して仮想写真を撮影するために、撮影操作をすると、参加端末4は、仮想写真を生成するとともに生成した仮想写真に写真IDを付与し、さらに、カメラ情報と生成した仮想写真の写真情報とを、撮影情報として情報処理装置2の撮影情報取得部221に送信する。
撮影情報取得部221は、参加端末4から撮影情報を取得すると、取得した撮影情報を判定部223に出力する。また、撮影情報取得部221は、撮影情報を、記憶部23に記憶させる。
(オブジェクト情報取得部)
オブジェクト情報取得部222は、仮想現実空間内に配置された1または複数のオブジェクトのうち、仮想写真が撮影されたときの仮想カメラの撮影範囲内に含まれる1または複数のオブジェクト(範囲内オブジェクト)に関するオブジェクト情報を取得する。
参加端末4は、仮想写真を生成する際、範囲内オブジェクト特定の処理を行い、範囲内オブジェクトを特定する。参加端末4は、範囲内オブジェクトのオブジェクト情報を、情報処理装置2のオブジェクト情報取得部222に送信する。
オブジェクト情報取得部222は、取得した範囲内オブジェクトのオブジェクト情報を、判定部223に出力する。また、取得した範囲内オブジェクトのオブジェクト情報を、記憶部23に記憶させる。
図3は、仮想写真撮影の一例を示す概念図である。図3には、仮想現実空間内に配置された、4つのアバターA1~A4、1つの木オブジェクトC1、2つの荷物オブジェクトC2~C3、および、仮想カメラVCが示されている。なお、この仮想現実空間内には、図3に示された上記オブジェクトの他にも、1または複数のオブジェクトが配置され得るが、それらのオブジェクトは撮影範囲外に配置されているため、図示は省略されている。
図3において、仮想カメラVCは、アバターA1によって保持されている。仮想カメラVCの撮影範囲(図3において点線で示されている)には、3つのアバターA2~A4、1つの木オブジェクトC1、および、2つの荷物オブジェクトC2~C3が存在する。
図3に示す状態では、仮想カメラの位置から見て、例えば、アバターA2の下半身部分は、荷物オブジェクトC2によって遮蔽され、また、アバターA4の上半身を含む大部分は、木オブジェクトC1によって遮蔽されている。
この状態で、仮想カメラVCを利用して仮想写真を撮影するために、アバターA1を使用して仮想現実空間に参加している参加者が、参加端末4に対して撮影操作をすると、参加端末4は、仮想写真を生成する。
参加端末4は、例えば、上述の範囲内オブジェクト特定の処理によって、仮想カメラVCの撮影範囲に存在していた、3つのアバターA2~A4、1つの木オブジェクトC1、および、2つの荷物オブジェクトC2~C3を範囲内オブジェクトとして特定する。
また、参加端末4は、例えば、上述の遮蔽判定の処理によって、例えば、アバターA2の下半身部分は、荷物オブジェクトC2によって遮蔽され、また、アバターA4の上半身を含む大部分は、木オブジェクトC1によって遮蔽されているために、仮想写真に写らないことを判定する。
なお、上述のとおり、参加端末4は、範囲内オブジェクトのオブジェクト情報、つまり、図3に示した例では、3つのアバターA2~A4、1つの木オブジェクトC1、および、2つの荷物オブジェクトC2~C3のオブジェクト情報を、情報処理装置2のオブジェクト情報取得部222に送信する。
図4は、仮想写真の一例を示す画面図である。図4には、図3の状態においてなされた撮影操作によって生成された仮想写真VPが示されている。仮想写真VPには、3つのアバターA2~A4、1つの木オブジェクトC1、および、2つの荷物オブジェクトC2~C3が写っているが、例えば、アバターA2の下半身部分およびアバターA4の上半身を含む大部分は、写っていない。
なお、上述のとおり、参加端末4は、仮想写真VPを生成すると、生成した仮想写真VPに写真IDを付与し、さらに、カメラ情報と生成した仮想写真VPの写真情報とを、撮影情報として情報処理装置2の撮影情報取得部221に送信する。
(判定部)
判定部223は、撮影情報取得部221から撮影情報を取得し、オブジェクト情報取得部222から範囲内オブジェクトのオブジェクト情報を取得すると、撮影情報に含まれるカメラ情報とオブジェクト情報とに基づいて、範囲内オブジェクトのそれぞれについて、仮想写真に写った被写オブジェクトとするか否かを判定する(以下「被写オブジェクト判定」という。)。
判定部223が、被写オブジェクト判定において、どの範囲内オブジェクトを被写オブジェクトと判定するか否かを定めた条件(以下「判定条件」という。)は、予め設定され、例えば、記憶部23に記憶されている。判定条件は、例えば、サービス提供サーバ3を使用してサービスを提供する団体または個人によって決定され、情報処理装置2に対する操作によって予め設定される。
判定部223は、1または複数の範囲内オブジェクトの全てを対象に、それぞれが被写オブジェクトであるか否かを判定する。
被写オブジェクト判定において、判定部223は、カメラ情報と範囲内オブジェクトのオブジェクト情報を利用することで、仮想写真において、判定対象となっている範囲内オブジェクトがどの程度の大きさ、どのような向きもしくは姿勢で写っているのか、当該範囲内オブジェクトがどの程度遮蔽されているのか、または、当該範囲内オブジェクトのどの部分が遮蔽されているのか等を算出できる。判定部223は、その算出の結果と判定条件とを比較することで、被写オブジェクト判定を行うことができる。
判定条件の内容は、任意に設定され得る。
例えば、判定条件は、判定対象となっている範囲内オブジェクトについて、仮に、その範囲内オブジェクトが全く遮蔽されていないことを想定した場合の仮想写真に写り得る面積に対し、実際に仮想写真に写っている部分の面積が所定の閾値以上であれば、被写オブジェクトと判定し、所定の閾値未満であれば、被写オブジェクトではない範囲内オブジェクト(以下「非被写オブジェクト」という。)と判定するものであってよい。所定の閾値は、例えば、50%である。
また、例えば、判定条件は、判定対象となっている範囲内オブジェクトについて、仮に、その範囲内オブジェクトが全く遮蔽されていないことを想定した場合の仮想写真に写り得る面積の仮想写真全体の面積に対する割合が所定の閾値以上であれば、被写オブジェクトと判定し、所定の閾値未満であれば、非被写オブジェクトと判定するものであってよい。所定の閾値は、例えば、0.1%である。
また、例えば、判定条件は、判定対象となっている範囲内オブジェクトについて、仮想写真に写っている面積の仮想写真全体の面積に対する割合が所定の閾値以上であれば、被写オブジェクトと判定し、所定の閾値未満であれば、非被写オブジェクトと判定するものであってよい。所定の閾値は、例えば、0.1%である。
また、例えば、判定条件は、判定対象となっている範囲内オブジェクトの中心点が仮想写真に写っていれば被写オブジェクトと判定し、写っていなければ、非被写オブジェクトと判定するものであってもよいし、または、同範囲内オブジェクトにおいて予め設定された複数の代表点(中心点も含み得る)のうち、仮想カメラの位置から一定距離以内にありかつ写真に写っている代表点の数の割合が所定の閾値以上であれば、被写オブジェクトと判定し、所定の閾値未満であれば、非被写オブジェクトと判定するものであってよい。所定の閾値は、例えば、50%である。
また、例えば、判定条件は、判定対象となっている範囲内オブジェクトがアバターの場合、仮に、そのアバターが全く遮蔽されていないことを想定した場合の仮想写真に写り得るアバターの頭部の面積に対し、実際に仮想写真に写っている頭部の面積が所定の閾値以上であれば、アバターの他の部分が遮蔽されているか否かにかかわらず、被写オブジェクトと判定し、所定の閾値未満であれば、非被写オブジェクトと判定するものであってよい。所定の閾値は、例えば、50%である。
また、例えば、判定条件は、判定対象となっている範囲内オブジェクトがアバターの場合、アバターの頭部正面の向きが、仮想カメラと当該頭部を結ぶ直線に対し、所定の角度範囲内にあれば、被写オブジェクトと判定し、所定の角度範囲外であれば、非被写オブジェクトと判定するものであってよい。所定の角度範囲は、アバターの頭部正面の向きが仮想カメラの方向を向いている状態におけるアバターの頭部正面の向きの角度を0°とした場合に、例えば、-90°~+90°の範囲である。
また、判定条件は、上述の例を2つ以上組み合わせた条件であってもよい。
また、上述のとおり、判定条件の内容は、任意に設定されうるものであり、上述の例に限らない。
判定部223は、各範囲内オブジェクトのオブジェクト情報に、その範囲内オブジェクトについての被写オブジェクト判定の結果を付与する。判定部223は、例えば、ある範囲内オブジェクトが被写オブジェクトと判定された場合は、その範囲内オブジェクトのオブジェクト情報に、被写オブジェクト判定の結果を示すフラグとして「1」を付与し、非被写オブジェクトと判定された場合は、その範囲内オブジェクトのオブジェクト情報に、被写オブジェクト判定の結果を示すフラグとして「0」を付与する。
以下、少なくとも範囲内オブジェクトを特定できる情報(例えば、オブジェクトID)と被写オブジェクト判定の結果とが紐づけられた情報を、「判定結果」という。
判定部223は、判定結果を、判定結果取得部224に出力する。判定部223は、例えば、1または複数の範囲内オブジェクトの全てについて、判定結果が付与された各範囲内オブジェクトのオブジェクト情報を、判定結果取得部224に出力することで、判定結果を、判定結果取得部224に出力する。または、判定部223は、例えば、1または複数の範囲内オブジェクトの全てについて、各範囲内オブジェクトに対する判定結果とその範囲内オブジェクトのオブジェクトIDとを紐づけて、判定結果取得部224に出力することで、判定結果を、判定結果取得部224に出力してもよい。
なお、判定部223は、情報処理装置2ではなく、参加端末4またはサービス提供サーバ3のいずれかに備えられていてもよい。その場合の詳細については、後述する。
(判定結果取得部)
判定結果取得部224は、カメラ情報とオブジェクト情報とに基づいて、撮影範囲内に含まれる1または複数のオブジェクト(範囲内オブジェクト)のそれぞれについて、仮想写真に写った被写オブジェクトとするか否かが判定された判定結果を取得する。
判定結果取得部224は、判定部223から、判定結果を取得すると、取得した判定結果を、紐づけ部225に出力する。
判定結果取得部224は、例えば、1または複数の範囲内オブジェクトの全てについて、判定結果が付与された各範囲内オブジェクトのオブジェクト情報を、紐づけ部225に出力することで、判定結果を、紐づけ部225に出力する。または、判定結果取得部224は、例えば、1または複数の範囲内オブジェクトの全てについて、各範囲内オブジェクトに対する判定結果とその範囲内オブジェクトのオブジェクトIDとを紐づけて、紐づけ部225に出力することで、判定結果を、紐づけ部225に出力してもよい。
(紐づけ部)
紐づけ部225は、判定結果に基づいて、オブジェクト情報と写真情報とを紐づける。
紐づけ部225は、判定結果取得部224から判定結果を取得すると、取得した判定結果に基づいて、紐づけの対象となる範囲内オブジェクトのオブジェクト情報に含まれる情報のうち少なくともオブジェクトIDを、写真情報に含まれる写真IDと紐づけて、記憶部23に記憶させる。
紐づけ部225が行う、判定結果に基づく、オブジェクト情報と写真情報との紐づけの態様としては、種々の態様が採用され得る。
例えば、紐づけ部225は、被写オブジェクトとすると判定された範囲内オブジェクトのオブジェクト情報を、写真情報と紐づけ、被写オブジェクトとしないと判定された範囲内オブジェクトである非被写オブジェクトのオブジェクト情報を、写真情報と紐づけないとの処理を行うものであってよい。
また、例えば、紐づけ部225は、被写オブジェクトとすると判定された範囲内オブジェクトのオブジェクト情報と、被写オブジェクトとしないと判定された範囲内オブジェクトである非被写オブジェクトのオブジェクト情報とを、区別して写真情報と紐づけるとの処理を行うものであってもよい。
この場合、紐づけ部225は、例えば、被写オブジェクトのオブジェクトIDと被写オブジェクトを示すフラグ「1」とを、写真IDと紐づけて、記憶部23に記憶させ、非被写オブジェクトのオブジェクトIDと非被写オブジェクトを示すフラグ「0」とを、写真IDと紐づけて、記憶部23に記憶させる。
また、例えば、紐づけ部225は、予め設定された特定の範囲内オブジェクトについては、その範囲内オブジェクトが被写オブジェクトとすると判定されたか非被写オブジェクトと判定されたかにかかわらず、その範囲内オブジェクトのオブジェクト情報を写真情報と紐づけるとの処理、または、逆に、その範囲内オブジェクトが被写オブジェクトとすると判定されたか非被写オブジェクトと判定されたかにかかわらず、その範囲内オブジェクトのオブジェクト情報を写真情報とは紐づけないとの処理を行うものであってもよい。
前者については、例えば、1または複数の特定のアバター、すべてのアバター、1または複数の特定のアイテム、または、すべてのアイテムのいずれかが、そのオブジェクト情報が写真情報と必ず紐づけられる特定の範囲内オブジェクトとして予め設定され得る。後者については、例えば、仮想現実空間を構成する背景としてのオブジェクトおよび背景に類するオブジェクトが、そのオブジェクト情報が写真情報と紐づけられることのない特定の範囲内オブジェクトとして予め設定され得る。
紐づけ部225は、紐づけの処理が終了した後、オブジェクト情報と写真情報とが紐づけられたデータ(以下「紐づけ済写真情報」という。)を、その写真情報を含む撮影情報を送信した参加端末4に、送信してもよい。この場合、参加端末4から撮影情報取得部221に送信される撮影情報に、例えば、その参加端末4を使用して仮想現実空間にアバターとして参加し、仮想カメラを利用して仮想写真を撮影するために撮影操作をした参加者の利用者IDを含めておけばよい。紐づけ部225は、撮影情報取得部221から記憶部23等を経由して、利用者IDを特定することができる。
また、紐づけ部225は、紐づけの処理が終了した後、紐づけ済写真情報を、サービス提供サーバ3に送信してもよい。
なお、参加端末4は、仮想写真を生成する過程で、既に範囲内オブジェクトを特定しているため、参加端末4が仮想写真を生成した時点で、仮想写真の写真情報とオブジェクト情報とは紐づけがされているとも解釈され得る。その解釈を前提とすれば、紐づけ部225による、紐づけの処理は、既に写真情報と紐づけられたオブジェクト情報を、判定結果に基づき、修正する処理ともいえる。
言い換えれば、紐づけ部225による、紐づけ処理は、何らオブジェクト情報と紐づけられていない写真情報に新たにオブジェクト情報を紐づける処理と、または、既にオブジェクト情報と紐づけられた写真情報における紐づけられたオブジェクト情報を修正する処理とのいずれか、または、その両方の処理を含み得るものである。
上述のとおり、オブジェクトにはアバターも含まれる。したがって、撮影範囲内に1または複数のアバターが含まれる場合、判定部223は、撮影情報に含まれるカメラ情報と1または複数のアバターも含めた範囲内オブジェクトのオブジェクト情報とに基づいて、範囲内オブジェクトのそれぞれについて、被写オブジェクト判定を行う。
そして、判定結果取得部224は、撮影範囲内に含まれる1または複数のオブジェクト(範囲内オブジェクト)としての1または複数のアバターのそれぞれについて、被写オブジェクト判定の判定結果を取得し、紐づけ部225は、判定結果に基づいて、アバターに関するオブジェクト情報と写真情報とを紐づける。
紐づけ部225は、オブジェクト情報に加えて、仮想カメラを利用して仮想写真を撮影した仮想現実空間の利用者を特定する利用者特定情報と写真情報とを紐づけてもよい。
仮想カメラを利用して仮想写真を撮影した仮想現実空間の利用者とは、例えば、参加端末4を使用して仮想現実空間にアバターとして参加し、仮想カメラを利用して仮想写真を撮影するために、撮影操作をした参加者である。そして、上記の場合、利用者特定情報とは、その参加者の利用者IDである。
この場合、参加端末4から撮影情報取得部221に送信される撮影情報に、例えば、その参加端末4を使用して仮想現実空間にアバターとして参加し、仮想カメラを利用して仮想写真を撮影するために撮影操作をした参加者の利用者IDを含めておけばよい。紐づけ部225は、撮影情報取得部221から記憶部23等を経由して、利用者IDを特定することができる。
紐づけ部225は、オブジェクト情報に加えて、仮想カメラを利用して仮想写真が撮影された仮想現実空間を特定する空間特定情報と写真情報とを紐づけてもよい。
仮想現実空間を特定する空間特定情報とは、空間データIDである。
この場合、参加端末4から撮影情報取得部221に送信される撮影情報に、例えば、その参加端末4を使用して参加者が参加している仮想現実空間の空間データIDを含めておけばよい。紐づけ部225は、撮影情報取得部221から記憶部23等を経由して、空間データIDを特定することができる。
または、紐づけ部225は、オブジェクト情報に加えて、仮想カメラを利用して仮想写真が撮影された仮想現実空間においてその仮想写真の撮影時に開催されていたイベントに関連するイベント情報と前記写真情報とを紐づけてもよい。
この場合、参加端末4から撮影情報取得部221に送信される撮影情報に、例えば、その参加端末4を使用して参加者が参加している仮想現実空間においてその仮想写真の撮影時に開催されていたイベントに関連するイベント情報(イベントID、開催者IDまたはそれらの両ID)を含めておけばよい。紐づけ部225は、撮影情報取得部221から記憶部23等を経由して、イベント情報を特定することができる。
紐づけ部225は、オブジェクト情報に加えて、または、オブジェクト情報として、オブジェクト情報に対応するオブジェクトの販売に関する販売情報と写真情報とを紐づけてもよい。
上述のとおり、販売情報は、オブジェクトID等のオブジェクトを特定情報できる情報と紐づけてサービス提供サーバ3のサービス提供サーバ用記憶部に記憶されている。例えば、紐づけ部225は、サービス提供サーバ3にアクセスして、販売情報の取得対象となる範囲内オブジェクトのオブジェクトIDを検索キーとして送信することによって、サービス提供サーバ3から、サービス提供サーバ用記憶部に記憶されている範囲内オブジェクトの販売情報を、検索結果として取得することができる。
また、上述のとおり、オブジェクト情報には、販売情報が含められていることもある。この場合、参加端末4からオブジェクト情報取得部222に送信されるオブジェクト情報に、例えば、オブジェクトの販売情報を含めておけばよい。紐づけ部225は、オブジェクト情報取得部222から記憶部23等を経由して、範囲内オブジェクトの販売情報を取得することができる。
紐づけ部225は、写真情報と紐づけられるオブジェクト情報を含むメタデータに基づく検索の可否を示す検索可否情報を、オブジェクトごとに写真情報と紐づけてもよい。
特に写真情報に仮想写真の2次元データが含まれる場合、写真情報と紐づけられたオブジェクト情報、言い換えれば、紐づけ済写真情報に含まれるオブジェクト情報は、写真情報のメタデータといえる。
写真情報のメタデータには、例えば、上述の利用者ID、空間データID、販売情報等がある。空間データID、および、利用者IDのうち空間作成者の利用者ID等は、写真情報と紐づけられ得るが、オブジェクト情報以外のメタデータである。また、写真情報には、仮想写真が撮影された時刻が含まれることもあるが、当該時刻も、写真情報のメタデータともいえるものである。このように写真情報と紐づけられるメタデータには、オブジェクト情報以外のメタデータも含まれ得る。
相当数の紐づけ済写真情報が情報処理装置2の記憶部23に記憶された場合、後述と同様に、情報処理装置2は、写真情報と紐づけられるメタデータのいずれかを検索キーとして、写真情報の検索を行うサービスを利用者に提供することができる。この場合、写真情報には、写真IDと仮想写真の2次元データとが含まれているものとする。
しかしながら、範囲内オブジェクトの中には、その範囲内オブジェクトの所有者等が、検索によって、その範囲内オブジェクトが写った仮想写真の写真情報を他者が取得することを望まない場合もある。例えば、範囲内オブジェクトがアバターの場合、そのアバターを使用して仮想現実空間に参加する参加者が意図していない写真情報が他者によって取得されると、その参加者にとっては、プライバシーが侵害されたと感じることもあり得る。
そこで、サービス提供サーバ3は、オブジェクトの所有者等が、オブジェクトID等のそのオブジェクトを特定できる情報と紐づけて、そのオブジェクトの検索可否を示す検索可否情報を登録するための機能を有し得る。
例えば、アバターを使用して仮想現実空間に参加することを予定する参加者は、サービスの利用者としての登録時等に、自身が所有するアバターのオブジェクトIDと紐づけて、サービス提供サーバ3に、検索可否情報を登録する。サービス提供サーバ3は、検索可否情報を、例えば、検索可の場合はフラグ「1」とし、検索不可の場合はフラグ「0」を付与して、上記利用者が所有するアバターのオブジェクトIDと紐づけて、サービス提供サーバ用記憶部に記憶させる。
紐づけ部225は、サービス提供サーバ3にアクセスして、検索可否情報の取得対象となる範囲内オブジェクトのオブジェクトIDを検索キーとして送信することによって、サービス提供サーバ3から、サービス提供サーバ用記憶部に記憶されている範囲内オブジェクトの検索可否情報を、検索結果として取得することができる。
また、紐づけ部225は、検索可否を、仮想写真が撮影された環境から判定し、検索可否情報を生成してもよい。例えば、サービス提供サーバ3のサービス提供サーバ用記憶部には、空間データIDごとに、検索可否を示すフラグ等の検索可否情報が紐づけられて予め記憶され得る。
この場合、参加端末4から撮影情報取得部221に送信される撮影情報に、例えば、その参加端末4を使用して参加者が参加している仮想現実空間の空間データIDを含めておけばよい。紐づけ部225は、撮影情報取得部221から記憶部23等を経由して、空間データIDを特定し、サービス提供サーバ3にアクセスして、空間データIDに紐づけられた検索可否情報を取得することができる。
(検索キー取得部、検索結果取得部)
情報処理装置2は、さらに、写真情報を検索するための検索キーとしてオブジェクト情報を取得する、検索キー取得部226と、オブジェクト情報に基づいて検索された写真情報を取得する、検索結果取得部227と、を備えてもよい。
相当数の紐づけ済写真情報が情報処理装置2の記憶部23に記憶された場合、情報処理装置2は、写真情報と紐づけられるオブジェクト情報のうち、例えば、オブジェクトID、所有者ID等を検索キーとして、写真情報の検索を行うサービス(以下「検索サービス」という。)を利用者に提供することができる。この場合、写真情報には、写真IDと仮想写真の2次元データとが含まれているものとする。
検索サービスの利用者は、例えば、サービス提供サーバ3が提供する仮想現実空間を用いたサービスの利用者として登録された利用者である。
検索サービスの利用者が、自身の使用する端末(以下「検索用端末」という。)を操作して、情報処理装置2にアクセスした後、検索用端末に検索キーを入力して送信すると、情報処理装置2の検索キー取得部226は、検索用端末から送信された検索キーを取得する。なお、検索用端末は、参加端末4として使用される端末であってもよい。
検索キー取得部226は、検索キーを取得すると、取得した検索キーを、検索結果取得部227に出力する。
検索結果取得部227は、検索キー取得部226から検索キーを取得すると、記憶部23にアクセスして、検索キーに該当するオブジェクト情報と紐づけられた写真情報、または、その写真情報およびその写真情報と紐づけられたオブジェクト情報(紐づけ済写真情報)を、検索結果として取得する。また、検索キー取得部226は、記憶部23に、検索キーに該当するオブジェクト情報と紐づけられた写真情報が記憶されていない場合、検索キーに該当するオブジェクト情報と紐づけられた写真情報が取得できなかった旨を示す情報を検索結果として取得する。
検索結果取得部227は、検索結果を取得すると、取得した検索結果を検索用端末に送信する。
情報処理装置2は、写真情報を検索するための検索キーとして空間特定情報を取得する、検索キー取得部226と、空間特定情報に基づいて検索された写真情報を取得する、検索結果取得部227と、を備えるものであってもよい。
情報処理装置2は、写真情報と紐づけられるオブジェクト情報のメタデータのうち、空間特定情報、すなわち、空間データIDを検索キーとして、写真情報の検索を行う検索サービスを利用者に提供することができる。この場合も、写真情報には、写真IDと仮想写真の2次元データとが含まれているものとする。
検索キー取得部226と検索結果取得部227とが行う処理については、上述のオブジェクト情報を検索キーとする場合と同様であるため、説明は省略する。
なお、検索キー取得部226は、検索キーとして、オブジェクト情報のみを取得できるものであっても、空間特定情報のみを取得できるものであっても、その両方を取得できるものであってもよい。また、紐づけ部225による、写真情報との紐づけは、例えば、イベント情報等とも行うことができる。したがって、検索キー取得部226は、オブジェクト情報および空間特定情報以外の写真情報のメタデータを検索キーとして取得するものであってもよい。いずれの場合も、検索結果取得部227は、検索キー取得部226から取得した検索キーに基づいた検索結果を取得する。
情報処理装置2は、写真情報を検索するための検索キーとしてオブジェクト情報を取得する、検索キー取得部226と、オブジェクト情報に基づいて検索された写真情報であって、検索可であることを示す検索可否情報が紐づけられた写真情報を取得する、検索結果取得部227と、を備える。
紐づけ部225が、上述のように、検索可否情報を、オブジェクトごとに写真情報と紐づけるものであって、記憶部23に、写真情報と紐づけて検索可否情報が記憶されている場合、検索結果取得部227は、検索キーに該当するオブジェクト情報と紐づけられた写真情報が検索されたとしても、その写真情報と紐づけられた検索可否情報が検索不可(例えばフラグ「0」)を示していた場合は、その検索された写真情報を取得することなく、代わりに、例えば、検索キーに該当するオブジェクト情報と紐づけられた写真情報が取得できなかった旨を示す情報を検索結果として取得する。
一方、検索結果取得部227は、検索キーに該当するオブジェクト情報と紐づけられた写真情報が検索され、その写真情報と紐づけられた検索可否情報が検索可(例えばフラグ「1」)を示していた場合は、その検索された写真情報を検索結果として取得する。
検索結果取得部227は、いずれの場合も、検索結果を取得すると、取得した検索結果を検索用端末に送信する。
なお、情報処理装置2による検索サービスは、写真情報と何らかのオブジェクト情報とが紐づけられていれば、提供可能である。つまり、検索サービスの対象となる紐づけ済写真情報は、必ずしも、被写オブジェクト判定の結果に基づく紐づけが行われたものでなくてもよい。
(通知部)
情報処理装置2は、さらに、被写オブジェクトとすると判定された範囲内オブジェクトのオブジェクト情報が写真情報と紐づけられると、予め定められた通知条件に従って特定された通知先に対して写真情報を通知する、通知部228、を備えてもよい。
情報処理装置2が通知部228を備える場合、紐づけ部225は、オブジェクト情報と写真情報と紐づけの処理を行った後、紐づけ済写真情報を通知部228に出力する。また、この場合、紐づけ済写真情報に含まれるメタデータには、種々の利用者の利用者IDが含まれる。
通知部228が、紐づけ済写真情報を取得した後、取得した紐づけ済写真情報を、誰に通知するかを定めた通知条件は、予め設定され、例えば、記憶部23に記憶されている。通知条件は、写真情報と紐づけられた被写オブジェクトのオブジェクト情報、写真情報と紐づけられた空間特定情報(空間データID)、または、写真情報と紐づけられたイベント情報等に応じて、どの通知先に写真情報を通知するかが記述された情報である。通知条件は、例えば、サービス提供サーバ3を使用してサービスを提供する団体または個人によって決定され、情報処理装置2に対する操作によって予め設定される。
通知部228は、紐づけ部225から紐づけ済写真情報を取得すると、記憶部23から通知条件を取得し、通知条件に該当する通知先に、写真情報、または、紐づけ済写真情報を通知する。
通知部228は、紐づけ済写真情報に含まれるメタデータに、通知先への通知手段を示す情報(例えば、電子メールアドレス、または、サービス用アプリのアプリ内通知等)が含まれている場合、示された通知手段を利用して、通知先に写真情報、または、紐づけ済写真情報を通知する。
通知部228は、紐づけ済写真情報に含まれるメタデータに通知先への通知手段を示す情報が含まれていない場合は、サービス提供サーバ3にアクセスして、通知手段を示す情報を取得する。通知先は、通常は、サービス提供サーバ3が提供するサービスに登録された利用者であり、上述のように、サービス提供サーバ用記憶部には、利用者IDと紐づけて、利用者への通知手段を示す情報が記憶されている。したがって、通知部228は、紐づけ済写真情報に含まれるメタデータに通知先への通知手段を示す情報が含まれていない場合は、サービス提供サーバ3にアクセスして、利用者IDを送信することで、サービス提供サーバ3から通知手段を示す情報を取得する。
例えば、通知部228は、通知条件に従って特定された、被写オブジェクトの所有者、被写オブジェクトの作成者、または、被写オブジェクトの販売者を通知先として、通知先に対して、写真情報を通知する。
また、例えば、通知部228は、通知条件に従って特定された、仮想写真が撮影された仮想現実空間の空間作成者、仮想現実空間内で仮想写真が撮影された際にその仮想現実空間を使用してイベントを開催していたイベント開催者、または、仮想写真が撮影された仮想現実空間の空間監視者を通知先として、通知先に対して、写真情報を通知するものであってもよい。
通知条件には、1種類の通知先のみが記述されていてもよいし、複数種類の通知先が記述されていてもよい。
なお、情報処理装置2による通知のサービスは、写真情報と何らかのオブジェクト情報とが紐づけられていれば、提供可能である。つまり、通知のサービスの対象となる紐づけ済写真情報は、必ずしも、被写オブジェクト判定の結果に基づく紐づけが行われたものでなくてもよい。
(表示情報生成部)
情報処理装置2は、さらに、仮想現実空間内に配置された仮想写真に対して行われる仮想写真内の被写オブジェクトを指定する操作によって、被写オブジェクトが指定されると、指定された被写オブジェクトのオブジェクト情報を表示するための表示情報を生成する、表示情報生成部229、を備えてもよい。
以下、記憶部23には、サービス提供サーバ3のサービス提供サーバ用記憶部に記憶されている被写オブジェクトのオブジェクト情報と同様なオブジェクト情報が記憶されているものとする。
上述のように、仮想写真の実体は、2次元データではあるが、オブジェクトの1つとすることもできる。つまり、仮想写真の2次元データは、厚みのない3次元データとしても扱われ得るものである。例えば、仮想現実空間内のアバターは、仮想写真を他のオブジェクトと同様に保持し、移動させる等して、その状態を変更させ得る。
例えば、仮想写真に写っている範囲内オブジェクトについては、写真内のどの部分がどの範囲内オブジェクトに対応するものであるかに関する情報(以下「写真内位置情報」という。)が、仮想写真の写真情報と紐づけられるメタデータとして付与され得る。
このような情報は、仮想写真の生成の過程で取得できる。例えば、最終的なピクセルの色等の特定の際、そのピクセルの色等は、どのピクセルがどの範囲内オブジェクトの色となるかが判定された結果を用いて特定されるからである。
写真内位置情報は、仮想写真の各ピクセルの位置と、そのピクセルに対応する範囲内オブジェクトのオブジェクトIDとを紐づけた情報であり、仮想写真の写真IDと紐づけて管理される。写真内位置情報は、仮想写真の2次元データのメタデータの一種である。
参加者は、まず、参加端末4に対し適宜の操作を行い、情報処理装置2の記憶部23に紐づけ済写真情報として記憶された1または複数の仮想写真から、所望の仮想写真を指定して、その仮想写真を取得し、仮想現実空間内に配置させることができる。参加端末4の参加端末用記憶部、または、サービス提供サーバ3のサービス提供サーバ用記憶部に、紐づけ済写真情報として仮想写真が記憶されている場合、参加者は、参加端末4に対し適宜の操作を行い、これらの記憶部から、所望の仮想写真を指定して、仮想現実空間内に配置させることもできる。
例えば、参加者は、参加端末4を使用して、自身が撮影した1または複数の仮想写真を、現実のアルバムを模した、アルバムオブジェクトを使用して見ることができ、それらの仮想写真から1つの仮想写真を指定して、仮想現実空間内に配置することができる。また、例えば、参加者は、参加端末4を操作して、上述の検索サービスを利用して取得した仮想写真を、仮想現実空間内に配置させることもできる。
参加端末4が操作されることで仮想写真が指定されると、参加端末4は、情報処理装置2にアクセスして、指定された仮想写真の写真IDを送信することによって、記憶部23に記憶されている指定された仮想写真の紐づけ済写真情報を取得することができる。参加端末4は、紐づけ済写真情報としての仮想写真を取得すると、仮想現実空間内に、仮想写真を配置する。
その後、参加者は、参加端末4を操作することで、仮想現実空間内に配置された仮想写真に対して、仮想写真内の被写オブジェクトのいずれかを指定することができる。
指定のための操作(以下「指定操作」という。)は、アバターの指等により、仮想写真に写った被写オブジェクト上の一点を押す操作、または、仮想現実空間内に配置された指定用のポインタにより、仮想写真に写った被写オブジェクト上の一点を押す操作等である。指定操作は、仮想写真に写った被写オブジェクト上の一点を指定できればどのような操作でもよい。
参加端末4は、アバターの指等が仮想写真上を動く際、アバターの指等が存在する仮想写真上の位置を特定し、写真内位置情報と、写真情報に紐づけられた範囲内オブジェクトが被写オブジェクトであるか否かの情報とに基づき、特定した位置に存在する被写オブジェクトを判定し、仮想写真に写った被写オブジェクトの輪郭を囲う枠線を表示してもよい。参加端末4は、特定された位置が、被写オブジェクト以外のオブジェクト等に対応するものである場合、輪郭を囲う枠線の表示を行わない。
参加端末4が、このような枠線を表示する場合、参加者は、現在のアバターの指等の位置において、どの被写オブジェクトを指定可能かについて、枠線が表示されない場合に比べて、より容易に知ることができる。
なお、仮想写真は、仮想現実空間内以外でも表示可能であってもよい。例えば、仮想写真は、参加端末4等の利用者が使用する端末の画面に普通に表示されるWEBブラウザ上に表示されるものであってもよい。この場合の指定操作は、仮想写真に写った被写オブジェクト上の一点をマウスでクリックする操作であってもよいし、タッチパネル上で仮想写真に写った被写オブジェクト上の一点をタップする操作であってもよい。
参加端末4は、仮想写真に写った被写オブジェクト上の一点が指定されると、指定された一点の仮想写真上の座標、言い換えればピクセルの位置を特定し、特定したピクセルの位置と写真内位置情報とに基づいて、指定された被写オブジェクトのオブジェクトIDを特定する。
参加端末4は、指定された被写オブジェクトのオブジェクトIDを特定すると、特定したオブジェクトIDを情報処理装置2の表示情報生成部229に送信する。表示情報生成部229は、記憶部23から、オブジェクトIDに紐づけられたオブジェクト情報を、検索結果として取得する。
なお、この場合のオブジェクト情報は、被写オブジェクトの3次元形状情報もしくはサイズ情報等の3次元データ、または、オブジェクトID、所有者IDもしくはオブジェクトの販売に関する販売情報等のメタデータを含むものであり、撮影時の位置情報、撮影時の向き情報または撮影時の姿勢情報等の撮影時に特有の情報を含むものではない。
ただし、写真IDと紐づけて、撮影時に特有の情報が、記憶部23に記憶されている場合は、オブジェクト情報に撮影時に特有の情報を含めてもよい。その場合、参加端末4は、指定された被写オブジェクトのオブジェクトIDに加えて、写真IDを、情報処理装置2の表示情報生成部229に送信する。
表示情報生成部229は、オブジェクト情報を取得すると、指定された被写オブジェクトのオブジェクト情報を表示するための表示情報を生成する。そして、表示情報生成部229は、生成した表示情報を、参加端末4に送信する。参加端末4は、表示情報を取得すると、表示情報に基づいて、オブジェクト情報を表示する。
上述のように、紐づけ部225は、範囲内オブジェクトのオブジェクト情報に含まれる情報のうち少なくともオブジェクトIDを、写真情報に含まれる写真IDと紐づけて、記憶部23に記憶させるものである。したがって、紐づけ済写真情報に含まれるオブジェクト情報は、オブジェクトIDだけの場合もあるほか、比較的情報量が少ない場合がある。 これに対し、情報処理装置2は、例えば記憶部23に記憶された詳細なオブジェクト情報を取得することによって、参加者に、より詳細な情報を提供することができる。
参加端末4は、表示されたオブジェクト情報が選択されると、オブジェクト購入画面を表示する、または、お気に入り登録画面等を表示するものであってもよい。
図5は、仮想写真におけるオブジェクト指定の一例を示す画面図である。
図5には、図4と同様に、図3の状態においてなされた撮影操作によって生成された仮想写真VPが示されている。仮想写真VPには、3つのアバターA2~A4、1つの木オブジェクトC1、および、2つの荷物オブジェクトC2~C3が写っているが、例えば、アバターA2の下半身部分およびアバターA4の上半身を含む大部分は、写っていない。
ここでは、仮想写真VPに写っている範囲内オブジェクトのうち、アバターA4だけが非被写オブジェクトであり、他の範囲内オブジェクトは、すべて被写オブジェクトであるものとする。
図5には、範囲内オブジェクトに加えて、被写オブジェクトを指定するための指定用のポインタSL1~SL2が示されている。指定用のポインタSL1~SL2は、仮想現実空間内に配置されるオブジェクトの1種であるが、仮想写真VPに写った範囲内オブジェクトではない。参加者は、参加端末4を操作することで、指定用のポインタSL1~SL2を、仮想写真VP上の任意の位置に移動させることができ、また、指定用のポインタSL1~SL2を使用して、仮想写真VPに写った被写オブジェクト上の一点を指定することができる。
図6は、仮想写真におけるオブジェクトおよびオブジェクト情報の表示例を示す画面図である。図5において、参加者が参加端末4を操作して、指定用のポインタSL1を使用して、荷物オブジェクトC2上の一点を指定し、指定用のポインタSL2を使用して、荷物オブジェクトC3上の一点を指定したものとする。
この場合、図6に示されたように、仮想写真VPに写った荷物オブジェクトC2に対して、吹き出しOF1が表示され、仮想写真VPに写った荷物オブジェクトC3に対して、吹き出しOF2が表示される。吹き出しOF1~OF2も、仮想現実空間内に配置されるオブジェクトの1種であるが、仮想写真VPに写った範囲内オブジェクトではない。吹き出しOF1~OF2は、これらを表示するための操作を行った参加者以外の参加者も見ることのできるオブジェクトであってもよいし、それらの参加者には見ることのできないオブジェクトであってもよい。
吹き出しOF1の内部には、荷物オブジェクトC2のオブジェクト情報が表示され、吹き出しOF2の内部には、荷物オブジェクトC3のオブジェクト情報が表示される。
情報処理装置2は、仮想現実空間内に配置された仮想写真に対して行われる仮想写真内の被写オブジェクトを指定する操作によって、被写オブジェクトが指定されると、指定された被写オブジェクトのオブジェクト情報を表示し、非被写オブジェクトを指定する操作によって、非被写オブジェクトが指定されると、指定された非被写オブジェクトのオブジェクト情報を表示するための表示情報を生成する、表示情報生成部229、を備えてもよい。
非被写オブジェクトは、仮想写真に、小さくとも全体が写っていることもあれば、その一部のみが写っていることもあり、また、まったく写っていないこともある。
非被写オブジェクトが、何らかの態様で仮想写真に写っている場合は、上述の被写オブジェクトの場合と同様に、参加者は、参加端末4を操作することによって、仮想写真上で非被写オブジェクトを指定し、非被写オブジェクトのオブジェクト情報を表示させることができる。
これに対し、非被写オブジェクトが仮想写真にまったく写っていない場合でも非被写オブジェクトを指定できるようにするため、例えば、参加端末4は、紐づけ済写真情報に含まれる1または複数の非被写オブジェクトのオブジェクト情報に基づき、少なくともそれらの非被写オブジェクトのオブジェクトIDを示すリストを表示可能である。また、紐づけ済写真情報に含まれる非被写オブジェクトのオブジェクト情報に、オブジェクト名が含まれる場合、参加端末4は、オブジェクトIDに代えて、または、オブジェクトIDに加えて、1または複数の非被写オブジェクトのオブジェクト名を示すリストを表示可能である。
参加端末4は、上記リストを、仮想現実空間内に表示してもよいし、仮想現実空間内以外で表示してもよい。また、参加端末4は、リストに、被写オブジェクトのオブジェクトIDまたはオブジェクト名を加えて表示させてもよい。
参加者は、参加端末4を操作し、リストを表示させ、リスト内の非被写オブジェクトを選択することで、参加端末4は、選択された非被写オブジェクトのオブジェクトIDを表示情報生成部229に送信し、上記と同様の処理を経て、選択された非被写オブジェクトのオブジェクト情報を表示させることができる。また、参加端末4が、リストに、被写オブジェクトのオブジェクトIDまたはオブジェクト名を加えて表示させている場合、参加者は、リスト内の被写オブジェクトを選択することで、同様に、選択された被写オブジェクトのオブジェクト情報を表示させることもできる。
また、参加端末4による仮想写真の生成の際に、仮想写真に全く写らない範囲内オブジェクトについても、仮に、その範囲内オブジェクトが全く遮蔽されていないことを想定した場合の仮想写真に写り得る仮想写真内の位置が特定できる場合は、その位置を、写真情報と紐づけられるオブジェクト情報に含めておくことも可能である。
この場合、例えば、参加者が参加端末4を操作して、仮想写真上の所望の範囲を指定すると、参加端末4は、その範囲内にその一部または全体が含まれるものの仮想写真には写っていない非被写オブジェクトのオブジェクトIDも、特定することができる。
そして、参加端末4は、特定された非被写オブジェクトのオブジェクトIDを表示情報生成部229に送信し、上記と同様の処理を経て、特定された非被写オブジェクトのオブジェクト情報を表示させることができる。
なお、情報処理装置2によるオブジェクト情報表示のサービスは、仮想写真の写真情報と何らかのオブジェクト情報とが紐づけられていれば、提供可能である。つまり、オブジェクト情報表示のサービスの対象となる仮想写真の紐づけ済写真情報は、必ずしも、被写オブジェクト判定の結果に基づく紐づけが行われたものでなくてもよい。
(情報処理方法)
図7は、実施の形態1に係る情報処理方法を示すフローチャートである。
撮影情報取得部221が、仮想現実空間内において利用される仮想カメラに関するカメラ情報と、仮想カメラにより撮影された仮想写真に関する写真情報とを含む撮影情報を取得する(ステップST1)。
オブジェクト情報取得部222が、仮想現実空間内に配置された1または複数のオブジェクトのうち、仮想写真が撮影されたときの仮想カメラの撮影範囲内に含まれる1または複数のオブジェクト(範囲内オブジェクト)に関するオブジェクト情報を取得する(ステップST2)。
判定結果取得部224が、カメラ情報およびオブジェクト情報に基づいて、撮影範囲内に含まれる1または複数のオブジェクトのそれぞれについて、仮想写真に写った被写オブジェクトとするか否かが判定された判定結果を取得する(ステップST3)。
紐づけ部225が、判定結果に基づいて、オブジェクト情報と写真情報とを紐づける(ステップST4)。
なお、ステップST1とステップST2は、順番が逆であってもよい。
なお、情報処理装置2は、少なくとも、撮影情報取得部221、オブジェクト情報取得部222,判定結果取得部224、および、紐づけ部225の機能を備えていればよく、判定部223、検索キー取得部226および検索結果取得部227、通知部228、または、表示情報生成部229は、任意に付加される機能である。
また、ここまでの説明においては、少なくとも参加端末4が仮想写真の生成を行い、仮想写真に関する後述の写真情報等は、参加端末4から情報処理装置2に送信されることが前提であった。しかし、上述のとおり、参加端末4およびサービス提供サーバ3は、ある1つの同じ仮想現実空間内のアバターおよびオブジェクトの状態を、ほぼリアルタイムで、共有することができるため、サービス提供サーバ3も仮想写真の生成を行うことができる。サービス提供サーバ3が仮想写真の生成を行う場合、写真情報等は、参加端末4から情報処理装置2に送信されることに代えて、サービス提供サーバ3から情報処理装置2に送信されてもよい。
また、ここまでの説明においては、情報処理装置2の機能の全部が、サービス提供サーバ3および参加端末4とは独立した物理的構成を有する1台のサーバに備えられていることが前提であった。しかし、上述のとおり、情報処理システム1において、情報処理装置2の機能については、その一部または全部を、サービス提供サーバ3が備えていてもよいし、参加端末4が備えていてもよい。また、情報処理システム1において、情報処理装置2の機能については、その一部または全部を、サービス提供サーバ3と参加端末4とが重複して備えていてもよい。
例えば、判定部223は、情報処理装置2ではなく、参加端末4に備えられてもよい。その場合、撮影情報取得部221は、参加端末4から、カメラ情報を取得しなくてもよい。また、参加端末4は、撮影情報および範囲内オブジェクトのオブジェクト情報を、それぞれ情報処理装置2の撮影情報取得部221およびオブジェクト情報取得部222に送信するとともに、参加端末4が備える判定部は、判定結果を情報処理装置2の判定結果取得部224に送信する。
または、判定部223は、情報処理装置2ではなく、サービス提供サーバ3に備えられてもよい。その場合の構成は、判定部223が参加端末4に備えられる場合の上記構成と同様である。
ただし、検索キー取得部226および検索結果取得部227の機能については、参加端末4が備えることも可能であるが、参加端末4は通常個人用であるため、参加端末4の負荷を考慮するならば、それらの機能を情報処理装置2が有しない場合、あるいは、それらの機能を情報処理システム1内で情報処理装置2と重複して備える場合は、サービス提供サーバ3がそれらの機能を有する方が望ましい。
また、上記で説明された情報処理装置2において、オブジェクト情報取得部222は、参加端末4からオブジェクト情報を取得するものであったが、オブジェクト情報取得部222は、参加端末4(またはサービス提供サーバ3)から撮影時の空間データを取得し、カメラ情報と空間データに基づいて、範囲内オブジェクト特定を行うことで、その結果を取得してもよい。
以上のように、実施の形態1に係る情報処理装置2は、仮想現実空間内において利用される仮想カメラに関するカメラ情報と、仮想カメラにより撮影された仮想写真に関する写真情報とを含む撮影情報を取得する、撮影情報取得部221と、仮想現実空間内に配置された1または複数のオブジェクトのうち、仮想写真が撮影されたときの仮想カメラの撮影範囲内に含まれる1または複数のオブジェクト(範囲内オブジェクト)に関するオブジェクト情報を取得する、オブジェクト情報取得部222と、カメラ情報とオブジェクト情報とに基づいて、撮影範囲内に含まれる1または複数のオブジェクトのそれぞれについて、仮想写真に写った被写オブジェクトとするか否かが判定された判定結果を取得する、判定結果取得部224と、判定結果に基づいて、オブジェクト情報と写真情報とを紐づける、紐づけ部225と、を備える。
したがって、1または複数のコンピュータを情報処理装置2として機能させる実施の形態1に係るプログラムは、当該1または複数のコンピュータによって実行されることで、仮想現実空間内に配置されたすべてのオブジェクトの位置は仮想現実空間を提供するコンピュータによって把握されているという、仮想現実空間の特性を活かして、仮想写真に関する写真情報(写真ID等)とオブジェクト情報(オブジェクトID等)との紐づけを行うことができる。
紐づけられたオブジェクト情報は、特定のオブジェクトが写った仮想写真の検索、または、範囲内オブジェクトのオブジェクト情報の表示等の種々の態様で利用され得る。
実施の形態1に係る情報処理装置2において、紐づけ部225は、被写オブジェクトとすると判定された範囲内オブジェクトのオブジェクト情報を、写真情報と紐づけ、被写オブジェクトとしないと判定されたオブジェクトである非被写オブジェクトのオブジェクト情報を、写真情報と紐づけない。
1または複数のコンピュータを上記の情報処理装置2として機能させる実施の形態1に係るプログラムは、当該1または複数のコンピュータによって実行されることで、仮想現実空間の特性を活かして判定された被写オブジェクトに関する情報と、仮想写真に関する写真情報との紐づけを行うことができる。
実施の形態1に係る情報処理装置2において、紐づけ部225は、被写オブジェクトとすると判定された範囲内オブジェクトのオブジェクト情報と、被写オブジェクトとしないと判定されたオブジェクトである非被写オブジェクトのオブジェクト情報とを、区別して写真情報と紐づけるものであってもよい。
1または複数のコンピュータを上記の情報処理装置2として機能させる実施の形態1に係るプログラムは、当該1または複数のコンピュータによって実行されることで、仮想現実空間の特性を活かして判定された被写オブジェクトおよび非被写オブジェクトに関する情報と、仮想写真に関する写真情報との紐づけを行うことができる。
実施の形態1に係る情報処理装置2において、判定結果取得部224は、撮影範囲内に含まれる1または複数のオブジェクト(範囲内オブジェクト)としての1または複数のアバターのそれぞれについて、被写オブジェクトとするか否かが判定された判定結果を取得し、紐づけ部225は、判定結果に基づいて、アバターに関するオブジェクト情報と写真情報とを紐づける。
1または複数のコンピュータを上記の情報処理装置2として機能させる実施の形態1に係るプログラムは、当該1または複数のコンピュータによって実行されることで、仮想現実空間の特性を活かして判定された被写オブジェクトとしてのアバターに関する情報と、仮想写真に関する写真情報との紐づけを行うことができる。
実施の形態1に係る情報処理装置2において、紐づけ部225は、オブジェクト情報に加えて、仮想カメラを利用して仮想写真を撮影した仮想現実空間の利用者を特定する利用者特定情報と写真情報とを紐づけてもよい。
1または複数のコンピュータを上記の情報処理装置2として機能させる実施の形態1に係るプログラムは、当該1または複数のコンピュータによって実行されることで、仮想カメラを利用して仮想写真を撮影した仮想現実空間の利用者を特定する情報、例えば、仮想現実空間にアバターとして参加し、アバターとして仮想カメラを操作して仮想写真を撮影した参加者を特定する情報(利用者ID)と、仮想写真に関する写真情報との紐づけを行うことができる。
紐づけられた利用者を特定する情報は、特定の利用者が撮影した仮想写真の検索等の種々の態様で利用され得る。
実施の形態1に係る情報処理装置2において、紐づけ部225は、オブジェクト情報に加えて、仮想カメラを利用して仮想写真が撮影された仮想現実空間を特定する空間特定情報と写真情報とを紐づけてもよい。
1または複数のコンピュータを上記の情報処理装置2として機能させる実施の形態1に係るプログラムは、当該1または複数のコンピュータによって実行されることで、仮想カメラを利用して仮想写真が撮影された仮想現実空間を特定する空間特定情報(例えば、仮想現実空間の空間データID)と、仮想写真に関する写真情報との紐づけを行うことができる。
紐づけられた空間特定情報は、特定の仮想現実空間において撮影された仮想写真の検索等の種々の態様で利用され得る。
実施の形態1に係る情報処理装置2において、紐づけ部225は、オブジェクト情報に加えて、仮想カメラを利用して仮想写真が撮影された仮想現実空間においてその仮想写真の撮影時に開催されていたイベントに関連するイベント情報と写真情報とを紐づけてもよい。
前記1または複数のコンピュータを上記の情報処理装置2として機能させる実施の形態1に係るプログラムは、当該1または複数のコンピュータによって実行されることで、仮想カメラを利用して仮想写真が撮影された仮想現実空間においてその仮想写真の撮影時に開催されていたイベントに関連するイベント情報(例えば、イベントID、開催者IDまたはそれらの両ID)と、仮想写真に関する写真情報との紐づけを行うことができる。
実施の形態1に係る情報処理装置2において、紐づけ部225は、オブジェクト情報に加えて、または、オブジェクト情報として、オブジェクト情報に対応するオブジェクトの販売に関する販売情報と写真情報とを紐づけてもよい。
1または複数のコンピュータを上記の情報処理装置2として機能させる実施の形態1に係るプログラムは、当該1または複数のコンピュータによって実行されることで、オブジェクトの販売に関する販売情報と仮想写真に関する写真情報との紐づけを行うことができる。
紐づけられた販売情報は、仮想写真上で指定された範囲内オブジェクトについての販売情報の表示等の種々の態様で利用され得る。
実施の形態1に係る情報処理装置2において、紐づけ部225は、写真情報と紐づけられるオブジェクト情報を含むメタデータに基づく検索の可否を示す検索可否情報を、範囲内オブジェクトごとに写真情報と紐づけてもよい。
1または複数のコンピュータを上記の情報処理装置2として機能させる実施の形態1に係るプログラムは、当該1または複数のコンピュータによって実行されることで、検索可否情報と仮想写真に関する情報との紐づけを行うことができる。
紐づけられた検索可否情報は、特定のオブジェクトが写った仮想写真の検索時に利用され得る。検索可否情報は、例えば、範囲内オブジェクトの所有者等が、検索によって、その範囲内オブジェクトが写った仮想写真の写真情報を他者が取得することを望まないような場合の問題に、対応することができる。
実施の形態1に係る情報処理装置2は、写真情報を検索するための検索キーとしてオブジェクト情報を取得する、検索キー取得部226と、オブジェクト情報に基づいて検索された写真情報を取得する、検索結果取得部227と、を備えてもよい。
1または複数のコンピュータを上記の情報処理装置2として機能させる実施の形態1に係るプログラムは、当該1または複数のコンピュータによって実行されることで、検索キーに基づく写真情報の検索と検索結果の取得を行うことができる。これらの機能は、利用者に対する仮想写真の検索サービスの提供等に利用され得る。
実施の形態1に係る情報処理装置2は、写真情報を検索するための検索キーとして空間特定情報を取得する、検索キー取得部226と、空間特定情報に基づいて検索された写真情報を取得する、検索結果取得部227と、を備えてもよい。
1または複数のコンピュータを上記の情報処理装置2として機能させる実施の形態1に係るプログラムは、当該1または複数のコンピュータによって実行されることで、空間特定情報(例えば空間データID)を検索キーとした写真情報の検索と検索結果の取得を行うことができる。これらの機能は、利用者に対する空間特定情報を使用した仮想写真の検索サービスの提供等に利用され得る。
実施の形態1に係る情報処理装置2は、写真情報を検索するための検索キーとしてオブジェクト情報を取得する、検索キー取得部226と、オブジェクト情報に基づいて検索された写真情報であって、検索可であることを示す検索可否情報が紐づけられた写真情報を取得する、検索結果取得部227と、を備えてもよい。
1または複数のコンピュータを上記の情報処理装置2として機能させる実施の形態1に係るプログラムは、当該1または複数のコンピュータによって実行されることで、検索キーに基づく写真情報の検索の際、検索可であることを示す検索可否情報が紐づけられた写真情報のみを取得することができる。
これにより、当該プログラムは、例えば、範囲内オブジェクトの所有者等が、検索によって、その範囲内オブジェクトが写った仮想写真の写真情報を他者が取得することを望まないような場合の問題に、対応することができる。
実施の形態1に係る情報処理装置2は、被写オブジェクトとすると判定されたオブジェクトのオブジェクト情報が写真情報と紐づけられると、予め定められた通知条件に従って特定された通知先に対して写真情報を通知する、通知部228、を備えてもよい。
1または複数のコンピュータを上記の情報処理装置2として機能させる実施の形態1に係るプログラムは、当該1または複数のコンピュータによって実行されることで、オブジェクト情報が写真情報と紐づけられたときに、通知条件に従って特定された通知先に、その写真情報を通知することができる。これにより、通知先としての利用者は、例えば、自身に関連のある仮想写真が撮影されたことを知ることができる。
実施の形態1に係る情報処理装置2において、通知部228は、通知条件に従って特定された、被写オブジェクトの所有者、作成者、または、販売者を通知先として、通知先に対して、写真情報を通知する。
1または複数のコンピュータを上記の情報処理装置2として機能させる実施の形態1に係るプログラムは、当該1または複数のコンピュータによって実行されることで、オブジェクト情報が写真情報と紐づけられたときに、被写オブジェクトの所有者、作成者、または、販売者に、その写真情報を通知することができる。これにより、これらの者は、例えば、自身に関連のある仮想写真が撮影されたことを知ることができる。
実施の形態1に係る情報処理装置2は、仮想現実空間内に配置された仮想写真に対して行われる仮想写真内の被写オブジェクトを指定する操作によって、被写オブジェクトが指定されると、指定された被写オブジェクトのオブジェクト情報を表示するための表示情報を生成する、表示情報生成部229、を備えてもよい。
1または複数のコンピュータを上記の情報処理装置2として機能させる実施の形態1に係るプログラムは、当該1または複数のコンピュータによって実行されることで、例えば、参加端末4を使用して仮想現実空間に参加する参加者が、仮想写真内の被写オブジェクトを指定した場合に、被写オブジェクトのオブジェクト情報を参加端末4のディスプレイに表示させることができる。
実施の形態1に係る情報処理装置2は、仮想現実空間内に配置された仮想写真に対して行われる仮想写真内の被写オブジェクトを指定する操作によって、被写オブジェクトが指定されると、指定された被写オブジェクトのオブジェクト情報を表示し、非被写オブジェクトを指定する操作によって、非被写オブジェクトが指定されると、指定された非被写オブジェクトのオブジェクト情報を表示するための表示情報を生成する、表示情報生成部229、を備えてもよい。
1または複数のコンピュータを上記の情報処理装置2として機能させる実施の形態1に係るプログラムは、当該1または複数のコンピュータによって実行されることで、例えば、参加端末4を使用して仮想現実空間に参加する参加者が、仮想写真内の被写オブジェクトを指定した場合でも、仮想写真内の非被写オブジェクトを指定した場合でも、それらのオブジェクトのオブジェクト情報を参加端末4のディスプレイに表示させることができる。
実施の形態1に係るプログラムを実行する実施の形態1に係る情報処理装置2は、仮想現実空間内に配置されたすべてのオブジェクトの位置は仮想現実空間を提供するコンピュータによって把握されているという、仮想現実空間の特性を活かして、仮想写真に関する写真情報(写真ID等)とオブジェクト情報(オブジェクトID等)との紐づけを行うことができる。紐づけられたオブジェクト情報は、特定のオブジェクトが写った仮想写真の検索、または、範囲内オブジェクトのオブジェクト情報の表示等の種々の態様で利用され得る。
実施の形態1に係る情報処理方法は、撮影情報取得部221が、仮想現実空間内において利用される仮想カメラに関するカメラ情報と、仮想カメラにより撮影された仮想写真に関する写真情報とを含む撮影情報を取得するステップと、オブジェクト情報取得部222が、カメラ情報に基づいて、仮想現実空間内に配置された1または複数のオブジェクトのうち、仮想写真が撮影されたときの仮想カメラの撮影範囲内に含まれる1または複数のオブジェクト(範囲内オブジェクト)に関するオブジェクト情報を取得するステップと、判定結果取得部224が、オブジェクト情報に基づいて、撮影範囲内に含まれる1または複数のオブジェクトのそれぞれについて、仮想写真に写った被写オブジェクトとするか否かが判定された判定結果を取得するステップと、紐づけ部225が、判定結果に基づいて、オブジェクト情報と写真情報とを紐づけるステップと、を備える。
これにより、実施の形態1に係る情報処理方法は、仮想現実空間内に配置されたすべてのオブジェクトの位置は仮想現実空間を提供するコンピュータによって把握されているという、仮想現実空間の特性を活かして、仮想写真に関する写真情報(写真ID等)とオブジェクト情報(オブジェクトID等)との紐づけを行うことができる。紐づけられたオブジェクト情報は、特定のオブジェクトが写った仮想写真の検索、または、範囲内オブジェクトのオブジェクト情報の表示等の種々の態様で利用され得る。
1 情報処理システム、2 情報処理装置、3 サービス提供サーバ、4 参加端末、5 ネットワーク、21 通信部、22 演算部、23 記憶部、100 通信インタフェース、101 入出力インタフェース、102 プロセッサ、103 メモリ、221 撮影情報取得部、222 オブジェクト情報取得部、223 判定部、224 判定結果取得部、225 紐づけ部、226 検索キー取得部、227 検索結果取得部、228 通知部、229 表示情報生成部、A1~A4 アバター、C1 木オブジェクト、C2~C3 荷物オブジェクト、VC 仮想カメラ、VP 仮想写真、SL1~SL2 指定用のポインタ、OF1~OF2 吹き出し

Claims (18)

  1. 1または複数のコンピュータを、
    仮想現実空間内において利用される仮想カメラに関するカメラ情報と、前記仮想カメラにより撮影された仮想写真に関する写真情報とを含む撮影情報を取得する、撮影情報取得部と、
    前記仮想現実空間内に配置された1または複数のオブジェクトのうち、前記仮想カメラにより撮影された前記仮想写真が撮影されたときの前記仮想カメラの撮影範囲内に含まれる1または複数の前記オブジェクトに関するオブジェクト情報を取得する、オブジェクト情報取得部と、
    前記カメラ情報と前記オブジェクト情報とに基づいて、前記撮影範囲内に含まれる1または複数の前記オブジェクトのそれぞれについて、前記仮想写真に写った被写オブジェクトとするか前記被写オブジェクトとしない非被写オブジェクトとするかが判定された判定結果であって、前記仮想カメラにより撮影された前記仮想写真に写っている前記オブジェクトであって遮蔽されていない前記オブジェクトを前記被写オブジェクトとし、前記仮想カメラにより撮影された前記仮想写真に写っている前記オブジェクトであって遮蔽されている前記オブジェクトを前記非被写オブジェクトとするように遮蔽の状態を考慮して判定された前記判定結果を取得する、判定結果取得部と、
    前記判定結果に基づいて、前記オブジェクト情報と前記写真情報とを紐づける、紐づけ部と、を備える情報処理装置として機能させる
    ことを特徴とするプログラム。
  2. 前記1または複数のコンピュータを、
    前記紐づけ部は、前記被写オブジェクトとすると判定された前記オブジェクトの前記オブジェクト情報を、前記写真情報と紐づけ、前記被写オブジェクトとしないと判定された前記オブジェクトである前記非被写オブジェクトの前記オブジェクト情報を、前記写真情報と紐づけない
    前記情報処理装置として機能させる
    ことを特徴とする請求項1に記載のプログラム。
  3. または複数のコンピュータを、
    仮想現実空間内において利用される仮想カメラに関するカメラ情報と、前記仮想カメラにより撮影された仮想写真に関する写真情報とを含む撮影情報を取得する、撮影情報取得部と、
    前記仮想現実空間内に配置された1または複数のオブジェクトのうち、前記仮想写真が撮影されたときの前記仮想カメラの撮影範囲内に含まれる1または複数の前記オブジェクトに関するオブジェクト情報を取得する、オブジェクト情報取得部と、
    前記カメラ情報と前記オブジェクト情報とに基づいて、前記撮影範囲内に含まれる1または複数の前記オブジェクトのそれぞれについて、前記仮想写真に写った被写オブジェクトとするか否かが判定された判定結果を取得する、判定結果取得部と、
    前記判定結果に基づいて、前記オブジェクト情報と前記写真情報とを紐づける、紐づけ部と、を備え、
    前記紐づけ部は、前記被写オブジェクトとすると判定された前記オブジェクトの前記オブジェクト情報と、前記被写オブジェクトとしないと判定された前記オブジェクトである非被写オブジェクトの前記オブジェクト情報とを、区別して前記写真情報と紐づける
    報処理装置として機能させる
    ことを特徴とするプログラム。
  4. 前記1または複数のコンピュータを、
    前記判定結果取得部は、前記撮影範囲内に含まれる1または複数の前記オブジェクトとしての1または複数のアバターのそれぞれについて、前記被写オブジェクトとするか前記非被写オブジェクトとするかが判定された前記判定結果を取得し、
    前記紐づけ部は、前記判定結果に基づいて、前記アバターに関する前記オブジェクト情報と前記写真情報とを紐づける
    前記情報処理装置として機能させる
    ことを特徴とする請求項1に記載のプログラム。
  5. 前記1または複数のコンピュータを、
    前記紐づけ部は、前記オブジェクト情報に加えて、前記仮想カメラを利用して前記仮想写真を撮影した前記仮想現実空間の利用者を特定する利用者特定情報と前記写真情報とを紐づける
    前記情報処理装置として機能させる
    ことを特徴とする請求項1に記載のプログラム。
  6. 前記1または複数のコンピュータを、
    前記紐づけ部は、前記オブジェクト情報に加えて、前記仮想カメラを利用して前記仮想写真が撮影された前記仮想現実空間を特定する空間特定情報と前記写真情報とを紐づける
    前記情報処理装置として機能させる
    ことを特徴とする請求項1に記載のプログラム。
  7. 前記1または複数のコンピュータを、
    前記紐づけ部は、前記オブジェクト情報に加えて、前記仮想カメラを利用して前記仮想写真が撮影された前記仮想現実空間においてその仮想写真の撮影時に開催されていたイベントに関連するイベント情報と前記写真情報とを紐づける
    前記情報処理装置として機能させる
    ことを特徴とする請求項1に記載のプログラム。
  8. または複数のコンピュータを、
    仮想現実空間内において利用される仮想カメラに関するカメラ情報と、前記仮想カメラにより撮影された仮想写真に関する写真情報とを含む撮影情報を取得する、撮影情報取得部と、
    前記仮想現実空間内に配置された1または複数のオブジェクトのうち、前記仮想写真が撮影されたときの前記仮想カメラの撮影範囲内に含まれる1または複数の前記オブジェクトに関するオブジェクト情報を取得する、オブジェクト情報取得部と、
    前記カメラ情報と前記オブジェクト情報とに基づいて、前記撮影範囲内に含まれる1または複数の前記オブジェクトのそれぞれについて、前記仮想写真に写った被写オブジェクトとするか否かが判定された判定結果を取得する、判定結果取得部と、
    前記判定結果に基づいて、前記オブジェクト情報と前記写真情報とを紐づける、紐づけ部と、を備え、
    前記紐づけ部は、前記オブジェクト情報に加えて、または、前記オブジェクト情報として、前記オブジェクト情報に対応する前記オブジェクトの販売に関する販売情報と前記写真情報とを紐づける
    報処理装置として機能させる
    ことを特徴とするプログラム。
  9. 前記1または複数のコンピュータを、
    前記紐づけ部は、前記写真情報と紐づけられる前記オブジェクト情報を含むメタデータに基づく検索の可否を示す検索可否情報を、前記オブジェクトごとに前記写真情報と紐づける
    前記情報処理装置として機能させる
    ことを特徴とする請求項1に記載のプログラム。
  10. 前記1または複数のコンピュータを、
    さらに、前記写真情報を検索するための検索キーとして前記オブジェクト情報を取得する、検索キー取得部と、
    前記オブジェクト情報に基づいて検索された前記写真情報を取得する、検索結果取得部と、を備える前記情報処理装置として機能させる
    ことを特徴とする請求項1に記載のプログラム。
  11. 前記1または複数のコンピュータを、
    さらに、前記写真情報を検索するための検索キーとして前記空間特定情報を取得する、検索キー取得部と、
    前記空間特定情報に基づいて検索された前記写真情報を取得する、検索結果取得部と、を備える前記情報処理装置として機能させる
    ことを特徴とする請求項6に記載のプログラム。
  12. 前記1または複数のコンピュータを、
    さらに、前記写真情報を検索するための検索キーとして前記オブジェクト情報を取得する、検索キー取得部と、
    前記オブジェクト情報に基づいて検索された前記写真情報であって、検索可であることを示す前記検索可否情報が紐づけられた前記写真情報を取得する、検索結果取得部と、を備える前記情報処理装置として機能させる
    ことを特徴とする請求項9に記載のプログラム。
  13. 前記1または複数のコンピュータを、
    さらに、前記被写オブジェクトとすると判定された前記オブジェクトの前記オブジェクト情報が前記写真情報と紐づけられると、予め定められた通知条件に従って特定された通知先に対して前記写真情報を通知する、通知部、を備える前記情報処理装置として機能させる
    ことを特徴とする請求項1に記載のプログラム。
  14. または複数のコンピュータを、
    仮想現実空間内において利用される仮想カメラに関するカメラ情報と、前記仮想カメラにより撮影された仮想写真に関する写真情報とを含む撮影情報を取得する、撮影情報取得部と、
    前記仮想現実空間内に配置された1または複数のオブジェクトのうち、前記仮想写真が撮影されたときの前記仮想カメラの撮影範囲内に含まれる1または複数の前記オブジェクトに関するオブジェクト情報を取得する、オブジェクト情報取得部と、
    前記カメラ情報と前記オブジェクト情報とに基づいて、前記撮影範囲内に含まれる1または複数の前記オブジェクトのそれぞれについて、前記仮想写真に写った被写オブジェクトとするか否かが判定された判定結果を取得する、判定結果取得部と、
    前記判定結果に基づいて、前記オブジェクト情報と前記写真情報とを紐づける、紐づけ部と、
    前記被写オブジェクトとすると判定された前記オブジェクトの前記オブジェクト情報が前記写真情報と紐づけられると、予め定められた通知条件に従って特定された通知先に対して前記写真情報を通知する、通知部と、を備え、
    前記通知部は、前記通知条件に従って特定された、前記被写オブジェクトの所有者、作成者、または、販売者を前記通知先として、前記通知先に対して、前記写真情報を通知する
    報処理装置として機能させる
    ことを特徴とするプログラム。
  15. または複数のコンピュータを、
    仮想現実空間内において利用される仮想カメラに関するカメラ情報と、前記仮想カメラにより撮影された仮想写真に関する写真情報とを含む撮影情報を取得する、撮影情報取得部と、
    前記仮想現実空間内に配置された1または複数のオブジェクトのうち、前記仮想写真が撮影されたときの前記仮想カメラの撮影範囲内に含まれる1または複数の前記オブジェクトに関するオブジェクト情報を取得する、オブジェクト情報取得部と、
    前記カメラ情報と前記オブジェクト情報とに基づいて、前記撮影範囲内に含まれる1または複数の前記オブジェクトのそれぞれについて、前記仮想写真に写った被写オブジェクトとするか否かが判定された判定結果を取得する、判定結果取得部と、
    前記判定結果に基づいて、前記オブジェクト情報と前記写真情報とを紐づける、紐づけ部と、
    前記仮想現実空間内に配置された前記仮想写真に対して行われる前記仮想写真内の前記被写オブジェクトを指定する操作によって、前記被写オブジェクトが指定されると、指定された前記被写オブジェクトの前記オブジェクト情報を表示するための表示情報を生成する、表示情報生成部と、を備える情報処理装置として機能させる
    ことを特徴とするプログラム。
  16. 前記1または複数のコンピュータを、
    さらに、前記仮想現実空間内に配置された前記仮想写真に対して行われる前記仮想写真内の前記被写オブジェクトを指定する操作によって、前記被写オブジェクトが指定されると、指定された前記被写オブジェクトの前記オブジェクト情報を表示し、前記非被写オブジェクトを指定する操作によって、前記非被写オブジェクトが指定されると、指定された前記非被写オブジェクトの前記オブジェクト情報を表示するための表示情報を生成する、表示情報生成部、を備える前記情報処理装置として機能させる
    ことを特徴とする請求項3に記載のプログラム。
  17. 請求項1から請求項16のいずれか1項に記載のプログラムを実行する情報処理装置。
  18. 情報処理装置が行う情報処理方法であって、
    撮影情報取得部が、仮想現実空間内において利用される仮想カメラに関するカメラ情報と、前記仮想カメラにより撮影された仮想写真に関する写真情報とを含む撮影情報を取得するステップと、
    オブジェクト情報取得部が、前記仮想現実空間内に配置された1または複数のオブジェクトのうち、前記仮想カメラにより撮影された前記仮想写真が撮影されたときの前記仮想カメラの撮影範囲内に含まれる1または複数の前記オブジェクトに関するオブジェクト情報を取得するステップと、
    判定結果取得部が、前記カメラ情報と前記オブジェクト情報とに基づいて、前記撮影範囲内に含まれる1または複数の前記オブジェクトのそれぞれについて、前記仮想写真に写った被写オブジェクトとするか前記被写オブジェクトとしない非被写オブジェクトとするかが判定された判定結果であって、前記仮想カメラにより撮影された前記仮想写真に写っている前記オブジェクトであって遮蔽されていない前記オブジェクトを前記被写オブジェクトとし、前記仮想カメラにより撮影された前記仮想写真に写っている前記オブジェクトであって遮蔽されている前記オブジェクトを前記非被写オブジェクトとするように遮蔽の状態を考慮して判定された前記判定結果を取得するステップと、
    紐づけ部が、前記判定結果に基づいて、前記オブジェクト情報と前記写真情報とを紐づけるステップと、を備える
    ことを特徴とする情報処理方法。
JP2023029021A 2023-02-28 2023-02-28 プログラム、情報処理装置および情報処理方法 Active JP7357415B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023029021A JP7357415B1 (ja) 2023-02-28 2023-02-28 プログラム、情報処理装置および情報処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2023029021A JP7357415B1 (ja) 2023-02-28 2023-02-28 プログラム、情報処理装置および情報処理方法

Publications (1)

Publication Number Publication Date
JP7357415B1 true JP7357415B1 (ja) 2023-10-06

Family

ID=88205088

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023029021A Active JP7357415B1 (ja) 2023-02-28 2023-02-28 プログラム、情報処理装置および情報処理方法

Country Status (1)

Country Link
JP (1) JP7357415B1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009187081A (ja) 2008-02-04 2009-08-20 Community Engine Kk スクリーンショット管理装置、およびスクリーンショット管理プログラム
WO2022014170A1 (ja) 2020-07-13 2022-01-20 ソニーグループ株式会社 情報処理装置、情報処理方法、および情報処理システム
JP2022177413A (ja) 2021-05-18 2022-12-01 グリー株式会社 画像処理プログラム、画像処理プログラムおよび画像処理装置
JP7187092B1 (ja) 2022-07-15 2022-12-12 Jp Games株式会社 ハッシュタグシステム、ハッシュタグ付与方法、ハッシュタグ付与プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009187081A (ja) 2008-02-04 2009-08-20 Community Engine Kk スクリーンショット管理装置、およびスクリーンショット管理プログラム
WO2022014170A1 (ja) 2020-07-13 2022-01-20 ソニーグループ株式会社 情報処理装置、情報処理方法、および情報処理システム
JP2022177413A (ja) 2021-05-18 2022-12-01 グリー株式会社 画像処理プログラム、画像処理プログラムおよび画像処理装置
JP7187092B1 (ja) 2022-07-15 2022-12-12 Jp Games株式会社 ハッシュタグシステム、ハッシュタグ付与方法、ハッシュタグ付与プログラム

Similar Documents

Publication Publication Date Title
KR102331122B1 (ko) 모바일 디바이스용 위치추정
JP2021534473A (ja) 拡張現実環境におけるマルチデバイスマッピングおよび共同
CN112639891A (zh) 在增强现实环境内的内容的建议
CN114155299B (zh) 一种建筑数字孪生构建方法及系统
US11842384B2 (en) Digital model optimization responsive to orientation sensor data
JP6720385B1 (ja) プログラム、情報処理方法、及び情報処理端末
Milosavljević et al. GIS-augmented video surveillance
TW200421865A (en) Image generating method utilizing on-the-spot photograph and shape data
JP2008009646A (ja) 画像処理装置、画像処理方法
JP2017120650A (ja) 情報処理システム、その制御方法、及びプログラム、並びに情報処理装置、その制御方法、及びプログラム
JP2024513635A (ja) 仮想現実環境における複合現実オブジェクト
KR20200067537A (ko) 가상 환경 회의실 제공 시스템 및 방법
JP2022544240A (ja) 仮想現実および拡張現実のためのシステムおよび方法
JP7467262B2 (ja) 画像情報生成装置、方法およびプログラム
JP7357415B1 (ja) プログラム、情報処理装置および情報処理方法
JP7420428B1 (ja) プログラム、情報処理装置および情報処理方法
JP7237393B1 (ja) 情報処理装置、プログラムおよび情報処理方法
JP6510116B2 (ja) 仮想オブジェクトの表示システムを用いた顧客把握システム、顧客把握システムプログラム及び顧客把握方法
JP2017108356A (ja) 画像管理システム、画像管理方法、プログラム
JP5833306B2 (ja) 結婚式シミュレーションシステム
JP6534168B1 (ja) メイクアップ支援システム、及びメイクアップ支援方法
JP7386584B1 (ja) プログラム、情報処理装置および情報処理方法
JP6304305B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2024017866A (ja) システムおよび方法
JP7459199B1 (ja) 画像処理システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230228

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20230228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230516

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230706

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230718

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230807

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230919

R150 Certificate of patent or registration of utility model

Ref document number: 7357415

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150