JP7299371B1 - 情報処理装置及び情報処理方法 - Google Patents

情報処理装置及び情報処理方法 Download PDF

Info

Publication number
JP7299371B1
JP7299371B1 JP2022060557A JP2022060557A JP7299371B1 JP 7299371 B1 JP7299371 B1 JP 7299371B1 JP 2022060557 A JP2022060557 A JP 2022060557A JP 2022060557 A JP2022060557 A JP 2022060557A JP 7299371 B1 JP7299371 B1 JP 7299371B1
Authority
JP
Japan
Prior art keywords
information
virtual reality
user
reality space
location
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022060557A
Other languages
English (en)
Other versions
JP2023151115A (ja
Inventor
敏幸 松村
哲平 江田
正人 下平
恭平 辻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2022060557A priority Critical patent/JP7299371B1/ja
Priority to JP2023098800A priority patent/JP2023153120A/ja
Application granted granted Critical
Publication of JP7299371B1 publication Critical patent/JP7299371B1/ja
Publication of JP2023151115A publication Critical patent/JP2023151115A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Figure 0007299371000001
【課題】ユーザが感じる仮想現実空間と実空間との間の距離感を縮めることを図る。
【解決手段】ユーザのユーザ識別情報に関連付けられたユーザデバイスで表示される仮想現実空間データにおいて仮想現実空間上の場所を特定する仮想現実空間処理部と、仮想現実空間処理部が特定した仮想現実空間上の場所に対応する実空間上の場所に滞在する滞在者の情報を取得するための取得用情報を特定する取得用情報特定部と、取得用情報特定部が特定した取得用情報に基づいて実空間上の場所に滞在する当該ユーザと異なる滞在者の情報である実滞在者情報を取得する実滞在者情報取得部と、を備え、仮想現実空間処理部は、実滞在者情報取得部が取得した実滞在者情報に基づいて生成された追加オブジェクトを特定した仮想現実空間上の場所に表示するための仮想現実空間データを前記ユーザデバイスへ送信する。
【選択図】図2

Description

本発明は、情報処理装置及び情報処理方法に関する。
近年、ユーザに対して仮想現実(Virtual Reality:VR)の空間(仮想現実空間)のサービス(仮想現実空間サービス)を提供するためのサービスシステムが知られている(例えば、非特許文献1参照)。非特許文献1に記載された技術は、仮想現実空間上に例えば東京渋谷の街「バーチャル渋谷」を構築し、ユーザが自分の分身として仮想現実空間上に表示されるキャラクター(一般に「アバター」と称される)を用いて「バーチャル渋谷」を体験することができる。
「VIRTUAL CITY」、KDDI株式会社、インターネット<URL:https://www.au.com/5g/virtualcity/>
従来、仮想現実空間での出来事と現実の空間(実空間)での出来事とは独立している。例えば、仮想現実空間上の「バーチャル渋谷」での出来事と実際の東京渋谷での出来事とは別個のものである。このため、ユーザは仮想現実空間と実空間とを別個な世界として認識するが、これが仮想現実空間サービスに対するユーザの満足度が十分に上がらない一要因に挙げられる。
本発明は、このような事情を考慮してなされたものであり、その目的は、ユーザが感じる仮想現実空間と実空間との間の距離感を縮めることにある。
(1)本発明の一態様は、仮想現実空間サービスに登録されたユーザのユーザ識別情報及び前記ユーザのユーザデバイスのデバイス識別情報を含むユーザ情報を記憶するユーザ情報記憶部と、前記ユーザのユーザ識別情報に関連付けられたユーザデバイスで表示される仮想現実空間データにおいて仮想現実空間上の場所を特定する仮想現実空間処理部と、前記仮想現実空間処理部が特定した仮想現実空間上の場所に対応する実空間上の場所に滞在する滞在者の情報を取得するための取得用情報を特定する取得用情報特定部と、前記取得用情報特定部が特定した前記取得用情報に基づいて実空間上の場所に滞在する前記ユーザとは異なる滞在者の情報である実滞在者情報を取得する実滞在者情報取得部と、を備え、前記仮想現実空間処理部は、前記実滞在者情報取得部が取得した実滞在者情報に基づいて生成された追加オブジェクトを前記特定した仮想現実空間上の場所に表示するための前記仮想現実空間データを前記ユーザデバイスへ送信し、前記追加オブジェクトは、前記ユーザのユーザ識別情報に関連付けられていないユーザ非対応オブジェクトである、情報処理装置である。
(2)本発明の一態様は、前記ユーザ非対応オブジェクトは、前記実滞在者情報取得部により取得された前記滞在者の情報に対して前記滞在者が特定され難くなる所定の変更が加えられた情報を使用して仮想現実空間上に表示され、前記所定の変更は、各滞在者の実空間上の位置に対応する仮想現実空間上の各位置を所定の距離だけずらす、滞在者数を所定数若しくは所定割合だけ減らす、又は各滞在者の属性を所定数分若しくは所定割合分だけ他の属性に変える、上記(1)の情報処理装置である。
(3)本発明の一態様は、前記仮想現実空間処理部は、前記ユーザのユーザ識別情報に関連付けられたユーザ対応オブジェクトが存在する仮想現実空間上の場所を特定する、上記(1)又は(2)のいずれかの情報処理装置である。
(4)本発明の一態様は、前記仮想現実空間上の場所は、所定の用途に使用される場所である、上記(1)から(3)のいずれかの情報処理装置である。
(5)本発明の一態様は、仮想現実空間上の場所と前記取得用情報との対応付けを示す対応付け情報を記憶する対応付け情報記憶部を備える、上記(1)から(4)のいずれかの情報処理装置である。
(6)本発明の一態様は、前記実滞在者情報取得部は、前記取得用情報特定部が特定した前記取得用情報に基づいて実空間上の場所に滞在している実時間の滞在者の情報を取得する、上記(1)から(5)のいずれかの情報処理装置である。
(7)本発明の一態様は、前記実滞在者情報取得部は、前記取得用情報特定部が特定した前記取得用情報に基づいて実空間上の場所に過去に滞在していた滞在者の情報である過去滞在者情報を取得し、前記追加オブジェクトは、前記実滞在者情報取得部が取得した前記過去滞在者情報に基づいて生成される、上記(1)から(5)のいずれかの情報処理装置である。
(8)本発明の一態様は、前記実滞在者情報は、滞在者の位置、人数、及び属性のいずれかを含む、上記(1)から(7)のいずれかの情報処理装置である。
(9)本発明の一態様は、前記実滞在者情報は、実空間上の場所に滞在する滞在者が使用する携帯端末の位置情報から取得される、上記(1)から(8)のいずれかの情報処理装置である。
(10)本発明の一態様は、前記実滞在者情報は、実空間上の場所に設置されたセンサが取得するセンシングデータから取得される、上記(1)から(8)のいずれかの情報処理装置である。
(11)本発明の一態様は、前記センシングデータは、実空間上の場所に滞在する滞在者が撮像された撮像画像である、上記(10)の情報処理装置である。
(12)本発明の一態様は、前記センシングデータは、実空間上の場所に滞在する滞在者に関する音声データである、上記(10)の情報処理装置である。
(13)本発明の一態様は、前記ユーザ非対応オブジェクトは、前記ユーザのユーザ識別情報に関連付けられたユーザ対応オブジェクトとは区別して仮想現実空間上に表示される、上記(1)から(12)のいずれかの情報処理装置である。
14)本発明の一態様は、情報処理装置が実行する情報処理方法であって、仮想現実空間サービスに登録されたユーザのユーザ識別情報及び前記ユーザのユーザデバイスのデバイス識別情報を含むユーザ情報を記憶するユーザ情報記憶ステップと、前記ユーザのユーザ識別情報に関連付けられたユーザデバイスで表示される仮想現実空間データにおいて仮想現実空間上の場所を特定する仮想場所特定ステップと、前記仮想場所特定ステップが特定した仮想現実空間上の場所に対応する実空間上の場所に滞在する滞在者の情報を取得するための取得用情報を特定する取得用情報特定ステップと、前記取得用情報特定ステップが特定した前記取得用情報に基づいて実空間上の場所に滞在する前記ユーザと異なる滞在者の情報である実滞在者情報を取得する実滞在者情報取得ステップと、前記実滞在者情報取得ステップが取得した実滞在者情報に基づいて生成された追加オブジェクトを前記仮想場所特定ステップが特定した仮想現実空間上の場所に表示するための前記仮想現実空間データを前記ユーザデバイスへ送信するステップと、を含み、前記追加オブジェクトは、前記ユーザのユーザ識別情報に関連付けられていないユーザ非対応オブジェクトである、情報処理方法である。
本発明によれば、ユーザが感じる仮想現実空間と実空間との間の距離感を縮めることができるという効果が得られる。
一実施形態に係る仮想現実空間サービスシステムの構成例を示すブロック図である。 一実施形態に係る仮想現実空間サーバ(情報処理装置)の構成例を示すブロック図である。 一実施形態に係る情報処理方法の手順の例を示すシーケンス図である。
以下、図面を参照し、本発明の実施形態について説明する。
図1は、一実施形態に係る仮想現実空間サービスシステムの構成例を示すブロック図である。図1において、仮想現実空間サーバ(情報処理装置)1は、仮想現実空間サービスを提供するための情報処理を実行する。本実施形態では、仮想現実空間サービスとして、ユーザのユーザ識別情報(ユーザID)に関連付けられたオブジェクト(物体)を仮想現実空間上に表示させるサービスを提供する。ユーザIDに関連付けられたオブジェクト(ユーザ対応オブジェクト)は、例えばユーザの分身として仮想現実空間上に表示されるアバター等である。また、仮想現実空間サービスにより、ユーザは、仮想現実空間上の自分のアバターを移動させたり向きを変えたり等の所定の操作を行うことができる。
また、仮想現実空間サービスとして、非特許文献1に記載された技術により例えば東京渋谷の街の構成を模擬して仮想現実空間上に仮想の都市空間が構築され、ユーザが自分の分身として仮想現実空間上に表示されるアバターを用いて仮想現実空間上の東京渋谷の街を体験することができる。
例えば、仮想現実空間上の東京渋谷において複数のユーザが参加することができるイベントが開催される。例えば、スポーツの試合や音楽のコンサートや演劇やお笑いの舞台等を複数の参加ユーザが一緒に視聴するイベントが仮想現実空間上の東京渋谷で開催される。参加ユーザは、仮想現実空間上の東京渋谷のイベント会場に自分のアバターを表示させることができ、これにより、仮想現実空間上の東京渋谷で開催されるイベントに参加していることを体感することが可能である。
例えば、スポーツの試合や音楽のコンサートや演劇やお笑いの舞台等の実空間で行われる現実の催しがライブ配信される場合に、当該ライブ配信されるライブ配信映像(動画コンテンツ)が、実空間の東京渋谷の街頭ビジョン(例えば実空間上の東京渋谷のスクランブル交差点付近に設置された街頭ビジョン)と、当該実空間の東京渋谷の街頭ビジョンに対応する仮想現実空間上の東京渋谷の街頭ビジョン(例えば仮想現実空間上の東京渋谷のスクランブル交差点付近に設置された街頭ビジョン)とで同時に上映される。例えば、多数のユーザを集めてライブ配信映像を上映するイベント(ライブビューイング)が、実空間の東京渋谷のイベント会場と、当該実空間の東京渋谷のイベント会場に対応する仮想現実空間上の東京渋谷のイベント会場とで同時に開催されてもよい。なお、動画コンテンツは、ライブ配信映像に限定されず、例えば映画等の既存の映像であってもよい。
ユーザは、ユーザデバイス2を使用して、例えば仮想現実空間上のライブビューイングに参加し、仮想現実空間上で上映されるライブ配信映像を視聴することができる。また、ユーザは、ユーザデバイス2を使用して、仮想現実空間上の自分のアバターを移動させたり向きを変えたり、動画コンテンツを視聴するときの仮想現実空間上の視点を変えたり等の所定の操作(仮想現実空間操作)を行うことができる。
仮想現実空間サーバ1は、インターネット等の通信ネットワークNWを介して、ユーザが使用するデバイス(ユーザデバイス)2との間でデータを送受する。ユーザデバイス2は、例えばヘッドマウントディスプレー(HMD)である。ヘッドマウントディスプレーは、装着者に対して、コンピューターグラフィックス(CG)により作られた仮想現実空間を、リアルな空間(実空間)のように見せることができる。また、ヘッドマウントディスプレーが備える各種センサーによって動きや傾きなどが検出され、装着者が仮想現実空間上を移動しているように見せたり、仮想現実空間上のオブジェクトを見る方向を変えたりすることができる。ユーザは、ヘッドマウントディスプレーが備える操作部を使用して、仮想現実空間上の自分のアバターを移動させたり向きを変えたり等の所定の操作を行うことができる。ヘッドマウントディスプレーが備える操作部は、例えば、ヘッドマウントディスプレー本体とは別個の装置として構成されるものであって、ヘッドマウントディスプレー本体との間で近距離無線通信を行う。
仮想現実空間サーバ1は、通信ネットワークNWを介して、実滞在者情報収集サーバ3との間でデータを送受する。実滞在者情報収集サーバ3は、実滞在者情報を収集するサーバである。実滞在者情報は、実空間上の場所に滞在する滞在者の情報である。実滞在者情報は、例えば東京渋谷に実在するイベント会場に滞在する滞在者の情報である。実滞在者情報は、例えば東京渋谷に実在するスクランブル交差点付近に滞在する滞在者の情報である。
実滞在者情報は、滞在者の位置、人数及び属性のいずれかを含む情報である。例えば、実滞在者情報は、例えば東京渋谷に実在するイベント会場に滞在する滞在者に関して、各滞在者の位置や滞在者数や各滞在者の属性(性別や年代など)などである。例えば、実滞在者情報は、例えば東京渋谷に実在するスクランブル交差点付近(スクランブル交差点を含む所定範囲)に滞在する滞在者に関して、各滞在者の位置や滞在者数や各滞在者の属性(性別や年代など)などである。
例えば、実滞在者情報は、実空間上の場所に滞在する滞在者が使用する携帯端末の位置情報から取得される。例えば、実滞在者情報収集サーバ3は、携帯端末のユーザ属性情報及び位置情報を管理する携帯電話サービスシステム(図示せず)から、例えば東京渋谷に実在するイベント会場に在る各携帯端末の位置(各滞在者の位置)や携帯端末数(滞在者数)や各携帯端末のユーザ属性情報(各滞在者の属性)などを取得する。例えば、実滞在者情報収集サーバ3は、携帯端末のユーザ属性情報及び位置情報を管理する携帯電話サービスシステムから、例えば東京渋谷に実在するスクランブル交差点付近(スクランブル交差点を含む所定範囲)に在る各携帯端末の位置(各滞在者の位置)や携帯端末数(滞在者数)や各携帯端末のユーザ属性情報(各滞在者の属性)などを取得する。
例えば、実滞在者情報は、実空間上の場所に設置されたセンサが取得するセンシングデータから取得される。
例えば、実滞在者情報収集サーバ3は、例えば東京渋谷に実在するイベント会場に設置されたカメラ(センサ)が撮像したイベント会場に滞在する滞在者の撮像画像(センシングデータ)から、画像認識処理により、各滞在者の位置や滞在者数や各滞在者の属性などを取得する。例えば、実滞在者情報収集サーバ3は、例えば東京渋谷に実在するスクランブル交差点付近(スクランブル交差点を含む所定範囲)に設置されたカメラ(センサ)が撮像したスクランブル交差点付近(スクランブル交差点を含む所定範囲)に滞在する滞在者の撮像画像(センシングデータ)から、画像認識処理により、各滞在者の位置や滞在者数や各滞在者の属性などを取得する。
例えば、実滞在者情報収集サーバ3は、例えば東京渋谷に実在するイベント会場に設置されたマイクロフォン(センサ)が収音したイベント会場に滞在する滞在者の音声データ(センシングデータ)から、音声認識処理により、各滞在者の位置や滞在者数や各滞在者の属性などを取得する。例えば、実滞在者情報収集サーバ3は、例えば東京渋谷に実在するスクランブル交差点付近(スクランブル交差点を含む所定範囲)に設置されたマイクロフォン(センサ)が収音したスクランブル交差点付近(スクランブル交差点を含む所定範囲)に滞在する滞在者の音声データ(センシングデータ)から、音声認識処理により、各滞在者の位置や滞在者数や各滞在者の属性などを取得する。
実滞在者情報収集サーバ3は、実滞在者情報の要求に応じて、実滞在者情報を実時間(リアルタイム)で配信したり、又は記録された過去の実滞在者情報を配信したりする。
図2は、本実施形態に係る仮想現実空間サーバ(情報処理装置)の構成例を示すブロック図である。図2において、仮想現実空間サーバ1は、仮想現実空間処理部10と、取得用情報特定部11と、実滞在者情報取得部12と、記憶部20と、を備える。
仮想現実空間サーバ1の各機能は、仮想現実空間サーバ1がCPU(Central Processing Unit:中央演算処理装置)及びメモリ等のコンピュータハードウェアを備え、CPUがメモリに格納されたコンピュータプログラムを実行することにより実現される。なお、仮想現実空間サーバ1として、汎用のコンピュータ装置を使用して構成してもよく、又は、専用のハードウェア装置として構成してもよい。例えば、仮想現実空間サーバ1は、インターネット等の通信ネットワークに接続されるサーバコンピュータを使用して構成されてもよい。また、仮想現実空間サーバ1の各機能はクラウドコンピューティングにより実現されてもよい。また、仮想現実空間サーバ1は、単独のコンピュータにより実現するものであってもよく、又は仮想現実空間サーバ1の機能を複数のコンピュータに分散させて実現するものであってもよい。また、仮想現実空間サーバ1として、例えばWWWシステム等を利用してウェブサイトを開設するように構成してもよい。
仮想現実空間処理部10は、ユーザに対して仮想現実空間を見せるための仮想現実空間データをコンピューターグラフィックスにより生成する仮想現実空間処理を実行する。仮想現実空間データは、例えばヘッドマウントディスプレーで表示されることにより、コンピューターグラフィックスにより作られた仮想現実空間を装着者に対して実空間のように見せることができるデータである。仮想現実空間データは、仮想現実空間サーバ1からユーザのヘッドマウントディスプレー等のユーザデバイス2へ送信される。
なお、仮想現実空間データを生成する情報処理装置(図示せず)を仮想現実空間サーバ1とは別個に設け、仮想現実空間処理部10は、仮想現実空間サーバ1とは別個に設けられた当該情報処理装置から仮想現実空間データを取得してもよい。
本実施形態に係る仮想現実空間上には、ユーザのユーザIDに関連付けられたユーザ対応オブジェクトとして例えばアバターが表示される。
また本実施形態に係る仮想現実空間上では、各種のイベントが開催される。例えば、スポーツの試合や音楽のコンサートや演劇やお笑いの舞台等を複数の参加ユーザが一緒に視聴するライブビューイング等のイベントが仮想現実空間上で開催される。ユーザは、ユーザデバイス2を使用して、仮想現実空間上で開催されるイベントに参加し、仮想現実空間上の当該イベントを視聴することができる。また、ユーザは、ユーザデバイス2を使用して、仮想現実空間上の自分のアバターを移動させたり向きを変えたり、当該イベントを視聴するときの仮想現実空間上の視点を変えたり等の所定の操作(仮想現実空間操作)を行うことができる。
仮想現実空間処理部10は、ユーザのユーザIDに関連付けられたユーザデバイス2で表示される仮想現実空間データにおいて仮想現実空間上の場所を特定する。仮想現実空間処理部10が特定する仮想現実空間上の場所は、所定の用途に使用される場所である。例えば、仮想現実空間サーバ1は、仮想現実空間上の東京渋谷で開催されているライブビューイングのイベント会場を特定する。例えば、仮想現実空間サーバ1は、仮想現実空間上の東京渋谷でライブ配信映像が上映されている街頭ビジョン(例えば仮想現実空間上の東京渋谷のスクランブル交差点付近に設置された街頭ビジョン)を特定する。なお、所定の用途に使用される場所は、例えば店舗、イベントが開催される場所、土地、道路などが挙げられる。
仮想現実空間処理部10は、ユーザのユーザIDに関連付けられたユーザ対応オブジェクトが存在する仮想現実空間上の場所を特定してもよい。例えば、仮想現実空間処理部10は、ユーザが参加している仮想現実空間上の東京渋谷の街において、当該ユーザのアバターが存在する仮想現実空間上の場所を特定する。
取得用情報特定部11は、仮想現実空間処理部10が特定した仮想現実空間上の場所に対応する実空間上の場所に滞在する滞在者の情報を取得するための取得用情報を特定する。取得用情報特定部11は、記憶部20に記憶されている対応付け情報201を利用する。対応付け情報201は、仮想現実空間上の場所と取得用情報との対応付けを示す情報である。取得用情報は、実空間上の場所を示す情報であってもよく、実空間上の場所に滞在する滞在者の情報を取得するデバイスを示す情報であってもよく、又は当該デバイスが取得した滞在者の情報を集約する実滞在者情報収集サーバ3を示す情報であってもよい。
したがって、対応付け情報201を利用することによって、例えば仮想現実空間上の東京渋谷のある場所に対応する実空間上の場所を特定することができる。例えば、対応付け情報201を利用することによって、仮想現実空間上の東京渋谷のイベント会場に対応する実空間の東京渋谷のイベント会場を特定することができる。例えば、対応付け情報201を利用することによって、仮想現実空間上の東京渋谷のスクランブル交差点に対応する実空間の東京渋谷のスクランブル交差点を特定することができる。
また、対応付け情報201を利用することによって、例えば仮想現実空間上の東京渋谷のある場所に対応する実空間上の場所に滞在する滞在者の情報を取得するデバイスを特定することができる。例えば、対応付け情報201を利用することによって、仮想現実空間上の東京渋谷のイベント会場に設けられて当該イベント会場内を撮像するカメラや当該イベント会場内の音声を収音するマイクロフォンを特定することができる。例えば、対応付け情報201を利用することによって、仮想現実空間上の東京渋谷のスクランブル交差点に対応する実空間の東京渋谷のスクランブル交差点付近(スクランブル交差点を含む所定範囲)を撮像するカメラや当該スクランブル交差点付近の音声を収音するマイクロフォンを特定することができる。
なお、仮想現実空間上の所定の場所(例えば仮想現実空間処理部10が特定する仮想現実空間上の場所であって所定の用途に使用される場所)のみが取得用情報との対応付けの対象に限定されてもよい。
実滞在者情報取得部12は、取得用情報特定部11が特定した取得用情報に基づいて、実空間上の場所に滞在する滞在者の情報である実滞在者情報を取得する。例えば、実滞在者情報取得部12は、取得用情報特定部11が特定した取得用情報に示される実空間上の場所に滞在する滞在者の実滞在者情報を、実滞在者情報収集サーバ3から取得する。例えば、実滞在者情報取得部12は、取得用情報特定部11が特定した取得用情報に示されるデバイスを利用して取得される実滞在者情報を取得する。例えば、実滞在者情報取得部12は、取得用情報特定部11が特定した取得用情報に示される実滞在者情報収集サーバ3により集約される実滞在者情報を取得する。
また、例えば、実滞在者情報取得部12は、取得用情報特定部11が特定した取得用情報に基づいて、実空間上の場所に滞在している実時間(リアルタイム)の滞在者の情報を取得する。例えば、実滞在者情報取得部12は、取得用情報特定部11が特定した取得用情報に基づいて、実空間上の場所に過去に滞在していた滞在者の情報(過去滞在者情報)を取得する。
仮想現実空間処理部10は、実滞在者情報取得部12が取得した実滞在者情報に基づいて生成された追加オブジェクトを、ユーザのユーザIDに関連付けられたユーザデバイス2で表示される仮想現実空間データにおいて特定した仮想現実空間上の場所(仮想特定場所)に表示するための仮想現実空間データを当該ユーザデバイス2へ送信する。
追加オブジェクトは、ユーザのユーザIDに関連付けられていないオブジェクト(ユーザ非対応オブジェクト)である。ユーザ非対応オブジェクトは、例えば、どのユーザの分身でもない「見かけ上のアバター(以下、説明の便宜上、ゴーストアバターと称する」である。仮想現実空間処理部10は、実滞在者情報が示す各滞在者の位置や滞在者数や各滞在者の属性(性別や年代など)などに基づいてゴーストアバターを生成し、生成したゴーストアバターを仮想特定場所に表示させるための仮想現実空間データを取得し、取得した仮想現実空間データをユーザデバイス2へ送信する。また、仮想現実空間処理部10は、過去滞在者情報が示す各滞在者の位置や滞在者数や各滞在者の属性(性別や年代など)などに基づいて、仮想特定場所に表示させるゴーストアバターを生成してもよい。
例えば、仮想現実空間処理部10は、実空間の東京渋谷のイベント会場における各滞在者の位置(実滞在者情報)に対応する仮想現実空間上のイベント会場(仮想特定場所)における各位置にゴーストアバターを表示させるための仮想現実空間データを取得する。例えば、仮想現実空間処理部10は、実空間の東京渋谷のイベント会場における滞在者数(実滞在者情報)に対応する数のゴーストアバターを仮想現実空間上のイベント会場(仮想特定場所)に表示させるための仮想現実空間データを取得する。例えば、仮想現実空間処理部10は、実空間の東京渋谷のイベント会場における各滞在者の属性(実滞在者情報)に対応する各属性のゴーストアバターを仮想現実空間上のイベント会場(仮想特定場所)に表示させるための仮想現実空間データを取得する。
例えば、仮想現実空間処理部10は、実空間の東京渋谷のスクランブル交差点付近(スクランブル交差点を含む所定範囲)における各滞在者の位置(実滞在者情報)に対応する仮想現実空間上の東京渋谷のスクランブル交差点付近(スクランブル交差点を含む所定範囲;仮想特定場所)における各位置にゴーストアバターを表示させるための仮想現実空間データを取得する。例えば、仮想現実空間処理部10は、実空間の東京渋谷のスクランブル交差点付近(スクランブル交差点を含む所定範囲)における滞在者数(実滞在者情報)に対応する数のゴーストアバターを仮想現実空間上の東京渋谷のスクランブル交差点付近(スクランブル交差点を含む所定範囲;仮想特定場所)に表示させるための仮想現実空間データを取得する。例えば、仮想現実空間処理部10は、実空間の東京渋谷のスクランブル交差点付近(スクランブル交差点を含む所定範囲)における各滞在者の属性(実滞在者情報)に対応する各属性のゴーストアバターを仮想現実空間上の東京渋谷のスクランブル交差点付近(スクランブル交差点を含む所定範囲;仮想特定場所)に表示させるための仮想現実空間データを取得する。
なお、実滞在者情報として滞在者の音声データが含められていてもよい。仮想現実空間処理部10は、実滞在者情報に含まれる音声データに基づいた音声を、ゴーストアバターの音声として仮想現実空間上で再生させるための仮想現実空間データを取得し、取得した仮想現実空間データをユーザデバイス2へ送信してもよい。
また、仮想現実空間処理部10は、ユーザ対応オブジェクトとユーザ非対応オブジェクトとを区別して仮想現実空間上に表示させるための仮想現実空間データを取得し、取得した仮想現実空間データをユーザデバイス2へ送信してもよい。例えば、ゴーストアバターは、仮想現実空間上で半透明に表示されるようにする。
また、仮想現実空間処理部10は、実滞在者情報が示す滞在者の情報に対して所定の変更が加えられた情報を使用して、ゴーストアバターを仮想現実空間上に表示させるようにしてもよい。例えば、仮想現実空間処理部10は、実滞在者情報が示す各滞在者の位置に対応する仮想現実空間上の各位置を所定の距離だけずらした各位置にゴーストアバターを表示させるための仮想現実空間データを取得し、取得した仮想現実空間データをユーザデバイス2へ送信する。例えば、仮想現実空間処理部10は、実滞在者情報が示す滞在者数を所定数又は所定割合だけ減らした数のゴーストアバターを仮想現実空間上に表示させるための仮想現実空間データを取得し、取得した仮想現実空間データをユーザデバイス2へ送信する。例えば、仮想現実空間処理部10は、実滞在者情報が示す各滞在者の属性を所定数分又は所定割合分だけ他の属性に変えた各属性のゴーストアバターを仮想現実空間上に表示させるための仮想現実空間データを取得し、取得した仮想現実空間データをユーザデバイス2へ送信する。
このように実滞在者情報が示す滞在者の情報に対して所定の変更が加えられた情報を使用してゴーストアバターを仮想現実空間上に表示させることによって、実在の滞在者のプライバシーに配慮することができる。また、実在の滞在者数が多すぎると、そのままの滞在者数分のゴーストアバターを仮想現実空間上に表示させることによって仮想現実空間がビジー状態になって仮想現実空間サービスの品質が低下する恐れがある。このため、実滞在者情報が示す滞在者数を所定数又は所定割合だけ減らした数のゴーストアバターを仮想現実空間上に表示させることは好ましい。例えば、実滞在者情報が示す滞在者数が所定数以上である場合に、ゴーストアバター数を実滞在者情報の滞在者数よりも減らすようにしてもよい。
記憶部20は、対応付け情報201やユーザ情報202等の各種のデータを記憶する。
対応付け情報201は、仮想現実空間上の場所と取得用情報との対応付けを示す情報である。例えば、仮想現実空間上の東京渋谷の所定の場所(例えば、イベント会場やスクランブル交差点など)が実空間上の何処の場所に対応するのかが対応付け情報201に示される。例えば、仮想現実空間上の東京渋谷の所定の場所(例えば、イベント会場やスクランブル交差点など)がどのデバイス(例えば、イベント会場やスクランブル交差点に設けられたカメラやマイクロフォンなど)に対応するのかが対応付け情報201に示される。例えば、仮想現実空間上の東京渋谷の所定の場所(例えば、イベント会場やスクランブル交差点など)がどの実滞在者情報収集サーバ3に対応するのかが対応付け情報201に示される。
ユーザ情報202は、仮想現実空間サービスに登録されたユーザに関する情報である。ユーザ情報202は、ユーザ毎に、ユーザID、ユーザデバイス2のデバイス識別情報(デバイスID)などの情報を含む。
次に図3を参照して本実施形態に係る情報処理方法について説明する。図3は、本実施形態に係る情報処理方法の手順の例を示すシーケンス図である。ここでは、本実施形態に係る取得用情報の一例として、取得用情報が実空間上の場所を示す情報である場合について図3を参照して説明する。
(ステップS100) 実滞在者情報収集サーバ3は、実空間上の場所に滞在する滞在者の情報(実滞在者情報)を常時収集している。ここでは、実滞在者情報収集サーバ3は、実空間の東京渋谷の所定の場所に滞在する滞在者の情報(実滞在者情報)を常時収集している。実空間の東京渋谷の所定の場所は、仮想現実空間サーバ1に設定された対応付け情報201に登録された実空間上の場所である。
(ステップS101) ユーザは、ユーザデバイス2を使用して、仮想現実空間サーバ1が提供する仮想現実空間サービスに参加している。ここでは、ユーザは、仮想現実空間上の東京渋谷のイベント会場で開催されているイベントに参加している。また仮想現実空間サービスにより、ユーザのアバターは、当該ユーザが参加している仮想現実空間上のイベントが開催されている仮想現実空間上の東京渋谷のイベント会場に表示されている。
(ステップS102) 仮想現実空間サーバ1において仮想現実空間処理部10は、ユーザのユーザデバイス2で表示される仮想現実空間データにおいてユーザのアバターが存在する仮想現実空間上の場所を特定する。ここでは、ユーザが参加している仮想現実空間上のイベントが開催されている「仮想現実空間上の東京渋谷のイベント会場」が特定される。
(ステップS103) 仮想現実空間サーバ1において取得用情報特定部11は、対応付け情報201を利用して、仮想現実空間処理部10が特定した「仮想現実空間上の東京渋谷のイベント会場」に対応する取得用情報つまり実空間上の場所を特定する。ここでは、「実空間の東京渋谷のイベント会場」が特定される。
(ステップS104) 仮想現実空間サーバ1において実滞在者情報取得部12は、実滞在者情報収集サーバ3に対して、取得用情報特定部11が特定した「実空間の東京渋谷のイベント会場」に滞在する滞在者の情報である実滞在者情報を要求する。ここでは、実滞在者情報取得部12は、実滞在者情報収集サーバ3に対して、実時間(リアルタイム)の滞在者の情報を要求する。また、要求対象の実滞在者情報は、仮想現実空間上の東京渋谷のイベント会場で開催されているイベントに参加している当該ユーザとは異なる滞在者の情報に限定してもよい。
(ステップS105) 実滞在者情報収集サーバ3は、仮想現実空間サーバ1からの実時間の実滞在者情報の要求に応じて、「実空間の東京渋谷のイベント会場」に滞在する滞在者の情報である実滞在者情報を実時間で配信する(実滞在者情報応答)。
(ステップS106) 仮想現実空間サーバ1において仮想現実空間処理部10は、実滞在者情報取得部12が取得した「実空間の東京渋谷のイベント会場」に滞在する実時間の滞在者の情報に基づいたゴーストアバターを「仮想現実空間上の東京渋谷のイベント会場」(仮想特定場所)に表示するための仮想現実空間データを取得する。
(ステップS107) 仮想現実空間サーバ1において仮想現実空間処理部10は、当該取得した仮想現実空間データをユーザのユーザデバイス2へ送信する。これにより、ユーザが参加している仮想現実空間上のイベントが開催されている「仮想現実空間上の東京渋谷のイベント会場」にゴーストアバターが表示される。当該ゴーストアバターは、「実空間の東京渋谷のイベント会場」に滞在する実時間の滞在者の情報に基づいて生成されるので、ユーザに対して、「仮想現実空間上の東京渋谷のイベント会場」の状況(混み具合や盛り上がり具合など)があたかも現在の「実空間の東京渋谷のイベント会場」の状況であるかのように体感させることができる。
なお、「仮想現実空間上の東京渋谷のイベント会場」で開催されるイベントと、「実空間の東京渋谷のイベント会場」で開催されるイベントとは、同じであってもよく、又は異なってもよい。
また、実滞在者情報取得部12は、実滞在者情報収集サーバ3から、「実空間の東京渋谷のイベント会場」に過去に滞在していた滞在者の情報(過去滞在者情報)を取得してもよい。これにより、ユーザが参加している仮想現実空間上のイベントが開催されている「仮想現実空間上の東京渋谷のイベント会場」に表示されるゴーストアバターは、「実空間の東京渋谷のイベント会場」に過去に滞在していた滞在者の情報(過去滞在者情報)に基づいて生成されるので、ユーザに対して、「仮想現実空間上の東京渋谷のイベント会場」の状況(混み具合や盛り上がり具合など)があたかも過去の「実空間の東京渋谷のイベント会場」の状況であるかのように体感させることができる。
このように本実施形態によれば、仮想現実空間上の場所(例えば仮想現実空間上の東京渋谷のイベント会場)に対応する実空間上の場所(実空間の東京渋谷のイベント会場)の滞在者の状況を当該仮想現実空間上の場所に反映させることができる。これにより、ユーザに対して、仮想現実空間上の場所の状況があたかも実空間上の場所の状況であるかのように体感させることができる。これにより、ユーザが感じる仮想現実空間と実空間との間の距離感を縮めることができるという効果が得られる。これにより、仮想現実空間サービスに対するユーザの満足度の向上に寄与することができる。
なお、これにより、例えば仮想現実空間サービスを提供するシステムにおける総合的なサービス品質の向上を実現することができることから、国連が主導する持続可能な開発目標(SDGs)の目標9「レジリエントなインフラを整備し、持続可能な産業化を推進するとともに、イノベーションの拡大を図る」に貢献することが可能となる。
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
また、上述した各装置の機能を実現するためのコンピュータプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するようにしてもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリ等の書き込み可能な不揮発性メモリ、DVD(Digital Versatile Disc)等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(Dynamic Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
1…仮想現実空間サーバ(情報処理装置)、2…ユーザデバイス、3…実滞在者情報収集サーバ、10…仮想現実空間処理部、11…取得用情報特定部、12…実滞在者情報取得部、20…記憶部、NW…通信ネットワーク

Claims (14)

  1. 仮想現実空間サービスに登録されたユーザのユーザ識別情報及び前記ユーザのユーザデバイスのデバイス識別情報を含むユーザ情報を記憶するユーザ情報記憶部と、
    前記ユーザのユーザ識別情報に関連付けられたユーザデバイスで表示される仮想現実空間データにおいて仮想現実空間上の場所を特定する仮想現実空間処理部と、
    前記仮想現実空間処理部が特定した仮想現実空間上の場所に対応する実空間上の場所に滞在する滞在者の情報を取得するための取得用情報を特定する取得用情報特定部と、
    前記取得用情報特定部が特定した前記取得用情報に基づいて実空間上の場所に滞在する前記ユーザと異なる滞在者の情報である実滞在者情報を取得する実滞在者情報取得部と、を備え、
    前記仮想現実空間処理部は、前記実滞在者情報取得部が取得した実滞在者情報に基づいて生成された追加オブジェクトを前記特定した仮想現実空間上の場所に表示するための前記仮想現実空間データを前記ユーザデバイスへ送信
    前記追加オブジェクトは、前記ユーザのユーザ識別情報に関連付けられていないユーザ非対応オブジェクトである、
    情報処理装置。
  2. 前記ユーザ非対応オブジェクトは、前記実滞在者情報取得部により取得された前記滞在者の情報に対して前記滞在者が特定され難くなる所定の変更が加えられた情報を使用して仮想現実空間上に表示され
    前記所定の変更は、
    各滞在者の実空間上の位置に対応する仮想現実空間上の各位置を所定の距離だけずらす、
    滞在者数を所定数若しくは所定割合だけ減らす、
    又は各滞在者の属性を所定数分若しくは所定割合分だけ他の属性に変える、
    請求項1に記載の情報処理装置。
  3. 前記仮想現実空間処理部は、前記ユーザのユーザ識別情報に関連付けられたユーザ対応オブジェクトが存在する仮想現実空間上の場所を特定する、
    請求項1又は2のいずれか1項に記載の情報処理装置。
  4. 前記仮想現実空間上の場所は、所定の用途に使用される場所である、
    請求項1から3のいずれか1項に記載の情報処理装置。
  5. 仮想現実空間上の場所と前記取得用情報との対応付けを示す対応付け情報を記憶する対応付け情報記憶部を備える、
    請求項1からのいずれか1項に記載の情報処理装置。
  6. 前記実滞在者情報取得部は、前記取得用情報特定部が特定した前記取得用情報に基づいて実空間上の場所に滞在している実時間の滞在者の情報を取得する、
    請求項1からのいずれか1項に記載の情報処理装置。
  7. 前記実滞在者情報取得部は、前記取得用情報特定部が特定した前記取得用情報に基づいて実空間上の場所に過去に滞在していた滞在者の情報である過去滞在者情報を取得し、
    前記追加オブジェクトは、前記実滞在者情報取得部が取得した前記過去滞在者情報に基づいて生成される、
    請求項1からのいずれか1項に記載の情報処理装置。
  8. 前記実滞在者情報は、滞在者の位置、人数、及び属性のいずれかを含む、
    請求項1からのいずれか1項に記載の情報処理装置。
  9. 前記実滞在者情報は、実空間上の場所に滞在する滞在者が使用する携帯端末の位置情報から取得される、
    請求項1からのいずれか1項に記載の情報処理装置。
  10. 前記実滞在者情報は、実空間上の場所に設置されたセンサが取得するセンシングデータから取得される、
    請求項1からのいずれか1項に記載の情報処理装置。
  11. 前記センシングデータは、実空間上の場所に滞在する滞在者が撮像された撮像画像である、
    請求項10に記載の情報処理装置。
  12. 前記センシングデータは、実空間上の場所に滞在する滞在者に関する音声データである、
    請求項10に記載の情報処理装置。
  13. 前記ユーザ非対応オブジェクトは、前記ユーザのユーザ識別情報に関連付けられたユーザ対応オブジェクトとは区別して仮想現実空間上に表示される、
    請求項1から12のいずれか1項に記載の情報処理装置。
  14. 情報処理装置が実行する情報処理方法であって、
    仮想現実空間サービスに登録されたユーザのユーザ識別情報及び前記ユーザのユーザデバイスのデバイス識別情報を含むユーザ情報を記憶するユーザ情報記憶ステップと、
    前記ユーザのユーザ識別情報に関連付けられたユーザデバイスで表示される仮想現実空間データにおいて仮想現実空間上の場所を特定する仮想場所特定ステップと、
    前記仮想場所特定ステップが特定した仮想現実空間上の場所に対応する実空間上の場所に滞在する滞在者の情報を取得するための取得用情報を特定する取得用情報特定ステップと、
    前記取得用情報特定ステップが特定した前記取得用情報に基づいて実空間上の場所に滞在する前記ユーザと異なる滞在者の情報である実滞在者情報を取得する実滞在者情報取得ステップと、
    前記実滞在者情報取得ステップが取得した実滞在者情報に基づいて生成された追加オブジェクトを前記仮想場所特定ステップが特定した仮想現実空間上の場所に表示するための前記仮想現実空間データを前記ユーザデバイスへ送信するステップと、を含み、
    前記追加オブジェクトは、前記ユーザのユーザ識別情報に関連付けられていないユーザ非対応オブジェクトである、
    情報処理方法。
JP2022060557A 2022-03-31 2022-03-31 情報処理装置及び情報処理方法 Active JP7299371B1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022060557A JP7299371B1 (ja) 2022-03-31 2022-03-31 情報処理装置及び情報処理方法
JP2023098800A JP2023153120A (ja) 2022-03-31 2023-06-15 情報処理装置及び情報処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022060557A JP7299371B1 (ja) 2022-03-31 2022-03-31 情報処理装置及び情報処理方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023098800A Division JP2023153120A (ja) 2022-03-31 2023-06-15 情報処理装置及び情報処理方法

Publications (2)

Publication Number Publication Date
JP7299371B1 true JP7299371B1 (ja) 2023-06-27
JP2023151115A JP2023151115A (ja) 2023-10-16

Family

ID=86900669

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2022060557A Active JP7299371B1 (ja) 2022-03-31 2022-03-31 情報処理装置及び情報処理方法
JP2023098800A Pending JP2023153120A (ja) 2022-03-31 2023-06-15 情報処理装置及び情報処理方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023098800A Pending JP2023153120A (ja) 2022-03-31 2023-06-15 情報処理装置及び情報処理方法

Country Status (1)

Country Link
JP (2) JP7299371B1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011099192A1 (ja) 2010-02-15 2011-08-18 石井 美恵子 アクセス制御システム、アクセス制御方法およびサーバ
JP2017086542A (ja) 2015-11-11 2017-05-25 株式会社コロプラ 画像変更システム、方法、及びプログラム
WO2018092384A1 (ja) 2016-11-21 2018-05-24 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011099192A1 (ja) 2010-02-15 2011-08-18 石井 美恵子 アクセス制御システム、アクセス制御方法およびサーバ
JP2017086542A (ja) 2015-11-11 2017-05-25 株式会社コロプラ 画像変更システム、方法、及びプログラム
WO2018092384A1 (ja) 2016-11-21 2018-05-24 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Also Published As

Publication number Publication date
JP2023151115A (ja) 2023-10-16
JP2023153120A (ja) 2023-10-17

Similar Documents

Publication Publication Date Title
US10699482B2 (en) Real-time immersive mediated reality experiences
CN110300909A (zh) 用于显示交互式增强现实展示的系统、方法和介质
JP2020096269A (ja) 動画配信システム、動画配信方法及び動画配信プログラム
JP5755064B2 (ja) 会場設置ディスプレイシステム
CN103871092A (zh) 显示控制装置以及显示控制方法
JPWO2019130864A1 (ja) 情報処理装置、情報処理方法およびプログラム
JP2011033993A (ja) 情報提示装置、および情報提示方法
JP2020096335A (ja) 動画配信システム、動画配信方法及び動画配信プログラム
JP2020099096A (ja) 動画配信システム、動画配信方法及び動画配信プログラム
JP2022507502A (ja) 拡張現実(ar)のインプリント方法とシステム
KR101824863B1 (ko) 가상현실 멀티 스토리텔링 영상극장 다중미디어 스트리밍 장치
JP7202935B2 (ja) 注目度算出装置、注目度算出方法、および注目度算出プログラム
JP6688378B1 (ja) コンテンツ配信システム、配信装置、受信装置及びプログラム
JP2014164537A (ja) 仮想現実サービス提供システム、仮想現実サービス提供方法
JP7299371B1 (ja) 情報処理装置及び情報処理方法
JP2023518600A (ja) 拡張現実インタラクションを提供するための装置および方法
JP2020096341A (ja) 動画配信システム、動画配信方法及び動画配信プログラム
JP2013055606A (ja) 画像表示システム、画像表示装置、及びプログラム
KR20140136288A (ko) 사용자 참여형 테마파크 영상 제작 서비스 제공 시스템 및 방법
JP7293991B2 (ja) サーバ、再生デバイス、コンテンツ再生システム、コンテンツ再生方法、及びプログラム
JP2018174376A (ja) 映像配信システム、端末装置及び映像データ配信装置
JP5783863B2 (ja) サーバ装置、端末およびプログラム
JP2020102236A (ja) コンテンツ配信システム、受信装置及びプログラム
JP2020022189A (ja) 映像配信システム、映像データ配信装置、映像データ配信装置制御プログラム、映像データ配信方法、端末装置、端末装置制御プログラム及び端末制御方法
JP2020102053A (ja) コンテンツ配信システム、受信装置及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220527

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20220527

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220823

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221012

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230307

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230516

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230615

R150 Certificate of patent or registration of utility model

Ref document number: 7299371

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150