JP2024077564A - 情報処理システム、情報処理方法、及びプログラム - Google Patents

情報処理システム、情報処理方法、及びプログラム Download PDF

Info

Publication number
JP2024077564A
JP2024077564A JP2023057030A JP2023057030A JP2024077564A JP 2024077564 A JP2024077564 A JP 2024077564A JP 2023057030 A JP2023057030 A JP 2023057030A JP 2023057030 A JP2023057030 A JP 2023057030A JP 2024077564 A JP2024077564 A JP 2024077564A
Authority
JP
Japan
Prior art keywords
item
predetermined
specific image
information
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023057030A
Other languages
English (en)
Inventor
暁彦 白井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GREE Inc
Original Assignee
GREE Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GREE Inc filed Critical GREE Inc
Priority to US18/216,619 priority Critical patent/US20240177439A1/en
Publication of JP2024077564A publication Critical patent/JP2024077564A/ja
Pending legal-status Critical Current

Links

Abstract

【課題】仮想空間で利用可能な所定アイテムに対して好適な画像等を対応付ける。
【解決手段】ユーザからの所定入力を取得するユーザ入力取得部と、人工知能により構築された第1機械学習モデルを利用して、第1機械学習モデルに所定入力を入力して得られる特定画像を取得する画像取得部と、仮想空間で利用可能な所定アイテムに対して特定画像を対応付ける対応付け処理部とを備える、情報処理システムが開示される。
【選択図】図20

Description

本開示は、情報処理システム、情報処理方法、及びプログラムに関する。
Word2Image等に関連して、入力文書に適した画像を付与する技術が知られている。
特開2011-221794号公報
しかしながら、上記のような従来技術では、仮想空間で利用可能な所定アイテムに適用するのが難しかった。
そこで、1つの側面では、本開示は、仮想空間で利用可能な所定アイテムに対してAI(人工知能)が生成した画像を応用することを目的とする。
1つの側面では、ユーザからの所定入力を取得するユーザ入力取得部と、
人工知能により構築された第1機械学習モデルを利用して、前記第1機械学習モデルに前記所定入力を入力して得られる特定画像を取得する画像取得部と、
仮想空間で利用可能な所定アイテムに対して前記特定画像を対応付ける対応付け処理部とを備える、情報処理システムが提供される。
1つの側面では、本開示によれば、仮想空間で利用可能な所定アイテムに対して好適な画像等を対応付けることが可能となる。
本実施形態に係るシステムのブロック図である。 本開示に従ったコンピュータベースのオペレーションを実行する処理回路のブロック図である。 システムにおいて実行されてよい処理の一例の流れの概要を示すフローチャートである。 図3に示す処理の説明図であり、意味空間での混合のイメージ図である。 図3に示す処理の説明図であり、特定画像のイメージ図である。 図3に示す処理の説明図であり、アバター及びそれに装着されるアイテムのイメージ図である。 図3に示す処理の説明図であり、仮想空間内に配置可能なアイテムのイメージ図である。 図3に示す処理の説明図であり、仮想空間内のアバターや家具の組み合わせのイメージ図である。 システムにおいて実行されてよい処理の他の一例の流れの概要を示すフローチャートである。 図9に示す処理の説明図であり、アイテムテクスチャの相違のイメージ図である。 システムにおいて実行されてよい処理の更なる他の一例の流れの概要を示すフローチャートである。 図9に示す処理の説明図であり、アバターに装着可能なアイテムの形状等のイメージ図である。 入力情報の生成/入力や、複数の特定画像を混ぜる指示等が可能なUIの一例を示す図である。 色調整が可能なUIの一例を示す図である。 アイテム選択が可能なUIの一例を示す図である。 型紙やパーツごとに管理可能なアイテム要素の説明図である。 メタバース空間で利用可能な操作子の一例を模式的に示す図である。 システムにおいて実現可能なユーザ側の操作手順の例を概略的に示すフローチャートである。 図16の手順の説明図であり、アバターの服(着物)をユーザが編集している様子を表す画面である。 ストア審査申請を受けた際にサーバ装置により実現されてもよい処理のフローチャートである。 ユニークネスの評価処理の一例を示す概略的なフローチャートである。 サーバ装置の機能の一例を概略的に示すブロック図である。 複数の所定アイテムへの同時(一括的)反映の説明図である。 コンテストの様子のイメージ図である。
以下、添付図面を参照しながら各実施形態について詳細に説明する。なお、添付図面では、見易さのために、複数存在する同一属性の部位には、一部のみしか参照符号が付されていない場合がある。
図1を参照して、一実施形態に係るシステム1の概要について説明する。図1は、本実施形態に係るシステム1のブロック図である。
システム1は、サーバ装置10と、1つ以上の端末装置20と、を備える。図1では簡便のため、3つの端末装置20を図示しているが、端末装置20の数は任意である。
サーバ装置10は、例えば1つ以上の本コンテンツ生成支援サービスを提供する運営者が管理するサーバ等の情報処理装置である。端末装置20は、例えば携帯電話、スマートフォン、タブレット端末、PC(Personal Computer)、ヘッドマウントディスプレイ、又はゲーム装置等の、ユーザによって使用される装置である。端末装置20は、典型的にはユーザごとに異なる態様で、複数がサーバ装置10にネットワーク3を介して接続されうる。
端末装置20は、本実施形態に係るコンテンツ生成支援アプリケーションを実行可能である。コンテンツ生成支援アプリケーションは、ネットワーク3を介してサーバ装置10や所定のアプリケーション配信サーバから端末装置20に受信されてもよく、あるいは端末装置20に備えられた記憶装置又は端末装置20が読取可能なメモリカード等の記憶媒体にあらかじめ記憶されていてもよい。サーバ装置10及び端末装置20は、ネットワーク3を介して通信可能に接続される。例えば、サーバ装置10及び端末装置20が協動して、コンテンツ生成支援に関する多様な処理を実行する。
なお、ネットワーク3は、無線通信網や、インターネット、VPN(Virtual Private Network)、WAN(Wide Area Network)、有線ネットワーク、又はこれらの任意の組み合わせ等を含んでよい。
本実施形態では、サーバ装置10は、ブロックチェーンネットワーク5に接続されてよい(矢印R10参照)。ブロックチェーンネットワーク5は、多数のコンピュータがお互いに接続されたネットワークであり、接続されている各コンピュータがノードとしてサーバ装置10からブロックチェーンネットワーク5に通知された処理依頼を記録すると共に、利用者からの処理依頼に応じた処理を実行し、その結果をノードが管理しているストレージに記録する。処理依頼は各ノードに伝達され、それぞれのノードがその処理依頼に対して同じ処理を実行して出力を記録することにより、分散環境下においても各ノードが全く同じ情報を保持することを実現する。なお、このブロックチェーン上で実行する処理のことをスマートコントラクトとも称する。なお、ブロックチェーンネットワーク5のノードの一部又は全部は、端末装置20により実現されてもよいし、ブロックチェーンネットワーク5に係るネットワークの一部又は全部がネットワーク3により実現されてもよい。
以下では、システム1が、情報処理システムの一例を実現するが、特定の一の端末装置20の各要素(図1の端末通信部21~端末制御部25参照)が、情報処理システムの一例を実現してもよいし、複数の端末装置20が、協動して情報処理システムの一例を実現してもよい。また、サーバ装置10が単独で、情報処理システムの一例を実現してもよいし、サーバ装置10と1つ以上の端末装置20が、協動して情報処理システムの一例を実現してもよい。
(サーバ装置の構成)
サーバ装置10の構成について具体的に説明する。サーバ装置10は、サーバコンピュータにより構成される。サーバ装置10は、複数台のサーバコンピュータにより協動して実現されてもよい。例えば、サーバ装置10は、各種のコンテンツを提供するサーバコンピュータや、各種の認証サーバを実現するサーバコンピュータ等により協動して実現されてもよい。また、サーバ装置10は、Webサーバ820(図2参照)を含んでよい。この場合、後述する端末装置20の機能の一部は、Webサーバ820(図2参照)から受領したHTML文書やそれに付随する各種プログラム(JavaScript(登録商標))をブラウザが処理することによって実現されてもよい。
サーバ装置10は、図1に示すように、サーバ通信部11と、サーバ記憶部12と、サーバ制御部13と、を備える。
サーバ通信部11は、外部装置と無線又は有線によって通信し、情報の送受信を行うインターフェース(図2のI/Oインターフェース612、ネットワークコントローラ702等参照)を含む。サーバ通信部11は、例えば無線LAN(Local Area Network)通信モジュール又は有線LAN通信モジュール等を含んでもよい。サーバ通信部11は、ネットワーク3を介して、端末装置20との間で情報を送受信可能である。
サーバ記憶部12は、例えば記憶装置であって、コンテンツ生成支援に係る各種処理に必要な種々の情報及びプログラムを記憶する。
サーバ制御部13は、専用のマイクロプロセッサ又は特定のプログラムを読み込むことにより特定の機能を実現するCPU(Central Processing Unit)や、GPU(Graphics Processing Unit)等を含んでよい(図2のCPU601参照)。例えばサーバ制御部13は、端末装置20と協動して、端末装置20の表示部23(タッチパネル)に対するユーザ操作に応じてコンテンツ生成支援アプリケーションを実行する。
(端末装置の構成)
端末装置20の構成について説明する。図1に示すように、端末装置20は、端末通信部21と、端末記憶部22と、表示部23と、入力部24と、端末制御部25とを備える。
端末通信部21は、外部装置と無線又は有線によって通信し、情報の送受信を行うインターフェース(図2のI/Oインターフェース612、ネットワークコントローラ702等参照)を含む。端末通信部21は、例えばLTE(Long Term Evolution(登録商標))や、LTE-A(LTE-Advanced)、第五世代移動通信システム、UMB(Ultra Mobile Broadband)等のモバイル通信規格に対応する無線通信モジュール、無線LAN通信モジュール、又は有線LAN通信モジュール等を含んでもよい。端末通信部21は、ネットワーク3を介して、サーバ装置10との間で情報を送受信可能である。
端末記憶部22は、例えば一次記憶装置及び二次記憶装置を含む。例えば端末記憶部22は、半導体メモリ、磁気メモリ、又は光メモリ等を含んでもよい。端末記憶部22は、サーバ装置10から受信する、コンテンツ生成支援に係る種々の情報及びプログラムを記憶する。コンテンツ生成支援に係る情報及びプログラムは、端末通信部21を介して外部装置から取得されてもよい。例えば、コンテンツ生成支援アプリケーションプログラムが、所定のアプリケーション配信サーバから取得されてもよい。以下、アプリケーションプログラムを、単にアプリケーションともいう。
表示部23は、例えば液晶ディスプレイ又は有機EL(Electro-Luminescence)ディスプレイ等の表示デバイス(図2のディスプレイ609も参照)を含む。表示部23は、多様な画像を表示可能である。表示部23は、例えばタッチパネルで構成され、多様なユーザ操作を検出するインターフェースとして機能する。なお、表示部23は、上述したように、ヘッドマウントディスプレイに内蔵される形態であってよい。
入力部24は、物理キーを含んでもよいし、マウス等のようなポインティングデバイスをはじめとする任意の入力インターフェースを更に含んでもよい。また、入力部24は、音声入力やジェスチャ入力、視線入力のような、非接触型のユーザ入力を受付可能であってもよい。なお、ジェスチャ入力には、ユーザの各種状態を検出するためのセンサ(画像センサや、加速度センサ、距離センサ等)や、センサ技術やカメラを統合した専用モーションキャプチャー、ジョイパッドのようなコントローラ等が利用されてもよい。また、視線検出用のカメラは、ヘッドマウントディスプレイ内に配置されてもよい。なお、上述したように、ユーザの各種状態は、例えばユーザの向きや位置、動き又はその類であり、この場合、ユーザの向きや位置、動きとは、ユーザの手や身体の向き、位置、動きのみならず、配信ユーザの視線の向き、位置、動き又はその類を含む概念である。
端末制御部25は、1つ以上のプロセッサを含む。端末制御部25は、端末装置20全体の動作を制御する。
端末制御部25は、端末通信部21を介して情報の送受信を行う。例えば、端末制御部25は、コンテンツ生成支援に係る種々の情報及びプログラムを、サーバ装置10及び他の外部サーバの少なくとも一方から受信する。端末制御部25は、受信した情報及びプログラムを、端末記憶部22に記憶する。例えば、端末記憶部22には、Webサーバ820(図2参照)に接続するためのブラウザ(インターネットブラウザ)が格納されてよい。
端末制御部25は、ユーザの操作に応じてコンテンツ生成支援アプリケーションを起動する。端末制御部25は、サーバ装置10と協動して、コンテンツ生成支援に係る処理を実行する。例えば、端末制御部25は、表示部23の画面上には、ユーザ操作を検出するGUI(Graphic User Interface)が出力されてもよい。端末制御部25は、入力部24を介して、ユーザ操作を検出可能である。例えば端末制御部25は、ユーザのジェスチャによる各種操作(タップ操作、ロングタップ操作、フリック操作、及びスワイプ操作等に対応する操作)を検出可能である。端末制御部25は、操作情報をサーバ装置10に送信してよい。
図2は、本開示に従ったコンピュータベースのオペレーションを実行する処理回路600のブロック図である。以下で説明する処理回路600は、図1に示したサーバ装置10のサーバ通信部11からサーバ制御部13を実現するハードウェア構成として好適である。また、以下で説明する処理回路600は、図1に示した端末装置20の端末通信部21、端末記憶部22、及び端末制御部25を実現するハードウェア構成として好適である。
処理回路600は、任意のコンピュータベースおよびクラウドベースの制御プロセスを制御するために使用され、フローチャートにおける記述またはブロックは、プロセスにおける特定の論理機能またはステップを実装するための1つまたは複数の実行可能命令を含むコードのモジュール、セグメントまたは部分を表すものとして理解することができ、代替実装は、当業者に理解されるように、関連する機能性に応じて実質的に同時または逆順など図示または議論した順序とは異なる順序で機能を実行することができる本先端の例示的実施形態範囲内に含まれる。本明細書に開示された要素の機能は、開示された機能を実行するように構成またはプログラムされた汎用プロセッサ、特殊目的プロセッサ、集積回路、ASIC(Application Specific Integrated Circuits)、従来の回路および/またはそれらの組み合わせを含み得る回路または処理回路を使用して実装され得る。プロセッサは、その中にトランジスタ及び他の回路を含むので、処理回路又は回路である。プロセッサは、メモリ602に格納されたプログラムを実行するプログラムされたプロセッサであってよい。本開示において、処理回路、ユニット、または手段は、言及された機能を実行する、または実行するようにプログラムされたハードウェアである。ハードウェアは、本明細書に開示された、またはそうでなければ公知の、言及された機能を実行するようにプログラムされるか構成される任意のハードウェアであってよい。
なお、図2では、処理回路600は、バス628を介して接続されるディスプレイコントローラ606、ストレージコントローラ624、ネットワークコントローラ702、メモリ602、I/Oインターフェース612等が接続されている。この場合、処理回路600は、ディスプレイコントローラ606を介してディスプレイ609に接続され、I/Oインターフェース612を介して、キーボードやマウス614、タッチスクリーン616、周辺装置618に接続されている。また、処理回路600は、ネットワークコントローラ702を介してネットワーク3にアクセスする。なお、ディスプレイ609とディスプレイコントローラ606とは、VGA、DVI、DisplayPort、及びHDMIのような、映像転送用の規格に基づく標準的な接続方法を介して接続されてよい。
図2において、処理回路600は、本開示で議論される制御プロセスのうちの1つ以上を実行するCPU601を含む。処理データおよび命令は、メモリ602に格納されてもよい。また、これらのプロセスおよび命令は、ハードディスクドライブ(HDD)または可搬型記憶媒体などの記憶媒体ディスク604(図2では、「ディスク」と表記)に格納されてもよいし、リモートで格納されてもよい。さらに、請求項に記載された発展的な特徴は、本開示プロセスの命令が格納されるコンピュータ可読媒体の形態によって制限されない。例えば、命令は、CD、DVD、処理回路600が通信する情報処理装置のFLASH(登録商標)メモリ、RAM、ROM、PROM、EPROM、EEPROM、ハードディスクまたは他の非一時的コンピュータ可読媒体、例えばサーバまたはコンピュータに格納されてもよい。また、プロセスは、ネットワークベースのストレージ、クラウドベースのストレージ、または他のモバイルアクセス可能なストレージに格納され、処理回路600によって実行可能であってもよい。
さらに、請求項に記載された発展的な特徴は、CPU601と、Microsoft Windows(登録商標)、UNIX(登録商標)、Solaris(登録商標)、LINUX(登録商標)、Apple(登録商標)、MAC-OS(登録商標)、Apple iOS(登録商標)および当業者に知られている他のシステムなどのオペレーティングシステムと連携して実行するユーティリティアプリケーション、バックグラウンドデーモン、またはオペレーティングシステムのコンポーネント、またはその組み合わせとして提供されてもよい。
処理回路600を実現するためのハードウェア要素は、様々な回路要素によって実現され得る。さらに、上述した実施形態の各機能は、1つまたは複数の処理回路を含む回路によって実現されてもよい。処理回路は、特にプログラムされたプロセッサ、例えば、図XXに示すように、プロセッサ(CPU)601を含む。処理回路はまた、言及された機能を実行するために配置された特定用途向け集積回路(ASIC)および従来の回路構成要素のようなデバイスを含む。
図2において、処理回路600は、コンピュータまたは特定の特別な目的の機械であってもよい。処理回路600は、実装される装置(サーバ装置10や端末装置20)を制御するための処理を実行するようにプログラムされている。
代替的に、または追加的に、CPU601は、当業者であれば認識するように、FPGA(Field Programmable Gate Array)、ASIC、PLD(Programmable Logic Device)上に実装されてもよいし、ディスクリート論理回路を使用して実装されてもよい。さらに、CPU601は、各種プロセスの命令を実行するために、並行して協調的に動作する複数のプロセッサとして実装されてもよい。
図2の処理回路600は、また、ネットワーク3とインターフェースするための、イーサネットPROネットワークインタフェースカードなどのネットワークコントローラ702を含む。理解できるように、ネットワーク3は、インターネットなどの公衆ネットワーク、またはローカルエリアネットワーク(LAN)もしくはワイドエリアネットワーク(WAN)などのプライベートネットワーク、またはそれらの任意の組み合わせとすることができ、公衆交換電話網(PSTN:Public Switched Telephone Network)または統合サービスデジタルネットワーク(ISDN:Integrated Services Digital Network)、サブネットワークも含むことができる。ネットワーク3は、また、イーサネットネットワーク、ユニバーサルシリアルバス(USB:Universal Serial Bus)ケーブルなどの有線とすることができ、またはEDGE、3G、4G及び5G無線セルラーシステムを含むセルラーネットワークなどの無線とすることができる。また、無線ネットワークは、Wi-Fi(登録商標)、無線LAN、Bluetooth(登録商標)、または公知の他の無線通信形態とすることができる。さらに、ネットワークコントローラ702は、Bluetooth(登録商標)、近距離無線通信(NFC)、赤外線などの他の直接通信規格に準拠することができる。
また、図2には、サーバ装置10の構成例が併せて示されている。図2に示す例では、サーバ装置10は、リモートコンピュータ815,Webサーバ820、クラウドストレージサーバ825、及びコンピュータサーバ830を含む。リモートコンピュータ815、Webサーバ820、クラウドストレージサーバ825、及びコンピュータサーバ830のハードウェア構成の詳細は、説明しないが、処理回路600と同様であってよい。
次に、図3以降を参照して、システム1の更なる詳細について説明する。
図3は、システム1において実行されてよい処理の一例の流れの概要を示すフローチャートである。図4から図8は、図3に示す処理の説明図である。
図3では、サーバ装置10と、端末装置20とに分けて処理が示されている。なお、機械学習モデル(第1機械学習モデルの一例)により実現される処理は、サーバ装置10の処理であるが、便宜上、分けて示されている。以下では、一の端末装置20について説明するが、他の端末装置20においても同様の機能を実現できる。また、以下では、ユーザとは、特に言及しない限り、一の端末装置20のユーザを指す。
ユーザは、端末装置20を介して入力情報(所定入力の一例)を生成し(ステップS2100)、サーバ装置10に送信する(ステップS2110)。図3では、入力情報は、ユーザがイメージする画像に関連した情報である。例えば、ユーザが所望の画像を得たい場合、当該所望の画像を表す情報である。入力情報は、テキスト、記号、絵文字、数字、色、テクスチャ、画像、音声、ジェスチャ(モーションを含む)、及びこれらの任意の2つ以上の組み合わせのうちの、少なくともいずれか1つを含んでよい。テキストは、典型的には、意味を有する文字列であるが、意味のない文字列を含んでよい。また、入力情報は、テンプレート形式で入力可能とされてもよい。
サーバ装置10は、入力情報を取得すると、所定の機械学習モデルに入力情報を入力して得られる特定画像を取得する(ステップS2200、S2300)。所定の機械学習モデルは、人工知能により構築された機械学習モデルであり、上述した入力情報のような入力に基づいて画像を生成し出力するモデルである。以下、区別のため、上述した入力情報のような入力に基づいて画像を生成し出力する所定の機械学習モデルを、「画像出力用モデル」とも称する。画像出力用モデルは、任意の態様で構築されてよいが、例えば、入力情報に基づく様々な文脈を反映した画像を生成できるようなモデルが望ましい。画像出力用モデルは、Latent Diffusion Models又はその類が利用されてもよい。
図4は、入力情報の生成方法の一例の説明図であり、意味空間での混合態様の一例として、各文字列がベクトル表現で示されている。入力情報の生成方法は、任意であるが、2つ以上の文字を組み合わせる概念(意味、文脈等)を混ぜることも可能である。例えば、図4に概念的に示すように、ある文字列A(例えば、鳥)と、他の文字列B(例えば、海)とに基づいて、文字列C(例えば、海鳥としてかもめ)の画像を生成するように、画像出力用モデルが構築されてもよい。この場合、ユーザは、複数の文字列の合成だけでなく、複数の文字列の引き算による合成も利用すれば、適切な文字列が思いつかなくても、所望の特定画像を得る可能性を高めることができる。例えば、文字列Cと文字列Bとの引き算による合成は、文字列Aの入力に等しいといった具合である。なお、上述したDiffusion Modelは、ノイズ除去プロセスに、目的の文字列を近づける方向性を埋め込むため、単純な文字列の合成だけでは表現し難い詳細も画像化可能となりうる点で有利である。
特定画像は、静止画であってもよいし、動画であってもよい。特定画像の種類やサイズなどは、入力情報とは別の情報で指定可能であってもよいし、入力情報に含められてもよい。図5には、かもめが海の上を飛んでいる画像(特定画像)G500の一例が示されている。このような特定画像は、例えば、入力情報が“鳥”及び“海”を含む場合に生成されうる。
また、入力情報は、いわゆるネガティブワードに係る文字列を含むことが可能とされてもよい。ネガティブワードは、上述した文字列の合成に係る“引き算”に近い概念であるが、ネガティブワードに係る文字列に関連した画像が含まれないようにするために用いられる。例えば、入力情報が、“鳥”及び“海”を含みつつ、ネガティブワードとして“かもめ”を含む場合、かもめが含まれないような特定画像が生成されてよい。
なお、サーバ装置10は、入力情報に所定の禁止ワードが含まれているか否かを判定してもよく、所定の禁止ワードが含まれている場合、その旨を端末装置20に通知して、所定の禁止ワードを含まない入力情報の再生成及び再送信をユーザに要求してもよい。この場合、所定の禁止ワードは、卑猥なワード、誹謗中傷、ヘイト等のような公序良俗違反に相当するワードや、他人の知的財産権を侵害する又はその蓋然性が高いワード等を含んでよい。所定の禁止ワードは、辞書形式でサーバ記憶部12等に記憶及び蓄積されてよい。
図3に戻り、サーバ装置10は、特定画像を取得すると、特定画像情報をサーバ記憶部12に記憶する(ステップS2210)。特定画像情報は、特定画像の画像データとともに、当該特定画像の生成に用いた入力情報とを、互いに対応付けられた形態で含む。
ついで、サーバ装置10は、特定画像のプレビュー表示を生成し(ステップS2220)、端末装置20上でのプレビュー表示の出力を可能とする。ユーザは、端末装置20上でプレビュー表示を見ながら(ステップS2120)、修正等の必要性を判断できる。なお、プレビュー表示は、特定画像自体であってもよいし、仮想空間で利用可能な任意のアイテム(例えばユーザにより指定される所望のアイテム)に反映させた表示として実現されてもよい。後者の場合、アイテムは、仮想空間におけるアバターに対応付け可能なアイテム(例えば図6に示すようなアバターA6の衣服601、602など)や、仮想空間に配置可能なアイテム(例えば図7に示すような家具全体B7やその構成要素IT701、IT702など)、又はこれらの任意の組み合わせ(例えば図8に示すような仮想空間内のアバターや家具の組み合わせ)等を含んでよい。この場合、プレビュー表示は、3次元表示であってよく、CAD(Computer Aided Design)のビュワーと同様、パンや回転が可能とされてよい。例えば、アイテムがユーザのアバターの服である場合、特定画像を反映させた服を着せたアバターを生成し、当該アバターとともにプレビュー表示が可能とされてよい。
ユーザは、このようにして生成した特定画像に対して修正等の必要性がないと判断すると、最終版として、仮想空間で利用可能な任意のアイテム(例えばユーザにより指定される所望のアイテム)に対応付けするための対応付け指示を生成し、サーバ装置10に送信する(ステップS2130)。対応付け指示は、対応付け対象のアイテムを特定するための情報を含んでよい。
サーバ装置10は、対応付け指示を受信すると(ステップS2230)、対応付け対象のアイテムである所定アイテムに対して特定画像を対応付ける(ステップS2240)。対応付け方法は、任意であり、例えば、所定アイテムがユーザのアバターの服である場合、服の一部や全部が、特定画像を含むことで、特定画像の対応付けが実現されてもよい。このような反映方法は、入力情報とは別の情報で指定可能であってもよいし、入力情報に含められてもよい。
このようにして、図3に示す処理によれば、ユーザは、独自に画像を描画しなくても、自身のイメージに応じた入力情報を生成することで、特定画像を取得可能となり、仮想空間で利用可能な任意のアイテムに当該特定画像を反映させることができる。また、ベースになる画像として特定画像を与えることで任意の領域(例えば仮想空間内の領域)に新規のデザインを生成させることも可能となる。
なお、図3に示す処理において、対応付け対象のアイテムが事前に決まっている場合、ステップS2100で生成される入力情報は、対応付け対象のアイテム(すなわち所定アイテム)の属性や名称を含んでもよい。この場合、所定アイテムの属性等を考慮した特定画像の取得が可能となりうる。また、プレビュー表示が不要な場合、入力情報は、ステップS2130の対応付け指示を含む態様でサーバ装置10に一括的に送信されてもよい。
図11は、システム1において実行されてよい処理の他の一例の流れの概要を示すフローチャートである。図12は、図11に示す処理の説明図である。
図11では、サーバ装置10と、端末装置20とに分けて処理が示されている。なお、図3と同様、機械学習モデル(第2機械学習モデルの一例)により実現される処理は、サーバ装置10の処理であるが、便宜上、分けて示されている。
ユーザは、端末装置20を介して入力情報を生成し(ステップS4100)、サーバ装置10に送信する(ステップS4110)。図11では、入力情報は、ユーザがイメージするアイテム形状に関連した情報である。例えば、ユーザが所望のアイテム形状を得たい場合、当該アイテム形状を表す情報である。入力情報は、テキスト、記号、絵文字、数字、色、テクスチャ、画像、音声、ジェスチャ(モーションを含む)、及びこれらの任意の2つ以上の組み合わせのうちの、少なくともいずれか1つを含んでよい。テキストは、典型的には、意味を有する文字列であるが、意味のない文字列を含んでよい。また、入力情報は、テンプレート形式で入力可能とされてもよい。
サーバ装置10は、入力情報を取得すると、所定の機械学習モデルに入力情報を入力して得られるアイテム形状を取得する(ステップS4200、S4300)。所定の機械学習モデルは、人工知能により構築された機械学習モデルであり、上述した入力情報のような入力に基づいてアイテム形状を生成し出力するモデルである。以下、区別のため、上述した入力情報のような入力に基づいてアイテム形状を生成し出力する所定の機械学習モデルを、「アイテム形状出力用モデル」とも称する。なお、アイテム形状出力用モデルは、上述した画像出力用モデル等とは別のモデルが、統合的なモデルとして利用されてもよい。
入力情報の生成方法は、任意であり、図4を参照して上述した方法と同様であってもよい。
アイテム形状は、仮想空間で利用可能な任意のアイテムに係る形状であってよい。アイテム形状は、アイテムの属性に応じて、3次元形状であってもよいし、2次元形状であってもよい。例えば、アイテム形状に係るアイテムが服である場合、アイテム形状は、服の型紙の形態であってもよい。また、アイテム形状に係るアイテムが3次元物体である場合、アイテム形状は、3次元物体の図面の形態、3次元の形態、又はこれらの組み合わせであってよい。アイテム形状に係るアイテムの種類やサイズなどは、入力情報とは別の情報で指定可能であってもよいし、入力情報に含められてもよい。
また、入力情報は、いわゆるネガティブワードに係る文字列を含むことが可能とされてもよい。例えば、入力情報が、“車”及び“スポーツ”を含みつつ、ネガティブワードとして“ドイツ”を含む場合、ドイツ車以外のスポーツカーに係るアイテム形状が生成されてよい。
なお、サーバ装置10は、図3の場合と同様、入力情報に所定の禁止ワードが含まれているか否かを判定してもよく、所定の禁止ワードが含まれている場合、その旨を端末装置20に通知して、所定の禁止ワードを含まない入力情報の再生成及び再送信をユーザに要求してもよい。この場合、所定の禁止ワードは、卑猥なワード、誹謗中傷、ヘイト等のような公序良俗違反に相当するワードや、他人の知的財産権を侵害する又はその蓋然性が高いワード等を含んでよい。所定の禁止ワードは、辞書形式でサーバ記憶部12等に記憶及び蓄積されてよい。
サーバ装置10は、アイテム形状を取得すると、アイテム形状情報をサーバ記憶部12に記憶する(ステップS4210)。アイテム形状情報は、アイテム形状のデータとともに、当該アイテム形状の生成に用いた入力情報とを、互いに対応付けられた形態で含む。
ついで、サーバ装置10は、アイテム形状のプレビュー表示を生成し(ステップS4220)、端末装置20上でのプレビュー表示の出力を可能とする。ユーザは、端末装置20上でプレビュー表示を見ながら(ステップS4120)、修正等の必要性を判断できる。なお、プレビュー表示は、アイテム形状自体であってもよいし、画像(例えば上述した特定画像)に反映させたアイテム形状として実現されてもよい。プレビュー表示は、3次元表示であってよく、パンや回転が可能とされてよい。例えば、アイテム形状がユーザのアバターの服の形状である場合、アイテム形状は、型紙のような平面上の形態であってもよいし、ユーザのアバターに装着された3次元上の形態であってもよい。いずれの場合でも、プレビュー表示は、3次元的に実現されてもよい。この場合、例えば、図12に示すように、アイテム形状は、当該アイテム形状を反映させた衣服のアイテムIT601A、IT602Aを着せたアバターA6とともにプレビュー表示が可能とされてもよい。
ユーザは、このようにして生成したアイテム形状に対して修正等の必要性がないと判断すると、最終版として、仮想空間で利用可能な任意のアイテム(例えばユーザにより指定される所望のアイテム)を形状付けするための形状付け指示を生成し、サーバ装置10に送信する(ステップS4130)。形状付け指示は、形状付け対象のアイテム(所定アイテム)を特定するための情報を含んでよい。
サーバ装置10は、形状付け指示を受信すると(ステップS4230)、形状付け対象のアイテムである所定アイテムを形状付ける(ステップS4240)。形状付け方法は、任意であり、例えば、所定アイテムがユーザのアバターの服である場合、服の一部や全部が、アイテム形状を含むことで、形状付けが実現されてもよい。また、このような形状付けは、所定アイテムのサイズに合わせて実現されてよい。このような反映方法は、入力情報とは別の情報で指定可能であってもよいし、入力情報に含められてもよい。
このようにして、図11に示す処理によれば、ユーザは、独自にアイテム形状を描画しなくても、自身のイメージに応じた入力情報を生成することで、アイテム形状を取得可能となり、仮想空間で利用可能な任意のアイテムに当該アイテム形状を反映させることができる。
なお、図11に示す処理において、対応付け対象のアイテムが事前に決まっている場合、ステップS4100で生成される入力情報は、対応付け対象のアイテム(すなわち所定アイテム)の属性や名称を含んでもよい。この場合、所定アイテムの属性等を考慮したアイテム形状の取得が可能となりうる。
図9は、システム1において実行されてよい処理の他の一例の流れの概要を示すフローチャートである。図10は、図9に示す処理の説明図である。
図9では、サーバ装置10と、端末装置20とに分けて処理が示されている。なお、図3と同様、機械学習モデル(第3機械学習モデルの一例)により実現される処理は、サーバ装置10の処理であるが、便宜上、分けて示されている。
ユーザは、端末装置20を介して入力情報を生成し(ステップS3100)、サーバ装置10に送信する(ステップS3110)。図9では、入力情報は、ユーザがイメージするアイテム表面のテクスチャに関連した情報である。例えば、ユーザが所望のテクスチャを得たい場合、当該テクスチャを表す情報である。入力情報は、テキスト、記号、絵文字、数字、色、テクスチャ、画像、音声、ジェスチャ(モーションを含む)、及びこれらの任意の2つ以上の組み合わせのうちの、少なくともいずれか1つを含んでよい。テキストは、典型的には、意味を有する文字列であるが、意味のない文字列を含んでよい。また、入力情報は、テンプレート形式で入力可能とされてもよい。
サーバ装置10は、入力情報を取得すると、所定の機械学習モデルに入力情報を入力して得られるアイテムテクスチャを取得する(ステップS3200、S3300)。所定の機械学習モデルは、人工知能により構築された機械学習モデルであり、上述した入力情報のような入力に基づいてテクスチャ(アイテムテクスチャ)を生成し出力するモデルである。以下、区別のため、上述した入力情報のような入力に基づいてテクスチャを生成し出力する所定の機械学習モデルを、「テクスチャ出力用モデル」とも称する。なお、テクスチャ出力用モデルは、上述した画像出力用モデルとは別のモデルが、統合的なモデルが利用されてもよい。
入力情報の生成方法は、任意であり、図4を参照して上述した方法と同様であってもよい。
アイテムテクスチャは、仮想空間で利用可能な任意のアイテムに係る表面のテクスチャを表してよい。アイテムテクスチャは、アイテムの属性に応じて、視認可能なテクスチャとなるように粒度等が調整可能とされてよい。テクスチャに係るアイテムの種類やサイズなどは、入力情報とは別の情報で指定可能であってもよいし、入力情報に含められてもよい。
アイテムテクスチャは、無地のテクスチャのみであってもよいが、図10に示すように、柄などを含むテクスチャであってもよい。この場合、柄は、あくまでテクスチャをわかりやすくするための柄であってもよいし、あるいは、テクスチャとの組み合わせで利用可能な柄であってもよい。なお、図10に示す例では、上側のテクスチャTx1は、比較的表面の凹凸が少ない形態である一方、下側のテクスチャTx2は、比較的表面の凹凸が多い形態である。
また、入力情報は、いわゆるネガティブワードに係る文字列を含むことが可能とされてもよい。例えば、入力情報が、“外壁”及び“マンション”を含みつつ、ネガティブワードとして“吹付け”を含む場合、吹付け以外のマンション外壁に係るテクスチャ(例えばレンガやタイルを含むテクスチャ)が生成されてよい。
なお、サーバ装置10は、図3の場合と同様、入力情報に所定の禁止ワードが含まれているか否かを判定してもよく、所定の禁止ワードが含まれている場合、その旨を端末装置20に通知して、所定の禁止ワードを含まない入力情報の再生成及び再送信をユーザに要求してもよい。この場合、所定の禁止ワードは、卑猥なワード、誹謗中傷、ヘイト等のような公序良俗違反に相当するワードや、他人の知的財産権を侵害する又はその蓋然性が高いワード等を含んでよい。所定の禁止ワードは、辞書形式でサーバ記憶部12等に記憶及び蓄積されてよい。
サーバ装置10は、アイテムテクスチャを取得すると、アイテムテクスチャ情報をサーバ記憶部12に記憶する(ステップS3210)。アイテムテクスチャ情報は、アイテムテクスチャのデータとともに、当該アイテムテクスチャの生成に用いた入力情報とを、互いに対応付けられた形態で含む。
ついで、サーバ装置10は、アイテムテクスチャのプレビュー表示を生成し(ステップS3220)、端末装置20上でのプレビュー表示の出力を可能とする。ユーザは、端末装置20上でプレビュー表示を見ながら(ステップS3120)、修正等の必要性を判断できる。なお、プレビュー表示は、アイテムテクスチャ自体であってもよいし、任意のアイテムに反映させたアイテムテクスチャとして実現されてもよい。プレビュー表示は、3次元表示であってよく、パンや回転が可能とされてよい。例えば、対象のアイテムが、ユーザのアバターの服である場合、アイテムテクスチャに反映させた服を着せたアバターを生成し、当該アバターとともにプレビュー表示が可能とされてよい。
ユーザは、このようにして生成したアイテムテクスチャに対して修正等の必要性がないと判断すると、最終版として、仮想空間で利用可能な任意のアイテム(例えばユーザにより指定される所望のアイテム)に対応付けするための対応付け指示を生成し、サーバ装置10に送信する(ステップS3130)。対応付け指示は、対応付け対象のアイテム(所定アイテム)を特定するための情報を含んでよい。
サーバ装置10は、対応付け指示を受信すると(ステップS3230)、対応付け対象のアイテムである所定アイテムを、アイテムテクスチャにより対応付ける(ステップS3240)。対応付け方法は、任意であり、例えば、所定アイテムがユーザのアバターの服である場合、服の一部や全部が、アイテムテクスチャを含むことで、対応付けが実現されてもよい。また、このような対応付けは、所定アイテムのサイズに合わせて実現されてよい。このような反映方法は、入力情報とは別の情報で指定可能であってもよいし、入力情報に含められてもよい。
このようにして、図9に示す処理によれば、ユーザは、独自にアイテムテクスチャを描画しなくても、自身のイメージに応じた入力情報を生成することで、所望のアイテムテクスチャを取得可能となり、仮想空間で利用可能な任意のアイテムに当該アイテムテクスチャを反映させることができる。
なお、図9に示す処理において、対応付け対象のアイテムが事前に決まっている場合、ステップS3100で生成される入力情報は、対応付け対象のアイテム(すなわち所定アイテム)の属性や名称を含んでもよい。この場合、所定アイテムの属性等を考慮したアイテムテクスチャの取得が可能となりうる。
次に、図13Aから図13Cを参照して、上述したプレビュー表示の際に好適なUI(User Interface)について説明する。図13Aから図13Cに示すUIは、仮想空間内で利用可能なUIであってよく、ユーザの視野内に配置されてよい。
図13Aは、入力情報の生成/入力や、複数の特定画像を混ぜる指示等が可能なUI13の一例を示す図である。
図13Aに示す例では、UI13は、4つの特定画像表示領域P13と、入力領域K130とを含む。入力領域K130は、入力文字出力領域K131と、文字入力部K132とを含む。4つの特定画像表示領域P13は、図3を参照して上述した方法で得られる特定画像を出力する領域であってよい。なお、4つの特定画像表示領域P13の一部又は全部は、図3を参照して上述した方法で得られる特定画像に代えて又は加えて、図9を参照して上述した方法で得られるアイテムテクスチャ、及び/又は、図11を参照して上述した方法で得られるアイテム形状を出力することが可能とされてもよい。
入力文字出力領域K131は、上述した各種入力情報を表示する領域であってよい。また、文字入力部K132は、上述した各種入力情報を入力するためのUIであってよく、例えばキーボードの形態であってよい。なお、入力文字出力領域K131への文字等の入力は、音声入力等のような他の入力により実現可能とされてもよい。また、入力文字出力領域K131には、人工知能等に基づいて導出された入力候補ワードが列挙されてもよい。例えば、繰り返しパターンや継ぎ目のないパターンのようなパターンを指示するためのワードや、ブレンド等のような画像合成などの画像操作を指示するワード等、入力情報として好適なワードが列挙されてもよい。この場合、ユーザは、多くの文字を入力することなく、所望の文字を入力できる。これは、特にユーザがヘッドマウントディスプレイを装着してメタバース空間に滞在する場合に好適である。このような環境下では、現実とは異なり、手動による細かい部分の指定や細かい入力に困難を伴う場合が多いためである。
図13Aに示すUI13において、ユーザは、複数の特定画像表示領域P13のうちから、所望の1つの特定画像表示領域P13を選択することで、選択された特定画像表示領域P13に表示されている特定画像等を、選択可能とされてよい。選択された特定画像等は、上述したように、所定アイテムに反映されてよい。また、ユーザは、複数の特定画像表示領域P13に表示した特定画像等のうちから、2つ以上を選択することで、特定画像同士の混合や、アイテムテクスチャ同士の混合、特定画像とアイテムテクスチャの組み合わせ、特定画像とアイテム形状の組み合わせ、アイテムテクスチャとアイテム形状の組み合わせ、特定画像とアイテムテクスチャとアイテム形状の組み合わせ等が可能とされてもよい。この場合、多様なパラメータを組み合わせることで、所望のアイテムの形成が容易となり、ユーザの利便性が向上する。
このようなUI13は、上述したプレビュー表示(例えば図3のステップS2120参照)の際に好適である。例えば、ユーザは、プレビュー表示上で、UI13を操作することで、特定画像の微調整等が可能となる。
図13Bは、色調整が可能なUI14の一例を示す図である。
図13Bに示す例では、UI14は、複数の色を表現した複数の区画(素材の色属性)P140を含む。複数の区画P140のそれぞれには、異なる色が割り当てられ、対応する色により色付けされてよい。図13Bでは、20×20のアレイであるが、より多数の区画が用意されてもよい。また、複数の区画P140の色の設定は、ユーザによりカスタマイズ可能であってもよいし、動的に値が変化する変数として与えることもできる。また、RGB値に限定されず、透明度やマテリアルの反射等のパラメータを含めることもできる。また、色付け対象のアイテム等に応じて事前に設定されたカラーセットとして提案することができ、色付け対象のアイテム等に応じてAI等により自動的に設定されてもよい。また、UI14の全体の形態も任意であり、色付け対象のアイテム等に応じて変化してもよい。例えば顔の目周りの色付けの場合、UI14の全体の形態は、化粧品のアイシャドウパレットの形態であってもよい。また、このようなUI14は、ベースになるカラーセットを含む画像を与えると自動的に生成されてもよい。
図13Bに示すUI14において、ユーザは、複数の区画P140のうちから、所望の1つの区画P140を選択することで、選択された区画P140に対応付けられている色を、選択可能とされてよい。この場合、選択された色は、上述したように、所定アイテムの一部又は全部に反映されてよい。
このようなUI14は、上述したプレビュー表示(例えば図3のステップS2120参照)の際に好適である。例えば、ユーザは、プレビュー表示上で、UI14を操作することで、特定画像の一部又は全部(又はそれに伴い当該特定画像が反映された所定アイテムの一部又は全部)の色や色味等の調整が可能となる。また、その他のパラメータとして、反射率やラフネス、マテリアル(例えば描画対象のアイテムの素材の特性)等が調整可能とされてもよい。ただし、反射率等は、テクスチャとして調整可能されてもよい。
図13Cは、アイテム選択が可能なUI15の一例を示す図である。
図13Cに示す例では、UI15は、アイテムごとの複数の区画P150を含む。複数の区画P150のそれぞれには、異なるアイテム又はアイテムの部位(アイテムの一部)が割り当てられ、対応するアイテムの概略形状等が示されてよい。図13Cでは、複数の区画P150の数は、5であり、全体が円環状であるが、数や形状は任意である。このような円環状は、アイテム数が増えた場合(例えば5つから8つへ増加した場合)にも、ボタン等のUIを増やすことなく円環状のままその角度を変更するだけでよいので、ボタン等のUIに比べて有利である。
図13Cに示すUI15において、ユーザは、複数の区画P150のうちから、所望の1つの区画P150を選択することで、選択された区画P150に対応付けられているアイテム又はその部位を、選択可能とされてよい。この場合、選択されたアイテム又はその部位は、上述したように、UI13及び/又はUI14による編集が可能とされてよい。なお、複数の区画P150で選択可能なアイテム又はその部位は、ユーザの所持しているアイテム等であってよい。
このようなUI15は、複数のアイテムを同時に編集するための、上述したプレビュー表示(例えば図3のステップS2120参照)の際に好適である。例えば、ユーザは、プレビュー表示上で、UI15を操作することで、ユーザのアバターの一部又は全部のアイテムを選択しつつ編集が可能となる。
例えば、図14に示す例では、アバターに装着可能な衣服や装飾について、型紙やパーツごとに管理されている。具体的には、図14において、上側には、衣服や装飾を身に着けたアバターが模式的に示されており、下側に、衣服や装飾を形成(描画)するための型紙やパーツが模式的に示されている。なお、このような型紙ごとへの描画は、ステンシルバッファ等を利用して実現されてよい。また、型紙への画像の配置態様がUVの2軸の位置調整により調整可能されてもよい。一の3次元のアイテムに対して、対応する型紙を介して特定画像の描画を行うことで、3次元の表面上に特定画像を貼り付ける場合に比べて、処理負荷を低減できる。
図15には、メタバース空間で利用可能な操作子1500の一例が模式的に示されている。この場合、操作子1500は、レーザポインタのような形態であり、ポインタの指す位置のUIをアクティブにしたり、選択したりすることができる。例えば、図14には、操作子1500により選択されている箇所がポイントP14で模式的に示されている。この場合、ユーザは、ポイントP14を所望のアイテムの部位上へと動かすことで、当該部位に対する操作が可能となってよい。また、図15に示す例では、図13Aに示すUI13を操作するユーザの操作子1500の状態が示されている。なお、操作子1500は、実世界でユーザ(ヘッドマウントディスプレイを装着するユーザ)が手に持つ入力装置(例えばコントローラ)からの入力に応じて動くことが可能とされてよい。
なお、図15に示す例では、操作子1500を用いた入力方法であるが、上述したように、入力方法は、音声入力による部位等の指示や、文字の代わりにキーワードを入力するといった、多様な形態が可能である。
なお、図13A等に示した各種UIは、あくまで一例であり、多様な態様で変更可能である。また、図13A等に示した各種UI以外のUIが利用可能とされてもよい。例えば、アイテムの物理的パラメータ(例えば剛性、重力や抵抗、衝突半径)が設定可能なUIが用意されてもよい。なお、重力や抵抗は、アバターの髪の毛や衣服のようなアイテムに対応付けられてよいパラメータであり、髪の毛や衣服の動的な挙動(揺れなど)に影響するパラメータである。また、衝突半径は、仮想空間内での他のアイテムとの衝突(干渉)が発生する際の距離を規定するパラメータである。これらのパラメータは、人工知能によりアイテムの属性ごとに自動的にデフォルト値が用意されてもよい。
次に、図16を参照して、システム1において実現可能とされてもよい更なる機能を説明する。
図16は、システム1において実現可能なユーザ側の操作手順の例を概略的に示すフローチャートである。図17は、図16の手順の説明図であり、アバターの服(着物)をユーザが編集している様子を表す画面である。なお、図17に示す画面は、ヘッドマウントディスプレイの形態である端末装置20の表示部23上の画面であってよい。
図16では、図8に示したような仮想空間内に家具等のアイテムIT800、IT801を配置するとともに、配置したアイテムやユーザのアバターA6のアイテムIT601、IT602を編集等するための操作手順が一例として示されている。以下の操作手順に基づく各種機能は、ユーザにより例えば端末装置20の入力部24を介して実現可能である。
ステップS1700では、ユーザは、仮想空間内に家具等のアイテムを配置する。なお、一のユーザによりアイテムを配置可能な仮想空間は、任意であるが、例えば、当該一のユーザが所有する仮想空間内の領域(土地)上の空間であってもよい。また、配置可能なアイテムは、ユーザが所有するアイテムであってもよい。
ステップS1702では、ユーザは、仮想空間内の各種アイテムのうちの、編集対象のアイテム又はアイテム内の部位を選択する。この選択は、例えば図13Cに示したUI15を介して実現されてもよい。
ステップS1704では、ユーザは、入力情報を生成する。入力情報は、上述したとおりであり、例えばオリジナルキーワード等であってよい。なお、入力情報の生成は、例えば図13Aに示したUI13を介して実現されてもよい。
ステップS1706では、ユーザは、入力情報の一部として、ネガティブワードを入力する。ネガティブワードは、上述したとおりである。なお、ステップS1706の操作は、適宜、省略されてもよい。
このようにしてステップS1704(及びステップS1706)が終了すると、図4を参照して上述したように、入力情報に応じた特定画像が生成される。このようにして生成された特定画像は、プレビュー表示として、ステップS1702で選択された部位に反映されてよい。すなわち、ステップS1702で選択された部位は、生成された特定画像を含む態様で描画されてよい。
ステップS1708では、ユーザは、特定画像のカラーバリエーションを指定する。特定画像のカラーバリエーションの指定は、例えば図13Bに示したUI14を介して実現されてもよい。
ステップS1710では、ユーザは、プレビュー表示の特定画像に、参考画像を混ぜることで、特定画像に変化を与える。参考画像は、例えば図13Aに示したUI13の特定画像表示領域P13に表示されていてよく、混合したい参考画像を含む特定画像表示領域P13をユーザが選択することで実現されてもよい。なお、参考画像は、混合用にあらかじめ用意された画像であってよいし、上述したように、他の入力情報に基づいて生成された他の特定画像であってもよい。なお、ステップS1710は、任意の操作であり、適宜、省略されてもよい。
ステップS1712では、ユーザは、このようにして得られた特定画像が反映された編集対象のアイテム又はアイテム内の部位を、パンや回転などを介して3次元的にレビューする。
ステップS1714では、ユーザは、編集対象のアイテム又はアイテム内の部位を変化させつつ、編集を繰り返す。例えば、図17に示すように、図13Aから図13Cに示したような各種UI13、UI14、UI15が同時に表示された状態で、ユーザは、図15に示したような操作子1500を用いて、各種操作を実現してよい。
ステップS1716では、ユーザは、満足できる態様で特定画像が反映されたアイテムが得られると、ストア審査申請を行う。ストア審査申請は、サーバ装置10で受け付けられ、その際の処理は、後述する。
なお、図16では、特定画像に係る編集を説明したが、上述したアイテム形状やアイテムテクスチャについても同様であってよい。ユーザは、アイテム形状やアイテムテクスチャを編集し終えると、ストア審査申請を行ってよい。ストア審査申請は、アイテムごとに実行されてよい。
図18は、ストア審査申請を受けた際にサーバ装置10により実現されてもよい処理のフローチャートである。図18では、サーバ装置10と、端末装置20と、スマートコントラクト(ブロックチェーンネットワーク5)に分けて処理が示されている。
ユーザは、端末装置20を介してストア審査申請を生成し(ステップS5100)、サーバ装置10に送信する(ステップS5110)。ストア審査申請は、申請対象のアイテムを指定する情報を含んでよい。
サーバ装置10は、ストア審査申請を受信すると、申請対象の情報を取得する(ステップS5200)。申請対象の情報は、申請対象のアイテム、申請対象のアイテムに対応付けられている特定画像、申請対象のアイテムを形状付けているアイテム形状、及び申請対象のアイテムに対応付けられているアイテムテクスチャの情報を含んでよい。
サーバ装置10は、取得した申請対象の情報に基づいて、申請対象のアイテムのユニークネスを評価する(ステップS5210)。ユニークネスとは、独自性(オリジナリティ)に相関するパラメータである。なお、ユニークネスの評価に代えて、等価的に、他のアイテムとの類似性を評価してもよい。ユニークネスの高/低は、類似性の低/高に対応するためである。従って、以下の説明では、ユニークネスは、類似性と読み替えることができ、その際、ユニークネスの高い状態は、類似性の低い状態に対応し、かつ、ユニークネスの低い状態は、類似性の高い状態に対応する。
ユニークネスの評価方法は、任意であるが、好ましくは、以下の通りである。申請対象のアイテムが、入力情報に基づき生成された特定画像を含む場合、ユニークネスは、特定画像と、他の画像との間の外観等の類似性に基づいて評価されてもよい。この際、ユニークネスは、特定画像の生成に利用された入力情報(画像出力用モデルへの入力情報)が考慮されてもよい。例えば、一の特定画像の生成に利用された入力情報が、他の画像の生成に利用された入力情報に類似する場合、当該一の特定画像のユニークネスは、低い値に算出されてもよい。この場合、入力情報同士の比較に基づいて、ユニークネスを算出できるので、処理負荷を低減しつつ、算出結果の信頼性を高めることができる。入力情報同士の比較は、例えばWord2vecのような自然言語処理における単語の埋め込みが利用されてもよい。Word2vecの場合、入力情報に含まれる各文字(単語)のうちの、ベクトル空間内で近くに配置される単語ベクトル同士は、高い類似関係を有すると判定されてもよい。このような自然言語処理を利用することで、入力情報同士の類似性を効率的に判定できる。また、各種多様な種類の言語に対しても、入力情報同士の類似性を効率的に判定できる。また、Diffusion ModelのようにLatent spaceでの比較や、内部で使用されてよいCLIP(Contrastive Language-Image Pre-training)におけるワードの編集距離やユークリッド距離に基づくことも可能である。
サーバ装置10は、更に、取得した申請対象の情報に基づいて、知的財産権に関する評価を行ってもよい(ステップS5220)。知的財産権に関する評価は、申請対象のアイテムの外観が他人の意匠権等を明らかに侵害しているか否かの観点から実行されてもよい。また、知的財産権に関する評価は、申請対象のアイテムに他人の商標権に係る商標が含まれているか否かの観点から実行されてもよい。なお、図18では図示しないが、申請対象のアイテムの外観が、明らかに公序良俗に反するか否かの観点からの評価(チェック)が実行されてもよい。
サーバ装置10は、ユニークネスの評価結果を通知する(ステップS5230)。通知結果は端末装置20上に表示されてよい(ステップS5120)。なお、この際、知的財産権の評価結果は、通知しなくてもよいが、明らかに他人の権利を侵害する場合やその蓋然性が高い場合は、その旨の通知を行ってもよい。また、明らかに公序良俗に反する場合やその蓋然性が高い場合についても同様である。明らかに他人の権利を侵害する場合やその蓋然性が高い場合、及び/又は、明らかに公序良俗に反する場合やその蓋然性が高い場合は、申請が不能とされてもよい。
ついで、サーバ装置10は、申請対象のアイテムを、所定のデータベース等に記憶する申請完了処理を行う(ステップS5240)。このようにして記憶されたアイテムは、別の申請対象のアイテムのユニークネスの評価(ステップS5210)の際に利用されてもよい。なお、図18では図示しないが、申請完了処理が終了すると、端末装置20にその旨の通知が実行されてもよい。
その後、サーバ装置10は、申請完了処理を経たアイテムに対して、ユーザがNFT化要求を行うと(ステップS5130)、NFT化処理を実行する(ステップS5250)。NFT化処理は、対象のアイテムをNFT(Non-Fungible Token)として発行することを含む。この場合、サーバ装置10は、ブロックチェーンネットワーク5上のスマートコントラクトを介してミントされてよい(ステップS5300)。なお、NFT化処理は、発行されたNFTを更にマーケットプレイス等でリストすることを含んでもよい。
図19は、ユニークネスの評価処理の一例を示す概略的なフローチャートである。
ステップS1000では、サーバ装置10は、判定対象の特定画像の特定画像情報に基づいて、当該特定画像に対応付けられている入力情報を取得(抽出)する。
ステップS1002では、サーバ装置10は、比較対象の画像を抽出する。比較対象の画像は、所与のデータベース内に蓄積されていてよい。比較対象の画像は、1つずつ抽出されてよい。
ステップS1004では、サーバ装置10は、比較対象の画像と判定対象の特定画像との間で外観要素同士の類似性を算出する。外観要素とは、例えば、色、テクスチャ、及び模様、のうちの少なくともいずれか1つを含んでよい。また、外観要素は、構図(配置)などの他の要素を含んでもよい。外観要素同士の類似性の算出方法は、任意であるが、例えばスコアとして算出されてもよい。例えば、服を装着したアバターを方位角360度の範囲にわたり及び/又は仰角90度の範囲にわたり回転させ、撮影した画像の類似性(色・形状)を数値として評価してもよい。
ステップS1006では、サーバ装置10は、比較対象の画像に係る入力情報を取得(抽出)する。比較対象の画像に係る入力情報とは、当該比較対象の画像の生成に用いた入力情報であって、画像出力用モデルに入力された入力情報である。かかる入力情報は、比較対象の画像と対応付けて、所与のデータベースに記憶されてよい。なお、本実施形態では、比較対象の画像は、かかる入力情報が対応付けられている画像だけであってもよい。
ステップS1008では、サーバ装置10は、判定対象の特定画像に係る入力情報と、比較対象の画像に係る入力情報とに基づいて、入力情報同士の類似性を算出する。入力情報同士の類似性は、上述したように、Word2vecを利用して算出されてもよい。これは、画像出力用モデルに入力される入力情報に含まれる文字が一致又は類似していると、同様の特定画像が生成される可能性が高くなるためである。
ところで、画像出力用モデルに入力される入力情報は、画像出力用モデルに依存するが、生成される特定画像のユニークネスを確保する等のために、乱数のシード値を含む場合がある。この場合、画像出力用モデルに入力される入力情報に含まれる乱数のシード値が一致していると、同様の特定画像が生成される可能性が高くなる。従って、この場合、サーバ装置10は、更に、乱数のシード値同士の関係に基づいて、入力情報同士の類似性を算出してもよい。
ステップS1010では、サーバ装置10は、ステップS1004で算出した外観要素同士の類似性と、ステップS1008で算出した入力情報同士の類似性とに基づいて、ユニークネス値を算出する。この場合、ユニークネス値は、ステップS1004で算出した外観要素同士の類似性と、ステップS1008で算出した入力情報同士の類似性とのうちの、一方(例えば類似性が高い方)だけを利用して算出されてもよいし、平均や組み合わせにより算出してもよい。
ステップS1012では、サーバ装置10は、比較対象の画像をすべて抽出したか否かを判定する。すなわち、すべての比較対象の画像に対する判定対象の特定画像のユニークネスの評価が完了したか否かを判定する。判定結果が“YES”の場合、ステップS1014に進み、それ以外の場合は、ステップS1002に戻り新たな比較対象の画像を抽出して、ステップS1004からの処理を繰り返す。
ステップS1014では、サーバ装置10は、すべての比較対象の画像に対する判定対象の特定画像のユニークネスの評価結果に基づいて、ユニークネス値を出力する。この場合、比較対象の画像ごとのユニークネス値が出力されてもよいし、最小値(最も類似する比較対象の画像に対するユニークネス値)のような特定の値だけが出力されてもよい。
図19に示す例によれば、外観要素同士の類似性と、入力情報同士の類似性とに基づいて、判定対象の特定画像のユニークネスを評価するので、一方だけに基づいてユニークネスを評価する場合に比べて、評価結果の信頼性を高めることができる。ただし、変形例では、外観要素同士の類似性及び入力情報同士の類似性のいずれか一方だけに基づいて、判定対象の特定画像のユニークネスを評価してもよい。
次に、図20以降を参照して、システム1におけるサーバ装置10の機能の一例を説明する。
なお、以下の説明では、主にサーバ装置10の機能については説明するが、以下のサーバ装置10の機能の一部又は全部は、1つ以上の端末装置20により実現されてもよい。
図20は、サーバ装置10の機能の一例を概略的に示すブロック図である。
図20に示す例では、サーバ装置10は、操作入力取得部150、画像取得部152、画像対応付け処理部154、形状情報取得部156、形状付け処理部158、付加情報取得部160、アイテム表面処理部162、編集処理部164、判定部166、パラメータ算出部168、出力処理部170、情報管理部172、画像管理部173、アイテム管理部174、トークン管理部176、コンテスト処理部178、評価用情報記憶部190、及びユーザ情報記憶部192を含む。なお、操作入力取得部150等の各処理部は、図1に示したサーバ通信部11やサーバ制御部13により実現できる。また、評価用情報記憶部190やユーザ情報記憶部192のような記憶部は、図1に示したサーバ記憶部12により実現できる。
操作入力取得部150は、端末装置20の入力部24を介して入力される各ユーザによる各種ユーザ入力を取得する。各種入力は、上述したとおりである。
画像取得部152は、ユーザからの入力情報に基づいて、特定画像を取得する。特定画像の取得方法は、図3のステップS2200に関連して上述したとおりであってよい。
画像対応付け処理部154は、仮想空間で利用可能な所定アイテムに対して特定画像を対応付ける。所定アイテムは、上述したとおりであってよい。また、特定画像の対応付け方法は、図3のステップS2240に関連して上述したとおりであってよい。
画像対応付け処理部154は、取得した特定画像又は特定画像の一部を変更した派生画像を、複数のアバターに係る所定アイテムに同時に対応付けてもよい。特定画像の一部を変更した派生画像とは、全く同じ画像ではないものの、共通の特徴や、統一感を組み合わせで出すことができる特徴等を有する画像であってよい。この場合、特定の関係を有する複数のアバターの所定アイテムに対して、一度に特定画像等を対応付けることができ、それぞれ別々に類似の特定画像を取得して対応付ける場合に比べて、処理負荷を低減できる。図21には、バンド演奏を行う4人のアバターA1からA4が模式的に示されている。画像対応付け処理部154は、このような仲間同士の複数のアバターに対して、特定画像又は特定画像の一部を変更した派生画像を、同時に対応付けてもよい。この場合、対応付け指示(図9のステップS3130参照)は、複数のアバターに係るユーザのうちの、任意の1人以上のユーザにより生成されてもよい。あるいは、すべてのユーザからの対応付け指示(図9のステップS3130参照)に基づいて、複数のアバターに係る所定アイテムに対して同時に対応付けるための対応付け指示が生成されてもよい。
なお、上述した特定の関係は、複数のアバターが、一のユーザにすべて紐付けられている関係(1人のユーザがグループのアバターに対応付けられている場合)を含んでよい。また、上述した特定の関係は、このような関係に代えて又は加えて、一のユーザと一のアバターが紐付けられているが、複数のユーザ同士が紐付けられている関係(例えばユーザ同士がフレンド関係)を含んでもよい。
形状情報取得部156は、ユーザからの入力情報に基づいて、アイテム形状(形状情報の一例)を取得する。アイテム形状の取得方法は、図11のステップS4200に関連して上述したとおりであってよい。
形状付け処理部158は、アイテム形状に基づいて所定アイテムを形状付ける。所定アイテムの形状付け方法は、図11のステップS4240に関連して上述したとおりであってよい。
形状付け処理部158は、画像対応付け処理部154と同様、取得したアイテム形状又はアイテム形状の一部を変更した派生アイテム形状に基づいて、複数のアバターに係る所定アイテムを同時に形状付けてもよい。この場合、例えばフレンド関係等のような特定の関係を有する複数のアバターの所定アイテムに対して、一度に形状付けることができ、それぞれ別々に類似のアイテム形状を取得して対応付ける場合に比べて、処理負荷を低減できる。
付加情報取得部160は、ユーザからの入力情報に基づいて、所定アイテムの表面(外観)に反映可能なアイテム表面情報を取得する。アイテム表面情報は、所定アイテムの模様、生地、装飾、テクスチャのうちの少なくとも1つを設定又は変更するための情報であってよい。アイテムテクスチャの取得方法は、図9のステップS3200に関連して上述したとおりであってよい。他のアイテム表面情報の取得方法も同様であってよい。また、複数のアイテム表面情報を取得する場合、同時に取得されてもよいし、別々に取得されてもよい。
アイテム表面処理部162は、アイテム表面情報に基づいて、所定アイテムの模様、生地、装飾、テクスチャのうちの少なくとも1つを設定又は変更する。アイテムテクスチャに基づく所定アイテムのテクスチャの設定又は変更方法は、図11のステップS4240に関連して上述したとおりであってよい。他のアイテム表面情報に係る設定又は変更方法も同様であってよい。
アイテム表面処理部162は、画像対応付け処理部154と同様、取得したアイテム表面情報又はアイテム表面情報の一部を変更した派生アイテム形状に基づいて、複数のアバターに係る所定アイテムの模様、生地、装飾、テクスチャのうちの少なくとも1つを同時に設定又は変更してもよい。この場合、例えばフレンド関係等のような特定の関係を有する複数のアバターの所定アイテムに対して、一度に設定又は変更でき、それぞれ別々に類似のアイテム表面情報を取得して設定又は変更する場合に比べて、処理負荷を低減できる。
編集処理部164は、所定アイテムの対応付け対象のアバターに関する情報や、所定アイテムの配置対象の空間に関する情報に基づいて、アイテム形状を編集する。例えば、編集処理部164は、アイテム形状に合ったアバターのサイズが、形状付け対象のアバターのサイズよりも大きい場合や小さい場合、かかるサイズ差に応じてアイテム形状を相似的に変化させてもよい。また、編集処理部164は、所定アイテム(例えば橋台)に合った配置対象の空間のサイズが、形状付け対象のアイテムが配置される空間のサイズよりも大きい場合や小さい場合、かかるサイズ差に応じてアイテム形状を相似的に変化させてもよい。これにより、アイテム形状の汎用性を高めることができ、その結果、処理負荷(例えば、サイズ違いごとにアイテム形状を取得する等の処理に要する負荷)の低減を図ることができる。
また、編集処理部164は、所定アイテムの対応付け対象のアバターに関する情報に基づいて、アイテム表面情報を編集する。例えば、編集処理部164は、アイテム表面情報に係る装飾に合ったアバターのサイズが、対応付け対象のアバターのサイズよりも大きい場合や小さい場合、かかるサイズ差に応じてアイテム表面情報に係る装飾を相似的に変化させてもよい。これにより、アイテム表面情報の汎用性を高めることができ、その結果、処理負荷(例えば、サイズ違いごとにアイテム表面情報を取得する等の処理に要する負荷)の低減を図ることができる。
ここで、編集処理部164は、例えば3次元アバター向け共通規格であるVRMに基づいて、対応するアバターの3次元モデルを編集用に評価してもよい。この場合、複数のアバタープラットフォーム(種々のサービス)で用いることが可能な所定アイテム(及び当該所定アイテムが対応付けられているアバター)を得ることができる。
判定部166は、ユーザから取得される入力情報が所定条件を満たすか否かを判定する。所定条件は、多様な観点から設定されてもよい。例えば、所定条件は、入力情報に所定の禁止ワードが含まれていること等を含んでよい。所定の禁止ワードは、上述したとおりであってよい。また、所定条件は、他人の知的財産権を侵害する可能性が所定基準以上高い場合、又は、公序良俗に反する可能性が所定基準以上高い場合、に満たされてよい。なお、所定条件は、本サービスの運営側により適宜設定されてもよい。
パラメータ算出部168は、上述したユニークネス値のような、所定アイテム同士の類似性や、特定画像同士の類似性、アイテム形状同士の類似性、アイテムテクスチャ同士の類似性等、各種の類似性に係るパラメータ(所定パラメータの一例)の値を算出する。なお、所定アイテム同士の類似性は、特定画像、アイテム形状、及びアイテムテクスチャのうちのいずれか1つが反映された状態で評価されてもよい。
各種の類似性に係るパラメータやその値の算出方法は、任意であるが、例えば図19を参照して上述したとおりであってよい。
本実施形態では、パラメータ算出部168は、第1パラメータ算出部1681と、第2パラメータ算出部1682とを含む。
第1パラメータ算出部1681は、比較対象の画像と判定対象の特定画像との間で外観要素同士の類似性を算出する。外観要素同士の類似性の算出方法は、例えば図19を参照して上述したステップS1004のとおりであってよい。
また、第1パラメータ算出部1681は、特定画像が対応付けられる所定アイテムの属性に基づいて、外観要素同士の類似性を算出してもよい。例えば、第1パラメータ算出部1681は、比較対象の画像が対応付けられるアイテムの属性と、特定画像が対応付けられる所定アイテムの属性との関係に基づいて、外観要素同士の類似性を算出してもよい。この場合、第1パラメータ算出部1681は、それぞれの属性が一致していたり非常に類似していたり共通点を有したりする場合、そうでない場合に比べて、外観要素同士の類似性が高くなる態様で、外観要素同士の類似性を算出してもよい。
また、第1パラメータ算出部1681は、特定画像が対応付けられる所定アイテムの属性に応じて、外観要素同士の類似性の算出方法を変化させてもよい。例えば、特定画像が対応付けられる所定アイテムが3次元のアイテムである場合、第1パラメータ算出部1681は、複数の視点からの3次元のビューに基づいて、外観要素同士の類似性を算出してもよい。あるいは、特定画像が対応付けられる所定アイテムが3次元のアイテムでない場合でも、アバターのアイテムである場合、第1パラメータ算出部1681は、アバターに装着した状態での複数の視点からの3次元のビューに基づいて、外観要素同士の類似性を算出してもよい。
第2パラメータ算出部1682は、入力情報同士の類似性を算出する。入力情報同士の類似性の算出方法は、例えば図19を参照して上述したステップS1008のとおりであってよい。
この場合、第1パラメータ算出部1681による算出値と、第2パラメータ算出部1682による算出値とは、図19を参照して上述したように組み合わせで利用されてもよい。
出力処理部170は、パラメータ算出部168により算出された類似性に係るパラメータの値を出力する。類似性に係るパラメータの値の出力方法は、任意であり、例えば後述するアイテム管理部174等の処理のための出力であってよい。あるいは、類似性に係るパラメータの値の出力は、判定対象の所定アイテムの所有者等への通知等により実現されてもよい。
情報管理部172は、入力情報に対応付けて、特定画像等を管理(記憶や抽出等)する。具体的には、情報管理部172は、図3を参照して上述した特定画像情報(ステップS2210)を生成及び管理してよい。その他、情報管理部172は、図9を参照して上述したアイテムテクスチャ情報(ステップS3210)や、図11を参照して上述したアイテム形状情報(ステップS4210)等を生成及び管理してよい。情報管理部172により生成及び管理される各種情報は、上述したように、パラメータ算出部168による各種の類似性に係るパラメータの算出に好適に利用できる。
画像管理部173は、判定部166による判定結果に基づいて、入力情報が所定条件を満たす場合に、当該入力情報に基づいて取得された特定画像について、仮想空間での利用又は流通を、禁止又は制限する。上述したように所定条件は、例えば仮想空間の運営側が定めることができる。これにより、仮想空間で利用できるアイテムに特定画像が無秩序に対応付けられるような事態等を適切に防止できる。なお、仮想空間での流通とは、仮想空間でのマーケットでの販売等を含んでよい。
アイテム管理部174は、所定アイテムごとに、パラメータ算出部168により算出された所定パラメータの値に基づいて、仮想空間での利用又は流通を、許可、禁止又は制限する。例えば、所定アイテムに画像対応付け処理部154により特定画像が対応付けられている場合、アイテム管理部174は、特定画像が対応付けられている状態での所定アイテムについて、パラメータ算出部168により算出された所定パラメータの値に基づいて、仮想空間での利用又は流通を、許可、禁止又は制限する。同様に、所定アイテムに形状付け処理部158により所定アイテムが形状付けられている場合、アイテム管理部174は、形状付けられている状態での所定アイテムについて、パラメータ算出部168により算出された所定パラメータの値に基づいて、仮想空間での利用又は流通を、許可、禁止又は制限する。同様に、所定アイテムにアイテム表面処理部162によりアイテム表面情報が対応付けられている場合、アイテム管理部174は、アイテム表面情報が対応付けられている状態での所定アイテムについて、パラメータ算出部168により算出された所定パラメータの値に基づいて、仮想空間での利用又は流通を、許可、禁止又は制限する。
また、アイテム管理部174は、画像管理部173と同様、判定部166による判定結果に基づいて、入力情報が所定条件を満たす場合に、当該入力情報に基づいて取得された特定画像が対応付けられているアイテムについて、仮想空間での利用又は流通を、禁止又は制限してもよい。
トークン管理部176は、所定アイテムに関して非代替性トークン(NFT)のようなトークンを発行及び管理する。所定アイテムに係るNFTの発行方法等は、図18を参照して上述したステップS5250のとおりであってよい。また、トークン管理部176は、発行以外の管理として、所有権者やその所有権移転を記録したり、システム1に係るシステム外部のマーケットやスマートコントラクト、分散処理モジュールにおいて有料又は無料の申請によって複製したり破棄してもよい。
また、トークン管理部176は、画像管理部173と同様、判定部166による判定結果に基づいて、入力情報が所定条件を満たす場合に、当該入力情報に基づいて取得された特定画像に基づくトークンについて、その発行や流通を禁止又は制限してもよい。
コンテスト処理部178は、仮想空間における各種コンテストの開催等に関する処理を実行する。各種コンテストは、任意であるが、上述したような所定アイテムに関するコンテストを含んでよい。図22は、コンテストの様子のイメージ図である。図22では、ファッションコンテストの形態であり、複数のユーザが、上述した特定画像が対応付けられる所定アイテムを装着したアバターA11、A12、A13を介して、仮想空間内の壇上で所定アイテムを披露している様子が示されている。
画像対応付け処理部154により特定画像が対応付けられる所定アイテム、又は、所定アイテムが対応付けられたアバターに関して、仮想空間において複数のユーザからの評価結果(例えば投票結果)を収集してもよい。そして、コンテスト処理部178は、評価結果に基づいて、ランキングを発表したり、優勝者等に商品などを付与したり等の各種処理を実行してもよい。この場合、複数のユーザによる評価結果に代えて又は加えて、所与のロジックによる人工知能が利用されてもよい。例えば、あるテーマやミッションが提示されているコンテストでは、当該テーマに一致してるかミッションがクリアされているか等が、人工知能に基づいて判定されてもよい。より具体的には、例えば、大人かっこいいというテーマの場合、アバターの装着している所定アイテムの大人度や、かっこいい度、可愛い度、といったパラメータが設定され、それらのパラメータの値に基づいて、優劣が人工知能により判定されてもよい。この場合、人工知能は、人間(例えば信頼性の高い評価者や運営側)による過去の評価結果を学習して構築されてもよい。
評価用情報記憶部190には、アイテム管理部174により生成及び管理される上述した各種情報が記憶されてよい。
ユーザ情報記憶部192には、ユーザごと(例えばユーザIDごと)に、上述した各種処理を実現するために必要な情報が記憶されてもよい。例えば、ユーザごとに、対応するアバターの情報(例えばVRMファイル)や、所有する各種の所定アイテムの情報等が記憶されてもよい。
なお、図20に示す例では、画像対応付け処理部154、形状付け処理部158、及びアイテム表面処理部162は、それぞれ互いに独立して処理を実行しているが、これに限られない。すなわち、画像対応付け処理部154、形状付け処理部158、及びアイテム表面処理部162のうちの、任意の2つ以上の組み合わせが同時に機能してもよい。例えば、画像対応付け処理部154及び形状付け処理部158が同時に機能することで、上述した態様で得られるアイテム形状や特定画像が同時に反映された所定アイテムが生成されてもよい。
以上、各実施形態について詳述したが、特定の実施形態に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。また、前述した実施形態の構成要素の全部又は複数を組み合わせることも可能である。
例えば、上述した実施形態では、特定画像、アイテム形状、及びアイテムテクスチャは、それぞれ互いに独立して取得されるが、これに限られない。すなわち、特定画像、アイテム形状、及びアイテムテクスチャのうちの、任意の2つ以上の組み合わせが同時に取得されてもよい。この場合、機械学習モデルについても統合して構築されてもよい。
なお、以上の実施形態に関し、さらに以下の付記を開示する。
(付記1)
ユーザからの所定入力を取得するユーザ入力取得部と、
人工知能により構築された第1機械学習モデルを利用して、前記第1機械学習モデルに前記所定入力を入力して得られる特定画像を取得する画像取得部と、
仮想空間で利用可能な所定アイテムに対して前記特定画像を対応付ける対応付け処理部とを備える、情報処理システム。
(付記2)
前記所定アイテムは、対応する型紙に前記特定画像を反映させることで、仮想空間において視認可能に描画され、
人工知能により構築された機械学習モデルを利用して、前記型紙を生成する型紙生成部を更に備える、付記1に記載の情報処理システム。
1 システム
3 ネットワーク
5 ブロックチェーンネットワーク
10 サーバ装置
11 サーバ通信部
12 サーバ記憶部
13 サーバ制御部
20 端末装置
21 端末通信部
22 端末記憶部
23 表示部
24 入力部
25 端末制御部
150 操作入力取得部
152 画像取得部
154 画像対応付け処理部
156 形状情報取得部
158 形状付け処理部
160 付加情報取得部
162 アイテム表面処理部
164 編集処理部
166 判定部
168 パラメータ算出部
1681 第1パラメータ算出部(第1算出部)
1682 第2パラメータ算出部(第2算出部)
170 出力処理部
172 情報管理部
173 画像管理部
174 アイテム管理部
176 トークン管理部
178 コンテスト処理部
190 評価用情報記憶部
192 ユーザ情報記憶部

Claims (25)

  1. ユーザからの所定入力を取得するユーザ入力取得部と、
    人工知能により構築された第1機械学習モデルを利用して、前記第1機械学習モデルに前記所定入力を入力して得られる特定画像を取得する画像取得部と、
    仮想空間で利用可能な所定アイテムに対して前記特定画像を対応付ける対応付け処理部とを備える、情報処理システム。
  2. 前記所定アイテムは、仮想空間におけるアバターに対応付け可能なアイテム、及び、仮想空間に配置可能なアイテム、のうちの少なくともいずれか一方を含む、請求項1に記載の情報処理システム。
  3. 人工知能により構築された第2機械学習モデルを利用して、前記第2機械学習モデルに前記所定入力を入力して得られる前記所定アイテムの形状情報を取得する形状情報取得部と、
    前記形状情報に基づいて前記所定アイテムを形状付ける形状付け処理部とを更に備える、請求項1に記載の情報処理システム。
  4. 人工知能により構築された第3機械学習モデルを利用して、前記第3機械学習モデルに前記所定入力を入力して得られるアイテム表面情報を取得する付加情報取得部と、
    前記アイテム表面情報に基づいて、前記所定アイテムの模様、生地、装飾、テクスチャのうちの少なくとも1つを設定又は変更するアイテム表面処理部とを更に備える、請求項1に記載の情報処理システム。
  5. 前記所定アイテムは、仮想空間におけるアバターに対応付け可能なアイテム、及び、仮想空間に配置可能なアイテム、のうちの少なくともいずれか一方を含み、
    前記所定アイテムの対応付け対象のアバターに関する情報、又は、前記所定アイテムの配置対象の空間に関する情報に基づいて、前記形状情報を編集する編集処理部を更に備える、請求項3に記載の情報処理システム。
  6. 前記所定アイテムは、仮想空間におけるアバターに対応付け可能なアイテムを含み、
    前記所定アイテムの対応付け対象のアバターに関する情報に基づいて、前記アイテム表面情報を編集する編集処理部を更に備える、請求項4に記載の情報処理システム。
  7. 前記所定入力は、テキスト、記号、絵文字、数字、色、テクスチャ、画像、音声、ジェスチャ及びこれらの任意の2つ以上の組み合わせのうちの、少なくともいずれか1つを含む、請求項1に記載の情報処理システム。
  8. 前記対応付け処理部により前記特定画像が対応付けられる前記所定アイテム、又は、前記所定アイテムが対応付けられたアバターに関して、仮想空間において複数のユーザからの評価結果を収集するコンテスト処理部を更に備える、請求項1に記載の情報処理システム。
  9. 前記対応付け処理部は、複数のアバターに係る前記所定アイテムに対して、前記特定画像又は前記特定画像の一部を変更した派生画像を、同時に対応付ける、請求項1に記載の情報処理システム。
  10. 前記対応付け処理部により前記特定画像が対応付けられる前記所定アイテムと、仮想空間で利用可能な他のアイテムとの類似性に関連する所定パラメータの値を算出する算出部と、
    前記算出部により算出された前記所定パラメータの値を出力する出力処理部とを更に備える、請求項1に記載の情報処理システム。
  11. 前記算出部は、前記特定画像が対応付けられる一の前記所定アイテムに係る前記所定パラメータの値を、前記一の所定アイテムに対応付けられる前記特定画像と、該特定画像の取得に用いられた前記所定入力とに基づいて、算出する、請求項10に記載の情報処理システム。
  12. 前記算出部は、前記特定画像が対応付けられる一の前記所定アイテムに係る前記所定パラメータの値を、更に、前記一の所定アイテムの属性に基づいて、算出する、請求項11に記載の情報処理システム。
  13. 前記算出部は、前記特定画像と、前記他のアイテムに対応付けられている画像との間の類似性に関連する第1パラメータの値を算出する第1算出部を含み、
    前記所定パラメータの値は、前記第1算出部により算出された前記第1パラメータの値又はそれに基づく値を含む、請求項11に記載の情報処理システム。
  14. 前記第1算出部は、色、テクスチャ、及び模様、のうちの少なくともいずれか1つに基づいて、前記第1パラメータの値を算出する、請求項13に記載の情報処理システム。
  15. 前記第1算出部は、複数の視点からの3次元のビューに基づいて、前記第1パラメータの値を算出する、請求項13に記載の情報処理システム。
  16. 前記算出部は、前記特定画像の取得に用いられた前記所定入力と、前記他のアイテムに対応付けられている画像の生成に用いられた前記所定入力に対応する他の入力との間の類似性に関連する第2パラメータの値を算出する第2算出部を含み、
    前記所定パラメータの値は、前記第2算出部により算出された前記第2パラメータの値又はそれに基づく値を含む、請求項10に記載の情報処理システム。
  17. 前記第2算出部は、前記所定入力に含まれるテキストと、前記他の入力に含まれるテキストとの関係に基づいて、前記第2パラメータの値を算出する、請求項16に記載の情報処理システム。
  18. 前記所定入力、及び、前記他の入力は、ともに、乱数のシード値を更に含み、
    前記第2算出部は、前記所定入力に含まれる前記シード値と、前記他の入力に含まれる前記シード値との関係に基づいて、前記第2パラメータの値を算出する、請求項16に記載の情報処理システム。
  19. 前記算出部により算出された前記所定パラメータの値に基づいて、前記対応付け処理部により前記特定画像が対応付けられる前記所定アイテムについて、仮想空間での利用又は流通を、許可、禁止又は制限するアイテム管理部を更に備える、請求項10に記載の情報処理システム。
  20. 前記所定入力に対応付けて、前記特定画像、又は、前記特定画像が対応付けられた前記所定アイテムを、管理する情報管理部を更に備える、請求項1から17のうちのいずれか1項に記載の情報処理システム。
  21. 前記所定入力が所定条件を満たすか否かを判定する判定部を更に備え、
    前記所定入力が前記所定条件を満たす場合に、前記所定入力に基づいて取得された前記特定画像について、仮想空間での利用又は流通を、禁止又は制限する画像管理部を更に備える、請求項1から17のうちのいずれか1項に記載の情報処理システム。
  22. 前記所定条件は、他人の知的財産権を侵害する可能性が所定基準以上高い場合、又は、公序良俗に反する可能性が所定基準以上高い場合、に満たされる、請求項21に記載の情報処理システム。
  23. 前記特定画像、又は、前記特定画像が対応付けられた前記所定アイテムに基づいて、非代替性トークンを発行及び管理するトークン管理部を更に備える、請求項1から17のうちのいずれか1項に記載の情報処理システム。
  24. ユーザからの所定入力を取得し、
    人工知能により構築された第1機械学習モデルを利用して、前記第1機械学習モデルに前記所定入力を入力して得られる特定画像を取得し、
    仮想空間で利用可能な所定アイテムに対して前記特定画像を対応付けることを含む、コンピュータにより実行される情報処理方法。
  25. ユーザからの所定入力を取得し、
    人工知能により構築された第1機械学習モデルを利用して、前記第1機械学習モデルに前記所定入力を入力して得られる特定画像を取得し、
    仮想空間で利用可能な所定アイテムに対して前記特定画像を対応付ける
    処理をコンピュータに実行させるプログラム。
JP2023057030A 2022-11-28 2023-03-31 情報処理システム、情報処理方法、及びプログラム Pending JP2024077564A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/216,619 US20240177439A1 (en) 2022-11-28 2023-06-30 Information processing system, information processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US63/428,203 2022-11-28

Publications (1)

Publication Number Publication Date
JP2024077564A true JP2024077564A (ja) 2024-06-07

Family

ID=

Similar Documents

Publication Publication Date Title
US11908243B2 (en) Menu hierarchy navigation on electronic mirroring devices
US11798201B2 (en) Mirroring device with whole-body outfits
KR20230156408A (ko) 전자 미러링 디바이스를 동작시키는 핸즈-프리 모드를 활성화함
US20140267425A1 (en) Personalized Digital Animation Kit
KR102623730B1 (ko) 허위 가상 오브젝트의 검출
CN114930399A (zh) 使用基于表面的神经合成的图像生成
EP4248407A1 (en) Real-time motion transfer for prosthetic limbs
US10891801B2 (en) Method and system for generating a user-customized computer-generated animation
CN109949390A (zh) 图像生成方法、动态表情图像生成方法及装置
US20230269345A1 (en) Recorded sound thumbnail
KR102131971B1 (ko) 저작권 플랫폼을 제공하는 시스템 및 방법
JP2024514948A (ja) コンピューターシミュレーションにおける音声駆動による3d静的アセットの作成
JP2024077564A (ja) 情報処理システム、情報処理方法、及びプログラム
US11768587B2 (en) Electronic transaction activated augmented reality experiences
US20240177439A1 (en) Information processing system, information processing method, and program
KR102541262B1 (ko) Vr 컨텐츠의 오브젝트 적용 방법, 장치 및 컴퓨터-판독 가능 기록 매체
US11847743B2 (en) Voice driven modification of physical properties and physics parameterization in a closed simulation loop for creating static assets in computer simulations
US11631214B2 (en) Voice driven modification of sub-parts of assets in computer simulations
US20240193865A1 (en) Voice driven modification of physical properties and physics parameterization in a closed simulation loop for creating static assets in computer simulations
US20240185546A1 (en) Interactive reality computing experience using multi-layer projections to create an illusion of depth
US20230334792A1 (en) Interactive reality computing experience using optical lenticular multi-perspective simulation
US20230334791A1 (en) Interactive reality computing experience using multi-layer projections to create an illusion of depth
US20230393730A1 (en) User interface including multiple interaction zones
US20230334790A1 (en) Interactive reality computing experience using optical lenticular multi-perspective simulation
US20230393715A1 (en) Electronic transaction activated augmented reality experiences