JP7459199B1 - 画像処理システム - Google Patents
画像処理システム Download PDFInfo
- Publication number
- JP7459199B1 JP7459199B1 JP2022149598A JP2022149598A JP7459199B1 JP 7459199 B1 JP7459199 B1 JP 7459199B1 JP 2022149598 A JP2022149598 A JP 2022149598A JP 2022149598 A JP2022149598 A JP 2022149598A JP 7459199 B1 JP7459199 B1 JP 7459199B1
- Authority
- JP
- Japan
- Prior art keywords
- virtual viewpoint
- information
- content
- material data
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 48
- 239000000463 material Substances 0.000 claims abstract description 103
- 230000010365 information processing Effects 0.000 claims description 16
- 230000033001 locomotion Effects 0.000 claims description 14
- 210000000988 bone and bone Anatomy 0.000 claims description 7
- 238000003860 storage Methods 0.000 claims description 6
- 238000003672 processing method Methods 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 abstract description 26
- 238000000034 method Methods 0.000 description 67
- 238000010586 diagram Methods 0.000 description 36
- 230000008569 process Effects 0.000 description 34
- 238000009877 rendering Methods 0.000 description 15
- 238000004891 communication Methods 0.000 description 7
- 238000009826 distribution Methods 0.000 description 7
- 230000005856 abnormality Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000005484 gravity Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 239000012769 display material Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/604—Tools and structures for managing or administering access control systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/10—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
- G06F21/101—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM] by binding digital rights to specific entities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/50—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols using hash chains, e.g. blockchains or hash trees
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20036—Morphological image processing
- G06T2207/20044—Skeletonization; Medial axis transform
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L2209/00—Additional information or applications relating to cryptographic mechanisms or cryptographic arrangements for secret or secure communication H04L9/00
- H04L2209/56—Financial cryptography, e.g. electronic payment or e-cash
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Human Computer Interaction (AREA)
- Geometry (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Technology Law (AREA)
- Computing Systems (AREA)
- Automation & Control Theory (AREA)
- Health & Medical Sciences (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
Abstract
Description
第1ユーザのユーザ情報を取得する第1取得手段と、
複数の撮像画像に基づいて生成され前記第1ユーザを現所有者とする素材データと複数の撮像画像に基づいて生成され第2ユーザを現所有者とする素材データとを含む複数の素材データであって、ブロックチェーンに素材データを特定するための情報が記録されている複数の素材データのうち、前記第1取得手段により取得された前記ユーザ情報により特定される前記第1ユーザを現所有者とする前記素材データを示す情報を出力する第1出力手段と、
前記第1出力手段により出力された情報により示される前記素材データのうち、前記第1ユーザにより選択された前記素材データを示す情報を取得する第2取得手段と、
前記第2取得手段により取得された情報に対応する前記素材データに基づいて生成された仮想視点画像を出力する第2出力手段と、
を有することを特徴とする。
本実施形態では、仮想視点画像を生成するために用いるデジタルコンテンツに非代替性トークンを付与し、それらの所有者情報とユーザ情報に基づいて、デジタルコンテンツの表示処理を制御する方法について述べる。非代替性トークン(Non-Fungible Token:以下、NFTとする)は、ブロックチェーン上に発行・流通するためのトークンの一つである。NFTを活用することで、デジタルコンテンツに唯一無二の価値を持たせることができる。NFTの規格の一例としては、ERC―721やERC―1155と呼ばれるトークン規格がある。
第1実施形態に関わる画像処理システムについて図面を参照しながら説明する。
図3は、仮想視点コンテンツをデータベースシステム1に登録する処理の流れを示す図である。本実施形態では、仮想視点コンテンツを登録するユーザのアカウントが予め生成されており、ユーザがユーザIDとパスワードを入力することによりログイン処理を行った後の流れを示す。その際、ユーザIDはコンテンツ提供装置3のユーザ管理部1300に記録されているものとする。また、仮想視点コンテンツが予め作成され、コンテンツ表示装置4に保存されているものとする。図5、図6、図7においても、同様の条件であるため、以降省略する。
S300において、コンテンツ表示装置4は、登録する仮想視点コンテンツのコンテンツデータとメタデータを、コンテンツ提供装置3に送信する。なお、メタデータには、仮想視点コンテンツに発行するNFTの発行数が含まれる。
S301において、コンテンツ提供装置3は、受信した仮想視点コンテンツのコンテンツデータとメタデータが既定の条件を満たすか否か判定する。具体的には、メタデータにデータ種別やNFTの発行数の情報が含まれているかを判定する。なお、データベースシステム1に登録されている仮想視点コンテンツと同じ仮想視点コンテンツか否か判定してもよい。その場合、受信した仮想視点コンテンツのコンテンツデータのハッシュ値と、データベースシステム1に登録されている仮想視点コンテンツのコンテンツデータのハッシュ値とを比較する。ハッシュ値が同じであれば、同じ仮想視点コンテンツとして条件を満たさないと判定し、ハッシュ値が異なれば、異なる仮想視点コンテンツとして条件を満たすと判定する。なお、類似品を判定する学習モデルを作成し、判定させてもよい。本実施形態では、条件を満たしたものとして以降の処理を説明する。
S302において、コンテンツ提供装置3は、S301にて条件を満たすと判定した仮想視点コンテンツのコンテンツデータとメタデータをデータベースシステム1に送信する。
S303において、データベースシステム1は、S302にて受信した仮想視点コンテンツのコンテンツデータとメタデータを対応付けて登録する。なお、登録する際に、仮想視点コンテンツに対し、コンテンツIDを発行する。コンテンツIDは、仮想視点コンテンツに割り振られるシリアルナンバーであり、データベースシステム1において仮想視点コンテンツを検索する際に使用される。また、仮想視点コンテンツの販売ステータスも初期値で設定される。本ステップにより、データベースシステム1に仮想視点コンテンツを登録することができる。
S304において、データベースシステム1は、コンテンツIDをコンテンツ提供装置3に送信する。
S305において、コンテンツ提供装置3は、S300にて受信した仮想視点コンテンツに発行するNFTの発行数と、ユーザIDと、コンテンツIDをブロックチェーンシステム2に送信する。
S306において、ブロックチェーンシステム2は、S300にて受信したNFTの発行数に基づき、仮想視点コンテンツにNFTを発行し、トランザクションを記録する。トランザクションには、少なくともNFTと所有者情報としてユーザID、仮想視点コンテンツに対応するコンテンツIDが含まれる。本実施形態では、仮想視点コンテンツを登録する処理を行ったユーザのユーザIDを、最初の所有者として記録する。本ステップにより、仮想視点コンテンツの所有者情報をブロックチェーンに記録することができる。
S500において、コンテンツ表示装置4は、コンテンツ提供装置3にユーザが所有する仮想視点コンテンツの情報を要求する。なお、ユーザが所有するすべての仮想視点コンテンツの情報を要求する必要はなく、例えば、ユーザが所有する前景形状モデルの情報を要求してもよい。また、ユーザが所有する、あるスポーツ選手の前景形状モデルの情報を要求してもよい。
S501において、コンテンツ提供装置3は、ユーザIDをブロックチェーンシステム2に送信し、ブロックチェーンシステム2に記録されているトランザクションを照会することにより、ユーザの所有する仮想視点コンテンツを特定する。この際、特定した仮想視点コンテンツのコンテンツIDを取得する。
S502において、コンテンツ提供装置3は、S501で取得したコンテンツIDをデータベースシステム1に送信する。コンテンツIDを受信したデータベースシステム1は、コンテンツIDに対応する仮想視点コンテンツのコンテンツデータとメタデータをコンテンツ提供装置3に送信する。
S503において、コンテンツ提供装置3は、仮想視点コンテンツのメタデータを示す画像をコンテンツ表示装置4に送信する。なお、本実施形態では、メタデータを示す画像をコンテンツ表示装置4に送信するが、これに限定されず、メタデータそのものを送信してもよいし、コンテンツデータを送信してもよい。
S504において、コンテンツ表示装置4は、S503で受信した仮想視点コンテンツのメタデータを示す画像を表示する。ユーザは、この画像を参考に仮想視点コンテンツの販売ステータスを設定する。
S505において、コンテンツ表示装置4は、ユーザの操作に基づいて仮想視点コンテンツの販売ステータスを更新する指示を、コンテンツ提供装置3に送信する。
S506において、コンテンツ提供装置3は、S505にて受信した販売ステータスの更新指示が条件を満たしているか判定する。例えば、コンテンツ提供装置3にて、仮想視点コンテンツの最低販売価格や最大販売価格の条件を設定し、ユーザが指示した販売ステータスが条件を満たしているかを判定する。なお、本実施形態では、条件を満たしているとして以降の処理を説明する。
S507において、コンテンツ提供装置3は、S506にて条件を満たしていると判定された更新指示をデータベースシステム1に送信する。
S508において、データベースシステム1は、S507で受信した販売ステータスの更新指示に基づいて、仮想視点コンテンツの販売ステータスを更新する。
S600において、コンテンツ表示装置4は、購入可能な仮想視点コンテンツの要求情報をコンテンツ提供装置3に送信する。なお、要求情報に、データの種別やコンテンツの名称等の要求条件を指定しても構わない。
S601において、コンテンツ提供装置3は、ユーザのアカウント情報を確認し、ユーザの購入可能条件を確認する。本実施形態では、例えば、ユーザの購入履歴を確認することで、仮想視点コンテンツの購入回数が2回以下の場合、購入可能な仮想視点コンテンツを一部制限してもする。しかし、これに限定されず、購入可能条件を設けなくてもよいし、ファントークン等を用いてユーザの活動に応じて購入可能な仮想視点コンテンツを決定してもよい。購入可能条件は、ユーザ管理部1300でユーザ毎に管理されているものとする。
S602において、コンテンツ提供装置3は、S601にて確認した購入可能条件を含め、データベースシステム1に購入可能な仮想視点コンテンツの要求情報を送信する。
S603において、データベースシステム1は、販売ステータスが販売可となっている仮想視点コンテンツを特定する。また、S600にて要求条件を受信している場合は、要求条件を考慮した仮想視点コンテンツを特定する。例えば、A選手のダンクシーンの前景形状モデルとA選手のダンクシーンの前景骨格モデルと指定されている場合、それらに該当するまたは関連する仮想視点コンテンツを特定する。なお、ユーザの購入可能条件を受信している場合は、条件に応じた仮想視点コンテンツを特定する。これらの条件を含め販売ステータスが販売可となっている仮想視点コンテンツを特定する。
S604において。データベースシステム1は、特定した販売ステータスが販売可となっている仮想視点コンテンツのコンテンツデータとメタデータをコンテンツ提供装置3に送信する。
S605において、コンテンツ提供装置3は、S604にて受信した仮想視点コンテンツのコンテンツデータとメタデータから仮想視点コンテンツを示す画像を生成し、コンテンツ表示装置4に送信する。仮想視点コンテンツを示す画像とは、コンテンツデータとメタデータを両方用いて作成しても良いし、何れか一方のみを用いて作成してもよい。例えば、コンテンツデータが前景形状モデルであり、メタデータに前景形状モデルの作成日と販売価格が含まれる場合、前景形状モデルを示すアイコンと作成日、販売価格を示す画像を生成してもよい。なお、本実施形態では、仮想視点コンテンツを示す画像をコンテンツ表示装置に送信するが、これに限定されず、画像とともにメタデータに含まれる音声データや販売価格の数値データそのものを送信してもよい。
S606において、コンテンツ表示装置4は、S605にて受信した購入可能な仮想視点コンテンツを示す画像を表示する。なお、複数の仮想視点コンテンツが購入可能である場合、仮想視点コンテンツを一覧表示してもよい。コンテンツ表示装置4に表示される仮想視点コンテンツの購入画面の詳細は、図7にて説明する。
S607において、コンテンツ表示装置4は、ユーザ操作に基づいて、コンテンツ提供装置3に仮想視点コンテンツの購入要求を送信する。
S608において、コンテンツ提供装置3は、仮想視点コンテンツの売買が成立したか確認する。例えば、ユーザからの購入処理が完了した場合に売買が成立したとする。購入処理についての説明は省略する。以降のステップでは、売買が成立したものとして説明する。
S609において、コンテンツ提供装置3は、データベースシステム1に売買が成立した仮想視点コンテンツの情報を送信する。
S610において、データベースシステム1は、売買が成立した仮想視点コンテンツの販売ステータスを初期値に設定する。
S611において、コンテンツ提供装置3は、ブロックチェーンシステム2に購入者のユーザIDを送信する。
S612において、ブロックチェーンシステム2は、S609で受信したユーザIDを現在の所有者としてトランザクションを記録する。
S800において、コンテンツ提供装置3は、データベースシステム1から受信した仮想視点コンテンツのコンテンツデータとメタデータから、ユーザの所有する仮想視点コンテンツを示す画像を生成し、コンテンツ表示装置4に送信する。具体的には、仮想視点コンテンツのデータ種別を示すアイコンと仮想視点コンテンツの名称を含む画像を作成し、送信する。
S801において、コンテンツ表示装置4は、受信した仮想視点コンテンツを示す画像を表示することにより、ユーザが所有する仮想視点コンテンツのリストを表示する。詳細は図9にて説明する。
S802において、コンテンツ表示装置4は、ユーザ操作に基づいて、仮想視点画像の生成に用いる仮想視点コンテンツを選択する。ユーザは、所有する仮想視点コンテンツを示す画像をそれぞれ選択することにより、仮想視点画像の生成に用いる仮想視点コンテンツを選択することができる。このとき、各仮想視点コンテンツのデータ種別に応じて、仮想視点コンテンツの選択に制限を設ける。例えば、選択できる仮想視点コンテンツの個数やデータ種別である。具体的には、仮想視点画像に表示されるキャラクターが一つになるように前景形状モデルと前景骨格モデルが選択できる。また、仮想視点画像に表示される背景モデルが一つになるように背景形状モデルと背景テクスチャ画像が選択できる。さらに、ユーザ操作に基づいて、仮想視点画像を生成するための仮想視点情報を設定する。仮想視点情報は、仮想カメラの位置と向きを示す情報である。本実施形態では、ユーザ操作を容易にするために、選択された仮想視点コンテンツに応じて仮想視点情報を設定する。仮想視点情報の設定に関する詳細は図9にて説明する。
S803において、コンテンツ表示装置4は、S802にて選択された仮想視点コンテンツを示す情報と仮想視点情報をコンテンツ提供装置3に送信する。
S804において、コンテンツ提供装置3は、選択された仮想視点コンテンツと設定された仮想視点情報に基づいて仮想視点画像を生成する。具体的には、S502において取得した仮想視点コンテンツのコンテンツデータのうち、選択された仮想視点コンテンツのコンテンツデータを仮想空間上に配置し、設定された仮想視点情報に基づいて仮想視点画像を生成する。
S805において、コンテンツ提供装置3は、S804で作成した仮想視点画像をコンテンツ表示装置4に送信する。なお、コンテンツ表示装置4は受信した仮想視点画像を表示する。詳細は図9にて説明する。
S1000において、コンテンツ提供装置3は、コンテンツ表示装置4にユーザが所有する仮想視点コンテンツを示す画像を送信する。コンテンツ表示装置4は、受信した仮想視点コンテンツを示す画像を一覧表示する。
S1000において、コンテンツ提供装置3は、コンテンツ表示装置4から仮想視点コンテンツの選択情報を取得する。仮想視点コンテンツの選択情報は、ユーザによってどの仮想視点コンテンツが選択されたかを示す情報である。選択情報を受信しない場合は、選択情報を受信するまで待機する。
S1002において、コンテンツ提供装置3は、S1001にて受信した仮想視点コンテンツの選択情報から前景骨格モデルまたは前景形状モデルが選択されたか判定する。前景骨格モデルまたは前景形状モデルが選択されている場合は、S1003に進む。前景骨格モデルまたは前景形状モデルが選択されていない場合は、S1004に進む。
S1003において、コンテンツ提供装置3は、選択された前景骨格モデルまたは前景形状モデルを仮想空間上に配置し、仮想カメラの注視点位置を前景骨格モデルまたは前景形状モデルの重心位置になるように仮想視点情報を設定する。なお、前景骨格モデルまたは前景形状モデルに向きが存在する場合は、仮想カメラは前景骨格モデルまたは前景形状モデルの正面に位置するように設定される。
S1004において、コンテンツ提供装置3は、S1001にて受信した仮想視点コンテンツの選択情報から背景形状モデルが選択されたか判定する。背景形状モデルが選択されている場合は、S1005に進む。背景形状モデルが選択されていない場合は、S1010に進む。
S1005において、コンテンツ提供装置3は、選択された背景形状モデルを仮想空間上に配置し、仮想カメラの注視点位置を背景形状モデルの重心位置になるように仮想視点情報を設定する。なお、背景形状モデルに向きが存在する場合は、仮想カメラは背景形状モデルの正面に位置するように設定される。
S1006において、コンテンツ提供装置3は、選択された仮想視点コンテンツと仮想視点情報に基づいて仮想視点画像を生成する。下記、選択された仮想視点コンテンツによって生成される仮想視点画像を説明する。
S1007において、コンテンツ提供装置3は、S1006にて生成した仮想視点画像をコンテンツ表示装置4に送信する。
S1008において、コンテンツ提供装置3は、コンテンツ表示装置4から仮想カメラを指定する仮想視点情報を受信したか判定する。つまり、S1001にて受信した選択情報に前景骨格モデル、前景形状モデル、背景骨格モデルのいずれかが含まれている場合、コンテンツ表示装置4からユーザによる仮想カメラの操作情報を受け付けることになる。言い換えれば、3次元形状オブジェクトを仮想空間上に配置する仮想視点コンテンツが選択された場合には、ユーザによる仮想カメラの操作を受け付けることになる。仮想カメラの操作情報を受信した場合はS1009に進み、受信しない場合は本処理を終了する。なお、これに限定されず、受信しない場合は、S1001に進むようにして本処理をループさせるようにしてもよい。
S1009において、コンテンツ提供装置3は、受信した操作情報を基に仮想視点情報を更新する。なお、仮想視点操作の更新には制限が設けられており、受信した操作情報をそのまま仮想視点情報に反映せず、選択した仮想視点コンテンツを仮想視点画像の中心に位置するように操作情報を修正して仮想視点情報を更新する。例えば、3次元形状オブジェクトを中心にした球面軌道または円周軌道上に仮想カメラが位置するように操作情報を修正して仮想視点情報を更新する。その後、S1006に進む。
S1010において、コンテンツ提供装置3は、選択された背景テクスチャ画像をコンテンツ表示装置4に送信する。本実施形態では、仮想視点コンテンツのデータ種別を前景骨格モデル、前景形状モデル、背景形状モデル、背景テクスチャ画像としているため、S1002およびS1004の処理により、選択情報に背景テクスチャ画像のみが含まれていると判定できる。背景テクスチャ画像は、2次元の画像であるため仮想視点を設定する必要はなく、そのままコンテンツ表示装置4に送信する。
実施形態1では、仮想視点コンテンツが既存のCGツールを用いて作成される場合において説明した。本実施形態では、被写体を複数カメラで撮影する多視点カメラ撮影システムと仮想視点コンテンツ生成システムで仮想視点コンテンツを生成する。本実施形態における仮想視点画像を生成するために用いる仮想視点コンテンツにおいて、前景形状モデルと前景骨格モデルは多視点カメラによって撮影した被写体の画像から生成されるものとする。また、前景形状モデルに張り付ける前景テクスチャ画像も仮想視点コンテンツに含む。背景形状モデルと背景テクスチャ画像も実画像に基づいて作成されたものとするが、これに限定されず実施形態1と同様にCGツールを用いて作成されてもよい。
第2実施形態に関わる画像処理システムについて図面を参照しながら説明する。
図12は、多視点カメラ撮影システム5にて撮影した画像から生成される仮想視点コンテンツを登録する流れを示す図である。なお、S301からS306の処理は図3と同様であるため省略する。
S12000において、多視点カメラ撮影システム5は、全カメラから撮影した画像から前景画像を抽出する。
S12001において、多視点カメラ撮影システム5は、S12000にて抽出した全カメラの前景画像を仮想視点コンテンツ生成システム6に送信する。
S12002において、仮想視点コンテンツ生成システム6は、S12001にて受信した前景画像に基づいて被写体の前景形状モデルと前景骨格モデル、前景テクスチャ画像を生成する。
S12003において、仮想視点コンテンツ生成システム6は、生成した前景形状モデルと前景骨格モデル、前景テクスチャ画像を、コンテンツ提供装置3を介してデータベースシステム1に送信する。なお、コンテンツ提供装置3を介さずデータベースシステム1に直接送信してもよい。
S1500において、図10のS1006に加えて、ユーザが前景テクスチャ画像を選択した際の処理について記載する。なお、前景形状モデルが選択されていることを条件に、前景テクスチャ画像を選択できるものとする。ユーザにより、前景形状モデルと前景テクスチャ画像が選択された場合、前景形状モデルに前景テクスチャ画像をテクスチャマッピング手法によりレンダリングすることで仮想視点画像を生成する。これにより、ユーザは実画像から生成された被写体の仮想視点画像を生成できる。
実施形態1および実施形態2では、仮想視点コンテンツの位置が仮想視点画像の中心に位置するように仮想カメラの操作が制限された。しかしながら、複数のキャラクターを仮想空間上に配置する場合において、特定のキャラクターを中心に仮想カメラの位置と向きを決定すると選択した全てのキャラクターを仮想視点画像内に表示できないことがある。また、ユーザの所望する画角にてキャラクターを映す仮想視点画像を生成することができないことがある。本実施形態では、仮想視点画像を生成するための仮想カメラ情報に非代替性トークンを付与し、その所有者情報とユーザ情報に基づいて、仮想視点画像の表示に関わる処理を制御する方法について述べる。本実施形態における仮想視点コンテンツは、実施形態1および実施形態2の仮想視点コンテンツに加えて、仮想カメラ情報とする。仮想カメラ情報には仮想カメラの外部パラメータと内部パラメータ、コンテンツを特定する情報を含む。また、仮想カメラパス情報を仮想視点コンテンツに含んでもよい。仮想カメラパス情報は仮想カメラ情報に時刻情報を加えた情報であって、仮想カメラのカメラワークを表現できる。言い換えれば、仮想カメラパス情報は、仮想カメラの軌跡を表現できる。
実施形態3における画像処理システムは、図11と同様であるため省略する。
図16は、仮想カメラ情報および仮想カメラパス情報を仮想視点コンテンツとして登録する処理を示す図である。なお、S301~S306は、図3と同様であるため説明は省略する。
S1600において、コンテンツ提供装置3は、仮想カメラ情報の仮想視点コンテンツを生成する。本実施形態では、仮想カメラ操作権と仮想カメラパスを仮想カメラ情報とする。仮想カメラ操作権は、視聴者が仮想カメラを操作しながら、自由な視点で仮想視点画像を視聴する権利である。ユーザが所有している仮想カメラ操作権を選択すると、実施形態1および実施形態2と異なり、制限なしに仮想カメラを操作することができる。仮想カメラ操作権のコンテンツデータとして、仮想カメラ操作権を示す画像または3次元形状オブジェクトを生成する。メタデータとして、制限なしに仮想カメラを自由に操作できる操作条件と発行数を生成する。例えば、操作条件にバスケットボールに関する仮想視点コンテンツと設定されている場合、バスケットボールに関する仮想視点コンテンツが選択されている場合のみ、仮想カメラの制限をなしにする。または、特定のキャラクターに関する仮想視点コンテンツに対して制限なしにしてもよいし、操作条件を設けなくてもよい。仮想カメラパスは、仮想カメラの位置と向きの軌跡である。ユーザが所有している仮想カメラパスを選択すると、設定された仮想カメラパス上を仮想カメラが移動する。または、仮想カメラパス上を仮想カメラが移動するように操作可能としてもよい。
S1900において、コンテンツ提供装置3は、S1001にて受信した仮想視点コンテンツの選択情報から仮想カメラ操作権が選択されているか判定する。仮想カメラ操作権が選択されている場合は、S1901に進む。仮想カメラ操作権が選択されていない場合は、S1902に進む。
S1901において、コンテンツ提供装置3は、S1008にて受信した仮想カメラの操作情報をそのまま仮想視点情報に反映する。このようにすることにより、実施形態1および実施形態2と異なり、ユーザが自由に仮想カメラを操作することができる。その後、S1500に進む。
S1902において、コンテンツ提供装置3は、S1001にて受信した仮想視点コンテンツの選択情報から仮想カメラパス情報が選択されているか判定する。仮想カメラパス情報が選択されている場合は、S1903に進む。仮想カメラパス情報が選択されていない場合は、S1904に進む。
S1903において、コンテンツ提供装置3は、仮想カメラパス情報に従って仮想視点情報を更新する。ただしこれに限定されず、仮想カメラパス上に沿って仮想カメラを操作できるようにしてもよい。その後、S1500に進む。
S1904において、コンテンツ提供装置3は、仮想視点コンテンツを仮想視点画像の中心に位置するように仮想カメラの操作を更新する。その後、S1500に進む。
複数の撮像装置により撮像された複数の撮像画像に基づいて生成される前記素材データであって、前記第1ユーザを現所有者とする1以上の前記素材データと第2ユーザを現所有者とする1以上の前記素材データとがブロックチェーンに記録されている複数の前記素材データにおいて、前記第1ユーザが現所有者である前記素材データを示す情報を出力する第1出力手段と、
前記第1出力手段により出力された前記素材データを示す情報のうち、前記ユーザにより選択された前記素材データを示す情報を取得する第2取得手段と、
前記第2取得手段により取得された前記素材データを示す情報に対応する前記素材データに基づいて生成された仮想視点画像を出力する出力手段と、
を有することを特徴とする装置。
前記出力手段は、前記第2取得手段により取得された前記素材データを示す情報に対応する前記素材データと前記仮想視点情報とに基づいて生成された仮想視点画像を出力することを特徴とする構成1乃至6の何れか1項に記載の装置。
前記出力手段は、前記第2取得手段により取得された前記素材データを示す情報に対応する前記素材データと前記配置情報とに基づいて生成された仮想視点画像を出力することを特徴とする構成1乃至7の何れか1項に記載の装置。
前記選択手段により選択された前記特定の素材データを示す情報を出力する出力手段と、
前記選択された前記特定の素材データに基づいて生成された仮想視点画像を表示する制御を行う表示制御手段と
を有することを特徴とする装置。
前記仮想視点画像は、前記仮想カメラの位置および向きと前記選択された特定の素材データとに基づいて生成されることを特徴とする構成9に記載の装置。
前記操作手段は、前記選択手段により前記仮想カメラの操作権が選択されてない場合、前記選択された特定の素材データが仮想視点画像の中心に位置するように前記仮想カメラの位置および向きの操作を制限され、前記選択手段により前記仮想カメラの操作権が選択されている場合、前記制限なしに仮想カメラの位置および向きを操作できることを特徴とする構成10に記載の装置。
前記操作手段は、前記選択手段により前記仮想カメラパスが選択されてない場合、前記選択された特定の素材データが仮想視点画像の中心に位置するように前記仮想カメラの位置および向きの操作を制限され、前記選択手段により前記仮想カメラパスが選択されている場合、前記仮想カメラの位置が前記仮想カメラパス上にあり、前記仮想カメラの向きを操作できることを特徴とする構成10に記載の装置。
前記選択手段は、前記素材データに対応するアイコンに対するユーザ操作に基づいて、前記特定の素材データを選択することを特徴とする構成9乃至13の何れか1項に記載の装置。
前記第1表示制御手段により表示される前記素材データのうち、ユーザ操作に基づいて1以上の素材データを指定する指定手段と、
第2の領域に前記指定された前記素材データに基づいて生成された仮想視点画像を表示する制御を行う第2表示制御手段と
を有することを特徴とする装置。
複数の撮像装置により撮像された複数の撮像画像に基づいて生成される前記素材データであって、前記第1ユーザを現所有者とする1以上の前記素材データと第2ユーザを現所有者とする1以上の前記素材データとがブロックチェーンに記録されている複数の前記素材データにおいて、前記第1ユーザが現所有者である前記素材データを示す情報を出力する第1出力工程と、
前記第1出力手段により出力された前記素材データを示す情報のうち、前記ユーザにより選択された前記素材データを示す情報を取得する第2取得工程と、
前記第2取得手段により取得された前記素材データを示す情報に対応する前記素材データに基づいて生成された仮想視点画像を出力する出力工程と、
を有することを特徴とする方法。
2 ブロックチェーンシステム
3 コンテンツ提供装置
4 コンテンツ表示装置
Claims (15)
- 第1ユーザのユーザ情報を取得する第1取得手段と、
複数の撮像画像に基づいて生成され前記第1ユーザを現所有者とする素材データと複数の撮像画像に基づいて生成され第2ユーザを現所有者とする素材データとを含む複数の素材データであって、ブロックチェーンに素材データを特定するための情報が記録されている複数の素材データのうち、前記第1取得手段により取得された前記ユーザ情報により特定される前記第1ユーザを現所有者とする前記素材データを示す情報を出力する第1出力手段と、
前記第1出力手段により出力された情報により示される前記素材データのうち、前記第1ユーザにより選択された前記素材データを示す情報を取得する第2取得手段と、
前記第2取得手段により取得された情報に対応する前記素材データに基づいて生成された仮想視点画像を出力する第2出力手段と、
を有することを特徴とする情報処理装置。 - 前記素材データは、前記複数の撮像画像に含まれる被写体の形状を示す前景形状モデルおよび前記被写体の動き情報を示す前景骨格モデルの少なくとも何れかであることを特徴とする請求項1に記載の情報処理装置。
- 前記前景形状モデルは、前記被写体の3次元形状のメッシュモデルであることを特徴とする請求項2に記載の情報処理装置。
- 前記前景骨格モデルは、前記被写体の経時的な動きを示すボーンモデルであることを特徴とする請求項2に記載の情報処理装置。
- 前記第1ユーザにより選択された前記素材データが同一被写体の前記前景形状モデルおよび前記前景骨格モデルである場合、前記仮想視点画像は前記同一被写体の経時的な動きを示すメッシュモデルを含むことを特徴とする請求項2に記載の情報処理装置。
- 前記素材データは、非代替性トークンが紐づけられていることを特徴とする請求項1に記載の情報処理装置。
- 前記第2取得手段は、仮想視点画像を生成するための仮想視点の位置および仮想視点からの視線方向を示す仮想視点情報を取得し、
前記第2出力手段は、前記第2取得手段により取得された前記素材データを示す情報に対応する前記素材データと前記仮想視点情報とに基づいて生成された前記仮想視点画像を出力することを特徴とする請求項1に記載の情報処理装置。 - 前記第2取得手段は、前記第1ユーザにより選択された前記素材データを配置する仮想空間上の位置と向きを示す配置情報を取得し、
前記第2出力手段は、前記第2取得手段により取得された前記素材データを示す情報に対応する前記素材データと前記配置情報とに基づいて生成された前記仮想視点画像を出力することを特徴とする請求項1に記載の情報処理装置。 - 前記素材データを特定するための情報は、前記素材データと関連付けて記憶装置に記憶されていることを特徴とする請求項1に記載の情報処理装置。
- 前記素材データを特定するための情報は、素材データの識別情報であることを特徴とする請求項1に記載の情報処理装置。
- 前記第1出力手段により出力される前記素材データを示す情報は、前記素材データを示す画像であることを特徴とする請求項1に記載の情報処理装置。
- 前記素材データを示す画像は、前記素材データの種類により異なることを特徴とする請求項11に記載の情報処理装置。
- 前記素材データは、背景の形状を示す背景形状モデルと、背景画像と、仮想視点の軌跡を示すカメラパスとの少なくとも何れかであることを特徴とする請求項1に記載の情報処理装置。
- 第1ユーザのユーザ情報を取得する第1取得工程と、
複数の撮像画像に基づいて生成され前記第1ユーザを現所有者とする素材データと複数の撮像画像に基づいて生成され第2ユーザを現所有者とする素材データとを含む複数の素材データであって、ブロックチェーンに素材データを特定するための情報が記録されている複数の素材データのうち、前記第1取得工程により取得された前記ユーザ情報により特定される前記第1ユーザを現所有者とする前記素材データを示す情報を出力する第1出力工程と、
前記第1出力工程により出力された情報により示される前記素材データのうち、前記第1ユーザにより選択された前記素材データを示す情報を取得する第2取得工程と、
前記第2取得工程により取得された情報に対応する前記素材データに基づいて生成された仮想視点画像を出力する第2出力工程と、
を有することを特徴とする情報処理方法。 - コンピュータを、請求項1から13のいずれか1項に記載の情報処理装置の各手段として機能させるためのプログラム。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022149598A JP7459199B1 (ja) | 2022-09-20 | 2022-09-20 | 画像処理システム |
EP23197762.0A EP4343598A1 (en) | 2022-09-20 | 2023-09-15 | Information processing apparatus |
KR1020230124575A KR20240040043A (ko) | 2022-09-20 | 2023-09-19 | 정보처리 장치 |
CN202311217384.8A CN117750002A (zh) | 2022-09-20 | 2023-09-20 | 信息处理设备、信息处理方法和存储介质 |
US18/470,613 US20240096024A1 (en) | 2022-09-20 | 2023-09-20 | Information processing apparatus |
JP2024044627A JP2024075691A (ja) | 2022-09-20 | 2024-03-21 | 画像処理システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022149598A JP7459199B1 (ja) | 2022-09-20 | 2022-09-20 | 画像処理システム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2024044627A Division JP2024075691A (ja) | 2022-09-20 | 2024-03-21 | 画像処理システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP7459199B1 true JP7459199B1 (ja) | 2024-04-01 |
JP2024048405A JP2024048405A (ja) | 2024-04-09 |
Family
ID=88092835
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022149598A Active JP7459199B1 (ja) | 2022-09-20 | 2022-09-20 | 画像処理システム |
JP2024044627A Pending JP2024075691A (ja) | 2022-09-20 | 2024-03-21 | 画像処理システム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2024044627A Pending JP2024075691A (ja) | 2022-09-20 | 2024-03-21 | 画像処理システム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20240096024A1 (ja) |
EP (1) | EP4343598A1 (ja) |
JP (2) | JP7459199B1 (ja) |
KR (1) | KR20240040043A (ja) |
CN (1) | CN117750002A (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106971302A (zh) | 2017-04-17 | 2017-07-21 | 北京工商大学 | 一种基于区块链技术的三维模型确权与交易方法 |
WO2021174139A1 (en) | 2020-02-29 | 2021-09-02 | CF INVESTMENTS, LLC (d.b.a. GEER) | Apparatus and method for managing branded digital items |
JP2022126205A (ja) | 2021-02-18 | 2022-08-30 | キヤノン株式会社 | 情報処理装置、情報処理方法、およびプログラム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5945255B2 (ja) | 2013-08-27 | 2016-07-05 | 日本電信電話株式会社 | 仮想視点映像生成装置、仮想視点映像生成方法、及び仮想視点映像生成プログラム |
US10356216B2 (en) | 2016-04-28 | 2019-07-16 | Verizon Patent And Licensing Inc. | Methods and systems for representing real-world input as a user-specific element in an immersive virtual reality experience |
JP6871801B2 (ja) * | 2017-05-11 | 2021-05-12 | キヤノン株式会社 | 画像処理装置、画像処理方法、情報処理装置、撮像装置および画像処理システム |
JP2019102940A (ja) * | 2017-11-30 | 2019-06-24 | キヤノン株式会社 | 仮想視点コンテンツ生成システム、音声処理装置、仮想視点コンテンツ生成システムの制御方法、及びプログラム |
US11348152B1 (en) * | 2022-01-27 | 2022-05-31 | Offstage Holdings, Inc. | Systems and methods for creating apparel that provides embedded verification of a transferrable non-fungible token |
CN114978596B (zh) * | 2022-04-24 | 2023-04-18 | 捷德(中国)科技有限公司 | 数字资产所有权的登记、处理方法及装置 |
-
2022
- 2022-09-20 JP JP2022149598A patent/JP7459199B1/ja active Active
-
2023
- 2023-09-15 EP EP23197762.0A patent/EP4343598A1/en active Pending
- 2023-09-19 KR KR1020230124575A patent/KR20240040043A/ko unknown
- 2023-09-20 US US18/470,613 patent/US20240096024A1/en active Pending
- 2023-09-20 CN CN202311217384.8A patent/CN117750002A/zh active Pending
-
2024
- 2024-03-21 JP JP2024044627A patent/JP2024075691A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106971302A (zh) | 2017-04-17 | 2017-07-21 | 北京工商大学 | 一种基于区块链技术的三维模型确权与交易方法 |
WO2021174139A1 (en) | 2020-02-29 | 2021-09-02 | CF INVESTMENTS, LLC (d.b.a. GEER) | Apparatus and method for managing branded digital items |
JP2022126205A (ja) | 2021-02-18 | 2022-08-30 | キヤノン株式会社 | 情報処理装置、情報処理方法、およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20240096024A1 (en) | 2024-03-21 |
EP4343598A1 (en) | 2024-03-27 |
JP2024075691A (ja) | 2024-06-04 |
JP2024048405A (ja) | 2024-04-09 |
KR20240040043A (ko) | 2024-03-27 |
CN117750002A (zh) | 2024-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021047396A1 (zh) | 图像处理方法及装置、电子设备和计算机可读存储介质 | |
Hilfert et al. | Low-cost virtual reality environment for engineering and construction | |
US7965304B2 (en) | Image processing method and image processing apparatus | |
US20190311488A1 (en) | Method and system for wireless ultra-low footprint body scanning | |
EP1883052A2 (en) | Generating images combining real and virtual images | |
EP2175636A1 (en) | Method and system for integrating virtual entities within live video | |
JP6920057B2 (ja) | 画像処理装置、画像処理方法、コンピュータプログラム | |
US20190221040A1 (en) | Generating a virtual wall in an augmented reality environment to simulate art displays | |
WO2019088273A1 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
CN111142967B (zh) | 一种增强现实显示的方法、装置、电子设备和存储介质 | |
JP2013008257A (ja) | 画像合成プログラム | |
US11941763B2 (en) | Viewing system, model creation apparatus, and control method | |
US20060250389A1 (en) | Method for creating virtual reality from real three-dimensional environment | |
JPH10188040A (ja) | 不透明スクリーン式表示装置 | |
JP7459199B1 (ja) | 画像処理システム | |
WO2018182938A1 (en) | Method and system for wireless ultra-low footprint body scanning | |
JP2017084215A (ja) | 情報処理システム、その制御方法、及びプログラム | |
JP3309841B2 (ja) | 合成動画像生成装置および合成動画像生成方法 | |
JP2022012900A (ja) | 情報処理装置、表示方法、及び、プログラム | |
JP2015121892A (ja) | 画像処理装置、画像処理方法 | |
JP2020074108A (ja) | 情報処理システム、その制御方法、及びプログラム | |
JP3575469B2 (ja) | 合成動画像生成装置および合成動画像生成方法 | |
WO2023145571A1 (ja) | 情報処理装置、情報処理方法、データ構造及びプログラム | |
JP6638326B2 (ja) | 情報処理システム、その制御方法、及びプログラム | |
CN109979018A (zh) | 一种基于vr技术的装饰装修的三维可视化方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220922 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231031 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20231213 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231226 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240220 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240319 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7459199 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |