JP2024506879A - 仮想表現を提示するための方法及び装置、コンピュータ機器及び記憶媒体 - Google Patents
仮想表現を提示するための方法及び装置、コンピュータ機器及び記憶媒体 Download PDFInfo
- Publication number
- JP2024506879A JP2024506879A JP2023547498A JP2023547498A JP2024506879A JP 2024506879 A JP2024506879 A JP 2024506879A JP 2023547498 A JP2023547498 A JP 2023547498A JP 2023547498 A JP2023547498 A JP 2023547498A JP 2024506879 A JP2024506879 A JP 2024506879A
- Authority
- JP
- Japan
- Prior art keywords
- vertex
- depth
- images
- image
- observation point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 97
- 230000009466 transformation Effects 0.000 claims abstract description 51
- 238000004590 computer program Methods 0.000 claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 28
- 238000004040 coloring Methods 0.000 claims abstract description 26
- 238000013507 mapping Methods 0.000 claims abstract description 10
- 238000013519 translation Methods 0.000 claims description 29
- 239000002131 composite material Substances 0.000 claims description 19
- 239000011159 matrix material Substances 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 15
- 239000012634 fragment Substances 0.000 claims description 8
- 230000015572 biosynthetic process Effects 0.000 claims description 7
- 238000003786 synthesis reaction Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 abstract description 9
- 238000004891 communication Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000010606 normalization Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000000844 transformation Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 2
- 230000000116 mitigating effect Effects 0.000 description 2
- 101000822695 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C1 Proteins 0.000 description 1
- 101000655262 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C2 Proteins 0.000 description 1
- 101000655256 Paraclostridium bifermentans Small, acid-soluble spore protein alpha Proteins 0.000 description 1
- 101000655264 Paraclostridium bifermentans Small, acid-soluble spore protein beta Proteins 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0641—Shopping interfaces
- G06Q30/0643—Graphical representation of items or shoppers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/16—Real estate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q90/00—Systems or methods specially adapted for administrative, commercial, financial, managerial or supervisory purposes, not involving significant data processing
- G06Q90/20—Destination assistance within a business structure or complex
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/04—Architectural design, interior design
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2016—Rotation, translation, scaling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2021—Shape modification
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Computer Graphics (AREA)
- Tourism & Hospitality (AREA)
- Economics (AREA)
- General Business, Economics & Management (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Architecture (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Human Resources & Organizations (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Development Economics (AREA)
- Image Generation (AREA)
- Processing Or Creating Images (AREA)
Abstract
本出願は、実空間の仮想表現を提示するための方法及び装置、コンピュータ機器、記憶媒体及びコンピュータプログラム製品を提供する。この方法は、複数のカラー画像と、複数のカラー画像にそれぞれ対応する複数の奥行き画像とを取得するステップと、複数の観測点のうちの任意の観測点について、その観測点に対応するカラー画像とそのカラー画像に対応する奥行き画像とを重畳して重畳画像を得るステップと、複数の観測点に対応する各重畳画像を仮想空間内の複数の球体にそれぞれマッピングするステップと、複数の球体の各頂点に対して空間変換を仮想空間内で行うステップと、任意の球体の任意の頂点に対して、空間編集及び着色処理を行うことにより、実空間の対応するローカルシーンの仮想空間における対応する仮想表現を得て提示するステップと、を含む。【代表図】図1
Description
[0001]本出願は、2021年2月5日に出願された中国特許出願第CN202110171986.9号の優先権を主張し、その内容は、すべての目的のためにその全体が参照により本明細書に組み込まれている。
[0002]本開示は、仮想現実(VR)技術に関し、特に実空間の仮想表現を提示するための方法及び装置、コンピュータ機器、記憶媒体及びコンピュータプログラム製品に関する。
[0003]仮想現実技術は、多くの分野に適用されている。例えば、この技術は、実空間(例えば、販売/賃貸用住宅)のインテリアシーンを表示するために使用されており、ユーザは、実空間内の様々な情報を直感的に理解することができる。現在の登場されている、実空間を提示するための技術では、仮想現実画像を生成するために実空間を3次元モデリングする必要がある。3次元モデリングプロセスは、複雑であるため、多くの演算能力と処理時間が必要になる。また、3次元モデルを生成する前に、この仮想現実画像を見ることができない。
[0004]これは、以下の問題を引き起こすことができる:1、仮想現実画像をオンラインで見る場合、ユーザは、長時間待つ必要があり、ユーザエクスペリエンスが悪い。2、3次元モデルを正しく生成できないと、仮想現実画像を生成することができなく、実用性が低い。
[0005]上記問題のうちの1つ又は複数を緩和、軽減、又はさらには解消するためのメカニズムを提供することが有利である。
[0006]本開示の一態様による実空間の仮想表現を提示するための方法は、複数のカラー画像と、複数のカラー画像にそれぞれ対応する複数の奥行き画像とを取得するステップであって、複数のカラー画像は、実空間内の複数の観測点で観測された実空間の対応するローカルシーンに対応し、複数の奥行き画像は、対応するローカルシーンの奥行き情報をそれぞれ含むステップと、任意の観測点について、複数のカラー画像のうちのその観測点に対応するカラー画像と複数の奥行き画像のうちのそのカラー画像に対応する奥行き画像とを重畳し、重畳画像を得るステップと、複数の観測点に対応する重畳画像を仮想空間内の複数の球体にそれぞれマッピングして、任意の球体が複数の観測点のうちの1つの対応する観測点に対応し、複数の頂点を含み、任意の頂点が対応する色情報と対応する奥行き情報とを有するステップと、実空間内の複数の観測点間の相対的な空間関係に基づいて、複数の球体の各頂点に対して空間変換を仮想空間で行うステップと、任意の球体の任意の頂点について、その頂点の奥行き情報に基づいて、その頂点に対して空間編集を行うステップと、任意の球体の任意の頂点について、その頂点の色情報に基づいて、その頂点に対して着色処理を行うことにより、実空間の対応するローカルシーンの仮想空間における対応する仮想表現を得て提示するステップと、を含む。
[0007]本開示の別の態様による実空間の仮想表現を提示するための装置は、複数のカラー画像と、複数のカラー画像にそれぞれ対応する複数の奥行き画像とを取得するように構成される画像取得ユニットであって、複数のカラー画像は、実空間内の複数の観測点で観測された実空間の対応するローカルシーンに対応し、複数の奥行き画像は、対応するローカルシーンの奥行き情報をそれぞれ含む画像取得ユニットと、任意の観測点について、複数のカラー画像のうちのその観測点に対応するカラー画像と複数の奥行き画像のうちのそのカラー画像に対応する奥行き画像とを重畳し、重畳画像を得るように構成される画像重畳ユニットと、複数の観測点に対応する重畳画像を仮想空間内の複数の球体にそれぞれマッピングして、任意の球体が複数の観測点のうちの1つの対応する観測点に対応し、複数の頂点を含み、任意の頂点が対応する色情報と対応する奥行き情報とを有するように構成されるマッピングユニットと、実空間内の複数の観測点間の相対的な空間関係に基づいて、複数の球体の各頂点に対して空間変換を仮想空間内で行うように構成される空間変換ユニットと、任意の球体の任意の頂点について、その頂点の奥行き情報に基づいて、その頂点に対して空間編集を行うように構成される頂点編集ユニットと、任意の球体の任意の頂点について、その頂点の色情報に基づいて、その頂点に対して着色処理を行うことにより、実空間の対応するローカルシーンの仮想空間における対応する仮想表現を得て提示するように構成される着色ユニットと、を含む。
[0008]本開示のさらなる別の態様によるコンピュータ機器は、メモリと、プロセッサと、メモリに記憶されたコンピュータプログラムとを含み、プロセッサは、コンピュータプログラムを実行して上記方法のステップを実現するように構成される。
[0009]本開示のさらなる別の態様による非一時的なコンピュータ可読記憶媒体は、コンピュータプログラムが記憶されており、コンピュータプログラムがプロセッサによって実行されると上記方法のステップを実現する。
[0010]本開示のさらなる別の態様によるコンピュータプログラム製品は、コンピュータプログラムを含み、コンピュータプログラムがプロセッサによって実行されると上記方法のステップを実現する。
[0011]本開示のこれら及び他の態様は、以下に説明される実施例から明らかであり、以下に記載される実施例を参照して説明される。
[0012]以下、本開示のさらなる詳細、特徴及び利点は、添付の図面を参照して、例示的な実施例の以下の説明において開示される。添付の図面は次の通りである:
[0025]本開示において、特に明記しない限り、「第1」、「第2」などの用語は、様々な要素を説明するために使用され、これらの要素の位置関係、タイミング関係又は重要性関係を限定することを意図するものではなく、この用語は、1つの素子を別の素子と区別することのみに使用される。幾つかの例では、第1要素と第2要素は、それらの要素の同じ実例を指してもよく、幾つかの場合、それらは、文脈の記述に基づいて異なる実例を指してもよい。
[0026]本開示での様々な例についての説明で使用される用語は、特定の例を説明することのみを目的としており、制限することを意図するものではない。文脈で明確に示されていない限り、要素の数が特に制限されていない場合、当該要素は1つであってもよいし、複数のであってもよい。本明細書で使用される用語「複数」は、2つ以上を意味し、用語「に基づいて」は、「少なくとも部分的に基づいて」と解釈されるべきである。また、「及び/又は」及び「......うちの少なくとも1つ」という用語は、示された項目のいずれか1つ及び全ての可能な組み合わせ方式を含む。
[0027]以下に添付の図面を参照して本開示の例示的な実施例を詳細に説明する。
[0028]図1は例示的な実施例による実空間の仮想表現を提示するための方法100のフローチャートである。図1に示すように、この方法100は、一般的にステップ110からステップ160を含み、これらは例えば仮想現実の端末機器で実行され得るが、本開示は、この点に限定されない。
[0029]ステップ110において、複数のカラー画像と、複数のカラー画像にそれぞれ対応する複数の奥行き画像とを取得する。複数のカラー画像は、実空間内の複数の観測点で観測された実空間の対応するローカルシーンに対応し、複数の奥行き画像は、対応するローカルシーンの奥行き情報をそれぞれ含む。
[0030]各実施例では、実空間は、例えば住宅用建物、オフィスビル、工場、倉庫などの様々な建物内の空間であってもよい。1つの例では、画像キャプチャ機器(例えば、専門的な画像収集機器又は一般的なカメラ)と奥行きカメラとをそれぞれ使用し、実空間内の複数の観測点でパノラマ撮影を行い、上記の複数のカラー画像及び奥行き画像を収集することができる。観測点の数は、実空間の空間サイズに依存することができる。幾つかの実施形態によれば、実空間内に複数の観測点を均一に設定することができ、これにより、これらの複数の観測点から実空間のインテリアシーンの全ての細部を死角なく見ることができる。解釈を容易にするために、以下、実空間の例として、住宅用建物のスイートルームについて説明するが、本開示の実現は、実空間の具体的な種類によって限定されない。
[0031]図2AはステップS110で取得された例示的なカラー画像200Aを示す図である。この例示的なカラー画像は、スイート内の1つの観測点で上、下、左、右、前、後ろの6つの方向からそれぞれ収集された6枚のカラー画像を合成(例えばガウス-クルーガー投影によって)することで得られた単一のカラー画像であってもよい。図2Bはステップ110で取得された例示的な奥行き画像200Bを示す図である。この例示的な奥行き画像は、カラー画像200Aを収集するための観測点で収集された、図2Aのカラー画像に対応する奥行き画像である。幾つかの実施形態によれば、画像キャプチャ機器と奥行きカメラによって収集されたカラー画像及び奥行き画像は、その後の使用のために仮想現実の端末機器に直接送信されてもよい。幾つかの実施形態によれば、画像キャプチャ機器と奥行きカメラによって収集されたカラー画像及び奥行き画像は、サーバーに記憶されてもよく、この場合、ユーザがある実空間の仮想表現を見るように要求すると、端末機器は、サーバーから対応するカラー画像及び奥行き画像を取得し、ユーザが見るための仮想表現画像の処理を完了することができる。
[0032]ステップ120において、任意の観測点について、複数のカラー画像のうちのその観測点に対応するカラー画像と複数の奥行き画像のうちのそのカラー画像に対応する奥行き画像とを重畳し、重畳画像を得る。
[0033]例えば、図2Aのカラー画像200Aと図2Bの奥行き画像200Bとを重畳することにより、カラー画像200Aと奥行き画像200Bとを収集するための観測点に対応する重畳画像を得ることができる。重畳画像には、複数の画素点が含まれ、任意の画素点には、そのカラー画像における対応する画素点の色情報及びその奥行き画像における対応する画素点の奥行き情報が含まれる。重畳プロセスは、Web GL/open GLなどの画像処理ソフトウアで行われてもよい。具体的には、まず、カラー画像と奥行き画像に同じ数の画素点が含まるように、カラー画像と奥行き画像を同じ解像度の2枚の画像に調整する。この調整ステップは、画像の拡大、縮小、ストレッチなどの操作によって実現されてもよい。次に、カラー画像と奥行き画像とを、カラー画像の画素点と奥行き画像の画素点とが1つずつ対応するように重ね合わせて重畳画像を得る。
[0034]ステップ130において、複数の観測点に対応する重畳画像を仮想空間内の複数の球体にそれぞれマッピングして、任意の球体が複数の観測点のうちの1つの対応する観測点に対応し、複数の頂点を含み、任意の頂点が対応する色情報と対応する奥行き情報とを有する。
[0035]幾つかの実施形態では、Web GL/open GLなどの画像処理ソフトウェアを用いて仮想空間を作成し、その仮想空間内に、上記の複数の重畳画像を仮想空間で提示するための複数の球体を設けることができる。球体の数は、観測点の数と同じであり、各重畳画像は、マッピングにより対応する球体に投影され、それによって複数の球体画像が得られる。平面画像を球体に投影することは、画像処理分野の当業者によく知られている技術であるため、ここでは詳細に説明しない。
[0036]図3を参照すると、実空間の5つの観測点に対応する各重畳画像を仮想空間の複数の球体301から球体305にそれぞれマッピングすることによって得られる例示的な画像300が示されている。この例では、球体301から球体305は、同じ球心O1から球心O5に初期的に位置決めされ、同じ半径を有する。したがって、球体301から球体305は、図3で重ね合わせた球体として示される。幾つかの実施例では、複数の球体301から球体305の半径は、等しくなくてもよく、球心は、同じ位置になくてもよい。本開示では、複数の球体の初期半径及び球心位置は、限定されない。
[0037]球体301から球体305上の画像は、点群の形態で仮想空間内に提示される。図3に示すように、球体301から球体305のうちの任意の球体には、複数の頂点が含まれ、任意の頂点は、対応する色情報と対応する奥行き情報とを有する。コンピュータグラフィックスでは、3次元オブジェクト(球体を含む)は、通常、三角形多面体の集合として示される。本明細書で使用される用語「頂点」は、そのような三角形多面体の幾何学的な頂点を指す。複数の頂点に対する操作により、球体の位置及び形状の調整を実現することができる。具体的には、Web GL/open GLなどの画像処理ソフトウェアに組み込まれた関数によって頂点の座標及び数を決定し、球体全体の位置を正確に調整することができる。
[0038]ステップ140において、実空間内の複数の観測点間の相対的な空間関係に基づいて、複数の球体の各頂点に対して空間変換を仮想空間内で行う。
[0039]空間変換の目的は、複数の球体にマッピングされた複数の重畳画像の仮想空間における分布を、実空間内の複数の観測点間の相対的な空間関係に対応させることである。本実施例では、Web GL/open GLなどの画像処理ソフトウアに組み込まれた空間変換マトリックスを呼び出し、頂点の座標に対して空間変換を行うことができる。この空間変換マトリックスの変換パラメータは、各観測点でカラー画像と奥行き画像を収集するときに決定され、後で画像処理ソフトウェアに提供するために保存されることができる。空間変換には、スケーリング、回転及び/又は平行移動が含まれてもよい。例えば、幾つかの実施例では、空間変換には、スケーリング、回転及び平行移動のうちの両者が含まれる。別の幾つかの実施例では、空間変換には、スケーリング、回転及び平行移動の三者が同時に含まれてもよい。
[0040]図4は図3の複数の球体301から球体305を回転及び平行移動させることによって得られる例示的な画像400を示す図である。図4に示すように、空間変換により、図3において元々重ね合わせる球体301から球体305は、現在、それぞれの異なる球心01から球体05に位置決めされ、球心01から球体05の間の相対的な空間関係は、実空間における対応する観測点間の相対的な空間関係と一致する。
[0041]ステップ150において、任意の球体の任意の頂点について、その頂点の奥行き情報に基づいて、その頂点に対して空間編集を行う。
[0042]幾つかの実施形態によれば、空間編集は、Web GL/open GLなどの画像処理ソフトウアに組み込まれた頂点シェーダにより実行されてもよい。頂点シェーダは、頂点がレンダリングされるときに実行される1組の命令コードである。1つの例では、頂点シェーダは、まず球体の任意の頂点の頂点座標を取得し、次に任意の頂点の座標をその頂点の法線方向に沿ってオフセット距離だけそれぞれ移動させ、このオフセット距離がその頂点の奥行き情報に対応する。奥行き情報は、実際には観測点から実空間シーンまでの距離を表すための情報であり、したがって、奥行き情報に基づいて対応する頂点をその頂点の法線方向に沿ってそれぞれオフセットした後、実空間のインテリアシーンの輪郭形状を得ることができる。
[0043]図5は、図4の球体301から球体305の頂点に対して空間編集を行うことによって得られる例示的な画像500を示す図であり、球心01から球心05は、実空間の第1から第5の観測点をそれぞれ表す。図5から、球心01から球心05の間の相対的な空間関係が現在、実空間内の対応する観測点間の相対的な空間関係を反映していることが直感的に分かる。
[0044]ステップ140とステップ150の実行順序を入れ替えることも可能である。つまり、まず任意の球体の各頂点に対して空間編集を行い、次に任意の球体の空間変換を行うことができる。図6は図3の球体301から球体305の頂点に対して空間編集を行った後に得られる例示的な画像600を示す図である。図6に示すように、平行移動等の空間変換を行っていないため、球体301から球体305の球心01から球心05は、依然として同じ位置に位置決めされる。しかし、任意の球体の頂点について空間編集が行われるため(例えば、任意の頂点の座標はその頂点の法線方向に沿ってその頂点の奥行き情報に対応するオフセット距離だけ移動される)、図3において「球体」として元々示される球体301から球体305は、現在、球体ではない。仮想空間画像600はステップ140に関して上述した空間変換が行われた後でも、図5に示す仮想空間画像500を得ることができる。
[0045]ステップ160において、任意の球体の任意の頂点について、その頂点の色情報に基づいて、その頂点に対して着色処理を行うことにより、実空間の対応するローカルシーンの仮想空間における対応する仮想表現を得て提示する。
[0046]幾つかの実施形態によれば、Web GL/open GLなどの画像処理ソフトウェアに組み込まれたフラグメントシェーダを使用し、球体の任意の頂点に対して着色処理を行うことができる。1つの例では、その頂点の色情報とその頂点の座標がフラグメントシェーダに入力されると、フラグメントシェーダは、この色情報に基づいて頂点を着色させ、実空間のローカルシーンの色分布を実に復元する。頂点が着色された後、実空間の最終的な仮想表現が得られる。この仮想表現は、輪郭形状及び色分布などを含む実空間上の様々なローカルシーンを反映し、端末機器でユーザに提示することができる。
[0047]本開示の実施例によれば、実空間の複数の観測点で収集されたカラー画像と奥行き画像を処理することにより、実空間の3次元モデルを構築することなく、この実空間の仮想表現画像を得ることができる。したがって、端末機器の演算量が大幅に軽減され、仮想表現画像の生成時間が短縮される。これは、ユーザの待ち時間を短縮させ、ユーザエクスペリエンスを大幅に向上することに有利である。同時に、必要なオリジナル画像データが少なく、仮想表現画像を生成するプロセスが簡単になり、実用性が高い。
[0048]図7は別の例示的な実施例による実空間の仮想表現を提示するための方法700のフローチャートである。図7に示すように、方法700は、ステップ701からステップ780を含む。
[0049]ステップ701において、複数のグループのオリジナルカラー画像を取得し、任意のグループのオリジナルカラー画像が複数の観測点のうちの1つの対応する観測点で異なる方向から収集されたカラー画像である。1つの例では、任意の観測点で上、下、左、右、前、後の6つの方向から実空間の6枚のカラー画像をそれぞれ収集することができる。より多くの/より少ない方向からより多くの/より少ないカラー画像を取得することもでき、例えば、4枚、8枚、12枚のカラー画像を収集することができることが理解でき、本開示は、この点に限定されない。
[0050]ステップ702において、任意のグループのオリジナルカラー画像を対応する単一の合成カラー画像に合成し、対応する観測点で観測された実空間のローカルシーンに対応するカラー画像として用いる。各実施例では、様々な画像投影方法を使用して任意のグループの6枚のオリジナルカラー画像を同じ平面に投影し、1枚の合成したカラー画像を得ることができる。幾つかの実施形態によれば、ガウスクルーガー投影によりこのグループのオリジナルカラー画像を上記の単一の合成カラー画像に合成することができる。具体的には、まず、6つの方向のカラー画像を立方体のスカイボックスマップに組み合わせる。次に、1つの楕円柱面がスカイボックスマップの立方体の外面に嵌合され、この立方体に接し、楕円柱の中心軸が立方体の中心を通ると仮定し、次にスカイボックスマップの一定範囲内の画像を楕円柱面に投影し、この円柱面を拡張して投影面にする。他の実施形態では、他の適切な画像投影方法を使用して6枚のオリジナルカラー画像を1枚のオリジナルカラー画像に合成することもできるが、ここでは一つずつ列挙しない。
[0051]ステップ703において、複数のグループのオリジナル奥行き画像を取得し、任意のグループのオリジナル奥行き画像が複数の観測点のうちの1つの対応する観測点で異なる方向から収集された奥行き画像である。ステップ703の操作は、奥行きカメラ(又は他の奥行きキャプチャ機器)の使用を伴うことを除いて、ステップ701の動作と同様であってもよい。
[0052]ステップ704において、任意のグループのオリジナル奥行き画像を対応する単一の合成奥行き画像に合成し、対応する観測点で観測された実空間のローカルシーンに対応する奥行き情報を含む奥行き画像として用いる。ステップ704の操作は、ステップ702の操作と同様であってもよく、ここで説明を省略する。
[0053]ステップ710において、複数のカラー画像と、複数のカラー画像にそれぞれ対応する複数の奥行き画像とを取得する。ステップ701の操作は、図1に関して上述したステップ110の操作と同じであり、簡潔にするために説明を省略する。
[0054]ステップ720において、任意の観測点について、複数のカラー画像のうちのその観測点に対応するカラー画像と複数の奥行き画像のうちのそのカラー画像に対応する奥行き画像とを重畳し、重畳画像を得る。ステップ720の操作は、図1に関して上述したステップ120の操作と同じであり、簡潔にするために説明を省略する。
[0055]ステップ730において、複数の観測点に対応する重畳画像を仮想空間内の複数の球体にそれぞれマッピングして、任意の球体が複数の観測点のうちの1つの対応する観測点に対応し、複数の頂点を含む。ステップ730の操作は、図1に関して上述したステップ130の操作と同じであり、簡潔にするために説明を省略する。
[0056]ステップ741からステップ742は、図1に関して上述したステップ140に対応し、以下で詳細に説明される。
[0057]ステップ741において、複数の球体の各頂点を回転し、回転の角度は、その頂点が位置する球体に対応する観測点で観測されたローカルシーンと複数の観測点のうちの他の観測点で観測されたローカルシーンとの重ね合わせ程度に基づくものである。
[0058]幾つかの実施形態によれば、基準観測点を予め設定することができ、例えば実空間の中央に位置する観測点を基準観測点として設定することができる。次に、この基準観測点に対応する球体(以下、基準球体と略記)に対して他の観測点に対応する球体の頂点を回転させる。視点ウォーク機能を実現できる仮想画像を形成するために、基準球体に対する各観測点に対応する球体の回転角度は、現実世界におけるこれら2つの観測点で観測されたローカルシーンの重ね合わせ程度と一致すべきであり、それによってこれら2つの観測点のウォークプロセスに視角を正確に切り替える。1つの例では、他の観測点(観測点1と表記)と基準観測点で観測されたローカルシーンとの重ね合わせ程度に応じて、観測点1に対応する球体を基準球体に対して30°回転させることが決定される。次に、この回転角度を回転パラメータとして画像処理ソフトウェアに入力することができ、画像処理ソフトウェアは、この回転パラメータに従って回転マトリックスを生成し、この回転マトリックスを観測点1に対応する球体の全ての頂点に適用し、観測点1の球体全体に対する回転操作を実現する。同様の方法で残りの観測点の球体を順次回転させ、回転完了後の仮想空間画像を得る。
[0059]ステップ742において、複数の球体の各頂点を平行移動し、平行移動距離は、その頂点が位置する球体に対応する観測点と複数の観測点のうちの他の観測点との間の相対的な空間位置に基づくものである。
[0060]幾つかの実施形態によれば、全ての観測点に対応する球体を基準球体に対して平行移動させる。視点ウォーク機能を実現できる仮想画像を形成するために、基準球体に対して、任意の観測点に対応する球体の平行移動距離は、現実世界におけるこれら2つの観測点の空間距離と一致すべきであり、それによってこれら2つの観測点のウォークプロセスに移動距離を正確に表現する。例えば、現実世界における1mが仮想空間における1つの単位距離に対応すると仮定すると、観測点1と基準観測点が現実世界で5m離れている場合、観測点1の球体を基準球体に対して5つの単位距離だけ平行移動させる。平行移動の方向は、現実世界の基準観測点に対する観測点1の方向とも一致すべきである。この平行移動距離を平行移動パラメータとして画像処理ソフトウェアのプログラムに入力することができ、画像処理ソフトウェアは、この平行移動パラメータに従って平行移動マトリックスを生成し、この平行移動マトリックスを観測点1に対応する球体の全ての頂点に適用し、観測点1に対応する球体全体に対する平行移動操作を実現する。同様の方法で残りの観測点の球体を順次平行移動させ、回転及び平行移動完了後の仮想空間画像、例えば図4に示す画像400を得る。
[0061]ステップ741とステップ242の実行順序を入れ替えることも可能であることが理解できる。つまり、まず球体を平行移動させ、次に回転させると、同様に図4に示す仮想空間画像400を得ることができる。
[0062]ステップ751からステップ754は、図1に関して上述したステップ150に対応し、以下で詳細に説明される。
[0063]ステップ751において、任意の頂点の奥行き情報を取得する。幾つかの実施形態によれば、頂点に奥行き情報が含まれているため、ステップ751で、画像処理ソフトウェアの頂点シェーダは、任意の頂点の奥行き情報を直接取得することができる。
[0064]ステップ752において、奥行き情報に示される奥行き値を正規化する。
[0065]ステップ753において、正規化された奥行き値に、その頂点が位置する球体の半径を乗算し、オフセット距離を得る。
[0066]正規化は、無次元の処理手段である。正規化処理により、奥行き情報の絶対的な奥行き値を予め設定されたある奥行き値に対する相対的な値に変更することができる。例えば、実空間における上記の予め設定された深度値が仮想空間におけるある球体の半径と対応関係を有することができる場合、正規化処理により、この球体の頂点の奥行き値をそれと予め設定された奥行き値との比率に変換し、次にその比率に球体の半径を乗算し、移動するオフセット距離を得ることができる。
[0067]ステップ754において、任意の頂点の座標をその頂点の法線方向に沿ってオフセット距離だけそれぞれ移動させ、このオフセット距離がその頂点の奥行き情報に対応する。
[0068]ステップ752からステップ754の操作により、残りの観測点の球体の任意の頂点に対して空間編集を順次行い、空間編集が完了した後の仮想空間画像、例えば、図5に示す画像500を得る。
[0069]ステップ760において、任意の球体の任意の頂点について、その頂点の色情報に基づいて、その頂点に対して着色処理を行うことにより、実空間の対応するローカルシーンの仮想空間における対応する仮想表現を得て提示する。ステップ760の操作は、図1に関して上述したステップ160の操作と同じであり、簡潔にするために説明を省略する。
[0070]ステップ770において、対応する仮想表現のうちの第1仮想表現をビュー内に提示し、第1仮想表現が複数の観測点のうちの現在の観測点に対応する。
[0071]幾つかの実施形態によれば、ユーザは、端末機器に予め取り付けられた仮想現実アプリケーションを起動し、実空間の仮想表現画像を見ることができる。1つの例では、仮想現実アプリケーションは、例えば、インターネット上のハウスソースリストを確認するなど、VR技術を利用してハウスソースのインテリアシーンを見るアプリケーションであってもよい。アプリケーションに入った後、まず、選択のためのハウスソースリストをユーザに示すことができる。ユーザが見たいハウスソースを選択した後、ユーザが見るための対応する仮想表現をビューウィンドウに示すことができる。また、観測点を予め選定し、又は自動的に選定することができ、この選定された観測点から見ると、ビューウィンドウには、現在の観測点として対応する仮想表現が示される。図8はユーザが仮想表現画像を見る期間にビューウィンドウによって提示される例示的なビュー800を示す図である。第3観測点(図8に示せず)は、現在の観測点である。ユーザは、端末機器の入力装置(例えば、マウス、キーボードなど)に対する操作により、第1観測点OB1又は第2観測点OB2への切り替えなどの観測点間の切り替えを実現することができ、それによって異なる視角から実空間のローカルシーンを見ることができる。
[0072]ステップ780において、現在の観測点から複数の観測点のうちの別の観測点への移動を示すユーザ操作の検出に応答して、対応する仮想表現のうちの第2仮想表現を提示するためにビューを更新し、第2仮想表現が別の観測点に対応する。
[0073]見るプロセスでは、ユーザは、入力装置に対する操作により、異なる観測点間のウォークを実現することができる。1つの例では、図8に示すように、ユーザがビュー800内の第1観測点OB1又は第2観測点OB2をクリックすると、ビューウィンドウには、第1観測点OB1又は第2観測点OB2に対応する仮想代表画像が提示される。図9に示すように、視角が第1観測点OB1に切り替えられると、ビューウィンドウには、ビューが更新され、第1観測点OB1に対応する仮想表現画像900が表示される。図10に示すように、視角が第2観測点OB2に切り替えられると、ビューウィンドウには、ビューが更新され、第2観測点OB2に対応する仮想表現画像1000が表示される。第2観測点OB2では、図10に示すように、さらに視角を第4観測点OB4又は第5観測点OB5に切り替えることができる。上記操作により、ユーザは、全ての観測点の間で視角を切り替えることができ、それによってユーザが実空間全体内で歩くというシミュレーション効果を達成する。幾つかの実施例では、ビューウィンドウにビューを更新するプロセスに、視角切り替えプロセスをより自然にするために、前後の2つのビューに対してグラデーション処理を実行することができる。
[0074]各操作が図面において特定の順序で描かれているが、これは、これらの操作が示された特定の順序で実行され又は順次実行されるように要求されると理解されるべきではなく、望ましい結果を得るために、示された全ての操作が実行されるように要求されると理解されるべきではない。
[0075]図11は例示的な実施例による実空間の仮想表現を提示するための装置1100の構造ブロック図である。図11に示すように、この装置1100は、画像取得ユニット1110、画像重畳ユニット1120、マッピングユニット1130、空間変換ユニット1140、頂点編集ユニット1150及び着色ユニット1160を含む。
[0076]画像取得ユニット1110は、複数のカラー画像と、複数のカラー画像にそれぞれ対応する複数の奥行き画像とを取得するように構成される。複数のカラー画像は、実空間内の複数の観測点で観測された実空間の対応するローカルシーンに対応し、複数の奥行き画像は、対応するローカルシーンの奥行き情報をそれぞれ含む。
[0077]画像重畳ユニット1120は、任意の観測点について、複数のカラー画像のうちのその観測点に対応するカラー画像と複数の奥行き画像のうちのそのカラー画像に対応する奥行き画像とを重畳し、重畳画像を得るように構成される。重畳画像には、複数の画素点が含まれ、任意の画素点には、そのカラー画像における対応する画素点の色情報及びその奥行き画像における対応する画素点の奥行き情報が含まれる。
[0078]マッピングユニット1130は、複数の観測点に対応する重畳画像を仮想空間内の複数の球体にそれぞれマッピングして、任意の球体が複数の観測点のうちの1つの対応する観測点に対応し、複数の頂点を含み、任意の頂点が対応する色情報と対応する奥行き情報を有するように構成される。
[0079]空間変換ユニット1140は、実空間内の複数の観測点間の相対的な空間関係に基づいて、複数の球体の各頂点に対して空間変換を仮想空間内で行うように構成される。
[0080]頂点編集ユニット1150は、任意の球体の任意の頂点について、その頂点の奥行き情報に基づいて、その頂点に対して空間編集を行うように構成される。
[0081]着色ユニット1160は、任意の球体の任意の頂点について、その頂点の色情報に基づいて、その頂点に対して着色処理を行うことにより、実空間の対応するローカルシーンの仮想空間における対応する仮想表現を得て提示するように構成される。
[0082]頂点編集ユニット1150は、さらに編集待ち頂点の座標をその頂点の法線方向に沿ってオフセット距離だけ移動させるように構成され、オフセット距離が頂点の奥行き情報に対応する。
[0083]幾つかの実施例では、頂点編集ユニット1150は、さらに編集待ち頂点の奥行き情報を取得し、奥行き情報に示される奥行き値を正規化し、正規化された奥行き値に、その頂点が位置する球体の半径を乗算し、オフセット距離を得るように構成される。
[0084]幾つかの実施例では、空間変換ユニット1140は、さらに任意の球体の任意の頂点に対して、空間変換マトリックスを使用し、その頂点の座標に対して空間変換を行うように構成される。空間変換には、スケーリング、回転及び/又は平行移動が含まれてもよい。
[0085]幾つかの実施例では、空間変換ユニット1140は、回転ユニット1141と平行移動ユニット1142とを含むことができる。回転ユニット1141は、回転マトリックスを使用して頂点の座標を回転するように構成され、回転角度は、その頂点が位置する球体に対応する観測点で観測されたローカルシーンと複数の観測点のうちの他の観測点で観測されたローカルシーンとの重ね合わせ程度に基づくものである。平行移動ユニット1142は、平行移動マトリックスを使用し、頂点の座標を平行移動するように構成され、平行移動距離は、その頂点が位置する球体に対応する観測点と複数の観測点のうちの他の観測点との間の相対的な空間位置に基づくものである。
[0086]幾つかの実施例では、着色ユニット1160は、さらにその頂点の色情報とその頂点の座標とをフラグメントシェーダに入力し、着色処理を行うように構成される。
[0087]幾つかの実施例では、装置1110は、ビュー提示ユニット1170をさらに含むことができ、ビュー提示ユニット1170は、対応する仮想表現のうちの第1仮想表現をビュー内に提示するように構成され、第1仮想表現は、複数の観測点のうちの現在の観測点に対応する。
[0088]幾つかの実施例では、ビュー提示ユニット1170は、さらに現在の観測点から複数の観測点のうちの別の観測点への移動を示すユーザ操作の検出に応答して、対応する仮想表現のうちの第2仮想表現を提示するためにビューを更新するように構成され、第2仮想表現は、別の観測点に対応する。
[0089]幾つかの実施例では、画像取得ユニット1110は、さらにサーバーから複数のカラー画像と複数の奥行き画像とを受信するように構成される。
[0090]幾つかの実施例では、装置1100は、複数のグループのオリジナルカラー画像を取得し、任意のグループのオリジナルカラー画像が複数の観測点のうちの1つの対応する観測点で異なる方向から収集されたカラー画像であり、任意のグループのオリジナルカラー画像を対応する単一の合成カラー画像に合成し、対応する観測点で観測された実空間のローカルシーンに対応するカラー画像として用いるように構成される画像合成ユニット1180をさらに含むことができる。
[0091]幾つかの実施例では、画像合成ユニット1180は、さらに複数のグループのオリジナル奥行き画像を取得し、任意のグループのオリジナル奥行き画像が複数の観測点のうちの1つの対応する観測点で異なる方向から収集された奥行き画像であり、任意のグループのオリジナル奥行き画像を対応する単一の合成奥行き画像に合成し、対応する観測点で観測された実空間のローカルシーンに対応する奥行き情報を含む奥行き画像として用いるように構成される。
[0092]図11に示される装置1100の各ユニットは、図7を参照して説明される方法700の各ステップに対応し得ることが理解すべきである。これにより、方法700について上述した操作、特徴及び利点は、同様に装置1100及びそれに含まれるユニットに適用される。簡潔にするために、幾つかの操作、特徴及び利点について、ここでは説明を省略する。
[0093]以上では、特定のユニットを参照して特定機能を説明したが、本明細書で説明される個々のユニットの機能は、複数のユニットに分割されてもよく、及び/又は複数のユニットの機能の少なくとも一部は、単一のユニットに組み合わせられてもよいことに注意すべきである。本明細書で説明される特定のユニットが動作を実行することは、この特定のユニット自体がこの動作を実行すること、又は、代わりにこの特定のユニットがこの動作を実行する(又はこの特定のユニットと連携してこの動作を実行する)別のコンポーネント又はユニットを呼び出し、又はそれに他で方式でアクセスすることを含む。したがって、動作を実行する特定のユニットは、動作を実行するこの特定のユニット自体、及び/又はこの特定のユニットによって呼び出された、動作を実行する別のユニット又は他の方式でアクセスされた、動作を実行する別のユニットを含むことができる。
[0094]本明細書では、ソフトウェア及びハードウェア素子又はプログラムモジュールの一般的な文脈で様々な技術が説明され得ることも理解すべきである。図11に関して上述した各々のユニットは、ハードウェアで、又はソフトウェア及び/又はファームウェアと組み合わせたハードウェアで実現されてもよい。例えば、これらのユニットは、1つ又は複数のプロセッサで実行され又はコンピュータ可読記憶媒体に記憶されるように構成されたコンピュータプログラムコード/命令として実現されてもよい。代わりに、これらのユニットは、ハードウェアロジック/回路として実現されてもよい。例えば、幾つかの実施例では、図11に関して上述したユニットのうちの1つ又は複数は、システムオンチップ(SoC:System on Chip)に一緒に実現され得る。SoCは、集積回路チップ(プロセッサ(例えば、中央処理装置(CPU:Central Processing Unit)、マイクロコントローラ、マイクロプロセッサ、デジタル信号プロセッサ(DSP:Digital Signal Processor)などを含む)、メモリ、1つ又は複数の通信インターフェース、及び/又は他の回路内の1つ又は複数の部材)を含むことができ、受信したプログラムコードを選択可能に実行し、及び/又は、機能を実行するための組み込みファームウェアを含むことができる。
[0095]本開示の一態様によれば、メモリと、プロセッサと、メモリに記憶されたコンピュータプログラムとを含むコンピュータ装置が提供される。このプロセッサは、上述した任意の方法の実施例のステップを実現するためにコンピュータプログラムを実行するように構成される。
[0096]本開示の一態様によれば、コンピュータプログラムが記憶されており、このコンピュータプログラムがプロセッサによって実行されると上述した任意の方法の実施例のステップを実現する非一時的なコンピュータ可読記憶媒体が提供される。
[0097]本開示の一態様によれば、コンピュータプログラムを含み、当該コンピュータプログラムがプロセッサによって実行されると上述した任意の方法の実施例のステップを実現するコンピュータプログラム製品が提供される。
[0098]以下、図12を参照してこのようなコンピュータ機器、非一時的なコンピュータ可読記憶媒体及びコンピュータプログラム製品の例を説明する。
[0099]図12は本開示の実施例を実現するために使用され得る例示的な電子機器1200の構造ブロック図である。電子機器1200は、本開示の各態様に適用できるハードウェア機器の例であってもよい。用語電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバー、ブレードサーバー、大型コンピュータ及び他の適切なコンピュータなどの様々な形態のデジタル電子のコンピュータを表すことを図る。電子機器は、さらにパーソナルデジタル処理、セルラー電話、スマートフォン、ウェアラブルデバイス及び他の類似するコンピューティングデバイスなどの様々な形態の移動装置を表すこともできる。本明細書に示されている部材、それらの接続と関係、及びそれらの機能は、例だけであり、かつ本明細書での説明及び/又は要求される本開示の実現を限定することを意図するものではない。
[0100]図12に示すように、装置1200は、読み取り専用メモリ(ROM)1202に記憶されたコンピュータプログラム、又は記憶ユニット1208からランダムアクセスメモリ(RAM)1203にロードされたコンピュータプログラムに応じて、各種の適切な動作及び処理を実行することができるコンピューティングユニット1201を含む。RAM1203には、機器1200の動作に必要な各種のプログラム及びデータも記憶されてもよい。処理ユニット1201、ROM1202及びRAM1203は、バス1204を介して互いに接続される。入力/出力(I/O)インターフェース1205もバス1204に接続される。
[0101]入力ユニット1206、出力ユニット1207、記憶ユニット1208及び通信ユニット1209を含む機器1200内の複数の部材は、I/Oインターフェース1205に接続される。入力ユニット1206は、機器1200に情報を入力できるいかなるタイプの機器であってもよく、入力ユニット1206は、入力された数字又は文字情報を受信し、電子機器のユーザ設定及び/又は機能制御に関するキー信号入力を生成することができ、かつマウス、キーボード、タッチスクリーン、トラックパッド、トラックボール、ジョイスティック、マイク及び/又はリモートコントローラを含むことができるが、これらに限定されない。出力ユニット1207は、情報を提示できるいかなるタイプの機器であってもよく、ディスプレイ、スピーカー、ビデオ/オーディオ出力端末、バイブレータ及び/又はプリンタを含むことができるが、これらに限定されない。記憶ユニット1208は、磁気ディスク、光ディスクを含むことができるが、これらに限定されない。通信ユニット1209は、機器1200がインターネットなどのコンピュータネットワーク及び/又は様々な電気通信ネットワークを介して他の機器と情報/データを交換することを許可し、モデム、ネットワークカード、赤外線通信機器、無線通信送受信機及び/又はチップセット、例えばブルートゥースTM機器、1302.11機器、WiFi機器、WiMax機器、セルラー通信機器及び/又は同様のものを含むことができるが、これらに限定されない。
[0102]処理ユニット1201は、処理及びコンピューティング機能を備えた様々な汎用及び/又は専用処理コンポーネントであってもよい。処理ユニット1201の幾つかの例は、中央処理ユニット(CPU)、グラフィックス処理ユニット(GPU)、様々な専用の人工知能(AI)コンピューティングチップ、機械学習モデルアルゴリズムを実行する様々なコンピューティングユニット、デジタル信号プロセッサ(DSP)、及びいかなる適切なプロセッサ、コントローラー、マイクロコントローラなどを含むがこれらに限定されない。処理ユニット1201は、上述した各方法及び処理、例えば実空間の仮想表現を提示するための仮想表現を提示するための方法を実行する。例えば、幾つかの実施例では、実空間の仮想表現を提示するための方法は、記憶ユニット1208などの機械可読媒体に有形で含まれるコンピュータソフトウェアプログラムとして実現され得る。幾つかの実施例では、コンピュータプログラムの一部又は全部は、ROM1202及び/又は通信ユニット1209を介して機器1200にロード及び/又は取り付けられてもよい。コンピュータプログラムがRAM1203にロードされてコンピューティングユニット1201によって実行される場合、実空間の仮想表現を提示するための上記方法の1つ又は複数のステップを実行することができる。
代替的に、他の実施例では、コンピューティングユニット1201は、実空間の仮想表現を提示するための方法を実行するように他の任意の適切な方式(例えば、ファームウェアによって)で構成されてもよい。
代替的に、他の実施例では、コンピューティングユニット1201は、実空間の仮想表現を提示するための方法を実行するように他の任意の適切な方式(例えば、ファームウェアによって)で構成されてもよい。
[0103]本明細書で上述したシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)、特定用途向け標準製品(ASSP)、システムオンチップ(SOC)、複雑なプログラマブルロジックデバイス(CPLD)、コンピュータハードウェア、ファームウェア、ソフトウェア、及び/又はそれらの組み合わせで実現されてもよい。これらの様々な実施形態は、1つ又は複数のコンピュータプログラムで実施されることを含むことができ、当該1つ又は複数のコンピュータプログラムは、少なくとも1つのプログラマブルプロセッサを含むプログラマブルシステムで実行及び/又は解釈されてもよく、当該プログラマブルプロセッサは、特定用途向け又は汎用プログラマブルプロセッサであってもよく、記憶システム、少なくとも1つの入力装置、及び少なくとも1つの出力装置からデータ及び命令を受信し、かつデータ及び命令を当該記憶システム、当該少なくとも1つの入力装置及び当該少なくとも1つの出力装置に伝送することができる。
[0104]本開示の方法を実施するためのプログラムコードは、1つ又は複数のプログラミング言語のいかなる組み合わせで書かれてもよい。これらのプログラムコードが汎用コンピュータ、専用コンピュータ又はその他のプログラマブルデータ処理装置のプロセッサ又はコントローラーに提供されてもよいため、プログラムコードがプロセッサ又はコントローラーによって実行されると、フローチャート及び/又はブロック図で規定された機能/動作が実施される。プログラムコードは、完全に又は部分にマシンで実行されてもよく、独立したソフトウェアパッケージとして部分的にマシンで実行され且つ部分的にリモートマシンで実行され、又は完全にリモートマシン又はサーバーで実行される。
[0105]本開示の文脈では、機械可読媒体は、命令実行システム、装置又は機器によって使用され得るプログラム、又は命令実行システム、装置又は機器と組み合わせて使用され得るプログラムを含み、又は記憶することができる有形の媒体であってもよい。機械可読媒体は、機械可読信号媒体又は機械可読記憶媒体であってもよい。機械可読媒体は、電子、磁気、光学、電磁気、赤外線、又は半導体システム、装置又は機器、又は上述したコンテンツのいかなる適切な組み合わせを含むことができるがこれらに限定されない。機械可読記憶媒体のより具体的な例は、1つ又は複数のワイヤに基づく電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、消去可能プログラマブル読み取り専用メモリ(EPROM又はフラッシュメモリ)、光ファイバー、ポータブルコンパクトディスク読み取り専用メモリ(CD-ROM)、光学ストレージデバイス、磁気ストレージデバイス、又は上記コンテンツのいかなる適切な組み合わせを含む。
[0106]ユーザとのインタラクションを提供するために、本明細書で説明されるシステム及び技術をコンピュータで実施することができ、当該コンピュータは、情報をユーザに表示するための表示装置(例えば、CRT(陰極線管)又はLCD(液晶ディスプレイ)モニター)、キーボード及びポインティングデバイス(例えば、マウス又はトラックボール)を有し、ユーザは、当該キーボード及び当該ポインティングデバイスによって入力をコンピュータに提供することができる。他の種類の装置は、ユーザとのインタラクションを提供するために使用されてもよい。例えば、ユーザに提供されるフィードバックは、任意の形態のセンシングフィードバック(例えば、視覚的フィードバック、聴覚的フィードバック、又は触覚的フィードバック)であってもよく、かつ任意の形態(音響入力と、音声入力と、触覚入力とを含む)でユーザからの入力を受信することができる。
[0107]本明細書で説明されるシステム及び技術は、バックエンドコンポーネントを含むコンピューティングシステム(例えば、データサーバとして)、又はミドルウェアコンポーネントを含むコンピューティングシステム(例えば、アプリケーションサーバー)、又はフロントエンドコンポーネントを含むコンピューティングシステム(例えば、グラフィカルユーザインターフェース又はウェブブラウザを有するユーザコンピュータであり、ユーザは当該グラフィカルユーザインターフェース又は当該ウェブブラウザにより、本明細書で説明されるシステム及び技術の実施形態とのインタラクションを行うことができる)、又はこのようなバックエンドコンポーネント、ミドルウェアコンポーネント、又はフロントエンドコンポーネントの任意の組み合わせを含むコンピューティングシステムで実施されてもよい。任意の形態又は媒体のデジタルデータ通信(例えば、通信ネットワーク)によってシステムのコンポーネントを相互に接続することができる。通信ネットワークの例としては、ローカルエリアネットワーク(LAN)と、ワイドエリアネットワーク(WAN)と、インターネットとを含む。
[0108]コンピュータシステムは、クライアントとサーバーとを含むことができる。クライアントとサーバーは、一般的に互いに遠く離れており、通常、通信ネットワークを介してインタラクションを行う。クライアントとサーバーとの関係は、対応するコンピュータ上で実行されかつ相互にクライアント-サーバー関係を有するコンピュータプログラムによって生成される。
[0109]上記に示される様々な形態のフローを使用して、ステップを並べ替え、追加、又は削除することができることを理解すべきである。例えば、本開示に記載される各ステップは、本開示で開示される技術案の所望の結果さえ達成すれば、並列に実行されてもよいし、順次実行されてもよいし、異なる順序で実行されてもよいが、本明細書では限定されない。
[0110]本開示の実施例又は例は、添付の図面を参照して説明されてきたが、上記の方法、システム及び機器は、例示的な実施例又は例に過ぎず、本開示の範囲は、これらの実施例又は例によって限定されるものではなく、許可された特許請求の範囲及びその同等範囲のみによって限定される。実施例又は例における様々な要素は、省略されてもよく、又は同等の要素によって置き換えられてもよい。
なお、これらのステップは、本開示に記載されている順序とは異なる順序で実行されてもよい。
さらに、実施例又は例における様々な要素は、様々な方式で組み合わせられてもよい。技術の進化に伴い、本明細書に記載される多くの要素が本開示の後に現れる同等の要素によって置き換えられてもよいことは重要である。
なお、これらのステップは、本開示に記載されている順序とは異なる順序で実行されてもよい。
さらに、実施例又は例における様々な要素は、様々な方式で組み合わせられてもよい。技術の進化に伴い、本明細書に記載される多くの要素が本開示の後に現れる同等の要素によって置き換えられてもよいことは重要である。
[0110]本開示の実施例又は例は、添付の図面を参照して説明されてきたが、上記の方法、システム及び機器は、例示的な実施例又は例に過ぎず、本開示の範囲は、これらの実施例又は例によって限定されるものではなく、許可された特許請求の範囲及びその同等範囲のみによって限定される。実施例又は例における様々な要素は、省略されてもよく、又は同等の要素によって置き換えられてもよい。
なお、これらのステップは、本開示に記載されている順序とは異なる順序で実行されてもよい。
さらに、実施例又は例における様々な要素は、様々な方式で組み合わせられてもよい。技術の進化に伴い、本明細書に記載される多くの要素が本開示の後に現れる同等の要素によって置き換えられてもよいことは重要である。
[発明の項目]
[項目1]
実空間の仮想表現を提示するための方法であって、
複数のカラー画像と、前記複数のカラー画像にそれぞれ対応する複数の奥行き画像とを取得するステップであって、前記複数のカラー画像は、前記実空間内の複数の観測点で観測された前記実空間の対応するローカルシーンに対応しており、前記複数の奥行き画像は、前記対応するローカルシーンの奥行き情報をそれぞれ含むステップと、
任意の前記観測点について、前記複数のカラー画像のうちのその観測点に対応するカラー画像と前記複数の奥行き画像のうちのそのカラー画像に対応する奥行き画像とを重畳し、重畳画像を得るステップと、
前記複数の観測点に対応する重畳画像を仮想空間内の複数の球体にそれぞれマッピングして、任意の前記球体が前記複数の観測点のうちの1つの対応する観測点に対応し、複数の頂点を含み、任意の前記頂点が対応する色情報と対応する奥行き情報とを有するステップと、
前記実空間内の前記複数の観測点間の相対的な空間関係に基づいて、前記複数の球体の各頂点に対して空間変換を仮想空間内で行うステップと、
任意の前記球体の任意の前記頂点について、その頂点の奥行き情報に基づいてその頂点に対して空間編集を行うステップと、
任意の前記球体の任意の前記頂点について、その頂点の色情報に基づいて、その頂点に対して着色処理を行うことにより、前記実空間の対応するローカルシーンの前記仮想空間における対応する仮想表現を得て提示するステップと、を含む実空間の仮想表現を提示するための方法。
[項目2]
その頂点の奥行き情報に基づいて、その頂点に対して空間編集を行う上記のステップは、
その頂点の座標をその頂点の法線方向に沿ってオフセット距離だけ移動させるステップであって、前記オフセット距離は、その頂点の奥行き情報に対応するステップを含む項目1に記載の方法。
[項目3]
その頂点の奥行き情報に基づいて、その頂点に対して空間編集を行う上記のステップは、
その頂点の座標を移動させる前に、
その頂点の奥行き情報を取得するステップと、
前記奥行き情報に示される奥行き値を正規化するステップと、
正規化された奥行き値に、その頂点が位置する球体の半径を乗算し、前記オフセット距離を得るステップと、をさらに含む項目2に記載の方法。
[項目4]
前記実空間内の前記複数の観測点間の相対的な空間関係に基づいて、前記複数の球体の各頂点に対して空間変換を前記仮想空間内で行う上記のステップは、
任意の前記球体の任意の前記頂点に対して、
空間変換マトリックスを使用し、その頂点の座標に対して空間変換を行うステップであって、前記空間変換には、スケーリング、回転及び平行移動からなる群から選択される少なくとも1つが含まれるステップを含む項目1に記載の方法。
[項目5]
前記空間変換には、回転が含まれ、前記回転の角度は、その頂点が位置する球体に対応する観測点で観測された前記ローカルシーンと前記複数の観測点のうちの他の観測点で観測されたローカルシーンとの重ね合わせ程度に基づくものである項目4に記載の方法。
[項目6]
前記空間変換には、平行移動が含まれ、前記平行移動の距離は、その頂点が位置する球体に対応する観測点と前記複数の観測点のうちの他の観測点との間の相対的な空間位置に基づくものである項目4に記載の方法。
[項目7]
その頂点の色情報に基づいて、その頂点に対して着色処理を行う上記のステップは、
その頂点の色情報とその頂点の座標とをフラグメントシェーダに入力し、前記着色処理を行うステップを含む項目1に記載の方法。
[項目8]
前記対応する仮想表現のうちの第1仮想表現をビュー内に提示するステップであって、前記第1仮想表現は、前記複数の観測点のうちの現在の観測点に対応するステップをさらに含む項目1に記載の方法。
[項目9]
前記現在の観測点から前記複数の観測点のうちの別の観測点への移動を示すユーザ操作の検出に応答して、前記対応する仮想表現のうちの第2仮想表現を提示するために前記ビューを更新するステップであって、前記第2仮想表現は、前記別の観測点に対応するステップをさらに含む項目8に記載の方法。
[項目10]
その頂点の奥行き情報に基づいて、その頂点に対して空間編集を行う上記のステップは、前記複数の球体の各頂点に対して空間変換を前記仮想空間で行う上記のステップの前に実行される項目1に記載の方法。
[項目11]
前記複数の球体は、同じ半径を有する項目1に記載の方法。
[項目12]
複数のカラー画像と、前記複数のカラー画像にそれぞれ対応する複数の奥行き画像とを取得する上記のステップは、
サーバーから前記複数のカラー画像と前記複数の奥行き画像とを受信するステップを含む項目1~項目11のいずれか1項に記載の方法。
[項目13]
複数のカラー画像と、前記複数のカラー画像にそれぞれ対応する複数の奥行き画像とを取得する上記のステップの前に、
複数のグループのオリジナルカラー画像を取得するステップであって、任意のグループのオリジナルカラー画像は、前記複数の観測点のうちの1つの対応する観測点で異なる方向から収集されたカラー画像であるステップと、
任意のグループのオリジナルカラー画像を対応する単一の合成カラー画像に合成し、前記対応する観測点で観測された前記実空間のローカルシーンに対応するカラー画像として用いるステップと、をさらに含む項目1~項目11のいずれか1項に記載の方法。
[項目14]
任意のグループのオリジナルカラー画像は、前記対応する観測点で上、下、左、右、前、後の6つの方向からそれぞれ収集された前記実空間の6枚のカラー画像を含む項目13に記載の方法。
[項目15]
任意のグループのオリジナルカラー画像を対応する単一の合成カラー画像に合成する上記のステップは、
ガウスクルーガー投影によりこのグループのオリジナルカラー画像を前記合成カラー画像に合成するステップを含む項目14に記載の方法。
[項目16]
複数のカラー画像と、前記複数のカラー画像にそれぞれ対応する複数の奥行き画像とを取得する上記のステップの前に、
複数のグループのオリジナル奥行き画像を取得するステップであって、任意のグループのオリジナル奥行き画像は、前記複数の観測点のうちの1つの対応する観測点で異なる方向から収集された奥行き画像であるステップと、
任意のグループのオリジナル奥行き画像を対応する単一の合成奥行き画像に合成し、前記対応する観測点で観測された前記実空間のローカルシーンに対応する奥行き情報を含む奥行き画像として用いるステップと、をさらに含む項目13に記載の方法。
[項目17]
実空間の仮想表現を提示するための装置であって、
複数のカラー画像と、複数のカラー画像にそれぞれ対応する複数の奥行き画像とを取得するように構成される画像取得ユニットであって、複数のカラー画像は、実空間内の複数の観測点で観測された実空間の対応するローカルシーンに対応し、複数の奥行き画像は、対応するローカルシーンの奥行き情報をそれぞれ含む画像取得ユニットと、
任意の観測点について、複数のカラー画像のうちのその観測点に対応するカラー画像と複数の奥行き画像のうちのそのカラー画像に対応する奥行き画像とを重畳し、重畳画像を得るように構成される画像重畳ユニットと、
複数の観測点に対応する重畳画像を仮想空間内の複数の球体にそれぞれマッピングして、任意の球体が複数の観測点のうちの1つの対応する観測点に対応し、複数の頂点を含み、任意の頂点が対応する色情報と対応する奥行き情報とを有するように構成されるマッピングユニットと、
実空間内の複数の観測点間の相対的な空間関係に基づいて、複数の球体の各頂点に対して空間変換を仮想空間内で行うように構成される空間変換ユニットと、
任意の球体の任意の頂点について、その頂点の奥行き情報に基づいて、その頂点に対して空間編集を行うように構成される頂点編集ユニットと、
任意の球体の任意の頂点について、その頂点の色情報に基づいて、その頂点に対して着色処理を行うことにより、実空間の対応するローカルシーンの仮想空間における対応する仮想表現を得て提示するように構成される着色ユニットと
を含む実空間の仮想表現を提示するための装置。
[項目18]
前記頂点編集ユニットは、さらに、その頂点の座標をその頂点の法線方向に沿ってオフセット距離だけ移動させ、前記オフセット距離は、その頂点の奥行き情報に対応するように構成される
項目17に記載の装置。
[項目19]
前記頂点編集ユニットは、さらに、
編集待ち頂点の奥行き情報を取得し、
前記奥行き情報に示される奥行き値を正規化し、
正規化された奥行き値に、その頂点が位置する球体の半径を乗算し、前記オフセット距離を得るように構成される
項目18に記載の装置。
[項目20]
前記空間変換ユニットは、さらに、
任意の前記球体の任意の前記頂点に対して、空間変換マトリックスを使用し、その頂点の座標に対して空間変換を行い、前記空間変換には、スケーリング、回転及び平行移動からなる群から選択される少なくとも1つが含まれるように構成される
項目17に記載の装置。
[項目21]
前記空間変換ユニットには、回転ユニットが含まれ、
前記回転ユニットは、回転マトリックスを使用し、前記頂点の座標に対して回転を行い、前記回転の角度は、その頂点が位置する球体に対応する観測点で観測された前記ローカルシーンと前記複数の観測点のうちの他の観測点で観測されたローカルシーンとの重ね合わせ程度に基づくものであるように構成される
項目20に記載の装置。
[項目22]
前記空間変換ユニットには、平行移動ユニットが含まれ、
前記平行移動ユニットは、平行移動マトリックスを使用し、前記頂点の座標に対して平行移動を行い、前記平行移動の距離は、その頂点が位置する球体に対応する観測点と前記複数の観測点のうちの他の観測点との間の相対的な空間位置に基づくものであるように構成される
項目20に記載の装置。
[項目23]
前記着色ユニットは、さらに、その頂点の色情報とその頂点の座標とをフラグメントシェーダに入力し、前記着色処理を行うように構成される
項目17に記載の装置。
[項目24]
さらに、ビュー提示ユニットが含まれ、
前記ビュー提示ユニットは、前記対応する仮想表現のうちの第1仮想表現をビュー内に提示し、前記第1仮想表現は、前記複数の観測点のうちの現在の観測点に対応するように構成される
項目17に記載の装置。
[項目25]
前記ビュー提示ユニットは、さらに、
前記現在の観測点から前記複数の観測点のうちの別の観測点への移動を示すユーザ操作の検出に応答して、前記対応する仮想表現のうちの第2仮想表現を提示するために前記ビューを更新し、前記第2仮想表現は、前記別の観測点に対応するように構成される
項目24に記載の装置。
[項目26]
前記画像取得ユニットは、さらに、サーバーから前記複数のカラー画像と前記複数の奥行き画像とを受信するように構成される
項目17~項目25のいずれか1項に記載の装置。
[項目27]
さらに、画像合成ユニットが含まれ、
前記画像合成ユニットは、
複数のグループのオリジナルカラー画像を取得し、任意のグループのオリジナルカラー画像は、前記複数の観測点のうちの1つの対応する観測点で異なる方向から収集されたカラー画像であり、
任意のグループのオリジナルカラー画像を対応する単一の合成カラー画像に合成し、前記対応する観測点で観測された前記実空間のローカルシーンに対応するカラー画像として用いるように構成される
項目17~項目25のいずれか1項に記載の装置。
[項目28]
前記画像合成ユニットは、さらに、
複数のグループのオリジナル奥行き画像を取得し、任意のグループのオリジナル奥行き画像は、前記複数の観測点のうちの1つの対応する観測点で異なる方向から収集された奥行き画像であり、
任意のグループのオリジナル奥行き画像を対応する単一の合成奥行き画像に合成し、前記対応する観測点で観測された前記実空間のローカルシーンに対応する奥行き情報を含む奥行き画像として用いるように構成される
項目27に記載の装置。
[項目29]
コンピュータ機器であって、メモリと、プロセッサと、前記メモリに記憶されたコンピュータプログラムとを含み、
ここで、前記プロセッサは、前記コンピュータプログラムを実行して、項目1~16のいずれか1項に記載の方法のステップを実現するように構成されるコンピュータ機器。
[項目30]
コンピュータプログラムが記憶されており、前記コンピュータプログラムがプロセッサに実行されると項目1~16のいずれか1項に記載の方法のステップを実現する非一時的なコンピュータ可読記憶媒体。
[項目31]
コンピュータプログラムを含むコンピュータプログラム製品であって、前記コンピュータプログラムがプロセッサによって実行されると、項目1~項目16のいずれか1項に記載の方法のステップを実現するコンピュータプログラム製品。
なお、これらのステップは、本開示に記載されている順序とは異なる順序で実行されてもよい。
さらに、実施例又は例における様々な要素は、様々な方式で組み合わせられてもよい。技術の進化に伴い、本明細書に記載される多くの要素が本開示の後に現れる同等の要素によって置き換えられてもよいことは重要である。
[発明の項目]
[項目1]
実空間の仮想表現を提示するための方法であって、
複数のカラー画像と、前記複数のカラー画像にそれぞれ対応する複数の奥行き画像とを取得するステップであって、前記複数のカラー画像は、前記実空間内の複数の観測点で観測された前記実空間の対応するローカルシーンに対応しており、前記複数の奥行き画像は、前記対応するローカルシーンの奥行き情報をそれぞれ含むステップと、
任意の前記観測点について、前記複数のカラー画像のうちのその観測点に対応するカラー画像と前記複数の奥行き画像のうちのそのカラー画像に対応する奥行き画像とを重畳し、重畳画像を得るステップと、
前記複数の観測点に対応する重畳画像を仮想空間内の複数の球体にそれぞれマッピングして、任意の前記球体が前記複数の観測点のうちの1つの対応する観測点に対応し、複数の頂点を含み、任意の前記頂点が対応する色情報と対応する奥行き情報とを有するステップと、
前記実空間内の前記複数の観測点間の相対的な空間関係に基づいて、前記複数の球体の各頂点に対して空間変換を仮想空間内で行うステップと、
任意の前記球体の任意の前記頂点について、その頂点の奥行き情報に基づいてその頂点に対して空間編集を行うステップと、
任意の前記球体の任意の前記頂点について、その頂点の色情報に基づいて、その頂点に対して着色処理を行うことにより、前記実空間の対応するローカルシーンの前記仮想空間における対応する仮想表現を得て提示するステップと、を含む実空間の仮想表現を提示するための方法。
[項目2]
その頂点の奥行き情報に基づいて、その頂点に対して空間編集を行う上記のステップは、
その頂点の座標をその頂点の法線方向に沿ってオフセット距離だけ移動させるステップであって、前記オフセット距離は、その頂点の奥行き情報に対応するステップを含む項目1に記載の方法。
[項目3]
その頂点の奥行き情報に基づいて、その頂点に対して空間編集を行う上記のステップは、
その頂点の座標を移動させる前に、
その頂点の奥行き情報を取得するステップと、
前記奥行き情報に示される奥行き値を正規化するステップと、
正規化された奥行き値に、その頂点が位置する球体の半径を乗算し、前記オフセット距離を得るステップと、をさらに含む項目2に記載の方法。
[項目4]
前記実空間内の前記複数の観測点間の相対的な空間関係に基づいて、前記複数の球体の各頂点に対して空間変換を前記仮想空間内で行う上記のステップは、
任意の前記球体の任意の前記頂点に対して、
空間変換マトリックスを使用し、その頂点の座標に対して空間変換を行うステップであって、前記空間変換には、スケーリング、回転及び平行移動からなる群から選択される少なくとも1つが含まれるステップを含む項目1に記載の方法。
[項目5]
前記空間変換には、回転が含まれ、前記回転の角度は、その頂点が位置する球体に対応する観測点で観測された前記ローカルシーンと前記複数の観測点のうちの他の観測点で観測されたローカルシーンとの重ね合わせ程度に基づくものである項目4に記載の方法。
[項目6]
前記空間変換には、平行移動が含まれ、前記平行移動の距離は、その頂点が位置する球体に対応する観測点と前記複数の観測点のうちの他の観測点との間の相対的な空間位置に基づくものである項目4に記載の方法。
[項目7]
その頂点の色情報に基づいて、その頂点に対して着色処理を行う上記のステップは、
その頂点の色情報とその頂点の座標とをフラグメントシェーダに入力し、前記着色処理を行うステップを含む項目1に記載の方法。
[項目8]
前記対応する仮想表現のうちの第1仮想表現をビュー内に提示するステップであって、前記第1仮想表現は、前記複数の観測点のうちの現在の観測点に対応するステップをさらに含む項目1に記載の方法。
[項目9]
前記現在の観測点から前記複数の観測点のうちの別の観測点への移動を示すユーザ操作の検出に応答して、前記対応する仮想表現のうちの第2仮想表現を提示するために前記ビューを更新するステップであって、前記第2仮想表現は、前記別の観測点に対応するステップをさらに含む項目8に記載の方法。
[項目10]
その頂点の奥行き情報に基づいて、その頂点に対して空間編集を行う上記のステップは、前記複数の球体の各頂点に対して空間変換を前記仮想空間で行う上記のステップの前に実行される項目1に記載の方法。
[項目11]
前記複数の球体は、同じ半径を有する項目1に記載の方法。
[項目12]
複数のカラー画像と、前記複数のカラー画像にそれぞれ対応する複数の奥行き画像とを取得する上記のステップは、
サーバーから前記複数のカラー画像と前記複数の奥行き画像とを受信するステップを含む項目1~項目11のいずれか1項に記載の方法。
[項目13]
複数のカラー画像と、前記複数のカラー画像にそれぞれ対応する複数の奥行き画像とを取得する上記のステップの前に、
複数のグループのオリジナルカラー画像を取得するステップであって、任意のグループのオリジナルカラー画像は、前記複数の観測点のうちの1つの対応する観測点で異なる方向から収集されたカラー画像であるステップと、
任意のグループのオリジナルカラー画像を対応する単一の合成カラー画像に合成し、前記対応する観測点で観測された前記実空間のローカルシーンに対応するカラー画像として用いるステップと、をさらに含む項目1~項目11のいずれか1項に記載の方法。
[項目14]
任意のグループのオリジナルカラー画像は、前記対応する観測点で上、下、左、右、前、後の6つの方向からそれぞれ収集された前記実空間の6枚のカラー画像を含む項目13に記載の方法。
[項目15]
任意のグループのオリジナルカラー画像を対応する単一の合成カラー画像に合成する上記のステップは、
ガウスクルーガー投影によりこのグループのオリジナルカラー画像を前記合成カラー画像に合成するステップを含む項目14に記載の方法。
[項目16]
複数のカラー画像と、前記複数のカラー画像にそれぞれ対応する複数の奥行き画像とを取得する上記のステップの前に、
複数のグループのオリジナル奥行き画像を取得するステップであって、任意のグループのオリジナル奥行き画像は、前記複数の観測点のうちの1つの対応する観測点で異なる方向から収集された奥行き画像であるステップと、
任意のグループのオリジナル奥行き画像を対応する単一の合成奥行き画像に合成し、前記対応する観測点で観測された前記実空間のローカルシーンに対応する奥行き情報を含む奥行き画像として用いるステップと、をさらに含む項目13に記載の方法。
[項目17]
実空間の仮想表現を提示するための装置であって、
複数のカラー画像と、複数のカラー画像にそれぞれ対応する複数の奥行き画像とを取得するように構成される画像取得ユニットであって、複数のカラー画像は、実空間内の複数の観測点で観測された実空間の対応するローカルシーンに対応し、複数の奥行き画像は、対応するローカルシーンの奥行き情報をそれぞれ含む画像取得ユニットと、
任意の観測点について、複数のカラー画像のうちのその観測点に対応するカラー画像と複数の奥行き画像のうちのそのカラー画像に対応する奥行き画像とを重畳し、重畳画像を得るように構成される画像重畳ユニットと、
複数の観測点に対応する重畳画像を仮想空間内の複数の球体にそれぞれマッピングして、任意の球体が複数の観測点のうちの1つの対応する観測点に対応し、複数の頂点を含み、任意の頂点が対応する色情報と対応する奥行き情報とを有するように構成されるマッピングユニットと、
実空間内の複数の観測点間の相対的な空間関係に基づいて、複数の球体の各頂点に対して空間変換を仮想空間内で行うように構成される空間変換ユニットと、
任意の球体の任意の頂点について、その頂点の奥行き情報に基づいて、その頂点に対して空間編集を行うように構成される頂点編集ユニットと、
任意の球体の任意の頂点について、その頂点の色情報に基づいて、その頂点に対して着色処理を行うことにより、実空間の対応するローカルシーンの仮想空間における対応する仮想表現を得て提示するように構成される着色ユニットと
を含む実空間の仮想表現を提示するための装置。
[項目18]
前記頂点編集ユニットは、さらに、その頂点の座標をその頂点の法線方向に沿ってオフセット距離だけ移動させ、前記オフセット距離は、その頂点の奥行き情報に対応するように構成される
項目17に記載の装置。
[項目19]
前記頂点編集ユニットは、さらに、
編集待ち頂点の奥行き情報を取得し、
前記奥行き情報に示される奥行き値を正規化し、
正規化された奥行き値に、その頂点が位置する球体の半径を乗算し、前記オフセット距離を得るように構成される
項目18に記載の装置。
[項目20]
前記空間変換ユニットは、さらに、
任意の前記球体の任意の前記頂点に対して、空間変換マトリックスを使用し、その頂点の座標に対して空間変換を行い、前記空間変換には、スケーリング、回転及び平行移動からなる群から選択される少なくとも1つが含まれるように構成される
項目17に記載の装置。
[項目21]
前記空間変換ユニットには、回転ユニットが含まれ、
前記回転ユニットは、回転マトリックスを使用し、前記頂点の座標に対して回転を行い、前記回転の角度は、その頂点が位置する球体に対応する観測点で観測された前記ローカルシーンと前記複数の観測点のうちの他の観測点で観測されたローカルシーンとの重ね合わせ程度に基づくものであるように構成される
項目20に記載の装置。
[項目22]
前記空間変換ユニットには、平行移動ユニットが含まれ、
前記平行移動ユニットは、平行移動マトリックスを使用し、前記頂点の座標に対して平行移動を行い、前記平行移動の距離は、その頂点が位置する球体に対応する観測点と前記複数の観測点のうちの他の観測点との間の相対的な空間位置に基づくものであるように構成される
項目20に記載の装置。
[項目23]
前記着色ユニットは、さらに、その頂点の色情報とその頂点の座標とをフラグメントシェーダに入力し、前記着色処理を行うように構成される
項目17に記載の装置。
[項目24]
さらに、ビュー提示ユニットが含まれ、
前記ビュー提示ユニットは、前記対応する仮想表現のうちの第1仮想表現をビュー内に提示し、前記第1仮想表現は、前記複数の観測点のうちの現在の観測点に対応するように構成される
項目17に記載の装置。
[項目25]
前記ビュー提示ユニットは、さらに、
前記現在の観測点から前記複数の観測点のうちの別の観測点への移動を示すユーザ操作の検出に応答して、前記対応する仮想表現のうちの第2仮想表現を提示するために前記ビューを更新し、前記第2仮想表現は、前記別の観測点に対応するように構成される
項目24に記載の装置。
[項目26]
前記画像取得ユニットは、さらに、サーバーから前記複数のカラー画像と前記複数の奥行き画像とを受信するように構成される
項目17~項目25のいずれか1項に記載の装置。
[項目27]
さらに、画像合成ユニットが含まれ、
前記画像合成ユニットは、
複数のグループのオリジナルカラー画像を取得し、任意のグループのオリジナルカラー画像は、前記複数の観測点のうちの1つの対応する観測点で異なる方向から収集されたカラー画像であり、
任意のグループのオリジナルカラー画像を対応する単一の合成カラー画像に合成し、前記対応する観測点で観測された前記実空間のローカルシーンに対応するカラー画像として用いるように構成される
項目17~項目25のいずれか1項に記載の装置。
[項目28]
前記画像合成ユニットは、さらに、
複数のグループのオリジナル奥行き画像を取得し、任意のグループのオリジナル奥行き画像は、前記複数の観測点のうちの1つの対応する観測点で異なる方向から収集された奥行き画像であり、
任意のグループのオリジナル奥行き画像を対応する単一の合成奥行き画像に合成し、前記対応する観測点で観測された前記実空間のローカルシーンに対応する奥行き情報を含む奥行き画像として用いるように構成される
項目27に記載の装置。
[項目29]
コンピュータ機器であって、メモリと、プロセッサと、前記メモリに記憶されたコンピュータプログラムとを含み、
ここで、前記プロセッサは、前記コンピュータプログラムを実行して、項目1~16のいずれか1項に記載の方法のステップを実現するように構成されるコンピュータ機器。
[項目30]
コンピュータプログラムが記憶されており、前記コンピュータプログラムがプロセッサに実行されると項目1~16のいずれか1項に記載の方法のステップを実現する非一時的なコンピュータ可読記憶媒体。
[項目31]
コンピュータプログラムを含むコンピュータプログラム製品であって、前記コンピュータプログラムがプロセッサによって実行されると、項目1~項目16のいずれか1項に記載の方法のステップを実現するコンピュータプログラム製品。
Claims (31)
- 実空間の仮想表現を提示するための方法であって、
複数のカラー画像と、前記複数のカラー画像にそれぞれ対応する複数の奥行き画像とを取得するステップであって、前記複数のカラー画像は、前記実空間内の複数の観測点で観測された前記実空間の対応するローカルシーンに対応しており、前記複数の奥行き画像は、前記対応するローカルシーンの奥行き情報をそれぞれ含むステップと、
任意の前記観測点について、前記複数のカラー画像のうちのその観測点に対応するカラー画像と前記複数の奥行き画像のうちのそのカラー画像に対応する奥行き画像とを重畳し、重畳画像を得るステップと、
前記複数の観測点に対応する重畳画像を仮想空間内の複数の球体にそれぞれマッピングして、任意の前記球体が前記複数の観測点のうちの1つの対応する観測点に対応し、複数の頂点を含み、任意の前記頂点が対応する色情報と対応する奥行き情報とを有するステップと、
前記実空間内の前記複数の観測点間の相対的な空間関係に基づいて、前記複数の球体の各頂点に対して空間変換を仮想空間内で行うステップと、
任意の前記球体の任意の前記頂点について、その頂点の奥行き情報に基づいてその頂点に対して空間編集を行うステップと、
任意の前記球体の任意の前記頂点について、その頂点の色情報に基づいて、その頂点に対して着色処理を行うことにより、前記実空間の対応するローカルシーンの前記仮想空間における対応する仮想表現を得て提示するステップと、を含む実空間の仮想表現を提示するための方法。 - その頂点の奥行き情報に基づいて、その頂点に対して空間編集を行う上記のステップは、
その頂点の座標をその頂点の法線方向に沿ってオフセット距離だけ移動させるステップであって、前記オフセット距離は、その頂点の奥行き情報に対応するステップを含む請求項1に記載の方法。 - その頂点の奥行き情報に基づいて、その頂点に対して空間編集を行う上記のステップは、
その頂点の座標を移動させる前に、
その頂点の奥行き情報を取得するステップと、
前記奥行き情報に示される奥行き値を正規化するステップと、
正規化された奥行き値に、その頂点が位置する球体の半径を乗算し、前記オフセット距離を得るステップと、をさらに含む請求項2に記載の方法。 - 前記実空間内の前記複数の観測点間の相対的な空間関係に基づいて、前記複数の球体の各頂点に対して空間変換を前記仮想空間内で行う上記のステップは、
任意の前記球体の任意の前記頂点に対して、
空間変換マトリックスを使用し、その頂点の座標に対して空間変換を行うステップであって、前記空間変換には、スケーリング、回転及び平行移動からなる群から選択される少なくとも1つが含まれるステップを含む請求項1に記載の方法。 - 前記空間変換には、回転が含まれ、前記回転の角度は、その頂点が位置する球体に対応する観測点で観測された前記ローカルシーンと前記複数の観測点のうちの他の観測点で観測されたローカルシーンとの重ね合わせ程度に基づくものである請求項4に記載の方法。
- 前記空間変換には、平行移動が含まれ、前記平行移動の距離は、その頂点が位置する球体に対応する観測点と前記複数の観測点のうちの他の観測点との間の相対的な空間位置に基づくものである請求項4に記載の方法。
- その頂点の色情報に基づいて、その頂点に対して着色処理を行う上記のステップは、
その頂点の色情報とその頂点の座標とをフラグメントシェーダに入力し、前記着色処理を行うステップを含む請求項1に記載の方法。 - 前記対応する仮想表現のうちの第1仮想表現をビュー内に提示するステップであって、前記第1仮想表現は、前記複数の観測点のうちの現在の観測点に対応するステップをさらに含む請求項1に記載の方法。
- 前記現在の観測点から前記複数の観測点のうちの別の観測点への移動を示すユーザ操作の検出に応答して、前記対応する仮想表現のうちの第2仮想表現を提示するために前記ビューを更新するステップであって、前記第2仮想表現は、前記別の観測点に対応するステップをさらに含む請求項8に記載の方法。
- その頂点の奥行き情報に基づいて、その頂点に対して空間編集を行う上記のステップは、前記複数の球体の各頂点に対して空間変換を前記仮想空間で行う上記のステップの前に実行される請求項1に記載の方法。
- 前記複数の球体は、同じ半径を有する請求項1に記載の方法。
- 複数のカラー画像と、前記複数のカラー画像にそれぞれ対応する複数の奥行き画像とを取得する上記のステップは、
サーバーから前記複数のカラー画像と前記複数の奥行き画像とを受信するステップを含む請求項1~請求項11のいずれか1項に記載の方法。 - 複数のカラー画像と、前記複数のカラー画像にそれぞれ対応する複数の奥行き画像とを取得する上記のステップの前に、
複数のグループのオリジナルカラー画像を取得するステップであって、任意のグループのオリジナルカラー画像は、前記複数の観測点のうちの1つの対応する観測点で異なる方向から収集されたカラー画像であるステップと、
任意のグループのオリジナルカラー画像を対応する単一の合成カラー画像に合成し、前記対応する観測点で観測された前記実空間のローカルシーンに対応するカラー画像として用いるステップと、をさらに含む請求項1~請求項11のいずれか1項に記載の方法。 - 任意のグループのオリジナルカラー画像は、前記対応する観測点で上、下、左、右、前、後の6つの方向からそれぞれ収集された前記実空間の6枚のカラー画像を含む請求項13に記載の方法。
- 任意のグループのオリジナルカラー画像を対応する単一の合成カラー画像に合成する上記のステップは、
ガウスクルーガー投影によりこのグループのオリジナルカラー画像を前記合成カラー画像に合成するステップを含む請求項14に記載の方法。 - 複数のカラー画像と、前記複数のカラー画像にそれぞれ対応する複数の奥行き画像とを取得する上記のステップの前に、
複数のグループのオリジナル奥行き画像を取得するステップであって、任意のグループのオリジナル奥行き画像は、前記複数の観測点のうちの1つの対応する観測点で異なる方向から収集された奥行き画像であるステップと、
任意のグループのオリジナル奥行き画像を対応する単一の合成奥行き画像に合成し、前記対応する観測点で観測された前記実空間のローカルシーンに対応する奥行き情報を含む奥行き画像として用いるステップと、をさらに含む請求項13に記載の方法。 - 実空間の仮想表現を提示するための装置であって、
複数のカラー画像と、複数のカラー画像にそれぞれ対応する複数の奥行き画像とを取得するように構成される画像取得ユニットであって、複数のカラー画像は、実空間内の複数の観測点で観測された実空間の対応するローカルシーンに対応し、複数の奥行き画像は、対応するローカルシーンの奥行き情報をそれぞれ含む画像取得ユニットと、
任意の観測点について、複数のカラー画像のうちのその観測点に対応するカラー画像と複数の奥行き画像のうちのそのカラー画像に対応する奥行き画像とを重畳し、重畳画像を得るように構成される画像重畳ユニットと、
複数の観測点に対応する重畳画像を仮想空間内の複数の球体にそれぞれマッピングして、任意の球体が複数の観測点のうちの1つの対応する観測点に対応し、複数の頂点を含み、任意の頂点が対応する色情報と対応する奥行き情報とを有するように構成されるマッピングユニットと、
実空間内の複数の観測点間の相対的な空間関係に基づいて、複数の球体の各頂点に対して空間変換を仮想空間内で行うように構成される空間変換ユニットと、
任意の球体の任意の頂点について、その頂点の奥行き情報に基づいて、その頂点に対して空間編集を行うように構成される頂点編集ユニットと、
任意の球体の任意の頂点について、その頂点の色情報に基づいて、その頂点に対して着色処理を行うことにより、実空間の対応するローカルシーンの仮想空間における対応する仮想表現を得て提示するように構成される着色ユニットと
を含む実空間の仮想表現を提示するための装置。 - 前記頂点編集ユニットは、さらに、その頂点の座標をその頂点の法線方向に沿ってオフセット距離だけ移動させ、前記オフセット距離は、その頂点の奥行き情報に対応するように構成される
請求項17に記載の装置。 - 前記頂点編集ユニットは、さらに、
編集待ち頂点の奥行き情報を取得し、
前記奥行き情報に示される奥行き値を正規化し、
正規化された奥行き値に、その頂点が位置する球体の半径を乗算し、前記オフセット距離を得るように構成される
請求項18に記載の装置。 - 前記空間変換ユニットは、さらに、
任意の前記球体の任意の前記頂点に対して、空間変換マトリックスを使用し、その頂点の座標に対して空間変換を行い、前記空間変換には、スケーリング、回転及び平行移動からなる群から選択される少なくとも1つが含まれるように構成される
請求項17に記載の装置。 - 前記空間変換ユニットには、回転ユニットが含まれ、
前記回転ユニットは、回転マトリックスを使用し、前記頂点の座標に対して回転を行い、前記回転の角度は、その頂点が位置する球体に対応する観測点で観測された前記ローカルシーンと前記複数の観測点のうちの他の観測点で観測されたローカルシーンとの重ね合わせ程度に基づくものであるように構成される
請求項20に記載の装置。 - 前記空間変換ユニットには、平行移動ユニットが含まれ、
前記平行移動ユニットは、平行移動マトリックスを使用し、前記頂点の座標に対して平行移動を行い、前記平行移動の距離は、その頂点が位置する球体に対応する観測点と前記複数の観測点のうちの他の観測点との間の相対的な空間位置に基づくものであるように構成される
請求項20に記載の装置。 - 前記着色ユニットは、さらに、その頂点の色情報とその頂点の座標とをフラグメントシェーダに入力し、前記着色処理を行うように構成される
請求項17に記載の装置。 - さらに、ビュー提示ユニットが含まれ、
前記ビュー提示ユニットは、前記対応する仮想表現のうちの第1仮想表現をビュー内に提示し、前記第1仮想表現は、前記複数の観測点のうちの現在の観測点に対応するように構成される
請求項17に記載の装置。 - 前記ビュー提示ユニットは、さらに、
前記現在の観測点から前記複数の観測点のうちの別の観測点への移動を示すユーザ操作の検出に応答して、前記対応する仮想表現のうちの第2仮想表現を提示するために前記ビューを更新し、前記第2仮想表現は、前記別の観測点に対応するように構成される
請求項24に記載の装置。 - 前記画像取得ユニットは、さらに、サーバーから前記複数のカラー画像と前記複数の奥行き画像とを受信するように構成される
請求項17~請求項25のいずれか1項に記載の装置。 - さらに、画像合成ユニットが含まれ、
前記画像合成ユニットは、
複数のグループのオリジナルカラー画像を取得し、任意のグループのオリジナルカラー画像は、前記複数の観測点のうちの1つの対応する観測点で異なる方向から収集されたカラー画像であり、
任意のグループのオリジナルカラー画像を対応する単一の合成カラー画像に合成し、前記対応する観測点で観測された前記実空間のローカルシーンに対応するカラー画像として用いるように構成される
請求項17~請求項25のいずれか1項に記載の装置。 - 前記画像合成ユニットは、さらに、
複数のグループのオリジナル奥行き画像を取得し、任意のグループのオリジナル奥行き画像は、前記複数の観測点のうちの1つの対応する観測点で異なる方向から収集された奥行き画像であり、
任意のグループのオリジナル奥行き画像を対応する単一の合成奥行き画像に合成し、前記対応する観測点で観測された前記実空間のローカルシーンに対応する奥行き情報を含む奥行き画像として用いるように構成される
請求項27に記載の装置。 - コンピュータ機器であって、メモリと、プロセッサと、前記メモリに記憶されたコンピュータプログラムとを含み、
ここで、前記プロセッサは、前記コンピュータプログラムを実行して、請求項1~16のいずれか1項に記載の方法のステップを実現するように構成されるコンピュータ機器。 - コンピュータプログラムが記憶されており、前記コンピュータプログラムがプロセッサに実行されると請求項1~16のいずれか1項に記載の方法のステップを実現する非一時的なコンピュータ可読記憶媒体。
- コンピュータプログラムを含むコンピュータプログラム製品であって、前記コンピュータプログラムがプロセッサによって実行されると、請求項1~請求項16のいずれか1項に記載の方法のステップを実現するコンピュータプログラム製品。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110171986.9A CN112862981B (zh) | 2021-02-05 | 2021-02-05 | 用于呈现虚拟表示的方法和装置、计算机设备和存储介质 |
CN202110171986.9 | 2021-02-05 | ||
PCT/CN2021/103835 WO2022166092A1 (en) | 2021-02-05 | 2021-06-30 | Mathod and apparatus for presenting virtual representation, computer device, and storage medium |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024506879A true JP2024506879A (ja) | 2024-02-15 |
Family
ID=75989222
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023547498A Pending JP2024506879A (ja) | 2021-02-05 | 2021-06-30 | 仮想表現を提示するための方法及び装置、コンピュータ機器及び記憶媒体 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20240046554A1 (ja) |
JP (1) | JP2024506879A (ja) |
CN (1) | CN112862981B (ja) |
WO (1) | WO2022166092A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112862981B (zh) * | 2021-02-05 | 2021-11-23 | 贝壳找房(北京)科技有限公司 | 用于呈现虚拟表示的方法和装置、计算机设备和存储介质 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103489214A (zh) * | 2013-09-10 | 2014-01-01 | 北京邮电大学 | 增强现实系统中基于虚拟模型预处理的虚实遮挡处理方法 |
DE102015115394A1 (de) * | 2015-09-11 | 2017-03-16 | 3Dqr Gmbh | Verfahren und Vorrichtung zum Überlagern eines Abbilds einer realen Szenerie mit einem virtuellen Bild und mobiles Gerät |
CA3023488C (en) * | 2016-04-14 | 2022-06-28 | The Research Foundation For The State University Of New York | System and method for generating a progressive representation associated with surjectively mapped virtual and physical reality image data |
US10417810B2 (en) * | 2017-05-31 | 2019-09-17 | Verizon Patent And Licensing Inc. | Methods and systems for rendering virtual reality content based on two-dimensional (“2D”) captured imagery of a three-dimensional (“3D”) scene |
CN107393018A (zh) * | 2017-07-27 | 2017-11-24 | 北京中达金桥技术股份有限公司 | 一种利用Kinect实现实时虚拟影像叠加的方法 |
CN112862981B (zh) * | 2021-02-05 | 2021-11-23 | 贝壳找房(北京)科技有限公司 | 用于呈现虚拟表示的方法和装置、计算机设备和存储介质 |
-
2021
- 2021-02-05 CN CN202110171986.9A patent/CN112862981B/zh active Active
- 2021-06-30 WO PCT/CN2021/103835 patent/WO2022166092A1/en active Application Filing
- 2021-06-30 US US18/276,020 patent/US20240046554A1/en active Pending
- 2021-06-30 JP JP2023547498A patent/JP2024506879A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2022166092A1 (en) | 2022-08-11 |
US20240046554A1 (en) | 2024-02-08 |
CN112862981A (zh) | 2021-05-28 |
CN112862981B (zh) | 2021-11-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11645801B2 (en) | Method for synthesizing figure of virtual object, electronic device, and storage medium | |
US10692287B2 (en) | Multi-step placement of virtual objects | |
CN110163942B (zh) | 一种图像数据处理方法和装置 | |
CN111583379B (zh) | 虚拟模型的渲染方法、装置、存储介质与电子设备 | |
WO2021083133A1 (zh) | 图像处理方法、装置、设备及存储介质 | |
US10614633B2 (en) | Projecting a two-dimensional image onto a three-dimensional graphical object | |
JP2024004444A (ja) | 3次元顔再構成モデルトレーニング、3次元顔イメージ生成方法及び装置 | |
JP7277548B2 (ja) | サンプル画像生成方法、装置及び電子機器 | |
EP3855386B1 (en) | Method, apparatus, device and storage medium for transforming hairstyle and computer program product | |
US20240303921A1 (en) | Virtual-camera-based image acquisition method and related apparatus | |
WO2022121653A1 (zh) | 确定透明度的方法、装置、电子设备和存储介质 | |
JP7387001B2 (ja) | 画像合成方法、装置、およびストレージ媒体 | |
EP4195160A1 (en) | Data optimization and interface enhancement method for creating augmented reality of large-scale building in mobile device | |
JP2024506879A (ja) | 仮想表現を提示するための方法及び装置、コンピュータ機器及び記憶媒体 | |
CN109598672B (zh) | 一种地图道路渲染方法及装置 | |
KR20220126063A (ko) | 재구성된 이미지를 생성하는 이미지 처리 방법 및 장치 | |
CN116468839A (zh) | 模型渲染方法、装置、存储介质及电子装置 | |
KR20200103278A (ko) | 뷰 방향이 표시되는 vr 컨텐츠 제공 시스템 및 방법 | |
Bocevska et al. | Implementation of interactive augmented reality in 3D assembly design presentation | |
CN111524240A (zh) | 场景切换方法、装置及增强现实设备 | |
JP2020013390A (ja) | 情報処理装置、情報処理プログラム及び情報処理方法 | |
WO2023221683A1 (zh) | 图像渲染方法、装置、设备和介质 | |
CN115329697B (zh) | 仿三维线路图生成方法、装置、系统和存储介质 | |
WO2023142945A1 (zh) | 3d模型生成方法及相关装置 | |
Reiling | Toward General Purpose 3D User Interfaces: Extending Windowing Systems to Three Dimensions |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230920 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230920 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240820 |