JP5591394B2 - 仮想物体を現実の物理物体に変換する方法 - Google Patents

仮想物体を現実の物理物体に変換する方法 Download PDF

Info

Publication number
JP5591394B2
JP5591394B2 JP2013500416A JP2013500416A JP5591394B2 JP 5591394 B2 JP5591394 B2 JP 5591394B2 JP 2013500416 A JP2013500416 A JP 2013500416A JP 2013500416 A JP2013500416 A JP 2013500416A JP 5591394 B2 JP5591394 B2 JP 5591394B2
Authority
JP
Japan
Prior art keywords
virtual
bounding box
virtual object
texture
generating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013500416A
Other languages
English (en)
Other versions
JP2013524308A (ja
Inventor
ロウ,ツエ
フアン・ブルーク,シフールト
フアン・デン・ブルーク,マルク
Original Assignee
アルカテル−ルーセント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アルカテル−ルーセント filed Critical アルカテル−ルーセント
Publication of JP2013524308A publication Critical patent/JP2013524308A/ja
Application granted granted Critical
Publication of JP5591394B2 publication Critical patent/JP5591394B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B42BOOKBINDING; ALBUMS; FILES; SPECIAL PRINTED MATTER
    • B42DBOOKS; BOOK COVERS; LOOSE LEAVES; PRINTED MATTER CHARACTERISED BY IDENTIFICATION OR SECURITY FEATURES; PRINTED MATTER OF SPECIAL FORMAT OR STYLE NOT OTHERWISE PROVIDED FOR; DEVICES FOR USE THEREWITH AND NOT OTHERWISE PROVIDED FOR; MOVABLE-STRIP WRITING OR READING APPARATUS
    • B42D15/00Printed matter of special format or style not otherwise provided for

Landscapes

  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • Image Processing (AREA)

Description

本発明は、現実の物理物体を生成する方法に関する。
キュービークラフト(TM)、またはレゴ(TM)(それぞれ<http://www.cubeeeraft.com>および<http://www.lego.com>を参照)などの会社は、たとえば紙モデルに対する切り貼り作業によって、人物像を表す現実の物理物体を生成できるように、印刷できるキャラクタまたは他の人物像を表す紙またはプラスチックモデルを提供している。
製造会社は、紙モデルをメディア体験に関連付けるために、たとえば人気のある映画で見たことがある、またはスーパースターなどの手書きのキュービークラフト(TM)モデルの類似人物像を製造し、販売している。人物像から生成された現実の物理物体は、現実の生活体験に仮想環境における仮想体験を関連付けることを可能にする。
しかし現在は、仮想物体たとえば映画またはゲームで見た人物像から、自動的に現実の物理物体を生成するように構成された方法またはシステムは存在しない。
本発明の目的は、仮想物体を実世界にもたらすために、仮想物体を現実の物理物体に変換する方法を提供することである。
本発明の一実施形態によれば、この目的は前記方法が、
− 仮想環境における仮想物体を選択するステップと、
− 前記仮想物体がその中に収まるバウンディングボックスを生成するステップと、
− 前記バウンディングボックスによって境界が定められるように前記仮想物体の360度スナップショットを撮ることによってテクスチャクラウドを生成するステップと、
− 前記バウンディングボックスに対するテクスチャを取得するために、前記テクスチャクラウドに画像つなぎ合わせ(stitching)技術を適用するステップと、
− 前記テクスチャを用いて前記バウンディングボックスを印刷するステップと
を含むことにより達成される。
この実施形態は、仮想世界で選択された物体から、たとえばキュービークラフト(TM)モデルなどのデザインを生じ、このデザインから実世界における物理物体を生成することを可能にする。
本発明の好ましい特徴的な実施形態では、前記仮想物体は複数の要素を備え、前記方法は、
− 仮想環境における前記仮想物体の各要素を個別に選択するステップと、
− 各要素に対して別個のバウンディングボックスを生成するステップであって、バウンディングボックスに関連する要素がその中に収まる、ステップと、
− 前記バウンディングボックスによって境界が定められるように、関連する要素の360度スナップショットを撮ることによって、各バウンディングボックスに対するテクスチャクラウドを生成するステップと、
− 各バウンディングボックスに対する別個のテクスチャを取得するために、前記テクスチャクラウドに画像つなぎ合わせ技術を適用するステップと、
− バウンディングボックスを、それらの関連するテクスチャを用いて印刷するステップと、
− バウンディングボックスを一緒につなぎ合わせるステップと
を備える。
このようにして現実の物理物体は、たとえば、その要素が頭、胸、腕、および脚である仮想キャラクタなどの仮想物体に基づいて生成することができるキャラクタとすることができる。
本発明の他の特徴的な実施形態は、前記仮想物体が仮想環境のきめの細かい3D物体であり、前記現実の物理物体が実世界のきめの粗い3D物体であることである。
言い換えれば本方法のこの実施形態は、仮想世界からのきめの細かい3D物体、たとえば人物像またはアバターを、きめの粗い実物体に変換し、それによってユーザの実生活に彼の仮想体験を関連付けることを可能にする。
さらに本発明の他の特徴的な実施形態は、バウンディングボックスは標準の紙プリンタまたは3Dプリンタ上で印刷できることである。
3Dプリンタ上で印刷することにより、切り貼り作業を避けて、実世界での物体またはキャラクタを直ちに得ることが可能になる。
本方法の他の特徴的な実施形態は、添付の特許請求の範囲で述べられる。
特許請求の範囲で用いられる「備える(comprising)」、または「含む(including)」という用語は、その後に列挙された手段に限定されると解釈されるべきでないことに留意されたい。したがって「手段AおよびBを備えるデバイス」などの表現の範囲は、手段AおよびBのみからなるデバイスの一実施形態に限定されるべきではない。これは本発明の実施形態に関しては、AおよびBがデバイスの必須の手段であることを意味する。
同様に、やはり特許請求の範囲で用いられる「結合された(coupled)」という用語は、直接接続のみに限定されると解釈されるべきでないことに留意されたい。したがって「デバイスBに結合されたデバイスA」などの表現の範囲は、デバイスAの出力端がデバイスBの入力端に直接接続されたデバイスの実施形態に限定されるべきではない。これは、Aの出力端とBの入力端との間に経路が存在する場合があり、その経路は他のデバイスまたは手段を含むことができることを意味する。
添付の図面と併せ読まれる一実施形態についての以下の説明を参照することによって、本発明の上記その他の目的および特徴はより明らかとなり、本発明自体について最も良く理解されるであろう。
本発明の実施形態による、仮想物体(VO)を現実の物理物体ROに変換する方法を表す図である。 本発明による方法のステップの実施例を示す図である。 本方法のステップを達成するために用いられる装置を示す図である。
本発明の基本概念は、図1に示されるアバターまたは人物像VOなどの、仮想世界からのきめの細かい3D仮想物体を、きめの粗い現実の物理3D物体ROに変換する方法を提供することである。これは仮想物体VOを実世界にもたらし、ユーザが、彼の実生活に彼の仮想体験を関連付けることを可能にする。
図2および3を参照して、方法の一実施形態の第1のステップは、仮想環境VEから仮想物体VOを検索すること(RTVO)である。
仮想物体VOが利用可能になった後に第2のステップは、仮想物体がその中にちょうど収まるバウンディングボックスを生成すること(CRBB)である。バウンディングボックスとは、3Dモデリングで用いられる、モデルまたは物体をその中にちょうど収めることができる立方体に対する用語である。変形実施形態では、選択された仮想物体の各要素に対して、別個のバウンディングボックスが生成される。たとえば仮想物体VOがキャラクタの場合は、要素は頭、胸、腕、および脚などのその身体の部分とすることができる。次いでバウンディングボックスが生成され、これらの要素のそれぞれに関連付けられる。
次のステップは、関連するバウンディングボックスの寸法によって境界が定められるように、仮想物体VOまたはその各要素の360度からのスナップショットを撮ることによって、各バウンディングボックスのテクスチャクラウドを生成すること(CRTC)である。たとえば、仮想カメラを頭部の周りで動かして頭部の多くのスナップショットを撮ることができる。このようにして撮られた画像は、360度の視像を生成するために、十分な重なりを含むべきである。
次のステップは、バウンディングボックスに対するテクスチャを取得するために、テクスチャクラウドに画像つなぎ合わせ技術を適用すること(APIS)である。画像つなぎ合わせ技術は、複数のスナップショットを、1つの継ぎ目のない連続した画像に一緒に継ぎ目なくつなぎ合わせることにある。結果として、画像つなぎ合わせ技術を適用することによってスナップショットは、バウンディングボックスに対するテクスチャとして用いることができる1つの360度の視像に組み合わせることができる。
このステップの後にバウンディングボックスを、そのテクスチャを用いて印刷する(PRBB)ことができる。プリンタが3Dプリンタである場合は、実世界で用いられるように現実の3D物理物体ROを直ちに得ることができる。紙プリンタの場合は、3D紙モデルを得るために最後の切り貼りステップが必要となり得る。
いくつかの要素が別々に印刷される場合は、所望のモデル、たとえばキュービークラフト(TM)モデル、またはレゴ(TM)モデルは、すべての対応するバウンディングボックス(頭、胸、腕、脚など)を一緒につなぎ合わせ、所望のモデルに適合させることによって得られる。
図3は、上記の方法の実施形態のステップを実行するように構成されたシステムを示す。このシステムは、クライアントマシンWS内で動作するクライアントアプリケーションと、仮想環境VEと、ユーザプロファイルUPおよびテンプレートTPが付属されたモデル変換サービスMTS(Model Transformation Service)とを備える。
モデル変換サービスMTSは、
1.仮想環境における仮想物体VOを選択するステップ(RTVO)と、
2.仮想物体VOがその中に収まるバウンディングボックスを生成するステップ(CRBB)と、
3.バウンディングボックスによって境界が定められるように仮想物体VOの360度スナップショットを撮ることによってテクスチャクラウドを生成するステップ(CRTC)と、
4.バウンディングボックスに対するテクスチャを取得するために、テクスチャクラウドに画像つなぎ合わせ技術を適用するステップ(APIS)と、
5.テクスチャを用いてバウンディングボックスを印刷するステップ(PRBB)と、
6.場合により、セミペディア(semipedia)技術を用いて、切り貼り実物体ROを暗号化するステップと
を行う役割をもつ。セミペディア技術は、情報を物理世界から仮想環境VEにもたらすことを可能にする。結果としてユーザは、実物体ROを用いてその対応する仮想物体VOを制御することができる。
ユーザが3Dの紙物体ROをカメラの前に置くと、クライアントアプリケーションは3Dの紙物体RO上のセミペディアを検出し、仮想環境VEにおける対応する仮想物体VOを示す。このようにしてユーザは、たとえば3Dの現実の紙物体ROを回転することによって、仮想環境VEにおける仮想物体VOを回転することができる。
セミペディア技術は、RFID技術、バーコード技術、または任意の他の認識技術で置き換えることができることに留意されたい。
さらにキュービークラフト(TM)およびレゴ(TM)モデルは、本明細書で出力手段の2つの可能な例として記載したものであるに過ぎないことに留意されたい。他の代替物、たとえば3Dプリンタをシステムにプラグ接続することもできる。
最後の留意点は本発明の実施形態について上記では機能ブロックに関して述べたことである。上述のこれらのブロックの機能的な説明から、電子デバイスを設計する当業者には、良く知られた電子構成要素を用いてどのようにしてこれらのブロックの実施形態を製造できるかは明らかであろう。したがって機能ブロックの内容の詳細なアーキテクチャについては述べていない。
以上本発明の原理について特定の装置に関連して述べてきたが、この説明は単に例示として示され、添付の特許請求の範囲で定義されるような、本発明の範囲を限定するものではないことが明確に理解されるべきである。

Claims (11)

  1. 仮想環境における仮想物体(VO)を選択するステップ(RTVO)と、
    前記仮想物体がその中に収まるバウンディングボックスを生成するステップ(CRBB)と、
    前記バウンディングボックスによって境界が定められるように仮想カメラを使用して前記仮想物体の360度スナップショットを撮ることによってテクスチャクラウドを生成するステップ(CRTC)と、
    前記バウンディングボックスに対するテクスチャを取得するために、前記テクスチャクラウドに画像つなぎ合わせ技術を適用するステップ(APIS)と、
    前記テクスチャを用いて前記バウンディングボックスを印刷するステップ(PRBB)と
    を含むことを特徴とする、現実の物理物体(RO)を生成する方法。
  2. 前記仮想物体(VO)が複数の要素を備え、
    仮想環境における前記仮想物体の各要素を個別に選択するステップと、
    各要素に対して別個のバウンディングボックスを生成するステップであって、バウンディングボックスに関連する要素がその中に収まる、ステップと、
    前記バウンディングボックスによって境界が定められるように、関連する要素の360度スナップショットを撮ることによって、各バウンディングボックスに対するテクスチャクラウドを生成するステップと、
    各バウンディングボックスに対する別個のテクスチャを取得するために、前記テクスチャクラウドに画像つなぎ合わせ技術を適用するステップと、
    バウンディングボックスを、それらの関連するテクスチャを用いて印刷するステップと、
    バウンディングボックスを一緒につなぎ合わせるステップと
    を含むことを特徴とする、請求項1に記載の方法。
  3. 前記仮想物体(VO)は、仮想環境の3D物体であり、
    前記現実の物理物体(RO)は、実世界の3D物体である
    ことを特徴とする、請求項1または2のいずれかに記載の方法。
  4. 前記仮想物体(VO)は、きめの細かい3D物体であり、
    前記現実の物理物体(RO)は、きめの粗い物体である
    ことを特徴とする、請求項3に記載の方法。
  5. バウンディングボックスが紙に印刷されることを特徴とする、請求項1または2のいずれかに記載の方法。
  6. バウンディングボックスが3Dプリンタ上で印刷されることを特徴とする、請求項1または2のいずれかに記載の方法。
  7. 前記仮想物体(VO)が仮想世界のキャラクタであることを特徴とする、請求項2に記載の方法。
  8. 前記仮想物体(VO)の要素が前記キャラクタの諸部分であることを特徴とする、請求項7に記載の方法。
  9. 前記選択するステップ(RTVO)が本質的に、前記仮想物体(VO)のコピーを検索する操作と、前記仮想環境(VE)から前記仮想物体を仮想識別(virtual identification)する操作とを含むことを特徴とする、請求項1に記載の方法。
  10. 前記選択するステップが本質的に、前記仮想物体(VO)の前記要素のコピーを検索する操作と、前記仮想環境(VE)から前記要素を仮想識別する操作とを含むことを特徴とする、請求項2に記載の方法。
  11. 前記方法が、セミペディア技術を用いて前記実物体(RO)を暗号化するステップを含むことを特徴とする、請求項1または2のいずれかに記載の方法。
JP2013500416A 2010-03-26 2011-03-08 仮想物体を現実の物理物体に変換する方法 Expired - Fee Related JP5591394B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP10305312.0 2010-03-26
EP10305312.0A EP2368720B1 (en) 2010-03-26 2010-03-26 Method to transform a virtual object into a real physical object
PCT/EP2011/053486 WO2011117070A1 (en) 2010-03-26 2011-03-08 Method to transform a virtual object into a real physical object

Publications (2)

Publication Number Publication Date
JP2013524308A JP2013524308A (ja) 2013-06-17
JP5591394B2 true JP5591394B2 (ja) 2014-09-17

Family

ID=42237088

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013500416A Expired - Fee Related JP5591394B2 (ja) 2010-03-26 2011-03-08 仮想物体を現実の物理物体に変換する方法

Country Status (6)

Country Link
US (1) US9764583B2 (ja)
EP (1) EP2368720B1 (ja)
JP (1) JP5591394B2 (ja)
KR (1) KR101494064B1 (ja)
CN (1) CN102821970B (ja)
WO (1) WO2011117070A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130130797A1 (en) * 2010-08-24 2013-05-23 Janos Stone Systems and methods for transforming and/or generating a tangible physical structure based on user input information
GB201209176D0 (en) * 2012-05-25 2012-07-04 Lunar Lime Ltd Model card
CN104731535A (zh) * 2015-01-30 2015-06-24 深圳市亿思达科技集团有限公司 几何物体的制作方法及3d打印系统
GB2536062A (en) * 2015-03-06 2016-09-07 Sony Computer Entertainment Inc System, device and method of 3D printing
EP3271809B1 (en) 2015-07-31 2023-01-11 Hewlett-Packard Development Company, L.P. Parts arrangement determination for a 3d printer build envelope
CN114189793B (zh) 2016-02-04 2024-03-19 奇跃公司 增强现实系统中定向音频的技术
US11445305B2 (en) 2016-02-04 2022-09-13 Magic Leap, Inc. Technique for directing audio in augmented reality system
CN110337318B (zh) 2017-02-28 2024-06-14 奇跃公司 混合现实装置中的虚拟和真实对象记录
CN115082618A (zh) * 2022-05-31 2022-09-20 德邦物流股份有限公司 一种立体结构、立体结构的生产方法、系统及设备

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2241470A (en) * 1990-01-30 1991-09-04 Melvin John Ryan Greetings card/gift container
US5586659A (en) * 1995-06-05 1996-12-24 Trumbo; Timothy F. Combination gift box and greeting card
US6431359B1 (en) * 1997-06-23 2002-08-13 Milton Bernard Hollander Multi-view packaging material
JPH1134425A (ja) * 1997-07-17 1999-02-09 Canon Inc 画像処理装置および画像処理方法およびコンピュータが読み出し可能なプログラムを格納した記憶媒体
RU2216781C2 (ru) * 2001-06-29 2003-11-20 Самсунг Электроникс Ко., Лтд Основанные на изображениях способ представления и визуализации трехмерного объекта и способ представления и визуализации анимированного объекта
US7389908B2 (en) * 2004-04-22 2008-06-24 Patrice Cohen Three-dimensional display form and blank
WO2006089271A2 (en) * 2005-02-18 2006-08-24 Sims William Jr Method for providing 3d models
US20060212150A1 (en) * 2005-02-18 2006-09-21 Sims William Jr Method of providing 3D models
US20070069001A1 (en) * 2005-09-28 2007-03-29 Ward/Kraft Consumable food product container having removable premium for use in customer retention
US7698014B2 (en) * 2006-01-20 2010-04-13 3M Innovative Properties Company Local enforcement of accuracy in fabricated models
JP2009048305A (ja) 2007-08-15 2009-03-05 Nara Institute Of Science & Technology 形状解析プログラム及び形状解析装置
ITMI20071906A1 (it) * 2007-10-04 2009-04-05 Grafica Pozzoli Spa Procedimento per la realizzazione di un contenitore in cartoncino.
US8175734B2 (en) * 2009-10-08 2012-05-08 3D M. T. P. Ltd. Methods and system for enabling printing three-dimensional object models

Also Published As

Publication number Publication date
US9764583B2 (en) 2017-09-19
CN102821970B (zh) 2015-12-02
JP2013524308A (ja) 2013-06-17
KR20130001290A (ko) 2013-01-03
EP2368720A1 (en) 2011-09-28
KR101494064B1 (ko) 2015-02-16
US20130016379A1 (en) 2013-01-17
EP2368720B1 (en) 2018-10-24
WO2011117070A1 (en) 2011-09-29
CN102821970A (zh) 2012-12-12

Similar Documents

Publication Publication Date Title
JP5591394B2 (ja) 仮想物体を現実の物理物体に変換する方法
US9734628B2 (en) Techniques for processing reconstructed three-dimensional image data
EP2852935B1 (en) Systems and methods for generating a 3-d model of a user for a virtual try-on product
KR20220150853A (ko) 학습기반 3d 모델 생성 장치 및 방법
JP2022503647A (ja) クロスドメイン画像変換
CN104504423B (zh) Ar增强现实立体防伪系统及其方法
US20160086365A1 (en) Systems and methods for the conversion of images into personalized animations
CN107392974A (zh) 图片生成方法、装置以及终端设备
Figueroa et al. From sense to print: Towards automatic 3D printing from 3D sensing devices
KR102068993B1 (ko) 다시점 영상 정합을 이용한 아바타 생성 방법 및 장치
CN110573992B (zh) 使用增强现实和虚拟现实编辑增强现实体验
CN108668050A (zh) 基于虚拟现实的视频拍摄方法和装置
CN107451953A (zh) 一种合影照片生成方法及其装置、电子设备
CN107633228A (zh) 视频数据处理方法及装置、计算设备
WO2022241085A1 (en) System and method for making a custom miniature figurine using a three-dimensional (3d) scanned image and a pre-sculpted body
TWM321184U (en) Image processing device
CN110163794B (zh) 图像的转换方法、装置、存储介质和电子装置
JP2006107145A (ja) 顔形状モデリングシステムおよび顔形状モデリング方法
CN107016678A (zh) 一种绘画课堂互动管理方法及系统
JP2021086462A (ja) データ生成方法、データ生成装置、モデル生成方法、モデル生成装置及びプログラム
Xaba et al. The Impact of 4IR technologies in Visual Art
US20190072934A1 (en) Parametric portraiture design and customization system
Chen et al. Micro-scale manufacture of 3D printing
JP6503857B2 (ja) 三次元造形物作成装置
US20160071329A1 (en) Customized Video Creation System

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131025

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140625

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20140703

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140722

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140729

R150 Certificate of patent or registration of utility model

Ref document number: 5591394

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees