JP2024506763A - 3次元仮想モデル提供方法およびそのための3次元仮想モデル提供システム - Google Patents
3次元仮想モデル提供方法およびそのための3次元仮想モデル提供システム Download PDFInfo
- Publication number
- JP2024506763A JP2024506763A JP2022564794A JP2022564794A JP2024506763A JP 2024506763 A JP2024506763 A JP 2024506763A JP 2022564794 A JP2022564794 A JP 2022564794A JP 2022564794 A JP2022564794 A JP 2022564794A JP 2024506763 A JP2024506763 A JP 2024506763A
- Authority
- JP
- Japan
- Prior art keywords
- point
- shooting
- user terminal
- generated
- hue
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 41
- 230000008859 change Effects 0.000 claims description 19
- 238000010586 diagram Methods 0.000 abstract description 28
- 238000004891 communication Methods 0.000 description 29
- 238000005259 measurement Methods 0.000 description 22
- 230000006870 function Effects 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Architecture (AREA)
- Multimedia (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
- Image Generation (AREA)
Abstract
Description
デジタルツインまたはメタバス(metaverse)はこのように現実空間を基盤として仮想空間を提供する技術に基礎とする。
本出願の課題は以上で言及した課題に制限されず、言及されていないさらに他の課題は下記の記載から当業者に明確に理解され得る。
本出願の効果は以上で言及した効果に制限されず、言及されていないさらに他の効果は請求範囲の記載から当業者に明確に理解され得る。
3次元仮想モデル提供システムはユーザ端末200、駆動型撮影補助装置200およびサーバー300を含むことができる。
ユーザ端末200は室内空間の各撮影地点で撮影データセットを生成するための電子機器であって、カメラおよび距離測定センサを含む携帯型電子機器である。
ユーザ端末200は駆動型補助装置100の上部に固定され得、駆動型補助装置100はユーザ端末200が据え置かれた回転部を回転させることによって、ユーザ端末200が360度撮影可能なように動作することができる。
端末据置台100は回転部110および本体部120を含むことができる。
制御部122は通信部123を通じて受信された制御信号に対応して、モータ部121を駆動して、回転部110の駆動を制御することができる。
慣性測定センサ230はユーザ端末200の慣性的特徴を感知し、感知された状態に対応する電気信号またはデータ値を生成することができる。
図5および図6を参照して、ユーザ端末で遂行される撮影データセット生成方法について説明する。
プロセッサ330はユーザ端末200から現実室内空間内の複数の撮影地点それぞれに対する複数の撮影データセットを受信することができる(S901)。
ここで、ポイントグループはそれぞれの撮影地点ごとに個別的に生成され得る。
プロセッサ330はそれぞれの色相イメージの撮影位置に対する情報を有しているので、それぞれの色相イメージでの各客体と3Dメッシュモデルの各客体を互いに投影してマッピングすることができる。したがって、このような2次元色相イメージと3次元メッシュモデルの投影マッピングに基づいて、該当フェースに対応する2次元色相イメージでのローカル領域を選択することができる。
プロセッサ330は、このような室内の各撮影地点での撮影環境による色相差を補正するために、カラー調整を遂行できる(S1004)。
図12aおよび図12bは同一の被写体に撮影したが、図12bでは陰影による色相変化が発生した例を図示している。
プロセッサ330は第1フェースに関連した複数の色相イメージに対して、解像度に対する第2加重値要素をそれぞれ算定することができる。
プロセッサ330は第1フェースに関連した複数の色相イメージに対して、カラーノイズに対する第3加重値要素をそれぞれ算定することができる。
プロセッサ330はカラーノイズが少ないほど高い第3加重値要素が付与されるようにすることができる。
110:回転部
120:本体部
121:モータ部
122:制御部
123:通信部
200:ユーザ端末
210:カメラ
220:距離測定センサ
230:慣性測定センサ
240:通信モジュール
250:プロセッサ
260:メモリ
300:サーバー
310:通信モジュール
320:プロセッサ
330:メモリ
Claims (14)
- 現実室内空間内の複数の撮影地点の各地点で、以前の撮影地点から該当撮影地点までの相対的移動情報を導き出して該当撮影地点に対する位置情報を生成し、該当撮影地点を基準として生成された360度色相イメージおよび360度深度マップイメージを生成して該当撮影地点に対する撮影データセットを生成するユーザ端末;および
前記ユーザ端末から前記現実室内空間内の複数の撮影地点それぞれに対する複数の撮影データセットを受信し、前記複数の撮影地点の各撮影地点で生成された360度色相イメージと360度深度マップイメージを単位ピクセルの位置別に関連させて、各単位ピクセル別に距離値および色相値を設定してポイントグループを生成するサーバー;を含み、
前記ポイントグループはそれぞれの撮影地点ごとに個別的に生成され、
前記サーバーは、前記複数の撮影地点ごとにそれぞれ個別的に生成された複数のポイントグループを前記位置情報を基準として位置的に関連させて一つの統合ポイントグループを形成し、前記統合ポイントグループに基づいて3次元仮想モデルを生成する
ことを特徴とする3次元仮想モデル提供システム。 - 前記3次元仮想モデル提供システムは、
前記ユーザ端末が据え置かれ、前記ユーザ端末の制御により動作して前記ユーザ端末の撮影方向を360度で回転させる駆動型撮影補助装置;をさらに含む
請求項1に記載の3次元仮想モデル提供システム。 - 前記ユーザ端末は、
いずれか一撮影地点で、前記駆動型撮影補助装置の動作を制御して前記ユーザ端末の撮影方向が360度で第1回転するように制御して前記いずれか一撮影地点での360度色相イメージを生成し、
前記駆動型撮影補助装置の動作を制御して前記ユーザ端末の撮影方向が360度で第2回転するように制御して前記いずれか一撮影地点での360度深度マップイメージを生成する
請求項2に記載の3次元仮想モデル提供システム。 - 前記ユーザ端末は、
前記以前の撮影地点から前記該当撮影地点までの前方映像の変化および慣性センシングデータの変化量に基づいて、前記以前の撮影地点から前記該当撮影地点までの相対的な位置変化を生成して前記相対的移動情報として設定する
請求項2に記載の3次元仮想モデル提供システム。 - 前記複数のポイントグループは
それぞれの撮影地点ごとに個別的に独立座標系を基準として生成され、
前記サーバーは、
それぞれ独立座標系を基準として生成された前記複数のポイントグループを前記位置情報に基づいて一つの統合的な絶対座標系に配置して前記統合ポイントグループを形成する
請求項1に記載の3次元仮想モデル提供システム。 - 前記サーバーは、
前記統合ポイントグループに基づいて3次元メッシュモデルを生成し、生成された3次元メッシュモデルに含まれた複数のフェースそれぞれを360度色相イメージを利用してテクスチャリングして前記3次元仮想モデルを生成する
請求項1に記載の3次元仮想モデル提供システム。 - 前記サーバーは、
前記3次元メッシュモデルに含まれた複数のフェースのうち360度色相イメージに対応しないためホール(Hole)として残っている少なくとも一つのフェースに対して、前記ポイントグループのポイント色相に基づいて色相を設定する
請求項6に記載の3次元仮想モデル提供システム。 - ユーザ端末および前記ユーザ端末と連動して現実室内空間に対応する仮想の3次元モデルを提供するサーバーを含むシステムで遂行される3次元モデル生成方法であって、
前記ユーザ端末が、前記現実室内空間内の複数の撮影地点それぞれで複数の撮影データセットを生成して前記サーバーに提供する段階;
-撮影データセットは、前記複数の撮影地点のうちいずれか一撮影地点を基準として生成された360度色相イメージ、前記いずれか一撮影地点を基準として生成された360度深度マップイメージおよび以前の撮影地点から前記いずれか一撮影地点までの相対的移動情報に基づいて導き出される位置情報を含む-
前記サーバーが、前記複数の撮影地点の各撮影地点で生成された360度色相イメージと360度深度マップイメージを単位ピクセルの位置別に関連させて、各単位ピクセル別に距離値および色相値を設定してポイントグループを生成-前記ポイントグループはそれぞれの撮影地点ごとに個別的に生成される-する段階;および
前記サーバーが、前記複数の撮影地点ごとに個別的に生成された複数のポイントグループを前記位置情報を基準として位置的に関連させて一つの統合ポイントグループを形成する段階;を含む
ことを特徴とする3次元モデル生成方法。 - 前記システムは、
前記ユーザ端末が据え置かれ、前記ユーザ端末の制御により動作して前記ユーザ端末の撮影方向を360度で回転させる駆動型撮影補助装置;をさらに含む
請求項8に記載の3次元モデル生成方法。 - 前記ユーザ端末が前記現実室内空間内の複数の撮影地点それぞれで複数の撮影データセットを生成して前記サーバーに提供する段階は、
前記ユーザ端末が、いずれか一撮影地点で、前記駆動型撮影補助装置の動作を制御して前記ユーザ端末の撮影方向が360度で第1回転するように制御して前記いずれか一撮影地点での360度色相イメージを生成する段階;および
前記ユーザ端末が、前記駆動型撮影補助装置の動作を制御して前記ユーザ端末の撮影方向が360度で第2回転するように制御して前記いずれか一撮影地点での360度深度マップイメージを生成する段階;を含む
請求項9に記載の3次元モデル生成方法。 - 前記ユーザ端末が前記現実室内空間内の複数の撮影地点それぞれで複数の撮影データセットを生成して前記サーバーに提供する段階は、
前記以前の撮影地点から前記該当撮影地点までの前方映像の変化および慣性センシングデータの変化量に基づいて、前記以前の撮影地点から前記該当撮影地点までの相対的な位置変化を生成して前記相対的移動情報として設定する段階;をさらに含む
請求項10に記載の3次元モデル生成方法。 - 前記複数のポイントグループは
それぞれの撮影地点ごとに個別的に独立座標系を基準として生成され、
前記サーバーは、
それぞれ独立座標系を基準として生成された前記複数のポイントグループを前記位置情報に基づいて一つの統合的な絶対座標系に配置して前記統合ポイントグループを形成する
請求項7に記載の3次元モデル生成方法。 - 前記3次元モデル生成方法は、
前記サーバーが、前記統合ポイントグループに基づいて3次元メッシュモデルを生成し、生成された3次元メッシュモデルに含まれた複数のフェースそれぞれを360度色相イメージを利用してテクスチャリングして前記3次元仮想モデルを生成する段階;をさらに含む
請求項7に記載の3次元モデル生成方法。 - 前記3次元モデル生成方法は、
前記3次元メッシュモデルに含まれた複数のフェースのうち360度色相イメージに対応しないためホール(Hole)として残っている少なくとも一つのフェースに対して、前記ポイントグループのポイント色相に基づいて色相を設定する段階;をさらに含む
請求項13に記載の3次元モデル生成方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2021-0193635 | 2021-12-31 | ||
KR1020210193635A KR102600420B1 (ko) | 2021-12-31 | 2021-12-31 | 3차원 가상모델 제공 방법 및 그를 위한 3차원 가상모델 제공 시스템 |
PCT/KR2022/010580 WO2023128100A1 (ko) | 2021-12-31 | 2022-07-20 | 3차원 가상모델 제공 방법 및 그를 위한 3차원 가상모델 제공 시스템 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024506763A true JP2024506763A (ja) | 2024-02-15 |
Family
ID=86999461
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022564794A Pending JP2024506763A (ja) | 2021-12-31 | 2022-07-20 | 3次元仮想モデル提供方法およびそのための3次元仮想モデル提供システム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20240221313A1 (ja) |
JP (1) | JP2024506763A (ja) |
KR (2) | KR102600420B1 (ja) |
WO (1) | WO2023128100A1 (ja) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006053694A (ja) * | 2004-08-10 | 2006-02-23 | Riyuukoku Univ | 空間シミュレータ、空間シミュレート方法、空間シミュレートプログラム、記録媒体 |
KR101835434B1 (ko) * | 2015-07-08 | 2018-03-09 | 고려대학교 산학협력단 | 투영 이미지 생성 방법 및 그 장치, 이미지 픽셀과 깊이값간의 매핑 방법 |
KR102526700B1 (ko) * | 2018-12-12 | 2023-04-28 | 삼성전자주식회사 | 전자 장치 및 그의 3d 이미지 표시 방법 |
KR20200082441A (ko) * | 2018-12-28 | 2020-07-08 | 주식회사 시스템팩토리 | 촬영영상을 이용한 실내공간 실측 시스템 |
KR20210050366A (ko) * | 2019-10-28 | 2021-05-07 | 에스케이텔레콤 주식회사 | 촬영 위치 결정 장치 및 방법 |
-
2021
- 2021-12-31 KR KR1020210193635A patent/KR102600420B1/ko active IP Right Grant
-
2022
- 2022-07-20 US US17/922,054 patent/US20240221313A1/en active Pending
- 2022-07-20 JP JP2022564794A patent/JP2024506763A/ja active Pending
- 2022-07-20 WO PCT/KR2022/010580 patent/WO2023128100A1/ko active Application Filing
-
2023
- 2023-11-03 KR KR1020230151137A patent/KR20230157275A/ko active Application Filing
Also Published As
Publication number | Publication date |
---|---|
KR102600420B1 (ko) | 2023-11-09 |
WO2023128100A1 (ko) | 2023-07-06 |
US20240221313A1 (en) | 2024-07-04 |
KR20230157275A (ko) | 2023-11-16 |
KR20230103054A (ko) | 2023-07-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI782332B (zh) | 一種擴增實境資料呈現方法、設備及儲存媒體 | |
US9736451B1 (en) | Efficient dense stereo computation | |
WO2019049421A1 (ja) | キャリブレーション装置、キャリブレーションシステム、およびキャリブレーション方法 | |
JP5093053B2 (ja) | 電子カメラ | |
CN111862179A (zh) | 三维对象建模方法与设备、图像处理装置及介质 | |
US8803880B2 (en) | Image-based lighting simulation for objects | |
CN111161336B (zh) | 三维重建方法、三维重建装置和计算机可读存储介质 | |
CN111145294B (zh) | 二维户型图构建方法及装置、存储介质 | |
EP2807629A1 (en) | Mobile device configured to compute 3d models based on motion sensor data | |
US8509522B2 (en) | Camera translation using rotation from device | |
CN107077719B (zh) | 数码照片中基于深度图的透视校正 | |
Yeh et al. | 3D reconstruction and visual SLAM of indoor scenes for augmented reality application | |
Nyland et al. | The impact of dense range data on computer graphics | |
CN113129346B (zh) | 深度信息获取方法和装置、电子设备和存储介质 | |
JP4896762B2 (ja) | 画像処理装置および画像処理プログラム | |
JP2024506763A (ja) | 3次元仮想モデル提供方法およびそのための3次元仮想モデル提供システム | |
KR101963449B1 (ko) | 360°비디오 생성 시스템 및 방법 | |
EP3882846B1 (en) | Method and device for collecting images of a scene for generating virtual reality data | |
JP7415496B2 (ja) | 画像処理装置、プログラム及び画像処理システム | |
US11315346B2 (en) | Method for producing augmented reality image | |
JP7498517B2 (ja) | 3次元仮想モデル生成のためのテクスチャリング方法およびそのためのコンピューティング装置 | |
JP2017162192A (ja) | 画像処理プログラム、画像処理装置、画像処理システム、及び画像処理方法 | |
JP2020204973A (ja) | 情報処理装置、プログラム及び情報処理システム | |
KR20240045736A (ko) | 3차원 가상모델 생성 방법 및 그를 위한 컴퓨팅 장치 | |
KR20230103198A (ko) | 3차원 가상모델 생성을 위한 텍스처링 방법 및 그를 위한 컴퓨팅 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221025 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240220 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240520 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240528 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240626 |