WO2025253553A1 - 三次元再構成装置 - Google Patents

三次元再構成装置

Info

Publication number
WO2025253553A1
WO2025253553A1 PCT/JP2024/020563 JP2024020563W WO2025253553A1 WO 2025253553 A1 WO2025253553 A1 WO 2025253553A1 JP 2024020563 W JP2024020563 W JP 2024020563W WO 2025253553 A1 WO2025253553 A1 WO 2025253553A1
Authority
WO
WIPO (PCT)
Prior art keywords
point cloud
point
internal space
corner
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2024/020563
Other languages
English (en)
French (fr)
Inventor
みずき 田端
潤一郎 玉松
良 牧野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
NTT Inc USA
Original Assignee
Nippon Telegraph and Telephone Corp
NTT Inc USA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp, NTT Inc USA filed Critical Nippon Telegraph and Telephone Corp
Priority to PCT/JP2024/020563 priority Critical patent/WO2025253553A1/ja
Publication of WO2025253553A1 publication Critical patent/WO2025253553A1/ja
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery

Definitions

  • This disclosure relates to a three-dimensional reconstruction device.
  • Layout estimation is an image processing task that estimates the three-dimensional configuration of a structure's interior space (three-dimensional reconstruction) from a panoramic image of the interior space.
  • Layout estimation typically involves detecting the walls of a structure's interior space and estimating the shape of the interior space from the wall detection results (see non-patent documents 1-3).
  • a commonly used method of this type is to detect walls by estimating the boundaries between the walls and the ceiling and floor, as well as the positions of corners where walls intersect, from a panoramic image (see non-patent documents 2 and 3). After detecting the walls, three-dimensional data of the interior space can be obtained (the three-dimensional configuration of the interior space can be reconstructed) by performing post-processing.
  • the panoramic image can be texture-mapped onto the 3D data created from the drawings by registering (aligning) the 3D data obtained by layout estimation with the 3D data created from the drawings.
  • One registration method is to assign weights to pairs of corresponding points between point groups that contain noise or occlusions (see Non-Patent Document 4).
  • One such method assigns uniform weights to pairs of corresponding points.
  • Another method approximates the distribution of nearby points for each pair of corresponding points with an ellipsoid, and assigns weights based on the volumetric difference of the ellipsoids.
  • Methods that assign uniform weights to pairs of corresponding points have the problem of lacking accuracy. Furthermore, methods that approximate the distribution of nearby points for each pair of corresponding points with an ellipsoid and assign weights based on the volume difference of the ellipsoid have the problem of high computational costs.
  • the purpose of this disclosure is to provide a 3D reconstruction device that can reduce the computational load while ensuring the accuracy of 3D reconstruction.
  • a 3D reconstruction device that performs 3D reconstruction of an internal space of a structure from a panoramic image captured of the internal space, the 3D reconstruction device including: an estimating unit that estimates, in the panoramic image, positions of boundaries between wall surfaces of the internal space and each of a ceiling and a floor surface, and the existence probability of a corner where the wall surfaces of the internal space intersect; a calculating unit that calculates weights for each pair (p i , q i ) of point p i and point q i based on a distribution shape of the existence probability of the corner at point p i constituting the source point cloud and a distribution shape of the existence probability of the corner at point q i constituting the target point cloud corresponding to point p i ; and a calculating unit that calculates a transformation matrix that transforms the source point cloud into the target point cloud based on the weighted distance of each pair ( p i , q
  • the 3D reconstruction device disclosed herein can reduce the computational load while ensuring the accuracy of 3D reconstruction.
  • FIG. 1 is a diagram illustrating an example of the configuration of a three-dimensional reconstruction device according to an embodiment of the present disclosure.
  • FIG. 1 is a diagram illustrating an example of a panoramic image.
  • 2 is a diagram showing an example of an estimation result of an estimation unit shown in FIG. 1 ;
  • 2 is a diagram for explaining the operation of a calculation unit shown in FIG. 1;
  • FIG. 2 is a flowchart showing an example of the operation of the three-dimensional reconstruction apparatus shown in FIG. 1 .
  • FIG. 1 is a diagram illustrating an example of the configuration of a computer that functions as a three-dimensional reconstruction apparatus according to the present disclosure.
  • FIG. 1 is a diagram illustrating an example configuration of a 3D reconstruction device 10 according to an embodiment of the present disclosure.
  • the 3D reconstruction device 10 according to the present disclosure performs 3D reconstruction of an internal space (indoor space) of a structure from a panoramic image of the internal space, as shown in FIG. 2A.
  • a panoramic image is, for example, an image obtained by capturing the internal space of a structure using a camera or the like at angles ranging from -90° to +90° in the up and down direction along the vertical direction, and at angles ranging from 0° to 360° in the left and right direction along the horizontal direction.
  • the three-dimensional reconstruction device 10 includes an estimation unit 11, a calculation unit 12, and a reconstruction unit 13.
  • the estimation unit 11 receives a panoramic image of the interior space of a structure.
  • the estimation unit 11 estimates the positions of the boundaries between the walls of the interior space and the ceiling and floor, as well as the positions of the corners where the walls of the interior space intersect, in the input panoramic image.
  • Methods for estimating the positions of wall boundaries and corners include neural network-based methods such as HorizonNet, described in Non-Patent Document 2, or LED2-Net, described in Non-Patent Document 3.
  • Figure 2B shows an example of the results of estimating the positions of wall boundaries and corners using HorizonNet.
  • HorizonNet estimates the positions of wall boundaries as the coordinates of the wall boundaries in the height direction (the coordinates of the boundary between the wall and ceiling and the coordinates of the boundary between the wall and floor) at each pixel position in the width direction of the panoramic image.
  • HorizonNet estimates the positions of corners as the probability of corner existence at each pixel position in the width direction of the panoramic image.
  • HorizonNet outputs three values for each pixel (the image coordinate in the height direction of the boundary between the wall and ceiling, the image coordinate in the height direction of the boundary between the wall and floor, and the probability of corner existence).
  • the estimation unit 11 estimates the positions of the boundaries and corners of the wall surface (probability of the existence of corners) using, for example, a neural network such as the above-mentioned HorizonNet or LED2-Net.
  • the estimation unit 11 outputs the estimation results of the boundary positions of the wall surfaces to the calculation unit 12 and the reconstruction unit 13.
  • the estimation unit 11 also outputs the estimation results of the corner positions (probability of corner existence) to the calculation unit 12.
  • the calculation unit 12 receives the estimated results of the wall boundary positions and the corner positions from the estimation unit 11.
  • the calculation unit 12 also receives a drawing of the interior space of the structure.
  • the drawing may be, for example, a completion drawing of the target structure.
  • the calculation unit 12 generates a point cloud (source point cloud) by converting the boundary coordinates estimated by the estimation unit 11 into three-dimensional coordinates. The generation of the source point cloud is described below.
  • the long side direction (width direction) of the panoramic image is the u-axis direction
  • the short side direction (height direction) of the panoramic image is the v-axis direction.
  • the direction along the wall surface of the interior space of the structure is the Y-direction
  • the direction perpendicular to the Y-direction is the X-direction
  • the direction perpendicular to the X- and Y-directions is the Z-direction.
  • the X- and Z-directions are directions along the floor and ceiling of the interior space of the structure.
  • the image coordinates of a point constituting the boundary between the wall surface and the floor surface are (u, v), and the image coordinates of a point constituting the boundary between the ceiling and the wall surface are (u, u).
  • the height from the floor surface to the position of the camera capturing the panoramic image is h. Note that h is assumed to be known.
  • the calculation unit 12 calculates the three-dimensional coordinates (x, y, z) of the point constituting the boundary between the wall surface and the floor surface and the three-dimensional coordinates (x, y, z) of the coordinate point constituting the boundary between the ceiling and the wall surface based on the following equations.
  • the calculation unit 12 calculates the three-dimensional coordinates for each pixel constituting the boundary extending in the width direction of the panoramic image, for example.
  • floor_d
  • ceil_d
  • the calculation unit 12 also generates a three-dimensional point cloud (target point cloud) indicating the boundaries of the wall surfaces from the input drawing of the internal space of the structure.
  • the calculation unit 12 then calculates a weight wi for each pair (pi, qi) of point p i and point q i based on the distribution shape of the existence probability of a corner at point p i constituting the source point cloud and the distribution shape of the existence probability of a corner at point q i constituting the target point cloud corresponding to point p i .
  • the calculation of the weight wi for the pair ( pi , qi ) by the calculation unit 12 will be described below.
  • the calculation unit 12 sets the closest point among the points constituting the target point cloud to point p i constituting the source point cloud as point q i corresponding to point p i .
  • the calculation unit 12 evaluates the difference between the distribution shape of the corner existence probability at point p i and the distribution shape of the corner existence probability at point q i to calculate the weight wi of the pair (p i , q i ).
  • the probability of a corner existing is defined as C
  • the calculation unit 12 calculates the distribution shape of the corner existing probability at points p i and q i according to the above-mentioned definition.
  • the calculation unit 12 evaluates the difference between the distribution shape (estimated value) of the corner existence probability at point p i and the distribution shape (true value) of the corner existence probability at point q i . Specifically, the calculation unit 12 normalizes the corner existence probability in an arbitrary region around the corner, and compares the distribution shape (estimated value) of the corner existence probability at point p i with the distribution shape (true value) of the corner existence probability at point q i using Kullback-Leibler (KL) divergence, Jensen-Shannon (JS) divergence, or Wasserstein distance.
  • KL Kullback-Leibler
  • JS Jensen-Shannon
  • the calculation unit 12 normalizes the distribution shape of the corner existence probability at point p i and the distribution shape of the corner existence probability at point q i to f p (x) and f q (x), respectively, using the following equation (1), where ⁇ X is an arbitrary constant.
  • the calculation unit 12 evaluates the difference between the distribution shape f p (x) of the corner existence probability at the normalized point p i and the distribution shape f q (x) of the corner existence probability at the normalized point q i, as shown in Fig. 3. Specifically, the calculation unit 12 calculates the KL divergence D using the following equation (2).
  • the calculation unit 12 determines the inverse of the calculated KL divergence D, that is, 1/D, as the weight w i of the pair (p i , q i ).
  • the calculation of the weight w of the pair ( p , q ) takes into account only the uncertainty of the probability of the corner existing near the corner, so the calculation unit 12 can determine the weight w of the pair ( p , q ) at each position in the width direction of the panoramic image by linearly interpolating the weight w of the pair ( p , q ) at the corner, for example.
  • the calculation unit 12 defines a point cloud obtained by converting the coordinates of the estimated boundary into three-dimensional coordinates as the Source point cloud, and a three-dimensional point cloud indicating the boundary created from a drawing of the internal space of the structure as the Target point cloud.Based on the distribution shape of the probability of existence of a corner at point p i constituting the Source point cloud and the distribution shape of the probability of existence of a corner at point q i constituting the Target point cloud corresponding to point p i , calculates the weight w i for each pair of point p i and point q i (p i , q i ).
  • the above-described method of calculating the weight w i of a pair (p i , q i ) based on the distribution shape of the corner existence probability at points p i and q i requires less computational effort than, for example, a method of approximating the distribution of neighboring points with an ellipsoid for each pair of corresponding points and assigning a weight based on the volume difference of the ellipsoids, etc. Therefore, the 3D reconstruction device 10 according to this embodiment can reduce the computational load.
  • the calculation unit 12 calculates, for each point p i constituting the source point cloud, the weight w i of each pair (p i , q i ) that includes the point p i , and outputs the pair (p i , q i ) and the weight w i of the pair (p i , q i ) to the reconstruction unit 13.
  • the reconstruction unit 13 calculates a transformation matrix T(R, t) that transforms the source point cloud into the target point cloud based on the weighted distances of each pair (p i , q i ).
  • R is a rotation matrix
  • t is a translation vector.
  • the reconstruction unit 13 calculates the transformation matrix T that minimizes the sum of squares of the weighted distances of each pair (p i , q i ), as shown in equation (3).
  • the reconstruction unit 13 calculates the transformation matrix T(R, t) by solving equation (3), for example, using singular value decomposition.
  • the reconstruction unit 13 After calculating the transformation matrix T(R, t), the reconstruction unit 13 transforms the coordinates of the points p i constituting the source point cloud using the calculated transformation matrix T(R, t) to obtain three-dimensional data of the internal space (reconstructs the internal space).
  • the three-dimensional reconstruction device 10 can reduce the computational load while ensuring the accuracy of three-dimensional reconstruction.
  • FIG. 4 is a flowchart showing an example of the operation of the three-dimensional reconstruction device 10 according to this embodiment, and is a diagram for explaining the three-dimensional reconstruction method executed by the three-dimensional reconstruction device 10.
  • the estimation unit 11 estimates the positions of the boundaries between the walls of the interior space of the structure and the ceiling and floor in the input panoramic image, as well as the probability of the existence of corners where the walls of the interior space intersect (step S11).
  • the calculation unit 12 calculates the weight of the pair (pi, qi) of points p i and q i based on the distribution shape of the existence probability of the corner at point p i that constitutes the Source point cloud obtained by converting the coordinates of the estimated boundary into three-dimensional coordinates, and the distribution shape of the existence probability of the corner at point q i that constitutes the Target point cloud that indicates the boundary created from a drawing of the internal space of the structure and corresponds to point p i (step S12 ).
  • the reconstruction unit 13 calculates a transformation matrix T(R, t) that transforms the source point cloud into the target point cloud based on the weighted distance of each pair (p i , q i ), and transforms the coordinates of points p i that make up the source point cloud using the calculated transformation matrix T(R, t) to perform three-dimensional reconstruction of the internal space of the structure (step S13).
  • the 3D reconstruction device 10 includes an estimation unit 11, a calculation unit 12, and a reconstruction unit 13.
  • the estimation unit 11 estimates the positions of boundaries between the wall surfaces of the internal space and the ceiling and floor surfaces, respectively, in a panoramic image capturing the internal space of a structure, and the probability of the existence of a corner where the wall surfaces of the internal space intersect.
  • the calculation unit 12 calculates a weight for each pair (p i , q i ) of point p i and point q i based on the distribution shape of the probability of the existence of a corner at point p i constituting a source point cloud obtained by converting the coordinates of the estimated boundary into three-dimensional coordinates, and the distribution shape of the probability of the existence of a corner at point q i constituting a three-dimensional target point cloud corresponding to point p i and indicating the boundary created from a drawing of the internal space of the structure .
  • the reconstruction unit 13 calculates a transformation matrix T(R, t) that transforms the source point cloud into the target point cloud based on the weighted distance of each pair (p i , q i ), and transforms the coordinates of points p i that make up the source point cloud using the calculated transformation matrix T(R, t) to perform three-dimensional reconstruction of the internal space.
  • the 3D reconstruction device 10 can reduce the calculation load while ensuring the accuracy of 3D reconstruction.
  • the above-mentioned three-dimensional reconstruction device 10 can be realized by a computer 20 shown in Figure 5.
  • a program for causing the computer 20 to function as the three-dimensional reconstruction device 10 may be provided.
  • the program may also be stored on a storage medium or provided via a network.
  • Figure 5 is a block diagram showing the general configuration of a computer 20 that functions as the three-dimensional reconstruction device 10.
  • the computer 20 may be a general-purpose computer, a dedicated computer, a workstation, a PC (Personal Computer), an electronic notepad, etc.
  • the program instructions may be program code, code segments, etc. for performing the required tasks.
  • the computer 20 has a processor 21, a ROM (Read Only Memory) 22, a RAM (Random Access Memory) 23, storage 24, an input unit 25, a display unit 26, and a communication interface (I/F) 27.
  • Each component is connected to each other via a bus 29 so that they can communicate with each other.
  • the processor 21 is specifically a CPU (Central Processing Unit), MPU (Micro Processing Unit), GPU (Graphics Processing Unit), DSP (Digital Signal Processor), SoC (System on a Chip), etc., and may be composed of multiple processors of the same or different types.
  • the processor 21 is a control unit that controls each component and performs various calculation processes. That is, the processor 21 reads a program from the ROM 22 or the storage 24 and executes the program using the RAM 23 as a working area. The processor 21 controls each component and performs various calculation processes in accordance with the program stored in the ROM 22 or the storage 24. In this embodiment, the ROM 22 or the storage 24 stores a program for operating the computer 20 as the three-dimensional reconstruction device 10 according to the present disclosure. The processor 21 reads and executes the program to realize the estimation unit 11, calculation unit 12, and reconstruction unit 13 of the three-dimensional reconstruction device 10.
  • the program may be provided in a form stored on a non-transitory storage medium such as a CD-ROM (Compact Disk Read Only Memory), a DVD-ROM (Digital Versatile Disk Read Only Memory), or a USB (Universal Serial Bus) memory.
  • the program may also be provided in a form that can be downloaded from an external device via a network.
  • ROM 22 stores various programs and data.
  • RAM 23 temporarily stores programs or data as a working area.
  • Storage 24 is composed of an HDD (Hard Disk Drive) or SSD (Solid State Drive), and stores various programs and data, including the operating system.
  • HDD Hard Disk Drive
  • SSD Solid State Drive
  • the input unit 25 includes a pointing device such as a mouse and a keyboard, and is used to perform various inputs.
  • the display unit 26 is, for example, a liquid crystal display, and displays various types of information.
  • the display unit 26 may also function as the input unit 25 by employing a touch panel system.
  • the display unit 26 displays, for example, the results of three-dimensional reconstruction of the internal space of the structure by the reconstruction unit 13.
  • the communication interface 27 is an interface for communicating with other devices, such as an interface for a LAN.
  • a three-dimensional reconstruction device that performs three-dimensional reconstruction of an internal space of a structure from a panoramic image of the internal space, A control unit is provided, The control unit Estimating positions of boundaries between the wall surfaces of the interior space and the ceiling and between the wall surfaces of the interior space and the floor surface, and the probability of existence of corners where the wall surfaces of the interior space intersect with each other in the panoramic image; A point cloud obtained by converting the coordinates of the estimated boundary into three-dimensional coordinates is defined as a source point cloud, and a three-dimensional point cloud indicating the boundary created from a drawing of the internal space of the structure is defined as a target point cloud.
  • a weight is calculated for each pair (p i , q i ) of point p i and point q i ; a transformation matrix that transforms the source point cloud into the target point cloud based on the weighted distance of each of the pairs (p i , q i ), and transforms the coordinates of point p i that constitutes the source point cloud using the calculated transformation matrix, thereby performing three-dimensional reconstruction of the internal space.
  • a three-dimensional reconstruction method executed by a three-dimensional reconstruction device that performs three-dimensional reconstruction of an internal space of a structure from a panoramic image of the internal space comprising: Estimating positions of boundaries between the wall surfaces of the interior space and the ceiling and between the wall surfaces of the interior space and the floor surface, and the probability of existence of corners where the wall surfaces of the interior space intersect with each other in the panoramic image;
  • a three-dimensional reconstruction method in which a point cloud obtained by converting the coordinates of the estimated boundary into three-dimensional coordinates is defined as a source point cloud, and a three-dimensional point cloud indicating the boundary created from a drawing of the internal space of the structure is defined as a target point cloud, the method calculates weights for each pair ( pi , qi) of point
  • a non-transitory storage medium storing a program executable by a computer, the non-transitory storage medium storing a program that causes the computer to operate as the three-dimensional reconstruction device described in appendix 1 or 2.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本開示に係る三次元再構成装置（１０）は、構造物の内部空間を撮像したパノラマ画像における、内部空間の壁面と天井および床面それぞれとの境界の位置、および、内部空間のコーナーの存在確率を推定する推定部（１１）と、推定された境界の座標を三次元座標に変換したSource点群構成する点piにおける前記コーナーの存在確率の分布形状、および、点piに対応する、構造物の内部空間の図面から作成された境界を示すTarget点群を構成する点qiにおけるコーナーの存在確率の分布形状に基づき、点piおよび点qiのペア（pi,qi）それぞれの重みを計算する計算部（１２）と、ペア（pi,qi）それぞれの重み付き距離に基づき、Source点群をTarget点群に変換する変換行列を計算し、計算した変換行列によりSource点群を構成する点piの座標を変換して、内部空間の三次元再構成を行う再構成部（１３）と、を備える。

Description

三次元再構成装置
　本開示は、三次元再構成装置に関する。
　レイアウト推定とは、構造物の内部空間を撮像したパノラマ画像から、当該内部空間の三次元構成を推定（三次元再構成）する画像処理タスクである。レイアウト推定は、構造物の内部空間の壁面を検出し、壁面の検出結果から内部空間の形状を推定する手法が一般的であった（非特許文献１－３参照。）。近年、このような手法の中でも、パノラマ画像から、壁面と天井および床面それぞれとの境界、および、壁面同士が交差するコーナーの位置を推定して、壁面を検出する手法が多く用いられている（非特許文献２，３参照。）。壁面を検出後、後処理を行うことで、内部空間の三次元データを得る（内部空間の三次元構成を再構成する）ことができる。
　後処理として、図面などにより構造物の内部空間の形状が既知である場合、レイアウト推定により得られた三次元データと図面から作成した三次元データとをレジストレーション（位置合わせ）することにより、パノラマ画像を図面から作成した三次元データにテクスチャマッピングすることができる。
　レジストレーション手法として、ノイズあるいは遮蔽などを含む点群同士の対応点のペアに重みを割り当てる手法がある（非特許文献４参照）。このような手法の１つとして、対応点のペアに均一な重みを割り当てる手法がある。また、別の手法として、対応点のペアごとに、近傍点分布を楕円体で近似し、楕円体の体積差などを重みとして割り当てる手法がある。
H. Izadinia et al., IM2CAD, CVPR, 2017. Sun, C., et al. HorizonNet: Learning Room Layout With 1D Representation and Pano Stretch Data Augmentation, CVPR, 2019. FE. Wang et al., LED2Net: Monocular 360 Layout Estimation via Differentiable Depth Rendering, CVPR, 2021. A. Gressin et al., Towards 3D lidar point cloud registration improvement using optimal neighborhood knowledge. ISPRS Journal of Photogrammetry and Remote Sensing(79):240-251, 2013.
　対応点のペアに均一な重みを割り当てる手法では、正確性に欠けるという問題がある。また、対応点のペアごとに、近傍点分布を楕円体で近似し、楕円体の体積差などを重みとして割り当てる手法では、計算コストが高いという問題がある。
　上記のような問題点に鑑みてなされた本開示の目的は、三次元再構成の精度を担保しつつ、計算負荷の低減を図ることができる三次元再構成装置を提供することにある。
　上記課題を解決するため、本開示に係る三次元再構成装置は、構造物の内部空間を撮像したパノラマ画像から前記内部空間の三次元再構成を行う三次元再構成装置であって、前記パノラマ画像における、前記内部空間の壁面と天井および床面それぞれとの境界の位置、および、前記内部空間の壁面同士が交差するコーナーの存在確率を推定する推定部と、前記推定された境界の座標を三次元座標に変換した点群をSource点群とし、前記構造物の内部空間の図面から作成された前記境界を示す三次元の点群をTarget点群とすると、前記Source点群を構成する点piにおける前記コーナーの存在確率の分布形状、および、前記点piに対応する前記Target点群を構成する点qiにおける前記コーナーの存在確率の分布形状に基づき、前記点piおよび前記点qiのペア（pi,qi）それぞれの重みを計算する計算部と、前記ペア（pi,qi）それぞれの重み付き距離に基づき、前記Source点群を前記Target点群に変換する変換行列を計算し、前記計算した変換行列により前記Source点群を構成する点piの座標を変換して、前記内部空間の三次元再構成を行う再構成部と、を備える。
　本開示に係る三次元再構成装置によれば、三次元再構成の精度を担保しつつ、計算負荷の低減を図ることができる。
本開示の一実施形態に係る三次元再構成装置の構成例を示す図である。 パノラマ画像の一例を示す図である。 図１に示す推定部の推定結果の一例を示す図である。 図１に示す計算部の動作を説明するための図である。 図１に示す三次元再構成装置の動作の一例を示すフローチャートである。 本開示に係る三次元再構成装置として機能するコンピュータの構成例を示す図である。
　以下、本開示の実施の形態について図面を参照して説明する。
　図１は、本開示の一実施形態に係る三次元再構成装置１０の構成例を示す図である。本開示に係る三次元再構成装置１０は、図２Ａに示すような、構造物の内部空間（屋内空間）を撮像したパノラマ画像から内部空間の三次元再構成を行うものである。パノラマ画像とは、例えば、構造物の内部空間を、カメラなどにより鉛直方向に沿った上下方向に－９０°から＋９０°までの角度で、また水平方向に沿った左右方向に０°から３６０°までの角度で撮像することで得られる画像である。
　図１に示すように、本実施形態に係る三次元再構成装置１０は、推定部１１と、計算部１２と、再構成部１３とを備える。
　推定部１１は、構造物の内部空間を撮像したパノラマ画像が入力される。推定部１１は、入力されたパノラマ画像における、内部空間の壁面と天井および床面それぞれとの境界の位置、および、内部空間の壁面同士が交差するコーナーの位置を推定する。
　壁面の境界の位置およびコーナーの位置を推定する手法としては、非特許文献２に記載されているHorizonNetあるいは非特許文献３に記載されているLED2-Netなどのニューラルネットワークを用いた手法がある。図２Ｂは、HorizonNetを用いた、壁面の境界の位置およびコーナーの位置の推定結果の一例を示す図である。HorizonNetでは、図２Ｂに示すように、壁面の境界の位置は、パノラマ画像の幅方向の各画素の位置における、高さ方向の壁面の境界の座標（壁面と天井との境界の座標および壁面と床面との境界の座標）として推定される。また、HorizonNetでは、図２Ｂに示すように、コーナーの位置は、パノラマ画像の幅方向の各画素の位置におけるコーナーの存在確率として推定される。したがって、パノラマ画像の幅方向の画素数が１０２４である場合、HorizonNetによれば、各画素に対して、３つの値（各画素における、壁面と天井との境界の高さ方向の画像座標、壁面と床面との境界の高さ方向の画像座標、および、コーナーの存在確率）が出力される。推定部１１は、例えば、上述したHorizonNetあるいはLED2-Netなどのニューラルネットワークを用いて、壁面の境界の位置およびコーナーの位置（コーナーの存在確率）を推定する。
　推定部１１は、壁面の境界の位置の推定結果を計算部１２および再構成部１３に出力する。また、推定部１１は、コーナーの位置の推定結果（コーナーの存在確率）を計算部１２に出力する。
　計算部１２は、推定部１１から、壁面の境界の位置の推定結果およびコーナーの位置の推定結果が入力される。また、計算部１２は、構造物の内部空間の図面が入力される。図面は、例えば、対象の構造物の竣工図である。
　計算部１２は、推定部１１により推定された境界の座標を三次元座標に変換した点群（Source点群）を生成する。以下では、Source点群の生成について説明する。
　パノラマ画像の長辺方向（幅方向）をｕ軸方向とし、パノラマ画像の短辺方向（高さ方向）をｖ軸方向とする。また、構造物の内部空間の壁面に沿った方向をＹ方向とし、Ｙ方向と直交する一方向をＸ方向とし、Ｘ方向およびＹ方向と直交する方向をＺ方向とする。すなわち、Ｘ方向およびＺ方向は、構造物の内部空間の床面および天井に沿った方向である。
　壁面と床面との境界を構成する点の画像座標を（ｕｆ，ｖｆ）とし、天井と壁面との境界を構成する点の画像座標を（ｕｃ，ｕｃ）とする。また、床面からパノラマ画像を撮像したカメラの位置までの高さをｈとする。なお、ｈは既知であるとする。計算部１２は、以下の式に基づき、壁面と床面との境界を構成する点の三次元座標（ｘｆ，ｙｆ，ｚｆ）および天井と壁面との境界を構成する座標点の三次元座標（ｘｃ，ｙｃ，ｚｃ）を計算する。計算部１２は、例えば、パノラマ画像の幅方向に延在する境界を構成する各画素について、三次元座標を計算する。
　floor＿ｄ＝｜ｈ／ｓｉｎ（ｖｆ）｜
　ｙｆ＝floor＿ｄ＊ｓｉｎ（ｖｆ）
　ｘｆ＝floor＿ｄ＊ｃｏｓ（ｖｆ）＊ｓｉｎ（ｕｆ）
　ｚｆ＝－floor＿ｄ＊ｃｏｓ（ｖｆ）＊ｃｏｓ（ｕｆ）
 
　ｃｅｉｌ＿ｈ＝｜ｈ／ｔａｎ（ｖｆ）＊ｔａｎ（ｖｃ）｜
　ｃｅｉｌ＿ｄ＝｜ｃｅｉｌ＿ｈ／ｓｉｎ（ｖｃ）｜
　ｙｃ＝ｃｅｉｌ＿ｄ＊ｓｉｎ（ｖｃ）
　ｘｃ＝ｃｅｉｌ＿ｄ＊ｃｏｓ（ｖｃ）＊ｓｉｎ（ｕｃ）
　ｚｃ＝－ｃｅｉｌ＿ｄ＊ｃｏｓ（ｖｃ）＊ｓｉｎ（ｕｃ）
 
　また、計算部１２は、入力された構造物の内部空間の図面から、壁面の境界を示す三次元の点群（Target点群）を生成する。そして、計算部１２は、Source点群を構成する点piにおけるコーナーの存在確率の分布形状、および、点piに対応するTarget点群を構成する点qiにおけるコーナーの存在確率の分布形状に基づき、点piおよび点qiのペア（pi,qi）それぞれの重みwiを計算する。以下では、計算部１２によるペア（pi,qi）の重みwiの計算について説明する。
　計算部１２は、Source点群を構成する点piについて、Target点群を構成する点の中で最も近い点を、点piに対応する点qiと設定する。計算部１２は、点piにおけるコーナーの存在確率の分布形状と、点qiにおけるコーナーの存在確率の分布形状との違いを評価して、ペア（pi,qi）の重みwiを計算する。
　上述したHorizonNetでは、コーナーの存在確率は、Ｃ｜Ｘ’－Ｘ｜で定義される。ここで、ｘ’は着目している点の幅方向のピクセル座標である。また、Ｘは、ｘ’に最も近いコーナーのピクセル座標の真値または推定値である。また、Ｃは、０＜Ｃ＜１を満たす定数であり、例えば、０．９０－０．９９程度の値である。計算部１２は、上述した定義に従い、点piおよび点qiにおけるコーナーの存在確率の分布形状を求める。
　次に、計算部１２は、点piにおけるコーナーの存在確率の分布形状（推定値）と、点qiにおけるコーナーの存在確率の分布形状（真値）との違いを評価する。具体的には、計算部１２は、コーナーの存在確率をコーナー周辺の任意の領域で正規化し、ＫＬ(Kullback-Leibler) ダイバージェンス、ＪＳ(Jensen-Shannon)ダイバージェンスあるいはWasserstein距離を使用して、点piにおけるコーナーの存在確率の分布形状（推定値）と、点qiにおけるコーナーの存在確率の分布形状（真値）とを比較する。以下では、ＫＬダイバージェンスを使用した場合の計算例について説明する。
　計算部１２は、以下の式（１）を用いて、点piにおけるコーナーの存在確率の分布形状および点qiにおけるコーナーの存在確率の分布形状をそれぞれ、fp(x),fq(x)に正規化する。式（１）において、ΔXは任意の定数である。
　次に、計算部１２は、図３に示すように、正規化した点piにおけるコーナーの存在確率の分布形状fp(x)と、正規化した点qiにおけるコーナーの存在確率の分布形状fq(x)との違いを評価する。具体的には、計算部１２は、以下の式（２）を用いて、ＫＬダイバージェンスＤを計算する。
　計算部１２は、計算したＫＬダイバージェンスＤの逆数、すなわち、１／Ｄをペア（pi,qi）の重みwiと決定する。
　ペア（pi,qi）の重みwiの計算は、コーナー近辺でのコーナーの存在確率の不確実性のみを考慮している。そのため、計算部１２は、例えば、パノラマ画像の幅方向の各位置におけるペア（pi,qi）の重みwiについては、コーナーでのペア（pi,qi）の重みwiの線形補間により決定することができる。
　このように、計算部１２は、推定された境界の座標を三次元座標に変換した点群をSource点群とし、構造物の内部空間の図面から作成された境界を示す三次元の点群をTarget点群とすると、Source点群を構成する点piにおけるコーナーの存在確率の分布形状、および、点piに対応するTarget点群を構成する点qiにおけるコーナーの存在確率の分布形状に基づき、点piおよび点qiのペア（pi,qi）それぞれの重みwiを計算する。
　上述したような点pi，点qiにおけるコーナーの存在確率の分布形状に基づきペア（pi,qi）の重みwiを計算する手法は、例えば、上述した対応点のペアごとに、近傍点分布を楕円体で近似し、楕円体の体積差などを重みとして割り当てる手法と比べて計算量が少ない。そのため、本実施形態に係る三次元再構成装置１０によれば、計算負荷の低減を図ることができる。
　図１を再び参照すると、計算部１２は、Source点群を構成する点piごとに、当該点piを含むペアそれぞれ（pi,qi）の重みwiを計算し、ペア（pi,qi）およびペア（pi,qi）の重みwiを再構成部１３に出力する。
　再構成部１３は、ペア（pi,qi）それぞれの重み付き距離に基づき、Source点群をTarget点群に変換する変換行列Ｔ（Ｒ，ｔ）を計算する。Ｒは回転行列であり、ｔは並進ベクトルである。再構成部１３は、式（３）に示すように、ペア（pi,qi）それぞれの重み付き距離の二乗和が最小となる変換行列Ｔを計算する。再構成部１３は、例えば、特異値分解により式（３）を解いて変換行列Ｔ（Ｒ，ｔ）を計算する。
　変換行列Ｔ（Ｒ，ｔ）を計算すると、再構成部１３は、計算した変換行列Ｔ（Ｒ，ｔ）によりSource点群を構成する点piの座標を変換して、内部空間の三次元データを取得する（内部空間を再構成する）。
　Source点群を構成する点piにおけるコーナーの存在確率の分布形状と、点piに対応するTarget点群を構成する点qiにおけるコーナーの存在確率の分布形状との違いに応じた重みwiを計算することで、レイアウト推定の不確実性を考慮した重みwiの計算が可能となる。そして、計算したペア（pi,qi）それぞれの重みwiを用いて変換行列Ｔ（Ｒ，ｔ）を計算し、計算した変換行列Ｔ（Ｒ，ｔ）によりSource点群を構成する点piの座標を変換して内部空間の三次元データを出力することで、三次元再構成の精度を担保することができる。また、上述したように、コーナーの存在確率の分布形状の違いに基づく重みwiの計算は、比較的計算量が少ない。したがって、本実施形態に係る三次元再構成装置１０によれば、三次元再構成の精度を担保しつつ、計算負荷の低減を図ることができる。
　次に、本実施形態に係る三次元再構成装置１０の動作について図４を参照して説明する。図４は、本実施形態に係る三次元再構成装置１０の動作の一例を示すフローチャートであり、三次元再構成装置１０が実行する三次元再構成方法を説明するための図である。
　推定部１１は、入力されたパノラマ画像における、構造物の内部空間の壁面と天井および床面それぞれとの境界の位置、および、内部空間の壁面同士が交差するコーナーの存在確率を推定する（ステップＳ１１）。
　計算部１２は、推定された境界の座標を三次元座標に変換したSource点群を構成する点piにおける前記コーナーの存在確率の分布形状、および、点piに対応する、構造物の内部空間の図面から作成された境界を示すTarget点群を構成する点qiにおけるコーナーの存在確率の分布形状に基づき、点piおよび点qiのペア（pi,qi）の重みを計算する（ステップＳ１２）。
　再構成部１３は、ペア（pi,qi）それぞれの重み付き距離に基づき、Source点群をTarget点群に変換する変換行列Ｔ（Ｒ，ｔ）を計算し、計算した変換行列Ｔ（Ｒ，ｔ）によりSource点群を構成する点piの座標を変換して、構造物の内部空間の三次元再構成を行う（ステップＳ１３）。
　このように本実施形態に係る三次元再構成装置１０は、推定部１１と、計算部１２と、再構成部１３とを備える。推定部１１は、構造物の内部空間を撮像したパノラマ画像における、内部空間の壁面と天井および床面それぞれとの境界の位置、および、内部空間の壁面同士が交差するコーナーの存在確率を推定する。計算部１２は、推定された境界の座標を三次元座標に変換したSource点群を構成する点piにおけるコーナーの存在確率の分布形状、および、点piに対応する、構造物の内部空間の図面から作成された境界を示す三次元のTarget点群を構成する点qiにおけるコーナーの存在確率の分布形状に基づき、点piおよび点qiのペア（pi,qi）それぞれの重みを計算する。再構成部１３は、ペア（pi,qi）それぞれの重み付き距離に基づき、Source点群をTarget点群に変換する変換行列Ｔ（Ｒ，ｔ）を計算し、計算した変換行列Ｔ（Ｒ，ｔ）によりSource点群を構成する点piの座標を変換して、内部空間の三次元再構成を行う。
　Source点群を構成する点piにおけるコーナーの存在確率の分布形状と、点piに対応するTarget点群を構成する点qiにおけるコーナーの存在確率の分布形状との違いに応じた重みwiを計算することで、レイアウト推定の不確実性を考慮した重みwiの計算が可能となる。また、コーナーの存在確率の分布形状の違いに基づく重みwiは、比較的少ない計算量で計算することができる。したがって、本実施形態に係る三次元再構成装置１０によれば、三次元再構成の精度を担保しつつ、計算負荷の低減を図ることができる。
　三次元再構成の計算負荷の低減により、パノラマ画像を実際の構造物の内部空間にマッピングするテクスチャマッピングの高速化が可能となる。その結果、例えば、劣化箇所を判定した土木構造物のモデリング処理速度の向上、および、家具配置、部屋の壁紙の張替えなどのモデリング処理速度の向上を図ることができる。
　上述した三次元再構成装置１０は、図５に示すコンピュータ２０によって実現することができる。コンピュータ２０を、三次元再構成装置１０として機能させるためのプログラムが提供されてもよい。また、該プログラムは、記憶媒体に記憶されてもよいし、ネットワークを通して提供されてもよい。図５は、三次元再構成装置１０として機能するコンピュータ２０の概略構成を示すブロック図である。コンピュータ２０は、汎用コンピュータ、専用コンピュータ、ワークステーション、ＰＣ（Personal Computer）、電子ノートパッドなどであってもよい。プログラム命令は、必要なタスクを実行するためのプログラムコード、コードセグメントなどであってもよい。
　図５に示すように、コンピュータ２０は、プロセッサ２１、ＲＯＭ（Read Only Memory）２２、ＲＡＭ（Random Access Memory）２３、ストレージ２４、入力部２５、表示部２６および通信インタフェース（Ｉ／Ｆ）２７を有する。各構成は、バス２９を介して相互に通信可能に接続されている。プロセッサ２１は、具体的にはＣＰＵ(Central Processing Unit)、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＳｏＣ（System on a Chip）などであり、同種または異種の複数のプロセッサにより構成されてもよい。
　プロセッサ２１は、各構成の制御および各種の演算処理を実行する制御部である。すなわち、プロセッサ２１は、ＲＯＭ２２またはストレージ２４からプログラムを読み出し、ＲＡＭ２３を作業領域としてプログラムを実行する。プロセッサ２１は、ＲＯＭ２２あるいはストレージ２４に記憶されているプログラムに従って、上記各構成の制御および各種の演算処理を行う。本実施形態では、ＲＯＭ２２またはストレージ２４には、コンピュータ２０を本開示に係る三次元再構成装置１０として動作させるためのプログラムが格納されている。当該プログラムがプロセッサ２１により読み出されて実行されることで、三次元再構成装置１０の推定部１１、計算部１２および再構成部１３が実現される。
　プログラムは、ＣＤ－ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disk Read Only Memory）、ＵＳＢ（Universal Serial Bus）メモリなどの非一時的（non-transitory）記憶媒体に記憶された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
　ＲＯＭ２２は、各種プログラムおよび各種データを格納する。ＲＡＭ２３は、作業領域として一時的にプログラムまたはデータを記憶する。ストレージ２４は、ＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）により構成され、オペレーティングシステムを含む各種プログラムおよび各種データを格納する。
　入力部２５は、マウスなどのポインティングデバイス、およびキーボードを含み、各種の入力を行うために使用される。
　表示部２６は、例えば、液晶ディスプレイであり、各種の情報を表示する。表示部２６は、タッチパネル方式を採用して、入力部２５として機能してもよい。表示部２６は、例えば、再構成部１３による構造物の内部空間の三次元再構成の結果などを表示する。
　通信インタフェース２７は、他の装置と通信するためのインタフェースであり、例えば、ＬＡＮ用のインタフェースである。
　以上の実施形態に関し、更に以下の付記を開示する。
　［付記項１］
　構造物の内部空間を撮像したパノラマ画像から前記内部空間の三次元再構成を行う三次元再構成装置であって、
　制御部を備え、
　前記制御部は、
　前記パノラマ画像における、前記内部空間の壁面と天井および床面それぞれとの境界の位置、および、前記内部空間の壁面同士が交差するコーナーの存在確率を推定し、
　前記推定された境界の座標を三次元座標に変換した点群をSource点群とし、前記構造物の内部空間の図面から作成された前記境界を示す三次元の点群をTarget点群とすると、前記Source点群を構成する点piにおける前記コーナーの存在確率の分布形状、および、前記点piに対応する前記Target点群を構成する点qiにおける前記コーナーの存在確率の分布形状に基づき、前記点piおよび前記点qiのペア（pi,qi）それぞれの重みを計算し、
　前記ペア（pi,qi）それぞれの重み付き距離に基づき、前記Source点群を前記Target点群に変換する変換行列を計算し、前記計算した変換行列により前記Source点群を構成する点piの座標を変換して、前記内部空間の三次元再構成を行うように構成されている、三次元再構成装置。
　［付記項２］
　付記項１に記載の三次元再構成装置において、
　前記制御部は、前記ペア（pi,qi）それぞれの重み付き距離の二乗和が最小となる前記変換行列を計算する、三次元再構成装置。
　［付記項１］
　構造物の内部空間を撮像したパノラマ画像から前記内部空間の三次元再構成を行う三次元再構成装置が実行する三次元再構成方法であって、
　前記パノラマ画像における、前記内部空間の壁面と天井および床面それぞれとの境界の位置、および、前記内部空間の壁面同士が交差するコーナーの存在確率を推定し、
　前記推定された境界の座標を三次元座標に変換した点群をSource点群とし、前記構造物の内部空間の図面から作成された前記境界を示す三次元の点群をTarget点群とすると、前記Source点群を構成する点piにおける前記コーナーの存在確率の分布形状、および、前記点piに対応する前記Target点群を構成する点qiにおける前記コーナーの存在確率の分布形状に基づき、前記点piおよび前記点qiのペア（pi,qi）それぞれの重みを計算する、三次元再構成方法。
　［付記項４］
　コンピュータによって実行可能なプログラムを記憶した非一時的記憶媒体であって、前記コンピュータを、付記項１または２に記載の三次元再構成装置として動作させるプログラムを記憶した非一時的記憶媒体。
　上述の実施形態は代表的な例として説明したが、本開示の趣旨および範囲内で、多くの変更および置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、請求の範囲から逸脱することなく、種々の変形または変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。
　１０　　三次元再構成装置
　１１　　推定部
　１２　　計算部
　１３　　再構成部

Claims (2)

  1. 　構造物の内部空間を撮像したパノラマ画像から前記内部空間の三次元再構成を行う三次元再構成装置であって、
    　前記パノラマ画像における、前記内部空間の壁面と天井および床面それぞれとの境界の位置、および、前記内部空間の壁面同士が交差するコーナーの存在確率を推定する推定部と、
    　前記推定された境界の座標を三次元座標に変換した点群をSource点群とし、前記構造物の内部空間の図面から作成された前記境界を示す三次元の点群をTarget点群とすると、前記Source点群を構成する点piにおける前記コーナーの存在確率の分布形状、および、前記点piに対応する前記Target点群を構成する点qiにおける前記コーナーの存在確率の分布形状に基づき、前記点piおよび前記点qiのペア（pi,qi）それぞれの重みを計算する計算部と、
    　前記ペア（pi,qi）それぞれの重み付き距離に基づき、前記Source点群を前記Target点群に変換する変換行列を計算し、前記計算した変換行列により前記Source点群を構成する点piの座標を変換して、前記内部空間の三次元再構成を行う再構成部と、を備える三次元再構成装置。
  2. 　請求項１に記載の三次元再構成装置において、
    　前記再構成部は、前記ペア（pi,qi）それぞれの重み付き距離の二乗和が最小となる前記変換行列を計算する、三次元再構成装置。
PCT/JP2024/020563 2024-06-05 2024-06-05 三次元再構成装置 Pending WO2025253553A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2024/020563 WO2025253553A1 (ja) 2024-06-05 2024-06-05 三次元再構成装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2024/020563 WO2025253553A1 (ja) 2024-06-05 2024-06-05 三次元再構成装置

Publications (1)

Publication Number Publication Date
WO2025253553A1 true WO2025253553A1 (ja) 2025-12-11

Family

ID=97960210

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/020563 Pending WO2025253553A1 (ja) 2024-06-05 2024-06-05 三次元再構成装置

Country Status (1)

Country Link
WO (1) WO2025253553A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014192316A1 (ja) * 2013-05-31 2014-12-04 パナソニックＩｐマネジメント株式会社 モデリング装置、３次元モデル生成装置、モデリング方法、プログラム、レイアウトシミュレータ
US11481925B1 (en) * 2020-11-23 2022-10-25 Zillow, Inc. Automated determination of image acquisition locations in building interiors using determined room shapes
WO2023073971A1 (ja) * 2021-10-29 2023-05-04 日本電信電話株式会社 ３次元再構成装置、３次元再構成方法、及びプログラム
JP2023529787A (ja) * 2021-05-07 2023-07-12 テンセント・アメリカ・エルエルシー ３ｄジオメトリを構築するための方法、装置及びプログラム
WO2023223518A1 (ja) * 2022-05-19 2023-11-23 日本電信電話株式会社 三次元再構成装置、三次元再構成方法及びプログラム
JP2024007396A (ja) * 2022-06-29 2024-01-18 アクシス アーベー 自己学習型歪み補正

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014192316A1 (ja) * 2013-05-31 2014-12-04 パナソニックＩｐマネジメント株式会社 モデリング装置、３次元モデル生成装置、モデリング方法、プログラム、レイアウトシミュレータ
US11481925B1 (en) * 2020-11-23 2022-10-25 Zillow, Inc. Automated determination of image acquisition locations in building interiors using determined room shapes
JP2023529787A (ja) * 2021-05-07 2023-07-12 テンセント・アメリカ・エルエルシー ３ｄジオメトリを構築するための方法、装置及びプログラム
WO2023073971A1 (ja) * 2021-10-29 2023-05-04 日本電信電話株式会社 ３次元再構成装置、３次元再構成方法、及びプログラム
WO2023223518A1 (ja) * 2022-05-19 2023-11-23 日本電信電話株式会社 三次元再構成装置、三次元再構成方法及びプログラム
JP2024007396A (ja) * 2022-06-29 2024-01-18 アクシス アーベー 自己学習型歪み補正

Similar Documents

Publication Publication Date Title
US10880541B2 (en) Stereo correspondence and depth sensors
CN110276829B (zh) 通过多尺度体素哈希处理的三维表示
US9135710B2 (en) Depth map stereo correspondence techniques
Hong et al. Semi-automated approach to indoor mapping for 3D as-built building information modeling
JP6863596B2 (ja) データ処理装置及びデータ処理方法
US9189862B2 (en) Outline approximation for point cloud of building
CN111639626A (zh) 三维点云数据处理方法、装置、计算机设备和存储介质
TW201616451A (zh) 點雲套索選取系統及方法
WO2017092251A1 (zh) 实时虚拟场景中圆柱碰撞体与凸体碰撞探测的方法、终端和存储介质
US20220375164A1 (en) Method and apparatus for three dimensional reconstruction, electronic device and storage medium
JP2018055679A (ja) ３ｄアライメントアルゴリズムのためのバランスの取れたプローブサイトの選択
TW201616449A (zh) 點雲網格精細化系統及方法
CN116563493A (zh) 基于三维重建的模型训练方法、三维重建方法及装置
CN116152306B (zh) 确定砌筑质量的方法、装置、设备和介质
CN116030103B (zh) 确定砌筑质量的方法、装置、设备和介质
CN113658203A (zh) 建筑物三维轮廓提取及神经网络的训练方法和装置
JP6693193B2 (ja) 情報処理装置及び情報合成プログラム
JP2023529787A (ja) ３ｄジオメトリを構築するための方法、装置及びプログラム
KR20210099298A (ko) 실외 3차원 지도 정보를 기반으로 비주얼 로컬리제이션을 제공하기 위한 전자 장치 및 그의 동작 방법
US10937236B1 (en) Mesh smoothing for visual quality and analysis improvement
Jelinek et al. Fast total least squares vectorization
JP7614537B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN116203585B (zh) 测量墙体的方法、装置、设备和介质
JP2020041950A (ja) 測量装置、測量方法、及びプログラム
WO2024150337A1 (ja) 損失関数設定装置、三次元再構成装置、損失関数設定方法、三次元再構成方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24942642

Country of ref document: EP

Kind code of ref document: A1