WO2022049653A1 - 推定方法、推定装置及びプログラム - Google Patents

推定方法、推定装置及びプログラム Download PDF

Info

Publication number
WO2022049653A1
WO2022049653A1 PCT/JP2020/033176 JP2020033176W WO2022049653A1 WO 2022049653 A1 WO2022049653 A1 WO 2022049653A1 JP 2020033176 W JP2020033176 W JP 2020033176W WO 2022049653 A1 WO2022049653 A1 WO 2022049653A1
Authority
WO
WIPO (PCT)
Prior art keywords
point cloud
coordinates
estimation
feature
plane
Prior art date
Application number
PCT/JP2020/033176
Other languages
English (en)
French (fr)
Inventor
健人 宮澤
隆行 黒住
英明 木全
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to US18/023,670 priority Critical patent/US20230326052A1/en
Priority to JP2022546763A priority patent/JP7385159B2/ja
Priority to PCT/JP2020/033176 priority patent/WO2022049653A1/ja
Publication of WO2022049653A1 publication Critical patent/WO2022049653A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Definitions

  • the present invention relates to an estimation method, an estimation device and a program.
  • the three-dimensional coordinates of the group are obtained. It is assumed that the shapes of walls, floors, ceilings, and doorways are flat, and a method of performing a flat fitting process on a point cloud is known.
  • the arrangement of the planes obtained as a result of this plane fitting process represents the arrangement of walls and the like having a plane shape.
  • noise exists in the coordinates of the point cloud obtained by scanning it is difficult to estimate a plane that perfectly fits all the point clouds by the plane fitting process.
  • the estimation device estimates the plane with the shortest distance from the point cloud (the plane that fits the point cloud) using the least squares method.
  • the number of point clouds is enormous, the number of times to calculate the distance between the point cloud and the plane is enormous.
  • RANSAC Random Sample Consensus
  • RANSAC Random Sample Consensus
  • a small number of samples are selected from the point cloud.
  • the estimator estimates the parameters of each plane representing a wall or the like by performing a plane fitting process on a small number of samples. Since the point cloud with extreme outliers exists in only a part of all the point clouds, the outliers are excluded by randomly selecting a small number of samples from the point cloud. Further, in RANSAC, the least squares method is executed for a small number of samples, so that the amount of calculation is small.
  • RGB Red, Green, Blue
  • the estimation device can accurately estimate the shape of the room compared to the case where only the coordinates of the point cloud are input to the neural network. can.
  • the camera or depth sensor may not capture RGB images in the room. In this way, if a part of the section cannot be seen because the shield is placed in the section (indoor) to be estimated, the shape of the section may not be estimated without using the RGB image. ..
  • the present invention is an estimation method capable of estimating the shape of a section without using an RGB image when a part of the section cannot be seen due to the arrangement of a shield. It is intended to provide an estimation device and a program.
  • One aspect of the present invention is an estimation method executed by an estimation device, in which a depth vector of the point cloud is derived based on a feature estimation step for estimating a feature amount related to the coordinates of the point cloud and a predetermined parameter. Depth derivation step to be performed, a shift amount estimation step for deriving the shift amount of the coordinates of the point cloud based on the feature amount, and the coordinates of the point cloud are shifted based on the shift amount and the depth vector. It is an estimation method including a shift processing step and a plane estimation step for estimating plane parameters based on the point cloud whose coordinates are shifted.
  • One aspect of the present invention is based on a feature estimation unit that estimates a feature amount related to the coordinates of a point cloud, a depth derivation unit that derives a depth vector of the point cloud based on a predetermined parameter, and a feature amount.
  • the shift amount estimation unit for deriving the shift amount of the coordinates of the point cloud, the shift processing unit for shifting the coordinates of the point cloud based on the shift amount and the depth vector, and the coordinate-shifted unit. It is an estimation device including a plane estimation unit that estimates plane parameters based on a point cloud.
  • One aspect of the present invention is a program for operating a computer as the above estimation device.
  • FIG. 1 is a diagram showing a configuration example of the estimation device 1.
  • the estimation device 1 is a device that estimates the shape of a section in real space. For example, the estimation device 1 estimates the shape of an indoor section (indoor) determined by the arrangement of walls, floors, ceilings, doorways, and the like. For example, the estimation device 1 may estimate the shape of an outdoor feature determined by each arrangement of a building, a road, or the like. In the following, the estimation device 1 estimates the shape of an indoor compartment (indoor) as an example.
  • a depth sensor is installed in the indoor section.
  • the depth sensor irradiates indoor walls, floors, ceilings, and doorways while changing the direction of the light beam (eg, infrared or laser light). That is, the depth sensor scans walls, floors, ceilings and doorways with light rays.
  • the light beam eg, infrared or laser light
  • the depth sensor generates point cloud data for the indoor section.
  • the point cloud data is the three-dimensional coordinates of the point cloud.
  • the estimation device 1 estimates the shape of the indoor section, the point cloud data may be a depth map.
  • the depth sensor is not limited to a specific type of sensor as long as it can acquire the coordinates of the point cloud.
  • the depth sensor may be, for example, "kinect (registered trademark)", a mobile mapping system (MMS), or a smartphone.
  • the light beam emitted from the depth sensor is not blocked by the shield, so that the wall, floor, ceiling, and doorway are not blocked.
  • the depth sensor can see through each plane of.
  • the point cloud data represents the coordinates of the point cloud distributed on each surface of the wall, floor, ceiling and doorway.
  • the point cloud data represents the coordinates of the point cloud distributed on each surface of the wall, the floor, the ceiling and the doorway, and the coordinates of the point cloud distributed on the surface of the shield. Therefore, it is necessary to estimate the shape of the section after the point cloud distributed on the surface of the shield is projected onto a plane (wall, floor, ceiling or doorway).
  • the estimation device 1 includes a acquisition unit 10, a feature estimation unit 11, a depth derivation unit 12, a feature amount storage unit 13, a shift amount estimation unit 14, a coordinate storage unit 15, a shift processing unit 16, and a plane estimation.
  • a unit 17 and a selection output unit 18 are provided.
  • the acquisition unit 10 acquires the coordinates of the point cloud (point cloud data) from the depth sensor 20.
  • the acquisition unit 10 may acquire the coordinates of the point cloud from a predetermined storage device.
  • the feature estimation unit 11 collects point clouds existing within a certain range from a predetermined sampling point into points.
  • the feature estimation unit 11 outputs a feature point cloud by estimating the collected points as feature points.
  • the feature estimation unit 11 is, for example, Reference 1 (Charles R. Qi, Li Yi, Hao Su, Leonidas J. Guibas; “PointNet ++: Deep Hierarchical Feature Learning on Point Sets in a Metric Space” Advances in neural information processing.
  • the neural network disclosed in (.) may be used to estimate the feature amount related to the coordinates of the feature point cloud.
  • the feature estimation unit 11 records the coordinates of the selected feature point cloud in the coordinate storage unit 15.
  • the feature estimation unit 11 may output all the point clouds as feature point clouds.
  • the feature estimation unit 11 estimates the feature amount related to the coordinates of the feature point cloud.
  • the feature estimation unit 11 records each feature amount in the feature amount storage unit 13.
  • the feature amount related to the coordinates of the feature point cloud is not limited to a specific type of feature amount as long as it is a feature amount related to the distribution of coordinates.
  • the feature quantity with respect to the coordinates of the feature point cloud is the size of the shield in which the feature point cloud is distributed, the distance between the wall and the shield, the surface area of the shield, and the curvature of the shape of the shield.
  • the feature estimation unit 11 can specify that the shield arranged in the room is a refrigerator based on the curvature of the coordinate distribution. can. Further, the feature estimation unit 11 can specify the size of the refrigerator and the position and orientation of the refrigerator based on the curvature of the distribution of coordinates. The feature estimation unit 11 estimates the general distance between the refrigerator and the wall by specifying that the shield is a refrigerator and the size, position and orientation of the refrigerator. be able to.
  • the feature estimation unit 11 has a shield arranged in the room based on the dimensions of the coordinate distribution. It can be specified that it is a liquid crystal display. Further, the feature estimation unit 11 can specify the size of the liquid crystal display and the position and orientation in which the liquid crystal display is installed. By specifying that the shield is a liquid crystal display, the size of the liquid crystal display, and the position and orientation in which the liquid crystal display is installed, the feature estimation unit 11 determines the general distance between the liquid crystal display and the wall. Can be estimated.
  • the depth derivation unit 12 derives the depth vector of the feature point cloud based on the coordinates of the feature point cloud and the camera parameters.
  • the camera parameters represent the position and orientation of the depth sensor.
  • the depth derivation unit 12 outputs a depth vector starting from the position of the depth sensor and ending at the position of the feature point cloud to the shift amount estimation unit 14.
  • the feature amount storage unit 13 stores the feature amount related to the coordinates of the feature point cloud.
  • the shift amount estimation unit 14 derives the shift amount of the coordinates of the feature point group based on the depth vector of the feature point group and each feature amount. For example, the shift amount estimation unit 14 detects the class of the shield according to the result of semantic segmentation based on each feature amount. That is, the shift amount estimation unit 14 derives that the shield is, for example, a refrigerator, depending on the result of semantic segmentation based on each feature amount. The shift amount estimation unit 14 derives the shift amount of the coordinates of the feature point cloud according to the detection result of the obstruction class. The coordinate storage unit 15 stores the coordinates of the feature point cloud.
  • the shift amount estimation unit 14 is referred to, for example, in reference 2 (Qi, Charles R., et al. "Deep hough voting for 3d object detection in point clouds.” Proceedings of the IEEE International Conference on Computer Vision. 2019.).
  • the disclosed neural network may be used to derive the shift amount of the coordinates of the feature point cloud.
  • the shift processing unit 16 shifts the coordinates of the feature point cloud in the direction of the depth vector by the derived shift amount. That is, the shift processing unit 16 projects a point cloud on the surface of the shield onto a plane based on the shift amount and the depth vector.
  • the plane estimation unit 17 estimates the parameters of the plane that match the coordinates of the point cloud including the point cloud whose coordinates have been shifted.
  • the plane estimation unit 17 executes the plane fitting process by using a predetermined algorithm.
  • the predetermined algorithm is, for example, RANSAC.
  • the plane estimation unit 17 is a differentiable RANSAC disclosed in Reference 3 (Brachmann, Eric, et al. "Dsac-differentiable ransac for camera localization.” Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2017.).
  • a plane fitting process may be performed using a deep learning network.
  • the plane estimation unit 17 learns the entire processing including the plane fitting processing by using the deep learning network of the differentiable RANSAC. As a result, the plane fitting process optimized for the output of the shift processing unit 16 is executed, so that improvement in the estimation accuracy of the plane parameters can be expected.
  • the coordinates of the feature point cloud include the coordinates of the wall and the like and the coordinates of the shield before the coordinates are shifted. Therefore, not only the coordinates of the feature point cloud are used, but also the feature quantity related to the coordinates of the feature point cloud is used, so that the parameters of the plane can be estimated accurately.
  • the selection output unit 18 acquires a selection signal according to an operation by the user.
  • the selection output unit 18 outputs computer graphics representing the shape of the indoor section (indoor) in three dimensions to a predetermined display unit in response to a selection signal based on the user's operation.
  • the selection output unit 18 When the selection signal indicates that the shape of the room is to be displayed, the selection output unit 18 outputs the coordinates of the point cloud along the plane (matching plane) from which the parameters are estimated to the display unit. When the selection signal indicates that the shape of the room and furniture, etc. are displayed, the selection output unit 18 uses the coordinates of the point cloud along the plane from which the parameters are estimated and the point cloud along the surface of the shield. Both the coordinates and the coordinates of are output to the display unit.
  • FIG. 2 is a diagram (a bird's-eye view of the room) showing an example of coordinate shifts for each feature point.
  • the flat plate 30 is, for example, a flat surface such as a wall, a floor, a ceiling, or an entrance / exit.
  • the arrangement of the flat plate 30 determines the shape of the indoor section (indoor).
  • a shield 40 and a shield 50 are arranged in an indoor section.
  • the shield 40 is, for example, a liquid crystal display.
  • the shield 50 is, for example, a refrigerator.
  • the point cloud data is generated by the depth sensor 20 from a single viewpoint.
  • the point cloud data is the three-dimensional coordinates (x, y, z) of the feature point cloud. As described above, the point cloud data does not have to include the reflection intensity value of the light beam.
  • the depth sensor 20 irradiates the flat plate 30, the shield 40, and the shield 50 with the light rays while changing the irradiation direction of the light rays. As a result, the depth sensor 20 generates point cloud data (coordinates of the point cloud) of the indoor section.
  • the feature estimation unit 11 selects each feature point 60 from the point cloud.
  • the feature points 60-1 and the feature points 60-5 are a point cloud along the flat plate 30.
  • the feature points 60-2, the feature points 60-3, and the feature points 60-4 are point clouds along the surface of the shield 40.
  • the feature points 60-6, the feature points 60-7, the feature points 60-8, and the feature points 60-9 are point clouds along the surface of the shield 50.
  • the depth vector 80 is a vector starting from the depth sensor 20 and ending at the feature point 60.
  • the direction of the shift vector 90-n (n is an integer of 1 or more) is the same as the direction of the depth vector 80-n.
  • the length of the shift vector 90 represents the shift amount of the coordinates of the feature point 60.
  • the length of any of the plurality of shift vectors 90 may be 0.
  • the length of the shift vector of the feature point 60-1 is 0.
  • the correlation between the feature amount and the shift amount based on the coordinates of the feature point cloud is learned in advance using a machine learning method in the learning stage.
  • the trained model executes machine learning with the feature amount based on the coordinates of the feature point cloud as an input and the shift amount as an output.
  • the trained model comprises, for example, a neural network.
  • the shift amount estimation unit 14 derives the shift amount for each feature point using the trained model.
  • the coordinates of the feature point 60-n are shifted based on the shift vector 90-n. That is, the coordinates of the feature points 60-n are shifted in the direction of the depth vector by the shift amount derived by the shift amount estimation unit 14.
  • the shift amount is 0.
  • the shift amount is the feature point in the direction of the depth vector (shift vector) of the feature point. Is the distance from the flat plate 30 to the flat plate 30.
  • the type of shield (home appliances, etc.) can be estimated based on the coordinates of the feature point cloud (distribution shape of the feature point cloud).
  • the general dimensions of the shield can be estimated according to the type of the shield. Therefore, the shift amount can be estimated based on the general distance between the flat plate 30 (wall or the like) existing on the extension line of the depth vector 80 and the shield. For example, when the shield is a liquid crystal display, the shield is often arranged at a position close to the wall, so the shift amount is estimated to be, for example, a distance of 1 m or less.
  • feature points 60-2, feature points 60-3, and feature points 60-4 along the surface of the shield 40 are projected onto the flat plate 30.
  • Feature points 60-6, feature points 60-7, feature points 60-8, and feature points 60-9 along the surface of the shield 50 are projected onto the flat plate 30.
  • the coordinates of the feature points 60-n are shifted to the coordinates of the feature points 70-n along the surface of the flat plate 30.
  • the shift amount of the coordinates of the feature point cloud of the flat plate 30 is 0.
  • the plane estimation unit 17 estimates the parameters of the plane that fits the feature point cloud including the feature point cloud whose coordinates are shifted. That is, the plane estimation unit 17 estimates the parameters of the plane that match the coordinates of the feature point cloud not shifted from the plane plate 30 and the coordinates of the feature point cloud shifted from the surface of each shield.
  • the plane estimation unit 17 has a feature point 60-1, a feature point 70-2 to a feature point 70-4, a feature point 60-5, and a feature point 70-6 to a feature point 70-9.
  • a plane fitting process is executed for each coordinate of and.
  • the plane estimation unit 17 derives the parameters of the plane representing the arrangement of the plane plate 30.
  • the plane estimation unit 17 outputs plane parameters to, for example, a display unit.
  • FIG. 3 is a flowchart showing an operation example of the estimation device 1.
  • the acquisition unit 10 acquires the coordinates of the point cloud (point cloud data) from the depth sensor 20 (step S101).
  • the feature estimation unit 11 selects a feature point cloud from the point cloud (step S102).
  • the feature estimation unit 11 records the coordinates of the selected feature point cloud in the coordinate storage unit 15 (step S103).
  • the feature estimation unit 11 estimates one or more feature quantities based on the coordinates of the feature point cloud (step S104).
  • the feature estimation unit 11 records each feature amount in the feature amount storage unit 13 (step S105).
  • the depth derivation unit 12 derives the depth vector of the feature point cloud based on the coordinates of the feature point cloud and the camera parameters (step S106).
  • the shift amount estimation unit 14 derives the shift amount of the coordinates of the feature point group based on the depth vector of the feature point group and each feature amount (step S107).
  • the shift processing unit 16 shifts (projects onto a predetermined plane) the coordinates of the feature point cloud by the derived shift amount in the direction of the depth vector (step S108).
  • the plane estimation unit 17 estimates the parameters of the plane suitable for the feature point cloud including the feature point cloud whose coordinates are shifted (step S109).
  • the plane estimation unit 17 outputs the parameters of the matching plane to, for example, a display unit (step S110).
  • the selection output unit 18 acquires a selection signal (step S111).
  • the selection output unit 18 is based on a point cloud projected on a predetermined plane and a point cloud such as a wall.
  • the coordinates of the point cloud along the matching plane estimated in the above are output (step S112).
  • the selection output unit 18 is the coordinates of the point cloud along the estimated matching plane.
  • the coordinates of the point cloud along the surface of the shield are output (step S113).
  • the depth sensor 20 irradiates a predetermined section with the light beam while changing the irradiation direction of the light ray.
  • the depth sensor 20 generates point cloud data (three-dimensional coordinates of the point cloud) of a predetermined section.
  • the acquisition unit 10 acquires the coordinates of the point cloud using the depth sensor 20.
  • the feature estimation unit 11 estimates the feature amount related to the coordinates of the point cloud.
  • the depth derivation unit 12 derives the depth vector of the point cloud based on a predetermined parameter (for example, the camera parameter of the depth sensor 20).
  • the shift amount estimation unit 14 derives the shift amount of the coordinates of the point cloud based on the feature amount.
  • the shift processing unit 16 shifts the coordinates of the point cloud based on the shift amount and the depth vector. That is, the shift processing unit 16 projects a point cloud on the surface of the shield onto a predetermined plane based on the shift amount and the depth vector.
  • the plane estimation unit 17 estimates the parameters of the plane based on the point cloud whose coordinates are shifted. That is, the plane estimation unit 17 estimates the parameters of the plane that match the coordinates of the point cloud including the point cloud whose coordinates are shifted.
  • the plane estimation unit 17 merges the results of the plane fitting of the plurality of viewpoints (the estimation result of the plane for each viewpoint) to make the feature points. Estimate the parameters of the plane that fits the coordinates of the group. This makes it possible to improve the estimation accuracy of the shape of the section.
  • the points of the estimation target data for improving the estimation accuracy of the plane parameters are supplemented.
  • the depth sensor and the acquisition unit 10 acquire the point cloud so that the ratio of the point cloud relating to the ceiling, the wall, and the floor is high.
  • the depth sensor acquires the point cloud in one shot
  • the depth sensor acquires the point cloud from the shooting position (scanning position) that increases the ratio of the ceiling, wall, and floor.
  • the shooting position of the depth sensor may be moved for each shot so as to increase the ratio of the ceiling, the wall, and the floor.
  • the depth sensor may face the corner of the room and acquire the point cloud.
  • the depth sensor may face the two walls constituting the corner of the room and acquire the point cloud in one shot.
  • the depth sensor may face at least one of the two walls, the ceiling, and the floor constituting the corner of the room, and may acquire the point cloud in one shot.
  • FIG. 4 is a diagram showing a hardware configuration example of the estimation device 1.
  • a part or all of each functional unit of the estimation device 1 includes a storage device 200 and a memory 300 in which a processor 100 such as a CPU (Central Processing Unit) has a non-volatile recording medium (non-temporary recording medium). It is realized as software by executing the program stored in.
  • the program may be recorded on a computer-readable recording medium.
  • Computer-readable recording media include, for example, flexible disks, optomagnetic disks, portable media such as ROM (Read Only Memory) and CD-ROM (Compact Disc Read Only Memory), and storage of hard disks built into computer systems. It is a non-temporary recording medium such as a device.
  • the display unit 400 displays, for example, the coordinate information of the point cloud, the coordinate information of the feature point cloud, and the three-dimensional image showing the shape of the indoor section (indoor).
  • each functional part of the estimation device for example, LSI (Large Scale Integration circuit), ASIC (Application Specific Integrated Circuit), PLD (Programmable Logic Device), FPGA (Field Programmable Gate Array), or the like was used. It may be realized using hardware including an electronic circuit or circuitry.
  • the present invention is applicable to a device for estimating the shape of a section such as a room provided with a wall, a floor, a ceiling and an entrance / exit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

推定方法は、推定装置が実行する推定方法であって、点群の座標に関する特徴量を推定する特徴推定ステップと、予め定められたパラメータに基づいて、点群の奥行ベクトルを導出する奥行導出ステップと、特徴量に基づいて、点群の座標のシフト量を導出するシフト量推定ステップと、シフト量と奥行ベクトルとに基づいて、点群の座標をシフトさせるシフト処理ステップと、シフトされた点群を含む点群の座標に適合する平面のパラメータを推定する平面推定ステップとを含む。

Description

推定方法、推定装置及びプログラム
　本発明は、推定方法、推定装置及びプログラムに関する。
　室内の形状（部屋の壁、床、天井及び出入口等の配置）が推定される場合、部屋の壁等の表面を深度センサが光線を用いて走査することによって、壁等の表面に分布する点群の３次元座標が得られる。壁、床、天井及び出入口の形状がそれぞれ平面であると仮定され、点群に対して平面フィッティング処理を実行する方法が知られている。この平面フィッティング処理の結果として得られた平面の配置は、平面形状を有する壁等の配置を表す。しかしながら、走査によって得られた点群の座標にはノイズが存在するので、全ての点群に完全に適合する平面を平面フィッティング処理によって推定することは困難である。
　このため平面フィッティング処理では、推定装置は、点群との距離が最短となる平面（点群に適合する平面）を、最小二乗法を用いて推定する。しかしながら、点群の個数が膨大であることから、点群と平面との間の距離を演算する回数は膨大となる。また、点群には外れ値が存在する場合がある。最小二乗法の結果に点群が与える影響が大きいので、このような外れ値は予め除外されることが望ましい。
　これらの課題を解決する方法として、ＲＡＮＳＡＣ（Random Sample Consensus）が知られている（非特許文献１参照）。ＲＡＮＳＡＣは、ロバスト推定アルゴリズムの一つである。ＲＡＮＳＡＣでは、少数のサンプル（特徴点群）が、点群から選択される。推定装置は、少数のサンプルに対して平面フィッテング処理を実行することによって、壁等を表す各平面のパラメータを推定する。極端な外れ値を有する点群は全ての点群のうちの一部にしか存在しないので、少数のサンプルが点群からランダムに選択されることによって、外れ値は除外される。またＲＡＮＳＡＣでは、少数のサンプルに対して最小二乗法が実行されるので、演算量は少なくなる。
　しかしながら、ＲＡＮＳＡＣを用いる平面フィッティング処理では、部屋の壁、床、天井及び出入口と、その部屋の室内に配置された家具等とを識別することができない。このため、室内の形状が推定される場合、部屋の壁等の一部が家具等によって隠蔽され、深度センサが室内の一部を見通すことができない場合がある。
　これに対して、点群の座標が用いられる代わりに、カメラによって撮影された壁等のＲＧＢ（Red、Green、Blue）画像がニューラルネットワークに入力されることによって、壁等と家具等とを識別する方法が知られている（非特許文献２参照）。ここで、点群の座標とＲＧＢ画像との両方が、ニューラルネットワークに入力されてもよい。
　家具等の識別に有益な情報をＲＧＢ画像が豊富に含んでいるので、点群の座標のみがニューラルネットワークに入力された場合と比較して、推定装置は室内の形状を精度よく推定することができる。
Martin A. Fischler & Robert C. Bolles (June 1981). "Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography" (PDF). Comm. ACM. 24 (6): 381-395. Chen-Yu Lee, Vijay Badrinarayanan, Tomasz Malisiewicz, Andrew Rabinovich; "RoomNet: End-To-End Room Layout Estimation"The IEEE International Conference on Computer Vision (ICCV), 2017, pp.4865-4874.
　しかしながら、プライバシ保護及び機密保持等の観点から、室内のＲＧＢ画像をカメラ又は深度センサが撮影することができない場合がある。このように、推定対象の区画（室内）に遮蔽物が配置されているために区画の一部を見通すことができない場合、ＲＧＢ画像を用いなければ区画の形状を推定することができない場合がある。
　上記事情に鑑み、本発明は、遮蔽物が配置されているために区画の一部を見通すことができない場合に、ＲＧＢ画像を用いることなく区画の形状を推定することが可能である推定方法、推定装置及びプログラムを提供することを目的としている。
　本発明の一態様は、推定装置が実行する推定方法であって、点群の座標に関する特徴量を推定する特徴推定ステップと、予め定められたパラメータに基づいて、前記点群の奥行ベクトルを導出する奥行導出ステップと、前記特徴量に基づいて、前記点群の座標のシフト量を導出するシフト量推定ステップと、前記シフト量と前記奥行ベクトルとに基づいて、前記点群の座標をシフトさせるシフト処理ステップと、座標がシフトされた前記点群に基づいて平面のパラメータを推定する平面推定ステップとを含む推定方法である。
　本発明の一態様は、点群の座標に関する特徴量を推定する特徴推定部と、予め定められたパラメータに基づいて、前記点群の奥行ベクトルを導出する奥行導出部と、前記特徴量に基づいて、前記点群の座標のシフト量を導出するシフト量推定部と、前記シフト量と前記奥行ベクトルとに基づいて、前記点群の座標をシフトさせるシフト処理部と、座標がシフトされた前記点群に基づいて平面のパラメータを推定する平面推定部とを備える推定装置である。
　本発明の一態様は、上記の推定装置としてコンピュータを機能させるためのプログラムである。
　本発明により、遮蔽物が配置されているために区画の一部を見通すことができない場合に、ＲＧＢ画像を用いることなく区画の形状を推定することが可能である。
推定装置の構成例を示す図である。 特徴点ごとの座標のシフト例を示す図である。 推定装置の動作例を示すフローチャートである。 推定装置のハードウェア構成例を示す図である。
　本発明の実施形態について、図面を参照して詳細に説明する。
　図１は、推定装置１の構成例を示す図である。推定装置１は、実空間の区画の形状を推定する装置である。例えば、推定装置１は、壁、床、天井及び出入口等の各配置によって定まる屋内の区画（室内）の形状を推定する。例えば、推定装置１は、建物及び道路等の各配置によって定まる屋外の地物の形状を推定してもよい。以下では、推定装置１は、一例として、屋内の区画（室内）の形状を推定する。
　屋内の区画には、深度センサが設置されている。深度センサは、光線（例えば、赤外線又はレーザ光）の照射方向を変えながら、屋内の壁、床、天井及び出入口にその光線を照射する。すなわち、深度センサは、壁、床、天井及び出入口を光線で走査する。
　これによって、深度センサは、屋内の区画の点群データを生成する。点群データは、点群の３次元座標である。なお、屋内の区画の形状を推定装置１が推定する場合、点群データはデプスマップでもよい。
　深度センサは、点群の座標を取得可能なセンサであれば、特定の種類のセンサに限定されない。深度センサは、例えば、「ｋｉｎｅｃｔ（登録商標）」、モバイルマッピングシステム（Mobile Mapping System : MMS）又はスマートフォンでもよい。
　屋内の区画に遮蔽物（例えば、人間、家具及び家電等の物体）が配置されていない場合には、深度センサから照射された光線が遮蔽物に遮られないので、壁、床、天井及び出入口の各平面を深度センサは見通すことができる。この場合、点群データは、壁、床、天井及び出入口の各表面に分布する点群の座標を表す。
　これに対して、屋内の区画に遮蔽物が配置されている場合には、深度センサから照射された光線の一部がその遮蔽物に遮られるので、壁、床、天井及び出入口の各平面の一部を深度センサは見通すことができない。この場合、点群データは、壁、床、天井及び出入口の各表面に分布する点群の座標と、その遮蔽物の表面に分布する点群の座標とを表す。このため、遮蔽物の表面に分布する点群が平面（壁、床、天井又は出入口）に射影された上で、区画の形状を推定することが必要である。
　推定装置１は、取得部１０と、特徴推定部１１と、奥行導出部１２と、特徴量記憶部１３と、シフト量推定部１４と、座標記憶部１５と、シフト処理部１６と、平面推定部１７と、選択出力部１８とを備える。
　取得部１０は、点群の座標（点群データ）を、深度センサ２０から取得する。取得部１０は、点群の座標を所定の記憶装置から取得してもよい。
　取得部１０よりも後段の処理における演算量削減とノイズ除去との観点から、特徴点の個数は取得された点群の個数よりも少ないことが望ましい。そこで、特徴推定部１１は、所定のサンプリング点から一定範囲内に存在する点群を、点にまとめる。特徴推定部１１は、まとめられた点を特徴点と推定することによって、特徴点群を出力する。特徴推定部１１は、例えば参考文献１（Charles R. Qi, Li Yi, Hao Su, Leonidas J. Guibas; “PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metric Space” Advances in neural information processing systems. 2017.）に開示されたニューラルネットワークを用いて、特徴点群の座標に関する特徴量を推定してもよい。特徴推定部１１は、選択された特徴点群の座標を、座標記憶部１５に記録する。なお、特徴推定部１１は、全ての点群を特徴点群として出力してもよい。
　特徴推定部１１は、特徴点群の座標に関する特徴量を推定する。特徴推定部１１は、各特徴量を特徴量記憶部１３に記録する。
　特徴点群の座標に関する特徴量は、座標の分布に関する特徴量であれば、特定の種類の特徴量に限定されない。例えば、特徴点群の座標に関する特徴量は、特徴点群が分布している遮蔽物の寸法、壁と遮蔽物との間の距離、遮蔽物の表面積、遮蔽物の形状の曲率である。
　例えば冷蔵庫の把手等の形状には特徴的な曲率があるので、特徴推定部１１は、座標の分布の曲率に基づいて、室内に配置されている遮蔽物が冷蔵庫であることを特定することができる。また、特徴推定部１１は、座標の分布の曲率に基づいて、その冷蔵庫の大きさと設置されている位置及び向きとを特定することができる。遮蔽物が冷蔵庫であることと、その冷蔵庫の大きさと設置されている位置及び向きとが特定されることによって、その冷蔵庫と壁との間の一般的な距離を、特徴推定部１１が推定することができる。
　例えば液晶ディスプレイの画面の形状には特徴的な寸法（例えば、１６対９の比率）があるので、特徴推定部１１は、座標の分布の寸法に基づいて、室内に配置されている遮蔽物が液晶ディスプレイであることを特定することができる。また、特徴推定部１１は、その液晶ディスプレイの大きさと設置されている位置及び向きとを特定することができる。遮蔽物が液晶ディスプレイであることと、その液晶ディスプレイの大きさと設置されている位置及び向きとが特定されることによって、その液晶ディスプレイと壁との間の一般的な距離を、特徴推定部１１が推定することができる。
　奥行導出部１２は、特徴点群の座標とカメラパラメータとに基づいて、特徴点群の奥行ベクトルを導出する。カメラパラメータは、深度センサの位置及び向きを表す。奥行導出部１２は、深度センサの位置を始点として特徴点群の位置を終点とする奥行ベクトルを、シフト量推定部１４に出力する。特徴量記憶部１３は、特徴点群の座標に関する特徴量を記憶する。
　シフト量推定部１４は、特徴点群の奥行ベクトルと各特徴量とに基づいて、特徴点群の座標のシフト量を導出する。例えば、シフト量推定部１４は、各特徴量に基づくセマンティック・セグメンテーションの結果に応じて、遮蔽物のクラスを検出する。すなわち、シフト量推定部１４は、各特徴量に基づくセマンティック・セグメンテーションの結果に応じて、遮蔽物が例えば冷蔵庫であることを導出する。シフト量推定部１４は、遮蔽物のクラスの検出結果に応じて、特徴点群の座標のシフト量を導出する。座標記憶部１５は、特徴点群の座標を記憶する。
　また、シフト量推定部１４は、例えば参考文献２（Qi, Charles R., et al. "Deep hough voting for 3d object detection in point clouds." Proceedings of the IEEE International Conference on Computer Vision. 2019.）に開示されたニューラルネットワークを用いて、特徴点群の座標のシフト量を導出してもよい。
　シフト処理部１６は、奥行ベクトルの方向に、導出されたシフト量だけ、特徴点群の座標をシフトさせる。すなわち、シフト処理部１６は、シフト量と奥行ベクトルとに基づいて、遮蔽物の表面の点群を平面に射影させる。
　平面推定部１７は、座標がシフトされた点群を含む点群の座標に適合する平面のパラメータを推定する。ここで、平面推定部１７は、所定のアルゴリズムを用いて、平面フィッティング処理を実行する。所定のアルゴリズムは、例えばＲＡＮＳＡＣである。平面推定部１７は、参考文献３（Brachmann, Eric, et al. "Dsac-differentiable ransac for camera localization." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2017.）に開示された微分可能ＲＡＮＳＡＣの深層学習ネットワークを用いて、平面フィッティング処理を実行してもよい。平面推定部１７は、微分可能ＲＡＮＳＡＣの深層学習ネットワークを用いて、平面フィッティング処理を含む各処理の全体を学習する。これによって、シフト処理部１６の出力に最適化された平面フィッティング処理が実行されるので、平面のパラメータの推定精度の向上が期待できる。
　特徴点群の座標は、壁等の座標と、座標がシフトされる前における遮蔽物の座標とを含む。このため、特徴点群の座標が用いられるだけでなく、特徴点群の座標に関する特徴量が用いられることによって、平面のパラメータを精度よく推定することが可能である。
　選択出力部１８は、ユーザによる操作に応じて選択信号を取得する。選択出力部１８は、屋内の区画（室内）の形状を３次元で表すコンピュータグラフィックスを、ユーザの操作に基づく選択信号に応じて所定の表示部に出力する。
　室内の形状を表示することを選択信号が表している場合、選択出力部１８は、パラメータが推定された平面（適合する平面）に沿った点群の座標を、表示部に出力する。室内の形状と家具等とを表示することを選択信号が表している場合、選択出力部１８は、パラメータが推定された平面に沿った点群の座標と、遮蔽物の表面に沿った点群の座標との両方を、表示部に出力する。
　次に、特徴点ごとの座標のシフト例について説明する。
　図２は、特徴点ごとの座標のシフト例を示す図（部屋の俯瞰図）である。平面板３０は、例えば、壁、床、天井又は出入口等の平面である。平面板３０の配置は、屋内の区画（室内）の形状を定める。図２では、屋内の区画に、遮蔽物４０と遮蔽物５０とが配置されている。遮蔽物４０は、例えば液晶ディスプレイである。遮蔽物５０は、例えば冷蔵庫である。
　点群データは、単一視点の深度センサ２０によって生成される。以下では、点群データは、特徴点群の３次元座標（ｘ,ｙ,ｚ）である。このように、点群データは光線の反射強度値を含んでいなくてよい。
　深度センサ２０は、光線の照射方向を変えながら、平面板３０と遮蔽物４０と遮蔽物５０とにその光線を照射する。これによって、深度センサ２０は、屋内の区画の点群データ（点群の座標）を生成する。図２では、特徴推定部１１は、各特徴点６０を点群のうちから選択する。
　図２では、特徴点６０－１と特徴点６０－５とは、平面板３０に沿った点群である。特徴点６０－２と特徴点６０－３と特徴点６０－４とは、遮蔽物４０の表面に沿った点群である。特徴点６０－６と特徴点６０－７と特徴点６０－８と特徴点６０－９とは、遮蔽物５０の表面に沿った点群である。
　奥行ベクトル８０は、深度センサ２０を始点として、特徴点６０を終点とするベクトルである。シフトベクトル９０－ｎ（ｎは１以上の整数）の方向は、奥行ベクトル８０－ｎの方向と同じである。シフトベクトル９０の長さは、特徴点６０の座標のシフト量を表す。
　なお、複数のシフトベクトル９０のうちのいずれかのシフトベクトル９０の長さは、０でもよい。例えば、平面板３０に沿った点群である特徴点６０－１の座標はシフトされないので、特徴点６０－１のシフトベクトルの長さは０である。
　特徴点群の座標に基づく特徴量とシフト量との相関は、学習段階において、機械学習の手法を用いて予め学習される。例えば、学習済モデルは、特徴点群の座標に基づく特徴量を入力とし、シフト量を出力として、機械学習を実行する。学習済モデルは、例えば、ニューラルネットワークを備える。学習段階後の推定段階において、シフト量推定部１４は、学習済モデルを用いて、特徴点ごとにシフト量を導出する。
　特徴点６０－ｎの座標は、シフトベクトル９０－ｎに基づいてシフトされる。すなわち、特徴点６０－ｎの座標は、シフト量推定部１４によって導出されたシフト量だけ、奥行ベクトルの方向にシフトされる。
　区画（室内）の形状を構成する平面板３０（壁等）の位置に特徴点６０が位置している場合、シフト量は０である。これに対して、区画に配置された遮蔽物（冷蔵庫等）の表面に特徴点６０が位置している場合、シフト量は、その特徴点の奥行ベクトル（シフトベクトル）の方向における、その特徴点から平面板３０までの距離である。
　遮蔽物（家電等）の種類は、特徴点群の座標（特徴点群の分布形状）に基づいて推定可能である。遮蔽物の一般的な寸法等は、その遮蔽物の種類に応じて推定可能である。このため、奥行ベクトル８０の延長線上に存在している平面板３０（壁等）と遮蔽物との間の一般的な距離に基づいて、シフト量は推定可能である。例えば、遮蔽物が液晶ディスプレイである場合、その遮蔽物は壁に近い位置に配置される場合が多いので、シフト量は、例えば１ｍ以内の距離と推定される。
　図２では、平面板３０には、遮蔽物４０の表面に沿った特徴点６０－２と特徴点６０－３と特徴点６０－４とが射影される。平面板３０には、遮蔽物５０の表面に沿った特徴点６０－６と特徴点６０－７と特徴点６０－８と特徴点６０－９とが射影される。このようにして、特徴点６０－ｎの座標は、平面板３０の表面に沿った特徴点７０－ｎの座標までシフトされる。
　平面板３０の特徴点群の座標のシフト量は、０である。平面推定部１７は、平面フィッティング処理として、座標がシフトされた特徴点群を含む特徴点群に適合する平面のパラメータを推定する。すなわち、平面推定部１７は、平面板３０からシフトされない特徴点群の座標と、各遮蔽物の表面からシフトされた特徴点群の座標とに適合する平面のパラメータを推定する。
　図２では、平面推定部１７は、特徴点６０－１と、特徴点７０－２から特徴点７０－４までと、特徴点６０－５と、特徴点７０－６から特徴点７０－９までとの各座標に対して、平面フィッティング処理を実行する。これによって、平面推定部１７は、平面板３０の配置を表す平面のパラメータを導出する。平面推定部１７は、平面のパラメータを、例えば表示部に出力する。
　次に、推定装置１の動作例を説明する。
　図３は、推定装置１の動作例を示すフローチャートである。取得部１０は、点群の座標（点群データ）を、深度センサ２０から取得する（ステップＳ１０１）。特徴推定部１１は、点群のうちから、特徴点群を選択する（ステップＳ１０２）。特徴推定部１１は、選択された特徴点群の座標を、座標記憶部１５に記録する（ステップＳ１０３）。
　特徴推定部１１は、特徴点群の座標に基づいて、１個以上の特徴量を推定する（ステップＳ１０４）。特徴推定部１１は、各特徴量を特徴量記憶部１３に記録する（ステップＳ１０５）。奥行導出部１２は、特徴点群の座標とカメラパラメータとに基づいて、特徴点群の奥行ベクトルを導出する（ステップＳ１０６）。
　シフト量推定部１４は、特徴点群の奥行ベクトルと各特徴量とに基づいて、特徴点群の座標のシフト量を導出する（ステップＳ１０７）。
　シフト処理部１６は、奥行ベクトルの方向に、導出されたシフト量だけ、特徴点群の座標をシフト（所定の平面に射影）させる（ステップＳ１０８）。平面推定部１７は、座標がシフトされた特徴点群を含む特徴点群に適合する平面のパラメータを推定する（ステップＳ１０９）。平面推定部１７は、適合する平面のパラメータを、例えば表示部に出力する（ステップＳ１１０）。
　選択出力部１８は、選択信号を取得する（ステップＳ１１１）。室内の形状を表示することを選択信号が表している場合（ステップＳ１１１：室内の形状を表示）、選択出力部１８は、所定の平面に射影された点群と壁等の点群とに基づいて推定された適合する平面に沿った点群の座標を出力する（ステップＳ１１２）。室内の形状と家具等とを表示することを選択信号が表している場合（ステップＳ１１１：室内の形状等を表示）、選択出力部１８は、推定された適合する平面に沿った点群の座標と、遮蔽物の表面に沿った点群の座標とを出力する（ステップＳ１１３）。
　以上のように、深度センサ２０は、光線の照射方向を変えながら、その光線を所定の区画に照射する。深度センサ２０は、所定の区画の点群データ（点群の３次元座標）を生成する。取得部１０は、深度センサ２０を用いて、点群の座標を取得する。
　特徴推定部１１は、点群の座標に関する特徴量を推定する。奥行導出部１２は、予め定められたパラメータ（例えば、深度センサ２０のカメラパラメータ）に基づいて、点群の奥行ベクトルを導出する。シフト量推定部１４は、特徴量に基づいて、点群の座標のシフト量を導出する。シフト処理部１６は、シフト量と奥行ベクトルとに基づいて、点群の座標をシフトさせる。すなわち、シフト処理部１６は、シフト量と奥行ベクトルとに基づいて、遮蔽物の表面の点群を所定の平面に射影させる。平面推定部１７は、座標がシフトされた点群に基づいて、平面のパラメータを推定する。すなわち、平面推定部１７は、座標がシフトされた点群を含む点群の座標に適合する平面のパラメータを推定する。
　これによって、遮蔽物が配置されているために区画の一部を見通すことができない（オクルージョンが生じる）場合でも、ＲＧＢ画像を用いることなく区画の形状を推定することが可能である。
　なお、複数視点の深度センサ２０によって点群データが生成された場合には、平面推定部１７は、複数視点の平面フィッティングの結果（視点ごとの平面の推定結果）をマージすることによって、特徴点群の座標に適合する平面のパラメータを推定する。これによって、区画の形状の推定精度を向上させることが可能である。
　（変形例）
　平面のパラメータの推定精度を向上させるための推定対象データのポイントについて補足する。平面のパラメータの推定精度を向上させるため、深度センサと取得部１０とは、天井、壁及び床に関する点群の割合が高くなるように点群を取得する。
　深度センサが点群を１ショットで取得するいう制約がない場合、例えば、深度センサは、天井、壁及び床に関する割合を高くする撮影位置（走査位置）から、点群を取得する。また、天井、壁及び床に関する割合を高くするように、深度センサの撮影位置はショットごとに移動されてもよい。
　深度センサが点群を１ショットで取得するいう制約がある場合、深度センサは、部屋の隅を向いて、点群を取得してもよい。例えば、深度センサは、部屋の隅を構成する２面の壁を向いて、点群を１ショットで取得してもよい。これによって、部屋の隅を構成する２面の壁に関する点群を少なくとも取得することになるので、壁に関する点群の割合を高くすることが可能である。また例えば、深度センサは、部屋の隅を構成する２面の壁と天井と床とのうちの少なくとも一つに向いて、点群を１ショットで取得してもよい。
　次に、推定装置１のハードウェア構成例を説明する。
　図４は、推定装置１のハードウェア構成例を示す図である。推定装置１の各機能部のうちの一部又は全部は、ＣＰＵ（Central Processing Unit）等のプロセッサ１００が、不揮発性の記録媒体（非一時的な記録媒体）を有する記憶装置２００とメモリ３００とに記憶されたプログラムを実行することにより、ソフトウェアとして実現される。プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置などの非一時的な記録媒体である。表示部４００は、例えば、点群の座標情報と、特徴点群の座標情報と、屋内の区画（室内）の形状を表す３次元画像とを表示する。
　推定装置１の各機能部の一部又は全部は、例えば、ＬＳＩ（Large Scale Integration circuit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）又はＦＰＧＡ（Field Programmable Gate Array）等を用いた電子回路（electronic circuit又はcircuitry）を含むハードウェアを用いて実現されてもよい。
　以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
　本発明は、壁、床、天井及び出入口を備える部屋等の区画の形状を推定する装置に適用可能である。
１…推定装置、１０…取得部、１１…特徴推定部、１２…奥行導出部、１３…特徴量記憶部、１４…シフト量推定部、１５…座標記憶部、１６…シフト処理部、１７…平面推定部、１８…選択出力部、２０…深度センサ、３０…平面板、４０…遮蔽物、５０…遮蔽物、６０…特徴点、７０…特徴点、８０…奥行ベクトル、９０…シフトベクトル

Claims (6)

  1. 　推定装置が実行する推定方法であって、
    　点群の座標に関する特徴量を推定する特徴推定ステップと、
    　予め定められたパラメータに基づいて、前記点群の奥行ベクトルを導出する奥行導出ステップと、
    　前記特徴量に基づいて、前記点群の座標のシフト量を導出するシフト量推定ステップと、
    　前記シフト量と前記奥行ベクトルとに基づいて、前記点群の座標をシフトさせるシフト処理ステップと、
    　座標がシフトされた前記点群に基づいて平面のパラメータを推定する平面推定ステップと
    　を含む推定方法。
  2. 　センサを用いて前記点群の座標を取得する取得ステップと、
    　部屋の壁、床、天井もしくは出入口に沿った点群の座標、又は、前記部屋の壁、床、天井もしくは出入口と遮蔽物の表面とに沿った点群の座標を、選択信号に応じて出力する選択出力ステップと
    　を更に含む、請求項１に記載の推定方法。
  3. 　前記遮蔽物は、家具と家電と人間とのうちの少なくとも一つである、
    　請求項２に記載の推定方法。
  4. 　前記シフト処理ステップでは、前記遮蔽物の表面に沿った点群の座標を、所定の平面に射影し、
    　前記平面推定ステップでは、前記部屋の壁、床、天井もしくは出入口に沿った点群の座標と、前記所定の平面に射影された点群の座標とに適合する平面のパラメータを推定する、請求項２に記載の推定方法。
  5. 　点群の座標に関する特徴量を推定する特徴推定部と、
    　予め定められたパラメータに基づいて、前記点群の奥行ベクトルを導出する奥行導出部と、
    　前記特徴量に基づいて、前記点群の座標のシフト量を導出するシフト量推定部と、
    　前記シフト量と前記奥行ベクトルとに基づいて、前記点群の座標をシフトさせるシフト処理部と、
    　座標がシフトされた前記点群に基づいて平面のパラメータを推定する平面推定部と
    　を備える推定装置。
  6. 　請求項５に記載の推定装置としてコンピュータを機能させるためのプログラム。
PCT/JP2020/033176 2020-09-02 2020-09-02 推定方法、推定装置及びプログラム WO2022049653A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US18/023,670 US20230326052A1 (en) 2020-09-02 2020-09-02 Estimation method, estimation apparatus and program
JP2022546763A JP7385159B2 (ja) 2020-09-02 2020-09-02 推定方法、推定装置及びプログラム
PCT/JP2020/033176 WO2022049653A1 (ja) 2020-09-02 2020-09-02 推定方法、推定装置及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/033176 WO2022049653A1 (ja) 2020-09-02 2020-09-02 推定方法、推定装置及びプログラム

Publications (1)

Publication Number Publication Date
WO2022049653A1 true WO2022049653A1 (ja) 2022-03-10

Family

ID=80490797

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/033176 WO2022049653A1 (ja) 2020-09-02 2020-09-02 推定方法、推定装置及びプログラム

Country Status (3)

Country Link
US (1) US20230326052A1 (ja)
JP (1) JP7385159B2 (ja)
WO (1) WO2022049653A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000076453A (ja) * 1998-08-28 2000-03-14 Kazuhiro Shiina 立体データ作成方法及び装置
CN108171780A (zh) * 2017-12-28 2018-06-15 电子科技大学 一种基于激光雷达构建室内真实三维地图的方法
JP2018151835A (ja) * 2017-03-13 2018-09-27 富士通株式会社 情報処理プログラム、情報処理方法、および情報処理装置
JP2019190962A (ja) * 2018-04-24 2019-10-31 大成建設株式会社 画像水平調整装置及びそのプログラム、並びに、図面生成システム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020097840A1 (en) 2018-11-15 2020-05-22 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for correcting a high-definition map based on detection of obstructing objects

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000076453A (ja) * 1998-08-28 2000-03-14 Kazuhiro Shiina 立体データ作成方法及び装置
JP2018151835A (ja) * 2017-03-13 2018-09-27 富士通株式会社 情報処理プログラム、情報処理方法、および情報処理装置
CN108171780A (zh) * 2017-12-28 2018-06-15 电子科技大学 一种基于激光雷达构建室内真实三维地图的方法
JP2019190962A (ja) * 2018-04-24 2019-10-31 大成建設株式会社 画像水平調整装置及びそのプログラム、並びに、図面生成システム

Also Published As

Publication number Publication date
JPWO2022049653A1 (ja) 2022-03-10
JP7385159B2 (ja) 2023-11-22
US20230326052A1 (en) 2023-10-12

Similar Documents

Publication Publication Date Title
Rebolj et al. Point cloud quality requirements for Scan-vs-BIM based automated construction progress monitoring
US10572970B2 (en) Extracting 2D floor plan from 3D GRID representation of interior space
CN109564690B (zh) 使用多向相机评估封闭空间的尺寸
US10262230B1 (en) Object detection and identification
JP5487298B2 (ja) ３次元画像生成
CN108801268B (zh) 目标对象的定位方法、装置及机器人
US7728833B2 (en) Method for generating a three-dimensional model of a roof structure
Vidas et al. Real-time mobile 3D temperature mapping
WO2019225547A1 (ja) オブジェクトトラッキング装置、オブジェクトトラッキング方法およびオブジェクトトラッキングプログラム
Altahir et al. Optimizing visual surveillance sensor coverage using dynamic programming
JP5297727B2 (ja) ロボット装置及び物体の位置姿勢推定方法
Raza et al. Comparing and evaluating indoor positioning techniques
Cheng et al. A simple ground segmentation method for LiDAR 3D point clouds
US20190026900A1 (en) System and method for modeling a three dimensional space based on a two dimensional image
Yamaguchi et al. Superimposing thermal-infrared data on 3D structure reconstructed by RGB visual odometry
Bahirat et al. A study on lidar data forensics
WO2022049653A1 (ja) 推定方法、推定装置及びプログラム
Kawanishi et al. Parallel line-based structure from motion by using omnidirectional camera in textureless scene
Genova et al. Learning where to look: Data-driven viewpoint set selection for 3d scenes
ELzaiady et al. Next-best-view planning for environment exploration and 3D model construction
Jarząbek-Rychard et al. Automatic enrichment of indoor 3D models using a deep learning approach based on single images with unknown camera poses
Mohd Yusoff et al. Optimal camera placement for 3D environment
Kim et al. Cuboid-Shaped Space Recognition from Noisy Point Cloud for Indoor AR Workspace
Banov et al. 1Affiliation not available
KR20240043315A (ko) 직육면체를 검출하여 증강현실 게임 공간을 구성하는 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20952393

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022546763

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20952393

Country of ref document: EP

Kind code of ref document: A1