WO2020235057A1 - モデル生成装置、モデル生成システム、モデル生成方法、非一時的なコンピュータ可読媒体 - Google Patents

モデル生成装置、モデル生成システム、モデル生成方法、非一時的なコンピュータ可読媒体 Download PDF

Info

Publication number
WO2020235057A1
WO2020235057A1 PCT/JP2019/020307 JP2019020307W WO2020235057A1 WO 2020235057 A1 WO2020235057 A1 WO 2020235057A1 JP 2019020307 W JP2019020307 W JP 2019020307W WO 2020235057 A1 WO2020235057 A1 WO 2020235057A1
Authority
WO
WIPO (PCT)
Prior art keywords
model
information
acquired
image information
edited
Prior art date
Application number
PCT/JP2019/020307
Other languages
English (en)
French (fr)
Inventor
永哉 若山
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2021519986A priority Critical patent/JP7226534B2/ja
Priority to PCT/JP2019/020307 priority patent/WO2020235057A1/ja
Priority to US17/610,518 priority patent/US20220215641A1/en
Publication of WO2020235057A1 publication Critical patent/WO2020235057A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2021—Shape modification

Definitions

  • the present disclosure relates to a model generator, a model generator, a model generator, and a program.
  • Patent Document 1 a geometric shape is recognized from point cloud information which is object arrangement information in the real world, a model representing this is generated, and the generated model is converted into model information such as CAD (Computer Aided Design).
  • CAD Computer Aided Design
  • Patent Document 2 a three-dimensional model of an object in the real space is arranged in the three-dimensional space, the omnidirectional image taken from a predetermined shooting position is mapped to a cylindrical virtual screen, and the virtual screen is formed.
  • a technique for arranging an omnidirectional image in a virtual three-dimensional space in an easy-to-understand manner by arranging it in a virtual three-dimensional space and generating image data for displaying the virtual three-dimensional space from a bird's-eye view is disclosed.
  • the physical property mainly refers to information such as gravity and friction.
  • the physical properties it is possible to reproduce the effects of contact, collision, etc. between the robot and the object, or between the objects, and it is possible to realize a more precise simulation.
  • most of the information that can be obtained by sensing the real world includes errors with the real world. For this reason, if the objects are arranged as they are from the information including the error, the physical characteristics are ignored, and it becomes difficult to carry out a precise simulation.
  • Patent Document 1 discloses details of a method for considering physical characteristics in the arrangement of objects.
  • An object of the present invention is to provide a model generation device, a model generation system, a model generation method, and a program capable of generating a model for realizing a more precise simulation.
  • the model generator for generating a 3D model from three-dimensional image information according to the first aspect of the present disclosure is The object to be reconstructed on the 3D model is extracted from the 3D image information, and the object model having the highest degree of shape conformity with the object is selected from the plurality of object models available on the 3D model.
  • Object extraction means and acquisition method associated with object size information and placement location information A model editing means for editing the acquired object model so as to be consistent with the size information of the object.
  • a model placement means for arranging the edited object model on the 3D model so as to satisfy the physical constraints on the 3D model and to be consistent with the placement location information is provided.
  • the model generation system for generating a 3D model from the 3D image information extracts the object to be reconstructed on the 3D model from the 3D image information and also on the 3D model.
  • An object extraction means for acquiring an object model having the highest degree of shape conformity with the object from a plurality of object models available in the above in association with the size information and the placement location information of the object.
  • a model editing means for editing the acquired object model so as to be consistent with the size information of the object.
  • a model placement means for arranging the edited object model on the 3D model so as to satisfy the physical constraints on the 3D model and to be consistent with the placement location information is provided.
  • the model generation method for generating a 3D model from three-dimensional image information according to the third aspect of the present disclosure is described.
  • the object to be reconstructed on the 3D model is extracted from the 3D image information, and the object model having the highest degree of shape conformity with the object is selected from the plurality of object models available on the 3D model.
  • Get in association with object size information and placement location information Edit the acquired object model to match the size information of the object.
  • the edited object model is placed on the 3D model so as to satisfy the physical constraints on the 3D model and be consistent with the placement location information.
  • the program according to the fourth aspect of the present disclosure extracts an object to be reconstructed on the 3D model from the three-dimensional image information, and also extracts the object to be reconstructed on the 3D model from the plurality of object models available on the 3D model.
  • the process of editing the acquired object model so as to match the size information of the object and
  • the computer executes the process of arranging the edited object model on the 3D model so as to satisfy the physical constraints on the 3D model and to be consistent with the arrangement location information.
  • a model generation device capable of generating a model for realizing a more precise simulation.
  • FIG. 1 is a block diagram showing a configuration of a model generation device 1 according to the first embodiment of the present disclosure.
  • the model generation device 1 includes an object extraction means 11, a model editing means 12, and a model arranging means 13.
  • the object extraction means 11 extracts the object to be reconstructed on the 3D model from the three-dimensional (3D) image information, and among the plurality of object models available on the 3D model, the object is the most.
  • An object model having a high degree of shape conformity is acquired in association with the size information and the arrangement location information of the object.
  • the model editing means 12 edits the extracted object model so as to match the size information of the object acquired by the object extracting means 11.
  • the model arrangement means 13 arranges the object model edited by the model editing means 12 on the 3D model so as to satisfy the physical constraints on the 3D model and match the arrangement location information acquired by the object extraction means 11. To do.
  • the model generator 1 configured in this way operates as follows, for example. First, the model generation device 1 extracts an object to be reconstructed on the 3D model from the three-dimensional image information by the operation of the object extraction means 11, and among a plurality of object models available on the 3D model. To obtain the object model having the highest degree of shape conformity with the object in association with the size information and the placement location information of the object. Next, for each of the extracted objects, the model editing means 12 and the model arranging means 13 execute the following procedures. That is, the model editing means 12 edits the acquired object model so as to match the size information of the object extracted by the object extracting means 11. Then, the model arranging means 13 puts the object model edited by the model editing means 12 on the 3D model so as to satisfy the physical constraints on the 3D model and match the arranging location information acquired by the object extracting means 11. Place in.
  • the model generation device 1 in the first embodiment of the present disclosure can reproduce the influence of contact, collision, etc. between objects, and generates a 3D model capable of realizing a more precise simulation. can do. That is, when the object model extracted from the three-dimensional image information is placed on the 3D model, the details of the placement can be determined based on the physical constraints of a plurality of adjacent object models. Therefore, it is possible to eliminate the possibility of an arrangement that cannot physically exist on the 3D model due to an error included in the three-dimensional information. As a result, it is possible to generate a 3D model that can realize a more precise simulation that reproduces the effects of contact and collision between objects. [Second Embodiment]
  • model generation device 1 According to the second embodiment of the present disclosure will be described with reference to the following drawings. The same configuration and operation as the model generation device 1 in the first embodiment will not be described. In the second embodiment, the operation of the model generator 1 in the first embodiment will be described in detail.
  • FIG. 2 is a block diagram showing a configuration of the model generation device 1 according to the second embodiment of the present disclosure.
  • the model generation device 1 includes an image information acquisition means 10, an object extraction means 11, a model editing means 12, a model arrangement means 13, a 3D model output means 14, and a model group database 15, respectively.
  • the object extraction means 11, the model editing means 12, and the model arranging means 13 are the same as the means in the first embodiment, and thus the description thereof will be omitted.
  • the image information acquisition means 10 acquires three-dimensional image information, which is information expressing the existence of an object in the real space in three dimensions from the real space sensing information. Specific examples of the three-dimensional image information include point cloud information and the like. Further, the real space sensing information may be acquired from these sensing means so that the image information acquisition means 10 further includes sensing means such as a depth camera, a three-dimensional camera, and 3D LiDAR (Light Detection and Ringing). However, it may be obtained from an external device.
  • sensing means such as a depth camera, a three-dimensional camera, and 3D LiDAR (Light Detection and Ringing). However, it may be obtained from an external device.
  • the 3D model output means 14 outputs the 3D model generated via the object extraction means 11, the model editing means 12, and the model placement means 13 as data.
  • Examples of the data format of the 3D model include COLLADA (COLLAborative Design Activity), FBX (Filmbox), 3DS (3D Studio) and the like.
  • the model group database 15 is a database that stores candidate groups of object models that can be used on the 3D model output by the model generation device 1.
  • the object model is data that defines the shape and size of an object, and is, for example, data expressed by a wire frame model, a polygon mesh, or a point cloud.
  • the model group database 15 is referred to by the object extraction means 11 when deciding which object model to replace the object to be reconstructed on the 3D model.
  • FIG. 3 is a table showing an example of the information stored in the model group database 15 according to the second embodiment of the present disclosure.
  • the model group database 15 stores the model name and the object model information in association with each other.
  • the file path in which the object model data is stored is stored as the object model information.
  • the object model data can be acquired by referring to the file path shown in the object model information on the model group database 15.
  • FIG. 4 is a flowchart showing the operation of the model generation device 1 according to the second embodiment of the present disclosure.
  • the model generation device 1 acquires three-dimensional image information as an operation of the image information acquisition means 10 (step S101).
  • FIG. 5 is a diagram showing an example of three-dimensional image information according to the second embodiment of the present disclosure.
  • real space sensing is performed through a depth camera, the sensing result is converted into point cloud information, and three-dimensional image information is acquired.
  • a desk, luggage placed on the desk, and a shelf are photographed.
  • a depth camera is used as the image information acquisition means 10, but the depth camera is not limited to this, and a general camera composed of an image sensor, a wide-angle camera, or an RGBD camera that captures a color image and a distance image. Alternatively, a plurality of cameras may be used in combination.
  • the object extraction means 11 extracts an object to be reconstructed on the 3D model from the acquired three-dimensional image information, and selects the object from a plurality of object models stored in the model group database 15.
  • the object model with the highest degree of conformity is acquired (step S102).
  • the means for acquiring the object model for example, matching processing is performed for each of the object models in the model group database 15 and each of the objects included in the three-dimensional image information, and the degree of conformity exceeds a predetermined value. Extract the set as an object model.
  • the object extraction means 11 can be provided with a known image recognition function.
  • FIG. 6 is a diagram showing an example of object extraction according to the second embodiment of the present disclosure.
  • a range having a high degree of compatibility with the desk is extracted as an object from the three-dimensional image information.
  • the object model of the desk is acquired in association with the shape of the object as an object model having a high degree of conformity.
  • the object size information / arrangement location information is associated with the extracted object model (step S104).
  • the size information of the object is a value that can uniquely express the size of the object.
  • the placement location information is a value that can uniquely represent the location and orientation of the object on the 3D model.
  • the value of the center point of the object in the three-dimensional Cartesian coordinates when a predetermined point is the origin and the value of the roll pitch yaw of the object in the Cartesian coordinate system are acquired.
  • FIG. 7 is a table showing an example of output data from the object extraction means 11 according to the second embodiment of the present disclosure.
  • the object extraction means 11 has a desk, luggage, and other objects to be reconstructed on the 3D model based on the model group database 15 shown in FIG. 3 and the three-dimensional image information shown in FIG. Extract each of the three points on the shelf. Then, the file path information acquired from the model group database 15 as each 3D model information is reflected on the 3D model as the object size information and the information indicating the width, depth, and height of each object as the arrangement information. Information indicating the X, Y, Z coordinates, and roll pitch yaw of each object center point at the time of making the object is acquired and associated with each other.
  • step S103 If other objects cannot be extracted (NO in step S103), it is considered that the object extraction is completed, and the object model is edited and placed in the 3D model for each of the detected objects.
  • the model editing means 12 determines the size information of the object included in the output data from the object extracting means 11.
  • the object model is edited so as to match (step S106). Specifically, for example, the size predetermined for each object model is compared with the size information included in the output data from the object extraction means 11, and the magnification of the enlargement / reduction processing for the object model is acquired.
  • FIG. 8 is a table showing an example of output data from the model editing means 12 in the second embodiment of the present disclosure.
  • the enlargement ratio is set based on the size information of the object.
  • the size of the original 3D model is 1 m in width, 50 cm in depth, and 1 m in height.
  • the enlargement ratios are set to 1 time in width, 1 time in depth, and 0.4 times in height, respectively.
  • the model editing means 12 can edit the size of the object model based on the size information (for example, the enlargement ratio or the reduction ratio) set in this way.
  • the model arranging means 13 arranges the object model on the 3D model (step S107).
  • the object model is arranged so as to satisfy the physical constraints on the 3D model and to be consistent with the arrangement location information included in the object information.
  • the physical constraint refers to the spatial arrangement condition given by the physical properties applied to the object, such as gravity, friction, and inertia, in addition to the interference between objects.
  • the 3D image information is corrected based on the physical constraints at the placement stage of the object model.
  • the second point is that the luggage placed on the desk interferes with the top plate of the desk. Both the desk and the luggage are solid, and a configuration in which one is sunk into the other violates physical constraints.
  • the luggage since the luggage needs to be stationary on the desk, the luggage must not be placed in a position where it floats from the desk, as shown in the first point. Therefore, it is necessary to correct the position of the desk or the luggage so that the bottom surface of the luggage is in contact with the top plate of the desk.
  • the model arranging means 13 corrects the size information and the arranging location information of the objects acquired from the three-dimensional image information based on such physical constraints, and puts each object model on the 3D model based on the correction information. Can be placed.
  • FIG. 9 is a diagram showing an example of a 3D model after object placement by the operation of the model placement means 13 in the second embodiment of the present disclosure. As shown in FIG. 9, it can be seen that the desk and the luggage are arranged so as to satisfy the two physical constraints shown above.
  • step S105 After placing the object model, return to step S105 and repeat until there are no unplaced objects. Then, when there are no unplaced objects (NO in step S105), the 3D model output means 14 outputs the created 3D model (step S108). After output, the operation is completed.
  • the model generation device 1 can reproduce the effects of contact, collision, etc. between objects in the real world, and can generate a 3D model capable of realizing a more precise simulation.
  • an object to be reproduced on the 3D model is extracted from the three-dimensional image information, replaced and modified with the object model, and then arranged on the 3D model so as to satisfy the physical constraints.
  • the ones whose reference information such as size is similar to the appearance characteristics of the objects are selected from a plurality of object model candidates prepared in advance. Therefore, it is possible to acquire all the information necessary for the placement on the 3D model and the correction at the time of placement.
  • the physical parameters can be matched between the object of the three-dimensional image information and the object model on the 3D model.
  • the 3D model generated from the model generation device 1 is a model that satisfies physical constraints such as contact between objects and gravity. From this, by using the 3D model output by the model generator 1 of the present disclosure, it is possible to realize a precise simulation in consideration of the influence of physical constraints.
  • the object models may be arranged in order from the object model closest to the floor surface. Specifically, for example, based on the size information and the arrangement information described in the output information from the object extraction means 11, the object model is processed in ascending order with the distance of the portion closest to the floor surface in the object as an index. The order may be determined.
  • the processing of the model arranging means 13 can be made more efficient. Since it is necessary to consider gravity as one of the physical constraints, it is required that the lower part of the object is a stable surface except for special cases such as hanging. Therefore, by utilizing the fact that the floor surface itself, which is the reference surface in the 3D model, satisfies the physical constraints, and by stably arranging the object models in order from the side closest to the floor surface, efficient processing is possible. Become. Therefore, a 3D model can be generated at a higher speed. [Third Embodiment]
  • model generator capable of further acquiring the model parameter information which is the physical parameter information of the object will be described in detail.
  • FIG. 10 is a block diagram showing an example of the configuration of the model generation device 1a according to the third embodiment of the present disclosure.
  • the difference from the model generation device shown in the second embodiment of the present disclosure is that the model generation device 1a in the present embodiment further includes the model parameter acquisition means 16 and the parameter database 17 and is acquired.
  • the point is that the model editing means 12a and the model arranging means 13a perform processing based on the model parameter information.
  • the model parameter acquisition means 16 acquires physical parameter information corresponding to the object model from the parameter database 17 based on the information acquired from the object extraction means 11.
  • the physical parameter refers to numerical information related to the physical constraint set in the object model.
  • Specific examples of physical parameters include mass and friction coefficient on the surface of the object model.
  • the parameter database 17 is a database that stores the physical parameters in each object model.
  • FIG. 11 is a table showing an example of the information stored in the parameter database 17 according to the third embodiment of the present disclosure.
  • the mass of each object model is stored, and the parts that make up the object model, the parts affected by the mass and size editing of each part, the static friction coefficient, and the dynamic friction coefficient are stored, respectively.
  • FIG. 12 is a flowchart showing the operation of the model generation device 1a according to the third embodiment of the present disclosure.
  • the operations similar to the operations in the second embodiment of the present disclosure are indicated by the same numbers, and the description thereof will be omitted as appropriate. Since steps S101 to 104 are the same as the operations in the second embodiment of the present disclosure, description thereof will be omitted.
  • the model parameter acquisition means 16 refers to the parameter database 17 and the physical parameters corresponding to the object model. (Step S111). For example, when each information shown in FIG. 11 is stored in the parameter database 17, and the selected unplaced object model is "desk", the mass is 5.5 kg, and the mass of each part of the top plate / leg is The width, depth, and height of the parts affected by the size editing are 0.50 and 0.78, respectively, as the static friction coefficient, and 0.47, respectively, as the dynamic friction coefficient. 0.71 is acquired in association with the object model.
  • the model editing means 12a edits the object model and the physical parameters so as to match the size information included in the output data from the object extracting means 11 (step S106a). Since the editing of the object model is the same as the operation in the second embodiment, the description thereof will be omitted.
  • the model arranging means 13a arranges the object model on the 3D model (step S107, the description is omitted because it is the same as the second embodiment), and associates the acquired physical parameters with the arranged objects. (Step S112). Specifically, the 3D model data is edited, and the physical property value of the object model is set to the acquired physical parameter value. After the execution for one object model, the process returns to step S105. If there is an unplaced object (YES in step S105), the same process is repeated.
  • the physical parameters set for each object model can be set in the 3D model. This makes it possible to easily generate a 3D model suitable for a precise simulation.
  • the placement constraint refers to a constraint given to the placement of the object model by the placement of another object model.
  • the placement constraint refers to a constraint given to the placement of the object model by the placement of another object model.
  • FIG. 13 is a block diagram showing the configuration of the model generation device 1b according to the fourth embodiment of the present disclosure.
  • the difference from the model generation device shown in the second embodiment of the present disclosure is that in the model generation device 1b according to the present embodiment, the model group database 15b further retains information related to placement constraints between object models. Then, the object extraction means 11b extracts the object model based on the arrangement constraint between the object models.
  • the object extraction means 11b extracts the object to be reconstructed on the 3D model from the three-dimensional image information, and has the most shape matching with the object from the plurality of object models stored in the model group database 15b. Get a high degree object model. At this time, the object model is extracted based on the arrangement constraint between the object models. Then, the size information and the placement location information of the object are associated and acquired.
  • FIG. 14 is a table showing an example of the information stored in the model group database 15b according to the fourth embodiment of the present disclosure.
  • the model group database 15b in addition to the model name and 3D model information, lower placement constraints are stored in association with each other.
  • a lower placement constraint an object model that is allowed to be placed at the lower part of the object model is stored.
  • (base) is stored in the lower arrangement constraint of the desk.
  • (base) refers to a reference plane (for example, a floor plane). That is, according to the model group database 15b in the present embodiment, it is defined that "the desk is arranged only on the reference plane".
  • the time required for object extraction can be reduced.
  • the process can be omitted for some of the object models based on the arrangement relationship between the plurality of objects. Therefore, the 3D model can be generated at a higher speed.
  • the functions that configure the model generator may be configured and operated by a plurality of network-connected devices.
  • a program for realizing all or a part of the functions of the model generator in the present disclosure is recorded on a computer-readable recording medium, and the program recorded on the recording medium is read into a computer system and executed. As a result, each part may be processed.
  • the term "computer system” as used herein includes hardware such as an OS and peripheral devices.
  • the "computer-readable recording medium” refers to a portable medium such as a magneto-optical disk, ROM, or non-volatile semiconductor memory, or a storage device such as a hard disk built in a computer system.
  • a “computer-readable recording medium” is a communication line for transmitting a program via a network such as the Internet or a communication line such as a telephone line, and dynamically holds the program for a short period of time. In that case, it also includes the one that holds the program for a certain period of time, such as the volatile memory inside the computer system that becomes the server or client.
  • the above-mentioned program may be for realizing a part of the above-mentioned functions, and may further realize the above-mentioned functions in combination with a program already recorded in the computer system.
  • Non-temporary computer-readable media include various types of tangible storage media.
  • Examples of non-temporary computer-readable media include magnetic recording media, magneto-optical recording media (eg, magneto-optical disks), CD-ROMs (Read Only Memory), CD-Rs, CD-R / Ws, and semiconductor memories.
  • the magnetic recording medium may be, for example, a flexible disk, a magnetic tape, or a hard disk drive.
  • the semiconductor memory may be, for example, a mask ROM, a PROM (Programmable ROM), an EPROM (Erasable PROM), a flash ROM, or a RAM (Random Access Memory).
  • the program may also be supplied to the computer by various types of temporary computer readable media.
  • Examples of temporary computer-readable media include electrical, optical, and electromagnetic waves.
  • the temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.
  • (Appendix 1) A model generator that generates a 3D model from 3D image information.
  • the object to be reconstructed on the 3D model is extracted from the 3D image information, and the object model having the highest degree of shape conformity with the object is selected from the plurality of object models available on the 3D model.
  • Object extraction means and acquisition method associated with object size information and placement location information A model editing means for editing the acquired object model so as to be consistent with the size information of the object.
  • a model generation device including a model placement means for arranging the edited object model on the 3D model so as to satisfy the physical constraints on the 3D model and be consistent with the placement location information.
  • (Appendix 2) The model generation device according to Appendix 1, wherein when arranging a plurality of object models, the model arranging means sequentially arranges the object models closest to the floor surface.
  • (Appendix 3) Further provided with a model parameter acquisition means for acquiring the physical parameter information corresponding to the acquired object model.
  • the model editing means further edits the physical parameter information in response to the editing of the object model.
  • the model placing means further places the edited object model so as to satisfy the physical constraints by associating the edited physical parameters with the edited object model, according to Appendix 1 or 2.
  • Model generator. (Appendix 4) The model generator according to Appendix 3, wherein the physical parameter information includes mass information and friction information.
  • the object to be reconstructed on the 3D model is extracted from the 3D image information, and the object model having the highest degree of shape conformity with the object is selected from the plurality of object models available on the 3D model.
  • Object extraction means and acquisition method associated with object size information and placement location information A model editing means for editing the acquired object model so as to be consistent with the size information of the object.
  • a model generation system including a model placement means for arranging the edited object model on the 3D model so as to satisfy the physical constraints on the 3D model and be consistent with the placement location information. (Appendix 10)
  • a model generation method that generates a 3D model from 3D image information.
  • the object to be reconstructed on the 3D model is extracted from the 3D image information, and the object model having the highest degree of shape conformity with the object is selected from the plurality of object models available on the 3D model.
  • Get in association with object size information and placement location information Edit the acquired object model to match the size information of the object.
  • the object to be reconstructed on the 3D model is extracted from the 3D image information, and the object model having the highest degree of shape conformity with the object is selected from the plurality of object models available on the 3D model.
  • Processing to be acquired in association with object size information and placement location information The process of editing the acquired object model so as to match the size information of the object, and A non-temporary computer-readable program that computer-executes the process of arranging the edited object model on the 3D model so as to satisfy the physical constraints on the 3D model and be consistent with the location information.
  • a non-temporary computer-readable program that computer-executes the process of arranging the edited object model on the 3D model so as to satisfy the physical constraints on the 3D model and be consistent with the location information.
  • Model generation device 10 Image information acquisition means 11 Object extraction means 12 Model editing means 13 Model placement means 14 3D model output means 15 Model group database 16 Model parameter acquisition means 17 Parameter database

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)

Abstract

より精緻なシミュレーションを実現するためのモデルを生成可能なモデル生成装置を提供することを目的とする。まず、三次元画像情報から、３Ｄモデル上で再構築する対象であるオブジェクトを抽出するとともに、３Ｄモデル上で利用可能な複数のオブジェクトモデルのなかから前記オブジェクトと最も形状適合度の高いオブジェクトモデルを取得し、オブジェクトのサイズ情報および配置場所情報と関連付ける。次に、取得されたオブジェクトモデルそれぞれについて、オブジェクトのサイズ情報と整合するように抽出されたオブジェクトモデルを編集する。そして、３Ｄモデル上における物理制約を満たし、かつ配置場所情報と整合するように、編集されたオブジェクトモデルを３Ｄモデル上に配置する。

Description

モデル生成装置、モデル生成システム、モデル生成方法、非一時的なコンピュータ可読媒体
　本開示は、モデル生成装置、モデル生成システム、モデル生成方法、及びプログラムに関する。
　ＶＲ（Virtual　Reality：仮想現実）やＡＲ（Augmented　Reality：拡張現実）など、実世界と情報空間とを結びつける技術のひとつとして、実世界の環境情報を３Ｄ（３　Ｄｉｍｅｎｓｉｏｎ）モデル上に再現する技術がいくつか知られている。
　特許文献１では、実世界の物体配置情報である点群情報から幾何学的形状を認識し、これを表すモデルを生成し、そして生成モデルをＣＡＤ（Computer　Aided　Design）などのモデル情報に変換する技術が開示されている。
　また、特許文献２では、現実空間の物体の三次元モデルを三次元空間に配置し、所定の撮影位置から撮影された全周囲画像を、筒形の仮想スクリーンにマッピングし、そして、仮想スクリーンを仮想三次元空間に配置し、仮想三次元空間を俯瞰して表示するための画像データを生成することで、全周囲画像を仮想三次元空間にわかりやすく配置する技術が開示されている。
　ところで、近年、計算機シミュレーションにおいても、実世界の環境情報を３Ｄモデル上に再現することへの要求が高まっている。例えば、近年、工場や倉庫において、ＡＧＶ（Automated　Guided　Vehicle：自動搬送車）や垂直多関節ロボットなど、ロボットの活用が進められている。ロボットを導入するにあたって、安全性の確保や運用効率の最大化を図るには、ロボットが設置される建物や建物内の他の装置のレイアウトの影響を事前に考慮する必要がある。これは、ロボットを導入し、実環境で動作させながら、配置やレイアウトの改善を図ることは、長い時間を要するだけでなく、運用の一時停止につながるからである。こうした環境情報を事前に検討するための手段として、シミュレーション上で、ロボットの動作状態と実世界の環境情報を再現する取り組みが進められている。
特表２０００－５０９１５０号公報 国際公開第２０１７／０１７７９０号
　これらロボットシミュレータ上で実世界の環境情報を再現するにあたって、再現すべきオブジェクトのモデル化に加え、オブジェクトの配置における物理特性を考慮する必要がある。ここで物理特性とは、主に重力や摩擦といった情報を指す。物理特性を考慮することで、ロボットとオブジェクト、あるいはオブジェクト間での接触、衝突などの影響を再現でき、より精緻なシミュレーションを実現することができる。加えて、実世界をセンシングし得られる情報のほとんどは実世界との間の誤差を含む。このため、誤差を含む情報からそのままオブジェクトの配置を行っただけでは、物理特性を無視したものとなるため、精緻なシミュレーションを実施することが困難となる。
　しかし、特許文献１および特許文献２のいずれにも、オブジェクトの配置における物理特性を考慮するための手法について詳細が開示されていない。
　本発明はかかる問題を解決すべくなされたものである。本発明の目的は、より精緻なシミュレーションを実現するためのモデルを生成可能な、モデル生成装置、モデル生成システム、モデル生成方法、及びプログラムを提供することである。
　本開示の第１の態様にかかる、三次元画像情報から３Ｄモデルを生成するモデル生成装置は、
　三次元画像情報から、３Ｄモデル上で再構築する対象であるオブジェクトを抽出するとともに、３Ｄモデル上で利用可能な複数のオブジェクトモデルのなかから前記オブジェクトと最も形状適合度の高いオブジェクトモデルを、前記オブジェクトのサイズ情報および配置場所情報と関連付けて取得する、オブジェクト抽出手段と、
　前記オブジェクトのサイズ情報と整合するように前記取得されたオブジェクトモデルを編集する、モデル編集手段と、
　３Ｄモデル上における物理制約を満たし、かつ前記配置場所情報と整合するように、編集された前記オブジェクトモデルを３Ｄモデル上に配置する、モデル配置手段と
　を備える。
　本開示の第２の態様にかかる、三次元画像情報から３Ｄモデルを生成するモデル生成システムは、三次元画像情報から、３Ｄモデル上で再構築する対象であるオブジェクトを抽出するとともに、３Ｄモデル上で利用可能な複数のオブジェクトモデルのなかから前記オブジェクトと最も形状適合度の高いオブジェクトモデルを、前記オブジェクトのサイズ情報および配置場所情報と関連付けて取得する、オブジェクト抽出手段と、
　前記オブジェクトのサイズ情報と整合するように前記取得されたオブジェクトモデルを編集する、モデル編集手段と、
　３Ｄモデル上における物理制約を満たし、かつ前記配置場所情報と整合するように、編集された前記オブジェクトモデルを３Ｄモデル上に配置する、モデル配置手段と
　を備える。
　本開示の第３の態様にかかる、三次元画像情報から３Ｄモデルを生成するモデル生成方法は、
　三次元画像情報から、３Ｄモデル上で再構築する対象であるオブジェクトを抽出するとともに、３Ｄモデル上で利用可能な複数のオブジェクトモデルのなかから前記オブジェクトと最も形状適合度の高いオブジェクトモデルを、前記オブジェクトのサイズ情報および配置場所情報と関連付けて取得し、
　前記オブジェクトのサイズ情報と整合するように前記取得されたオブジェクトモデルを編集し、
　３Ｄモデル上における物理制約を満たし、かつ前記配置場所情報と整合するように、編集された前記オブジェクトモデルを３Ｄモデル上に配置する。
　本開示の第４の態様にかかる、プログラムは、三次元画像情報から、３Ｄモデル上で再構築する対象であるオブジェクトを抽出するとともに、３Ｄモデル上で利用可能な複数のオブジェクトモデルのなかから前記オブジェクトと最も形状適合度の高いオブジェクトモデルを、前記オブジェクトのサイズ情報および配置場所情報と関連付けて取得する処理と、
　前記オブジェクトのサイズ情報と整合するように前記取得されたオブジェクトモデルを編集する処理と、
　３Ｄモデル上における物理制約を満たし、かつ前記配置場所情報と整合するように、編集された前記オブジェクトモデルを３Ｄモデル上に配置する処理と
　をコンピュータ実行させる。
　本開示により、より精緻なシミュレーションを実現するためのモデルを生成可能な、モデル生成装置、モデル生成システム、モデル生成方法、及びプログラムを提供することができる。
本開示の第１の実施の形態におけるモデル生成装置１の構成を示すブロック図である。 本開示の第２の実施の形態におけるモデル生成装置１の構成を示すブロック図である。 本開示の第２の実施の形態におけるモデル群データベース１５に格納された情報の一例を示す表である。 本開示の第２の実施の形態におけるモデル生成装置１の動作を示すフローチャート図である。 本開示の第２の実施の形態における三次元画像情報の一例を示す図である。 本開示の第２の実施の形態におけるオブジェクトの抽出の一例を示す図である。 本開示の第２の実施の形態におけるオブジェクト抽出手段１１からの出力データの一例を示す表である。 本開示の第２の実施の形態におけるモデル編集手段１２からの出力データの一例を示す表である。 本開示の第２の実施の形態におけるモデル配置手段１３の動作によるオブジェクト配置後の３Ｄモデルの一例を示す図である。 本開示の第３の実施の形態におけるモデル生成装置１ａの構成の一例を示すブロック図である。 本開示の第３の実施の形態におけるパラメータデータベース１７に格納された情報の一例を示す表である。 本開示の第３の実施の形態におけるモデル生成装置１ａの動作を示すフローチャート図である。 本開示の第４の実施の形態におけるモデル生成装置１の構成を示すブロック図である。 本開示の第４の実施の形態におけるモデル群データベース１５ｂに格納された情報の一例を示す表である。
　以下、図面を用いて本開示の具体的な実施の形態について説明する。なお、本実施の形態において用いられた図面および具体的な構成を、発明の解釈に用いてはならない。
　[第１の実施の形態]
　以下、図面を用いて本開示の第１の実施の形態におけるモデル生成装置の構成および動作について説明する。
　図１は、本開示の第１の実施の形態におけるモデル生成装置１の構成を示すブロック図である。モデル生成装置１は、オブジェクト抽出手段１１と、モデル編集手段１２と、モデル配置手段１３とを、備える。
　オブジェクト抽出手段１１は、三次元（３Ｄ）画像情報から、３Ｄモデル上で再構築する対象であるオブジェクトを抽出するとともに、３Ｄモデル上で利用可能な複数のオブジェクトモデルのなかから、前記オブジェクトと最も形状適合度の高いオブジェクトモデルを、前記オブジェクトのサイズ情報および配置場所情報と関連付けて取得する。
　モデル編集手段１２は、オブジェクト抽出手段１１にて取得したオブジェクトのサイズ情報と整合するように、抽出されたオブジェクトモデルを編集する。
　モデル配置手段１３は、３Ｄモデル上における物理制約を満たし、かつオブジェクト抽出手段１１にて取得した配置場所情報と整合するように、モデル編集手段１２にて編集されたオブジェクトモデルを３Ｄモデル上に配置する。
　このように構成されたモデル生成装置１は、たとえば、以下のように動作する。モデル生成装置１はまず、オブジェクト抽出手段１１の動作によって、三次元画像情報から、３Ｄモデル上で再構築する対象であるオブジェクトを抽出するとともに、３Ｄモデル上で利用可能な複数のオブジェクトモデルのなかから、前記オブジェクトと最も形状適合度の高いオブジェクトモデルを、オブジェクトのサイズ情報および配置場所情報と関連付けて取得する。次に、抽出されたオブジェクトのそれぞれについて、モデル編集手段１２およびモデル配置手段１３にて、以下に示す手続きが実行される。すなわち、モデル編集手段１２は、オブジェクト抽出手段１１により抽出されたオブジェクトのサイズ情報と整合するように、取得されたオブジェクトモデルを編集する。そして、モデル配置手段１３は、３Ｄモデル上における物理制約を満たし、かつオブジェクト抽出手段１１にて取得した配置場所情報と整合するように、モデル編集手段１２にて編集されたオブジェクトモデルを３Ｄモデル上に配置する。
　かかる構成および動作をとることにより、本開示の第１の実施の形態におけるモデル生成装置１は、物体間の接触、衝突などの影響を再現でき、より精緻なシミュレーションを実現可能な３Ｄモデルを生成することができる。すなわち、三次元画像情報から抽出されたオブジェクトモデルを３Ｄモデル上に配置する際に、近接する複数のオブジェクトモデルにおける物理制約に基づいて配置の詳細を決定することができる。よって、三次元情報に含まれる誤差などに起因する、３Ｄモデル上で物理的に存在しえない配置となる可能性を排除できる。これにより、物体間の接触、衝突などの影響を再現した、より精緻なシミュレーションを実現可能な３Ｄモデルを生成することができる。
　[第２の実施の形態]
　次に、以下の図面を用いて、本開示の第２の実施の形態におけるモデル生成装置１の構成および動作について説明する。なお、第１の実施の形態におけるモデル生成装置１と同様の構成および動作については、説明を省略する。
　第２の実施の形態では、第１の実施の形態におけるモデル生成装置１の動作について、詳しく説明する。
　本開示の第２の実施の形態におけるモデル生成装置１の構成について、図面を用いて説明する。図２は、本開示の第２の実施の形態におけるモデル生成装置１の構成を示すブロック図である。モデル生成装置１は、画像情報取得手段１０と、オブジェクト抽出手段１１と、モデル編集手段１２と、モデル配置手段１３と、３Ｄモデル出力手段１４と、モデル群データベース１５とを、それぞれ備える。オブジェクト抽出手段１１、モデル編集手段１２、モデル配置手段１３については、第１の実施の形態における各手段と同様のため、説明を省略する。
　画像情報取得手段１０は、実空間センシング情報から実空間における物体の存在を三次元で表現した情報である、三次元画像情報を取得する。三次元画像情報の具体的な一例としては、点群（Ｐｏｉｎｔ　Ｃｌｏｕｄ）情報などが挙げられる。また、実空間センシング情報は、画像情報取得手段１０が、デプスカメラや三次元カメラ、３Ｄ　ＬｉＤＡＲ（Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）といったセンシング手段をさらに備える構成として、これらセンシング手段から取得するようにしてもよいし、外部装置から取得するようにしてもよい。
　３Ｄモデル出力手段１４は、オブジェクト抽出手段１１、モデル編集手段１２およびモデル配置手段１３を経て生成された３Ｄモデルをデータとして出力する。３Ｄモデルのデータフォーマットの一例としては、ＣＯＬＬＡＤＡ（ＣＯＬＬＡｂｏｒａｔｉｖｅ　Ｄｅｓｉｇｎ　Ａｃｔｉｖｉｔｙ）、ＦＢＸ（Ｆｉｌｍｂｏｘ）、３ＤＳ（３Ｄ　Ｓｔｕｄｉｏ）などが挙げられる。
　モデル群データベース１５は、モデル生成装置１が出力する３Ｄモデル上で利用可能なオブジェクトモデルの候補群を格納したデータベースである。オブジェクトモデルとは、オブジェクトの形状や大きさを規定するデータであり、例えば、ワイヤーフレームモデルやポリゴンメッシュ、ポイントクラウドで表現されたデータである。モデル群データベース１５はオブジェクト抽出手段１１によって、３Ｄモデル上で再構築する対象であるオブジェクトを、どのオブジェクトモデルで置き換えるかを決定する際に参照される。
　図３は、本開示の第２の実施の形態におけるモデル群データベース１５に格納された情報の一例を示す表である。モデル群データベース１５には、モデル名と、オブジェクトモデル情報とが関連付けて格納されている。ここでは、オブジェクトモデル情報として、オブジェクトモデルのデータが格納されているファイルパスが格納される。モデル群データベース１５上のオブジェクトモデル情報に示されたファイルパスを参照することで、オブジェクトモデルデータを取得することができる。
　次に、本開示の第２の実施の形態におけるモデル生成装置１の動作について、図４を用いて説明する。図４は、本開示の第２の実施の形態におけるモデル生成装置１の動作を示すフローチャート図である。
　モデル生成装置１はまず、画像情報取得手段１０の動作として、三次元画像情報を取得する（ステップＳ１０１）。
　ここで、図５を参照して、カメラ等により取得される三次元画像情報の一例を説明する。図５は、本開示の第２の実施の形態における三次元画像情報の一例を示す図である。本実施の形態では、たとえば、デプスカメラを通じて実空間センシングを行い、センシング結果を点群情報に変換し、三次元画像情報を取得する。図５に示す三次元画像情報には、机、机上に置かれた荷物及び棚が撮影されている。なお、ここでは、画像情報取得手段１０として、デプスカメラを用いたが、これに限定されず、イメージセンサから構成される一般的なカメラ、広角カメラ、又はカラー画像と距離画像を撮像するＲＧＢＤカメラであってもよいし、あるいは、これらの中から複数台のカメラを組み合わせて用いてもよい。
　再び図４に戻って動作の説明を継続する。次に、オブジェクト抽出手段１１は、取得した三次元画像情報から、３Ｄモデル上で再構築する対象であるオブジェクトを抽出し、モデル群データベース１５に格納された複数のオブジェクトモデルのなかから当該オブジェクトと最も適合度の高いオブジェクトモデルを取得する（ステップＳ１０２）。オブジェクトモデルを取得する手段の具体的な一例としてはたとえば、モデル群データベース１５中のオブジェクトモデルそれぞれ、および三次元画像情報中に含まれる物体それぞれについてマッチング処理を行い、適合度が所定の値を上回った組をオブジェクトモデルとして抽出する。なお、オブジェクト抽出手段１１は既知の画像認識機能を備えることができる。
　ここで、図６を参照して、三次元画像情報からオブジェクトの抽出例を説明する。図６は、本開示の第２の実施の形態におけるオブジェクトの抽出の一例を示す図である。図３に示したモデル群データベース１５に基づき、三次元画像情報から、机と適合度の高い範囲（図６の黒線で示す）がオブジェクトとして抽出される。またこのとき、当該オブジェクトの形状と適合度の高いオブジェクトモデルとして机のオブジェクトモデルが、関連付けて取得される。
　再び図４に戻って動作の説明を継続する。オブジェクトモデルを抽出できた場合には（ステップＳ１０３でＹＥＳ）、オブジェクトのサイズ情報・配置場所情報を、抽出したオブジェクトモデルに関連付ける（ステップＳ１０４）。オブジェクトのサイズ情報は、オブジェクトの大きさを一意に表現可能な値とする。具体的な一例としては、オブジェクトをオブジェクトモデルと適合する角度で矩形表現したときの、幅・奥行・高さの値を取得する。また配置場所情報は、オブジェクトの３Ｄモデル上での所在および向きを一意に表現可能な値とする。具体的な一例としては、所定の点を原点としたときの三次元直交座標におけるオブジェクトの中心点の値、および直交座標系におけるオブジェクトのロール・ピッチ・ヨーの値をそれぞれ取得する。動作後、ステップＳ１０２に戻り、他のオブジェクトを抽出できなくなるまで繰り返す。
　ここで、図７を参照して、オブジェクト抽出手段１１の動作を詳細に説明する。図７は、本開示の第２の実施の形態におけるオブジェクト抽出手段１１からの出力データの一例を示す表である。図７に示すように、オブジェクト抽出手段１１は、図３に示したモデル群データベース１５、および図５に示した三次元画像情報に基づき、３Ｄモデル上で再構築する対象として、机、荷物、棚の３点を、それぞれ抽出する。そして、各々の３Ｄモデル情報としてモデル群データベース１５から取得したファイルパス情報を、オブジェクトのサイズ情報として各々のオブジェクトの幅・奥行・高さを示す情報を、また配置情報として、３Ｄモデル上に反映させたときの各オブジェクト中心点のＸ、Ｙ、Ｚ座標、およびロール・ピッチ・ヨーを示す情報を、それぞれ取得し関連付ける。
　再び図４に戻って動作の説明を継続する。他のオブジェクトを抽出できない場合は（ステップＳ１０３でＮＯ）、オブジェクトの抽出が完了したとみなし、検出されたオブジェクトそれぞれについてオブジェクトモデルの編集および３Ｄモデルへの配置を行う。
　まず、検出されたオブジェクトのうち、３Ｄモデルに未配置のオブジェクトが存在する場合には（ステップＳ１０５でＹＥＳ）、モデル編集手段１２は、オブジェクト抽出手段１１からの出力データに含まれるオブジェクトのサイズ情報と適合するように、オブジェクトモデルを編集する（ステップＳ１０６）。具体的にはたとえば、オブジェクトモデルごとにあらかじめ規定されたサイズと、オブジェクト抽出手段１１からの出力データに含まれるサイズ情報とを比較し、オブジェクトモデルに対する拡大・縮小処理の倍率を取得する。
　ここで、図８を参照して、モデル編集手段１２の動作を詳細に説明する。図８は、本開示の第２の実施の形態におけるモデル編集手段１２からの出力データの一例を示す表である。ここでは、ＩＤ＝１のオブジェクト（図中、下線の行）に着目する。そして、オブジェクトのサイズ情報に基づき拡大率が設定される。ここでたとえば、元の３Ｄモデルのサイズが、幅１ｍ・奥行５０ｃｍ・高さ１ｍであったとする。これに対し、抽出されたオブジェクトのサイズが、幅１ｍ・奥行５０ｃｍ・高さ４０ｃｍであったとすると、拡大率はそれぞれ、幅１倍・奥行１倍・高さ０．４倍と設定される。このように設定されたサイズ情報（例えば、拡大率又は縮小率）に基づいて、モデル編集手段１２は、オブジェクトモデルのサイズを編集することができる。
　次に、モデル配置手段１３は、３Ｄモデル上にオブジェクトモデルを配置する（ステップＳ１０７）。ここで、オブジェクトモデルは、３Ｄモデル上における物理制約を満たし、かつオブジェクト情報に含まれる配置場所情報と整合するように配置される。
　なお物理制約とは、オブジェクト間干渉に加え、重力や摩擦、慣性など、オブジェクトに加わる物理的な性質によって与えられる空間配置条件を指す。三次元画像情報の取得動作において、現実世界を一切の誤差なくセンシングできることはまれであり、ほとんどの場合に、実世界との間に測定誤差または処理誤差が含まれる。シミュレーション上でより実環境に近く、かつ物理制約と整合する３Ｄモデルを構築するために、オブジェクトモデルの配置段階で、物理制約に基づいて三次元画像情報を補正する。
　図８に示されたデータに基づいて各オブジェクトを３Ｄモデル上に配置したとしても、以下の２つの物理制約を満たすことができず、結果として実世界の環境を正確に再現することができない。１点目は、机が床から浮いた位置に配置されている点である。現実には重力が存在するため、このように配置されることはありえない。このため、机の各々の脚が床に接地するように、机の位置、具体的にはＺ座標およびロール・ピッチの値を補正する必要がある。
　２点目は、机の上に配置された荷物が、机の天板との間で干渉を起こしている点である。机と荷物はいずれも固体であり、一方が他方にめり込んだ構成は物理制約に反する。一方で、荷物は机の上で静止している必要があることから、１点目で示したのと同様に、荷物が机から浮いた位置に配置されてもいけない。このため、荷物の底面が机の天板に接するように、机又は荷物の位置を補正する必要がある。
　本実施の形態にかかるモデル配置手段１３は、こうした物理制約に基づいて三次元画像情報から取得したオブジェクトのサイズ情報・配置場所情報を補正し、補正情報に基づいて各オブジェクトモデルを３Ｄモデル上に配置することができる。
　図９は、本開示の第２の実施の形態におけるモデル配置手段１３の動作によるオブジェクト配置後の３Ｄモデルの一例を示す図である。図９に示すように、先に示した２点の物理制約を満たす形で、机および荷物が配置されていることがわかる。
　オブジェクトモデルの配置後はステップＳ１０５に戻り、未配置のオブジェクトがなくなるまで繰り返す。そして、未配置のオブジェクトがなくなると（ステップＳ１０５でＮＯ）、３Ｄモデル出力手段１４は、作成した３Ｄモデルを出力する（ステップＳ１０８）。出力後、動作を完了する。
　かかる構成および動作をとることによって、モデル生成装置１は、実世界における物体間の接触、衝突などの影響を再現でき、より精緻なシミュレーションを実現可能な３Ｄモデルを生成することができる。本開示によれば、三次元画像情報から、３Ｄモデル上で再現すべきオブジェクトを抽出し、オブジェクトモデルに置換・修正したうえで、物理制約を満たすように３Ｄモデル上に配置する。
　このうち、オブジェクトの抽出およびオブジェクトモデルへの置換においては、事前に用意した複数のオブジェクトモデルの候補から、サイズ等の基準情報がオブジェクトの外観特徴に類似したものが選択される。よって、３Ｄモデルへの配置、および配置時の補正に必要な情報を漏れなく取得することができる。
　また、三次元画像情報から抽出されたオブジェクトのサイズ情報と整合するように、オブジェクトモデルの寸法に修正をかける。よって、三次元画像情報のオブジェクトと３Ｄモデル上のオブジェクトモデルとの間で物理パラメータの整合をとることができる。
　最後に、３Ｄモデル上で物理制約と整合するようにオブジェクトモデルを配置する。このとき、三次元画像情報から得られた誤差を含む位置情報に対し、オブジェクトモデルに含まれる情報を用いて補正をかける。よって、モデル生成装置１から生成された３Ｄモデルは、物体間の接触や重力など、物理制約を満たしたモデルとなる。このことから、本開示のモデル生成装置１によって出力された３Ｄモデルを用いることで、物理制約の影響が考慮された、精緻なシミュレーションを実現できる。
　なお、複数のオブジェクトモデルを配置する際のオブジェクトモデルの処理順について、床面に近いオブジェクトモデルから順に配置するようにしてもよい。具体的にはたとえば、オブジェクト抽出手段１１からの出力情報に記載のサイズ情報および配置情報に基づき、オブジェクト中の床面に最も近い部分の距離を指標として、当該指標が短い順に、オブジェクトモデルの処理順を決定するようにしてもよい。
　かかる構成および動作をとることにより、モデル配置手段１３の処理を効率化することができる。物理制約のひとつとして重力を考慮する必要があるため、ぶら下がり等の特殊なケースを除けば、オブジェクトの下部が安定面であることが要求される。そこで、３Ｄモデルにおける基準面である床面そのものが、物理制約を満たしていることを利用し、床面に近い側から順にオブジェクトモデルを安定的に配置することで、効率的な処理が可能となる。よって、より高速に３Ｄモデルを生成できる。
　[第３の実施の形態]
　次に、以下の図面を用いて、本開示の第３の実施の形態におけるモデル生成装置の構成および動作について説明する。なお、第１および第２の実施の形態におけるモデル生成装置と同様の構成および動作については、適宜説明を省略する。
　第３の実施の形態では、オブジェクトの物理パラメータ情報であるモデルパラメータ情報をさらに取得可能なモデル生成装置の動作について、詳しく説明する。
　図１０は、本開示の第３の実施の形態におけるモデル生成装置１ａの構成の一例を示すブロック図である。本開示の第２の実施の形態に示したモデル生成装置との差異は、本実施の形態におけるモデル生成装置１ａは、モデルパラメータ取得手段１６と、パラメータデータベース１７とをさらに備える点、および取得されたモデルパラメータ情報に基づき、モデル編集手段１２ａ、モデル配置手段１３ａが処理を行う点である。
　モデルパラメータ取得手段１６は、オブジェクト抽出手段１１から取得した情報に基づき、パラメータデータベース１７から、オブジェクトモデルに対応する物理パラメータ情報を取得する。ここで物理パラメータとは、オブジェクトモデルに設定された物理制約に関わる数値情報を指す。物理パラメータの具体的な一例としては、質量や、オブジェクトモデル表面の摩擦係数などが挙げられる。
　パラメータデータベース１７は、各々のオブジェクトモデルにおける物理パラメータを格納したデータベースである。図１１は、本開示の第３の実施の形態におけるパラメータデータベース１７に格納された情報の一例を示す表である。オブジェクトモデルそれぞれについて質量が、またオブジェクトモデルを構成する各パーツと、各パーツの質量およびサイズ編集の影響を受ける部位、静止摩擦係数と、動摩擦係数が、それぞれ格納される。
　次に、モデル生成装置１ａの動作について、図１２を用いて詳しく説明する。図１２は、本開示の第３の実施の形態におけるモデル生成装置１ａの動作を示すフローチャート図である。本開示の第２の実施の形態における動作と同様の動作については、同一の番号で示し、適宜説明を省略する。ステップＳ１０１～１０４については、本開示の第２の実施の形態における動作と同様のため、説明を省略する。
　オブジェクト抽出手段１１から出力されたデータに基づき、未配置のオブジェクトが存在する場合には（ステップＳ１０５でＹＥＳ）、モデルパラメータ取得手段１６は、パラメータデータベース１７を参照し、オブジェクトモデルに対応する物理パラメータを取得する（ステップＳ１１１）。たとえば、図１１に示す各情報がパラメータデータベース１７に格納されている場合において、選択された未配置オブジェクトモデルが「机」の場合には、質量として５．５ｋｇ、天板・脚のパーツ別質量として４．５ｋｇ、１．０ｋｇが、サイズ編集の影響を受ける部位としてそれぞれ幅・奥行き、高さが、静止摩擦係数としてそれぞれ０．５０、０．７８が、また動摩擦係数としてそれぞれ０．４７、０．７１が、オブジェクトモデルに関連付けて取得される。
　次に、モデル編集手段１２ａは、オブジェクト抽出手段１１からの出力データに含まれるサイズ情報と適合するように、オブジェクトモデルおよび物理パラメータを編集する（ステップＳ１０６ａ）。オブジェクトモデルの編集については、第２の実施の形態における動作と同一のため、説明を省略する。物理パラメータの編集については、たとえば、オブジェクトモデルの編集動作によって得られた拡大率情報をもとに質量情報が編集される。具体的にはたとえば、机の拡大率が幅１倍・奥行１倍・高さ０．４倍であるとする。このとき、天板質量は幅・奥行に、また脚の質量は高さに対してそれぞれ影響を受ける。このため、天板質量は４．５ｋｇ×１×１＝４．５ｋｇ、脚の質量は１ｋｇ×０．４＝０．４ｋｇ、となる。
　そして、モデル配置手段１３ａは、３Ｄモデル上にオブジェクトモデルを配置し（ステップＳ１０７、第２の実施の形態と同様のため説明を省略する）、配置されたオブジェクトに、取得した物理パラメータを対応づける（ステップＳ１１２）。具体的には、３Ｄモデルデータを編集し、当該オブジェクトモデルの物理特性値を、取得した物理パラメータ値に設定する。１つのオブジェクトモデルに対して実施後、ステップＳ１０５に戻る。未配置のオブジェクトがあれば（ステップＳ１０５でＹＥＳ）、同様の処理を繰り返す。
　かかる構成および動作をとることにより、物体間の接触、衝突などの影響を再現でき、より精緻なシミュレーションを実現可能な３Ｄモデルを生成できる。本開示によれば、オブジェクトモデルごとに設定された物理パラメータを、３Ｄモデルに設定することができる。これにより、精緻なシミュレーションに好適な３Ｄモデルを簡便に生成することができる。
　また、環境（三次元画像情報）ごとにオブジェクトのサイズが異なる場合に対しても、幅・奥行き・高さの部位ごとの拡大率と、部位ごとの拡大率がオブジェクトモデルに与える影響とを考慮し、オブジェクトのサイズに応じて適切に物理パラメータを編集できる。これにより、より精緻なシミュレーションを実現可能な３Ｄモデルを生成できる。
　[第４の実施の形態]
　次に、以下の図面を用いて、本開示の第４の実施の形態におけるモデル生成装置の構成および動作について説明する。なお、第１から第３の実施の形態におけるモデル生成装置と同様の構成および動作については、適宜説明を省略する。
　第４の実施の形態では、オブジェクトモデル間の配置制約に基づいてオブジェクトモデルを抽出可能なモデル生成装置の動作について、詳しく説明する。ここで配置制約とは、他のオブジェクトモデルの配置によって、当該オブジェクトモデルの配置に与える制約を指す。例えば一般に、机の上に椅子が配置されることは想定しづらい。この考えによれば、机の上に配置されたオブジェクトが椅子である可能性を無視することができる。よって、当該オブジェクトの抽出にあたり、椅子のオブジェクトモデルとのマッチング処理を省略することができるため、オブジェクトの抽出に要する時間を削減することができる。
　図１３は、本開示の第４の実施の形態におけるモデル生成装置１ｂの構成を示すブロック図である。本開示の第２の実施の形態に示したモデル生成装置との差異は、本実施の形態にかかるモデル生成装置１ｂでは、モデル群データベース１５ｂがオブジェクトモデル間での配置制約に関わる情報をさらに保持し、オブジェクト抽出手段１１ｂがオブジェクトモデル間での配置制約に基づいてオブジェクトモデルを抽出する点である。
　オブジェクト抽出手段１１ｂは、三次元画像情報から、３Ｄモデル上で再構築する対象であるオブジェクトを抽出するとともに、モデル群データベース１５ｂに格納された複数のオブジェクトモデルのなかから、前記オブジェクトと最も形状適合度の高いオブジェクトモデルを取得する。このとき、オブジェクトモデル間での配置制約に基づいてオブジェクトモデルを抽出する。そして、オブジェクトのサイズ情報および配置場所情報を関連付けて取得する。
　図１４は、本開示の第４の実施の形態におけるモデル群データベース１５ｂに格納された情報の一例を示す表である。モデル群データベース１５ｂには、モデル名、３Ｄモデル情報に加え、下部配置制約が関連づけて格納されている。ここでは下部配置制約として、当該オブジェクトモデルの下部への配置が許容されるオブジェクトモデルが格納される。例えば机の下部配置制約には「（ｂａｓｅ）」が格納されている。ここで（ｂａｓｅ）は基準面（たとえば床面）を指す。すなわち、本実施の形態におけるモデル群データベース１５ｂによれば、「机が配置されるのは基準面の上のみである」と規定される。
　かかる構成および動作をとることにより、オブジェクトの抽出に要する時間を削減することができる。複数のオブジェクト間の配置関係に基づいて、オブジェクト抽出手段１１におけるオブジェクトモデルとの適合処理のうち、一部のオブジェクトモデルについては処理を省略することができる。よって、より高速に３Ｄモデルを生成することができる。
　以上、図面を参照して本開示の実施の形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、本発明の要旨を逸脱しない範囲内において様々な設計変更等が可能である。たとえば、モデル生成装置を構成する機能を、ネットワークで接続された複数の装置で構成および動作するようにしてもよい。
　また、本開示におけるモデル生成装置の全部又は一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。なおまた、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
　また、「コンピュータ読み取り可能な記録媒体」とは、光磁気ディスク、ＲＯＭ、不揮発性半導体メモリ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。更に「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、更に前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
　以上、本開示を実施の形態を用いて説明したが、本開示の技術的範囲は、上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。そのような変更又は改良を加えた形態も本開示の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
　上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリを含む。磁気記録媒体は、例えばフレキシブルディスク、磁気テープ、ハードディスクドライブであってもよい。半導体メモリは、例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory）であってもよい。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
　なお、本開示は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。また、本開示は、それぞれの実施の形態を適宜組み合わせて実施されてもよい。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
　（付記１）
　三次元画像情報から３Ｄモデルを生成するモデル生成装置であって、
　三次元画像情報から、３Ｄモデル上で再構築する対象であるオブジェクトを抽出するとともに、３Ｄモデル上で利用可能な複数のオブジェクトモデルのなかから前記オブジェクトと最も形状適合度の高いオブジェクトモデルを、前記オブジェクトのサイズ情報および配置場所情報と関連付けて取得する、オブジェクト抽出手段と、
　前記オブジェクトのサイズ情報と整合するように前記取得されたオブジェクトモデルを編集する、モデル編集手段と、
　３Ｄモデル上における物理制約を満たし、かつ前記配置場所情報と整合するように、編集された前記オブジェクトモデルを３Ｄモデル上に配置する、モデル配置手段と
　を備える、モデル生成装置。
　（付記２）
　前記モデル配置手段は、複数のオブジェクトモデルを配置する際、床面に近いオブジェクトモデルから順に逐次配置する、付記１に記載のモデル生成装置。
　（付記３）
　前記取得されたオブジェクトモデルに対応する物理パラメータ情報を取得する、モデルパラメータ取得手段
　をさらに備え、
　前記モデル編集手段はさらに、前記オブジェクトモデルの編集に応じて、前記物理パラメータ情報を編集し、
　前記モデル配置手段はさらに、前記編集された物理パラメータを前記編集されたオブジェクトモデルに関連づけることで、前記物理制約を満たすように、前記編集されたオブジェクトモデルを配置する、付記１又は２に記載のモデル生成装置。
　（付記４）
　前記物理パラメータ情報は、質量情報および摩擦情報を含む、付記３に記載のモデル生成装置。
　（付記５）
　前記オブジェクト抽出手段はさらに、前記複数のオブジェクトモデルに関連付けられた制約条件に基づいて、オブジェクトモデルを取得する、付記１から４のいずれか一項に記載のモデル生成装置。
　（付記６）
　前記制約条件は、前記オブジェクトモデルの配置制約を含む、付記５に記載のモデル生成装置。
　（付記７）
　前記物理制約は、重力を含む、付記１から６のいずれか一項に記載のモデル生成装置。
　（付記８）
　前記三次元画像情報は、点群情報である、付記１から７のいずれか一項に記載のモデル生成装置。
　（付記９）
　三次元画像情報から３Ｄモデルを生成するモデル生成システムであって、
　三次元画像情報から、３Ｄモデル上で再構築する対象であるオブジェクトを抽出するとともに、３Ｄモデル上で利用可能な複数のオブジェクトモデルのなかから前記オブジェクトと最も形状適合度の高いオブジェクトモデルを、前記オブジェクトのサイズ情報および配置場所情報と関連付けて取得する、オブジェクト抽出手段と、
　前記オブジェクトのサイズ情報と整合するように前記取得されたオブジェクトモデルを編集する、モデル編集手段と、
　３Ｄモデル上における物理制約を満たし、かつ前記配置場所情報と整合するように、編集された前記オブジェクトモデルを３Ｄモデル上に配置する、モデル配置手段と
　を備える、モデル生成システム。
　（付記１０）
　三次元画像情報から３Ｄモデルを生成するモデル生成方法であって、
　三次元画像情報から、３Ｄモデル上で再構築する対象であるオブジェクトを抽出するとともに、３Ｄモデル上で利用可能な複数のオブジェクトモデルのなかから前記オブジェクトと最も形状適合度の高いオブジェクトモデルを、前記オブジェクトのサイズ情報および配置場所情報と関連付けて取得し、
　前記オブジェクトのサイズ情報と整合するように前記取得されたオブジェクトモデルを編集し、
　３Ｄモデル上における物理制約を満たし、かつ前記配置場所情報と整合するように、編集された前記オブジェクトモデルを３Ｄモデル上に配置する、モデル生成方法。
　（付記１１）
　三次元画像情報から、３Ｄモデル上で再構築する対象であるオブジェクトを抽出するとともに、３Ｄモデル上で利用可能な複数のオブジェクトモデルのなかから前記オブジェクトと最も形状適合度の高いオブジェクトモデルを、前記オブジェクトのサイズ情報および配置場所情報と関連付けて取得する処理と、
　前記オブジェクトのサイズ情報と整合するように前記取得されたオブジェクトモデルを編集する処理と、
　３Ｄモデル上における物理制約を満たし、かつ前記配置場所情報と整合するように、編集された前記オブジェクトモデルを３Ｄモデル上に配置する処理と
　をコンピュータ実行させるプログラムが記録された非一時的なコンピュータ可読媒体。
　なお、本開示は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
　１　モデル生成装置
　１０　画像情報取得手段
　１１　オブジェクト抽出手段
　１２　モデル編集手段
　１３　モデル配置手段
　１４　３Ｄモデル出力手段
　１５　モデル群データベース
　１６　モデルパラメータ取得手段
　１７　パラメータデータベース

Claims (11)

  1. 　三次元画像情報から３Ｄモデルを生成するモデル生成装置であって、
    　三次元画像情報から、３Ｄモデル上で再構築する対象であるオブジェクトを抽出するとともに、３Ｄモデル上で利用可能な複数のオブジェクトモデルのなかから前記オブジェクトと最も形状適合度の高いオブジェクトモデルを、前記オブジェクトのサイズ情報および配置場所情報と関連付けて取得する、オブジェクト抽出手段と、
    　前記オブジェクトのサイズ情報と整合するように前記取得されたオブジェクトモデルを編集する、モデル編集手段と、
    　３Ｄモデル上における物理制約を満たし、かつ前記配置場所情報と整合するように、編集された前記オブジェクトモデルを３Ｄモデル上に配置する、モデル配置手段と
    　を備える、モデル生成装置。
  2. 　前記モデル配置手段は、複数のオブジェクトモデルを配置する際、床面に近いオブジェクトモデルから順に逐次配置する、請求項１に記載のモデル生成装置。
  3. 　前記取得されたオブジェクトモデルに対応する物理パラメータ情報を取得する、モデルパラメータ取得手段
    　をさらに備え、
    　前記モデル編集手段はさらに、前記オブジェクトモデルの編集に応じて、前記物理パラメータ情報を編集し、
    　前記モデル配置手段はさらに、前記編集された物理パラメータを前記編集されたオブジェクトモデルに関連づけることで、前記物理制約を満たすように、前記編集されたオブジェクトモデルを配置する、請求項１又は２に記載のモデル生成装置。
  4. 　前記物理パラメータ情報は、質量情報および摩擦情報を含む、請求項３に記載のモデル生成装置。
  5. 　前記オブジェクト抽出手段はさらに、前記複数のオブジェクトモデルに関連付けられた制約条件に基づいて、オブジェクトモデルを取得する、請求項１から４のいずれか一項に記載のモデル生成装置。
  6. 　前記制約条件は、前記オブジェクトモデルの配置制約を含む、請求項５に記載のモデル生成装置。
  7. 　前記物理制約は、重力を含む、請求項１から６のいずれか一項に記載のモデル生成装置。
  8. 　前記三次元画像情報は、点群情報である、請求項１から７のいずれか一項に記載のモデル生成装置。
  9. 　三次元画像情報から３Ｄモデルを生成するモデル生成システムであって、
    　三次元画像情報から、３Ｄモデル上で再構築する対象であるオブジェクトを抽出するとともに、３Ｄモデル上で利用可能な複数のオブジェクトモデルのなかから前記オブジェクトと最も形状適合度の高いオブジェクトモデルを、前記オブジェクトのサイズ情報および配置場所情報と関連付けて取得する、オブジェクト抽出手段と、
    　前記オブジェクトのサイズ情報と整合するように前記取得されたオブジェクトモデルを編集する、モデル編集手段と、
    　３Ｄモデル上における物理制約を満たし、かつ前記配置場所情報と整合するように、編集された前記オブジェクトモデルを３Ｄモデル上に配置する、モデル配置手段と
    　を備える、モデル生成システム。
  10. 　三次元画像情報から３Ｄモデルを生成するモデル生成方法であって、
    　三次元画像情報から、３Ｄモデル上で再構築する対象であるオブジェクトを抽出するとともに、３Ｄモデル上で利用可能な複数のオブジェクトモデルのなかから前記オブジェクトと最も形状適合度の高いオブジェクトモデルを、前記オブジェクトのサイズ情報および配置場所情報と関連付けて取得し、
    　前記オブジェクトのサイズ情報と整合するように前記取得されたオブジェクトモデルを編集し、
    　３Ｄモデル上における物理制約を満たし、かつ前記配置場所情報と整合するように、編集された前記オブジェクトモデルを３Ｄモデル上に配置する、モデル生成方法。
  11. 　三次元画像情報から、３Ｄモデル上で再構築する対象であるオブジェクトを抽出するとともに、３Ｄモデル上で利用可能な複数のオブジェクトモデルのなかから前記オブジェクトと最も形状適合度の高いオブジェクトモデルを、前記オブジェクトのサイズ情報および配置場所情報と関連付けて取得する処理と、
    　前記オブジェクトのサイズ情報と整合するように前記取得されたオブジェクトモデルを編集する処理と、
    　３Ｄモデル上における物理制約を満たし、かつ前記配置場所情報と整合するように、編集された前記オブジェクトモデルを３Ｄモデル上に配置する処理と
    　をコンピュータ実行させるプログラムが記録された非一時的なコンピュータ可読媒体。
PCT/JP2019/020307 2019-05-22 2019-05-22 モデル生成装置、モデル生成システム、モデル生成方法、非一時的なコンピュータ可読媒体 WO2020235057A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021519986A JP7226534B2 (ja) 2019-05-22 2019-05-22 モデル生成装置、モデル生成システム、モデル生成方法、プログラム
PCT/JP2019/020307 WO2020235057A1 (ja) 2019-05-22 2019-05-22 モデル生成装置、モデル生成システム、モデル生成方法、非一時的なコンピュータ可読媒体
US17/610,518 US20220215641A1 (en) 2019-05-22 2019-05-22 Model generation apparatus, model generation system, model generation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/020307 WO2020235057A1 (ja) 2019-05-22 2019-05-22 モデル生成装置、モデル生成システム、モデル生成方法、非一時的なコンピュータ可読媒体

Publications (1)

Publication Number Publication Date
WO2020235057A1 true WO2020235057A1 (ja) 2020-11-26

Family

ID=73459347

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/020307 WO2020235057A1 (ja) 2019-05-22 2019-05-22 モデル生成装置、モデル生成システム、モデル生成方法、非一時的なコンピュータ可読媒体

Country Status (3)

Country Link
US (1) US20220215641A1 (ja)
JP (1) JP7226534B2 (ja)
WO (1) WO2020235057A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210174058A1 (en) * 2019-12-06 2021-06-10 Toyota Jidosha Kabushiki Kaisha Loading determination system, loading determination method, and non-transitory storage medium stored with loading determination processing program
WO2022180801A1 (ja) * 2021-02-26 2022-09-01 株式会社安川電機 シミュレーション装置、制御システム及びモデリング方法
WO2024075447A1 (ja) * 2022-10-05 2024-04-11 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、及び記憶媒体
WO2024075448A1 (ja) * 2022-10-05 2024-04-11 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、及び記憶媒体

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017120648A (ja) * 2015-12-31 2017-07-06 ダッソー システムズＤａｓｓａｕｌｔ Ｓｙｓｔｅｍｅｓ ３ｄモデル化オブジェクトの再構築
JP2019003621A (ja) * 2017-05-09 2019-01-10 ダッソー システムズＤａｓｓａｕｌｔ Ｓｙｓｔｅｍｅｓ 建築物のレイアウトの決定

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015006224A1 (en) * 2013-07-08 2015-01-15 Vangogh Imaging, Inc. Real-time 3d computer vision processing engine for object recognition, reconstruction, and analysis
US20160071318A1 (en) * 2014-09-10 2016-03-10 Vangogh Imaging, Inc. Real-Time Dynamic Three-Dimensional Adaptive Object Recognition and Model Reconstruction
AU2016228125B2 (en) * 2015-03-05 2019-11-28 Commonwealth Scientific And Industrial Research Organisation Structure modelling
US11080780B2 (en) * 2017-11-17 2021-08-03 Ebay Inc. Method, system and computer-readable media for rendering of three-dimensional model data based on characteristics of objects in a real-world environment
US11119498B2 (en) * 2018-06-06 2021-09-14 Toyota Research Institute, Inc. Systems and methods for simulation utilizing a segmentable monolithic mesh

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017120648A (ja) * 2015-12-31 2017-07-06 ダッソー システムズＤａｓｓａｕｌｔ Ｓｙｓｔｅｍｅｓ ３ｄモデル化オブジェクトの再構築
JP2019003621A (ja) * 2017-05-09 2019-01-10 ダッソー システムズＤａｓｓａｕｌｔ Ｓｙｓｔｅｍｅｓ 建築物のレイアウトの決定

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210174058A1 (en) * 2019-12-06 2021-06-10 Toyota Jidosha Kabushiki Kaisha Loading determination system, loading determination method, and non-transitory storage medium stored with loading determination processing program
US11657628B2 (en) * 2019-12-06 2023-05-23 Toyota Jidosha Kabushiki Kaisha Loading determination system, loading determination method, and non-transitory storage medium stored with loading determination processing program
WO2022180801A1 (ja) * 2021-02-26 2022-09-01 株式会社安川電機 シミュレーション装置、制御システム及びモデリング方法
WO2024075447A1 (ja) * 2022-10-05 2024-04-11 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、及び記憶媒体
WO2024075448A1 (ja) * 2022-10-05 2024-04-11 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、及び記憶媒体

Also Published As

Publication number Publication date
US20220215641A1 (en) 2022-07-07
JP7226534B2 (ja) 2023-02-21
JPWO2020235057A1 (ja) 2020-11-26

Similar Documents

Publication Publication Date Title
WO2020235057A1 (ja) モデル生成装置、モデル生成システム、モデル生成方法、非一時的なコンピュータ可読媒体
CN109711018B (zh) 一种二维到三维的户型设计方法
US10699165B2 (en) System and method using augmented reality for efficient collection of training data for machine learning
CN105976426B (zh) 一种快速的三维地物模型构建方法
CN105549548B (zh) 三维装配工艺生成方法和生成装置
CN107004207A (zh) 用于使用对象测量结果估计搬家的系统和方法
CN111008422A (zh) 一种建筑物实景地图制作方法及系统
CN102819861A (zh) 电力系统三维设备场景建模方法
CN110929310A (zh) 一种云端图纸智能生成及编辑方法
KR102068993B1 (ko) 다시점 영상 정합을 이용한 아바타 생성 방법 및 장치
US10657712B2 (en) System and techniques for automated mesh retopology
CN110990909B (zh) 一种三维cad模型数据处理方法
US20230162394A1 (en) Aligning and Augmenting a Partial Subspace of a Physical Infrastructure with at Least One Information Element
CN109859318A (zh) 面向安全生产的三维模型制作加载显示系统及方法
Hutabarat et al. Combining virtual reality enabled simulation with 3D scanning technologies towards smart manufacturing
CN106952346B (zh) 一种基于画平面多边形生成吊顶3d模型的系统及方法
WO2021095704A1 (ja) 情報処理装置、情報処理方法およびプログラム
CN109863746B (zh) 用于数据探索的沉浸式环境系统和视频投影模块
JP2014215769A (ja) 図面生成装置、図面生成方法、及びプログラム
CN113609556B (zh) 一种基础c#的gim格式与xdb格式无损转换方法
US20110270582A1 (en) Systems and methods providing smart nodes for three-dimensional models
CN108122273A (zh) 一种数字动漫生成系统及方法
CN108597025A (zh) 基于人工智能面向虚拟现实的快速模型构建方法和装置
CN113936106A (zh) 一种监控地图的三维可视化方法、系统和相关设备
CN113569326A (zh) 一种基于用地规划图的城市建筑自动生成方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19929792

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021519986

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19929792

Country of ref document: EP

Kind code of ref document: A1