WO2023032226A1 - Function adding device, function adding method, and function adding program - Google Patents

Function adding device, function adding method, and function adding program Download PDF

Info

Publication number
WO2023032226A1
WO2023032226A1 PCT/JP2021/032739 JP2021032739W WO2023032226A1 WO 2023032226 A1 WO2023032226 A1 WO 2023032226A1 JP 2021032739 W JP2021032739 W JP 2021032739W WO 2023032226 A1 WO2023032226 A1 WO 2023032226A1
Authority
WO
WIPO (PCT)
Prior art keywords
function
unit
digital
digital object
program
Prior art date
Application number
PCT/JP2021/032739
Other languages
French (fr)
Japanese (ja)
Inventor
和哉 松尾
克洋 鈴木
リドウィナ アユ アンダリニ
貴司 久保
徹 西村
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to PCT/JP2021/032739 priority Critical patent/WO2023032226A1/en
Priority to JP2023545000A priority patent/JPWO2023032226A1/ja
Publication of WO2023032226A1 publication Critical patent/WO2023032226A1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/30Creation or generation of source code
    • G06F8/36Software reuse

Definitions

  • the present disclosure relates to a function-imparting device, a function-imparting method, and a function-imparting program.
  • Digital twins can connect the real world and cyberspace, and have been attracting attention in recent years.
  • a digital twin is a digital object that accurately represents a real-world object in cyberspace. Examples of real-world objects include production machines in factories, aircraft engines, and automobiles. A digital twin maps the shape, state or function of such an object onto cyberspace.
  • Digital twins enable simulations in cyberspace.
  • a simulation is a current situation analysis, future prediction, possibility evaluation, etc. regarding an object.
  • ICT-related technologies are easily utilized in cyberspace. Therefore, the application of digital twins to ICT can feed back benefits such as intelligent control of real-world objects to real-world objects.
  • the interaction between digital twins is calculated by digitizing the original functions of physical twins (that is, real objects).
  • the functions of the physical twin are, for example, the "cutting” function of a knife and the "writing” function of a pen.
  • Machine learning models such as neural networks are used to estimate the functions of physical twins.
  • Machine learning models use physical twin images, point clouds and 3D meshes as inputs.
  • a machine learning model infers the function of the physical twin from this input.
  • the inferred features are assigned to the corresponding digital twins as natural language labels.
  • the present disclosure proposes a function-imparting device, a function-imparting method, and a function-imparting program capable of automatically creating a function-implemented digital object.
  • a function imparting device includes an acquisition unit that acquires a digital object generated by digitizing a physical object and data indicating a function of the digital object; a program that digitally reproduces the function of (1) from a predetermined storage device, and a granting unit that grants the program to the digital object.
  • a function-imparting device can automatically create a function-implemented digital object.
  • FIG. 1 shows an example of the generation of a digital twin with estimated function.
  • FIG. 2 shows an example of functional implementation in the digital twin.
  • FIG. 3 is a block diagram of an example environment for implementation of functions in digital objects.
  • FIG. 4 provides an overview of functional implementations according to the present disclosure.
  • FIG. 5 is a block diagram of an example configuration of a function implementation system according to the present disclosure.
  • FIG. 6 shows an example of data flow in the function implementation system according to the present disclosure.
  • FIG. 7 shows an example of functionalization according to the present disclosure.
  • FIG. 8 is a flowchart illustrating an example process for creating a functionally implemented digital object.
  • FIG. 9 shows an example of the hardware configuration of a computer.
  • a digital twin can be generated with a function label indicating the function of the digital twin.
  • Functional labels allow developers to identify uses for digital twins. For example, feature labels are determined by machine learning models such as neural nets.
  • FIG. 1 shows a generation 10, which is an example of the generation of a digital twin whose function has been estimated.
  • Generation 10 first digitizes the real object to generate a digital twin.
  • the function of the digital twin is then estimated and a function label is assigned to the digital twin.
  • Functional labels are natural language labels.
  • the digital twin is the sawtooth digital twin, and the function label indicates the function of cutting.
  • FIG. 2 shows a functional implementation 20, which is an example of functional implementation in a digital twin.
  • a saw digital twin that implements cutting functionality can cut a tree digital twin.
  • function implementation 20 a developer creates a digital twin that implements a function according to the label assigned to the digital twin.
  • a function implementation system implements one or more functions described below.
  • FIG. 3 is a block diagram of Environment 1, which is an example of an environment for implementing functions in digital objects.
  • the environment 1 includes a function implementation system 100, a network 200, and a user device 300.
  • the user device 300 As shown in FIG. 3
  • the function implementation system 100 is a system that implements one or more functions.
  • the function implementation system 100 is an example of a function imparting device.
  • One or more functional implementations include the process of affixing functions to digital objects.
  • One example of a digital object is a digital twin.
  • the function implementation system 100 includes one or more data processing devices such as one or more servers.
  • An example configuration of the function-implemented system 100 is described in Section 4.
  • the network 200 is, for example, a LAN (Local Area Network), a WAN (Wide Area Network), or the Internet.
  • Network 200 connects function-implemented system 100 and user device 300 .
  • the user device 300 is a data processing device such as a client device.
  • a user of the user device 300 is, for example, a person who wants to create a functionally implemented digital twin.
  • a user sends an image of a real object to the function implementation system 100 .
  • the user receives the digital twin corresponding to the real object from the function implementation system 100 .
  • This digital twin also reproduces the functionality of the object.
  • FIG. 4 shows a functional implementation overview 30 according to the present disclosure.
  • Overview 30 includes five steps.
  • the function implementation system 100 automatically generates a digital twin that reproduces the original functions of a physical twin without human intervention.
  • step S ⁇ b>1 the function implementation system 100 digitizes the saw 31 and generates a saw digital twin 32 .
  • step S2 the function implementation system 100 estimates the function of the saw digital twin 32 and assigns the saw digital twin 32 a label indicating the estimated function. As a result, the function implementation system 100 generates a sawtooth digital twin 33 with a function label 34 .
  • Function label 34 indicates the function of cutting.
  • step S3 the function implementation system 100 sends the function label 34 to the function database 35 as a query.
  • the function database 35 manages function programs once created by developers.
  • a function program is a program for digitally reproducing a function.
  • function labels are keys and function programs are values.
  • step S4 the function implementation system 100 acquires the function program 36 corresponding to the function label 34 from the function database 35.
  • Function program 36 is a disconnect script.
  • step S5 the function implementation system 100 provides the function program 36 to the sawtooth digital twin 33. As a result, the function implementation system 100 generates the saw digital twin 37 implementing the function of cutting.
  • the function implementation system 100 uses labels obtained by estimating functions of digital twins as queries for obtaining function programs. The function implementation system 100 then assigns the acquired function program to the digital twin. Function programs are stored in a function database. The function implementation system 100 can reuse function programs created in the past. Therefore, the function implementation system 100 can reduce implementation costs for creating a digital twin in which even functions are digitized.
  • FIG. 5 is a block diagram of a function implementation system 100, which is an example of the configuration of the function implementation system according to the present disclosure.
  • the function implementation system 100 includes a communication section 110, a control section 120 and a storage section .
  • the function-implementing system 100 may include an input unit (eg, keyboard, mouse) that receives input from the administrator of the function-implementing system 100 .
  • the function implementation system 100 may also include an output unit (for example, a liquid crystal display, an organic EL (Electro Luminescence) display) that displays information to the administrator of the function implementation system 100 .
  • an output unit for example, a liquid crystal display, an organic EL (Electro Luminescence) display
  • the communication unit 110 is implemented by, for example, a NIC (Network Interface Card). Communication unit 110 is connected to network 200 by wire or wirelessly. The communication unit 110 can transmit and receive information to and from the user device 300 via the network 200 .
  • NIC Network Interface Card
  • the control unit 120 is a controller.
  • the control unit 120 uses a RAM (Random Access Memory) as a work area, and includes one or more processors (e.g., CPU (Central Processing Unit), It is implemented by an MPU (Micro Processing Unit).
  • processors e.g., CPU (Central Processing Unit)
  • MPU Micro Processing Unit
  • the control unit 120 may be implemented by an integrated circuit such as an ASIC (Application Specific Integrated Circuit), an FPGA (Field Programmable Gate Array), or a GPGPU (General Purpose Graphic Processing Unit).
  • ASIC Application Specific Integrated Circuit
  • FPGA Field Programmable Gate Array
  • GPGPU General Purpose Graphic Processing Unit
  • the control unit 120 includes a function management unit 121, a function storage unit 122, an image reception unit 123, a 3D mesh generation unit 124, a function estimation unit 125, a material estimation unit 126, a function provision unit 127, a DT It includes a management unit 128 and a lack of function confirmation unit 129 .
  • One or more processors of function-implementing system 100 may implement each control unit by executing instructions stored in one or more memories of function-implementing system 100 .
  • the data processing performed by each control unit is an example, and each control unit (for example, function imparting unit 127) performs data processing described in relation to other control units (for example, function estimation unit 125). good too.
  • Storage unit 130 is implemented by, for example, a semiconductor memory device such as a RAM or a flash memory, or a storage device such as a hard disk or an optical disk. As shown in FIG. 5, storage unit 130 includes function database 131 .
  • FIG. 6 shows a flow 40, which is an example of data flow in the function implementation system according to the present disclosure.
  • the data for creating a digital twin with functions include a function management unit 121, a function storage unit 122, an image reception unit 123, a 3D mesh generation unit 124, a function estimation unit 125, and a material estimation unit 126. , the function provision unit 127, the DT management unit 128, and the function deficiency confirmation unit 129.
  • the function management unit 121 manages various programs in which functions are implemented. These various programs are, for example, programs that digitally reproduce the functions of the digital twin. These various programs are created by digitizing the functions of the physical twin.
  • the function management unit 121 is implemented as a database management system.
  • the function management unit 121 can search or rewrite the database according to the query.
  • this database is function database 131 .
  • the input (that is, query) of the function management unit 121 is a natural language label representing the function and material of the object.
  • the output of the function management unit 121 is a program in which functions are implemented.
  • the function management unit 121 uses labels representing functions and materials as keys. Also, the function management unit 121 uses the program as a value. Therefore, the function management unit 121 manages programs in which functions are implemented in a KVS (Key-Value Store). When a query arrives, the function manager 121 retrieves and returns a program having a key that matches the query.
  • KVS Key-Value Store
  • a program in which functions are implemented is called a functional program.
  • Examples of functional programs include a script for reproducing the feeler FB (Feedback) and a script for automatically setting the coefficient of friction.
  • the function storage unit 122 stores various function programs in the function database 131 .
  • the function storage unit 122 is an example of a storage unit.
  • a functional program is a program in which functions are implemented.
  • the function storage unit 122 receives function programs from developers. Also, the function storage unit 122 receives from the developer a label indicating a function to be reproduced by the function program. A label that indicates a function is referred to herein as a functional label.
  • the function storage unit 122 associates function programs with corresponding function labels. Then, the function storage unit 122 stores the function program associated with the function label in the function database 131. FIG.
  • Function storage unit 122 adds a new program to function database 131 .
  • the function storage unit 122 may accept access from general users. In this manner, the function storage unit 122 may collect a wide range of function programs.
  • the image receiving unit 123 receives the image of the real object from the user device 300 .
  • the image receiving section 123 can store the image in the storage section 130 .
  • An image of a real object is, for example, a photograph.
  • the image receiving unit 123 can receive multiple images for generating a three-dimensional model of the object.
  • the 3D mesh generator 124 generates a digital object by digitizing the shape of the object drawn in the image. For example, the 3D mesh generation unit 124 generates a 3D mesh from point groups obtained by measuring the surface of an object with a 3D laser scanner. Alternatively, the 3D mesh generator 124 may create a 3D mesh from multiple photographs received by the image receiver 123 without using a 3D laser scanner. The 3D mesh generator 124 is an example of a generator. The 3D mesh generation unit 124 can acquire a plurality of images, point clouds, and previously generated 3D meshes from the storage unit 130 . Also, the 3D mesh generation unit 124 can store the generated digital object in the storage unit 130 .
  • the 3D mesh generator 124 generates a 3D mesh model of a real object based on images and point groups.
  • the generated 3D mesh model is an example of a digital twin.
  • the function estimating unit 125 draws on the original image based on the image of the real object received by the image receiving unit 123 and the shape of the digital object (for example, digital twin) generated by the 3D mesh generating unit 124. estimating the function of the object.
  • Function estimator 125 is an example of an estimator.
  • the function estimating unit 125 can acquire an image depicting an object or a digital object from the storage unit 130 . Also, the function estimation unit 125 can store data indicating the estimated function in the storage unit 130 as a function label.
  • the inputs to the function estimation unit 125 are data such as images, point clouds, and 3D meshes.
  • the function estimator 125 can also use tag information attached to such data as input.
  • the tag information indicates the name of the photographed object.
  • the output of the function estimation unit 125 is functional part information and natural language labels representing functions.
  • the functional site information indicates a site having a function.
  • the functional site information of the saw digital twin may indicate the range corresponding to the blade.
  • the function estimator 125 can estimate the function for each part.
  • the function estimation unit 125 can estimate the function of an object using a machine learning model.
  • An instance of training data is an area that represents a function within the data, such as an image, point cloud, 3D mesh, or the like.
  • the training data label is the natural language label of the function corresponding to this range.
  • the function estimation unit 125 can learn a machine learning model based on teacher data.
  • the function estimation unit 125 can output an estimated function by inputting data such as images, point clouds, and 3D meshes into a trained model.
  • the material estimation unit 126 acquires an image depicting the object from the storage unit 130 . Then, the material estimation unit 126 estimates the material of the object based on the acquired image. The material estimation unit 126 can store a material label indicating the estimated material in the storage unit 130 .
  • the function imparting unit 127 acquires the digital object and the function label of this digital object from the storage unit 130 . It is an example of an acquisition unit of the function imparting unit 127 . In addition, the function imparting unit 127 can acquire the functional part information of this digital object and the material label of this digital object from the storage unit 130 .
  • the function imparting unit 127 acquires from the function database 131 the function program corresponding to the function indicated by the function label.
  • a functional program is a program in which a function is implemented (for example, a program that digitally reproduces a saw's ability to cut an object). Then, the function imparting unit 127 imparts the acquired function program to the digital object.
  • the function imparting unit 127 is an example of an imparting unit.
  • the function imparting unit 127 can store the digital object to which the function program is imparted in the storage unit 130 as a function-implemented digital object.
  • FIG. 7 shows functionalization 50, which is an example of functionalization according to the present disclosure.
  • the inputs of the functionalization unit 127 are functional site information, functional labels (ie, natural language labels representing functions), and digital twins (eg, 3D mesh).
  • the output of the function imparting unit 127 is a digital twin with functions.
  • the function imparting unit 127 first acquires the digital twin 51 together with the functional part information and the function label.
  • Digital twin 51 is a sawtooth digital twin.
  • the functional site information indicates the range corresponding to the blade.
  • the function label indicates the function of cutting.
  • the function provision unit 127 sends the function label to the function management unit 121.
  • This function label is sent as a query.
  • the function management unit 121 searches the function database 131 for a function program associated with the key corresponding to the query. In the example of FIG. 7, the disconnect script is retrieved.
  • the function manager 121 sends the disconnection script to the function provider 127 . In this way, the function imparting unit 127 can acquire the function program corresponding to the function of the digital object from the function database 131.
  • the function imparting unit 127 imparts the function program to the digital object based on the functional part information.
  • a cutting script is applied to the blade portion of the saw digital twin.
  • the DT manager 128 manages digital objects.
  • the DT management unit 128 manages various digital twins (DT).
  • DT digital twins
  • Various digital twins include normal digital twins that do not implement the functionality of physical twins.
  • the DT management unit 128 can acquire the function-implemented digital twin from the storage unit 130 .
  • the DT manager 128 can then provide the acquired digital twin to the user device 300 .
  • the DT management unit 128 can receive various digital twins from developers.
  • the DT management unit 128 can store various received digital twins in the storage unit 130 .
  • Insufficient function confirmation unit 129 If the function of the digital object is an active function that affects another physical object, the lack of function confirmation unit 129 detects the other digital object generated by digitizing this other physical object. is acquired from the storage unit 130 . Other digital objects are contained in various digital twins managed by DT manager 128 . Then, the function deficiency confirmation unit 129 identifies functions of other digital objects as passive functions affected by the digital objects.
  • the function of a digital object may require a target digital object.
  • the features of the digital object of interest are identified as the missing features of the digital object.
  • the input of the function deficiency confirmation unit 129 is a function label indicating the function of the digital object (for example, a natural language label representing the function).
  • the output of the function deficient confirmation unit 129 is function deficient information such as a function deficient digital twin, a function label indicating a function deficient in the digital twin, and functional part information corresponding to the function label.
  • the function deficiency confirmation unit 129 analyzes the space where the physical twin corresponding to this digital twin exists. As an example, the function deficiency confirmation unit 129 acquires an image depicting the physical twin from the storage unit 130 . Then, the lack of function confirmation unit 129 determines whether or not another object is included in the acquired image.
  • the function deficiency confirmation unit 129 identifies the other object as an object affected by the physical twin. Then, the function deficiency confirmation unit 129 acquires another digital twin corresponding to the specified other object from the storage unit 130 .
  • the functions of other acquired digital twins are identified as functions affected by the digital twin.
  • the function deficiency confirmation unit 129 sends the above function deficiency information to the function imparting unit 127 according to the digital twins, other digital twins, and the function labels of these digital twins.
  • the function imparting unit 127 can impart functional programs corresponding to passive functions to other digital twins.
  • the function deficiency confirmation unit 129 sends the paper cup digital twin and the function label indicating “disconnected (disconnected)” to the function provision unit 127 .
  • the function imparting unit 127 can impart a function label indicating "cut (cut)" to the paper cup digital twin.
  • the function implementation system 100 can add various function scripts to the digital twin. For example, from an image depicting a knife, the functional implementation system 100 can automatically generate a digital twin of a knife that can "cut" other objects in virtual space.
  • the function implementation system 100 can give the digital twin a script for reproducing the antennae FB (Feedback). For example, from an image of an egg, the functional implementation system 100 automatically generates an egg digital twin in which the strength of the force returned to the haptic glove changes before and after the egg breaks.
  • the function implementation system 100 can obtain from the function database 131 a function program whose key is the material attribute and whose value is the tactile feedback. By providing such a function program to the egg digital twin, the function implementation system 100 can automatically provide the function of the antennae FB to the egg digital twin.
  • the function implementation system 100 can automatically set the coefficient of friction.
  • the administrator of the function implementation system 100 measures the coefficient of friction for each material in advance.
  • the measured coefficient of friction is stored in function database 131 .
  • the functional implementation system 100 can automatically set the coefficient of friction in the digital twin (eg, 3D mesh) based on the material label.
  • FIG. 8 is a flow chart showing process P100, which is an example of the process for creating a digital object implementing functions.
  • the function storage unit 122 of the function implementation system 100 receives various function programs from the developer (step S101).
  • the function storage unit 122 stores various function programs in the function database 131 of the function implementation system 100 (step S102).
  • the image receiving unit 123 of the function implementation system 100 receives the image of the object from the user (step S103).
  • the 3D mesh generator 124 of the function implementation system 100 generates a digital twin of the object from the received image (step S104).
  • the function estimation unit 125 of the function implementation system 100 estimates the function of the generated digital twin based on the shape of the generated digital twin (step S105).
  • the function imparting unit 127 of the function implementation system 100 acquires the function program corresponding to the estimated function from the function database 131 (step S106).
  • the function imparting unit 127 imparts the acquired function program to the generated digital twin (step S107).
  • the function implementation system 100 can automate implementation for digitally reproducing the functions of objects. As a result, the function implementation system 100 can reduce the cost of creating a function-added digital twin. Furthermore, the function implementation system 100 can automatically give the digital twin a function that cannot be reproduced by applying the attribute information of the digital twin to a commercial physics engine.
  • the illustrated system and device components conceptually illustrate the functionality of the system and device. Components are not necessarily physically arranged as shown in the drawings. In other words, specific forms of distributed or integrated systems and devices are not limited to those shown in the figures. All or part of the systems and devices may be functionally or physically distributed or integrated according to various loads and conditions of use.
  • FIG. 9 is a diagram showing a computer 1000 as an example of the hardware configuration of a computer.
  • the systems and methods described herein may be implemented, for example, by computer 1000 shown in FIG.
  • FIG. 9 shows an example of a computer on which the function implementation system 100 is implemented by executing a program.
  • the computer 1000 has a memory 1010 and a CPU 1020, for example.
  • Computer 1000 also has hard disk drive interface 1030 , disk drive interface 1040 , serial port interface 1050 , video adapter 1060 and network interface 1070 . These units are connected by a bus 1080 .
  • the memory 1010 includes a ROM (Read Only Memory) 1011 and a RAM 1012.
  • the ROM 1011 stores a boot program such as BIOS (Basic Input Output System).
  • Hard disk drive interface 1030 is connected to hard disk drive 1090 .
  • a disk drive interface 1040 is connected to the disk drive 1100 .
  • a removable storage medium such as a magnetic disk or optical disk is inserted into the disk drive 1100 .
  • Serial port interface 1050 is connected to mouse 1110 and keyboard 1120, for example.
  • Video adapter 1060 is connected to display 1130, for example.
  • the hard disk drive 1090 stores, for example, an OS 1091, application programs 1092, program modules 1093, and program data 1094. That is, a program that defines each process of the function implementation system 100 is implemented as a program module 1093 in which code executable by the computer 1000 is described.
  • Program modules 1093 are stored, for example, on hard disk drive 1090 .
  • the hard disk drive 1090 stores a program module 1093 for executing processing similar to the functional configuration in the function implementation system 100 .
  • the hard disk drive 1090 may be replaced by an SSD (Solid State Drive).
  • the hard disk drive 1090 can store a function imparting program for implementing functions.
  • the functionalization program can be created as a program product.
  • the program product when executed, performs one or more methods, such as those described above.
  • the setting data used in the processing of the above-described embodiment is stored as program data 1094 in the memory 1010 or the hard disk drive 1090, for example. Then, the CPU 1020 reads out the program module 1093 and the program data 1094 stored in the memory 1010 and the hard disk drive 1090 to the RAM 1012 as necessary and executes them.
  • the program modules 1093 and program data 1094 are not limited to being stored in the hard disk drive 1090, but may be stored in a removable storage medium, for example, and read by the CPU 1020 via the disk drive 1100 or the like. Alternatively, program modules 1093 and program data 1094 may be stored in other computers connected through a network (LAN, WAN, etc.). Program modules 1093 and program data 1094 may then be read by CPU 1020 through network interface 1070 from other computers.
  • the function implementation system 100 includes the function imparting section 127 .
  • functionalization unit 127 obtains a digital object produced by digitizing a physical object and data indicative of the function of the digital object. Then, the function imparting unit 127 acquires a program for digitally reproducing the function of this digital object from the function database 131, and imparts the acquired program to the digital object.
  • the function implementation system 100 includes the function storage unit 122.
  • function store 122 receives one or more programs that digitally recreate the function of the object and stores the one or more programs in function database 131 .
  • functionalization unit 127 obtains, from among one or more programs stored in function database 131, a program that digitally reproduces the function of the digital object.
  • function store 122 stores one or more programs that digitally reproduce a function of an object and one program that each indicates one or more functions to be reproduced by the one or more programs. or associated with multiple labels, and storing one or more programs associated with one or more labels in function database 131 .
  • the functionalization unit 127 identifies, from among one or more labels stored in the functional database 131, a label corresponding to the function of the digital object, and associates with the identified label a label associated with the identified label. program to a digital object.
  • the function implementation system 100 includes the 3D mesh generator 124.
  • the 3D mesh generator 124 generates a digital object corresponding to the object depicted in the image by digitizing the shape of the object depicted in the image.
  • the functionalizer 127 takes the digital object generated by the 3D mesh generator 124 as a digital object generated by digitizing a physical object.
  • the function implementation system 100 includes the function estimation unit 125.
  • function estimator 125 estimates the function of the object depicted in the image based on the shape of the digital object generated by 3D mesh generator 124 .
  • the function imparting unit 127 obtains the data indicating the function estimated by the function estimating unit 125 as the data indicating the function of the digital object.
  • the function implementation system 100 includes the function deficiency confirmation unit 129.
  • a communication module, a control module, and a storage module can be read as a communication unit, a control unit, and a storage unit, respectively.

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

This function adding device includes an acquisition unit and an addition unit. The acquisition unit acquires a digital object generated by digitizing a physical object, and data that indicates the function of the digital object. The addition unit acquires, from a prescribed storage device, a program for digitally reproducing the function of the digital object and adds the acquired program to the digital object.

Description

機能付与装置、機能付与方法及び機能付与プログラムFunction-imparting device, function-imparting method, and function-imparting program
 本開示は、機能付与装置、機能付与方法及び機能付与プログラムに関する。 The present disclosure relates to a function-imparting device, a function-imparting method, and a function-imparting program.
 ICT(Information and Communications Technology)の進展は、「デジタルツイン」を可能にしている。デジタルツインは、実世界とサイバー空間とを結びつけることができ、近年、注目を集めている。 Advances in ICT (Information and Communications Technology) have made "digital twins" possible. Digital twins can connect the real world and cyberspace, and have been attracting attention in recent years.
 デジタルツインは、実世界の対象をサイバー空間で正確に表現するデジタルの物体である。実世界の対象の例としては、工場における生産機械、航空機のエンジンおよび自動車が挙げられる。デジタルツインは、このような対象の形状、状態または機能を、サイバー空間上へ写像する。 A digital twin is a digital object that accurately represents a real-world object in cyberspace. Examples of real-world objects include production machines in factories, aircraft engines, and automobiles. A digital twin maps the shape, state or function of such an object onto cyberspace.
 デジタルツインは、サイバー空間内でのシミュレーションを可能にする。例えば、シミュレーションは、対象物に関する現状分析、将来予測、可能性の評価などである。 Digital twins enable simulations in cyberspace. For example, a simulation is a current situation analysis, future prediction, possibility evaluation, etc. regarding an object.
 ICTに関連する技術は、サイバー空間において活用されやすい。このため、デジタルツインのICTへの適用は、実世界の対象をインテリジェントに制御するといった恩恵を、実世界の対象にフィードバックすることができる。 ICT-related technologies are easily utilized in cyberspace. Therefore, the application of digital twins to ICT can feed back benefits such as intelligent control of real-world objects to real-world objects.
 今後、実世界の様々な対象のデジタルツイン化が進むにつれ、デジタルツインは、サイバー空間内でのシミュレーションに対する需要の増加につながると考えられる。例えば、産業の枠を超えた異種かつ多様なデジタルツインを相互作用(インタラクト)させること、異種かつ多様なデジタルツインの組み合わせによる産業間の連携、大規模なシミュレーション、などのソリューションに対する需要が高まる可能性がある。 In the future, as the conversion of various objects in the real world to digital twins progresses, it is believed that digital twins will lead to an increase in demand for simulations in cyberspace. For example, it is possible that the demand for solutions such as interacting with different and diverse digital twins that transcend the boundaries of industries, inter-industry collaboration by combining different and diverse digital twins, and large-scale simulations will increase. have a nature.
 デジタルツイン同士の相互作用(インタラクション)は、フィジカルツイン(すなわち、現実の物体)が本来持つ機能をデジタル化することによって、計算される。フィジカルツインの機能は、例えば、ナイフの「切断」する機能、ペンの「書く」機能などである。  The interaction between digital twins is calculated by digitizing the original functions of physical twins (that is, real objects). The functions of the physical twin are, for example, the "cutting" function of a knife and the "writing" function of a pen.
 フィジカルツインの機能を推定するために、ニューラルネットなどの機械学習モデルが使用されている。機械学習モデルは、フィジカルツインの画像、点群および3Dメッシュを、入力として使用する。機械学習モデルは、この入力から、フィジカルツインの機能を推定する。推定された機能は、自然言語のラベルとして、対応するデジタルツインに付与される。 Machine learning models such as neural networks are used to estimate the functions of physical twins. Machine learning models use physical twin images, point clouds and 3D meshes as inputs. A machine learning model infers the function of the physical twin from this input. The inferred features are assigned to the corresponding digital twins as natural language labels.
 しかしながら、上記の先行技術では、機能を実装したデジタルの物体を自動的に作成することが難しい場合がある。 However, with the above prior art, it may be difficult to automatically create a digital object that implements a function.
 例えば、上記の先行技術では、機能のラベルのみが、デジタルツインに付与される。すなわち、機能そのものは、デジタル化されていない。 For example, in the above prior art, only functional labels are given to digital twins. That is, the functions themselves are not digitized.
 そこで、本開示は、機能を実装したデジタルの物体を自動的に作成することができる機能付与装置、機能付与方法及び機能付与プログラムを提案する。 Therefore, the present disclosure proposes a function-imparting device, a function-imparting method, and a function-imparting program capable of automatically creating a function-implemented digital object.
 本開示の一態様では、機能付与装置は、フィジカルな物体をデジタル化することによって生成されたデジタルの物体と、前記デジタルの物体の機能を示すデータとを取得する取得部と、前記デジタルの物体の機能をデジタルで再現するプログラムを、所定の記憶装置から取得し、取得されたプログラムを、前記デジタルの物体に付与する付与部とを備える。 In one aspect of the present disclosure, a function imparting device includes an acquisition unit that acquires a digital object generated by digitizing a physical object and data indicating a function of the digital object; a program that digitally reproduces the function of (1) from a predetermined storage device, and a granting unit that grants the program to the digital object.
 本開示の1つまたは複数の実施形態に係る機能付与装置は、機能を実装したデジタルの物体を自動的に作成することができる。 A function-imparting device according to one or more embodiments of the present disclosure can automatically create a function-implemented digital object.
図1は、機能が推定されたデジタルツインの生成の例を示す。FIG. 1 shows an example of the generation of a digital twin with estimated function. 図2は、デジタルツインにおける機能実装の例を示す。FIG. 2 shows an example of functional implementation in the digital twin. 図3は、デジタルの物体における機能実装のための環境の例のブロック図である。FIG. 3 is a block diagram of an example environment for implementation of functions in digital objects. 図4は、本開示に係る機能実装の概要を示す。FIG. 4 provides an overview of functional implementations according to the present disclosure. 図5は、本開示に係る機能実装システムの構成の例のブロック図である。FIG. 5 is a block diagram of an example configuration of a function implementation system according to the present disclosure. 図6は、本開示に係る機能実装システムにおけるデータの流れの例を示す。FIG. 6 shows an example of data flow in the function implementation system according to the present disclosure. 図7は、本開示に係る機能付与の例を示す。FIG. 7 shows an example of functionalization according to the present disclosure. 図8は、機能を実装したデジタルの物体を作成するための処理の例を示すフローチャートである。FIG. 8 is a flowchart illustrating an example process for creating a functionally implemented digital object. 図9は、コンピュータのハードウェア構成の例を示す。FIG. 9 shows an example of the hardware configuration of a computer.
 複数の実施形態を、図面を参照して、以下で詳細に説明する。なお、本発明は、これらの複数の実施形態によって限定されるものではない。様々な実施形態の複数の特徴は、これらの複数の特徴が互いに矛盾しないという条件で、様々なやり方で組み合わされ得る。同一の要素は、同一の符号で示され、重複する説明は、省略される。 A number of embodiments are described in detail below with reference to the drawings. However, the present invention is not limited by these multiple embodiments. Features of various embodiments may be combined in various ways provided the features are not mutually exclusive. Identical elements are denoted by identical reference numerals, and duplicate descriptions are omitted.
〔1.はじめに〕
 デジタルツイン技術では、デジタルツインが、デジタルツインの機能を示す機能ラベルとともに生成され得る。開発者は、機能ラベルによって、デジタルツインの用途を識別することができる。例えば、機能ラベルは、ニューラルネットなどの機械学習モデルによって判定される。
[1. Introduction]
In digital twin technology, a digital twin can be generated with a function label indicating the function of the digital twin. Functional labels allow developers to identify uses for digital twins. For example, feature labels are determined by machine learning models such as neural nets.
 図1は、機能が推定されたデジタルツインの生成の例である生成10を示す。生成10では、まず、現実の物体がデジタル化され、デジタルツインが生成される。そして、デジタルツインの機能が推定され、機能ラベルが、デジタルツインに付与される。機能ラベルは、自然言語のラベルである。図1の例では、デジタルツインは、ノコギリデジタルツインであり、機能ラベルは、切断という機能を示す。 FIG. 1 shows a generation 10, which is an example of the generation of a digital twin whose function has been estimated. Generation 10 first digitizes the real object to generate a digital twin. The function of the digital twin is then estimated and a function label is assigned to the digital twin. Functional labels are natural language labels. In the example of FIG. 1, the digital twin is the sawtooth digital twin, and the function label indicates the function of cutting.
 しかしながら、生成10では、機能ラベルが、デジタルツインの特定の部位に付与されているに過ぎない。すなわち、デジタルツインの機能そのものは、デジタル上で再現されているわけではない。 However, in Generation 10, functional labels are only given to specific parts of the digital twin. In other words, the function of the digital twin itself is not digitally reproduced.
 図2は、デジタルツインにおける機能実装の例である機能実装20を示す。図2に示されるように、切断の機能を実装したノコギリデジタルツインは、木のデジタルツインを切断することができる。機能実装20では、開発者が、デジタルツインに付与されたラベルに従って、機能を実装したデジタルツインを作成している。 FIG. 2 shows a functional implementation 20, which is an example of functional implementation in a digital twin. As shown in FIG. 2, a saw digital twin that implements cutting functionality can cut a tree digital twin. In function implementation 20, a developer creates a digital twin that implements a function according to the label assigned to the digital twin.
 しかし、物体がデジタルツイン化されるたびに、機能を実装したデジタルツインを、人手で作成するのは、高いコストを要する。開発者が、デジタルツインが作成されるたびに、機能を実装したデジタルツインを作成することはできる。実際の環境では、不特定多数の物体が、デジタルツイン化される。このため、人手による機能実装は、デジタルツインの作成コストを増大させてしまう。 However, each time an object is converted into a digital twin, manually creating a digital twin that implements the functions requires a high cost. A developer can create a digital twin that implements the functionality each time a digital twin is created. In an actual environment, an unspecified number of objects are converted into digital twins. Therefore, manual implementation of functions increases the cost of creating digital twins.
 上記の課題を解決するために、本開示の1つまたは複数の実施形態に係る機能実装システムは、以下に説明される1つまたは複数の機能実装を行う。 In order to solve the above problems, a function implementation system according to one or more embodiments of the present disclosure implements one or more functions described below.
〔2.機能実装のための環境〕
 まず、図3を参照して、本開示に係る機能実装のための環境について説明する。
[2. Environment for function implementation]
First, with reference to FIG. 3, an environment for implementing functions according to the present disclosure will be described.
 図3は、デジタルの物体における機能実装のための環境の例である環境1のブロック図である。図3に示されるように、環境1は、機能実装システム100と、ネットワーク200と、ユーザ装置300とを含む。 FIG. 3 is a block diagram of Environment 1, which is an example of an environment for implementing functions in digital objects. As shown in FIG. 3, the environment 1 includes a function implementation system 100, a network 200, and a user device 300. As shown in FIG.
 機能実装システム100は、1つまたは複数の機能実装を行うシステムである。機能実装システム100は、機能付与装置の一例である。1つまたは複数の機能実装は、デジタルの物体に機能を付与する処理を含む。デジタルの物体の一例は、デジタルツインである。本開示に係る機能実装の概要は、次節で説明される。 The function implementation system 100 is a system that implements one or more functions. The function implementation system 100 is an example of a function imparting device. One or more functional implementations include the process of affixing functions to digital objects. One example of a digital object is a digital twin. An overview of the functional implementation according to this disclosure is provided in the next section.
 機能実装システム100は、1つまたは複数のサーバ等の、1つまたは複数のデータ処理装置を含む。機能実装システム100の構成の例は、4節で説明される。 The function implementation system 100 includes one or more data processing devices such as one or more servers. An example configuration of the function-implemented system 100 is described in Section 4.
 ネットワーク200は、例えば、LAN(Local Area Network)、WAN(Wide Area Network)、インターネット等のネットワークである。ネットワーク200は、機能実装システム100およびユーザ装置300を接続する。 The network 200 is, for example, a LAN (Local Area Network), a WAN (Wide Area Network), or the Internet. Network 200 connects function-implemented system 100 and user device 300 .
 ユーザ装置300は、クライアント装置等のデータ処理装置である。ユーザ装置300のユーザは、例えば、機能を実装したデジタルツインを作成したい人物である。ユーザは、機能実装システム100に、現実の物体の画像を送る。そして、ユーザは、現実の物体に対応するデジタルツインを、機能実装システム100からもらう。このデジタルツインでは、物体の機能も再現されている。 The user device 300 is a data processing device such as a client device. A user of the user device 300 is, for example, a person who wants to create a functionally implemented digital twin. A user sends an image of a real object to the function implementation system 100 . Then, the user receives the digital twin corresponding to the real object from the function implementation system 100 . This digital twin also reproduces the functionality of the object.
〔3.機能実装の概要〕
 次に、図4を参照して、本開示に係る機能実装の概要について説明する。なお、この概要は、本発明や、以下の節で説明される複数の実施形態を限定することを意図するものではない。
[3. Overview of function implementation]
Next, with reference to FIG. 4, an outline of functional implementation according to the present disclosure will be described. However, this summary is not intended to limit the invention or the embodiments described in the following sections.
 図4は、本開示に係る機能実装の概要30を示す。概要30は、5つのステップを含む。機能実装システム100は、フィジカルツインが本来もつ機能が再現されたデジタルツインを、人の介入なしで、自動的に生成する。 FIG. 4 shows a functional implementation overview 30 according to the present disclosure. Overview 30 includes five steps. The function implementation system 100 automatically generates a digital twin that reproduces the original functions of a physical twin without human intervention.
 ステップS1では、機能実装システム100は、ノコギリ31をデジタル化し、ノコギリデジタルツイン32を生成する。 In step S<b>1 , the function implementation system 100 digitizes the saw 31 and generates a saw digital twin 32 .
 ステップS2では、機能実装システム100は、ノコギリデジタルツイン32の機能を推定し、推定された機能を示すラベルを、ノコギリデジタルツイン32に付与する。その結果、機能実装システム100は、機能ラベル34付のノコギリデジタルツイン33を生成する。機能ラベル34は、切断という機能を示す。 In step S2, the function implementation system 100 estimates the function of the saw digital twin 32 and assigns the saw digital twin 32 a label indicating the estimated function. As a result, the function implementation system 100 generates a sawtooth digital twin 33 with a function label 34 . Function label 34 indicates the function of cutting.
 ステップS3では、機能実装システム100は、機能ラベル34を、機能データベース35にクエリとして送信する。 In step S3, the function implementation system 100 sends the function label 34 to the function database 35 as a query.
 機能データベース35は、開発者によって一度作成された機能プログラムを管理する。機能プログラムは、機能をデジタル上で再現するためのプログラムである。機能データベース35では、機能ラベルが、キーであり、機能プログラムが、値(value)である。 The function database 35 manages function programs once created by developers. A function program is a program for digitally reproducing a function. In the function database 35, function labels are keys and function programs are values.
 ステップS4では、機能実装システム100は、機能データベース35から、機能ラベル34に対応する機能プログラム36を取得する。機能プログラム36は、切断scriptである。 In step S4, the function implementation system 100 acquires the function program 36 corresponding to the function label 34 from the function database 35. Function program 36 is a disconnect script.
 ステップS5では、機能実装システム100は、機能プログラム36を、ノコギリデジタルツイン33に付与する。その結果、機能実装システム100は、切断という機能を実装したノコギリデジタルツイン37を生成する。 In step S5, the function implementation system 100 provides the function program 36 to the sawtooth digital twin 33. As a result, the function implementation system 100 generates the saw digital twin 37 implementing the function of cutting.
 上述のように、機能実装システム100は、デジタルツインの機能を推定することによって得られたラベルを、機能プログラムを取得するためのクエリとして使用する。そして、機能実装システム100は、取得された機能プログラムを、デジタルツインに付与する。機能プログラムは、機能データベースに蓄積されている。機能実装システム100は、過去に作られた機能プログラムを、再利用することができる。このため、機能実装システム100は、機能までデジタル化されたデジタルツインを作成する実装コストを削減することができる。 As described above, the function implementation system 100 uses labels obtained by estimating functions of digital twins as queries for obtaining function programs. The function implementation system 100 then assigns the acquired function program to the digital twin. Function programs are stored in a function database. The function implementation system 100 can reuse function programs created in the past. Therefore, the function implementation system 100 can reduce implementation costs for creating a digital twin in which even functions are digitized.
〔4.機能実装システムの詳細〕
 次に、図5、図6および図7を参照して、機能実装システム100の詳細を説明する。
[4. Details of the function implementation system]
Next, the details of the function implementation system 100 will be described with reference to FIGS. 5, 6 and 7. FIG.
 図5は、本開示に係る機能実装システムの構成の例である機能実装システム100のブロック図である。図5に示されるように、機能実装システム100は、通信部110、制御部120および記憶部130とを含む。機能実装システム100は、機能実装システム100の管理者から入力を受け付ける入力部(例えば、キーボード、マウス)を含んでもよい。また、機能実装システム100は、機能実装システム100の管理者に情報を表示する出力部(例えば、液晶ディスプレイ、有機EL(Electro Luminescence)ディスプレイ)を含んでもよい。 FIG. 5 is a block diagram of a function implementation system 100, which is an example of the configuration of the function implementation system according to the present disclosure. As shown in FIG. 5, the function implementation system 100 includes a communication section 110, a control section 120 and a storage section . The function-implementing system 100 may include an input unit (eg, keyboard, mouse) that receives input from the administrator of the function-implementing system 100 . The function implementation system 100 may also include an output unit (for example, a liquid crystal display, an organic EL (Electro Luminescence) display) that displays information to the administrator of the function implementation system 100 .
〔4-1.通信部110〕
 通信部110は、例えば、NIC(Network Interface Card)によって実装される。通信部110は、有線または無線によりネットワーク200と接続される。通信部110は、ネットワーク200を介して、ユーザ装置300との間で、情報の送受信を行うことができる。
[4-1. Communication unit 110]
The communication unit 110 is implemented by, for example, a NIC (Network Interface Card). Communication unit 110 is connected to network 200 by wire or wirelessly. The communication unit 110 can transmit and receive information to and from the user device 300 via the network 200 .
〔4-2.制御部120〕
 制御部120は、コントローラ(controller)である。制御部120は、RAM(Random Access Memory)を作業領域として使用し、機能実装システム100の記憶装置に記憶された各種プログラムを実行する1つまたは複数のプロセッサ(例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit))によって実装される。また、制御部120は、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)、GPGPU(General Purpose Graphic Processing Unit)等の、集積回路により実装されてもよい。
[4-2. control unit 120]
The control unit 120 is a controller. The control unit 120 uses a RAM (Random Access Memory) as a work area, and includes one or more processors (e.g., CPU (Central Processing Unit), It is implemented by an MPU (Micro Processing Unit). Also, the control unit 120 may be implemented by an integrated circuit such as an ASIC (Application Specific Integrated Circuit), an FPGA (Field Programmable Gate Array), or a GPGPU (General Purpose Graphic Processing Unit).
 図5に示されるように、制御部120は、機能管理部121、機能格納部122、画像受信部123、3Dメッシュ生成部124、機能推定部125、材質推定部126、機能付与部127、DT管理部128および機能不足確認部129を含む。機能実装システム100の1つまたは複数のプロセッサは、機能実装システム100の1つまたは複数のメモリに記憶された命令を実行することによって、各制御部を実装することができる。各制御部によって行われるデータ処理は例であり、各制御部(例えば、機能付与部127)は、他の制御部(例えば、機能推定部125)に関連して説明されるデータ処理を行ってもよい。 As shown in FIG. 5, the control unit 120 includes a function management unit 121, a function storage unit 122, an image reception unit 123, a 3D mesh generation unit 124, a function estimation unit 125, a material estimation unit 126, a function provision unit 127, a DT It includes a management unit 128 and a lack of function confirmation unit 129 . One or more processors of function-implementing system 100 may implement each control unit by executing instructions stored in one or more memories of function-implementing system 100 . The data processing performed by each control unit is an example, and each control unit (for example, function imparting unit 127) performs data processing described in relation to other control units (for example, function estimation unit 125). good too.
〔4-3.記憶部130〕
 記憶部130は、例えば、RAM、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実装される。図5に示されるように、記憶部130は、機能データベース131を含む。
[4-3. Storage unit 130]
The storage unit 130 is implemented by, for example, a semiconductor memory device such as a RAM or a flash memory, or a storage device such as a hard disk or an optical disk. As shown in FIG. 5, storage unit 130 includes function database 131 .
〔4-4.各制御部の機能〕
 この小節では、図6および図7を参照して、上記の各制御部の機能を説明する。また、機能データベース131の機能を、機能管理部121に関連して説明する。
[4-4. Function of each control part]
In this subsection, with reference to FIGS. 6 and 7, the function of each of the above controls will be described. Also, the functions of the function database 131 will be described in relation to the function manager 121 .
 図6は、本開示に係る機能実装システムにおけるデータの流れの例である流れ40を示す。図6に示されるように、機能付きデジタルツインを作成するためのデータが、機能管理部121、機能格納部122、画像受信部123、3Dメッシュ生成部124、機能推定部125、材質推定部126、機能付与部127、DT管理部128および機能不足確認部129の間で、やりとりされる。 FIG. 6 shows a flow 40, which is an example of data flow in the function implementation system according to the present disclosure. As shown in FIG. 6, the data for creating a digital twin with functions include a function management unit 121, a function storage unit 122, an image reception unit 123, a 3D mesh generation unit 124, a function estimation unit 125, and a material estimation unit 126. , the function provision unit 127, the DT management unit 128, and the function deficiency confirmation unit 129.
〔4-4-1.機能管理部121〕
 機能管理部121は、機能が実装された各種プログラムを管理する。この各種プログラムは、例えば、デジタルツインの機能をデジタルで再現するプログラムである。この各種プログラムは、フィジカルツインの機能をデジタル化することによって、作成される。
[4-4-1. function management unit 121]
The function management unit 121 manages various programs in which functions are implemented. These various programs are, for example, programs that digitally reproduce the functions of the digital twin. These various programs are created by digitizing the functions of the physical twin.
 機能管理部121は、データベース管理システムとして実装される。例えば、機能管理部121は、クエリに従って、データベースを検索したり書き換えたりすることができる。図5および図6の例では、このデータベースは、機能データベース131である。 The function management unit 121 is implemented as a database management system. For example, the function management unit 121 can search or rewrite the database according to the query. In the example of FIGS. 5 and 6, this database is function database 131 .
 機能管理部121の入力(すなわち、クエリ)は、物体の機能や材質を表す自然言語ラベルである。機能管理部121の出力は、機能が実装されたプログラムである。 The input (that is, query) of the function management unit 121 is a natural language label representing the function and material of the object. The output of the function management unit 121 is a program in which functions are implemented.
 機能管理部121は、機能や材質を表すラベルをキー(key)として使用する。また、機能管理部121は、プログラムを値(value)として使用する。したがって、機能管理部121は、KVS(Key-Value Store)で、機能が実装されたプログラムを管理する。クエリが到着した場合、機能管理部121は、クエリと一致するキーをもつプログラムを検索して返す。 The function management unit 121 uses labels representing functions and materials as keys. Also, the function management unit 121 uses the program as a value. Therefore, the function management unit 121 manages programs in which functions are implemented in a KVS (Key-Value Store). When a query arrives, the function manager 121 retrieves and returns a program having a key that matches the query.
 本明細書では、機能が実装されたプログラムは、機能プログラムと呼ばれる。機能プログラムの例としては、触角FB(Feedback)を再現するためのスクリプトおよび摩擦係数を自動的に設定するためのスクリプトなどが挙げられる。 In this specification, a program in which functions are implemented is called a functional program. Examples of functional programs include a script for reproducing the feeler FB (Feedback) and a script for automatically setting the coefficient of friction.
〔4-4-2.機能格納部122〕
 機能格納部122は、各種機能プログラムを、機能データベース131に格納する。機能格納部122は、格納部の一例である。上述のように、機能プログラムは、機能が実装されたプログラムである。
[4-4-2. function storage unit 122]
The function storage unit 122 stores various function programs in the function database 131 . The function storage unit 122 is an example of a storage unit. As described above, a functional program is a program in which functions are implemented.
 機能格納部122は、機能プログラムを、開発者から受信する。また、機能格納部122は、機能プログラムによって再現される機能を示すラベルを、開発者から受信する。本明細書では、機能を示すラベルは、機能ラベルと呼ばれる。 The function storage unit 122 receives function programs from developers. Also, the function storage unit 122 receives from the developer a label indicating a function to be reproduced by the function program. A label that indicates a function is referred to herein as a functional label.
 機能格納部122は、機能プログラムに、対応する機能ラベルを関連付ける。そして、機能格納部122は、機能ラベルに関連付けられた機能プログラムを、機能データベース131に格納する。 The function storage unit 122 associates function programs with corresponding function labels. Then, the function storage unit 122 stores the function program associated with the function label in the function database 131. FIG.
 開発者が、機能データベース131に存在しない機能プログラムを新たに開発した場合に、開発者は、新たなプログラムを、機能格納部122に送る。機能格納部122は、新たなプログラムを、機能データベース131に追加する。機能格納部122は、一般ユーザからのアクセスを受け付けてもよい。このようにして、機能格納部122は、機能プログラムを、幅広く収集してもよい。 When the developer newly develops a function program that does not exist in the function database 131 , the developer sends the new program to the function storage unit 122 . Function storage unit 122 adds a new program to function database 131 . The function storage unit 122 may accept access from general users. In this manner, the function storage unit 122 may collect a wide range of function programs.
〔4-4-3.画像受信部123〕
 画像受信部123は、現実の物体の画像を、ユーザ装置300から受信する。画像受信部123は、画像を、記憶部130に格納することができる。
[4-4-3. image receiving unit 123]
The image receiving unit 123 receives the image of the real object from the user device 300 . The image receiving section 123 can store the image in the storage section 130 .
 現実の物体の画像は、例えば、写真である。画像受信部123は、物体の3次元モデルを生成するための複数の画像を受信することができる。 An image of a real object is, for example, a photograph. The image receiving unit 123 can receive multiple images for generating a three-dimensional model of the object.
〔4-4-4.3Dメッシュ生成部124〕
 3Dメッシュ生成部124は、画像に描かれた物体の形状をデジタル化することによって、デジタルの物体を生成する。例えば3Dメッシュ生成部124は、物体の表面を3次元レーザースキャナーで計測することによって得られた点群から、3Dメッシュを生成する。あるいは、3Dメッシュ生成部124は、3次元レーザースキャナーを使わずに、画像受信部123で受信した複数の写真から、3Dメッシュを作成してもよい。3Dメッシュ生成部124は、生成部の一例である。3Dメッシュ生成部124は、複数の画像、点群、過去に生成された3Dメッシュを、記憶部130から取得することができる。また、3Dメッシュ生成部124は、生成されたデジタルの物体を、記憶部130に格納することができる。
[4-4-4. 3D mesh generator 124]
The 3D mesh generator 124 generates a digital object by digitizing the shape of the object drawn in the image. For example, the 3D mesh generation unit 124 generates a 3D mesh from point groups obtained by measuring the surface of an object with a 3D laser scanner. Alternatively, the 3D mesh generator 124 may create a 3D mesh from multiple photographs received by the image receiver 123 without using a 3D laser scanner. The 3D mesh generator 124 is an example of a generator. The 3D mesh generation unit 124 can acquire a plurality of images, point clouds, and previously generated 3D meshes from the storage unit 130 . Also, the 3D mesh generation unit 124 can store the generated digital object in the storage unit 130 .
 3Dメッシュ生成部124は、画像や点群に基づいて、現実の物体の3Dメッシュモデルを生成する。生成された3Dメッシュモデルは、デジタルツインの一例である。 The 3D mesh generator 124 generates a 3D mesh model of a real object based on images and point groups. The generated 3D mesh model is an example of a digital twin.
〔4-4-5.機能推定部125〕
 機能推定部125は、画像受信部123で受信した現実の物体の画像や、3Dメッシュ生成部124によって生成されたデジタルの物体(例えば、デジタルツイン)の形状に基づいて、元の画像に描かれた物体の機能を推定する。機能推定部125は、推定部の一例である。機能推定部125は、物体を描いた画像や、デジタルの物体を、記憶部130から取得することができる。また、機能推定部125は、推定された機能を示すデータを、機能ラベルとして、記憶部130に格納することができる。
[4-4-5. function estimation unit 125]
The function estimating unit 125 draws on the original image based on the image of the real object received by the image receiving unit 123 and the shape of the digital object (for example, digital twin) generated by the 3D mesh generating unit 124. estimating the function of the object. Function estimator 125 is an example of an estimator. The function estimating unit 125 can acquire an image depicting an object or a digital object from the storage unit 130 . Also, the function estimation unit 125 can store data indicating the estimated function in the storage unit 130 as a function label.
 機能推定部125の入力は、画像、点群、3Dメッシュなどのデータである。機能推定部125は、入力として、このようなデータに付与されたタグ情報も使用することができる。例えば、タグ情報は、撮影された物体の名前を示す。 The inputs to the function estimation unit 125 are data such as images, point clouds, and 3D meshes. The function estimator 125 can also use tag information attached to such data as input. For example, the tag information indicates the name of the photographed object.
 機能推定部125の出力は、機能部位情報と、機能を表す自然言語ラベルである。機能部位情報は、機能を有する部位を示す。一例として、ノコギリデジタルツインの機能部位情報は、刃に対応する範囲を示し得る。機能推定部125は、パーツの単位で機能を推定することができる。 The output of the function estimation unit 125 is functional part information and natural language labels representing functions. The functional site information indicates a site having a function. As an example, the functional site information of the saw digital twin may indicate the range corresponding to the blade. The function estimator 125 can estimate the function for each part.
 機能推定部125は、機械学習モデルを使用して、物体の機能を推定することができる。教師データのインスタンスは、画像、点群、3Dメッシュ等のデータ内で機能を表す範囲である。教師データのラベルは、この範囲に対応する機能の自然言語ラベルである。機能推定部125は、教師データに基づいて、機械学習モデルの学習を行うことができる。機能推定部125は、画像、点群、3Dメッシュなどのデータを、学習済みのモデルに入力することによって、推定された機能を出力することができる。 The function estimation unit 125 can estimate the function of an object using a machine learning model. An instance of training data is an area that represents a function within the data, such as an image, point cloud, 3D mesh, or the like. The training data label is the natural language label of the function corresponding to this range. The function estimation unit 125 can learn a machine learning model based on teacher data. The function estimation unit 125 can output an estimated function by inputting data such as images, point clouds, and 3D meshes into a trained model.
〔4-4-6.材質推定部126〕
 材質推定部126は、物体を描いた画像を、記憶部130から取得する。そして、材質推定部126は、取得された画像に基づいて、物体の材質を推定する。材質推定部126は、推定された材質を示す材質ラベルを、記憶部130に格納することができる。
[4-4-6. material estimation unit 126]
The material estimation unit 126 acquires an image depicting the object from the storage unit 130 . Then, the material estimation unit 126 estimates the material of the object based on the acquired image. The material estimation unit 126 can store a material label indicating the estimated material in the storage unit 130 .
〔4-4-7.機能付与部127〕
 機能付与部127は、デジタルの物体と、このデジタルの物体の機能ラベルを、記憶部130から取得する。機能付与部127の取得部の一例である。加えて、機能付与部127は、このデジタルの物体の機能部位情報や、このデジタルの物体の材質ラベルを、記憶部130から取得することができる。
[4-4-7. Function imparting unit 127]
The function imparting unit 127 acquires the digital object and the function label of this digital object from the storage unit 130 . It is an example of an acquisition unit of the function imparting unit 127 . In addition, the function imparting unit 127 can acquire the functional part information of this digital object and the material label of this digital object from the storage unit 130 .
 機能付与部127は、機能ラベルによって示される機能に対応する機能プログラムを、機能データベース131から取得する。上述のように、機能プログラムは、機能が実装されたプログラム(例えば、ノコギリの物体を切断する機能をデジタルで再現するプログラム)である。そして、機能付与部127は、取得された機能プログラムを、デジタルの物体に付与する。機能付与部127は、付与部の一例である。機能付与部127は、機能プログラムが付与されたデジタルの物体を、機能を実装したデジタルの物体として、記憶部130に格納することができる。 The function imparting unit 127 acquires from the function database 131 the function program corresponding to the function indicated by the function label. As described above, a functional program is a program in which a function is implemented (for example, a program that digitally reproduces a saw's ability to cut an object). Then, the function imparting unit 127 imparts the acquired function program to the digital object. The function imparting unit 127 is an example of an imparting unit. The function imparting unit 127 can store the digital object to which the function program is imparted in the storage unit 130 as a function-implemented digital object.
 図7は、本開示に係る機能付与の例である機能付与50を示す。機能付与50では、機能付与部127の入力は、機能部位情報、機能ラベル(すなわち、機能を表す自然言語ラベル)およびデジタルツイン(例えば、3Dメッシュ)である。機能付与部127の出力は、機能付きデジタルツインである。 FIG. 7 shows functionalization 50, which is an example of functionalization according to the present disclosure. In the functionalization 50, the inputs of the functionalization unit 127 are functional site information, functional labels (ie, natural language labels representing functions), and digital twins (eg, 3D mesh). The output of the function imparting unit 127 is a digital twin with functions.
 図7の例では、はじめに、機能付与部127は、機能部位情報および機能ラベルとともに、デジタルツイン51を取得する。デジタルツイン51は、ノコギリデジタルツインである。機能部位情報は、刃に対応する範囲を示す。機能ラベルは、切断という機能を示す。 In the example of FIG. 7, the function imparting unit 127 first acquires the digital twin 51 together with the functional part information and the function label. Digital twin 51 is a sawtooth digital twin. The functional site information indicates the range corresponding to the blade. The function label indicates the function of cutting.
 次いで、機能付与部127は、機能管理部121に、機能ラベルを送る。この機能ラベルは、クエリとして送られる。機能管理部121は、クエリに対応するキーに関連付けられた機能プログラムを、機能データベース131から検索する。図7の例では、切断scriptが、検索される。機能管理部121は、切断scriptを、機能付与部127に送る。このようにして、機能付与部127は、機能データベース131から、デジタルの物体の機能に対応する機能プログラムを取得することができる。 Next, the function provision unit 127 sends the function label to the function management unit 121. This function label is sent as a query. The function management unit 121 searches the function database 131 for a function program associated with the key corresponding to the query. In the example of FIG. 7, the disconnect script is retrieved. The function manager 121 sends the disconnection script to the function provider 127 . In this way, the function imparting unit 127 can acquire the function program corresponding to the function of the digital object from the function database 131. FIG.
 次いで、機能付与部127は、機能部位情報に基づいて、機能プログラムを、デジタルの物体に付与する。図7の例では、切断scriptが、ノコギリデジタルツインの刃の部分に付与される。 Next, the function imparting unit 127 imparts the function program to the digital object based on the functional part information. In the example of FIG. 7, a cutting script is applied to the blade portion of the saw digital twin.
〔4-4-8.DT管理部128〕
 図6に戻ると、DT管理部128は、デジタルの物体を管理する。例えば、DT管理部128は、各種デジタルツイン(Digital Twin:DT)を管理する。各種デジタルツインは、フィジカルツインの機能を実装していない通常のデジタルツインを含む。
[4-4-8. DT management unit 128]
Returning to FIG. 6, the DT manager 128 manages digital objects. For example, the DT management unit 128 manages various digital twins (DT). Various digital twins include normal digital twins that do not implement the functionality of physical twins.
 DT管理部128は、機能を実装したデジタルツインを、記憶部130から取得することができる。そして、DT管理部128は、取得されたデジタルツインを、ユーザ装置300に提供することができる。 The DT management unit 128 can acquire the function-implemented digital twin from the storage unit 130 . The DT manager 128 can then provide the acquired digital twin to the user device 300 .
 DT管理部128は、各種デジタルツインを、開発者から受信することができる。DT管理部128は、受信された各種デジタルツインを、記憶部130に格納することができる。 The DT management unit 128 can receive various digital twins from developers. The DT management unit 128 can store various received digital twins in the storage unit 130 .
〔4-4-9.機能不足確認部129〕
 デジタルの物体の機能が、他のフィジカルな物体に影響を与える能動的な機能である場合に、機能不足確認部129は、この他のフィジカルな物体をデジタル化することによって生成された他のデジタルの物体を、記憶部130から取得する。他のデジタルの物体は、DT管理部128によって管理される各種デジタルツインに含まれている。そして、機能不足確認部129は、他のデジタルの物体の機能を、デジタルの物体から影響を受ける受動的な機能として特定する。
[4-4-9. Insufficient function confirmation unit 129]
If the function of the digital object is an active function that affects another physical object, the lack of function confirmation unit 129 detects the other digital object generated by digitizing this other physical object. is acquired from the storage unit 130 . Other digital objects are contained in various digital twins managed by DT manager 128 . Then, the function deficiency confirmation unit 129 identifies functions of other digital objects as passive functions affected by the digital objects.
 デジタルの物体の機能は、対象のデジタルの物体を必要とする場合がある。この場合、対象のデジタルの物体の機能は、デジタルの物体に不足している機能として特定される。 The function of a digital object may require a target digital object. In this case, the features of the digital object of interest are identified as the missing features of the digital object.
 一例として、機能不足確認部129の入力は、デジタルの物体の機能を示す機能ラベル(例えば、機能を表す自然言語ラベル)である。一方、機能不足確認部129の出力は、機能が不足しているデジタルツイン、デジタルツインに不足している機能を示す機能ラベル、機能ラベルに対応する機能部位情報などの機能不足情報である。 As an example, the input of the function deficiency confirmation unit 129 is a function label indicating the function of the digital object (for example, a natural language label representing the function). On the other hand, the output of the function deficient confirmation unit 129 is function deficient information such as a function deficient digital twin, a function label indicating a function deficient in the digital twin, and functional part information corresponding to the function label.
 例えば、デジタルツインに新たに付与される機能が、他の物体に影響を与える場合に、機能不足確認部129は、このデジタルツインに対応するフィジカルツインが存在する空間を分析する。一例として、機能不足確認部129は、フィジカルツインを描いた画像を、記憶部130から取得する。そして、機能不足確認部129は、他の物体が取得された画像に含まれかを判定する。 For example, if a function newly added to the digital twin affects other objects, the function deficiency confirmation unit 129 analyzes the space where the physical twin corresponding to this digital twin exists. As an example, the function deficiency confirmation unit 129 acquires an image depicting the physical twin from the storage unit 130 . Then, the lack of function confirmation unit 129 determines whether or not another object is included in the acquired image.
 他の物体が取得された画像に含まれる場合に、機能不足確認部129は、他の物体を、フィジカルツインから影響を受ける物体として特定する。そして、機能不足確認部129は、特定された他の物体に対応する他のデジタルツインを、記憶部130から取得する。 When another object is included in the acquired image, the function deficiency confirmation unit 129 identifies the other object as an object affected by the physical twin. Then, the function deficiency confirmation unit 129 acquires another digital twin corresponding to the specified other object from the storage unit 130 .
 取得された他のデジタルツインの機能は、デジタルツインから影響を受ける機能として特定される。機能不足確認部129は、デジタルツインおよび他のデジタルツインと、これらのデジタルツインの機能ラベルに従って、上記の機能不足情報を、機能付与部127に送る。機能付与部127は、他のデジタルツインに、受動的な機能に対応する機能プログラムを付与することができる。 The functions of other acquired digital twins are identified as functions affected by the digital twin. The function deficiency confirmation unit 129 sends the above function deficiency information to the function imparting unit 127 according to the digital twins, other digital twins, and the function labels of these digital twins. The function imparting unit 127 can impart functional programs corresponding to passive functions to other digital twins.
 例えば、紙コップがデジタルツイン化され、そして「切断(する)」の機能を持つナイフがデジタルツイン化されたと仮定する。この例では、機能不足確認部129は、紙コップデジタルツインと、「切断(される)」を示す機能ラベルを、機能付与部127に送る。機能付与部127は、「切断(される)」を示す機能ラベルを、紙コップデジタルツインに付与することができる。 For example, assume that a paper cup has been converted into a digital twin, and a knife with the function of "cutting" has been converted into a digital twin. In this example, the function deficiency confirmation unit 129 sends the paper cup digital twin and the function label indicating “disconnected (disconnected)” to the function provision unit 127 . The function imparting unit 127 can impart a function label indicating "cut (cut)" to the paper cup digital twin.
〔5.機能実装の活用〕
 この節では、本開示に係る機能実装の活用について説明する。
[5. Utilization of function implementation]
This section describes the exploitation of functional implementations according to this disclosure.
 機能実装システム100は、デジタルツインに、各種機能スクリプトを付与することができる。例えば、機能実装システム100は、ナイフを描いた画像から、仮想空間内で他の物体を「切断」できるナイフのデジタルツインを、自動的に生成することができる。 The function implementation system 100 can add various function scripts to the digital twin. For example, from an image depicting a knife, the functional implementation system 100 can automatically generate a digital twin of a knife that can "cut" other objects in virtual space.
 機能実装システム100は、デジタルツインに、触角FB(Feedback)を再現するためのスクリプトを付与することができる。例えば、機能実装システム100は、卵の画像から、触覚グローブに返る力の強さが、卵が割れる前と後で変わる卵デジタルツインを、自動的に生成する。機能実装システム100は、キーが材質属性であり、値(value)が触覚フィードバックである機能プログラムを、機能データベース131から取得することができる。機能実装システム100は、このような機能プログラムを卵デジタルツインに付与することによって、触角FBの機能を、卵デジタルツインに自動的に付与することができる。 The function implementation system 100 can give the digital twin a script for reproducing the antennae FB (Feedback). For example, from an image of an egg, the functional implementation system 100 automatically generates an egg digital twin in which the strength of the force returned to the haptic glove changes before and after the egg breaks. The function implementation system 100 can obtain from the function database 131 a function program whose key is the material attribute and whose value is the tactile feedback. By providing such a function program to the egg digital twin, the function implementation system 100 can automatically provide the function of the antennae FB to the egg digital twin.
 機能実装システム100は、摩擦係数を自動的に設定することができる。例えば、機能実装システム100の管理者は、材質ごとの摩擦係数を事前に計測する。計測された摩擦係数は、機能データベース131に格納される。機能実装システム100は、材質ラベルに基づいて、デジタルツイン(例えば、3Dメッシュ)に摩擦係数を自動的に設定することができる。 The function implementation system 100 can automatically set the coefficient of friction. For example, the administrator of the function implementation system 100 measures the coefficient of friction for each material in advance. The measured coefficient of friction is stored in function database 131 . The functional implementation system 100 can automatically set the coefficient of friction in the digital twin (eg, 3D mesh) based on the material label.
〔6.機能実装のフローチャート〕
 次に、図8を参照して、本開示に係る機能実装の例のフローチャートについて説明する。機能実装の例は、機能を実装したデジタルの物体を作成するための処理を含む。機能を実装したデジタルの物体を作成するための処理は、例えば、図3の機能実装システム100によって行われる。
[6. Flowchart of function implementation]
Next, with reference to FIG. 8, a flowchart of an example implementation of functionality according to the present disclosure will be described. Examples of functional implementations include processes for creating functionally implemented digital objects. Processing for creating a function-implemented digital object is performed by the function implementation system 100 of FIG. 3, for example.
 図8は、機能を実装したデジタルの物体を作成するための処理の例である処理P100を示すフローチャートである。 FIG. 8 is a flow chart showing process P100, which is an example of the process for creating a digital object implementing functions.
 図8に示されるように、はじめに、機能実装システム100の機能格納部122は、各種機能プログラムを開発者から受信する(ステップS101)。 As shown in FIG. 8, first, the function storage unit 122 of the function implementation system 100 receives various function programs from the developer (step S101).
 次いで、機能格納部122は、各種機能プログラムを、機能実装システム100の機能データベース131に格納する(ステップS102)。 Next, the function storage unit 122 stores various function programs in the function database 131 of the function implementation system 100 (step S102).
 次いで、機能実装システム100の画像受信部123は、物体の画像をユーザから受信する(ステップS103)。 Next, the image receiving unit 123 of the function implementation system 100 receives the image of the object from the user (step S103).
 次いで、機能実装システム100の3Dメッシュ生成部124は、受信された画像から、物体のデジタルツインを生成する(ステップS104)。 Next, the 3D mesh generator 124 of the function implementation system 100 generates a digital twin of the object from the received image (step S104).
 次いで、機能実装システム100の機能推定部125は、生成されたデジタルツインの機能を、生成されたデジタルツインの形状に基づいて、推定する(ステップS105)。 Next, the function estimation unit 125 of the function implementation system 100 estimates the function of the generated digital twin based on the shape of the generated digital twin (step S105).
 次いで、機能実装システム100の機能付与部127は、推定された機能に対応する機能プログラムを、機能データベース131から取得する(ステップS106)。 Next, the function imparting unit 127 of the function implementation system 100 acquires the function program corresponding to the estimated function from the function database 131 (step S106).
 次いで、機能付与部127は、取得された機能プログラムを生成されたデジタルツインに付与する(ステップS107)。 Next, the function imparting unit 127 imparts the acquired function program to the generated digital twin (step S107).
〔7.効果〕
 上述のように、機能実装システム100は、物体が持つ機能をデジタル上で再現するための実装を、自動化することができる。その結果、機能実装システム100は、機能が付与されたデジタルツインの作成コストを低減することができる。さらに、機能実装システム100は、デジタルツインが持つ属性情報を市中の物理演算エンジンに適用することによっては再現され得ない機能を、デジタルツインに自動的に付与することができる。
[7. effect〕
As described above, the function implementation system 100 can automate implementation for digitally reproducing the functions of objects. As a result, the function implementation system 100 can reduce the cost of creating a function-added digital twin. Furthermore, the function implementation system 100 can automatically give the digital twin a function that cannot be reproduced by applying the attribute information of the digital twin to a commercial physics engine.
〔8.その他〕
 自動的に行われる処理として述べられた処理の一部は、手動的に行われ得る。あるいは、手動的に行われる処理として述べられた処理の全部または一部は、公知の方法で、自動的に行われ得る。さらに、本明細書や図面中で示された処理の手順、具体的名称、各種のデータやパラメータを含む情報は、特に明記しない限り、任意に変更され得る。例えば、各図に示された各種情報は、図示された情報に限られない。
[8. others〕
Some of the processes described as being performed automatically may be performed manually. Alternatively, all or part of the processes described as being performed manually may be performed automatically in known manner. Furthermore, information including processing procedures, specific names, various data and parameters shown in this specification and drawings may be arbitrarily changed unless otherwise specified. For example, various information shown in each drawing is not limited to the illustrated information.
 図示されたシステムおよび装置の構成要素は、システムおよび装置の機能を、概念的に示すものである。構成要素は、必ずしも、図面に示されたように物理的に構成されているとは限らない。言い換えると、分散または統合されたシステムおよび装置の具体的形態は、図面に示されたシステムおよび装置の形態に限られない。システムおよび装置の全部または一部は、各種の負荷や使用状況に応じて、機能的または物理的に分散または統合され得る。 The illustrated system and device components conceptually illustrate the functionality of the system and device. Components are not necessarily physically arranged as shown in the drawings. In other words, specific forms of distributed or integrated systems and devices are not limited to those shown in the figures. All or part of the systems and devices may be functionally or physically distributed or integrated according to various loads and conditions of use.
〔9.ハードウェア構成〕
 図9は、コンピュータのハードウェア構成の例であるコンピュータ1000を示す図である。本明細書で説明されたシステムや方法は、例えば、図9に示されたコンピュータ1000よって実装される。
[9. Hardware configuration]
FIG. 9 is a diagram showing a computer 1000 as an example of the hardware configuration of a computer. The systems and methods described herein may be implemented, for example, by computer 1000 shown in FIG.
 図9は、プログラムが実行されることにより、機能実装システム100が実装されるコンピュータの一例を示している。コンピュータ1000は、例えば、メモリ1010、CPU1020を有する。また、コンピュータ1000は、ハードディスクドライブインタフェース1030、ディスクドライブインタフェース1040、シリアルポートインタフェース1050、ビデオアダプタ1060、ネットワークインタフェース1070を有する。これらの各部は、バス1080によって接続される。 FIG. 9 shows an example of a computer on which the function implementation system 100 is implemented by executing a program. The computer 1000 has a memory 1010 and a CPU 1020, for example. Computer 1000 also has hard disk drive interface 1030 , disk drive interface 1040 , serial port interface 1050 , video adapter 1060 and network interface 1070 . These units are connected by a bus 1080 .
 メモリ1010は、ROM(Read Only Memory)1011及びRAM1012を含む。ROM1011は、例えば、BIOS(Basic Input Output System)等のブートプログラムを記憶する。ハードディスクドライブインタフェース1030は、ハードディスクドライブ1090に接続される。ディスクドライブインタフェース1040は、ディスクドライブ1100に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ1100に挿入される。シリアルポートインタフェース1050は、例えばマウス1110、キーボード1120に接続される。ビデオアダプタ1060は、例えばディスプレイ1130に接続される。 The memory 1010 includes a ROM (Read Only Memory) 1011 and a RAM 1012. The ROM 1011 stores a boot program such as BIOS (Basic Input Output System). Hard disk drive interface 1030 is connected to hard disk drive 1090 . A disk drive interface 1040 is connected to the disk drive 1100 . A removable storage medium such as a magnetic disk or optical disk is inserted into the disk drive 1100 . Serial port interface 1050 is connected to mouse 1110 and keyboard 1120, for example. Video adapter 1060 is connected to display 1130, for example.
 ハードディスクドライブ1090は、例えば、OS1091、アプリケーションプログラム1092、プログラムモジュール1093、プログラムデータ1094を記憶する。すなわち、機能実装システム100の各処理を規定するプログラムは、コンピュータ1000により実行可能なコードが記述されたプログラムモジュール1093として実装される。プログラムモジュール1093は、例えばハードディスクドライブ1090に記憶される。例えば、機能実装システム100における機能構成と同様の処理を実行するためのプログラムモジュール1093が、ハードディスクドライブ1090に記憶される。なお、ハードディスクドライブ1090は、SSD(Solid State Drive)により代替されてもよい。 The hard disk drive 1090 stores, for example, an OS 1091, application programs 1092, program modules 1093, and program data 1094. That is, a program that defines each process of the function implementation system 100 is implemented as a program module 1093 in which code executable by the computer 1000 is described. Program modules 1093 are stored, for example, on hard disk drive 1090 . For example, the hard disk drive 1090 stores a program module 1093 for executing processing similar to the functional configuration in the function implementation system 100 . The hard disk drive 1090 may be replaced by an SSD (Solid State Drive).
 ハードディスクドライブ1090は、機能実装のための機能付与プログラムを記憶することができる。また、機能付与プログラムは、プログラムプロダクトとして作成され得る。プログラムプロダクトは、実行された場合に、上述したような、1つまたは複数の方法を実行する。 The hard disk drive 1090 can store a function imparting program for implementing functions. Also, the functionalization program can be created as a program product. The program product, when executed, performs one or more methods, such as those described above.
 また、上述した実施の形態の処理で用いられる設定データは、プログラムデータ1094として、例えばメモリ1010やハードディスクドライブ1090に記憶される。そして、CPU1020が、メモリ1010やハードディスクドライブ1090に記憶されたプログラムモジュール1093やプログラムデータ1094を必要に応じてRAM1012に読み出して実行する。 Also, the setting data used in the processing of the above-described embodiment is stored as program data 1094 in the memory 1010 or the hard disk drive 1090, for example. Then, the CPU 1020 reads out the program module 1093 and the program data 1094 stored in the memory 1010 and the hard disk drive 1090 to the RAM 1012 as necessary and executes them.
 なお、プログラムモジュール1093やプログラムデータ1094は、ハードディスクドライブ1090に記憶される場合に限らず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ1100等を介してCPU1020によって読み出されてもよい。あるいは、プログラムモジュール1093及びプログラムデータ1094は、ネットワーク(LAN、WAN等)を介して接続された他のコンピュータに記憶されてもよい。そして、プログラムモジュール1093及びプログラムデータ1094は、他のコンピュータから、ネットワークインタフェース1070を介してCPU1020によって読み出されてもよい。 The program modules 1093 and program data 1094 are not limited to being stored in the hard disk drive 1090, but may be stored in a removable storage medium, for example, and read by the CPU 1020 via the disk drive 1100 or the like. Alternatively, program modules 1093 and program data 1094 may be stored in other computers connected through a network (LAN, WAN, etc.). Program modules 1093 and program data 1094 may then be read by CPU 1020 through network interface 1070 from other computers.
〔10.実施形態のまとめ〕
 上述のように、本開示に係る機能実装システム100は、機能付与部127を含む。少なくとも1つの実施形態では、機能付与部127は、フィジカルな物体をデジタル化することによって生成されたデジタルの物体と、デジタルの物体の機能を示すデータとを取得する。そして、機能付与部127は、このデジタルの物体の機能をデジタルで再現するプログラムを、機能データベース131から取得し、取得されたプログラムを、デジタルの物体に付与する。
[10. Summary of Embodiments]
As described above, the function implementation system 100 according to the present disclosure includes the function imparting section 127 . In at least one embodiment, functionalization unit 127 obtains a digital object produced by digitizing a physical object and data indicative of the function of the digital object. Then, the function imparting unit 127 acquires a program for digitally reproducing the function of this digital object from the function database 131, and imparts the acquired program to the digital object.
 上述のように、本開示に係る機能実装システム100は、機能格納部122を含む。少なくとも1つの実施形態では、機能格納部122は、物体の機能をデジタルで再現する1つまたは複数のプログラムを受信し、1つまたは複数のプログラムを、機能データベース131に格納する。いくつかの実施形態では、機能付与部127は、機能データベース131に格納された1つまたは複数のプログラムの中から、デジタルの物体の機能をデジタルで再現するプログラムを取得する。 As described above, the function implementation system 100 according to the present disclosure includes the function storage unit 122. In at least one embodiment, function store 122 receives one or more programs that digitally recreate the function of the object and stores the one or more programs in function database 131 . In some embodiments, functionalization unit 127 obtains, from among one or more programs stored in function database 131, a program that digitally reproduces the function of the digital object.
 いくつかの実施形態では、機能格納部122は、物体の機能をデジタルで再現する1つまたは複数のプログラムを、1つまたは複数のプログラムによって再現される1つまたは複数の機能をそれぞれ示す1つまたは複数のラベルに関連付け、1つまたは複数のラベルに関連付けられた1つまたは複数のプログラムを、機能データベース131に格納する。いくつかの実施形態では、機能付与部127は、機能データベース131に格納された1つまたは複数のラベルの中から、デジタルの物体の機能に対応するラベルを特定し、特定されたラベルに関連付けられたプログラムを、デジタルの物体に付与する。 In some embodiments, function store 122 stores one or more programs that digitally reproduce a function of an object and one program that each indicates one or more functions to be reproduced by the one or more programs. or associated with multiple labels, and storing one or more programs associated with one or more labels in function database 131 . In some embodiments, the functionalization unit 127 identifies, from among one or more labels stored in the functional database 131, a label corresponding to the function of the digital object, and associates with the identified label a label associated with the identified label. program to a digital object.
 上述のように、本開示に係る機能実装システム100は、3Dメッシュ生成部124を含む。少なくとも1つの実施形態では、3Dメッシュ生成部124は、画像に描かれた物体に対応するデジタルの物体を、画像に描かれた物体の形状をデジタル化することによって生成する。いくつかの実施形態では、機能付与部127は、フィジカルな物体をデジタル化することによって生成されたデジタルの物体として、3Dメッシュ生成部124によって生成されたデジタルの物体を取得する。 As described above, the function implementation system 100 according to the present disclosure includes the 3D mesh generator 124. In at least one embodiment, the 3D mesh generator 124 generates a digital object corresponding to the object depicted in the image by digitizing the shape of the object depicted in the image. In some embodiments, the functionalizer 127 takes the digital object generated by the 3D mesh generator 124 as a digital object generated by digitizing a physical object.
 上述のように、本開示に係る機能実装システム100は、機能推定部125を含む。少なくとも1つの実施形態では、機能推定部125は、3Dメッシュ生成部124によって生成されたデジタルの物体の形状に基づいて、画像に描かれた物体の機能を推定する。いくつかの実施形態では、機能付与部127は、デジタルの物体の機能を示すデータとして、機能推定部125によって推定された機能を示すデータを取得する。 As described above, the function implementation system 100 according to the present disclosure includes the function estimation unit 125. In at least one embodiment, function estimator 125 estimates the function of the object depicted in the image based on the shape of the digital object generated by 3D mesh generator 124 . In some embodiments, the function imparting unit 127 obtains the data indicating the function estimated by the function estimating unit 125 as the data indicating the function of the digital object.
 上述のように、本開示に係る機能実装システム100は、機能不足確認部129を含む。少なくとも1つの実施形態では、デジタルの物体の機能が、他のフィジカルな物体に影響を与える機能である場合に、他のフィジカルな物体をデジタル化することによって生成された他のデジタルの物体を取得し、他のデジタルの物体の機能を、デジタルの物体から影響を受ける機能として特定する。 As described above, the function implementation system 100 according to the present disclosure includes the function deficiency confirmation unit 129. In at least one embodiment, obtaining other digital objects produced by digitizing other physical objects where the function of the digital object is a function that affects the other physical object. and identify functions of other digital objects as functions affected by the digital object.
 様々な実施形態を、図面を参照して、本明細書で詳細に説明したが、これらの複数の実施形態は例であり、本発明をこれらの複数の実施形態に限定することを意図するものではない。本明細書に記載された特徴は、当業者の知識に基づく様々な変形や改良を含む、様々な方法によって実現され得る。 While various embodiments have been described in detail herein with reference to the drawings, these embodiments are examples and are intended to limit the invention to these embodiments. isn't it. The features described herein can be implemented in various ways, including various modifications and improvements based on the knowledge of those skilled in the art.
 また、上述した「部(module、-er接尾辞、-or接尾辞)」は、ユニット、手段、回路などに読み替えることができる。例えば、通信部(communication module)、制御部(control module)および記憶部(storage module)は、それぞれ、通信ユニット、制御ユニットおよび記憶ユニットに読み替えることができる。 Also, the above "parts (module, -er suffix, -or suffix)" can be read as units, means, circuits, etc. For example, a communication module, a control module, and a storage module can be read as a communication unit, a control unit, and a storage unit, respectively.
   1 環境
 100 機能実装システム
 110 通信部
 120 制御部
 121 機能管理部
 122 機能格納部
 123 画像受信部
 124 3Dメッシュ生成部
 125 機能推定部
 126 材質推定部
 127 機能付与部
 128 DT管理部
 129 機能不足確認部
 130 記憶部
 131 機能データベース
 200 ネットワーク
 300 ユーザ装置
1 environment 100 function implementation system 110 communication unit 120 control unit 121 function management unit 122 function storage unit 123 image reception unit 124 3D mesh generation unit 125 function estimation unit 126 material estimation unit 127 function provision unit 128 DT management unit 129 function shortage confirmation unit 130 storage unit 131 function database 200 network 300 user device

Claims (8)

  1.  フィジカルな物体をデジタル化することによって生成されたデジタルの物体と、前記デジタルの物体の機能を示すデータとを取得する取得部と、
     前記デジタルの物体の機能をデジタルで再現するプログラムを、所定の記憶装置から取得し、取得されたプログラムを、前記デジタルの物体に付与する付与部と
     を備える機能付与装置。
    an acquisition unit that acquires a digital object generated by digitizing a physical object and data indicating the function of the digital object;
    A function imparting device that acquires a program for digitally reproducing a function of the digital object from a predetermined storage device and imparts the acquired program to the digital object.
  2.  物体の機能をデジタルで再現する1つ又は複数のプログラムを受信し、前記1つ又は複数のプログラムを、前記所定の記憶装置に格納する格納部をさらに備え、
     前記付与部は、前記所定の記憶装置に格納された前記1つ又は複数のプログラムの中から、前記デジタルの物体の機能をデジタルで再現するプログラムを取得する
     請求項1に記載の機能付与装置。
    further comprising a storage unit that receives one or more programs that digitally reproduce the function of the object and stores the one or more programs in the predetermined storage device;
    The function imparting device according to claim 1, wherein the imparting unit acquires a program for digitally reproducing the function of the digital object from among the one or more programs stored in the predetermined storage device.
  3.  前記格納部は、物体の機能をデジタルで再現する前記1つ又は複数のプログラムを、前記1つ又は複数のプログラムによって再現される1つ又は複数の機能をそれぞれ示す1つ又は複数のラベルに関連付け、前記1つ又は複数のラベルに関連付けられた前記1つ又は複数のプログラムを、前記所定の記憶装置に格納し、
     前記付与部は、前記所定の記憶装置に格納された前記1つ又は複数のラベルの中から、前記デジタルの物体の機能に対応するラベルを特定し、特定されたラベルに関連付けられたプログラムを、前記デジタルの物体に付与する
     請求項2に記載の機能付与装置。
    The storage unit associates the one or more programs that digitally reproduce a function of an object with one or more labels that respectively indicate the one or more functions that are reproduced by the one or more programs. , storing the one or more programs associated with the one or more labels in the predetermined storage device;
    The assigning unit identifies a label corresponding to the function of the digital object from among the one or more labels stored in the predetermined storage device, and executes a program associated with the identified label, The function imparting device according to claim 2, which is imparted to the digital object.
  4.  画像に描かれた物体に対応するデジタルの物体を、前記画像に描かれた物体の形状をデジタル化することによって生成する生成部をさらに備え、
     前記取得部は、フィジカルな物体をデジタル化することによって生成された前記デジタルの物体として、前記生成部によって生成されたデジタルの物体を取得する
     請求項1~3のうちいずれか1つに記載の機能付与装置。
    further comprising a generation unit that generates a digital object corresponding to the object depicted in the image by digitizing the shape of the object depicted in the image;
    The acquisition unit acquires a digital object generated by the generation unit as the digital object generated by digitizing a physical object. Functional device.
  5.  前記生成部によって生成されたデジタルの物体の形状に基づいて、前記画像に描かれた物体の機能を推定する推定部をさらに備え、
     前記取得部は、前記デジタルの物体の機能を示すデータとして、前記推定部によって推定された機能を示すデータを取得する
     請求項4に記載の機能付与装置。
    An estimating unit that estimates the function of the object depicted in the image based on the shape of the digital object generated by the generating unit,
    The function imparting device according to claim 4, wherein the acquisition unit acquires data indicating the function estimated by the estimation unit as the data indicating the function of the digital object.
  6.  前記デジタルの物体の機能が、他のフィジカルな物体に影響を与える機能である場合に、前記他のフィジカルな物体をデジタル化することによって生成された他のデジタルの物体を取得し、前記他のデジタルの物体の機能を、前記デジタルの物体から影響を受ける機能として特定する特定部
     をさらに備える請求項1~5のうちいずれか1つに記載の機能付与装置。
    obtaining another digital object generated by digitizing the other physical object, if the function of the digital object is a function that affects another physical object; The function imparting device according to any one of claims 1 to 5, further comprising: a specifying unit that specifies a function of a digital object as a function affected by said digital object.
  7.  コンピュータが実行する機能付与方法であって、
     フィジカルな物体をデジタル化することによって生成されたデジタルの物体と、前記デジタルの物体の機能を示すデータとを取得する取得工程と、
     前記デジタルの物体の機能をデジタルで再現するプログラムを、所定の記憶装置から取得し、取得されたプログラムを、前記デジタルの物体に付与する付与工程と
     を含む機能付与方法。
    A function imparting method executed by a computer,
    an obtaining step of obtaining a digital object produced by digitizing a physical object and data indicative of a function of the digital object;
    and an imparting step of acquiring from a predetermined storage device a program for digitally reproducing the function of the digital object, and imparting the acquired program to the digital object.
  8.  コンピュータを、請求項1~6のうちいずれか1つに記載の機能付与装置として機能させるための機能付与プログラム。 A function-imparting program for causing a computer to function as the function-imparting device according to any one of claims 1 to 6.
PCT/JP2021/032739 2021-09-06 2021-09-06 Function adding device, function adding method, and function adding program WO2023032226A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2021/032739 WO2023032226A1 (en) 2021-09-06 2021-09-06 Function adding device, function adding method, and function adding program
JP2023545000A JPWO2023032226A1 (en) 2021-09-06 2021-09-06

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/032739 WO2023032226A1 (en) 2021-09-06 2021-09-06 Function adding device, function adding method, and function adding program

Publications (1)

Publication Number Publication Date
WO2023032226A1 true WO2023032226A1 (en) 2023-03-09

Family

ID=85411030

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/032739 WO2023032226A1 (en) 2021-09-06 2021-09-06 Function adding device, function adding method, and function adding program

Country Status (2)

Country Link
JP (1) JPWO2023032226A1 (en)
WO (1) WO2023032226A1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007026061A (en) * 2005-07-15 2007-02-01 Ritsumeikan Three-dimensional body model generating method based upon haptic vision, and haptic vision system
WO2020246473A1 (en) * 2019-06-06 2020-12-10 株式会社 東芝 Control system and control method
WO2020246032A1 (en) * 2019-06-07 2020-12-10 日本電信電話株式会社 Digital twin operation device, digital twin operation method, program and data structure

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007026061A (en) * 2005-07-15 2007-02-01 Ritsumeikan Three-dimensional body model generating method based upon haptic vision, and haptic vision system
WO2020246473A1 (en) * 2019-06-06 2020-12-10 株式会社 東芝 Control system and control method
WO2020246032A1 (en) * 2019-06-07 2020-12-10 日本電信電話株式会社 Digital twin operation device, digital twin operation method, program and data structure

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MARC LIND: "Exploring the Digital Twin… Some More - English Blog -", ARAS COMMUNITY, 30 June 2017 (2017-06-30), XP093041591, Retrieved from the Internet <URL:https://community.aras.com/b/english/posts/exploring-the-digital-twin-some-more> [retrieved on 20230424] *

Also Published As

Publication number Publication date
JPWO2023032226A1 (en) 2023-03-09

Similar Documents

Publication Publication Date Title
US9804827B2 (en) Information processing system and management apparatus
US8108059B2 (en) Method of determining range of change in design, design change range determining apparatus, and design change range determining system
WO2015126409A1 (en) Migrating cloud resources
US20080288266A1 (en) System and method for service offering for feedback controller design and implementation for performance management in information technology systems
JP6760739B2 (en) Information processing equipment, information processing methods and programs
WO2015196405A1 (en) Optimized browser rendering process
US8788248B2 (en) Transparent flow model simulation implementing bi-directional links
Jiang et al. What makes a great mobile app? A quantitative study using a new mobile crawler
CN113752264A (en) Mechanical arm intelligent equipment control method and system based on digital twins
CN115018959A (en) Drive processing method, device, equipment and storage medium for three-dimensional virtual model
CN113632147A (en) Product design, configuration and decision system using machine learning
WO2023032226A1 (en) Function adding device, function adding method, and function adding program
Leonard et al. Visualization workflows for level-12 HUC scales: Towards an expert system for watershed analysis in a distributed computing environment
CN112685026A (en) Multi-language-based visual modeling platform and method
CN112698827A (en) Distributed visual modeling platform and method
Mahmoudi et al. Real time web-based toolbox for computer vision
Padhy et al. An Architecture for Automatic Deployment of Brown Dog Services at Scale into Diverse Computing Infrastructures
CN114092641A (en) Method, device and equipment for generating wiring board drawing and readable storage medium
WO2023105784A1 (en) Generation device, generation method, and generation program
Barequet et al. GeomNet: Geometric computing over the Internet
WO2021154251A1 (en) Automatic simplification of a rigid-body simulation
CN114358158B (en) Model training method, device, equipment and storage medium
CN116485958B (en) Method and device for repairing action file and electronic equipment
CN114995942A (en) Automatic generation method of style of commercial intelligent instrument panel assembly and related device
Lee et al. A study on parametric shape modifications of 3D skeletal models

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21956108

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023545000

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE