WO2017168898A1 - 情報処理装置 - Google Patents

情報処理装置 Download PDF

Info

Publication number
WO2017168898A1
WO2017168898A1 PCT/JP2016/088889 JP2016088889W WO2017168898A1 WO 2017168898 A1 WO2017168898 A1 WO 2017168898A1 JP 2016088889 W JP2016088889 W JP 2016088889W WO 2017168898 A1 WO2017168898 A1 WO 2017168898A1
Authority
WO
WIPO (PCT)
Prior art keywords
parameter
information processing
processing apparatus
image
control unit
Prior art date
Application number
PCT/JP2016/088889
Other languages
English (en)
French (fr)
Inventor
章 中村
拓也 成平
拓也 藤田
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201680029428.6A priority Critical patent/CN107615310A/zh
Priority to US15/566,327 priority patent/US10430707B2/en
Priority to EP16897113.3A priority patent/EP3438892A4/en
Publication of WO2017168898A1 publication Critical patent/WO2017168898A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V20/00—Geomodelling in general
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/10—Numerical modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Definitions

  • This disclosure relates to an information processing apparatus.
  • Non-Patent Document 1 describes a control learning result of a game using a simulator.
  • Non-Patent Document 1 it is difficult to cause a neural network to perform learning corresponding to various changes that occur in the real world.
  • the present disclosure proposes an information processing apparatus that can further improve the generalization performance of a neural network.
  • a control unit that controls display related to setting of parameters related to a physical simulation, image information obtained in the physical simulation, and the parameters associated with the image information are transmitted to a machine learning unit,
  • a communication unit that receives a determination result based on image information from the machine learning unit, and the control unit provides an information processing apparatus that displays the determination result and the parameter in association with each other on a display unit.
  • a control unit that controls display related to setting of parameters related to physical simulation, and communication that transmits the parameters to the physical simulator and receives image information obtained in the physical simulation from the physical simulator.
  • a machine learning unit that performs machine learning based on the image information, and the control unit associates a learning result by the machine learning unit with the parameter and causes the display unit to display the information processing apparatus.
  • the generalization performance of the neural network can be further improved.
  • the above effects are not necessarily limited, and any of the effects shown in the present specification, or other effects that can be grasped from the present specification, together with or in place of the above effects. May be played.
  • 2 is a system configuration example according to the first embodiment of the present disclosure. It is a functional block diagram of the information processing apparatus according to the embodiment. It is an example of composition of a user interface concerning the embodiment. It is an example of a display of the original image display area concerning the embodiment. It is a display example of a parameter setting area according to the embodiment. 4 is a display example of a physical simulation image display area according to the embodiment. 4 is a display example of a generated image display area according to the embodiment. It is a display example of the determination result display area according to the embodiment.
  • a neural network is a model that imitates the human cranial nerve circuit, and is a technique for realizing the learning ability of a human on a computer. As described above, one of the features of the neural network is that it has learning ability.
  • an artificial neuron node
  • an artificial neuron node
  • the neural network can automatically infer a solution rule for a problem by repeating learning.
  • Examples of learning using a neural network include image recognition and voice recognition.
  • the neural network for example, an object included in an input image can be recognized by repeatedly learning an input image pattern.
  • the learning ability of the neural network as described above is attracting attention as a key for promoting the development of artificial intelligence.
  • the learning ability of the neural network is expected to be applied in various industrial fields.
  • Generalization performance for neural networks >> Here, the generalization performance related to the neural network will be described.
  • the generalization performance related to the neural network may be understood as the ability to cope with more situations. That is, the generalization performance can be said to be an index indicating the flexibility of the neural network with respect to input data.
  • the above generalization performance has a very important meaning for various devices to which a neural network is applied.
  • high generalization performance is required for an automatic driving AI that performs driving control of an automobile.
  • the automatic operation AI may be, for example, a learning device that has acquired an operation control function by deep learning using a multilayered neural network.
  • the automatic driving AI can perform driving control of the vehicle according to the surrounding environment based on the environment recognition ability and driving control ability acquired by learning. For example, the automatic driving AI recognizes other automobiles and pedestrians based on observation information observed from sensors, and performs steering wheel control and brake control to avoid the automobiles and pedestrians. At this time, the generalization performance of the automatic operation AI is an important key.
  • perturbation there is, for example, a method called perturbation in the above-described method.
  • patterning a plurality of different images can be generated by changing the scale, rotation angle, brightness, and contrast of the original image.
  • pattern generation generates a large number of images that cannot be observed in the real world environment, it is difficult to say that machine learning using such images is efficient.
  • different images can be generated by changing the aspect ratio of an image, but such a phenomenon is not observed in real-world materials. For this reason, in order to improve the generalization performance, there is a demand for a technique for generating an image that more closely matches the real world environment.
  • image generation using patterning and the like and control related to machine learning are performed via different independent user interfaces. For this reason, operation etc. which input the produced
  • the information processing apparatus was conceived by focusing on the image generation method and the learning method as described above, and is more effective by generating an image according to the real world environment. It realizes machine learning. For this reason, the information processing apparatus according to the present disclosure can generate an image using a physical simulator. Furthermore, the information processing apparatus according to the present disclosure realizes more efficient machine learning by providing information related to the above-described physical simulation and machine learning using a single user interface.
  • the information processing apparatus according to the present disclosure can perform image generation using a physical simulator.
  • the above-described physics simulator may be a simulator provided with a physics engine that simulates the laws of mechanics.
  • the physical simulator can reproduce various environments that can be observed in the real world based on the set parameters.
  • the above parameters may include parameters relating to the viewpoint, lighting conditions, background, time, weather conditions, and the like.
  • the physical simulator can perform various physical simulations based on, for example, parameters related to the movement of the sun, the intensity of rain and wind, the angle of the viewpoint, and the like. That is, the information processing apparatus according to the present disclosure can obtain an image closer to the real-world environment by realizing image generation using a physical simulator.
  • FIG. 1 is a conceptual diagram showing an outline of machine learning realized by the information processing apparatus according to the present disclosure.
  • the information processing apparatus according to the present embodiment can obtain a plurality of generated images GI from an original original image OR.
  • the original image OR may be a two-dimensional image acquired by various methods.
  • the information processing apparatus according to the present disclosure can acquire a plurality of generated images GI by performing a physical simulation using a three-dimensional model generated from the original image OR.
  • the information processing apparatus can cause the learning device I1 to learn a plurality of generated images GI and acquire the learning result.
  • the information processing apparatus according to the present disclosure can control the above-described processing related to image generation and learning with a single user interface.
  • FIG. 2 is a conceptual diagram illustrating a functional configuration of the information processing apparatus according to the present disclosure.
  • the information processing apparatus according to the present disclosure includes an interface control function F1, a machine learning function F2, a physical simulator function F3, and a 3D model generation function F4.
  • the interface control function F1 may be a function for performing control related to the user interface provided by the information processing apparatus. Specifically, the interface control function F1 can provide the user with a user interface that controls input / output between the machine learning function F2, the physical simulator function F3, and the three-dimensional model generation function F4.
  • the machine learning function F2 may be a function for performing machine learning on input information. For example, the machine learning function F2 may identify the image information input from the interface control function F1, and return the identification result to the interface control function F1.
  • the physics simulator function F3 may be a function for executing a physics simulation based on input information.
  • the physical simulator function F3 may execute a physical simulation based on the three-dimensional model and parameters input from the interface control function F1, and return image information related to the physical simulation to the interface control function F1.
  • the 3D model generation function F4 may be a function of generating a 3D model from the input 2D image.
  • the three-dimensional model generation function F4 may generate a three-dimensional model from the two-dimensional image input from the interface control function F1, and return information related to the three-dimensional model to the interface control function F1.
  • the information processing apparatus according to the present disclosure may be an apparatus having the functions listed above.
  • the functional configuration of the information processing apparatus can be appropriately designed depending on the operating conditions.
  • the information processing apparatus according to the present disclosure may include an interface control function F1 and a physical simulator function F3.
  • the information processing apparatus described above can improve generalization performance related to machine learning by communicating with another apparatus having the machine learning function F2 and the three-dimensional model generation function F4.
  • the system according to the first embodiment includes an information processing device 10, a machine learning device 20, and a model generation device 30.
  • the information processing apparatus 10, the machine learning apparatus 20, and the model generation apparatus 30 are connected via a network 40 so that they can communicate with each other.
  • the information processing apparatus 10 may be an apparatus having the interface control function F1 and the physical simulator function F3 described above. That is, the information processing apparatus 10 according to the present embodiment may be a physical simulator having a function of providing a user interface for performing image generation and learning control related to machine learning.
  • the machine learning device 20 may be a device that performs machine learning based on information received from the information processing device 10. Specifically, the machine learning device 20 can perform identification learning related to the image information based on the image information received from the information processing device 10. In addition, the machine learning device 20 has a function of transmitting an identification result for image information received from the information processing device 10 to the information processing device 10.
  • the machine learning device 20 may perform the above learning by deep learning, for example, or may perform learning by reinforcement learning. Further, for example, the machine learning device 20 can also perform learning that combines deep learning and Q-learning (Q-learning: Q learning).
  • the model generation device 30 may have a function of generating a three-dimensional model based on the two-dimensional image information received from the information processing device 10.
  • the model generation apparatus 30 can generate a three-dimensional model using a technique such as SLAM (Simultaneous Localization and Mapping), for example.
  • SLAM Simultaneous Localization and Mapping
  • the model generation device 30 may generate a three-dimensional model by a method other than SLAM. In this case, the model generation apparatus 30 may generate a three-dimensional model using a widely used three-dimensional modeling technique.
  • the model generation device 30 has a function of transmitting information about the generated three-dimensional model to the information processing device 10.
  • the network 40 has a function of connecting the information processing apparatus 10, the machine learning apparatus 20, and the model generation apparatus 30 to each other.
  • the network 40 may include a public line network such as the Internet, a telephone line network, a satellite communication network, various types of LANs (Local Area Network) including Ethernet (registered trademark), WAN (Wide Area Network), and the like.
  • the network 40 may also include a dedicated line network such as an IP-VPN (Internet Protocol-Virtual Private Network).
  • the information processing apparatus 10 according to the present embodiment may be an apparatus having the interface control function F1 and the physical simulation function F3. That is, the information processing apparatus 10 according to the present embodiment has a function of controlling input / output with the machine learning apparatus 20 and the model generation apparatus 30 and providing a user interface for performing image generation and learning control related to machine learning. Have. Further, the information processing apparatus 10 according to the present embodiment has a physical simulation function for generating an image related to machine learning.
  • FIG. 4 is a functional block diagram of the information processing apparatus 10 according to the present embodiment.
  • the information processing apparatus 10 includes a control unit 110, a simulator unit 120, a model acquisition unit 130, and a communication unit 140.
  • Control unit 110 has a function of controlling display related to parameter settings related to physical simulation. Further, the control unit 110 has a function of displaying the determination result acquired from the machine learning device 20 on a connected display unit (not shown) in association with the above-described parameter.
  • the determination result may be an identification result for the input image information.
  • control unit 110 may have a function of dynamically setting the above parameters. Specifically, the control unit 110 can set a parameter range that specifies a parameter value range, division information related to the parameter range, and the like. Details of the parameter setting function of the control unit 110 will be described later.
  • control unit 110 may have a function of recognizing a user operation and performing a process according to the user operation.
  • the user operations described above may include, for example, operations related to parameter setting and changing, original image selection, learning start and interruption, and the like.
  • the control unit 110 may acquire information related to a user operation from a connected input device (not shown), and perform processing according to the user operation.
  • the simulator unit 120 has a function of performing a physical simulation based on the laws of mechanics. Specifically, the simulator unit 120 can execute a physical simulation based on parameters set by the control unit 110 and a three-dimensional model acquired by a model acquisition unit 130 described later.
  • the simulator unit 120 has a function of acquiring a two-dimensional image from the three-dimensional image related to the physical simulation. At this time, the simulator unit 120 may acquire a two-dimensional image based on parameters set by the control unit 110.
  • the two-dimensional image may be a two-dimensional CG image. Details of the two-dimensional image acquisition function of the simulator unit 120 will be described later.
  • the model acquisition unit 130 has a function of acquiring a three-dimensional model generated from a two-dimensional image. That is, the model acquisition unit 130 may have a function of causing the model generation device 30 to generate a three-dimensional model based on the information of the original image delivered from the control unit 110 and acquiring the generated three-dimensional model. In particular, when the model generation device 30 generates a three-dimensional model by SLAM, the model acquisition unit 130 can acquire the three-dimensional model generated by SLAM.
  • model acquisition unit 130 can deliver the acquired three-dimensional model to the simulator unit 120.
  • model acquisition unit 130 may acquire a three-dimensional model directly from the model generation device 30 or may acquire a three-dimensional model via a communication unit 140 described later.
  • the communication unit 140 has a function of performing communication between the machine learning device 20 and the model generation device 30.
  • the communication unit 140 can transmit image information associated with parameters obtained in the physical simulation to the machine learning device 20.
  • the communication unit 140 can receive a determination result based on the image information from the machine learning device 20.
  • the communication unit 140 may receive a plurality of determination results executed by a plurality of neural works having different network structures from the machine learning device 20.
  • the control unit 110 can display the plurality of determination results on the display unit in association with the parameters.
  • the communication unit 140 may further transmit a reward related to the image information to the machine learning device 20.
  • the machine learning device 20 can perform reinforcement learning using the received reward.
  • the information processing apparatus 10 has a function of providing a user interface for performing image generation and learning control related to machine learning.
  • the user can cause the machine learning device 20 to perform image generation related to machine learning and machine learning using the image by operating the user interface.
  • the user can confirm the determination result by the machine learning device 20 with the same user interface, the user can work efficiently.
  • the information processing apparatus 10 can dynamically set parameters related to physical simulation. For example, the information processing apparatus 10 may first perform a physical simulation at a wide parameter interval and allow the machine learning apparatus 20 to identify the generated image obtained. At this time, the information processing apparatus 10 can estimate a parameter range that is difficult for the machine learning apparatus 20 to identify by receiving the identification result from the machine learning apparatus 20.
  • the information processing apparatus 10 may perform a physical simulation at a finer parameter interval around the parameter value associated with the erroneously determined image, and further generate an image.
  • the information processing apparatus 10 can search for the parameter value boundaries that are difficult to be identified by the machine learning apparatus 20 in more detail by setting a new parameter based on the identification result.
  • the information processing apparatus 10 generates a large amount of learning images related to parameter ranges that are difficult for the machine learning apparatus 20 to identify by generating an image in the vicinity of the parameter value associated with the erroneously determined image. Is possible. That is, according to the information processing apparatus 10 according to the present embodiment, it is possible to realize effective learning according to the current identification ability of the machine learning apparatus 20.
  • FIG. 5 is a configuration example of a user interface according to the present embodiment.
  • the user interface UI1 includes an original image display area R1, a parameter setting area R2, a physical simulation image display area R3, a generated image display area R4, and a determination result display area R5.
  • an original image display area R1 a parameter setting area R2
  • a physical simulation image display area R3 a generated image display area R4
  • the original image display area R1 is an area for the user to select an original image.
  • the original image display region R1 may be a region for designating a two-dimensional image (original image) that is the basis of the three-dimensional model generated by the model generation device 30.
  • FIG. 6 is a display example of the original image display area R1.
  • a plurality of original images OR1 to OR3 are displayed in the original image display area R1 according to the present embodiment.
  • the user can designate a two-dimensional image used for three-dimensional modeling by selecting an arbitrary original image in the original image display region R1.
  • the two-dimensional image displayed in the original image display area R1 may be a two-dimensional image captured by the user in advance, or collected by the information processing apparatus 10 from various devices connected via the network 40. It may be a two-dimensional image.
  • the information processing apparatus 10 may collect image information captured by an in-vehicle device mounted on an automobile and display the image information in the original image display region R1.
  • the user may be able to designate a plurality of original images in the original image display area R1.
  • the model generation device 30 When the model generation device 30 generates a three-dimensional model using a technology such as SLAM, a plurality of original images as the original are obtained. For this reason, the user may be able to specify an original image according to the three-dimensional modeling method of the model generation device 30.
  • various messages in accordance with the three-dimensional modeling method of the model generation device 30 may be displayed in the original image display area R1.
  • the message may be, for example, a content such as “Please specify a plurality of images taken continuously”.
  • the user can specify an appropriate original image in accordance with the above message.
  • the parameter setting area R2 is an area for setting various parameters related to the physical simulation.
  • the parameter setting area R2 may include a parameter range and a unit for designating division information related to the parameter range.
  • FIG. 7 shows a display example of the parameter setting area R2 according to the present embodiment.
  • setting items related to a plurality of parameters P1 to P3 are displayed in the parameter setting area R2.
  • the parameter P1 may be a parameter related to the sun position.
  • the parameter P2 may be a parameter related to the amount of clouds.
  • the parameter P3 may be a parameter related to the reflectance of sunlight on the road surface.
  • setting items related to the three parameters P1 to P3 are shown, but setting items related to four or more parameters may be displayed in the parameter setting region R2.
  • the user may be able to switch parameters to be displayed by button operation or the like.
  • the parameter setting area R2 In the parameter setting area R2, setting items related to the parameters P1 to P3 are displayed.
  • the setting item may include a parameter range.
  • the parameter setting area R2 displays an item Pmin1 for setting the minimum value related to the parameter P1, and an item Pmax1 for setting the maximum value related to the parameter P1.
  • the control unit 110 can also display the parameter range using an indicator related to the parameter value.
  • the parameter value related to the parameter P1 is visually indicated by Bar1, and a button Bmin1 corresponding to the item Pmin1 and a button Bmax1 corresponding to the item Pmax1 are displayed on Bar1.
  • the user can change the parameter range related to the parameter P1 by operating the buttons Bmin1 and Bmax1.
  • the above setting item may include division information related to the parameter range.
  • the division information may be the number of divisions for dividing the parameter range.
  • an item Pdiv1 for designating the number of divisions related to the parameter P1 is displayed.
  • the simulator unit 120 according to the present embodiment can obtain a plurality of generated images based on the parameter range and the number of divisions.
  • control unit 110 can automatically set a parameter related to the first physical simulation (hereinafter also referred to as an initial parameter). As described above, the control unit 110 according to the present embodiment can set a new parameter based on the identification result of the machine learning device 20. At this time, the control unit 110 may first set a wide parameter range as an initial parameter and obtain an identification result from the machine learning device 20. Subsequently, the control unit 110 may set the parameter range narrower than the initial parameter based on the identification result to generate an image. This makes it possible to obtain a generated image related to a parameter value that is difficult to recognize by the machine learning device 20.
  • an initial parameter a parameter related to the first physical simulation
  • the control unit 110 can automatically set the initial parameter based on, for example, a default value determined for each parameter or a learning result performed in the past. Further, the automatic setting of the initial parameter by the control unit 110 may be designed so that necessity of execution can be switched by user setting. The user may be able to set the initial parameters as described above. Note that even when the control unit 110 automatically sets initial parameters, the user may be able to change the value of each setting. Thereby, more flexible parameter setting corresponding to the user's judgment becomes possible.
  • the physical simulation image display area R3 is an area for displaying the status of the physical simulation performed by the simulator unit 120. That is, the physical simulation process based on the three-dimensional model generated from the original image and the set parameters may be displayed in real time in the physical simulation image display region R3.
  • FIG. 8 is a display example of the physical simulation image display area R3 according to the present embodiment.
  • the simulator unit 120 can execute a physical simulation based on the three-dimensional model generated from the original image and the set parameters.
  • the above three-dimensional model may be a three-dimensional model generated by the model generation device 30 based on the two-dimensional image designated in the original image display region R1.
  • the parameter may be a parameter set by the control unit 110 or the user in the parameter setting region R2.
  • the simulator unit 120 can generate a two-dimensional CG image based on the set parameters in the above physical simulation. More specifically, the simulator unit 120 may generate the two-dimensional CG image based on the parameter range and the number of divisions set in the parameter setting region R2. For example, when numerical values 1 to 100 are set for the parameter range and 10 is set for the division number, the simulator unit 120 may generate a two-dimensional CG image with a multiple of 10 for the parameter value.
  • the generated image display area R4 is an area for displaying a generated image obtained in the physical simulation by the simulator unit 120.
  • the generated image may be a two-dimensional CG image acquired based on parameter settings.
  • FIG. 9 is a display example of the generated image display area R4 according to the present embodiment.
  • generated images GI1 to GI3 obtained by physical simulation are displayed in the generated image display region R4.
  • the generated image display area R4 may be updated in real time according to the execution state of the physical simulation. That is, the generated images obtained in the physical simulation execution process may be sequentially added to the generated image display region R4.
  • the generated images GI1 to GI3 may be images obtained from a physical simulation executed based on the setting of the parameter P1 shown in FIG. Referring to FIG. 9, it can be seen that the positions of the sun are different in the generated images GI1 to GI3.
  • the information processing apparatus 10 it is possible to efficiently generate an image conforming to a real-world environment change and provide it to the machine learning apparatus 20.
  • the determination result display area R5 is an area for displaying the determination result of the machine learning device 20 for the generated image. That is, in the determination result display area R5, an identification result indicating whether or not the machine learning device 20 has identified the generated image may be displayed.
  • FIG. 10 is a display example of the determination result display area R5 according to the present embodiment.
  • the identification result by the machine learning device 20 is displayed in association with the parameter value.
  • the control unit 110 can cause the display unit to display the identification result of the generated image and the parameter value related to the generated image in association with each other. More specifically, the control unit 110 may display the parameter range and the number of divisions set as initial parameters in association with the determination result.
  • the identification result RR1 includes an identification result for each generated image obtained based on the parameter range and the number of divisions set as initial parameters. That is, in the identification result RR1, the region indicated by each frame line may be the identification result of the generated image.
  • the area related to the generated image for which the machine learning device 20 has made an erroneous determination is indicated by hatching with hatching.
  • the control unit 110 displays the generated image identification result and the parameter related to the generated image in a visually associated manner, so that the user can intuitively find a parameter that is difficult to identify by the machine learning device 20.
  • the range can be perceived.
  • said identification result may be shown by color classification, such as red and blue.
  • the above identification result may be indicated by a numerical value or a character.
  • the control unit 110 may display the identification result using text information such as “correct” and “incorrect”, “1” and “0”, for example.
  • control unit 110 can set a new parameter based on the identification result. At this time, the control unit 110 may display the determination result in the determination result display area R5 in association with the new parameter.
  • the control unit 110 may set a new parameter range based on an identification result indicating an erroneous determination. At this time, the control unit 110 can set a new parameter range so as to include a parameter value associated with an identification result indicating an erroneous determination. In this case, the control unit 110 may set a new parameter range that is narrower than the parameter range associated with the identification result RR1. That is, the control unit 110 according to the present embodiment sets a new parameter range in the vicinity of the parameter value associated with the erroneous determination result, so that the boundary of the parameter value that is difficult to identify by the machine learning device 20 is more detailed. To explore.
  • control unit 110 can generate a large amount of learning images related to the parameter range that is difficult for the machine learning device 20 to identify by setting a new parameter range and generating an image as described above. is there. At this time, the control unit 110 can adjust the number of generated images to be obtained by setting a larger number of divisions.
  • control unit 110 may control the display so that the identification result relating to the set new parameter range and the identification result indicating erroneous determination are expanded.
  • the identification result relating to the new parameter range including the identification result indicating the erroneous determination is highlighted as the enlargement result ER1.
  • control unit 110 can also display the determination result and the generated image in association with each other.
  • the control unit 110 controls the display of the generated images GI6 to GI10 associated with the enlargement result ER1.
  • the control unit 110 may control the display of the generated image associated with the identification result RR1.
  • the display of the generated image may be set so as to be switched by a user operation.
  • the enlargement display control of the identification result and the display control of the generated image by the control unit 110 can be appropriately designed.
  • control unit 110 sets a new parameter range based on the identification result indicating the erroneous determination has been described above.
  • the control unit 110 according to the present embodiment may set a new parameter range that does not include the parameter range associated with the identification result. That is, the control unit 110 can investigate the identification capability of the machine learning device 20 in a wider range by newly setting a parameter range that has not been used for identification.
  • FIG. 11 is a display example when the control unit 110 sets a new parameter range that does not include the parameter range associated with the identification result. Referring to FIG. 11, it can be seen that control unit 110 has set a new parameter range that does not include the parameter range associated with identification result RR2.
  • the identification result RR2 does not include an identification result indicating an erroneous determination.
  • the control unit 110 may newly set a parameter range that has not yet been used for identification based on the fact that the identification result RR2 does not include an identification result indicating erroneous determination. . Thereby, it becomes possible to investigate the identification capability of the machine learning device 20 more efficiently.
  • control unit 110 can compare and display a plurality of determination results determined by a plurality of neural networks having different network structures.
  • FIG. 12 is a display example when the control unit 110 compares and displays the plurality of determination results.
  • the identification results RR3 and RR4 are displayed in the determination result display region R5, unlike the examples shown in FIGS.
  • the identification results RR3 and RR4 may indicate identification results by different neural networks.
  • the control unit 110 can compare and display the identification results using a plurality of neural networks.
  • the communication unit 140 may acquire the plurality of identification results from the single machine learning device 20 or may acquire the plurality of identification results from the plurality of machine learning devices 20.
  • the user can determine a difference in identification ability related to a plurality of neural networks, and can take various measures.
  • control unit 110 may individually set new parameters based on the respective identification results, or may statistically process a plurality of identification results and newly set common parameters.
  • the communication unit 140 can transmit the generated image obtained based on the set new parameter to the single or plural machine learning devices 20.
  • the information processing apparatus 10 can cause the model generation apparatus 30 to generate a three-dimensional model based on the designated original image. Further, the information processing apparatus 10 can execute a physical simulation based on the above parameters and the set parameters, and obtain a plurality of generated images. Further, the information processing apparatus 10 can transmit the obtained plurality of generated images to the machine learning apparatus 20 and display the received identification result.
  • the above processing can be controlled by the same user interface, and the work efficiency can be greatly improved. Further, the information processing apparatus 10 according to the present embodiment can set a new parameter based on the acquired identification result. In other words, according to the information processing apparatus 10 according to the present embodiment, it is possible to automatically generate an image related to a parameter value that is difficult to identify and allow the machine learning apparatus 20 to learn.
  • the information processing apparatus 10 may set a new parameter focusing on a plurality of parameters. Since parameters related to the physical simulation include closely related parameters, the information processing apparatus 10 performs various learning for the machine learning device 20 by performing new settings related to the closely related parameters. It can also be made.
  • the closely related parameters may be, for example, the reflectance on the road surface and the intensity of rain or sunlight.
  • the information processing apparatus 10 can simultaneously generate a training image and a validation image by setting a plurality of parameters at the same time.
  • the information processing apparatus 10 may generate the validation image by appropriately adjusting the value of a parameter different from the parameter used for generating the training image.
  • the functions as described above can be changed as appropriate according to user settings.
  • the information processing apparatus 10 may perform a physical simulation using a three-dimensional model generated by SLAM.
  • the information processing apparatus 10 according to the present embodiment can acquire a three-dimensional model related to the plurality of two-dimensional images by transmitting a plurality of continuously captured two-dimensional images to the model generation apparatus 30.
  • the SLAM may be understood as a technique for generating a three-dimensional model from a plurality of images continuously captured by the same camera.
  • the model generation device 30 extracts feature points from the plurality of images.
  • the model generation apparatus 30 may detect feature points using, for example, SIFT (Scale Invariant Feature Transform) or SURF (Speeded Up Robust Features).
  • SIFT Scale Invariant Feature Transform
  • SURF Speeded Up Robust Features
  • the model generation device 30 may use a Harris corner detection method or the like.
  • the model generation apparatus 30 may perform matching corresponding to the technique used for feature point detection. For example, when SIFT or SURF is used for feature point detection, the model generation apparatus 30 may perform the above-described matching based on a feature amount vector related to the detected feature point.
  • the model generation device 30 calculates the three-dimensional coordinates of the feature points based on the matching result, and calculates camera parameters corresponding to each image from the three-dimensional coordinates of the feature points.
  • the camera parameter may be a vector of degrees of freedom of the camera. That is, the camera parameters according to the present embodiment may be the camera position coordinates (X, Y, Z) and the rotation angles ( ⁇ x, ⁇ y, ⁇ z) of the respective coordinate axes.
  • model generation device 30 may minimize the projection error based on the camera parameter calculated above. Specifically, the model generation device 30 can perform statistical processing that minimizes the position distribution of each camera parameter and each feature point.
  • the outline of the SLAM according to the present embodiment has been described above.
  • the model generation apparatus 30 according to the present embodiment can generate a three-dimensional model based on the three-dimensional coordinates of feature points acquired through the above processing.
  • the information processing apparatus 10 can further set 3D model parameters related to 3D modeling by the model generation apparatus 30.
  • the three-dimensional model parameter may be a parameter related to the SLAM described above.
  • the three-dimensional model parameters may include the number of feature points to be extracted, a matching threshold value of feature points, a range of feature points used for camera parameter calculation, and the like.
  • the information processing apparatus 10 can cause the model generation apparatus 30 to generate a three-dimensional model based on the above-described setting of the three-dimensional model parameter, and acquire the three-dimensional model.
  • the information processing apparatus 10 may include a setting area related to the 3D model parameter in the user interface.
  • FIG. 13 is a display example related to the three-dimensional model parameter setting region R6 according to the present embodiment.
  • the item Pum1, the item Pthr1, and the item Pran1 are displayed in the three-dimensional model parameter setting region R6.
  • Bar3 to Bar5 and buttons B3 to B5 for operating the value of the setting item may be displayed in each setting item.
  • the item Pum1 may be a setting item for designating the number of feature points to be extracted.
  • the model generation device 30 may extract feature points from the image based on the value set in the item Pum1.
  • the item Pthr1 may be a setting item for setting a threshold value for feature point matching when matching between images.
  • the model generation device 30 may perform feature point matching based on the value set in the item Pthr1.
  • the item Pran1 may be an item for setting a range of feature points used for calculating camera parameters.
  • the model generation device 30 may calculate the camera parameter based on the value set in the item Pran1.
  • the generation of a three-dimensional model by SLAM according to the present embodiment has been described above.
  • the information processing apparatus 10 according to the present embodiment can obtain a generated image closer to the real world by executing a physical simulation using the three-dimensional model generated by the above method.
  • FIG. 14 is a flowchart showing a flow of control by the information processing apparatus 10.
  • the control unit 110 acquires information related to the original image specified by the user (S1101). At this time, the user may be able to designate a plurality of original images in order to realize the three-dimensional model generation by SLAM.
  • control unit 110 sets parameters related to the physical simulation (S1102). At this time, the user may be able to change the parameters set by the control unit 110.
  • the model acquisition unit 130 acquires a 3D model based on the original image specified in step S1101 and the 3D model parameters set in step S1102 (S1103).
  • the simulator unit 120 executes a physical simulation based on the parameters set in step S1102 and the three-dimensional model acquired in step S1103 (S1104).
  • the simulator unit 120 acquires a generated image based on the parameters set in step S1102 (S1105).
  • the generated image may be a two-dimensional CG image acquired based on a physical simulation. Note that steps S1104 and S1105 may be executed in parallel.
  • the communication unit 140 transmits the generated image acquired in step S1105 to the machine learning device 20 (S1107).
  • the communication unit 140 may transmit the reward related to the generated image to the machine learning device 20.
  • the machine learning device 20 can perform reinforcement learning based on the received reward.
  • the communication unit 140 receives the identification result of the machine learning device 20 for the generated image transmitted in step S1107 (S1108).
  • control unit 110 displays the identification result received in step S1108 in association with the parameter set in S1102 (S1109).
  • control unit 110 sets a new parameter based on the identification result acquired in step S1107. At this time, the user may be able to change the parameters set by the control unit 110.
  • control unit 110 determines whether or not to end the process (S1110). At this time, the control unit 110 may determine the end based on an operation by the user.
  • the information processing apparatus 10 may end a series of processes and shift to a standby state.
  • the process is not ended (S1110: No)
  • the information processing apparatus 10 may repeatedly execute the processes of steps S1104 to S1110.
  • the flow of control by the information processing apparatus 10 according to the present embodiment has been described above.
  • the information processing apparatus according to the present embodiment may automatically repeat steps S1104 to S1110 after specifying an original image. Good.
  • the information processing apparatus 10 according to the present embodiment can cause the machine learning apparatus 20 to perform continuous learning by repeating the above processing. That is, the information processing apparatus 10 according to the present embodiment can continuously improve the generalization performance of the machine learning device 20 by repeating image generation based on the identification result.
  • the machine learning device 20 may have the interface control function F1.
  • the information processing apparatus 10 may be a physical simulator having a physical simulator function F3. That is, in the second embodiment according to the present disclosure, the machine learning device 20 can control a user interface and acquire a generated image obtained by a physical simulation by the information processing device 10.
  • the system according to the present embodiment may include the machine learning device 20, the information processing device 10, and the model generation device 30. Further, the above devices are connected via a network 40 so that they can communicate with each other.
  • the machine learning device 20 may be an information processing device having the interface control function F1 and the machine learning function F2. That is, the machine learning device 20 according to the present embodiment may be a learning device having a function of providing a user interface for performing image generation and learning control related to machine learning.
  • the information processing apparatus 10 may be a physical simulator having a physical simulator function F3.
  • the information processing apparatus 10 according to the present embodiment has a function of performing a physical simulation based on parameters received from the machine learning apparatus 20 and transmitting a generated image obtained by the physical simulation to the machine learning apparatus 20.
  • model generation device 30 according to the present embodiment may have the same function as the model generation device 30 according to the first embodiment, and thus description thereof is omitted.
  • FIG. 15 is a functional block diagram of the machine learning device 20 according to the present embodiment.
  • the machine learning device 20 according to the present embodiment includes a control unit 210, a machine learning unit 220, a model acquisition unit 230, and a communication unit 240.
  • the control unit 210 controls the machine learning device 20 according to the present embodiment.
  • the machine learning device 20 according to the present embodiment includes a control unit 210, a machine learning unit 220, a model acquisition unit 230, and a communication unit 240.
  • differences from the first embodiment will be mainly described, and description of overlapping functions will be omitted.
  • the control unit 210 has a function of controlling display related to parameter settings related to physical simulation.
  • the control unit 210 has a function of associating the learning result of the machine learning unit 220 with respect to the generated image acquired from the information processing apparatus 10 and the above-described parameter, and displaying them on a connected display unit (not shown).
  • the machine learning unit 220 has a function of performing machine learning based on a generated image obtained in a physical simulation by the information processing apparatus 10.
  • the communication unit 240 has a function of performing communication between the information processing apparatus 10 and the model generation apparatus 30. For example, the communication unit 240 can transmit the parameters set by the control unit 210 to the information processing apparatus 10. Further, the communication unit 240 can receive the generated image obtained in the physical simulation from the information processing apparatus 10.
  • model acquisition unit 230 may have a function equivalent to that of the model acquisition unit 130 according to the first embodiment, and a description thereof will be omitted.
  • the control unit 210 of the machine learning device 20 can display the parameter relating to the generated image and the learning result of the machine learning unit 220 for the generated image in association with each other.
  • FIG. 16 is a display example of the learning result display area R7 according to the present embodiment. Referring to FIG. 16, in the learning result display area R7, the generated images GI11 to 13, the parameter values associated with each of the generated images GI11 to 13, and the learning result of the machine learning unit 220 for the generated images GI11 to 13 are displayed. It is displayed.
  • the learning result is displayed by “0” or “1”, but the control unit 210 displays, for example, an image reconstructed by the machine learning unit 220 based on the generated image. You may display on area
  • the learning result display area R7 is not limited to the example shown in FIG. 17, and various learning results may be displayed.
  • the control unit 210 can compare and display learning results from a plurality of neural networks having different network structures.
  • the control unit 210 can display the parameter associated with the generated image and the training result and the validation result for the generated image in association with each other.
  • control unit 210 may display the learning progress by the machine learning unit 220 in association with the parameter value. At this time, the control unit 210 can also indicate a learning error, a training error, or the like with respect to a predetermined parameter value by a learning curve.
  • the control unit 210 can display the parameter value related to the generated image and the learning result for the generated image in association with each other.
  • the user can perceive a parameter region that is difficult to be recognized by the machine learning unit 220 by checking the learning result display region R7.
  • the user may check the learning result of the machine learning unit 220 and perform various control related to machine learning.
  • the user can change the network structure related to the machine learning unit 220 on the same user interface. According to the machine learning device 20 according to the present embodiment, it is possible to greatly improve the user's work efficiency related to machine learning control.
  • FIG. 17 is a block diagram illustrating a hardware configuration example of the information processing apparatus 10, the machine learning apparatus 20, and the model generation apparatus 30 according to the present disclosure.
  • the information processing apparatus 10, the machine learning apparatus 20, and the model generation apparatus 30 include, for example, a CPU 871, a ROM 872, a RAM 873, a host bus 874, a bridge 875, an external bus 876, and an interface 877.
  • the hardware configuration shown here is an example, and some of the components may be omitted. Moreover, you may further include components other than the component shown here.
  • the CPU 871 functions as, for example, an arithmetic processing unit or a control unit, and controls the overall operation or a part of each component based on various programs recorded in the ROM 872, RAM 873, storage 880, or removable recording medium 901.
  • the ROM 872 is a means for storing programs read by the CPU 871, data used for calculations, and the like.
  • the RAM 873 for example, a program read by the CPU 871, various parameters that change as appropriate when the program is executed, and the like are temporarily or permanently stored.
  • the CPU 871, the ROM 872, and the RAM 873 are connected to each other via, for example, a host bus 874 capable of high-speed data transmission.
  • the host bus 874 is connected to an external bus 876 having a relatively low data transmission speed via a bridge 875, for example.
  • the external bus 876 is connected to various components via the interface 877.
  • Input device 8708 For the input device 878, for example, a mouse, a keyboard, a touch panel, a button, a switch, a lever, or the like is used. Furthermore, as the input device 878, a remote controller (hereinafter referred to as a remote controller) capable of transmitting a control signal using infrared rays or other radio waves may be used.
  • a remote controller capable of transmitting a control signal using infrared rays or other radio waves may be used.
  • Output device 879 In the output device 879, for example, a display device such as a CRT (Cathode Ray Tube), LCD, or organic EL, an audio output device such as a speaker or a headphone, a printer, a mobile phone, or a facsimile, etc. It is a device that can notify visually or audibly.
  • a display device such as a CRT (Cathode Ray Tube), LCD, or organic EL
  • an audio output device such as a speaker or a headphone, a printer, a mobile phone, or a facsimile, etc. It is a device that can notify visually or audibly.
  • the storage 880 is a device for storing various data.
  • a magnetic storage device such as a hard disk drive (HDD), a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like is used.
  • the drive 881 is a device that reads information recorded on a removable recording medium 901 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, or writes information to the removable recording medium 901.
  • a removable recording medium 901 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory
  • the removable recording medium 901 is, for example, a DVD medium, a Blu-ray (registered trademark) medium, an HD DVD medium, or various semiconductor storage media.
  • the removable recording medium 901 may be, for example, an IC card on which a non-contact IC chip is mounted, an electronic device, or the like.
  • connection port 882 is a port for connecting an external connection device 902 such as a USB (Universal Serial Bus) port, an IEEE 1394 port, a SCSI (Small Computer System Interface), an RS-232C port, or an optical audio terminal. is there.
  • an external connection device 902 such as a USB (Universal Serial Bus) port, an IEEE 1394 port, a SCSI (Small Computer System Interface), an RS-232C port, or an optical audio terminal. is there.
  • the external connection device 902 is, for example, a printer, a portable music player, a digital camera, a digital video camera, or an IC recorder.
  • the communication device 883 is a communication device for connecting to a network.
  • the information processing apparatus 10 controls the input / output between the machine learning apparatus 20 and the model generation apparatus 30 and has a user interface for performing image generation and learning control related to machine learning. It may have functions to provide. Further, the information processing apparatus 10 may have a physical simulation function for generating an image related to machine learning.
  • the machine learning device 20 according to the present disclosure may be a learning device having a function of providing a user interface for performing image generation and learning control related to machine learning. According to such a configuration, the generalization performance of the neural network can be further improved.
  • the example related to image recognition has been mainly described, but the present technology is not limited to such an example.
  • the technology according to the present disclosure can be applied to machine learning related to machine tools, surgical robots, pathological diagnosis, and agricultural harvesting, for example.
  • a two-dimensional CG image that reproduces various environmental conditions is generated by importing an environment that is difficult to recognize by machine vision into a physical simulator, and according to the environmental conditions. Control learning and the like can be realized.
  • a 2D CG image in which the reaction or illumination of the organ is changed is generated by capturing an environment in which it is difficult to recognize an organ or a surgical tool into a physical simulator. Learning according to various situations can be realized.
  • a two-dimensional CG image in which the intensity of staining or the like is changed is generated by importing a pathological slide or the like into a physical simulator, and it corresponds to various specimens. Cancer determination learning and the like can be realized.
  • learning related to agricultural harvesting can be realized by incorporating sensor information acquired from various sensors into a physical simulator and learning together with output results.
  • a control unit for controlling display related to setting of parameters relating to physical simulation A communication unit that transmits image information associated with the parameter obtained in the physical simulation to a machine learning unit, and receives a determination result based on the image information from the machine learning unit; With The control unit causes the display unit to display the determination result and the parameter in association with each other.
  • Information processing device The parameter setting includes a parameter range indicating a range of the parameter value, The control unit causes the display unit to display the determination result and the parameter range in association with each other.
  • the parameter setting further includes division information relating to the parameter range
  • the control unit further displays the determination result and the division information in association with each other on the display unit, The image information is acquired based on the parameter range and the division information.
  • the control unit sets a new parameter based on the determination result, The determination result and the new parameter are associated with each other and displayed on the display unit.
  • the determination result is correct / incorrect information for determination on the image information
  • the control unit sets a new parameter range based on a determination result indicating an erroneous determination,
  • the new parameter range includes a value of the parameter associated with a determination result indicating the erroneous determination, and is narrower than the parameter range associated with the determination result;
  • the information processing apparatus according to (4).
  • the control unit controls display so that a determination result indicating the erroneous determination is enlarged;
  • the control unit sets a new parameter range not including the parameter range associated with the determination result;
  • the information processing apparatus according to any one of (4) to (6).
  • the control unit displays the determination result on the display unit together with an indicator relating to the value of the parameter.
  • the information processing apparatus according to any one of (1) to (7).
  • the parameter is set or changed by the user,
  • the control unit further displays the determination result and an image generated based on the image information in association with each other.
  • the information processing apparatus according to any one of (1) to (9).
  • (11) A simulator unit for performing physical simulation, Further comprising The information processing apparatus according to any one of (1) to (10).
  • (12) A model acquisition unit for acquiring a three-dimensional model generated from a two-dimensional image; Further comprising The simulator unit performs a physical simulation using a three-dimensional model generated from the two-dimensional image.
  • the information processing apparatus according to (11).
  • the model acquisition unit acquires a three-dimensional model generated by SLAM.
  • the information processing apparatus according to (12).
  • the parameter relating to the physical simulation further includes a three-dimensional model parameter
  • the model acquisition unit acquires the three-dimensional model based on the three-dimensional model parameter
  • the three-dimensional model parameter includes at least one of the number of feature points to be extracted, a matching threshold value of feature points, or a range of feature points used for camera parameter calculation.
  • the information processing apparatus according to (13).
  • the control unit causes the display unit to display at least one of the two-dimensional image, an image generated based on the image information, or an execution image of the physical simulation.
  • the information processing apparatus according to any one of (12) to (14).
  • the communication unit transmits a reward related to the image information to the machine learning unit.
  • the information processing apparatus according to any one of (1) to (15).
  • the communication unit receives a plurality of the determination results determined by a plurality of neural networks having different network structures.
  • the information processing apparatus according to any one of (1) to (16).
  • a control unit for controlling display related to setting of parameters relating to physical simulation A communication unit that transmits the parameters to a physical simulator and receives image information obtained in the physical simulation from the physical simulator; A machine learning unit that performs machine learning based on the image information; With The control unit associates the learning result by the machine learning unit with the parameter and causes the display unit to display the associated result Information processing device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geometry (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geophysics (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】ニューラルネットワークの汎化性能をより向上させる。 【解決手段】物理シミュレーションに係るパラメータの設定に関する表示を制御する制御部と、前記パラメータを物理シミュレータに送信し、前記物理シミュレーションにおいて得られた画像情報を前記物理シミュレータから受信する通信部と、前記画像情報に基づいて機械学習を行う機械学習部と、を備え、前記制御部は、前記機械学習部による学習結果と前記パラメータとを関連付けて表示部に表示させる、情報処理装置が提供される。

Description

情報処理装置
　本開示は、情報処理装置に関する。
　近年、脳神経系の仕組みを模したニューラルネットワークが注目されている。また、物理シミュレータを利用してニューラルネットワークに機械学習を行わせる、いくつかの報告がなされている。例えば、非特許文献１には、シミュレータを用いたゲームの制御学習結果が記載されている。
DeepMind Technologies、外７名、「Playing Atariwith Deep Reinforcement Learning」、２０１５年１１月９日、［Online］、［平成２８年２月８日検索］、インターネット<https://www.cs.toronto.edu/~vmnih/docs/dqn.pdf>
　しかし、非特許文献１に記載の方法では、実世界で生じる種々の変化に対応した学習をニューラルネットワークに行わせることが困難である。
　そこで、本開示では、ニューラルネットワークの汎化性能をより向上させることが可能な情報処理装置を提案する。
　本開示によれば、物理シミュレーションに係るパラメータの設定に関する表示を制御する制御部と、前記物理シミュレーションにおいて得られる画像情報と前記画像情報に関連付いた前記パラメータとを機械学習部に送信し、前記画像情報に基づいた判定結果を前記機械学習部から受信する通信部と、を備え、前記制御部は、前記判定結果と前記パラメータとを対応付けて表示部に表示させる、情報処理装置が提供される。
　また、本開示によれば、物理シミュレーションに係るパラメータの設定に関する表示を制御する制御部と、前記パラメータを物理シミュレータに送信し、前記物理シミュレーションにおいて得られた画像情報を前記物理シミュレータから受信する通信部と、前記画像情報に基づいて機械学習を行う機械学習部と、を備え、前記制御部は、前記機械学習部による学習結果と前記パラメータとを関連付けて表示部に表示させる、情報処理装置が提供される。
　以上説明したように本開示によれば、ニューラルネットワークの汎化性能をより向上させることが可能となる。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示に係る機械学習の概要を示す概念図である。 本開示に係る情報処理装置の機能構成を示す概念図である。 本開示の第１の実施形態に係るシステム構成例である。 同実施形態に係る情報処理装置の機能ブロック図である。 同実施形態に係るユーザインタフェースの構成例である。 同実施形態に係るオリジナル画像表示領域の表示例である。 同実施形態に係るパラメータ設定領域の表示例である。 同実施形態に係る物理シミュレーション画像表示領域の表示例である。 同実施形態に係る生成画像表示領域の表示例である。 同実施形態に係る判定結果表示領域の表示例である。 同実施形態に係る新たなパラメータの設定例である。 同実施形態に係る複数の認識結果の表示例である。 同実施形態に係る三次元モデルパラメータ設定領域の表示例である。 同実施形態に係る情報処理装置による制御の流れを示すフローチャートである。 本開示の第２の実施形態に係る機械学習装置の機能ブロック図である。 学習結果表示領域の表示例である。 本開示に係るハードウェア構成例である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．本開示に係る概要
　　１．１．ニューラルネットワークとは
　　１．２．ニューラルネットワークに係る汎化性能
　　１．３．汎化性能の向上に係る画像生成
　　１．４．本開示に係る情報処理装置の概要
　２．第１の実施形態
　　２．１．第１の実施形態に係るシステム構成例
　　２．２．第１の実施形態に係る情報処理装置１０
　　２．３．第１の実施形態に係る制御の概要
　　２．４．ユーザインタフェースの構成例
　　２．５．ＳＬＡＭによる三次元モデルの生成
　　２．６．第１の施形態に係る制御の流れ
　３．第２の実施形態
　　３．１．第２の実施形態に係るシステム構成
　　３．２．第２の実施形態に係る機械学習装置２０
　　３．３．第２の実施形態に係る学習結果表示
　４．ハードウェア構成例
　５．まとめ
　＜１．本開示に係る概要＞
　＜＜１．１．ニューラルネットワークとは＞＞
　ニューラルネットワークとは、人間の脳神経回路を模したモデルであり、人間が持つ学習能力をコンピュータ上で実現しようとする技法である。上述したとおり、ニューラルネットワークは学習能力を有することを特徴の一つとする。ニューラルネットワークでは、シナプスの結合によりネットワークを形成した人工ニューロン（ノード）が、学習によりシナプスの結合強度を変化させることで、問題に対する解決能力を獲得することが可能である。すなわち、ニューラルネットワークは、学習を重ねることで、問題に対する解決ルールを自動的に推論することができる。
　ニューラルネットワークによる学習の例としては、画像認識や音声認識が挙げられる。ニューラルネットワークでは、例えば、入力される画像パターンを繰り返し学習することで、入力画像に含まれる物体等を認識することが可能となる。ニューラルネットワークの有する上記のような学習能力は、人工知能（Ａｒｔｉｆｉｃｉａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ）の発展を推し進める鍵としても注目されている。また、ニューラルネットワークの有する学習能力は、種々の産業分野における応用が期待される。
　＜＜１．２．ニューラルネットワークに係る汎化性能＞＞
　ここで、ニューラルネットワークに係る汎化性能について述べる。ニューラルネットに係る汎化性能とは、より多くの状況に対応できる能力と解してもよい。すなわち、汎化性能とは、入力データに対するニューラルネットワークの柔軟性を示す指標ともいえる。
　上記の汎化性能は、ニューラルネットワークを応用した各種の装置にとって、非常に重要な意味を持つ。例えば、自動車の運転制御を行う自動運転ＡＩなどには、一般的に高い汎化性能が求められる。ここで、上記の自動運転ＡＩは、例えば、多層構造のニューラルネットワークを用いたディープラーニング（Ｄｅｅｐ　Ｌｅａｒｎｉｎｇ：深層学習）により運転制御機能を獲得した学習器であってもよい。
　自動運転ＡＩは、学習により獲得した環境認識能力や運転制御能力に基づいて、周囲環境に応じた自動車の運転制御を行うことができる。例えば、自動運転ＡＩは、センサから観測される観測情報に基づいて他の自動車や歩行者を認識し、自動車や歩行者を避けるためにハンドル制御やブレーキ制御などを行う。この際、自動運転ＡＩの汎化性能が重要な鍵となる。
　例えば、自動運転ＡＩが他の自動車や歩行者を正しく認識できない場合、適切な運転制御を行うことができず、事故を引き起こす可能性も考えられる。このため、安全確保の観点からも、より高い汎化性能を持つＡＩが求められている。
　＜＜１．３．汎化性能の向上に係る画像生成＞＞
　以上、ニューラルネットワークに係る汎化性能について例を挙げて説明した。次に、汎化性能を高めるための手法について説明する。上述したとおり、汎化性能とは入力データに対するニューラルネットワークの柔軟性ともいえる。このため、汎化性能を高めるためには、学習時により多くのデータを与えることが望ましい。
　しかし、学習に用いるデータを用意するためには、多くのコストや労力を要する場合が多い。このため、元となる画像から複数の異なる画像を生成し、当該生成した画像を学習に利用する手法も知られている。
　上記のような手法には、例えば、パタベーション（Ｐｅｒｔｕｒｂａｔｉｏｎ）と呼ばれるものがある。パタベーションでは、元となる画像の縮尺や回転角度、輝度やコントラストを変更することにより複数の異なる画像を生成することができる。
　しかし、パタベーションでは、実世界における環境では観測されないような画像を大量に生成するため、当該画像を用いた機械学習は効率的であるとは言い難い。例えば、パタベーションでは、画像のアスペクト比を変更することにより異なる画像を生成することができるが、このような現象は実世界の物質では観察されないものである。このため、汎化性能を向上させるためには、より実世界の環境に則した画像を生成する技術が求められている。
　また、一般的に、パタベーションなどを用いた画像生成と機械学習に係る制御とは、異なる独立したユーザインタフェースを介して行われる。このため、生成した画像を学習器に入力する操作等は人手を介して行われており労力を要している。また、学習器の出力結果に応じて再度画像を生成する場合には、異なるユーザインタフェース間を往復することとなるため、作業効率の改善が求められる。
　本開示に係る情報処理装置は、上記で説明したような画像生成手法及び学習手法に着目して発想されたものであり、実世界の環境に則した画像を生成することで、より効果の高い機械学習を実現するものである。このために、本開示に係る情報処理装置は、物理シミュレータを用いた画像の生成を行うことができる。さらに、本開示に係る情報処理装置は、上記の物理シミュレーションと機械学習とに係る情報を単一のユーザインタフェースを用いて提供することで、より効率的な機械学習を実現する。
　＜＜１．４．本開示に係る情報処理装置の概要＞＞
　以上、本開示に係る背景について説明した。次に、本開示に係る情報処理装置の概要について説明する。上述したとおり、本開示に係る情報処理装置は、物理シミュレータを利用した画像生成を行うことができる。ここで、上記の物理シミュレータとは、力学法則をシミュレートする物理エンジンを備えたシミュレータであってよい。物理シミュレータは、設定されたパラメータに基づいて、実世界で観測され得る種々の環境を再現することができる。
ここで、上記のパラメータには、視点、照明条件、背景、時間、または気象状態などに関するパラメータが含まれてもよい。物理シミュレータは、例えば、太陽の動き、雨や風の強さ、視点の角度などに係るパラメータに基づいて、様々な物理シミュレーションを行うことができる。すなわち、本開示に係る情報処理装置は、物理シミュレータを利用した画像生成を実現することで、より実世界の環境に近い画像を得ることが可能である。
　図１は、本開示に係る情報処理装置が実現する機械学習の概要を示す概念図である。図１を参照すると、本実施形態に係る情報処理装置では、元となるオリジナル画像ＯＲから、複数の生成画像ＧＩを得ることができる。ここで、オリジナル画像ＯＲは、種々の方法により取得された二次元画像であってよい。本開示に係る情報処理装置は、オリジナル画像ＯＲから生成された三次元モデルを用いた物理シミュレーションを行うことで、複数の生成画像ＧＩを取得できる。
　また、本開示に係る情報処理装置は、複数の生成画像ＧＩを学習器Ｉ１に学習させ、その学習結果を取得することができる。この際、本開示に係る情報処理装置は、上述した画像生成と学習に係る処理を単一のユーザインタフェースにより制御することができる。
　図２は、本開示に係る情報処理装置の機能構成を示す概念図である。図２を参照すると、本開示に係る情報処理装置は、インタフェース制御機能Ｆ１、機械学習機能Ｆ２、物理シミュレータ機能Ｆ３、及び三次元モデル生成機能Ｆ４を有する。
　ここで、インタフェース制御機能Ｆ１は、情報処理装置が提供するユーザインタフェースに係る制御を行う機能であってよい。具体的には、インタフェース制御機能Ｆ１は、機械学習機能Ｆ２、物理シミュレータ機能Ｆ３、及び三次元モデル生成機能Ｆ４との間の入出力を制御するユーザインタフェースをユーザに提供することができる。
　また、機械学習機能Ｆ２は、入力された情報に対する機械学習を行う機能であってよい。機械学習機能Ｆ２は、例えば、インタフェース制御機能Ｆ１から入力された画像情報を識別し、識別結果をインタフェース制御機能Ｆ１に返してもよい。
　また、物理シミュレータ機能Ｆ３は、入力された情報に基づいて物理シミュレーションを実行する機能であってよい。物理シミュレータ機能Ｆ３は、例えば、インタフェース制御機能Ｆ１から入力された三次元モデルとパラメータに基づいて物理シミュレーションを実行し、当該物理シミュレーションに係る画像情報をインタフェース制御機能Ｆ１に返してもよい。
　また、三次元モデル生成機能Ｆ４は、入力された二次元画像から三次元モデルを生成する機能であってよい。三次元モデル生成機能Ｆ４は、例えば、インタフェース制御機能Ｆ１から入力された二次元画像から三次元モデルを生成し、当該三次元モデルに係る情報をインタフェース制御機能Ｆ１に返してもよい。
　以上、本開示に係る情報処理装置の機能構成について概要を述べた。本開示に係る情報処理装置は、上記に挙げた機能を有する装置であってよい。なお、この際、情報処理装置の機能構成は、運用条件などにより適宜設計され得る。例えば、本開示に係る情報処理装置は、インタフェース制御機能Ｆ１と物理シミュレータ機能Ｆ３とを有してもよい。この場合、上記の情報処理装置は、機械学習機能Ｆ２や三次元モデル生成機能Ｆ４を有する別の装置と通信を行うことで、機械学習に係る汎化性能の向上を実現することができる。
　＜２．第１の実施形態＞
　＜＜２．１．第１の実施形態に係るシステム構成例＞＞
　次に、第１の実施形態に係るシステム構成例について説明する。図３を参照すると、第１の実施形態に係るシステムは、情報処理装置１０、機械学習装置２０、及びモデル生成装置３０を備える。また、情報処理装置１０、機械学習装置２０、及びモデル生成装置３０は、互いに通信が行えるように、ネットワーク４０を介して接続される。
　ここで、第１の実施形態に係る情報処理装置１０は、上述したインタフェース制御機能Ｆ１、及び物理シミュレータ機能Ｆ３を有する装置であってよい。すなわち、本実施形態に係る情報処理装置１０は、機械学習に係る画像生成と学習制御を行うためのユーザインタフェースを提供する機能を有する物理シミュレータであってよい。
　また、機械学習装置２０は、情報処理装置１０から受信した情報に基づいて機械学習を行う装置であってよい。具体的には、機械学習装置２０は、情報処理装置１０から受信した画像情報に基づいて、当該画像情報に係る識別学習を行うことができる。また、機械学習装置２０は、情報処理装置１０から受信した画像情報に対する識別結果を情報処理装置１０に送信する機能を有する。
　機械学習装置２０は、例えば、ディープラーニングにより上記の学習を行ってもよいし、強化学習による学習を行ってもよい。また、例えば、機械学習装置２０は、ディープラーニングとＱラーニング（Ｑ－Ｌｅａｒｎｉｎｇ：Ｑ学習）を組み合わせた学習を行うこともできる。
　また、モデル生成装置３０は、情報処理装置１０から受信した二次元画像情報に基づいて、三次元モデルを生成する機能を有してよい。この際、モデル生成装置３０は、例えば、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ　Ｌｏｃａｌｉｚａｔｉｏｎ　ａｎｄ　Ｍａｐｐｉｎｇ）などの技術を用いて、三次元モデル生成を行うことができる。なお、モデル生成装置３０は、ＳＬＡＭ以外の手法により三次元モデルを生成してもよい。この場合、モデル生成装置３０は広く利用される三次元モデリング手法を用いて三次元モデルを生成してよい。また、モデル生成装置３０は、生成した三次元モデルの情報を情報処理装置１０に送信する機能を有する。
　また、ネットワーク４０は、情報処理装置１０、機械学習装置２０、及びモデル生成装置３０を互いに接続する機能を有する。ネットワーク４０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク４０は、ＩＰ－ＶＰＮ（Ｉｎｔｅｒｎｔ　Ｐｒｏｔｏｃｏｌ－Ｖｉｒｔｕａｌ　Ｐｒｉｖａｔｅ　Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
　＜＜２．２．第１の実施形態に係る情報処理装置１０＞＞
　次に、本実施形態に係る情報処理装置１０について詳細に説明する。上述したとおり、本実施形態に係る情報処理装置１０は、インタフェース制御機能Ｆ１及び物理シミュレーション機能Ｆ３を有する装置であってよい。すなわち、本実施形態に係る情報処理装置１０は、機械学習装置２０及びモデル生成装置３０との入出力を制御し、機械学習に係る画像生成と学習制御を行うためのユーザインタフェースを提供する機能を有する。また、本実施形態に係る情報処理装置１０は、機械学習に係る画像を生成するための物理シミュレーション機能を有する。
　図４は、本実施形態に係る情報処理装置１０の機能ブロック図である。図４を参照すると、本実施形態に係る情報処理装置１０は、制御部１１０、シミュレータ部１２０、モデル取得部１３０、及び通信部１４０を備える。
　（制御部１１０）
　制御部１１０は、物理シミュレーションに係るパラメータの設定に関する表示を制御する機能を有する。また、制御部１１０は、機械学習装置２０から取得した判定結果を上記のパラメータと対応付けて、接続される表示部（図示しない）に表示させる機能を有する。ここで、上記の判定結果は、入力された画像情報に対する識別結果であってもよい。
　また、制御部１１０は、上記のパラメータを動的に設定する機能を有してよい。具体的には、制御部１１０は、パラメータ値の範囲を指定するパラメータ範囲や、パラメータ範囲に係る分割情報などを設定することができる。制御部１１０が有するパラメータ設定機能の詳細については後述する。
　また、制御部１１０は、ユーザの操作を認識し当該ユーザ操作に応じた処理を行う機能を有してよい。上記のユーザ操作には、例えば、パラメータの設定及び変更、オリジナル画像の選択、学習の開始や中断などに係る操作が含まれてよい。制御部１１０は接続される入力装置（図示しない）からユーザ操作に係る情報を取得し、当該ユーザ操作に応じた処理を行ってよい。
　（シミュレータ部１２０）
　シミュレータ部１２０は、力学法則に基づいた物理シミュレーションを行う機能を有する。具体的には、シミュレータ部１２０は、制御部１１０により設定されるパラメータ、及び後述するモデル取得部１３０が取得する三次元モデルに基づいて、物理シミュレーションを実行することができる。
　また、シミュレータ部１２０は、上記の物理シミュレーションに係る三次元画像から二次元画像を取得する機能を有する。この際、シミュレータ部１２０は、制御部１１０が設定するパラメータに基づいて、二次元画像を取得してよい。なお、ここで、上記の二次元画像は、二次元ＣＧ画像であってもよい。シミュレータ部１２０が有する二次元画像の取得機能については詳細を後述する。
　（モデル取得部１３０）
　モデル取得部１３０は、二次元画像から生成された三次元モデルを取得する機能を有する。すなわち、モデル取得部１３０は、制御部１１０から引き渡されたオリジナル画像の情報に基づいてモデル生成装置３０に三次元モデルを生成させ、生成された三次元モデルを取得する機能を有してよい。特に、モデル生成装置３０がＳＬＡＭにより三次元モデルを生成する場合においては、モデル取得部１３０は、ＳＬＡＭにより生成された三次元モデルを取得することができる。
　また、モデル取得部１３０は、取得した三次元モデルをシミュレータ部１２０に引き渡すことができる。なお、モデル取得部１３０は、モデル生成装置３０から直接的に三次元モデルを取得してもよいし、後述する通信部１４０を介して三次元モデルを取得してもよい。
　（通信部１４０）
　通信部１４０は、機械学習装置２０及びモデル生成装置３０との間の通信を行う機能を有する。例えば、通信部１４０は、物理シミュレーションにおいて得られるパラメータと関連付いた画像情報を機械学習装置２０に送信することができる。また、通信部１４０は、上記の画像情報に基づいた判定結果を機械学習装置２０から受信することができる。
　また、通信部１４０は、機械学習装置２０から、ネットワーク構造の異なる複数のニューラルワークにより実行された複数の判定結果を受信してもよい。この場合、制御部１１０は、上記複数の判定結果をパラメータと対応付けて表示部に表示させることができる。
　さらに、通信部１４０は、上記の画像情報に係る報酬をさらに機械学習装置２０に送信してもよい。この場合、機械学習装置２０は、受信した報酬を用いた強化学習を行うことができる。
　＜＜２．３．本実施形態に係る制御の概要＞＞
　次に、本実施形態に係る制御の概要について説明する。上述したとおり、本実施形態に係る情報処理装置１０は、機械学習に係る画像生成と学習制御を行うためのユーザインタフェースを提供する機能を有する。ユーザは、上記のユーザインタフェースを操作することで、機械学習に係る画像生成や、当該画像を用いた機械学習を機械学習装置２０に実行させることができる。また、ユーザは、機械学習装置２０による判定結果を同一のユーザインタフェースで確認することができるため、効率的に作業を行うことが可能である。
　また、本実施形態に係る情報処理装置１０は、物理シミュレーションに係るパラメータを動的に設定することができる。例えば、情報処理装置１０は、まず、広いパラメータ間隔で物理シミュレーションを行い、得られた生成画像を機械学習装置２０に識別させてよい。この際、情報処理装置１０は、機械学習装置２０から識別結果を受信することで、機械学習装置２０が識別困難なパラメータ範囲を推定することができる。
　この場合、情報処理装置１０は、誤判定された画像に関連付いたパラメータ値の周辺でより細かいパラメータ間隔で物理シミュレーションを行い、さらなる画像生成を行ってよい。すなわち、情報処理装置１０は、識別結果に基づいて新たなパラメータを設定することで、機械学習装置２０による識別が困難なパラメータ値の境界をより詳細に探索することができる。
　また、情報処理装置１０は、誤判定された画像に関連付いたパラメータ値の周辺において画像生成を行うことで、機械学習装置２０が識別困難なパラメータ範囲に係る学習用画像を多量に生成することが可能である。すなわち、本実施形態に係る情報処理装置１０によれば、機械学習装置２０の現在の識別能力に応じた効果的な学習を実現することができる。
　＜＜２．４．ユーザインタフェースの構成例＞＞
　以上、本実施形態に係る制御の概要について説明した。次に、本実施形態に係るユーザインタフェースの構成を例示しながら、本実施形態に係る情報処理装置１０の有する機能をより詳細に説明する。図５は、本実施形態に係るユーザインタフェースの構成例である。
　図５を参照すると、本実施形態に係るユーザインタフェースＵＩ１は、オリジナル画像表示領域Ｒ１、パラメータ設定領域Ｒ２、物理シミュレーション画像表示領域Ｒ３、生成画像表示領域Ｒ４、及び判定結果表示領域Ｒ５を有する。以降、図６～図１２を参照しながら、各領域Ｒ１～Ｒ５に表示される内容について詳細に説明する。
　（オリジナル画像表示領域Ｒ１）
　オリジナル画像表示領域Ｒ１は、ユーザがオリジナル画像を選択するための領域である。すなわち、オリジナル画像表示領域Ｒ１は、モデル生成装置３０に生成させる三次元モデルの元となる二次元画像（オリジナル画像）を指定するための領域であってよい。
　図６は、オリジナル画像表示領域Ｒ１の表示例である。図６を参照すると、本実施形態に係るオリジナル画像表示領域Ｒ１には、複数のオリジナル画像ＯＲ１～３が表示されている。ユーザは、オリジナル画像表示領域Ｒ１において任意のオリジナル画像を選択することで、三次元モデリングに用いる二次元画像を指定することができる。
　なお、オリジナル画像表示領域Ｒ１に表示される二次元画像は、あらかじめユーザが取り込んだ二次元画像であってもよいし、ネットワーク４０を介して接続される各種の装置から、情報処理装置１０が収集した二次元画像であってもよい。例えば、情報処理装置１０は、自動車に搭載される車載装置が撮影した画像情報を収集し、オリジナル画像表示領域Ｒ１に表示させてもよい。
　また、ユーザは、オリジナル画像表示領域Ｒ１において、複数のオリジナル画像を指定できてもよい。モデル生成装置３０がＳＬＡＭなどの技術を用いて三次元モデルの生成を行う場合、元となる複数のオリジナル画像が求められる。このため、ユーザは、モデル生成装置３０の三次元モデリング手法に合わせたオリジナル画像の指定を行えてよい。
　なお、図示していないが、オリジナル画像表示領域Ｒ１には、モデル生成装置３０の三次元モデリング手法に合わせた各種のメッセージが表示されてもよい。上記のメッセージは、例えば、「連続撮影された複数の画像を指定してください」、などの内容であってもよい。ユーザは、上記のメッセージに従って、適切なオリジナル画像の指定を行うことができる。
　（パラメータ設定領域Ｒ２）
　パラメータ設定領域Ｒ２は、物理シミュレーションに係る各種のパラメータを設定するための領域である。パラメータ設定領域Ｒ２には、例えば、パラメータ範囲や、パラメータ範囲に係る分割情報を指定するための手段が備えられてよい。
　図７は、本実施形態に係るパラメータ設定領域Ｒ２の表示例を示している。図７を参照すると、パラメータ設定領域Ｒ２には、複数のパラメータＰ１～Ｐ３に係る設定項目が表示されている。図７に示す一例においては、パラメータＰ１は、太陽位置に係るパラメータであってもよい。また、パラメータＰ２は、雲の量に係るパラメータであってもよい。また、パラメータＰ３は、路面における日光の反射率に係るパラメータであってもよい。
　なお、図７に示す一例においては、３つのパラメータＰ１～Ｐ３に係る設定項目を示しているが、パラメータ設定領域Ｒ２には、４つ以上のパラメータに係る設定項目が表示されてもよい。また、ユーザは、ボタン操作などにより表示させるパラメータを切り替えることができてもよい。
　また、パラメータ設定領域Ｒ２には、各パラメータＰ１～Ｐ３に係る設定項目が表示される。ここで、上記の設定項目は、パラメータ範囲を含んでよい。図７を参照すると、パラメータ設定領域Ｒ２には、パラメータＰ１に係る最小値を設定するための項目Ｐｍｉｎ１、及びパラメータＰ１に係る最大値を設定するための項目Ｐｍａｘ１が表示されている。
　また、この際、制御部１１０は、パラメータの値に係るインジケータを用いてパラメータ範囲を表示させることもできる。図７に示す一例においては、パラメータＰ１に係るパラメータ値が、Ｂａｒ１により視覚的に示されており、Ｂａｒ１上には、それぞれ項目Ｐｍｉｎ１に対応するボタンＢｍｉｎ１、及び項目Ｐｍａｘ１に対応するボタンＢｍａｘ１が表示されている。ユーザは、ボタンＢｍｉｎ１及びＢｍａｘ１を操作することで、パラメータＰ１に係るパラメータ範囲を変更することができる。
　また、上記の設定項目は、パラメータ範囲に係る分割情報を含んでよい。ここで、上記の分割情報とは、パラメータ範囲を分割するための分割数であってもよい。図７に示す一例においては、パラメータＰ１に係る分割数を指定するための項目Ｐｄｉｖ１が表示されている。本実施形態に係るシミュレータ部１２０は、上記のパラメータ範囲及び分割数に基づいて、複数の生成画像を得ることができる。
　また、制御部１１０は、初回の物理シミュレーションに係るパラメータ（以降、初期パラメータ、とも呼ぶ）を自動で設定することもできる。上述したとおり、本実施形態に係る制御部１１０は、機械学習装置２０の識別結果に基づいて新たなパラメータを設定することができる。この際、制御部１１０は、まず、初期パラメータとして広いパラメータ範囲を設定し機械学習装置２０から識別結果を取得してもよい。続いて、制御部１１０は、当該識別結果に基づいて、初期パラメータよりも狭いパラメータ範囲を設定し画像生成を行わせてもよい。これにより、機械学習装置２０による認識が困難なパラメータ値に係る生成画像を得ることが可能となる。
　制御部１１０は、例えば、パラメータごとに定められたデフォルト値や、過去に実施された学習結果などに基づいて、初期パラメータを自動設定することができる。また、制御部１１０による初期パラメータの自動設定は、ユーザ設定により実行の要否を切り替えられるように設計されてもよい。ユーザは、上記の初期パラメータを自ら設定することができてよい。なお、制御部１１０が初期パラメータを自動で設定した場合にも、ユーザは各設定の値を変更することができてよい。これにより、ユーザの判断に対応したより柔軟なパラメータ設定が可能となる。
　（物理シミュレーション画像表示領域Ｒ３）
　物理シミュレーション画像表示領域Ｒ３は、シミュレータ部１２０による物理シミュレーションの状況を表示するための領域である。すなわち、物理シミュレーション画像表示領域Ｒ３には、オリジナル画像から生成された三次元モデルと、設定されたパラメータと、に基づく物理シミュレーションの過程がリアルタイムに表示されてよい。
　図８は、本実施形態に係る物理シミュレーション画像表示領域Ｒ３の表示例である。上述したとおり、シミュレータ部１２０は、オリジナル画像から生成された三次元モデルと、設定されたパラメータと、に基づく物理シミュレーションを実行することができる。この際、上記の三次元モデルは、オリジナル画像表示領域Ｒ１において指定された二次元画像に基づきモデル生成装置３０が生成した三次元モデルであってよい。また、上記のパラメータは、パラメータ設定領域Ｒ２において制御部１１０またはユーザが設定したパラメータであってよい。
　また、シミュレータ部１２０は、上記の物理シミュレーションにおいて、設定されたパラメータに基づいて二次元ＣＧ画像を生成することができる。より具体的には、シミュレータ部１２０は、パラメータ設定領域Ｒ２において設定されたパラメータ範囲と分割数に基づいて、上記の二次元ＣＧ画像を生成してよい。例えば、パラメータ範囲に数値１～１００が設定され、分割数に１０が設定された場合、シミュレータ部１２０は、パラメータ値の１０の倍数で二次元ＣＧ画像を生成してもよい。
　（生成画像表示領域Ｒ４）
　生成画像表示領域Ｒ４は、シミュレータ部１２０のよる物理シミュレーションにおいて得られた生成画像を表示するための領域である。上述したとおり、上記の生成画像はパラメータ設定に基づいて取得された二次元ＣＧ画像であってよい。
　図９は、本実施形態に係る生成画像表示領域Ｒ４の表示例である。図９を参照すると、生成画像表示領域Ｒ４には、物理シミュレーションにより得られた生成画像ＧＩ１～ＧＩ３が表示されている。なお、生成画像表示領域Ｒ４は、物理シミュレーションの実行状況に応じてリアルタイムに更新されてよい。すなわち、生成画像表示領域Ｒ４には、物理シミュレーションの実行過程で得られた生成画像が順次追加されてよい。
　なお、図９に示す一例においては、生成画像ＧＩ１～ＧＩ３は、図７に示したパラメータＰ１の設定に基づいて実行された物理シミュレーションから得られた画像であってよい。図９を参照すると、生成画像ＧＩ１～ＧＩ３では、太陽の位置が異なっていることがわかる。このように、本実施形態に係る情報処理装置１０によれば、実世界の環境変化に則した画像を効率的に生成し、機械学習装置２０に提供することが可能となる。
　（判定結果表示領域Ｒ５）
　判定結果表示領域Ｒ５は、生成画像に対する機械学習装置２０の判定結果を表示するための領域である。すなわち、判定結果表示領域Ｒ５には、機械学習装置２０が生成画像を識別できたか否かの識別結果が表示されてよい。
　図１０は、本実施形態に係る判定結果表示領域Ｒ５の表示例である。図１０を参照すると、判定結果表示領域Ｒ５には、機械学習装置２０による識別結果がパラメータ値と対応付けられて表示されている。このように、本実施形態に係る制御部１１０は、生成画像の識別結果と当該生成画像に係るパラメータ値とを対応付けて表示部に表示させることができる。より具体的には、制御部１１０は、初期パラメータとして設定したパラメータ範囲及び分割数を、上記の判定結果と関連付けて表示させてよい。
　図１０を参照すると、判定結果表示領域Ｒ５には、パラメータ値を視覚的に示すＢａｒ２と、識別結果ＲＲ１が表示されている。ここで、識別結果ＲＲ１は、初期パラメータとして設定されたパラメータ範囲及び分割数に基づいて得られた生成画像ごとの識別結果を含んでいる。すなわち、識別結果ＲＲ１において、各枠線により示される領域は、生成画像の識別結果であってよい。
　なお、図１０に示す一例においては、機械学習装置２０が誤判定を示した生成画像に係る領域が斜線によるハッチングで示されている。このように、制御部１１０が生成画像の識別結果と、当該生成画像に係るパラメータと、を視覚的に対応付けて表示させることで、ユーザは直観的に機械学習装置２０による識別が困難なパラメータ範囲を知覚することができる。なお、図１０では、誤判定に係る表示をハッチングにより強調する例を示しているが、上記の識別結果は赤や青などの色分けにより示されてもよい。また、上記の識別結果は数値や文字により示されてもよい。制御部１１０は、例えば、「正」及び「誤」や、「１」及び「０」などのテキスト情報を用いて、識別結果を表示させてもよい。
　また、上述したとおり、本実施形態に係る制御部１１０は、識別結果に基づいて新たなパラメータを設定することができる。この際、制御部１１０は、上記の識別結果と新たなパラメータとを対応付けて判定結果表示領域Ｒ５に表示させてよい。
　図１０を参照すると、判定結果表示領域Ｒ５には、制御部１１０が設定した新たなパラメータが、項目Ｐｍｉｎ２、項目Ｐｍａｘ２、項目Ｐｄｉｖ２に示されている。また、Ｂａｒ２上には、項目Ｐｍｉｎ２に対応するボタンＢｍｉｎ２、及び項目Ｐｍａｘ２に対応するボタンＢｍａｘ２が示されている。ここで、上記で挙げた各項目は、図７を用いて各パラメータ項目と同一の機能を果たすものであってよい。また、図１０を参照すると、判定結果表示領域Ｒ５には、項目Ｐｄｉｖ２に設定された値に基づいて、分割線ＤｉｖＬが表示されている。なお、初期パラメータと同様に、上記で挙げた各パラメータは、ユーザにより変更され得る。
　図１０に示すように、制御部１１０は、誤判定を示す識別結果に基づいて新たなパラメータ範囲を設定してもよい。この際、制御部１１０は、誤判定を示す識別結果に関連付いたパラメータ値を含むように新たなパラメータ範囲を設定することができる。また、この場合、制御部１１０は、識別結果ＲＲ１に関連付いたパラメータ範囲よりも狭い新たなパラメータ範囲を設定してよい。すなわち、本実施形態に係る制御部１１０は、誤判定結果に関連付いたパラメータ値の周辺において新たなパラメータ範囲を設定することで、機械学習装置２０による識別が困難なパラメータ値の境界をより詳細に探索することができる。
　また、制御部１１０は、上記のように新たなパラメータ範囲を設定し画像生成を行わせることで、機械学習装置２０が識別困難なパラメータ範囲に係る学習用画像を多量に生成することが可能である。この際、制御部１１０は、分割数をより多く設定することで、得られる生成画像の数を調整することもできる。
　また、制御部１１０は、設定した新たなパラメータ範囲に係る識別結果や、誤判定を示す識別結果が拡大されるように表示を制御してよい。図１０に示す一例では、誤判定を示す識別結果を含む新たなパラメータ範囲に係る識別結果が、拡大結果ＥＲ１として強調表示されている。
　また、図１０に示すように、制御部１１０は、判定結果と生成画像とを対応付けて表示させることもできる。図１０に示す一例では、制御部１１０は、拡大結果ＥＲ１に関連付いた生成画像ＧＩ６～ＧＩ１０の表示を制御している。なお、制御部１１０は、識別結果ＲＲ１に関連付いた生成画像の表示を制御してもよい。また、生成画像の表示は、ユーザ操作により切り替えられるように設定されてもよい。制御部１１０による識別結果の拡大表示制御や生成画像の表示制御は、適宜設計され得る。
　以上、制御部１１０が誤判定を示す識別結果に基づいて新たなパラメータ範囲を設定する場合の表示例を説明した。一方、本実施形態に係る制御部１１０は、識別結果に関連付いたパラメータ範囲を含まない新たなパラメータ範囲を設定してもよい。すなわち、制御部１１０は、まだ識別に用いられていないパラメータ範囲を新たに設定することで、より広い範囲において機械学習装置２０の識別能力を調査することができる。
　図１１は、制御部１１０が、識別結果に関連付いたパラメータ範囲を含まない新たなパラメータ範囲を設定する場合の表示例である。図１１を参照すると、制御部１１０は、識別結果ＲＲ２に関連付いたパラメータ範囲を含まない新たなパラメータ範囲を設定していることがわかる。
　また、図１１を参照すると、識別結果ＲＲ２には、誤判定を示す識別結果が含まれていない。このように、本実施形態に係る制御部１１０は、識別結果ＲＲ２に誤判定を示す識別結果が含まれないことに基づいて、まだ識別に用いられていないパラメータ範囲を新たに設定してもよい。これにより、より効率的に機械学習装置２０の識別能力を調査することが可能となる。
　さらに、本実施形態に係る制御部１１０は、ネットワーク構造の異なる複数のニューラルネットワークにより判定された複数の判定結果を比較して表示させることができる。図１２は、制御部１１０が上記の複数の判定結果を比較して表示させる場合の表示例である。
　図１２を参照すると、判定結果表示領域Ｒ５には、図１０及び図１１で示した例とは異なり、複数の識別結果ＲＲ３及びＲＲ４が表示されていることがわかる。ここで識別結果ＲＲ３及びＲＲ４は、互いに異なるニューラルネットワークによる識別結果を示すものでよい。このように、本実施形態に係る制御部１１０は、複数のニューラルネットワークにより識別結果を比較して表示することができる。
　この際、通信部１４０は、単一の機械学習装置２０から上記複数の識別結果を取得してもよいし、複数の機械学習装置２０から複数の識別結果を取得してもよい。ユーザは、判定結果領域Ｒ５に表示される複数の識別結果を確認することで、複数のニューラルネットワークに係る識別能力の差異を判断し、種々の対応を行うことが可能である。
　また、この際、制御部１１０は、それぞれの識別結果に基づいて新たなパラメータを個別に設定してもよいし、複数の識別結果を統計処理し共通のパラメータを新たに設定してもよい。通信部１４０は、設定された新たなパラメータに基づいて得られた生成画像を、単一または複数の機械学習装置２０に送信することができる。
　以上、本実施形態に係るユーザインタフェースの構成について詳細に説明した。上述したとおり、本実施形態に係る情報処理装置１０は、指定されたオリジナル画像に基づいてモデル生成装置３０に三次元モデルを生成させることができる。また、情報処理装置１０は、上記のパラメータと設定したパラメータとに基づいて物理シミュレーションを実行し、複数の生成画像を得ることができる。また、情報処理装置１０は、得られた複数の生成画像を機械学習装置２０に送信し、受信した識別結果を表示させることができる。
　本実施形態に係る情報処理装置１０によれば、上記の処理を同一のユーザインタフェースにより制御することができ、作業効率を大幅に向上させることが可能となる。また、本実施形態に係る情報処理装置１０は、取得した識別結果に基づいて新たなパラメータを設定することができる。すなわち、本実施形態に係る情報処理装置１０によれば、識別が困難なパラメータ値に係る画像を自動で生成し、機械学習装置２０に学習させることが可能となる。
　なお、上記の説明では、単一のパラメータに着目して説明を行ったが、本実施形態に係る情報処理装置１０は、複数のパラメータに着目して新たなパラメータを設定してよい。物理シミュレーションに係るパラメータには、密接に関連したパラメータが存在するため、情報処理装置１０が、当該密接に関連したパラメータに係る新たな設定を行うことで、機械学習装置２０に多様な学習を行わせることもできる。なお、上記の密接に関連したパラメータとは、例えば、路面における反射率と雨や日光の強さなどであってもよい。
　また、情報処理装置１０は、複数のパラメータを同時に設定することで、トレーニング画像とバリデーション画像を同時に生成することもできる。この場合、情報処理装置１０は、トレーニング画像の生成に用いるパラメータとは別のパラメータの値を適宜調整することでバリデーション画像を生成してもよい。また、上記のような機能は、ユーザ設定により適宜変更され得る。
　＜＜２．５．ＳＬＡＭによる三次元モデルの生成＞＞
　次に、本実施形態に係るＳＬＡＭによる三次元モデルの生成について説明する。上述したとおり、本実施形態に係る情報処理装置１０は、ＳＬＡＭにより生成された三次元モデルを用いた物理シミュレーションを行ってよい。この際、本実施形態に係る情報処理装置１０は、連続撮影された複数の二次元画像をモデル生成装置３０に送信し、当該複数の二次元画像に係る三次元モデルを取得することができる。
　（ＳＬＡＭに係る概要）
　ここで、ＳＬＡＭについて概要を説明する。本実施形態に係るＳＬＡＭとは、同一のカメラにより連続で撮影された複数の画像から三次元モデルを生成する技術として解されてよい。
　まず、モデル生成装置３０は、上記の複数の画像から特徴点を抽出する。この際、モデル生成装置３０は、例えば、ＳＩＦＴ（Ｓｃａｌｅ　Ｉｎｖａｒｉａｎｔ　Ｆｅａｔｕｒｅ　Ｔｒａｎｓｆｏｒｍ）やＳＵＲＦ（Ｓｐｅｅｄｅｄ　Ｕｐ　Ｒｏｂｕｓｔ　Ｆｅａｔｕｒｅｓ）などを用いて特徴点の検出を行ってもよい。また、例えば、モデル生成装置３０は、Ｈａｒｒｉｓのコーナー検出法などを用いることもできる。
　次に、各画像で抽出した特徴点のマッチングを行う。この際、モデル生成装置３０は、特徴点検出に用いた手法に対応したマッチングを行ってよい。例えば、特徴点検出にＳＩＦＴやＳＵＲＦを用いた場合、モデル生成装置３０は検出した特徴点に係る特徴量ベクトルに基づいて、上記のマッチングを行ってもよい。
　続いて、モデル生成装置３０は、上記のマッチング結果に基づいて、特徴点の三次元座標を算出し、当該特徴点の三次元座標から各画像に対応したカメラパラメータを算出する。ここで、上記のカメラパラメータは、カメラの有する自由度のベクトルであってよい。すなわち、本実施形態に係るカメラパラメータは、カメラの位置座標（Ｘ，Ｙ，Ｚ）と、それぞれの座標軸の回転角（Φｘ、Φｙ、Φｚ）と、であってよい。
　また、モデル生成装置３０は、上記で算出したカメラパラメータに基づいて、投影誤差の最小化を行ってもよい。具体的には、モデル生成装置３０は、各カメラパラメータと各特徴点の位置分布を最小化する統計処理を行うことができる。
　以上、本実施形態に係るＳＬＡＭについて概要を説明した。本実施形態に係るモデル生成装置３０は、上記の処理を経て取得した特徴点の三次元座標に基づいて、三次元モデルの生成を行うことができる。
　（三次元モデルパラメータの設定）
　次に、本実施形態に係る三次元モデルパラメータの設定について説明する。本実施形態に係る情報処理装置１０は、モデル生成装置３０による三次元モデリングに関する三次元モデルパラメータをさらに設定することができる。ここで、上記の三次元モデルパラメータは、上述したＳＬＡＭに係るパラメータであってよい。具体的には、三次元モデルパラメータは、抽出される特徴点の数、特徴点のマッチング閾値、またはカメラパラメータ算出に用いる特徴点の範囲などを含んでよい。
　本実施形態に係る情報処理装置１０は、上記の三次元モデルパラメータの設定に基づいてモデル生成装置３０に三次元モデルを生成させ、当該三次元モデルを取得することができる。このため、情報処理装置１０は、三次元モデルパラメータに係る設定領域をユーザインタフェースに含ませてよい。
　図１３は、本実施形態に係る三次元モデルパラメータ設定領域Ｒ６に係る表示例である。図１３を参照すると、三次元モデルパラメータ設定領域Ｒ６には、項目Ｐｕｍ１、項目Ｐｔｈｒ１、及び項目Ｐｒａｎ１が表示されている。また、それぞれの設定項目には、設定項目の値を操作するためのＢａｒ３～５、及びボタンＢ３～５が表示されてもよい。
　ここで、項目Ｐｕｍ１は、抽出される特徴点の数を指定するための設定項目であってよい。モデル生成装置３０は、項目Ｐｕｍ１に設定された値に基づいて、画像から特徴点を抽出してよい。
　また、項目Ｐｔｈｒ１は、画像間でマッチングを行う際の特徴点マッチングに係る閾値を設定する設定項目であってよい。モデル生成装置３０は、項目Ｐｔｈｒ１に設定された値に基づいて、特徴点のマッチングを行ってよい。
　また、項目Ｐｒａｎ１は、カメラパラメータの算出に用いる特徴点の範囲を設定する項目であってよい。モデル生成装置３０は、項目Ｐｒａｎ１に設定された値に基づいて、カメラパラメータの算出を行ってよい。
　以上、本実施形態に係るＳＬＡＭによる三次元モデルの生成について述べた。本実施形態に係る情報処理装置１０は、上記の手法により生成された三次元モデルを用いて物理シミュレーションを実行することで、より実世界に近い生成画像を得ることが可能である。
　＜＜２．６．第１の施形態に係る制御の流れ＞＞
　次に、本実施形態に係る制御の流れについて詳細に説明する。図１４は、情報処理装置１０による制御の流れを示すフローチャートである。
　図１４を参照すると、まず、制御部１１０は、ユーザにより指定されたオリジナル画像に係る情報を取得する（Ｓ１１０１）。この際、ユーザはＳＬＡＭによる三次元モデル生成を実現するために、複数のオリジナル画像を指定できてよい。
　続いて、制御部１１０は、物理シミュレーションに係るパラメータを設定する（Ｓ１１０２）。この際、ユーザは、制御部１１０により設定されたパラメータを変更することができてよい。
　次に、モデル取得部１３０は、ステップＳ１１０１で指定されたオリジナル画像とステップＳ１１０２で設定された三次元モデルパラメータに基づいて三次元モデルを取得する（Ｓ１１０３）。
　次に、シミュレータ部１２０は、ステップＳ１１０２で設定されたパラメータとステップＳ１１０３で取得された三次元モデルに基づいて物理シミュレーションを実行する（Ｓ１１０４）。
　続いて、シミュレータ部１２０は、ステップＳ１１０２で設定されたパラメータに基づいて生成画像を取得する（Ｓ１１０５）。上述したとおり、上記の生成画像は物理シミュレーションに基づいて取得される二次元ＣＧ画像であってよい。なお、ステップＳ１１０４及びＳ１１０５は、並行して実行されてよい。
　次に、通信部１４０は、ステップＳ１１０５で取得された生成画像を機械学習装置２０に送信する（Ｓ１１０７）。また、通信部１４０は、上記の生成画像に係る報酬を機械学習装置２０に送信してもよい。この場合、機械学習装置２０は、受信した報酬に基づく強化学習を行うことができる。
　続いて、通信部１４０は、ステップＳ１１０７で送信した生成画像に対する機械学習装置２０の識別結果を受信する（Ｓ１１０８）。
　次に、制御部１１０は、ステップＳ１１０８で受信した識別結果とＳ１１０２で設定したパラメータとを対応付けて表示させる（Ｓ１１０９）。
　続いて、制御部１１０は、ステップＳ１１０７で取得された識別結果に基づいて、新たなパラメータを設定する。この際、ユーザは、制御部１１０により設定されたパラメータを変更することができてよい。
　続いて、制御部１１０は、処理を終了するか否かを判定する（Ｓ１１１０）。この際、制御部１１０は、ユーザによる操作に基づいて、終了の判定を行ってもよい。
　ここで、制御部１１０が処理を終了する場合（Ｓ１１１０：Ｙｅｓ）、情報処理装置１０は、一連の処理を終了し待機状態へと移行してもよい。一方、処理が終了されない場合（Ｓ１１１０：Ｎｏ）、情報処理装置１０は、ステップＳ１１０４～Ｓ１１１０の処理を繰り返し実行してよい。
　以上、本実施形態に係る情報処理装置１０による制御の流れを説明した。上記の説明では、ユーザによるパラメータの変更などが行われる場合を例に説明したが、本実施形態に係る情報処理装置は、オリジナル画像の指定後、自動でステップＳ１１０４～Ｓ１１１０の処理を繰り返してもよい。本実施形態に係る情報処理装置１０は、上記の処理を繰り返すことで、機械学習装置２０に継続的な学習を行わせることが可能である。すなわち、本実施形態に係る情報処理装置１０は、識別結果に基づく画像生成を繰り返すことで、機械学習装置２０の汎化性能を効率的に向上させ続けることが可能である。
　＜３．第２の実施形態＞
　＜＜３．１．第２の実施形態に係るシステム構成＞＞
　次に、本開示に係る第２の実施形態について説明する。本開示に係る第２の実施形態では、機械学習装置２０がインタフェース制御機能Ｆ１を有してよい。また、第２の実施形態においては、情報処理装置１０は、物理シミュレータ機能Ｆ３を有する物理シミュレータであってよい。すなわち、本開示に係る第２の実施形態では、機械学習装置２０がユーザインタフェースの制御を行い、情報処理装置１０による物理シミュレーションで得られた生成画像を取得することができる。
　本実施形態に係るシステムは、機械学習装置２０、情報処理装置１０、及びモデル生成装置３０を備えてよい。また、上記の各装置は、互いに通信が行えるように、ネットワーク４０を介して接続される。
　（機械学習装置２０）
　上述したとおり、第２の実施形態に係る機械学習装置２０は、インタフェース制御機能Ｆ１、及び機械学習機能Ｆ２を有する情報処理装置であってよい。すなわち、本実施形態に係る機械学習装置２０は、機械学習に係る画像生成と学習制御を行うためのユーザインタフェースを提供する機能を有する学習器であってよい。
　（情報処理装置１０）
　また、本実施形態に係る情報処理装置１０は、物理シミュレータ機能Ｆ３を有する物理シミュレータであってよい。本実施形態に係る情報処理装置１０は、機械学習装置２０から受信したパラメータに基づいて物理シミュレーションを行い、当該物理シミュレーションによって得られた生成画像を機械学習装置２０に送信する機能を有する。
　以上、本実施形態に係るシステム構成例について説明した。なお、本実施形態に係るモデル生成装置３０については、第１の実施形態に係るモデル生成装置３０と同等の機能を有してよいため、説明を省略する。
　＜＜３．２．第２の実施形態に係る機械学習装置２０＞＞
　次に、本実施形態に係る機械学習装置２０について説明する。図１５は、本実施形態に係る機械学習装置２０の機能ブロック図である。図１５を参照すると、本実施形態に係る機械学習装置２０は、制御部２１０、機械学習部２２０、モデル取得部２３０、通信部２４０を備える。なお、以降の説明においては、第１の実施形態との差異について中心に述べ、重複する機能の説明については省略する。
　（制御部２１０）
　制御部２１０は、物理シミュレーションに係るパラメータの設定に関する表示を制御する機能を有する。また、制御部２１０は、情報処理装置１０から取得した生成画像に対する機械学習部２２０の学習結果と上記のパラメータとを対応付けて、接続される表示部（図示しない）に表示させる機能を有する。
　（機械学習部２２０）
　機械学習部２２０は、情報処理装置１０による物理シミュレーションにおいて得られた生成画像に基づいて機械学習を行う機能を有する。
　（通信部２４０）
　通信部２４０は、情報処理装置１０及びモデル生成装置３０との間の通信を行う機能を有する。例えば、通信部２４０は、制御部２１０により設定されたパラメータを情報処理装置１０に送信することができる。また、通信部２４０は、上記の物理シミュレーションにおいて得られた生成画像を情報処理装置１０から受信することができる。
　以上、本実施形態に係る機械学習装置２０備える各構成について説明した。なお、モデル取得部２３０については、第１の実施形態に係るモデル取得部１３０と同等の機能を有してよいため、説明を省略する。
　＜＜３．３．第２の実施形態に係る学習結果表示＞＞
　次に、本実施形態に係る学習結果の表示について説明する。上述したとおり、機械学習装置２０の制御部２１０は、生成画像に係るパラメータと、当該生成画像に対する機械学習部２２０の学習結果を対応付けて表示させることができる。
　図１６は、本実施形態に係る学習結果表示領域Ｒ７の表示例である。図１６を参照すると、学習結果表示領域Ｒ７には、生成画像ＧＩ１１～１３と、生成画像ＧＩ１１～１３のそれぞれに関連付いたパラメータ値、及び生成画像ＧＩ１１～１３に対する機械学習部２２０の学習結果が表示されている。
　なお、図１６に示す一例では、「０」または「１」により学習結果が表示されているが、制御部２１０は、例えば、機械学習部２２０が生成画像に基づき再構成した画像を学習結果表示領域Ｒ７に表示させてもよい。また、図１６に示す一例では、生成画像に係る単一のパラメータＰ１の値が表示されているが、制御部２１０は、複数のパラメータを学習結果と対応付けて表示させてもよい。
　また、本実施形態に係る学習結果表示領域Ｒ７には、図１７に示した例に限定されず、種々の学習結果が表示されてよい。例えば、制御部２１０は、ネットワーク構造の異なる複数のニューラルネットワークによる学習結果を比較して表示させることもできる。また、制御部２１０は、生成画像に関連付いたパラメータと、当該生成画像に対するトレーニング結果及びバリデーション結果と、を対応づけて表示させることもできる。
　また、制御部２１０は、機械学習部２２０による学習経過をパラメータ値と対応付けて表示させてもよい。この際、制御部２１０は、例えば、所定のパラメータ値に対する学習誤差やトレーニング誤差などを学習曲線により示すこともできる。
　以上、本開示に係る第２の実施形態について説明した。上述したとおり、本実施形態に係る制御部２１０は、生成画像に係るパラメータ値と、当該生成画像に対する学習結果を対応付けて表示させることができる。ユーザは、学習結果表示領域Ｒ７を確認することで、機械学習部２２０による認識が困難なパラメータ領域を知覚することができる。また、ユーザは、機械学習部２２０の学習結果を確認し、種々の機械学習に係る制御を行ってよい。ユーザは、例えば、機械学習部２２０に係るネットワーク構造の変更を同一のユーザインタフェース上で実行することができる。本実施形態に係る機械学習装置２０によれば、機械学習制御に係るユーザの作業効率を大幅に改善することが可能となる。
　＜４．ハードウェア構成例＞
　次に、本開示に係る情報処理装置１０、機械学習装置２０、及びモデル生成装置３０に共通するハードウェア構成例について説明する。図１７は、本開示に係る情報処理装置１０、機械学習装置２０、及びモデル生成装置３０のハードウェア構成例を示すブロック図である。図１７を参照すると、情報処理装置１０、機械学習装置２０、及びモデル生成装置３０は、例えば、ＣＰＵ８７１と、ＲＯＭ８７２と、ＲＡＭ８７３と、ホストバス８７４と、ブリッジ８７５と、外部バス８７６と、インタフェース８７７と、入力装置８７８と、出力装置８７９と、ストレージ８８０と、ドライブ８８１と、接続ポート８８２と、通信装置８８３と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。
　（ＣＰＵ８７１）
　ＣＰＵ８７１は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ８７２、ＲＡＭ８７３、ストレージ８８０、又はリムーバブル記録媒体９０１に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。
　（ＲＯＭ８７２、ＲＡＭ８７３）
　ＲＯＭ８７２は、ＣＰＵ８７１に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。ＲＡＭ８７３には、例えば、ＣＰＵ８７１に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
　（ホストバス８７４、ブリッジ８７５、外部バス８７６、インタフェース８７７）
　ＣＰＵ８７１、ＲＯＭ８７２、ＲＡＭ８７３は、例えば、高速なデータ伝送が可能なホストバス８７４を介して相互に接続される。一方、ホストバス８７４は、例えば、ブリッジ８７５を介して比較的データ伝送速度が低速な外部バス８７６に接続される。また、外部バス８７６は、インタフェース８７７を介して種々の構成要素と接続される。
　（入力装置８７８）
　入力装置８７８には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力装置８７８としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ（以下、リモコン）が用いられることもある。
　（出力装置８７９）
　出力装置８７９には、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）、ＬＣＤ、又は有機ＥＬ等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。
　（ストレージ８８０）
　ストレージ８８０は、各種のデータを格納するための装置である。ストレージ８８０としては、例えば、ハードディスクドライブ（ＨＤＤ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。
　（ドライブ８８１）
　ドライブ８８１は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９０１に記録された情報を読み出し、又はリムーバブル記録媒体９０１に情報を書き込む装置である。
　（リムーバブル記録媒体９０１）
リムーバブル記録媒体９０１は、例えば、ＤＶＤメディア、Ｂｌｕ－ｒａｙ（登録商標）メディア、ＨＤ　ＤＶＤメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体９０１は、例えば、非接触型ＩＣチップを搭載したＩＣカード、又は電子機器等であってもよい。
　（接続ポート８８２）
　接続ポート８８２は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ　Ｃｏｍｐｕｔｅｒ　Ｓｙｓｔｅｍ　Ｉｎｔｅｒｆａｃｅ）、ＲＳ－２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９０２を接続するためのポートである。
　（外部接続機器９０２）
　外部接続機器９０２は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。
　（通信装置８８３）
　通信装置８８３は、ネットワークに接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カード、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータ、又は各種通信用のモデム等である。
　＜５．まとめ＞
　以上、説明したように、本開示に係る情報処理装置１０は、機械学習装置２０及びモデル生成装置３０との入出力を制御し、機械学習に係る画像生成と学習制御を行うためのユーザインタフェースを提供する機能を有してよい。また、情報処理装置１０は、機械学習に係る画像を生成するための物理シミュレーション機能を有してよい。また、本開示に係る機械学習装置２０は、機械学習に係る画像生成と学習制御を行うためのユーザインタフェースを提供する機能を有する学習器であってよい。係る構成によれば、ニューラルネットワークの汎化性能をより向上させることが可能となる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上記実施形態では、画像認識に関する例を中心に説明したが、本技術はかかる例に限定されない。本開示に係る技術は、例えば、工作機械、手術ロボット、病理診断、及び農業収穫に係る機械学習にも適用され得る。
　例えば、工作機械に係る機械学習を行う場合では、マシンビジョンでは認識が困難な環境を物理シミュレータに取り込むことで、種々の環境条件を再現した二次元ＣＧ画像を生成し、当該環境条件に応じた制御学習などを実現することができる。
　また、例えば、手術ロボットに係る機械学習を行う場合には、臓器や術具の認識が困難な環境を物理シミュレータに取り込むことで、臓器の反応や照明を変化させた二次元ＣＧ画像を生成し、種々の状況に応じた学習を実現することができる。
　また、例えば、病理診断に係る機械学習を行う場合には、病理スライドなどを物理シミュレータに取り込むことで、染色の強さなどを変化させた二次元ＣＧ画像を生成し、種々の検体に対応した癌判定学習などを実現することができる。
　また、例えば、農業収穫に係る機械学習を行う場合には、各種のセンサから取得したセンサ情報を物理シミュレータに取り込み、出力結果と共に学習させることで、農業収穫に係る学習を実現することができる。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　物理シミュレーションに係るパラメータの設定に関する表示を制御する制御部と、
　前記物理シミュレーションにおいて得られる前記パラメータと関連付いた画像情報を機械学習部に送信し、前記画像情報に基づいた判定結果を前記機械学習部から受信する通信部と、
　を備え、
　前記制御部は、前記判定結果と前記パラメータとを対応付けて表示部に表示させる、
　情報処理装置。
（２）
　前記パラメータの設定は、前記パラメータの値の範囲を示すパラメータ範囲を含み、
前記制御部は、前記判定結果と前記パラメータ範囲とを対応付けて前記表示部に表示させる、
前記（１）に記載の情報処理装置。
（３）
　前記パラメータの設定は、前記パラメータ範囲に係る分割情報をさらに含み、
　前記制御部は、前記判定結果と前記分割情報とをさらに対応付けて前記表示部に表示させ、
　前記画像情報は、前記パラメータ範囲と前記分割情報とに基づいて取得される、
前記（２）に記載の情報処理装置。
（４）
　前記制御部は、前記判定結果に基づいて新たなパラメータの設定を行い、
前記判定結果と前記新たなパラメータとを対応付けて前記表示部に表示させる、
前記（２）または（３）に記載の情報処理装置。
（５）
　前記判定結果は、前記画像情報に対する判定の正誤情報であり、
　前記制御部は、誤判定を示す判定結果に基づいて新たなパラメータ範囲を設定し、
　前記新たなパラメータ範囲は、前記誤判定を示す判定結果に関連付いた前記パラメータの値を含み、かつ前記判定結果に関連付いた前記パラメータ範囲よりも狭い、
前記（４）に記載の情報処理装置。
（６）
　前記制御部は、前記誤判定を示す判定結果が拡大されるように表示を制御する、
前記（５）に記載の情報処理装置。
（７）
　前記制御部は、前記判定結果に関連付いた前記パラメータ範囲を含まない新たなパラメータ範囲を設定する、
前記（４）～（６）のいずれかに記載の情報処理装置。
（８）
　前記制御部は、前記判定結果を前記パラメータの値に係るインジケータと共に前記表示部に表示させる、
前記（１）～（７）のいずれかに記載の情報処理装置。
（９）
　前記パラメータは、ユーザにより設定または変更される、
前記（１）～（８）のいずれかに記載の情報処理装置。
（１０）
　前記制御部は、前記判定結果と前記画像情報に基づいて生成される画像とをさらに対応付けて表示させる、
前記（１）～（９）のいずれかに記載の情報処理装置。
（１１）
　物理シミュレーションを行うシミュレータ部、
　をさらに備える、
前記（１）～（１０）のいずれかに記載の情報処理装置。
（１２）
　二次元画像から生成された三次元モデルを取得するモデル取得部、
　をさらに備え、
　前記シミュレータ部は、前記二次元画像から生成された三次元モデルを用いて物理シミュレーションを行う、
前記（１１）に記載の情報処理装置。
（１３）
　前記モデル取得部は、ＳＬＡＭにより生成された三次元モデルを取得する、
前記（１２）に記載の情報処理装置。
（１４）
　前記物理シミュレーションに係るパラメータは、三次元モデルパラメータをさらに含み、
　前記モデル取得部は、前記三次元モデルパラメータに基づいて前記三次元モデルを取得し、
　前記三次元モデルパラメータは、抽出される特徴点の数、特徴点のマッチング閾値、またはカメラパラメータ算出に用いる特徴点の範囲のうち少なくとも１つを含む、
前記（１３）に記載の情報処理装置。
（１５）
　前記制御部は、前記二次元画像、前記画像情報に基づいて生成される画像、または前記物理シミュレーションの実行画像のうち少なくとも１つを前記表示部に表示させる、
前記（１２）～（１４）のいずれかに記載の情報処理装置。
（１６）
　前記通信部は、前記画像情報に係る報酬を前記機械学習部に送信する、
前記（１）～（１５）のいずれかに記載の情報処理装置。
（１７）
　前記通信部は、ネットワーク構造の異なる複数のニューラルネットワークにより判定された複数の前記判定結果を受信する、
前記（１）～（１６）のいずれかに記載の情報処理装置。
（１８）
　物理シミュレーションに係るパラメータの設定に係る表示を制御する制御部と、
　前記パラメータを物理シミュレータに送信し、前記物理シミュレーションにおいて得られた画像情報を前記物理シミュレータから受信する通信部と、
　前記画像情報に基づいて機械学習を行う機械学習部と、
　を備え、
　前記制御部は、前記機械学習部による学習結果と前記パラメータとを関連付けて表示部に表示させる、
　情報処理装置。
　１０　　　情報処理装置
　１１０　　制御部
　１２０　　シミュレータ部
　１３０　　モデル取得部
　１４０　　通信部
　２０　　　機械学習装置
　２１０　　制御部
　２２０　　機械学習部
　２３０　　モデル取得部
　２４０　　通信部
　３０　　　モデル生成装置

Claims (18)

  1. 　物理シミュレーションに係るパラメータの設定に関する表示を制御する制御部と、
    　前記物理シミュレーションにおいて得られる前記パラメータと関連付いた画像情報を機械学習部に送信し、前記画像情報に基づいた判定結果を前記機械学習部から受信する通信部と、
    　を備え、
    　前記制御部は、前記判定結果と前記パラメータとを対応付けて表示部に表示させる、
    　情報処理装置。
  2. 　前記パラメータの設定は、前記パラメータの値の範囲を示すパラメータ範囲を含み、
    前記制御部は、前記判定結果と前記パラメータ範囲とを対応付けて前記表示部に表示させる、
    請求項１に記載の情報処理装置。
  3. 　前記パラメータの設定は、前記パラメータ範囲に係る分割情報をさらに含み、
    　前記制御部は、前記判定結果と前記分割情報とをさらに対応付けて前記表示部に表示させ、
    　前記画像情報は、前記パラメータ範囲と前記分割情報とに基づいて取得される、
    請求項２に記載の情報処理装置。
  4. 　前記制御部は、前記判定結果に基づいて新たなパラメータの設定を行い、
    前記判定結果と前記新たなパラメータとを対応付けて前記表示部に表示させる、
    請求項２に記載の情報処理装置。
  5. 　前記判定結果は、前記画像情報に対する判定の正誤情報であり、
    　前記制御部は、誤判定を示す判定結果に基づいて新たなパラメータ範囲を設定し、
    　前記新たなパラメータ範囲は、前記誤判定を示す判定結果に関連付いた前記パラメータの値を含み、かつ前記判定結果に関連付いた前記パラメータ範囲よりも狭い、
    請求項４に記載の情報処理装置。
  6. 　前記制御部は、前記誤判定を示す判定結果が拡大されるように表示を制御する、
    請求項５に記載の情報処理装置。
  7. 　前記制御部は、前記判定結果に関連付いた前記パラメータ範囲を含まない新たなパラメータ範囲を設定する、
    請求項４に記載の情報処理装置。
  8. 　前記制御部は、前記判定結果を前記パラメータの値に係るインジケータと共に前記表示部に表示させる、
    請求項１に記載の情報処理装置。
  9. 　前記パラメータは、ユーザにより設定または変更される、
    請求項１に記載の情報処理装置。
  10. 　前記制御部は、前記判定結果と前記画像情報に基づいて生成される画像とをさらに対応付けて表示させる、
    請求項１に記載の情報処理装置。
  11. 　物理シミュレーションを行うシミュレータ部、
    　をさらに備える、
    請求項１に記載の情報処理装置。
  12. 　二次元画像から生成された三次元モデルを取得するモデル取得部、
    　をさらに備え、
    　前記シミュレータ部は、前記二次元画像から生成された三次元モデルを用いて物理シミュレーションを行う、
    請求項１１に記載の情報処理装置。
  13. 　前記モデル取得部は、ＳＬＡＭにより生成された三次元モデルを取得する、
    請求項１２に記載の情報処理装置。
  14. 　前記物理シミュレーションに係るパラメータは、三次元モデルパラメータをさらに含み、
    　前記モデル取得部は、前記三次元モデルパラメータに基づいて前記三次元モデルを取得し、
    　前記三次元モデルパラメータは、抽出される特徴点の数、特徴点のマッチング閾値、またはカメラパラメータ算出に用いる特徴点の範囲のうち少なくとも１つを含む、
    請求項１３に記載の情報処理装置。
  15. 　前記制御部は、前記二次元画像、前記画像情報に基づいて生成される画像、または前記物理シミュレーションの実行画像のうち少なくとも１つを前記表示部に表示させる、
    請求項１２に記載の情報処理装置。
  16. 　前記通信部は、前記画像情報に係る報酬を前記機械学習部に送信する、
    請求項１に記載の情報処理装置。
  17. 　前記通信部は、ネットワーク構造の異なる複数のニューラルネットワークにより判定された複数の前記判定結果を受信する、
    請求項１に記載の情報処理装置。
  18. 　物理シミュレーションに係るパラメータの設定に係る表示を制御する制御部と、
    　前記パラメータを物理シミュレータに送信し、前記物理シミュレーションにおいて得られた画像情報を前記物理シミュレータから受信する通信部と、
    　前記画像情報に基づいて機械学習を行う機械学習部と、
    　を備え、
    　前記制御部は、前記機械学習部による学習結果と前記パラメータとを関連付けて表示部に表示させる、
    　情報処理装置。
PCT/JP2016/088889 2016-03-28 2016-12-27 情報処理装置 WO2017168898A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201680029428.6A CN107615310A (zh) 2016-03-28 2016-12-27 信息处理设备
US15/566,327 US10430707B2 (en) 2016-03-28 2016-12-27 Information processing device
EP16897113.3A EP3438892A4 (en) 2016-03-28 2016-12-27 INFORMATION PROCESSING DEVICE

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016063379A JP2017182129A (ja) 2016-03-28 2016-03-28 情報処理装置。
JP2016-063379 2016-03-28

Publications (1)

Publication Number Publication Date
WO2017168898A1 true WO2017168898A1 (ja) 2017-10-05

Family

ID=59963932

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/088889 WO2017168898A1 (ja) 2016-03-28 2016-12-27 情報処理装置

Country Status (5)

Country Link
US (1) US10430707B2 (ja)
EP (1) EP3438892A4 (ja)
JP (1) JP2017182129A (ja)
CN (1) CN107615310A (ja)
WO (1) WO2017168898A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200082262A1 (en) * 2016-12-21 2020-03-12 Intel Corporation Camera re-localization by enhanced neural regression using middle layer features in autonomous machines
EP3495992A1 (en) * 2017-12-07 2019-06-12 IMRA Europe SAS Danger ranking using end to end deep neural network
JP6950505B2 (ja) * 2017-12-08 2021-10-13 富士通株式会社 判別プログラム、判別方法および判別装置
KR101885562B1 (ko) * 2017-12-18 2018-08-06 주식회사 뷰노 제1 의료 영상의 관심 영역을 제2 의료 영상 위에 맵핑하는 방법 및 이를 이용한 장치
US10303045B1 (en) * 2017-12-20 2019-05-28 Micron Technology, Inc. Control of display device for autonomous vehicle
KR20190101677A (ko) * 2018-02-23 2019-09-02 주식회사 모비스 강화학습과 머신러닝 기법을 이용한 가속기 성능 최적화를 위한 제어 패러미터 결정 시스템
CN108921893B (zh) * 2018-04-24 2022-03-25 华南理工大学 一种基于在线深度学习slam的图像云计算方法及系统
US20210309234A1 (en) * 2018-08-03 2021-10-07 Nec Corporation Information processing apparatus, information processing method, and information processing program
JP7216190B2 (ja) * 2018-08-20 2023-01-31 シーメンス アクチエンゲゼルシヤフト プログラマブルロジックコントローラベースの人工知能用モジュール式アクセラレーションモジュール
JP7190495B2 (ja) * 2018-09-03 2022-12-15 株式会社Preferred Networks 推論方法、推論装置、モデルの生成方法及び学習装置
KR102513707B1 (ko) * 2018-09-03 2023-03-23 가부시키가이샤 프리퍼드 네트웍스 학습 장치, 추론 장치, 학습 모델 생성 방법 및 추론 방법
CN109345614B (zh) * 2018-09-20 2023-04-07 山东师范大学 基于深度强化学习的ar增强现实大屏互动的动画仿真方法
JP7110884B2 (ja) * 2018-10-01 2022-08-02 オムロン株式会社 学習装置、制御装置、学習方法、及び学習プログラム
WO2020100438A1 (ja) * 2018-11-13 2020-05-22 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
WO2020152763A1 (ja) 2019-01-22 2020-07-30 三菱電機株式会社 情報処理装置、プログラム及び情報処理方法
WO2020213748A1 (ja) * 2019-04-15 2020-10-22 株式会社シンクアウト 充血グレード提示装置および充血グレード提示方法
JP7312054B2 (ja) * 2019-08-06 2023-07-20 株式会社Subaru 車両の走行制御システム
US11200458B1 (en) 2020-06-15 2021-12-14 Bank Of America Corporation System for integration of a hexagonal image processing framework within a technical environment

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008287378A (ja) * 2007-05-16 2008-11-27 Hitachi Omron Terminal Solutions Corp 画像識別学習装置及びそれを用いた印刷物識別装置
US20140079314A1 (en) * 2012-09-18 2014-03-20 Yury Yakubovich Method and Apparatus for Improved Training of Object Detecting System
JP2014123366A (ja) * 2012-12-21 2014-07-03 Honda Motor Co Ltd 歩行者姿勢分類に適用される３次元人間モデル
JP2016006616A (ja) * 2014-06-20 2016-01-14 ヤフー株式会社 学習装置、学習方法及び学習プログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101853399B (zh) * 2010-05-11 2013-01-09 北京航空航天大学 利用计算机视觉技术进行盲道和人行横道实时检测的方法
US8570320B2 (en) * 2011-01-31 2013-10-29 Microsoft Corporation Using a three-dimensional environment model in gameplay
US8971612B2 (en) * 2011-12-15 2015-03-03 Microsoft Corporation Learning image processing tasks from scene reconstructions
EP2890300B1 (en) * 2012-08-31 2019-01-02 Kenji Suzuki Supervised machine learning technique for reduction of radiation dose in computed tomography imaging
CN104268539B (zh) * 2014-10-17 2017-10-31 中国科学技术大学 一种高性能的人脸识别方法及系统
US9632502B1 (en) * 2015-11-04 2017-04-25 Zoox, Inc. Machine-learning systems and techniques to optimize teleoperation and/or planner decisions
US9734455B2 (en) * 2015-11-04 2017-08-15 Zoox, Inc. Automated extraction of semantic information to enhance incremental mapping modifications for robotic vehicles
US10496766B2 (en) * 2015-11-05 2019-12-03 Zoox, Inc. Simulation system and methods for autonomous vehicles
WO2017079341A2 (en) * 2015-11-04 2017-05-11 Zoox, Inc. Automated extraction of semantic information to enhance incremental mapping modifications for robotic vehicles
US10627470B2 (en) * 2015-12-08 2020-04-21 Siemens Healthcare Gmbh System and method for learning based magnetic resonance fingerprinting

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008287378A (ja) * 2007-05-16 2008-11-27 Hitachi Omron Terminal Solutions Corp 画像識別学習装置及びそれを用いた印刷物識別装置
US20140079314A1 (en) * 2012-09-18 2014-03-20 Yury Yakubovich Method and Apparatus for Improved Training of Object Detecting System
JP2014123366A (ja) * 2012-12-21 2014-07-03 Honda Motor Co Ltd 歩行者姿勢分類に適用される３次元人間モデル
JP2016006616A (ja) * 2014-06-20 2016-01-14 ヤフー株式会社 学習装置、学習方法及び学習プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3438892A4 *

Also Published As

Publication number Publication date
JP2017182129A (ja) 2017-10-05
US20180082178A1 (en) 2018-03-22
CN107615310A (zh) 2018-01-19
EP3438892A4 (en) 2019-11-06
EP3438892A1 (en) 2019-02-06
US10430707B2 (en) 2019-10-01

Similar Documents

Publication Publication Date Title
WO2017168898A1 (ja) 情報処理装置
EP3824370B1 (en) Selectively alerting users of real objects in a virtual environment
US20190126484A1 (en) Dynamic Multi-Sensor and Multi-Robot Interface System
WO2019113510A1 (en) Techniques for training machine learning
US11574424B2 (en) Augmented reality map curation
US20170277559A1 (en) Classifying work processes
JP2020013563A (ja) 意味的情報に基づいてフォトリアリスティックな合成画像を生成するためのシステムおよび方法
US20220405587A1 (en) Computer-implemented method and system for generating a synthetic training data set for training a machine learning computer vision model
JP7298825B2 (ja) 学習支援装置、学習装置、学習支援方法及び学習支援プログラム
CN115880560A (zh) 经由等渗卷积神经网络的图像处理
JP6052533B2 (ja) 特徴量抽出装置および特徴量抽出方法
CN115617217A (zh) 一种车辆状态的显示方法、装置、设备及可读存储介质
Hernoux et al. A seamless solution for 3D real-time interaction: design and evaluation
US10984311B2 (en) Involved generative machine learning models for functional testing
JP2020046858A (ja) 情報処理方法、プログラム、および情報処理システム
CN116449947B (zh) 一种基于tof相机的汽车座舱域手势识别系统及方法
Sabbaghi et al. Learning of gestures by imitation using a monocular vision system on a humanoid robot
KR20210018114A (ko) 교차 도메인 메트릭 학습 시스템 및 방법
CN113808192B (zh) 一种户型图生成方法、装置、设备及存储介质
Khandade et al. MATLAB based gesture recognition
CN117274525B (zh) 一种虚拟卷尺测量仿真方法及系统
CN111325984B (zh) 样本数据的获取方法、装置和电子设备
WO2021075102A1 (ja) 情報処理装置、情報処理方法、及びプログラム
Tian [Retracted] Construction of Virtual Piano Performance System Based on Visual Gesture Recognition
CN106681516A (zh) 一种基于虚拟现实的自然人机交互系统

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 15566327

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16897113

Country of ref document: EP

Kind code of ref document: A1