WO2019021456A1 - 学習装置、認識装置、学習方法、認識方法及びプログラム - Google Patents

学習装置、認識装置、学習方法、認識方法及びプログラム Download PDF

Info

Publication number
WO2019021456A1
WO2019021456A1 PCT/JP2017/027419 JP2017027419W WO2019021456A1 WO 2019021456 A1 WO2019021456 A1 WO 2019021456A1 JP 2017027419 W JP2017027419 W JP 2017027419W WO 2019021456 A1 WO2019021456 A1 WO 2019021456A1
Authority
WO
WIPO (PCT)
Prior art keywords
learning
data
image
depth information
dimensional
Prior art date
Application number
PCT/JP2017/027419
Other languages
English (en)
French (fr)
Inventor
勉 堀川
大地 小野
Original Assignee
株式会社ソニー・インタラクティブエンタテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ソニー・インタラクティブエンタテインメント filed Critical 株式会社ソニー・インタラクティブエンタテインメント
Priority to US16/621,796 priority Critical patent/US11681910B2/en
Priority to CN201780093425.3A priority patent/CN110945537B/zh
Priority to JP2019532319A priority patent/JP6911123B2/ja
Priority to PCT/JP2017/027419 priority patent/WO2019021456A1/ja
Publication of WO2019021456A1 publication Critical patent/WO2019021456A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747—Organisation of the process, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Definitions

  • the present invention relates to a learning device, a recognition device, a learning method, a recognition method, and a program.
  • a technique that recognizes what an object represented by the three-dimensional data is by performing recognition processing using a learned model such as a three-dimensional convolutional neural network on three-dimensional data such as voxel data There is.
  • portions not appearing in the image associated with the depth information do not appear in the three-dimensional data generated based on the image. Therefore, the three-dimensional data generated in this manner will not represent the complete three-dimensional shape of the object.
  • the learned model used for recognition is a learning performed using three-dimensional data representing a complete three-dimensional shape of an object as learning data, it is represented in the image associated with the depth information. Sometimes it was not possible to accurately identify what the object was.
  • the present invention has been made in view of the above problems, and one of the objects is a learning device, a recognition device, and the like that can accurately recognize what an object represented in an image associated with depth information is. It is providing a learning method, a recognition method and a program.
  • a learning device concerning the present invention performs learning of a machine learning model used for processing which recognizes what an object represented to a picture related to depth information is.
  • a three-dimensional data acquisition unit acquiring three-dimensional data representing an object, and a learning data generation unit generating plural pieces of learning data representing a part of the object different from each other based on the three-dimensional data; And a learning unit that executes learning of the machine learning model using the generated learning data as learning data of the object.
  • the learning data generation unit generates, for each of a plurality of different positions in the virtual space where the object is arranged, generating learning data representing a part of the object visible from the position. Do.
  • the learning device executes learning of the machine learning model to which three-dimensional data generated based on an image associated with depth information as recognition target data is input.
  • the learning data generation unit generates the learning data, which is three-dimensional data, and the learning unit performs learning of the machine learning model using the three-dimensional data to be generated as learning data of the object. Run.
  • the learning device is a learning device that performs learning of the machine learning model to which an image associated with depth information is input as recognition target data, and the learning data generation unit associates the learning data generation unit with depth information.
  • the learning data which is an acquired image, is generated, and the learning unit performs learning of the machine learning model using the image associated with the generated depth information as learning data of the object.
  • the recognition device is a recognition device that executes processing for recognizing what an object represented in an image associated with depth information is, and is generated based on three-dimensional data representing the object. Based on an output when a learning model representing learning data representing a part of the different objects is learned as the learning data of the object and recognition target data to be associated with the image are input to the learning model And a recognition unit that recognizes what the object represented in the image associated with the depth information is.
  • a learning method is a learning method for executing learning of a machine learning model used in a process of recognizing what an object represented in an image associated with depth information is. Obtaining three-dimensional data representing the plurality of pieces of learning data, generating a plurality of pieces of learning data representing parts of the different objects based on the three-dimensional data, and generating the learning data to be generated as learning data of the object Performing learning of the machine learning model.
  • a recognition method is a recognition method that executes processing for recognizing what an object represented in an image associated with depth information is, and is generated based on three-dimensional data representing the object. Inputting recognition target data associated with the image to a learned model in which learning data representing a part of the different objects is learned as the learning data of the object, and the recognition target for the learned model And D. recognizing an object represented by the image associated with the depth information based on an output when data is input.
  • a program according to the present invention is a program for executing learning of a machine learning model used in processing of recognizing what an object represented in an image associated with depth information is, the third-order representing the object A procedure for acquiring original data, a procedure for generating a plurality of learning data representing a part of the different objects based on the three-dimensional data, and the machine learning using the generated learning data as the learning data of the object Have the computer execute the steps of performing model learning.
  • Another program according to the present invention is a program for executing processing for recognizing what an object represented in an image associated with depth information is, and is generated based on three-dimensional data representing the object.
  • causing the computer to execute a procedure for recognizing what the object represented in the image associated with the depth information is based on the output when the user inputs.
  • FIG. 1 is a block diagram of an information processing apparatus 10 according to an embodiment of the present invention.
  • the information processing apparatus 10 according to the present embodiment is, for example, a computer such as a game console or a personal computer.
  • the information processing apparatus 10 according to the present embodiment includes, for example, a processor 12, a storage unit 14, an operation unit 16, and a display unit 18.
  • the processor 12 is a program control device such as a CPU that operates according to a program installed in the information processing apparatus 10, for example.
  • the storage unit 14 is a storage element such as a ROM or a RAM, a hard disk drive, or the like.
  • the storage unit 14 stores programs executed by the processor 12 and the like.
  • the operation unit 16 is a user interface such as a keyboard, a mouse, and a controller of a game console, and receives an operation input from the user and outputs a signal indicating the content to the processor 12.
  • the display unit 18 is a display device such as a liquid crystal display, and displays various images according to an instruction of the processor 12.
  • the information processing apparatus 10 may include a communication interface such as a network board, an optical disc drive for reading an optical disc such as a DVD-ROM or a Blu-ray (registered trademark) disc, a Universal Serial Bus (USB) port, and the like.
  • a communication interface such as a network board
  • an optical disc drive for reading an optical disc such as a DVD-ROM or a Blu-ray (registered trademark) disc
  • a Universal Serial Bus (USB) port and the like.
  • a process of recognizing what an object represented in the image associated with the depth information is performed.
  • the above-mentioned image to be recognized may be a photographed image associated with a depth image, which is photographed by a stereo camera, a camera with an infrared distance measuring sensor, or the like.
  • depth information associated with the position and orientation of the camera at the time of capturing the captured image, and the angle of view may be generated.
  • a machine learning model such as a two-dimensional convolutional neural network (two-dimensional CNN) or a three-dimensional convolutional neural network (three-dimensional CNN) is used to recognize what the object represented in the above image is. To be executed.
  • FIG. 2 is a diagram showing an example of how objects to be learned by the machine learning model described above are arranged in the virtual space 20.
  • a teapot 22 represented by voxel data in which a position and a voxel value are associated with each other, as an example of an object to be learned by the machine learning model.
  • the representation form of three-dimensional data representing an object is not limited to voxel data.
  • the object may be represented by a wire frame, polygon, surface, solid or the like.
  • an object may be represented by a point cloud (point cloud).
  • the three-dimensional data representing the object may include color information at the position, such as grayscale gradation values and RGB values, associated with the position in the three-dimensional space.
  • learning data associated with a portion that is visible when an object is viewed from each of a plurality of different positions in the virtual space 20 shown in FIG. 2 is generated.
  • learning data associated with a portion represented by an image obtained by capturing an object by the virtual camera 24 illustrated in FIG. 2 is generated.
  • FIG. 2 three virtual cameras 24 (24a, 24b and 24c) are shown as an example.
  • an image may be generated by the virtual camera 24a, for example, when the teapot 22 is viewed from the left.
  • an image may be generated by the virtual camera 24b, for example, when the teapot 22 is viewed from the front.
  • an image may be generated by the virtual camera 24c, for example, when the teapot 22 is viewed from behind.
  • FIG. 3A shows a first portion 26a which is a portion represented in an image obtained by photographing the object by the virtual camera 24a.
  • a second portion 26b which is a portion represented in an image obtained by capturing an object by the virtual camera 24b is shown.
  • FIG. 3C shows a third portion 26c which is a portion represented in an image obtained by photographing the object by the virtual camera 24c.
  • learning of a machine learning model is performed in which learning data corresponding to each of the first portion 26a, the second portion 26b, and the third portion 26c is learning data of an object (here, for example, the teapot 22).
  • an object here, for example, the teapot 22.
  • Ru a machine learning model by learning data including three-dimensional data such as voxel data representing the first portion 26a, the second portion 26b, and the third portion 26c as input data and including the name of an object (for example, "teapot") as teacher data Learning may be performed.
  • the expression format of learning data is not limited to voxel data in which a position and a voxel value are associated with each other.
  • learning data may be expressed by three-dimensional data such as wire frame, polygon, surface, solid and the like.
  • learning data may be expressed by a point cloud (point cloud).
  • the learning data may also include information on colors at the position, such as grayscale gradation values and RGB values, associated with the position in the three-dimensional space.
  • a two-dimensional image 28 associated with depth information representing an object seen from the virtual camera 24 may be used as learning data.
  • the two-dimensional image 28 used as learning data may include information on the color of each pixel, such as gray scale gradation values and RGB values.
  • FIG. 4A to FIG. 4C a first two-dimensional image 28a representing an object seen from the virtual camera 24a, a second two-dimensional image 28b representing an object seen from the virtual camera 24b, and a virtual camera 24c, respectively.
  • a third two-dimensional image 28c is shown representing the appearance of the object.
  • a first depth image may be generated which represents the distribution of the distance from the virtual camera 24a to the subject, which is associated with each of the pixels included in the first two-dimensional image 28a, together with the first two-dimensional image 28a.
  • learning of the machine learning model may be performed using the first two-dimensional image 28a associated with the first depth image as learning data.
  • learning of a machine learning model may be performed using learning data that includes the first two-dimensional image 28a and the first depth image as input data and includes the name of an object as teacher data.
  • a second depth image may be generated which represents the distribution of the distance from the virtual camera 24b to the subject, which is associated with each of the pixels included in the second two-dimensional image 28b, together with the second two-dimensional image 28b.
  • learning of a machine learning model may be performed using the second two-dimensional image 28b associated with the second depth image as learning data.
  • learning of a machine learning model may be performed using learning data that includes the second two-dimensional image 28 b and the second depth image as input data and includes the name of an object as teacher data.
  • a third depth image may be generated which represents the distribution of the distance from the virtual camera 24c to the subject, which is associated with each of the pixels included in the third two-dimensional image 28c, together with the third two-dimensional image 28c. .
  • learning of a machine learning model may be performed using the third two-dimensional image 28c associated with the third depth image as learning data.
  • learning of a machine learning model may be performed using learning data that includes the third two-dimensional image 28c and the third depth image as input data and includes the name of an object as teacher data.
  • the learned machine learning model in which learning is performed as described above is associated with the depth information based on the output when the recognition target data is input. It is recognized what the object represented by the image is.
  • the image may include information on the color of each pixel, such as gray scale gradation values and RGB values.
  • three-dimensional data generated based on an image associated with depth information is a machine learning model that has already been learned. It may be used as input recognition target data.
  • the three-dimensional data used as the recognition target data may include color information at the position, such as grayscale gradation values and RGB values, associated with the position in the three-dimensional space.
  • the image itself associated with the depth information is a learned machine learning model. It may be used as recognition object data input to.
  • learning is performed using a plurality of learning data for one object.
  • the recognition target data is similar to any of a plurality of learning data associated with the teapot 22, the object represented in the image associated with the depth information is recognized as the teapot 22.
  • FIGS. 3A to 3C and FIGS. 4A to 4C illustrate an example in which three pieces of learning data are generated for one object
  • more or fewer learning pieces may be generated for one object.
  • Data may be generated.
  • learning data for example, corresponding to a portion that is visible when the object is viewed from the direction corresponding to any direction including not only from the side or from the front but also from the top and from the bottom
  • Twenty-four learning data may be generated.
  • generation of some learning data may be omitted from symmetry. Specifically, for example, for a symmetrical object, even if only one of the portion visible when viewed from the left or the portion visible when viewed from the right is generated as learning data is generated. Good. Also, for example, when a plurality of similar learning data are generated, only one of the learning data may be used for learning of the machine learning model.
  • FIG. 5 is a functional block diagram showing an example of functions implemented by the information processing apparatus 10 according to the present embodiment.
  • the information processing apparatus 10 according to the present embodiment not all the functions illustrated in FIG. 5 need to be implemented, and functions other than the functions illustrated in FIG. 5 may be implemented.
  • the information processing apparatus 10 functionally includes, for example, a machine learning model 30, an object data acquisition unit 32, a learning data generation unit 34, a learning unit 36, an image acquisition unit 38, and a recognition target data generation unit.
  • 40 includes a recognition unit 42.
  • the above elements are mainly implemented in the processor 12 and the storage unit 14.
  • the information processing apparatus 10 according to the present embodiment has a role as a learning apparatus that executes learning of the machine learning model 30, and a process of recognizing what an object represented in an image associated with depth information is. It plays the role of both of the recognition device to be implemented.
  • the machine learning model 30, the object data acquisition unit 32, the learning data generation unit 34, and the learning unit 36 correspond to the function of the learning device.
  • the machine learning model 30, the image acquisition unit 38, the recognition target data generation unit 40, and the recognition unit 42 correspond to the function of the recognition device.
  • the above functions may be implemented by causing the processor 12 to execute a program including instructions corresponding to the above functions installed in the information processing apparatus 10 which is a computer.
  • This program may be supplied to the information processing apparatus 10 via a computer readable information storage medium such as an optical disk, a magnetic disk, a magnetic tape, a magneto-optical disk, a flash memory, or the Internet, for example. .
  • the machine learning model 30 is, for example, a machine learning model such as a two-dimensional convolutional neural network (two-dimensional CNN) or a three-dimensional convolutional neural network (three-dimensional CNN).
  • a machine learning model such as a two-dimensional convolutional neural network (two-dimensional CNN) or a three-dimensional convolutional neural network (three-dimensional CNN).
  • the object data acquisition unit 32 acquires three-dimensional data representing an object as illustrated in FIG. 2 which is the basis of learning data.
  • the learning data generation unit 34 generates a plurality of learning data representing parts of mutually different objects based on three-dimensional data acquired by the object data acquisition unit 32.
  • learning data representing a part of the object visible from the position may be generated for each of a plurality of different positions in the virtual space 20 in which the object is disposed.
  • the learning unit 36 performs learning of the machine learning model 30 in which the learning data generated by the learning data generation unit 34 is the learning data of the object.
  • the image acquisition unit 38 acquires, for example, an image associated with the depth information to be recognized as what the represented object is.
  • the recognition target data generation unit 40 generates recognition target data to be input to the learned machine learning model 30 based on the image associated with the depth information acquired by the image acquisition unit 38. Do.
  • the recognition unit 42 generates an image based on an output when recognition target data associated with an image associated with depth information acquired by the image acquisition unit 38 is input to a learned model. Recognize what the represented object is.
  • the learning data generation unit 34 when the machine learning model 30 is a three-dimensional CNN, the learning data generation unit 34 generates learning data which is three-dimensional data such as voxel data, point cloud, wire frame, polygon, surface, solid, etc. It is also good.
  • the learning unit 36 may execute learning of a three-dimensional CNN using the generated three-dimensional data as learning data.
  • the recognition target data generation unit 40 generates three-dimensional data such as voxel data, wire frame, polygon, surface, solid, etc. based on the image acquired by the image acquisition unit 38 and associated with the depth information. It may be generated. Then, the recognition unit 42 is represented in the image associated with the depth information acquired by the image acquisition unit 38 based on the output when the recognition target data which is three-dimensional data is input to the learned three-dimensional CNN. It may recognize what the object is.
  • the learning data generation unit 34 when the machine learning model 30 is a two-dimensional CNN, the learning data generation unit 34 generates learning data that is a two-dimensional image (for example, a two-dimensional image with a depth image) associated with depth information. It is also good.
  • the learning unit 36 may perform learning of a two-dimensional CNN using the generated image as learning data.
  • the depth acquired by the image acquisition unit 38 based on the output when the recognition unit 42 inputs the image associated with the depth information acquired by the image acquisition unit 38 to the learned two-dimensional CNN. It may be recognized what is the object represented in the image associated with the color information.
  • the recognition target data generation unit 40 does not generate the recognition target data, and the image itself associated with the depth information acquired by the image acquisition unit 38 is treated as the recognition target data associated with the image. It will be. That is, in this case, the image itself associated with the depth information is input to the learned machine learning model 30 as the recognition target data associated with the image.
  • the object data acquisition unit 32 acquires three-dimensional data that is the basis of learning data (S101).
  • the learning data generation unit 34 generates a plurality of learning data associated with the object represented by the three-dimensional data, based on the three-dimensional data acquired in the process shown in S101 (S102).
  • each of the plurality of learning data represents different parts of the object represented by the three-dimensional data acquired in the process shown in S101.
  • the learning unit 36 executes learning of the machine learning model 30 by using the learning data generated in the process shown in S102 as the learning data of the object represented by the three-dimensional data acquired in the process shown in S101 (S103).
  • the image acquisition unit 38 acquires an image associated with depth information to be recognized (S201).
  • the recognition target data generation unit 40 generates recognition target data based on the image acquired in the process shown in S201 (S202).
  • the recognition unit 42 inputs the recognition target data generated in the process shown in S202 to the learned machine learning model 30, the object represented in the image obtained in the process shown in S201 is It recognizes (S203).
  • the process shown in S202 may not be performed.
  • the object represented in the image may be recognized.
  • the present invention is not limited to the above-described embodiment.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

深さ情報に関連付けられた画像に表された物体が何であるかを的確に認識できる学習装置、認識装置、学習方法、認識方法及びプログラムを提供する。物体データ取得部（３２）は、物体を表す三次元データを取得する。学習データ生成部（３４）は、三次元データに基づいて、それぞれ互いに異なる物体の一部を表す学習データを複数生成する。学習部（３６）は、生成される学習データを物体の学習データとした機械学習モデル（３０）の学習を実行する。

Description

学習装置、認識装置、学習方法、認識方法及びプログラム
　本発明は、学習装置、認識装置、学習方法、認識方法及びプログラムに関する。
　ボクセルデータ等の三次元データに対して三次元畳み込みニューラルネットワーク等の学習済モデルを用いた認識処理を実行することで、当該三次元データが表す物体が何であるかを認識する技術が知られている。
　例えば深さ情報に関連付けられた画像に基づいて生成される三次元データを上述の学習済モデルに入力した際の出力に基づいて、当該画像が表す物体が何であるかを認識することが考えられる。
　しかし、深さ情報に関連付けられた画像に表れていない部分については、当該画像に基づいて生成される三次元データには表れない。そのためこのようにして生成される三次元データは、物体の完全な三次元形状を表すものではないこととなる。
　そのため、認識に用いられる学習済モデルが物体の完全な三次元形状を表す三次元データを学習データとした学習が実行されたものである場合は、深さ情報に関連付けられた画像に表された物体が何であるかを的確に認識できないことがあった。
　本発明は上記課題に鑑みてなされたものであって、その目的の１つは、深さ情報に関連付けられた画像に表された物体が何であるかを的確に認識できる学習装置、認識装置、学習方法、認識方法及びプログラムを提供することにある。
　上記課題を解決するために、本発明に係る学習装置は、深さ情報に関連付けられた画像に表された物体が何であるかを認識する処理に用いられる機械学習モデルの学習を実行する学習装置であって、物体を表す三次元データを取得する三次元データ取得部と、前記三次元データに基づいて、それぞれ互いに異なる前記物体の一部を表す学習データを複数生成する学習データ生成部と、生成される前記学習データを前記物体の学習データとした前記機械学習モデルの学習を実行する学習部と、を含む。
　本発明の一態様では、前記学習データ生成部は、前記物体が配置される仮想空間内の互いに異なる複数の位置のそれぞれについて、当該位置から可視である当該物体の一部を表す学習データを生成する。
　また、本発明の一態様では、前記学習装置は、認識対象データとして深さ情報に関連付けられた画像に基づいて生成される三次元データが入力される前記機械学習モデルの学習を実行する学習装置であって、前記学習データ生成部は、三次元データである前記学習データを生成し、前記学習部は、生成される前記三次元データを前記物体の学習データとした前記機械学習モデルの学習を実行する。
　あるいは、前記学習装置は、認識対象データとして深さ情報に関連付けられた画像が入力される前記機械学習モデルの学習を実行する学習装置であって、前記学習データ生成部は、深さ情報に関連付けられた画像である前記学習データを生成し、前記学習部は、生成される前記深さ情報に関連付けられた画像を前記物体の学習データとした前記機械学習モデルの学習を実行する。
　また、本発明に係る認識装置は、深さ情報に関連付けられた画像に表された物体が何であるかを認識する処理を実行する認識装置であって、物体を表す三次元データに基づいて生成されるそれぞれ互いに異なる前記物体の一部を表す学習データを前記物体の学習データとして学習した学習済モデルと、前記画像に対応付けられる認識対象データを前記学習済モデルに入力した際の出力に基づいて、前記深さ情報に関連付けられた画像に表された物体が何であるかを認識する認識部と、を含む。
　また、本発明に係る学習方法は、深さ情報に関連付けられた画像に表された物体が何であるかを認識する処理に用いられる機械学習モデルの学習を実行する学習方法であって、物体を表す三次元データを取得するステップと、前記三次元データに基づいて、それぞれ互いに異なる前記物体の一部を表す学習データを複数生成するステップと、生成される前記学習データを前記物体の学習データとした前記機械学習モデルの学習を実行するステップと、を含む。
　また、本発明に係る認識方法は、深さ情報に関連付けられた画像に表された物体が何であるかを認識する処理を実行する認識方法であって、物体を表す三次元データに基づいて生成されるそれぞれ互いに異なる前記物体の一部を表す学習データを前記物体の学習データとして学習した学習済モデルに前記画像に対応付けられる認識対象データを入力するステップと、前記学習済モデルに前記認識対象データを入力した際の出力に基づいて、前記深さ情報に関連付けられた画像に表された物体が何であるかを認識するステップと、を含む。
　また、本発明に係るプログラムは、深さ情報に関連付けられた画像に表された物体が何であるかを認識する処理に用いられる機械学習モデルの学習を実行するプログラムであって、物体を表す三次元データを取得する手順、前記三次元データに基づいて、それぞれ互いに異なる前記物体の一部を表す学習データを複数生成する手順、生成される前記学習データを前記物体の学習データとした前記機械学習モデルの学習を実行する手順、をコンピュータに実行させる。
　また、本発明に係る別のプログラムは、深さ情報に関連付けられた画像に表された物体が何であるかを認識する処理を実行するプログラムであって、物体を表す三次元データに基づいて生成されるそれぞれ互いに異なる前記物体の一部を表す学習データを前記物体の学習データとして学習した学習済モデルに前記画像に対応付けられる認識対象データを入力する手順、前記学習済モデルに前記認識対象データを入力した際の出力に基づいて、前記深さ情報に関連付けられた画像に表された物体が何であるかを認識する手順、をコンピュータに実行させる。
本発明の一実施形態に係る情報処理装置の構成図である。 機械学習モデルに学習させる物体が仮想空間に配置されている様子の一例を示す図である。 第１部分の一例を示す図である。 第２部分の一例を示す図である。 第３部分の一例を示す図である。 第１二次元画像の一例を示す図である。 第２二次元画像の一例を示す図である。 第３二次元画像の一例を示す図である。 本発明の一実施形態に係る情報処理装置で実装される機能の一例を示す機能ブロック図である。 本発明の一実施形態に係る情報処理装置で行われる学習処理の流れの一例を示すフロー図である。 本発明の一実施形態に係る情報処理装置で行われる認識処理の流れの一例を示すフロー図である。
　以下、本発明の一実施形態について図面に基づき詳細に説明する。
　図１は、本発明の一実施形態に係る情報処理装置１０の構成図である。本実施形態に係る情報処理装置１０は、例えば、ゲームコンソールやパーソナルコンピュータなどのコンピュータである。図１に示すように、本実施形態に係る情報処理装置１０は、例えば、プロセッサ１２、記憶部１４、操作部１６、表示部１８を含んでいる。
　プロセッサ１２は、例えば情報処理装置１０にインストールされるプログラムに従って動作するＣＰＵ等のプログラム制御デバイスである。
　記憶部１４は、ＲＯＭやＲＡＭ等の記憶素子やハードディスクドライブなどである。記憶部１４には、プロセッサ１２によって実行されるプログラムなどが記憶される。
　操作部１６は、キーボード、マウス、ゲームコンソールのコントローラ等のユーザインタフェースであって、ユーザの操作入力を受け付けて、その内容を示す信号をプロセッサ１２に出力する。
　表示部１８は、液晶ディスプレイ等の表示デバイスであって、プロセッサ１２の指示に従って各種の画像を表示する。
　なお、情報処理装置１０は、ネットワークボードなどの通信インタフェース、ＤＶＤ－ＲＯＭやＢｌｕ－ｒａｙ（登録商標）ディスクなどの光ディスクを読み取る光ディスクドライブ、ＵＳＢ（Universal Serial Bus）ポートなどを含んでいてもよい。
　本実施形態に係る情報処理装置１０では、深さ情報に関連付けられた画像に表された物体が何であるかを認識する処理が実行される。
　ここで認識対象となる上述の画像は、ステレオカメラや赤外線測距センサ付きのカメラなどにより撮影される、デプス画像に関連付けられた撮影画像であってもよい。
　また例えば、複数の方向から被写体を撮影した撮影画像に基づいて、撮影画像を撮影した際のカメラの位置、向き、及び、画角に対応付けられる深さ情報が生成されるようにしてもよい。
　そして本実施形態では二次元畳み込みニューラルネットワーク（二次元ＣＮＮ）や三次元畳み込みニューラルネットワーク（三次元ＣＮＮ）などの機械学習モデルを用いて、上述の画像に表された物体が何であるかの認識が実行される。
　図２は、上述の機械学習モデルに学習させる物体が仮想空間２０に配置されている様子の一例を示す図である。図２には、機械学習モデルに学習させる物体の一例として、位置とボクセル値とが対応付けられたボクセルデータで表現されたティーポット２２が示されている。ここで物体を表す三次元データの表現形式はボクセルデータに限定されない。例えばワイヤフレーム、ポリゴン、サーフェス、ソリッドなどで物体が表現されてもよい。また例えばポイントクラウド（点群）で物体が表現されてもよい。また物体を表す三次元データには、三次元空間内の位置に関連付けられた、グレースケールの階調値やＲＧＢ値などといった当該位置における色の情報が含まれていてもよい。
　そして本実施形態では、図２に示す仮想空間２０内における互いに異なる複数の位置のそれぞれから物体を見た際に可視である部分に対応付けられる学習データが生成される。例えば図２に示す仮想カメラ２４が物体を撮影した画像に表される部分に対応付けられる学習データが生成される。
　図２には、一例として３つの仮想カメラ２４（２４ａ，２４ｂ，及び２４ｃ）が示されている。ここで仮想カメラ２４ａによって、例えばティーポット２２を左から見た様子を表す画像が生成されてもよい。また仮想カメラ２４ｂによって、例えばティーポット２２を前から見た様子を表す画像が生成されてもよい。また仮想カメラ２４ｃによって、例えばティーポット２２を後ろから見た様子を表す画像が生成されてもよい。図３Ａには、仮想カメラ２４ａが物体を撮影した画像に表される部分である第１部分２６ａが示されている。図３Ｂには、仮想カメラ２４ｂが物体を撮影した画像に表される部分である第２部分２６ｂが示されている。そして図３Ｃには、仮想カメラ２４ｃが物体を撮影した画像に表される部分である第３部分２６ｃが示されている。
　そして本実施形態では、第１部分２６ａ、第２部分２６ｂ、第３部分２６ｃのそれぞれに対応付けられる学習データを物体（ここでは例えばティーポット２２）の学習データとした機械学習モデルの学習が実行される。例えば、第１部分２６ａや第２部分２６ｂや第３部分２６ｃを表すボクセルデータ等の三次元データを入力データとして含み物体の名称（例えば「ティーポット」）を教師データとして含む学習データによる機械学習モデルの学習が実行されてもよい。
　ここで物体を表すデータの表現形式と同様、学習データの表現形式は位置とボクセル値とが対応付けられたボクセルデータに限定されない。例えばワイヤフレーム、ポリゴン、サーフェス、ソリッドなどの三次元データで学習データが表現されてもよい。また例えば点群（ポイントクラウド）で学習データが表現されてもよい。また学習データには、三次元空間内の位置に関連付けられた、グレースケールの階調値やＲＧＢ値などといった当該位置における色の情報が含まれていてもよい。
　また以下で説明するように、例えば、仮想カメラ２４から物体を見た様子を表す、深さ情報に関連付けられた二次元画像２８が学習データとして用いられてもよい。ここで学習データとして用いられる二次元画像２８には、グレースケールの階調値やＲＧＢ値などといった各画素の色の情報が含まれていてもよい。
　図４Ａ～図４Ｃには、それぞれ、仮想カメラ２４ａから物体を見た様子を表す第１二次元画像２８ａ、仮想カメラ２４ｂから物体を見た様子を表す第２二次元画像２８ｂ、仮想カメラ２４ｃから物体を見た様子を表す第３二次元画像２８ｃが示されている。
　そして例えば、第１二次元画像２８ａとともに、第１二次元画像２８ａに含まれる画素のそれぞれに対応付けられる、仮想カメラ２４ａから被写体までの距離の分布を表す第１デプス画像が生成されてもよい。そして第１デプス画像に関連付けられた第１二次元画像２８ａを学習データとした機械学習モデルの学習が実行されてもよい。ここで例えば、第１二次元画像２８ａ及び第１デプス画像を入力データとして含み物体の名称を教師データとして含む学習データによる機械学習モデルの学習が実行されてもよい。
　また例えば、第２二次元画像２８ｂとともに、第２二次元画像２８ｂに含まれる画素のそれぞれに対応付けられる、仮想カメラ２４ｂから被写体までの距離の分布を表す第２デプス画像が生成されてもよい。そして第２デプス画像に関連付けられた第２二次元画像２８ｂを学習データとした機械学習モデルの学習が実行されてもよい。ここで例えば、第２二次元画像２８ｂ及び第２デプス画像を入力データとして含み物体の名称を教師データとして含む学習データによる機械学習モデルの学習が実行されてもよい。
　また例えば、第３二次元画像２８ｃとともに、第３二次元画像２８ｃに含まれる画素のそれぞれに対応付けられる、仮想カメラ２４ｃから被写体までの距離の分布を表す第３デプス画像が生成されてもよい。そして第３デプス画像に関連付けられた第３二次元画像２８ｃを学習データとした機械学習モデルの学習が実行されてもよい。ここで例えば、第３二次元画像２８ｃ及び第３デプス画像を入力データとして含み物体の名称を教師データとして含む学習データによる機械学習モデルの学習が実行されてもよい。
　そして本実施形態では例えば、複数の物体について、上述のようにして学習が実行された学習済の機械学習モデルに、認識対象データが入力された際の出力に基づいて、深さ情報に関連付けられた画像が表す物体が何であるかが認識される。ここで当該画像には、グレースケールの階調値やＲＧＢ値などといった各画素の色の情報が含まれていてもよい。
　ここで例えば、ボクセルデータなどの三次元データを学習データとした学習が実行された場合は、深さ情報に関連付けられた画像に基づいて生成される三次元データが、学習済の機械学習モデルに入力される認識対象データとして用いられてもよい。ここで認識対象データとして用いられる三次元データには、三次元空間内の位置に関連付けられた、グレースケールの階調値やＲＧＢ値などといった当該位置における色の情報が含まれていてもよい。
　また例えば、二次元画像及びデプス画像などといった、深さ情報に関連付けられた画像を学習データとした学習が実行された場合は、深さ情報に関連付けられた画像自体が、学習済の機械学習モデルに入力される認識対象データとして用いられてもよい。
　ここで本実施形態では上述のように、１の物体について複数の学習データによる学習が実行される。ここで例えば認識対象データがティーポット２２に対応付けられる複数の学習データのいずれかに類似する場合に、深さ情報に関連付けられた画像に表された物体は、ティーポット２２であると認識されるようにしてもよい。
　なお図３Ａ～図３Ｃ、及び、図４Ａ～図４Ｃでは、１の物体について３個の学習データが生成される例を説明したが、１の物体について、より多い、あるいは、より少ない数の学習データが生成されてもよい。また例えば横からや前からや後からだけでなく、上からや下からも含むあらゆる向きのそれぞれに対応する、当該向きから物体を見た際に可視である部分に対応付けられる学習データ（例えば２４個の学習データ）が生成されるようにしてもよい。
　また例えば、対称性から一部の学習データの生成が省略されるようにしてもよい。具体的には例えば、左右対称な物体については、左から見た際に可視である部分又は右から見た際に可視である部分のいずれか一方のみの学習データが生成されるようにしてもよい。また例えば、類似する学習データが複数生成された場合に、これらの学習データのうちの１つだけが機械学習モデルの学習に用いられるようにしてもよい。
　深さ情報に関連付けられた画像に対応付けられる認識対象データが表す形状と物体の完全な三次元形状との間には大きな差異がある。そのため例えば図２に示されているような物体の完全な三次元形状を表す三次元データを学習データとした学習が実行された機械学習モデルを用いると、深さ情報に関連付けられた画像に表された物体が何であるかを的確に認識できないことがあった。
　このことを踏まえ、本実施形態では上述のようにして、それぞれ互いに異なる物体の一部を表す学習データによる学習が実行された機械学習モデルを用いて、深さ情報に関連付けられた画像に表された物体が何であるかの認識が行われるようにした。このようにして本実施形態によれば、深さ情報に関連付けられた画像に表された物体が何であるかを的確に認識できることとなる。
　以下、本実施形態に係る情報処理装置１０の機能、及び、情報処理装置１０で実行される処理についてさらに説明する。
　図５は、本実施形態に係る情報処理装置１０で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係る情報処理装置１０で、図５に示す機能のすべてが実装される必要はなく、また、図５に示す機能以外の機能が実装されていても構わない。
　図５に示すように、情報処理装置１０は、機能的には例えば、機械学習モデル３０、物体データ取得部３２、学習データ生成部３４、学習部３６、画像取得部３８、認識対象データ生成部４０、認識部４２、を含んでいる。以上の要素はプロセッサ１２、及び、記憶部１４を主として実装される。本実施形態に係る情報処理装置１０は、機械学習モデル３０の学習を実行する学習装置としての役割、及び、深さ情報に関連付けられた画像に表された物体が何であるかを認識する処理を実行する認識装置の役割の両方を担っている。機械学習モデル３０、物体データ取得部３２、学習データ生成部３４、及び、学習部３６が学習装置の機能に相当する。機械学習モデル３０、画像取得部３８、認識対象データ生成部４０、及び、認識部４２が、認識装置の機能に相当する。
　以上の機能は、コンピュータである情報処理装置１０にインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ１２で実行することにより実装されてもよい。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介して情報処理装置１０に供給されてもよい。
　機械学習モデル３０は、本実施形態では例えば、二次元畳み込みニューラルネットワーク（二次元ＣＮＮ）や三次元畳込みニューラルネットワーク（三次元ＣＮＮ）等の機械学習モデルである。
　物体データ取得部３２は、本実施形態では例えば、学習データの基礎となる、図２に例示するような物体を表す三次元データを取得する。
　学習データ生成部３４は、本実施形態では例えば、物体データ取得部３２が取得する三次元データに基づいて、それぞれ互いに異なる物体の一部を表す学習データを複数生成する。ここで例えば、物体が配置される仮想空間２０内の互いに異なる複数の位置のそれぞれについて、当該位置から可視である当該物体の一部を表す学習データが生成されるようにしてもよい。
　学習部３６は、本実施形態では例えば、学習データ生成部３４が生成する学習データを物体の学習データとした機械学習モデル３０の学習を実行する。
　画像取得部３８は、本実施形態では例えば、表された物体が何であるかを認識する対象となる深さ情報に関連付けられた画像を取得する。
　認識対象データ生成部４０は、本実施形態では例えば、画像取得部３８が取得する、深さ情報に関連付けられた画像に基づいて、学習済の機械学習モデル３０に入力される認識対象データを生成する。
　認識部４２は、本実施形態では例えば、画像取得部３８が取得する深さ情報に関連付けられた画像に対応付けられる認識対象データを学習済モデルに入力した際の出力に基づいて、当該画像に表された物体が何であるかを認識する。
　ここで例えば機械学習モデル３０が三次元ＣＮＮである場合に、学習データ生成部３４が、ボクセルデータ、ポイントクラウド、ワイヤフレーム、ポリゴン、サーフェス、ソリッド等の三次元データである学習データを生成してもよい。そしてこの場合に学習部３６が、生成される三次元データを学習データとした三次元ＣＮＮの学習を実行してもよい。
　そしてこの場合に、認識対象データ生成部４０が、画像取得部３８が取得する、深さ情報に関連付けられた画像に基づいて、ボクセルデータ、ワイヤフレーム、ポリゴン、サーフェス、ソリッド等の三次元データを生成するようにしてもよい。そして認識部４２が、三次元データである認識対象データを学習済の三次元ＣＮＮに入力した際の出力に基づいて、画像取得部３８が取得する深さ情報に関連付けられた画像に表された物体が何であるかを認識してもよい。
　また例えば機械学習モデル３０が二次元ＣＮＮである場合に、学習データ生成部３４が、深さ情報に関連付けられた二次元画像（例えば、デプス画像付き二次元画像）である学習データを生成してもよい。そしてこの場合に学習部３６が、生成される画像を学習データとした二次元ＣＮＮの学習を実行してもよい。
　そしてこの場合に、認識部４２が、画像取得部３８が取得する深さ情報に関連付けられた画像を学習済の二次元ＣＮＮに入力した際の出力に基づいて、画像取得部３８が取得する深さ情報に関連付けられた画像に表された物体が何であるかを認識してもよい。この場合は、認識対象データ生成部４０による認識対象データの生成は行われず、画像取得部３８が取得する深さ情報に関連付けられた画像自体が、当該画像に対応付けられる認識対象データとして取り扱われることとなる。すなわちこの場合は、深さ情報に関連付けられた画像自体が、当該画像に対応付けられる認識対象データとして学習済の機械学習モデル３０に入力されることとなる。
　ここで、本実施形態に係る情報処理装置１０で行われる学習処理の流れの一例を、図６に例示するフロー図を参照しながら説明する。
　まず、物体データ取得部３２が、学習データの基礎となる三次元データを取得する（Ｓ１０１）。
　そして学習データ生成部３４が、Ｓ１０１に示す処理で取得された三次元データに基づいて、当該三次元データが表す物体に対応付けられる複数の学習データを生成する（Ｓ１０２）。ここで上述のように、複数の学習データのそれぞれは、Ｓ１０１に示す処理で取得された三次元データが表す物体の互いに異なる一部を表すものである。
　そして学習部３６が、Ｓ１０２に示す処理で生成された学習データをＳ１０１に示す処理で取得された三次元データが表す物体の学習データとした、機械学習モデル３０の学習を実行する（Ｓ１０３）。
　ここで大量の物体について、当該物体を表す三次元データを用いたＳ１０１～Ｓ１０３に示す学習が実行されるようにしてもよい。
　次に、本実施形態に係る情報処理装置１０で行われる認識処理の流れの一例を、図７に例示するフロー図を参照しながら説明する。
　まず、画像取得部３８が、認識の対象となる深さ情報が関連付けられた画像を取得する（Ｓ２０１）。
　そして認識対象データ生成部４０が、Ｓ２０１に示す処理で取得された画像に基づいて、認識対象データを生成する（Ｓ２０２）。
　そして認識部４２が、Ｓ２０２に示す処理で生成された認識対象データを学習済の機械学習モデル３０に入力した際の出力に基づいて、Ｓ２０１に示す処理で取得された画像に表された物体を認識する（Ｓ２０３）。
　ここで上述のように、Ｓ２０２に示す処理が実行されなくてもよい。そしてこの場合にＳ２０３に示す処理で、Ｓ２０１に示す処理で取得された深さ情報に関連付けられた画像を当該画像に対応付けられる認識対象データとして学習済の機械学習モデル３０に入力した際の出力に基づいて、当該画像に表された物体が認識されてもよい。
　なお、本発明は上述の実施形態に限定されるものではない。
　また、上記の具体的な文字列や数値及び図面中の具体的な文字列や数値は例示であり、これらの文字列や数値には限定されない。

Claims (9)

  1. 　深さ情報に関連付けられた画像に表された物体が何であるかを認識する処理に用いられる機械学習モデルの学習を実行する学習装置であって、
    　物体を表す三次元データを取得する三次元データ取得部と、
    　前記三次元データに基づいて、それぞれ互いに異なる前記物体の一部を表す学習データを複数生成する学習データ生成部と、
    　生成される前記学習データを前記物体の学習データとした前記機械学習モデルの学習を実行する学習部と、
    　を含むことを特徴とする学習装置。
  2. 　前記学習データ生成部は、前記物体が配置される仮想空間内の互いに異なる複数の位置のそれぞれについて、当該位置から可視である当該物体の一部を表す学習データを生成する、
    　ことを特徴とする請求項１に記載の学習装置。
  3. 　前記学習装置は、認識対象データとして深さ情報に関連付けられた画像に基づいて生成される三次元データが入力される前記機械学習モデルの学習を実行する学習装置であって、
    　前記学習データ生成部は、三次元データである前記学習データを生成し、
    　前記学習部は、生成される前記三次元データを前記物体の学習データとした前記機械学習モデルの学習を実行する、
    　ことを特徴とする請求項１又は２に記載の学習装置。
  4. 　前記学習装置は、認識対象データとして深さ情報に関連付けられた画像が入力される前記機械学習モデルの学習を実行する学習装置であって、
    　前記学習データ生成部は、深さ情報に関連付けられた画像である前記学習データを生成し、
    　前記学習部は、生成される前記深さ情報に関連付けられた画像を前記物体の学習データとした前記機械学習モデルの学習を実行する、
    　ことを特徴とする請求項１又は２に記載の学習装置。
  5. 　深さ情報に関連付けられた画像に表された物体が何であるかを認識する処理を実行する認識装置であって、
    　物体を表す三次元データに基づいて生成されるそれぞれ互いに異なる前記物体の一部を表す学習データを前記物体の学習データとして学習した学習済モデルと、
    　前記画像に対応付けられる認識対象データを前記学習済モデルに入力した際の出力に基づいて、前記深さ情報に関連付けられた画像に表された物体が何であるかを認識する認識部と、
    　を含むことを特徴とする認識装置。
  6. 　深さ情報に関連付けられた画像に表された物体が何であるかを認識する処理に用いられる機械学習モデルの学習を実行する学習方法であって、
    　物体を表す三次元データを取得するステップと、
    　前記三次元データに基づいて、それぞれ互いに異なる前記物体の一部を表す学習データを複数生成するステップと、
    　生成される前記学習データを前記物体の学習データとした前記機械学習モデルの学習を実行するステップと、
    　を含むことを特徴とする学習方法。
  7. 　深さ情報に関連付けられた画像に表された物体が何であるかを認識する処理を実行する認識方法であって、
    　物体を表す三次元データに基づいて生成されるそれぞれ互いに異なる前記物体の一部を表す学習データを前記物体の学習データとして学習した学習済モデルに前記画像に対応付けられる認識対象データを入力するステップと、
    　前記学習済モデルに前記認識対象データを入力した際の出力に基づいて、前記深さ情報に関連付けられた画像に表された物体が何であるかを認識するステップと、
    　を含むことを特徴とする認識方法。
  8. 　深さ情報に関連付けられた画像に表された物体が何であるかを認識する処理に用いられる機械学習モデルの学習を実行するプログラムであって、
    　物体を表す三次元データを取得する手順、
    　前記三次元データに基づいて、それぞれ互いに異なる前記物体の一部を表す学習データを複数生成する手順、
    　生成される前記学習データを前記物体の学習データとした前記機械学習モデルの学習を実行する手順、
    　をコンピュータに実行させることを特徴とするプログラム。
  9. 　深さ情報に関連付けられた画像に表された物体が何であるかを認識する処理を実行するプログラムであって、
    　物体を表す三次元データに基づいて生成されるそれぞれ互いに異なる前記物体の一部を表す学習データを前記物体の学習データとして学習した学習済モデルに前記画像に対応付けられる認識対象データを入力する手順、
    　前記学習済モデルに前記認識対象データを入力した際の出力に基づいて、前記深さ情報に関連付けられた画像に表された物体が何であるかを認識する手順、
    　をコンピュータに実行させることを特徴とするプログラム。
PCT/JP2017/027419 2017-07-28 2017-07-28 学習装置、認識装置、学習方法、認識方法及びプログラム WO2019021456A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US16/621,796 US11681910B2 (en) 2017-07-28 2017-07-28 Training apparatus, recognition apparatus, training method, recognition method, and program
CN201780093425.3A CN110945537B (zh) 2017-07-28 2017-07-28 训练装置、识别装置、训练方法、识别方法和程序
JP2019532319A JP6911123B2 (ja) 2017-07-28 2017-07-28 学習装置、認識装置、学習方法、認識方法及びプログラム
PCT/JP2017/027419 WO2019021456A1 (ja) 2017-07-28 2017-07-28 学習装置、認識装置、学習方法、認識方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/027419 WO2019021456A1 (ja) 2017-07-28 2017-07-28 学習装置、認識装置、学習方法、認識方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2019021456A1 true WO2019021456A1 (ja) 2019-01-31

Family

ID=65040520

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/027419 WO2019021456A1 (ja) 2017-07-28 2017-07-28 学習装置、認識装置、学習方法、認識方法及びプログラム

Country Status (4)

Country Link
US (1) US11681910B2 (ja)
JP (1) JP6911123B2 (ja)
CN (1) CN110945537B (ja)
WO (1) WO2019021456A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020166473A (ja) * 2019-03-29 2020-10-08 三井情報株式会社 学習済みモデル生成装置、プログラム及び学習済みモデル生成システム
JP2021039563A (ja) * 2019-09-03 2021-03-11 裕樹 有光 教師データとしてのデプス画像にラベルを付与するプログラム、装置及び方法
WO2023286847A1 (ja) * 2021-07-15 2023-01-19 京セラ株式会社 認識モデル生成方法及び認識モデル生成装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112613551A (zh) * 2020-12-17 2021-04-06 东风汽车有限公司 汽车零部件识别方法、存储介质及系统
CN113240637B (zh) * 2021-05-11 2023-03-24 杭州钱塘智慧城投资开发有限公司 一种基于机器学习的墙面平整度信息化检测方法和系统
US20230131418A1 (en) * 2021-10-22 2023-04-27 Samsung Electronics Co., Ltd. Two-dimensional (2d) feature database generation

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0519052A (ja) * 1991-05-08 1993-01-26 Nippon Telegr & Teleph Corp <Ntt> ニユーラルネツトワークによる３次元物体の認識方法
JP2003346152A (ja) * 2002-05-24 2003-12-05 Sony Corp 物体認識装置及び方法並びにロボット装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5249569B2 (ja) 1973-05-22 1977-12-17
DE8900142U1 (ja) * 1989-01-07 1990-05-10 Robert Bosch Gmbh, 7000 Stuttgart, De
WO2013031161A1 (ja) * 2011-08-26 2013-03-07 パナソニック株式会社 運転支援装置
KR101919831B1 (ko) 2012-01-11 2018-11-19 삼성전자주식회사 오브젝트 인식 장치, 분류 트리 학습 장치 및 그 동작 방법
US9432720B2 (en) * 2013-12-09 2016-08-30 Empire Technology Development Llc Localized audio source extraction from video recordings
US10289962B2 (en) * 2014-06-06 2019-05-14 Google Llc Training distilled machine learning models
US20160342861A1 (en) 2015-05-21 2016-11-24 Mitsubishi Electric Research Laboratories, Inc. Method for Training Classifiers to Detect Objects Represented in Images of Target Environments
US10096151B2 (en) * 2015-07-07 2018-10-09 Varian Medical Systems International Ag Methods and systems for three-dimensional visualization of deviation of volumetric structures with colored surface structures
EP3179407B1 (en) * 2015-12-07 2022-07-13 Dassault Systèmes Recognition of a 3d modeled object from a 2d image
CN106228177A (zh) * 2016-06-30 2016-12-14 浙江大学 基于卷积神经网络的日常生活物体图像识别方法
US20180136332A1 (en) * 2016-11-15 2018-05-17 Wheego Electric Cars, Inc. Method and system to annotate objects and determine distances to objects in an image
KR20180057096A (ko) * 2016-11-21 2018-05-30 삼성전자주식회사 표정 인식과 트레이닝을 수행하는 방법 및 장치
US10417781B1 (en) * 2016-12-30 2019-09-17 X Development Llc Automated data capture
US20180189609A1 (en) * 2017-01-04 2018-07-05 Qualcomm Incorporated Training data for machine-based object recognition
EP3568811A1 (en) * 2017-02-24 2019-11-20 Deepmind Technologies Limited Training machine learning models
WO2018205274A1 (zh) * 2017-05-12 2018-11-15 深圳迈瑞生物医疗电子股份有限公司 一种超声设备及其三维超声图像的显示变换方法、系统
US10169874B2 (en) * 2017-05-30 2019-01-01 International Business Machines Corporation Surface-based object identification

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0519052A (ja) * 1991-05-08 1993-01-26 Nippon Telegr & Teleph Corp <Ntt> ニユーラルネツトワークによる３次元物体の認識方法
JP2003346152A (ja) * 2002-05-24 2003-12-05 Sony Corp 物体認識装置及び方法並びにロボット装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DEEP CONVOLUTIONAL NEUR AL NET W O R K 3 3 VIS U A L COMPU T I NG CAD 20 1 6, 19 June 2016 (2016-06-19), pages 105 - 111 *
KANAI, REN ET AL.: "3D Object Recognition using Convolutional Neural Networks with 3D Filters", 10 March 2016 (2016-03-10), pages e2-37 - e2-38 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020166473A (ja) * 2019-03-29 2020-10-08 三井情報株式会社 学習済みモデル生成装置、プログラム及び学習済みモデル生成システム
JP7267068B2 (ja) 2019-03-29 2023-05-01 三井情報株式会社 学習済みモデル生成装置、プログラム及び学習済みモデル生成システム
JP2021039563A (ja) * 2019-09-03 2021-03-11 裕樹 有光 教師データとしてのデプス画像にラベルを付与するプログラム、装置及び方法
WO2023286847A1 (ja) * 2021-07-15 2023-01-19 京セラ株式会社 認識モデル生成方法及び認識モデル生成装置

Also Published As

Publication number Publication date
CN110945537B (zh) 2023-09-22
US11681910B2 (en) 2023-06-20
JP6911123B2 (ja) 2021-07-28
US20200193632A1 (en) 2020-06-18
CN110945537A (zh) 2020-03-31
JPWO2019021456A1 (ja) 2019-12-12

Similar Documents

Publication Publication Date Title
JP6911123B2 (ja) 学習装置、認識装置、学習方法、認識方法及びプログラム
CN109859305B (zh) 基于多角度二维人脸的三维人脸建模、识别方法及装置
US9652895B2 (en) Augmented reality image transformation
JP4938093B2 (ja) ２ｄ−ｔｏ−３ｄ変換のための２ｄ画像の領域分類のシステム及び方法
CN107484428B (zh) 用于显示对象的方法
US10223839B2 (en) Virtual changes to a real object
JP2018109984A5 (ja)
EP3992919B1 (en) Three-dimensional facial model generation method and apparatus, device, and medium
JP2009080578A (ja) 多視点データ生成装置、方法及びプログラム
US20180189955A1 (en) Augumented reality (ar) method and system enhanced through efficient edge detection of image objects
WO2021048985A1 (ja) 画像処理装置、画像処理方法、及び、プログラム
CN108377374A (zh) 用于产生与图像相关的深度信息的方法和系统
US20150070714A1 (en) Image forming device, printing method, and computer-readable recording medium
JP2018045608A5 (ja)
CN108921942A (zh) 对图像进行2d转制3d的方法及装置
CN113436284A (zh) 一种图像处理方法、装置、计算机设备和存储介质
KR20140001168A (ko) Rgb-d 영상 특징점 추출 및 특징 기술자 생성 방법 및 장치
CN117036571B (zh) 图像数据生成、视觉算法模型训练、评测方法及装置
JP2012048326A (ja) 画像処理装置及びプログラム
JP2023171298A (ja) 拡張現実及び複合現実のための空間とコンテンツの適合
US20170053431A1 (en) Browser-based texture map generation and application
Narayan et al. Optimized color models for high-quality 3d scanning
Jagtap et al. Depth accuracy determination in 3-d stereoscopic image retargeting using DMA
WO2021009798A1 (ja) 画像処理装置、画像処理方法、及び、プログラム
JP6967150B2 (ja) 学習装置、画像生成装置、学習方法、画像生成方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17919479

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019532319

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17919479

Country of ref document: EP

Kind code of ref document: A1