WO2018020954A1 - 機械学習用データベース作成システム - Google Patents

機械学習用データベース作成システム Download PDF

Info

Publication number
WO2018020954A1
WO2018020954A1 PCT/JP2017/024099 JP2017024099W WO2018020954A1 WO 2018020954 A1 WO2018020954 A1 WO 2018020954A1 JP 2017024099 W JP2017024099 W JP 2017024099W WO 2018020954 A1 WO2018020954 A1 WO 2018020954A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
dimensional
unit
data
dimensional shape
Prior art date
Application number
PCT/JP2017/024099
Other languages
English (en)
French (fr)
Inventor
佑介 日永田
拓久哉 中
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to JP2018529463A priority Critical patent/JP6770577B2/ja
Priority to AU2017302833A priority patent/AU2017302833B2/en
Priority to US16/310,966 priority patent/US10878288B2/en
Publication of WO2018020954A1 publication Critical patent/WO2018020954A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/56—Information retrieval; Database structures therefor; File system structures therefor of still image data having vectorial format
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Definitions

  • the present invention relates to a machine learning database creation system.
  • mining work machines such as excavators and dump trucks are used for mining and transporting earth and sand.
  • Mining work machines used in mines are required to be unmanned from the viewpoint of safety and cost reduction.
  • dump trucks since the amount of earth and sand transported per unit time is directly linked to the progress of mining, efficient operation is required. Therefore, in order to efficiently transport a large amount of earth and sand outside the mining site, a mining system using an autonomously traveling dump truck capable of continuous operation is required.
  • an obstacle detection device such as a millimeter wave radar, a laser sensor, a camera, or a stereo camera
  • the millimeter wave radar has a high environmental resistance capable of operating even when dust or rain occurs, and has a high measurement distance performance.
  • a stereo camera or a laser sensor can measure a three-dimensional shape, an obstacle on the road can be detected with high accuracy.
  • machine learning may be used in recent years.
  • machine learning a large amount of data from each sensor is collected to analyze trends and determine parameters.
  • the threshold value was often manually designed based on design data and data obtained from verification experiments.
  • this method is based on the experience of the designer, has low reliability, and requires a large number of design steps.
  • parameter design is performed using machine learning.
  • An example is a detection system for automobiles using a camera for a collision prevention system for passenger cars.
  • other vehicles are photographed at various places and dates with cameras attached to the target vehicle, and the photographed image data is collected.
  • teacher data indicating which part of the photographed image data is a vehicle to be detected by the system is created.
  • the teacher data is often manually created for each piece of image data.
  • the object recognition system using machine learning has some problems in implementation.
  • One problem is the cost of collecting a large amount of image data.
  • it is necessary to prepare a large amount of image data and teacher data for learning. If similar information is not given as learning data, it cannot be recognized.
  • image data obtained by photographing the car from behind and teacher data are given, it is difficult to detect the vehicle when the front part of the car is visible in this system. For this reason, in order to develop an object recognition system that can detect automobiles of any posture, it is necessary to collect image data of automobiles of any posture when collecting image data for machine learning.
  • teacher data is often manually created for each piece of image data.
  • this is a method in which an area occupied by a car is designated by a rectangle or the like for a large amount of image data taken in advance, and the designated area is given as teacher data.
  • an object recognition system based on machine learning requires tens of thousands to millions of pairs of image data and teacher data, and thus it takes a lot of cost to create teacher data for machine learning. Yes.
  • Patent Document 1 a plurality of pieces of image information including an input image and a teacher image as an expected value of image processing for the input image are generated according to a scenario described in a program code, and the generated pieces of learning information are An information processing apparatus having a machine learning module that synthesizes an image processing algorithm by machine learning is disclosed.
  • the present invention has been made in view of the above-described problems, and an object thereof is to provide a machine learning database creation system that can automatically create a large amount of virtual image data and teacher data.
  • a 3D shape data input unit for inputting the 3D shape information of the terrain and building acquired by the 3D shape information measuring means, a 3D simulator unit for automatically recognizing and classifying the environment information from the 3D shape information,
  • a machine learning database creation system comprising: a teacher data output unit that outputs virtual sensor data and teacher data based on environmental information recognized by a three-dimensional simulator unit and sensor parameters of a sensor.
  • a machine learning database creation system capable of automatically creating a large amount of virtual image data and teacher data can be provided. Problems, configurations, and effects other than those described above will be clarified by the following description of embodiments.
  • the present embodiment is an example in which a machine learning database is created using the present invention, and an object recognition system is configured by a machine learning system learned by the database.
  • the machine learning database is used, for example, for object detection for an external sensing system for autonomously traveling vehicles.
  • the machine learning database by inputting the three-dimensional shape data of the environment and the three-dimensional shape data of the target object to be detected, a scene is automatically created in the three-dimensional simulator unit, and virtual image data And teacher data can be automatically generated without human intervention. Accordingly, it is possible to provide a machine learning database automatic generation system capable of providing learning information such as image data and teacher data necessary for implementing an object recognition system using machine learning at a low cost. .
  • the position and shape of the landmark for calibration are accurately measured and the vehicle position is estimated by, for example, a three-dimensional shape information acquisition unit using UAV or the like.
  • the position between the sensors and the position between the sensor vehicles can be estimated and corrected with high accuracy. Thereby, it becomes possible to operate the obstacle detection system using the sensor soundly.
  • FIG. 1 is a diagram showing the configuration of this embodiment.
  • FIG. 2 is a diagram showing an example of a detailed configuration of an embodiment of the present invention.
  • FIG. 3 is an example of a configuration for acquiring three-dimensional shape information of terrain.
  • the three-dimensional shape data input unit 11 acquires the three-dimensional shape information of the terrain of the measurement target 3, and subsequently enters the vehicle information and sensor information into the three-dimensional simulator unit 12, thereby enabling the virtual space of the environment. Is generated.
  • the teacher data output unit 13 provides virtual image data and a teacher data group to the machine learning system as a database of teacher data. Accordingly, it is possible to construct an object recognition system in which the machine learning system can learn from the virtual image data and the teacher data and can recognize the memorized measurement target object.
  • FIG. 1 a detailed configuration of the present embodiment is shown in FIG.
  • this embodiment will be described based on this configuration.
  • the 3D shape data of the measurement object 3 is given to the topographic 3D shape data input unit 111 of the 3D shape data input unit 11 using the environment 3D information acquisition unit 45.
  • a method for measuring a three-dimensional shape for example, a method of attaching a sensor such as an aerial camera 21 or a lidar to a UAV 2 (unmanned aircraft) as shown in FIG.
  • the environment three-dimensional shape information acquisition means 45 includes, for example, an unmanned aircraft, a manned aircraft, an artificial satellite, a camera, a Lidar, a millimeter wave radar, an ultrasonic sensor, and similar environmental shapes or environmental luminance and color information.
  • a sensor capable of acquiring temperature information is attached, measured, and acquired, but this configuration is not limited as long as three-dimensional shape information can be acquired.
  • the three-dimensional shape data of the environment can be acquired even in a configuration in which a camera, a Lidar, and a GPS are attached to an automobile.
  • the measurement object 3 when acquiring the three-dimensional shape information of the topography of the measurement target 3 using the UAV 2 and the aerial camera 21, in this configuration, first, the measurement object 3 is first caused to fly over. At this time, the measurement object 3 is continuously photographed by the aerial camera 21. At this time, it is desirable to shoot so that the captured image overlaps with the other captured images about 80% before and after, and about 60% lateral.
  • FIG. 4 shows a method for acquiring three-dimensional shape information from an image photographed using UAV2.
  • FIG. 4 is an example of a method for generating a three-dimensional shape of the terrain.
  • the 3D point cloud generation unit 41 which is an algorithm implemented on the 3D reconstruction computer 4, using the image 211 captured by the UAV 2, uses Structure from Motion (SfM) and Multi View Stereo (MVS).
  • SfM Structure from Motion
  • MVS Multi View Stereo
  • the three-dimensional shape information of the measurement object 3 can be obtained as point cloud information.
  • the surface generation unit 42 meshes it to generate three-dimensional surface information having texture information and surface normal vector information.
  • the three-dimensional shape information is stored in the three-dimensional shape information storage unit 43. Since these techniques are known techniques, they are omitted here. Thus, the three-dimensional terrain shape data 44 to be measured was obtained.
  • the object three-dimensional information acquisition unit 46 may have a configuration similar to the environment three-dimensional information acquisition unit 45.
  • means for acquiring three-dimensional shape information of an object by using a monocular camera or a plurality of cameras and SfM and MVS, or a method of measuring using Lidar can be considered. Since these techniques are also known, they are omitted here.
  • this information is given as information having actual scale information such as a meter. Will also be given.
  • the input object information is a vehicle
  • the tire portion is set as the downward direction
  • the roof direction is set as the upward direction of the object.
  • a plurality of types of three-dimensional shape information provided from the object three-dimensional information acquisition means 46 may be used.
  • the object three-dimensional shape data input unit 112 includes a three-dimensional shape of the dump truck, the excavator, and the worker. Enter the data.
  • the terrain 3D shape data input unit 111 passes the received 3D shape information of the terrain to the 3D environment recognition unit 121. Based on this information, the three-dimensional environment recognition unit 121 automatically recognizes the received environment information of the terrain. As an example, a method in which the three-dimensional environment recognition unit 121 extracts a travelable area of an arbitrary vehicle as environment information from the three-dimensional shape information of the terrain will be described with reference to FIG. FIG. 5 is an example of a processing procedure of the three-dimensional environment recognition unit.
  • the three-dimensional shape information of the A mine is input here (S11).
  • the three-dimensional shape information is received as three-dimensional point group information.
  • the three-dimensional shape information of the object to be detected is acquired (S12).
  • information on the subject vehicle and sensor information are acquired (S13).
  • information on the vehicle type A is given here as information on the own vehicle.
  • the information to be given includes the shape of the host vehicle, the speed range when traveling, the climbing performance of uphill and downhill, and the climbing performance of steps and obstacles.
  • the sensor information is the type of sensor mounted on the vehicle to recognize obstacles and the measurement performance. For example, when the camera is targeted as a sensor, the camera resolution, frame rate, lens focal length, distortion, etc. Sensor internal position information such as camera installation position and angle.
  • the travelable area of the host vehicle is estimated from the obtained terrain information.
  • a normal vector is calculated for each point based on each point of the three-dimensional point group and surrounding points (S14).
  • the surrounding points with respect to an arbitrary point serving as a reference for calculating the normal vector are within a distance ⁇ 1 from the arbitrary point.
  • the distance ⁇ 1 is a threshold value set in advance by the user.
  • the calculated normal vector of each point is compared with the gravity vector.
  • a point cloud having a normal vector tilted by ⁇ or more is deleted (S15).
  • a clustering process is performed on the remaining point groups based on the Euclidean distance between the point groups (S16).
  • points are clustered based on a preset threshold value ⁇ 2. For example, when it is determined that a point within the threshold ⁇ 2 is connected to an arbitrary point A and a point B, and a point that is more than the threshold ⁇ 2 is not connected, the distance between the arbitrary point A and the arbitrary point B is Even when the distance is greater than or equal to the threshold ⁇ 2, it is assumed that the point A and the point B are classified into the same class when they can reach an arbitrary point B by passing through a point within a distance within the other threshold ⁇ 2. .
  • FIG. 6 is an example of a recognition result of the three-dimensional environment recognition unit.
  • the automatic scenario creation unit 122 has a role of creating a scene from the obtained 3D shape information of the terrain and 3D shape information of the object. For example, it is assumed that dump truck object three-dimensional shape data 1121 as shown in FIG. 7 is given as a detection target of the object recognition system.
  • FIG. 7 is an example of object three-dimensional shape data handled in an embodiment of the present invention.
  • the automatic scenario creation unit 122 determines where the dump truck can exist from the dump truck, the three-dimensional shape data of the terrain given from the three-dimensional environment recognition unit 121, and the environment information. To do. For example, when one point is selected at random from the point group determined to be a travelable area by the three-dimensional environment recognition unit 121 and a dump truck is arranged there, the footprint of the dump truck deviates from the travelable area. Judge whether to do. If it deviates, the point is selected again at random, and if it does not deviate, it is determined to place a dump truck at that point.
  • the scenario automatic creation unit 122 gives the information to the three-dimensional virtual space generation unit 125, and virtually arranges the dump truck based on the scenario set by the scenario automatic creation unit 122.
  • An example of this is shown in FIG. FIG. 8 is an example of a scene generated by the three-dimensional virtual space generation unit.
  • the object 3D shape data 1121 of the dump truck is synthesized with the 3D landform shape data 44. Further, the three-dimensional shape data 1121 of the dump truck is arranged on the travelable area. Based on the above processing, the three-dimensional simulator unit 12 generates a three-dimensional virtual space.
  • the teacher data generation unit 131 of the teacher data output unit 13 Based on the information of the finally generated three-dimensional virtual space, the teacher data generation unit 131 of the teacher data output unit 13 generates teacher data, and the virtual sensor data generation unit 132 generates virtual sensor data.
  • the position of the host vehicle in the three-dimensional virtual space is determined based on the vehicle information input in the vehicle parameter input unit 123 of the three-dimensional simulator unit 12. This is the same as the method of arranging the object three-dimensional shape data 1121 described in the automatic scenario creation unit 122, but the footprint of the object three-dimensional shape data 1121 arranged in advance and the footprint of the own vehicle are superimposed. If so, redo the point selection.
  • virtual sensor data is generated in the virtual sensor data generation unit 132 according to the parameter input in the sensor parameter input unit 124 of 124.
  • the input sensor data is for a camera
  • a two-dimensional image that the camera can acquire is obtained by perspective projection conversion based on the installation position of the camera, the performance of the image element, and the performance and distortion of the lens.
  • FIG. 9 is an example of virtual sensor data generated by the virtual sensor data generation unit.
  • teacher data corresponding to the virtual sensor data 1321 is created.
  • Environment information recognized by the three-dimensional environment recognition unit 121 is used to create the teacher data.
  • the environment information is stored for each pixel of the 2D image obtained as the virtual sensor data.
  • Teacher data is generated in the teacher data generation unit 131.
  • FIG. 10 is an example of teacher data generated by the teacher data generation unit.
  • FIG. 11 shows an example of a method for operating the object recognition algorithm using the generated virtual sensor data and teacher data.
  • the virtual sensor data 1321 and the teacher data 1311 are given to the machine learning system 511 of the machine learning computer 5 to perform machine learning.
  • a machine learning method used here Support Vector Machine, Boosting, a neural network, or an advanced method thereof can be considered. Since these methods are known techniques, they are omitted here.
  • the obtained learning result 52 is given as a parameter of the object recognition algorithm 62.
  • an appropriate feature amount for recognizing an object to be detected, a threshold necessary for object recognition using the feature amount, and the like can be considered.
  • the object recognition algorithm 62 to which this parameter has been input detects a learned object or a similar object from the information obtained from the vehicle external sensor 61 and passes the information to the detection result output unit 63. An example is shown in FIG. FIG. 12 is an example of a detection result by the object recognition algorithm.
  • the position of the vehicle ahead of the host vehicle is displayed as the detection result 71 on the display 7 installed in the vehicle.
  • a method of notifying with an alarm when the subject vehicle is too close to the target object may be considered.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Data Mining & Analysis (AREA)
  • Remote Sensing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Library & Information Science (AREA)
  • Astronomy & Astrophysics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Processing (AREA)

Abstract

簡便に大量の仮想画像データと教師データを自動作成可能な機械学習用データベース作成システムを提供することを目的とする。３次元形状情報計測手段により取得した地形や建物の３次元形状情報を入力する３次元形状データ入力部と、環境情報を３次元形状情報から自動的に認識し分類を行う３次元シミュレータ部と、３次元シミュレータ部が認識した環境情報およびセンサのセンサパラメータに基づき、仮想センサデータおよび教師データを出力する教師データ出力部と、を有する機械学習用データベース作成システム。

Description

機械学習用データベース作成システム
　本発明は、機械学習用データベース作成システムに関する。
　一般に鉱山においては、土砂の採掘作業および運搬作業として油圧ショベルやダンプトラックなどの鉱山用作業機械が用いられている。鉱山に用いられる鉱山用作業機械としては、安全性や低コスト化の観点から無人化が求められる。ダンプトラックにおいては、単位時間当たりの土砂の運搬量が採掘の進捗度に直結するため、効率の良い運用が求められる。したがって、土砂を効率良く採掘現場の外に大量に運搬するためには、連続運転可能な自律走行式のダンプトラックを用いた鉱山システムが必要とされている。
　ところが、ダンプトラックを走行させる鉱山の走行路はオフロードであって悪路が多いため、ダンプトラックを自律走行させて無人運転させる際、土壁や他車両等の障害物との衝突が懸念される。仮に、走行路上に障害物が生じ、自律走行式の無人のダンプトラックが障害物と接触して停止した場合には、鉱山の運行を長時間に亘って停止させてしまう。よって、自律走行式のダンプトラックの信頼性を高めるためには、前方車両や走行路上の障害物を早期に検知して、前方車両の追従走行や障害物の回避走行を行わせることが可能な信頼性の高い障害物検知システムが必要となる。
　従来、この種の前方車両および障害物検知システムとしては、ミリ波レーダ、レーザセンサ、カメラまたはステレオカメラ等の障害物検知装置が用いられている。ミリ波レーダは砂埃や雨などが生じた場合も動作可能な高い耐環境性を有し、測定距離性能も高い。一方で、ステレオカメラやレーザセンサは、三次元形状を計測できるため、路上の障害物を精度よく検出することができる。これらのセンサを組み合わせることで、障害物の検出性能を向上させる方法もある。
　また、高性能な障害物検出システム及び物体認識システムを開発するにあたって、近年では機械学習が用いられることがある。機械学習では、各センサのデータを大量に集めることにより、傾向を分析し、パラメータ決定を行う。旧来は閾値を設計データや検証実験によるデータに基づき人手で設計することが多かったが、この手法は設計者の経験に基づいており、信頼性が低く、また設計工数も大きくなる。こういった問題を解決するために、現在では機械学習を用いてパラメータ設計を行うことが大半である。
　一例として乗用車の衝突防止システム向けのカメラによる自動車などの検出システムを挙げる。まず、対象の車両に取り付けたカメラで様々な場所や、日時において他車両を撮影し、撮影した画像データを集める。続いて、この撮影した画像データのどの箇所がシステムで検出すべき車両であるかを示す、教師データを作成する。この教師データは一般的に画像データ一枚ごとに人手で作成することが多い。この画像データと作成した教師データを用いて、機械学習させることにより、自動車の画像上の特徴を学習することができ、またこの学習した結果に基づきパラメータ設定することにより、画像中の人を計算機で自動的に認識することのできる物体認識システムを開発することができる。こういった機械学習システムとして近年よく用いられているのはＳｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　ＭａｃｈｉｎｅやＢｏｏｓｔｉｎｇ、ニューラルネットワークなどの手法である。
　しかしながら、この機械学習を用いた物体認識システムには実装する上でいくつか問題がある。ひとつは大量の画像データを収集するコストの問題である。機械学習システムに基づいた物体認識システムを開発する場合、学習させるために大量の画像データと教師データを準備する必要がある。類似の情報を学習データとして与えていない場合、認識できない。例えば自動車を検出するシステムを作成する場合、自動車を後方から撮影した画像データと教師データを与えた場合、このシステムでは自動車の前方部が見えた場合に、その車両を検出することは難しい。そのため、あらゆる姿勢の自動車を検出可能な物体認識システムを開発するためには、機械学習用の画像データを収集する際に、あらゆる姿勢の自動車の画像データを収集しなければならない。
　もうひとつは教師データを収集するコストの問題である。前述したとおり、教師データは一般的に画像データ一枚ごとに人手で作成することが多い。例えば、自動車を検出するシステムの場合は、事前に撮影した大量の画像データに対し、自動車が占める領域を矩形などで指定していき、その指定した領域を教師データとして与える方法である。一般的に機械学習による物体認識システムではこういった画像データと教師データのペアを数万から数百万単位で必要とするため、機械学習のための教師データの作成には大きなコストがかかっている。
　また、こういったシステムを鉱山で実施する場合、一般道と環境が大きく異なるため、鉱山環境で撮影した画像データを用い機械学習するのが望ましい。しかし、規格が統一されている一般道に比べ、鉱山環境は採掘対象、現場の地質等によって大きく異なるため、ある鉱山で撮影、作成した画像データ、及び教師データを他の鉱山用の物体認識システム用の学習データとして流用することが困難である。そういった問題を解決するためには、この画像データ、及び教師データを鉱山の現場ごとに作成することで、より高い検出性能を有した物体認識システムを実装することができるが、これを実現するためには前述した画像データ及び教師データの作成コストの高さがネックになってしまう。
　例えば特許文献１にはプログラムコードで記述されたシナリオに従って、入力画像とこの入力画像に対する画像処理の期待値としての教師画像からなる複数の画像情報を生成し、前記生成された複数の学習情報を機械学習により、画像処理アルゴリズムを合成する機械学習モジュールを有した情報処理装置が公開されている。
特開２０１６－７１５９７公報
　しかしながら、この手法は事前に撮影した複数の原画像と教師データを元に、類似の学習情報を生成するため、画像データの撮影と教師データの人手による作成は行う必要がある。本手法を用いて画像データと教師データの作成コストを減らすためには、教師データを作成するための元となる原画像を減らすしかないが、機械学習による物体認識システムでは、学習情報を与える際に、それぞれ似通った情報を与えた場合、過学習により検出性能が下がることが一般的に知られている。そのため、特許文献１の手法を少ない原画像を元に適用した場合、過学習が起こる可能性があり、これを避けるためには原画像を大量に集める必要性があり、結果としてこの手法によって削減できる画像データと教師データの作成コストは微小であると想定される。
　本発明は、以上の課題を鑑みてなされたものであり、簡便に大量の仮想画像データと教師データを自動作成可能な機械学習用データベース作成システムを提供することを目的とする。
　上記課題を解決するための本発明の特徴は、例えば以下の通りである。
　３次元形状情報計測手段により取得した地形や建物の３次元形状情報を入力する３次元形状データ入力部と、環境情報を３次元形状情報から自動的に認識し分類を行う３次元シミュレータ部と、３次元シミュレータ部が認識した環境情報およびセンサのセンサパラメータに基づき、仮想センサデータおよび教師データを出力する教師データ出力部と、を有する機械学習用データベース作成システム。
　本発明により、簡便に大量の仮想画像データと教師データを自動作成可能な機械学習用データベース作成システムを提供できる。上記した以外の課題、構成及び効果は以下の実施形態の説明により明らかにされる。
本発明の一実施形態の構成を示した図である。 本発明の一実施形態の詳細の構成の一例について示した図である。 地形の３次元形状情報を取得する構成の一例である。 地形の３次元形状を生成する手法の一例である。 ３次元環境認識部の処理手順の一例である。 ３次元環境認識部の認識結果の一例である。 本発明の一実施形態で取り扱う物体３次元形状データの一例である。 ３次元仮想空間生成部において生成したシーンの一例である。 仮想センサデータ生成部において生成した仮想センサデータの一例である。 教師データ生成部において生成した教師データの一例である。 生成した仮想センサデータと教師データを用いて物体認識アルゴリズムを動作させる方式の一例である。 物体認識アルゴリズムによる検出結果の一例である。
　以下、図面等を用いて、本発明の実施形態について説明する。以下の説明は本発明の内容の具体例を示すものであり、本発明がこれらの説明に限定されるものではなく、本明細書に開示される技術的思想の範囲内において当業者による様々な変更および修正が可能である。また、本発明を説明するための全図において、同一の機能を有するものは、同一の符号を付け、その繰り返しの説明は省略する場合がある。
　本実施例は、本発明を用いて機械学習用データベースを作成し、そのデータベースによって学習した機械学習システムによる物体認識システムを構成する場合の一例である。機械学習用データベースは、例えば、自律走行車両向けの外界センシングシステムのための物体検出に用いられる。
　本実施例に係る機械学習用データベースでは、環境の３次元形状データと検出したい対象の物体の３次元形状データを入力することにより、３次元シミュレータ部において自動的にシーンを作成し、仮想画像データと教師データを人手によることなく自動的に生成することができる。これにより、機械学習を用いた物体認識システムを実装する上で必要な画像データと教師データといった学習情報を低コストで提供することが可能な、機械学習用データベース自動生成システムを提供することができる。
　本実施例に係るセンサキャリブレーションシステムにおいては、例えばＵＡＶなどを用いた３次元形状情報取得手段により、キャリブレーション用のランドマークの位置及び形状を正確に測定し、かつ車両位置を推定することで、センサ間位置及びセンサ車両間の位置を高精度に推定、補正することができる。これによりセンサを用いた障害物検出システムを健全に動作させることが可能となる。
　図１は、本実施例の構成について示した図である。図２は、本発明の一実施形態の詳細の構成の一例について示した図である。図３は、地形の３次元形状情報を取得する構成の一例である。
　本実施例ではまず、３次元形状データ入力部１１において計測対象３の地形の３次元形状情報を取得し、続いて車両情報、センサ情報を３次元シミュレータ部１２に入れることにより、環境の仮想空間を生成する。続いてその仮想空間の情報と、事前に得られた車両情報とセンサ情報に基づいて、教師データ出力部１３において仮想画像データ、教師データ群を機械学習システムに教師用データのデータベースとして与える。これにより、機械学習システムが仮想画像データと教師データをもとに学習し、覚えさせた計測対象の物体を認識することが可能な物体認識システムを構築することができる。
　続いて、本実施例の詳細な構成について図２に示す。以降この構成に基づき、本実施例について説明する。
　まず、環境３次元情報取得手段４５を用い、３次元形状データ入力部１１の地形３次元形状データ入力部１１１に計測対象３の３次元形状データを与える。３次元形状を計測する方法（３次元形状情報計測手段）としては例えば図３に示すようなＵＡＶ２（無人航空機）に空撮用カメラ２１やＬｉｄａｒなどのセンサを取り付ける方法などが考えられる。このとき、環境３次元形状情報取得手段４５は例えば無人航空機、及び有人航空機、人工衛星などの機体にカメラ、Ｌｉｄａｒ、ミリ波レーダ、超音波センサ及びそれに類する環境の形状もしくは環境の輝度、色情報、温度情報を取得することが可能なセンサを取り付け、計測し、取得したものとするが、３次元形状情報が取得可能であればこの構成は限定されない。また、自動車にカメラやＬｉｄａｒ及びＧＰＳを取り付けた構成などでも環境の３次元形状データを取得可能である。
　図２に示すようにＵＡＶ２と空撮用カメラ２１を用いて計測対象３の地形の３次元形状情報を取得する場合、この構成ではまず、計測対象３の上空を飛行させる。この際に、空撮用カメラ２１で計測対象３を連続撮影する。このとき、撮影した画像の前後が８０％前後、横が６０％前後他の撮影した画像と重なるよう撮影するのが望ましいとされている。
　続いて、ＵＡＶ２を用いて撮影した画像から３次元形状情報を取得する方法について図４に示す。図４は、地形の３次元形状を生成する手法の一例である。ＵＡＶ２によって撮影した画像２１１を用いて、３次元復元用計算機４上に実装されたアルゴリズムである３次元点群生成部４１では、Ｓｔｒｕｃｔｕｒｅ　ｆｒｏｍ　Ｍｏｔｉｏｎ（ＳｆＭ）及びＭｕｌｔｉ　Ｖｉｅｗ　Ｓｔｅｒｅｏ（ＭＶＳ）を用いることで、計測対象３の３次元形状情報を点群情報として得ることができる。この３次元点群情報を元に、サーフェイス生成部４２ではこれをメッシュ化し、テクスチャ情報とサーフェイスの法線ベクトル情報を有した３次元サーフェイス情報を生成する。この３次元形状情報を３次元形状情報格納部４３に保存する。なおこれらの技術に関しては、公知の技術のため、ここでは割愛する。こうして計測対象の３次元地形形状データ４４を得ることができた。
　続いて、機械学習システム５１を用いた物体認識システムにおいて計測対象としたい物体の３次元情報を物体３次元情報取得手段４６において計測し、３次元形状情報を３次元の点群、及びメッシュ情報として、３次元形状データ入力部１１の物体３次元形状データ入力部１１２に与える。このとき、この物体３次元情報取得手段４６は環境３次元情報取得手段４５と類似の構成が考えられる。例えば、単眼カメラもしくは複数カメラとＳｆＭ及びＭＶＳを用いることにより、物体の３次元形状情報を取得する手段や、あるいはＬｉｄａｒを用いて計測する方法などが考えられる。なお、これらの技術も公知であるため、ここでは割愛する。なお、物体の３次元形状情報を物体３次元形状データ入力部１１２に入力する際、この情報はメートルなど実際のスケール情報を有した情報で与えるとし、また物体３次元形状情報の上下方向の情報も与えることとする。例えば、入力する物体の情報が車両の場合、タイヤ部分を下方向とし、屋根方向を物体の上方向と設定する。
　なお、このとき物体３次元情報取得手段４６から与える３次元形状情報は複数種類でも良い。例えば、最終的にダンプトラック、ショベルカー、及び作業者を認識可能な物体認識システムを構成する場合、物体３次元形状データ入力部１１２には、ダンプトラック、ショベルカー、及び作業者の３次元形状データを入力する。
　以上により、必要な３次元形状情報を３次元形状データ入力部１１が取得できたので、続いてこれらの情報を用いた処理について説明する。
　地形３次元形状データ入力部１１１は受け取った地形の３次元形状情報を３次元環境認識部１２１に渡す。３次元環境認識部１２１ではこの情報を元に、受け取った地形の環境情報を自動的に認識する。一例として、図５に３次元環境認識部１２１が地形の３次元形状情報から、任意の車両の走行可能領域を環境情報として抽出する手法について解説する。図５は、３次元環境認識部の処理手順の一例である。
　まず、ターゲットとする環境の地形の３次元形状情報を取得する。例えば、Ａ鉱山で利用するシステムの場合、ここにはＡ鉱山の３次元形状情報を入力する（Ｓ１１）。ここでは、その３次元形状情報は３次元の点群情報として受け取ると仮定する。続いて、検出対象の物体の３次元形状情報を取得する（Ｓ１２）。続いて対象とする自車両の情報と、センサの情報を取得する（Ｓ１３）。ここで対象とする自車両とは、例えば、作成するデータベースを用いて、実装する物体認識システムを車種Ａ向けに開発したいとする場合、ここでは車種Ａの情報を自車両の情報として与える。このとき、与える情報は自車両の形状や、走行する際の速度域、上り坂、下り坂の走破性能、段差や障害物などの乗り越え性能などである。センサ情報は障害物を認識させるために自車に搭載するセンサの種別や、計測性能であり、例えばセンサとしてカメラを対象とする場合は、カメラの解像度、フレームレート、レンズの焦点距離、歪みなどの内部パラメータ、及びカメラの設置位置、角度といったセンサの設置位置情報を与える。続いて、得られた情報に基づき、得られた地形情報から自車の走行可能領域を推定する。まず、３次元点群の各点とその周囲の点に基づき、法線ベクトルを各点ごとに算出する（Ｓ１４）。このとき、法線ベクトルを算出する基準となる任意の点に対する周囲の点は、任意の点から距離ε１以内にあることを判断基準とする。距離ε１はユーザによって事前に設定される閾値である。このとき、任意の点に対する周囲の点の探索にはＫｄ－ｔｒｅｅ法やＬＳＨ法などの高速な近傍点探索手法を用いることが望ましい。続いて算出した各点の法線ベクトルを重力のベクトルと傾きを比較する。このとき、θ以上傾いている法線ベクトルを有す点群を削除する（Ｓ１５）。このとき、θは自車両が登坂、降坂可能な角度に基づき設定するのが望ましい。続いて、残った点群に対し、これらを点群間のユークリッド距離に基づきクラスタリング処理を実施する（Ｓ１６）。このクラスタリング処理では事前に設定した閾値ε２に基づき、点群をクラスタリングする。例えば任意の点Ａと点Ｂに対し、閾値ε２以内の点は繋がっているとし、閾値ε２以上離れている点は繋がっていないと判断したとき、任意の点Ａと任意の点Ｂの距離が閾値ε２以上離れている場合でも、他の閾値ε２以内の距離にある点を伝うことで、任意の点Ｂにたどり着くことができる場合、この点Ａと点Ｂは同じクラスに分類されるとする。点群のすべての点のクラスタリングを実施後、すべての点を３次元座標から高さを取り除いた２次元座標系に投影する。Ｓ１６で分類したクラスごとに構成される点群すべてを過不足なく包含する矩形を求め、その面積が事前の閾値以下の領域は走行可能領域ではないとしてそれらのクラスに属す点群を除去する（Ｓ１７）。これらの処理の後、残った領域を走行可能な領域とし、環境情報として記録する（Ｓ１８）。
　以上の処理によって抽出された環境情報の一例を図６に示す。ここで、領域Ａは空白の領域、領域Ｂは自車が走行不可能な領域、領域Ｃは自車が走行可能な領域と分類されている。図６は、３次元環境認識部の認識結果の一例である。
　続いて、３次元環境認識部１２１で認識した環境情報をシナリオ自動作成部１２２に与える。シナリオ自動作成部では、得られた地形の３次元形状情報と物体の３次元形状情報から、シーンを作成する役割を有している。例えば物体認識システムの検出対象として図７のようなダンプトラックの物体３次元形状データ１１２１が与えられたとする。図７は、本発明の一実施形態で取り扱う物体３次元形状データの一例である。
　続いて、シナリオ自動作成部１２２ではこのダンプトラックと、３次元環境認識部１２１から与えられた地形の３次元形状データ及び、環境情報から、このダンプトラックがどこの領域になら存在しうるかを判定する。例えば、３次元環境認識部１２１で走行可能な領域であると判定した点群からランダムに１点を選択し、そこにダンプトラックを配置する場合、ダンプトラックのフットプリントが走行可能な領域から逸脱しないかを判定する。逸脱している場合は、再度点をランダムに選択し、逸脱していなかった場合はその箇所にダンプトラックを配置すると決定する。それらの情報をシナリオ自動作成部１２２は３次元仮想空間生成部１２５に与え、シナリオ自動作成部１２２が設定したシナリオに基づきダンプトラックを仮想的に配置する。その一例を図示したものを図８に示す。図８は、３次元仮想空間生成部において生成したシーンの一例である。
　３次元地形形状データ４４にダンプトラックの物体３次元形状データ１１２１が合成されている様子がわかる。また、ダンプトラックの物体３次元形状データ１１２１は、走行可能領域上に配置されている。以上の処理に基づき、３次元シミュレータ部１２において、３次元仮想空間が生成された。
　最後に生成した３次元仮想空間の情報に基づき、教師データ出力部１３の教師データ生成部１３１において教師データを、仮想センサデータ生成部１３２において仮想センサデータを生成する。まず３次元シミュレータ部１２の車両パラメータ入力部１２３において入力された車両情報に基づき、３次元仮想空間上の自車の位置を決定する。これは、シナリオ自動作成部１２２において説明した物体３次元形状データ１１２１を配置する手法と同様であるが、事前に配置した物体３次元形状データ１１２１のフットプリントと、自車のフットプリントが重畳する場合は、再度点の選択をやり直す。続いて自車の位置が設定されたら、１２４のセンサパラメータ入力部１２４において入力されたパラメータに応じて、仮想センサデータ生成部１３２において仮想のセンサデータを生成する。例えば、入力されたセンサデータがカメラのものだった場合、カメラの設置位置、画像素子の性能、及びレンズの性能、歪みに基づいて透視投影変換により、カメラが取得できるであろう２次元画像を生成する。この処理によって生成される仮想センサデータ１３２１の一例を図９に示す。図９は、仮想センサデータ生成部において生成した仮想センサデータの一例である。
　続いて、仮想センサデータ１３２１に対応する教師データを作成する。教師データの作成には３次元環境認識部１２１によって認識された環境情報を用いる。例えば、３次元環境認識部１２１において、地形の３次元形状情報を構成する各点ごとに環境情報が分類されていた場合、仮想センサデータとして得られる２次元画像の画素ごとに環境情報を持った教師データを教師データ生成部１３１において生成する。例えば、図１０のように仮想センサデータ１３２１が生成された場合、画素毎の環境情報を教師データとして作成するので、教師データ生成部では教師データ１３１１を生成することになる。以上により、仮想センサデータ１３２１と教師データ１３１１を生成することができた。図１０は、教師データ生成部において生成した教師データの一例である。
　その後、再度シナリオ自動作成部１２２の処理に戻り、新たなシナリオを生成し、仮想センサデータと教師データを生成する。この処理を繰り返すことで、大量の仮想センサデータと教師データを生成する。その様子を図１１に示す。図１１は、生成した仮想センサデータと教師データを用いて物体認識アルゴリズムを動作させる方式の一例である。
　仮想センサデータ１３２１と教師データ１３１１を機械学習用計算機５条の機械学習システム５１１に与え、機械学習を実施する。ここで用いる機械学習の手法としてはＳｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　ＭａｃｈｉｎｅやＢｏｏｓｔｉｎｇ、ニューラルネットワーク、もしくはその発展的手法が考えられる。これらの手法は公知技術のため、ここでは割愛する。得られた学習結果５２を物体認識アルゴリズム６２のパラメータとして与える。このとき学習結果から得られるパラメータとしては、検出対象とする物体を認識する上で適切な特徴量や、その特徴量を用いて物体認識する上で必要となる閾値などが考えられる。このパラメータを入力された物体認識アルゴリズム６２は車両用外界センサ６１から得られた情報から、学習した物体、あるいはそれと類似した物体を検出し、検出結果出力部６３にその情報を渡す。図１２にその一例を示す。図１２は、物体認識アルゴリズムによる検出結果の一例である。
　車両内に設置されたディスプレイ７に、自車の前方車両の位置を検出結果７１として表示している。この方法以外にも、例えば自車と対象の物体が近づきすぎた場合に警報で知らせるといった方法も考えられる。
１１　３次元形状データ入力部
１１１　地形３次元形状データ入力部
１１２　物体３次元形状データ入力部
１１２１　物体３次元形状データ
１２　３次元シミュレータ部
１２１　３次元環境認識部
１２２　シナリオ自動作成部
１２３　車両パラメータ入力部
１２４　センサパラメータ入力部
１２５　３次元仮想空間生成部
１３　教師データ出力部
１３１　教師データ生成部
１３１１　教師データ
１３２　仮想センサデータ生成部
１３２１　仮想センサデータ
２　ＵＡＶ
２１　空撮用カメラ
２１１　撮影した画像
３　計測対象
４　３次元復元用計算機
４１　３次元点群生成部
４２　サーフェイス生成部
４３　３次元形状情報格納部
４４　３次元地形形状データ
４５　環境３次元情報取得手段
４６　物体３次元情報取得手段
５　機械学習用計算機
５１　機械学習システム
５２　学習結果
６１　車両用外界センサ
６２　物体認識アルゴリズム
６３　検出結果出力部
７　ディスプレイ
７１　検出結果

Claims (3)

  1. 　３次元形状情報計測手段により取得した地形や建物の３次元形状情報を入力する３次元形状データ入力部と、
    　環境情報を前記３次元形状情報から自動的に認識し分類を行う３次元シミュレータ部と、
    　前記３次元シミュレータ部が認識した前記環境情報およびセンサのセンサパラメータに基づき、仮想センサデータおよび教師データを出力する教師データ出力部と、
    　を有する機械学習用データベース作成システム。
  2. 　請求項１の機械学習用データベース作成システムにおいて、
    　前記３次元形状データ入力部は、
    　　前記３次元形状情報を入力する地形３次元形状データ入力部と、
    　　任意の物体の３次元形状データを入力する物体３次元形状データ入力部と、を有し、
    　前記３次元シミュレータ部は、前記地形３次元形状データ入力部と前記３次元形状データ入力部の情報を統合し、仮想空間を生成する３次元仮想空間生成部を有する
    　機械学習用データベース作成システム。
  3. 　請求項１の機械学習用データベース作成システムにおいて、
    　前記３次元シミュレータ部は、前記地形３次元形状データ入力部で得られた前記３次元形状情報と、３次元環境認識部によって抽出された前記環境情報と前記物体３次元形状データ入力部が得た前記物体３次元形状情報と、に基づき、前記物体３次元形状情報と前記物体３次元形状情報の相対位置をランダムに作成するシナリオ自動作成部を有する機械学習用データベース作成システム。
PCT/JP2017/024099 2016-07-29 2017-06-30 機械学習用データベース作成システム WO2018020954A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018529463A JP6770577B2 (ja) 2016-07-29 2017-06-30 機械学習用データベース作成システム
AU2017302833A AU2017302833B2 (en) 2016-07-29 2017-06-30 Database construction system for machine-learning
US16/310,966 US10878288B2 (en) 2016-07-29 2017-06-30 Database construction system for machine-learning

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-149184 2016-07-29
JP2016149184 2016-07-29

Publications (1)

Publication Number Publication Date
WO2018020954A1 true WO2018020954A1 (ja) 2018-02-01

Family

ID=61016507

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/024099 WO2018020954A1 (ja) 2016-07-29 2017-06-30 機械学習用データベース作成システム

Country Status (4)

Country Link
US (1) US10878288B2 (ja)
JP (1) JP6770577B2 (ja)
AU (1) AU2017302833B2 (ja)
WO (1) WO2018020954A1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019145953A (ja) * 2018-02-19 2019-08-29 国立大学法人 東京大学 作業車両の表示システム及び生成方法
JP2019172010A (ja) * 2018-03-28 2019-10-10 株式会社豊田中央研究所 車両の走行を制御する制御装置、制御方法、及び、制御プログラム
KR20190119691A (ko) * 2018-04-12 2019-10-23 동국대학교 산학협력단 무차익 옵션 가격 예측 방법
WO2020066209A1 (ja) * 2018-09-27 2020-04-02 株式会社堀場製作所 粒子解析用データ生成方法、粒子解析用データ生成プログラム、及び粒子解析用データ生成装置
WO2020067204A1 (ja) * 2018-09-27 2020-04-02 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ 学習用データ作成方法、機械学習モデルの生成方法、学習用データ作成装置及びプログラム
JP2020060907A (ja) * 2018-10-09 2020-04-16 株式会社パスコ 避雷保護範囲生成システムおよびプログラム
US11132826B2 (en) 2019-05-16 2021-09-28 Caterpillar Inc. Artificial image generation for training an object detection system
WO2022080356A1 (ja) * 2020-10-13 2022-04-21 株式会社Preferred Networks 訓練データ生成装置、訓練済みモデル生成装置、物体認識支援システム、物体認識システム、訓練データ生成方法、訓練済みモデル生成方法、物体認識支援方法及び物体認識方法
US20220165058A1 (en) * 2019-04-09 2022-05-26 Komatsu Ltd. Information processing device, information processing method, trained model generation method, system, and learning data set

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6845106B2 (ja) * 2017-07-21 2021-03-17 株式会社タダノ 点群データのクラスタリング方法、ガイド情報表示装置およびクレーン
US10768304B2 (en) * 2017-12-13 2020-09-08 Luminar Technologies, Inc. Processing point clouds of vehicle sensors having variable scan line distributions using interpolation functions
JP6900897B2 (ja) * 2017-12-25 2021-07-07 コベルコ建機株式会社 建設機械の障害物検出装置
US11046519B2 (en) * 2019-02-25 2021-06-29 Rehrig Pacific Company Delivery system
JP7384898B2 (ja) * 2019-03-13 2023-11-21 日本電気株式会社 情報処理装置、駆動制御方法およびコンピュータプログラム
CN112927345B (zh) * 2021-01-20 2022-11-15 中国地震应急搜救中心 一种地震救援现场环境的监控方法和设备
CN115422386A (zh) * 2022-09-29 2022-12-02 南方电网调峰调频发电有限公司西部检修试验分公司 一种机器学习数据分析框架信息库搭建方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000163685A (ja) * 1998-11-30 2000-06-16 Fuji Electric Co Ltd 交通流監視システム
JP2006172099A (ja) * 2004-12-15 2006-06-29 Mitsubishi Electric Corp 変化領域認識装置および変化認識システム
WO2011086889A1 (ja) * 2010-01-12 2011-07-21 日本電気株式会社 特徴点選択システム、特徴点選択方法および特徴点選択プログラム
JP2014157509A (ja) * 2013-02-15 2014-08-28 Canon Inc 情報処理装置、情報処理方法
JP2016006616A (ja) * 2014-06-20 2016-01-14 ヤフー株式会社 学習装置、学習方法及び学習プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103953209B (zh) * 2012-12-12 2017-06-09 保利集团澳门有限公司 水池系统及建造使用方法
JP2014147509A (ja) 2013-01-31 2014-08-21 Soka Univ 被洗浄物の洗浄方法及び洗浄装置
JP2016071597A (ja) 2014-09-30 2016-05-09 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US9970756B2 (en) * 2015-10-06 2018-05-15 Bridger Photonics, Inc. High-sensitivity gas-mapping 3D imager and method of operation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000163685A (ja) * 1998-11-30 2000-06-16 Fuji Electric Co Ltd 交通流監視システム
JP2006172099A (ja) * 2004-12-15 2006-06-29 Mitsubishi Electric Corp 変化領域認識装置および変化認識システム
WO2011086889A1 (ja) * 2010-01-12 2011-07-21 日本電気株式会社 特徴点選択システム、特徴点選択方法および特徴点選択プログラム
JP2014157509A (ja) * 2013-02-15 2014-08-28 Canon Inc 情報処理装置、情報処理方法
JP2016006616A (ja) * 2014-06-20 2016-01-14 ヤフー株式会社 学習装置、学習方法及び学習プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
NAOYA KOKETSU ET AL.: "Improvement in Human Detection by Generation Addition Training of Human Silhouette", IPSJ SIG NOTES 2010, 15 October 2010 (2010-10-15) *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019145953A (ja) * 2018-02-19 2019-08-29 国立大学法人 東京大学 作業車両の表示システム及び生成方法
JP7232437B2 (ja) 2018-02-19 2023-03-03 国立大学法人 東京大学 作業車両の表示システム及び生成方法
JP2019172010A (ja) * 2018-03-28 2019-10-10 株式会社豊田中央研究所 車両の走行を制御する制御装置、制御方法、及び、制御プログラム
JP7000952B2 (ja) 2018-03-28 2022-01-19 株式会社豊田中央研究所 車両の走行を制御する制御装置、制御方法、及び、制御プログラム
KR102120655B1 (ko) * 2018-04-12 2020-06-18 동국대학교 산학협력단 무차익 옵션 가격 예측 방법
KR20190119691A (ko) * 2018-04-12 2019-10-23 동국대학교 산학협력단 무차익 옵션 가격 예측 방법
WO2020066209A1 (ja) * 2018-09-27 2020-04-02 株式会社堀場製作所 粒子解析用データ生成方法、粒子解析用データ生成プログラム、及び粒子解析用データ生成装置
JPWO2020066209A1 (ja) * 2018-09-27 2021-09-09 株式会社堀場製作所 粒子解析用データ生成方法、粒子解析用データ生成プログラム、及び粒子解析用データ生成装置
US12105009B2 (en) 2018-09-27 2024-10-01 Horiba, Ltd. Method for generating data for particle analysis, program for generating data for particle analysis, and device for generating data for particle analysis
JP7538718B2 (ja) 2018-09-27 2024-08-22 株式会社堀場製作所 粒子解析用データ生成方法、粒子解析用データ生成プログラム、及び粒子解析用データ生成装置
WO2020067204A1 (ja) * 2018-09-27 2020-04-02 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ 学習用データ作成方法、機械学習モデルの生成方法、学習用データ作成装置及びプログラム
JP2020060907A (ja) * 2018-10-09 2020-04-16 株式会社パスコ 避雷保護範囲生成システムおよびプログラム
JP7184249B2 (ja) 2018-10-09 2022-12-06 株式会社パスコ 避雷保護範囲生成システムおよびプログラム
US20220165058A1 (en) * 2019-04-09 2022-05-26 Komatsu Ltd. Information processing device, information processing method, trained model generation method, system, and learning data set
CN113826112A (zh) * 2019-05-16 2021-12-21 卡特彼勒公司 用于训练对象检测系统的人工图像生成
US11132826B2 (en) 2019-05-16 2021-09-28 Caterpillar Inc. Artificial image generation for training an object detection system
WO2022080356A1 (ja) * 2020-10-13 2022-04-21 株式会社Preferred Networks 訓練データ生成装置、訓練済みモデル生成装置、物体認識支援システム、物体認識システム、訓練データ生成方法、訓練済みモデル生成方法、物体認識支援方法及び物体認識方法

Also Published As

Publication number Publication date
US20200202175A1 (en) 2020-06-25
JP6770577B2 (ja) 2020-10-14
AU2017302833A1 (en) 2019-01-17
US10878288B2 (en) 2020-12-29
JPWO2018020954A1 (ja) 2019-04-04
AU2017302833A8 (en) 2019-03-14
AU2017302833B2 (en) 2020-11-12

Similar Documents

Publication Publication Date Title
WO2018020954A1 (ja) 機械学習用データベース作成システム
US11691648B2 (en) Drivable surface identification techniques
CN110531753B (zh) 自主车辆的控制系统、控制方法和控制器
KR102572219B1 (ko) 자율 주행을 위한 항법 정보의 융합 프레임워크(fusion framework) 및 배치 정렬(batch alignment)
Jebamikyous et al. Autonomous vehicles perception (avp) using deep learning: Modeling, assessment, and challenges
JP6663406B2 (ja) 車両制御装置、車両制御方法、およびプログラム
CN111918053A (zh) 车辆图像验证
Shim et al. An autonomous driving system for unknown environments using a unified map
CN111442776A (zh) 顺序地面场景图像投影合成与复杂场景重构的方法及设备
WO2020185489A1 (en) Sensor validation using semantic segmentation information
EP4187523A1 (en) Systems and methods for curb detection and pedestrian hazard assessment
DE112019001657T5 (de) Signalverarbeitungsvorrichtung und signalverarbeitungsverfahren, programm und mobiler körper
KR20190080885A (ko) 차로 병합 및 차로 분리의 항법을 위한 시스템 및 방법
US20200082182A1 (en) Training data generating method for image processing, image processing method, and devices thereof
KR20200127219A (ko) 검출된 배리어에 기반한 차량의 항법
KR20180055292A (ko) 다중 라이다 좌표계 통합 방법
EP3842751A1 (en) System and method of generating high-definition map based on camera
CN114419098A (zh) 基于视觉变换的运动目标轨迹预测方法及装置
EP3555854B1 (en) A method of tracking objects in a scene
KR102618680B1 (ko) 영상과 라이다를 이용한 실시간 3차원 물체 인식 및 추적하는 시스템
López et al. Computer vision in vehicle technology: Land, sea, and air
US20230230317A1 (en) Method for generating at least one ground truth from a bird's eye view
Jung et al. Intelligent hybrid fusion algorithm with vision patterns for generation of precise digital road maps in self-driving vehicles
Bhatlawande et al. LIDAR based Detection of Small Vehicles
CN117836818A (zh) 信息处理装置、信息处理系统、模型以及模型的生成方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17833963

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018529463

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2017302833

Country of ref document: AU

Date of ref document: 20170630

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17833963

Country of ref document: EP

Kind code of ref document: A1