JP6865365B2 - ディープラーニング基盤装置の学習に使用されるバーチャル世界シミュレータの物理エンジンをキャリブレーションする方法及び装置、そしてそのためのリアル状態ネットワークを学習する方法及びそれを利用した学習装置 - Google Patents

ディープラーニング基盤装置の学習に使用されるバーチャル世界シミュレータの物理エンジンをキャリブレーションする方法及び装置、そしてそのためのリアル状態ネットワークを学習する方法及びそれを利用した学習装置 Download PDF

Info

Publication number
JP6865365B2
JP6865365B2 JP2020007174A JP2020007174A JP6865365B2 JP 6865365 B2 JP6865365 B2 JP 6865365B2 JP 2020007174 A JP2020007174 A JP 2020007174A JP 2020007174 A JP2020007174 A JP 2020007174A JP 6865365 B2 JP6865365 B2 JP 6865365B2
Authority
JP
Japan
Prior art keywords
virtual
information
real
learning
frame information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020007174A
Other languages
English (en)
Other versions
JP2020123338A (ja
Inventor
桂賢 金
桂賢 金
鎔重 金
鎔重 金
鶴京 金
鶴京 金
雲鉉 南
雲鉉 南
碩▲ふん▼ 夫
碩▲ふん▼ 夫
明哲 成
明哲 成
東洙 申
東洙 申
東勳 呂
東勳 呂
宇宙 柳
宇宙 柳
明春 李
明春 李
炯樹 李
炯樹 李
泰雄 張
泰雄 張
景中 鄭
景中 鄭
泓模 諸
泓模 諸
浩辰 趙
浩辰 趙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of JP2020123338A publication Critical patent/JP2020123338A/ja
Application granted granted Critical
Publication of JP6865365B2 publication Critical patent/JP6865365B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/10—Interfaces, programming languages or software development kits, e.g. for simulating neural networks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/092—Reinforcement learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/10—Numerical modelling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Neurology (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)
  • Feedback Control In General (AREA)

Description

本発明は、ディープラーニング（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）基盤装置の学習に使用されるバーチャル世界シミュレータ（Ｖｉｒｔｕａｌ Ｗｏｒｌｄ Ｓｉｍｕｌａｔｏｒ）に関し、より詳細には、リアル世界（Ｒｅａｌ Ｗｏｒｌｄ）内で次の状態（Ｎｅｘｔ Ｓｔａｔｅ）をモデリングするリアル状態ネットワーク（Ｒｅａｌ Ｓｔａｔｅ Ｎｅｔｗｏｒｋ）を利用してディープラーニング基盤装置の学習に使用されるバーチャル世界シミュレータの物理エンジン（Ｐｈｙｓｉｃｓ Ｅｎｇｉｎｅ）をキャリブレーション（Ｃａｌｉｂｒａｔｉｏｎ）する方法及び装置、そしてそのためのリアル状態ネットワークを学習する方法及び学習装置に関する。
自律走行自動車などのようなディープラーニング（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）基盤装置は、一般的に短期プランニング（Ｓｈｏｒｔ−Ｔｅｒｍ Ｐｌａｎｎｉｎｇ）により入力されたいくつかのフレームないし数十フレームの間の情報に基づいて次に取るアクション（Ａｃｔｉｏｎ）を決定する。
一例として、自律走行自動車の場合、それぞれのフレームで取得される情報である、検出された物体のバウンディングボックス（Ｂｏｕｎｄｉｎｇ Ｂｏｘ）と左／右方向などのメタデータ（Ｍｅｔａ Ｄａｔａ）、またはセグメンテーションイメージ（Ｓｅｇｍｅｎｔａｔｉｏｎ Ｉｍａｇｅ）に基づいて、（ｉ）ステアリング角度の変化量、（ｉｉ）ブレーキペダルの圧力、（ｉｉｉ）アクセルペダルの圧力のような３次元リアル値ベクトル（Ｒｅａｌ−Ｖａｌｕｅｄ Ｖｅｃｔｏｒ）のアクションを出力するようになり、それに伴って自律走行自動車は、前記アクションに応答して自律走行をするようになる。
このような、ディープラーニング基盤装置は、入力状態（Ｓｔａｔｅ）に応じて適正なアクションを決定するよう学習されなければならず、そのための様々な学習方法があるが、現在は一般的にオンポリシー強化学習（Ｏｎ−Ｐｏｌｉｃｙ Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ）を利用している。
また、ディープラーニング基盤装置は、リアル世界（Ｒｅａｌ Ｗｏｒｌｄ）で学習され得るが、多様なトレーニングデータを取得するのが難しく、かなり時間が所要されるだけでなく学習に多くの費用がかかるという短所がある。
したがって、ディープラーニング基盤装置をバーチャル世界（Ｖｉｒｔｕａｌ Ｗｏｒｌｄ）で学習する方法が提案されている。
しかし、バーチャル世界で学習する場合、バーチャル環境とリアル環境との間のギャップ（Ｇａｐ）により学習結果の信頼性に問題が発生している。
一例として、ディープラーニング基盤の装置が自律走行自動車である場合、バーチャル世界シミュレータ（Ｖｉｒｔｕａｌ Ｗｏｒｌｄ Ｓｉｍｕｌａｔｏｒ）の物理エンジン（Ｐｈｙｓｉｃｓ Ｅｎｇｉｎｅ）は、「現在の速度と周辺状況の状態」に応答して「ステアリングホイールを所定の角度に回転させ、ブレーキを所定の圧力で踏むアクション」を取ると、「車両の走行速度、位置、周辺状況等が変わった次の状態（Ｎｅｘｔ Ｓｔａｔｅ）」を出力するようになり、これに伴って自律走行自動車を学習させるようになる。
しかし、バーチャル世界シミュレータの物理エンジンにより生成された次の状態と、リアル世界の次の状態との間の誤差が大きいほど、バーチャル世界で学習された最適なアクション（Ｏｐｔｉｍａｌ Ａｃｔｉｏｎ）がリアル世界で最適化されない問題点がある。
一例として、自律走行自動車の場合、バーチャル世界での危険な状況において事故を避けることのできる適切なアクションを学習し、リアル世界の同じ状況で前記適切なアクションを取っても事故が発生する問題点がある。
本発明は、上述した問題点を全て解決することをその目的とする。
本発明は、バーチャル世界シミュレータ（Ｖｉｒｔｕａｌ Ｗｏｒｌｄ Ｓｉｍｕｌａｔｏｒ）の物理エンジン（Ｐｈｙｓｉｃｓ Ｅｎｇｉｎｅ）をもって、バーチャル世界とリアル世界との間のギャップ（Ｇａｐ）を最小化する次の状態（Ｎｅｘｔ Ｓｔａｔｅ）を出力し得るようにすることを他の目的とする。
本発明は、バーチャル世界がリアル世界とさらに近づくように、バーチャル世界シミュレータの物理エンジンをキャリブレーション（Ｃａｌｉｂｒａｔｉｏｎ）することをまた他の目的とする。
前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための、本発明の特徴的な構成は下記のとおりである。
本発明の一態様によると、ディープラーニング（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）基盤装置の学習に使用されるバーチャル世界シミュレータ（Ｖｉｒｔｕａｌ Ｗｏｒｌｄ Ｓｉｍｕｌａｔｏｒ）の物理エンジン（Ｐｈｙｓｉｃｓ Ｅｎｇｉｎｅ）をキャリブレーション（Ｃａｌｉｂｒａｔｉｏｎ）する方法において、（ａ）バーチャル環境（Ｖｉｒｔｕａｌ Ｅｎｖｉｒｏｎｍｅｎｔ）上のバーチャル現在状態（Ｖｉｒｔｕａｌ Ｃｕｒｒｅｎｔ Ｓｔａｔｅ）に対応するバーチャル現在フレーム（Ｖｉｒｔｕａｌ Ｃｕｒｒｅｎｔ Ｆｒａｍｅ）情報が前記バーチャル世界シミュレータから取得されると、キャリブレーション装置が、（ｉ）前記バーチャル現在フレーム情報を前記ディープラーニング基盤装置に伝送することによって、前記ディープラーニング基盤装置をもって、以前の学習パラメータを利用して前記バーチャル現在フレーム情報に対して演算を適用させて、前記バーチャル現在フレーム情報に対応するバーチャルアクション（Ｖｉｒｔｕａｌ Ａｃｔｉｏｎ）情報を出力させるプロセス、（ｉｉ）前記バーチャル現在フレーム情報と前記バーチャルアクション情報とを前記バーチャル世界シミュレータの前記物理エンジンに伝送することによって、前記物理エンジンをもって、以前のキャリブレーション済みパラメータ（Ｐｒｅｖｉｏｕｓ Ｃａｌｉｂｒａｔｅｄ Ｐａｒａｍｅｔｅｒ）を利用して前記バーチャル現在フレーム情報と前記バーチャルアクション情報とに対して演算を適用させて、前記バーチャル現在フレーム情報と前記バーチャルアクション情報とに対応するバーチャルネクストフレーム（Ｖｉｒｔｕａｌ Ｎｅｘｔ Ｆｒａｍｅ）情報を出力させるプロセス、及び（ｉｉｉ）前記バーチャル現在フレーム情報と前記バーチャルアクション情報とをリアル状態ネットワーク（Ｒｅａｌ Ｓｔａｔｅ Ｎｅｔｗｏｒｋ）（前記リアル状態ネットワークはリアル環境（Ｒｅａｌ Ｅｎｖｉｒｏｎｍｅｎｔ）上の多数のリアル最近のフレーム（Ｒｅａｌ Ｒｅｃｅｎｔ Ｆｒａｍｅ）情報において前記ディープラーニング基盤装置により遂行されたリアルアクション（Ｒｅａｌ Ａｃｔｉｏｎ）に関するリアルアクション情報に応答して多数の予測ネクストフレーム（Ｐｒｅｄｉｃｔｅｄ Ｎｅｘｔ Ｆｒａｍｅ）情報を出力するように学習された状態である）に伝送することによって、前記リアル状態ネットワークをもって学習された予測パラメータを利用して、前記バーチャル現在フレーム情報に対応する多数のバーチャル最近のフレーム（Ｖｉｒｔｕａｌ Ｒｅｃｅｎｔ Ｆｒａｍｅ）情報と前記バーチャルアクション情報とに対してアクションを適用させて予測リアルネクストフレーム（Ｐｒｅｄｉｃｔｅｄ Ｒｅａｌ Ｎｅｘｔ Ｆｒａｍｅ）情報を出力させるプロセスを遂行する段階；及び（ｂ）前記キャリブレーション装置が、前記バーチャルネクストフレーム情報と前記予測リアルネクストフレーム情報とを参照して生成された少なくとも一つのロスが最小化されるように、前記物理エンジンの前記以前のキャリブレーション済みパラメータをキャリブレーションし、最適化して、現在のキャリブレーション済みパラメータ（Ｃｕｒｒｅｎｔ Ｃａｌｉｂｒａｔｅｄ Ｐａｒａｍｅｔｅｒ）を最適化されたパラメータとして生成するプロセスを遂行することを特徴とする段階；を含むことを特徴とする。
一実施例において、（ｃ）前記キャリブレーション装置が、前記バーチャルアクション情報に対応するリワード（Ｒｅｗａｒｄ）情報と前記バーチャルネクストフレーム情報とを前記ディープラーニング基盤装置に伝送することによって、前記ディープラーニング基盤装置をもって、前記バーチャルネクストフレーム情報と前記リワード情報とを利用したオンポリシー強化学習（Ｏｎ−Ｐｏｌｉｃｙ Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ）を通じて前記以前の学習パラメータをアップデートさせる段階；をさらに含むことを特徴とする。
一実施例において、前記（ａ）段階の前記（ｉｉ）プロセスで、前記キャリブレーション装置は、前記バーチャル現在フレーム情報と前記バーチャルアクション情報とを前記リアル状態ネットワークに伝送するプロセスを遂行することによって、前記リアル状態ネットワークをもって、前記バーチャル現在フレーム情報と以前に伝送されたｋ個のバーチャル以前フレーム情報とを参照して前記多数のバーチャル最近フレーム情報を生成させることを特徴とする。
一実施例において、前記（ｉｉｉ）プロセスで、前記キャリブレーション装置は、前記バーチャル現在フレーム情報と前記バーチャルアクション情報とを前記リアル状態ネットワークに伝送するプロセスを遂行することによって、前記リアル状態ネットワークをもって、（ｉｉｉ−１）（ｉｉｉ−１−１）前記バーチャル現在フレーム情報と前記ｋ個のバーチャル以前フレーム情報とをコンカチネート（Ｃｏｎｃａｔｅｎａｔｉｎｇ）して生成されたバーチャル現在フレーム状態の和（Ｖｉｒｔｕａｌ Ｃｕｒｒｅｎｔ Ｆｒａｍｅ Ｓｔａｔｅ Ｓｕｍ）に対してコンボリューション演算（Ｃｏｎｖｏｌｕｔｉｏｎ Ｏｐｅｒａｔｉｏｎ）を適用して第１次元ベクトル（Ｄｉｍｅｎｓｉｏｎ Ｖｅｃｔｏｒ）を生成させ、（ｉｉｉ−１−２）前記バーチャルアクション情報に対してＦＣ（Ｆｕｌｌｙ Ｃｏｎｎｅｃｔｅｄ）演算を適用して第２次元ベクトルを生成させ、（ｉｉｉ−２）前記第１次元ベクトルと前記第２次元ベクトルとのコンカチネーション結果に対してデコンボリューション演算を適用して前記予測リアルネクストフレーム情報を生成させることを特徴とする。
一実施例において、前記バーチャル現在フレーム状態の和は、（ｉ）ＨｘＷｘＣテンソル（Ｔｅｎｓｏｒ）である前記バーチャル現在フレーム情報と（ｉｉ）ｋ個の前記バーチャル以前フレーム情報とをコンカチネートして生成されたＨｘＷｘ（Ｋ＋１）テンソルであり、前記第１次元ベクトルはＨＷＣ次元ベクトルであり、前記第２次元ベクトルをＬ次元ベクトルとする場合、前記予測リアルネクストフレーム情報は、前記第１次元ベクトルと前記第２次元ベクトルとをコンカチネートして生成された１ｘ１ｘ（ＨＷＣ＋Ｌ）テンソルに対してデコンボリューション演算を適用して生成されたＨｘＷｘＣテンソルであることを特徴とする。
一実施例において、前記（ｂ）段階で、前記キャリブレーション装置は、（ｉ）前記以前のキャリブレーション済みパラメータのうち一つの以前のキャリブレーション済みパラメータを選択するプロセス、（ｉｉ）前記選択された一つの以前のキャリブレーション済みパラメータを、前記ロスを利用してキャリブレーションし、予め設定された学習率に応じてキャリブレーションして、一つの現在のキャリブレーション済みパラメータを最適化されたパラメータ（Ｏｐｔｉｍｉｚｅｄ Ｐａｒａｍｅｔｅｒ）として生成するプロセス、及び（ｉｉｉ）（ｉｉｉ−１）前記物理エンジンをもって、前記一つの現在のキャリブレーション済みパラメータと、前記一つの以前のキャリブレーション済みパラメータを除いた残りの以前のキャリブレーション済みパラメータを利用して、前記バーチャル現在フレーム情報と前記バーチャルアクション情報とに対して演算を適用させて、新たなバーチャルネクストフレーム情報を生成させるプロセス、及び（ｉｉｉ−２）前記新たなバーチャルネクストフレーム情報と前記予測リアルネクストフレーム情報とを参照して生成された少なくとも一つの新たなロスを利用して前記ロスが減少したのかを確認するプロセスを、前記ロスが減少するまで繰り返すことを特徴とする。
一実施例において、前記以前のキャリブレーション済みパラメータ全てに対して前記ロスが減少しなかった場合、前記キャリブレーション装置は、前記予め設定された学習率を減少させ、前記（ｉ）プロセスと、前記（ｉｉ）プロセスと、前記（ｉｉｉ）プロセスとを遂行することを特徴とする。
本発明の他の態様によると、リアル環境（Ｒｅａｌ Ｅｎｖｉｒｏｎｍｅｎｔ）においてディープラーニング（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）基盤装置により多数のリアル最近のフレーム（Ｒｅａｌ Ｒｅｃｅｎｔ Ｆｒａｍｅ）情報で遂行されたリアルアクション（Ｒｅａｌ Ａｃｔｉｏｎ）に関するリアルアクション情報に対応する予測ネクストフレーム（Ｐｒｅｄｉｃｔｅｄ Ｎｅｘｔ Ｆｒａｍｅ）情報を生成するリアル状態ネットワーク（Ｒｅａｌ Ｓｔａｔｅ Ｎｅｔｗｏｒｋ）を学習する方法において、（ａ）前記リアル環境において前記ディープラーニング基盤装置により遂行された前記リアルアクションに対する前記多数のリアルアクション情報に対応する多数の軌跡（Ｔｒａｊｅｃｔｏｒｙ）情報がトレーニングデータとして取得されると、学習装置が、特定の軌跡情報の特定時点におけるリアル現在フレーム（Ｒｅａｌ Ｃｕｒｒｅｎｔ Ｆｒａｍｅ）情報とｋ個の以前のリアルフレーム（Ｐｒｅｖｉｏｕｓ Ｒｅａｌ Ｆｒａｍｅ）情報とを参照して多数の学習用最近フレーム情報を生成するプロセスを遂行する段階；（ｂ）前記学習装置が、前記特定時点における前記特定の軌跡情報のリアル現在のアクション情報を参照して取得された学習用アクション情報と前記多数の学習用最近フレーム情報とを前記リアル状態ネットワークに入力することによって、前記リアル状態ネットワークをもって予測パラメータを利用して前記多数の学習用最近フレーム情報と前記学習用アクション情報とに対して演算を適用させて前記予測ネクストフレーム情報を出力させるプロセスを遂行する段階；及び（ｃ）前記学習装置が、前記特定の軌跡情報における前記リアル現在フレーム情報の次のリアルネクストフレーム情報と前記予測ネクストフレーム情報とを参照して生成された少なくとも一つのロスを利用して、前記ロスが最小化されるように前記予測パラメータをアップデートするプロセスを遂行する段階；を含むことを特徴とする。
一実施例において、前記（ｂ）段階で、前記学習装置は、（ｉ）（ｉ−１）前記多数の学習用最近フレーム情報をコンカチネート（Ｃｏｎｃａｔｅｎａｔｉｎｇ）して生成された学習用現在フレーム状態の和（Ｃｕｒｒｅｎｔ Ｆｒａｍｅ Ｓｔａｔｅ Ｓｕｍ）を前記リアル状態ネットワークのＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）に入力して、前記ＣＮＮをもって、前記学習用現在フレーム状態の和に対してコンボリューション演算を適用して第１の特徴（Ｆｅａｔｕｒｅ）を出力させるプロセス、及び（ｉ−２）前記学習用アクション情報を前記リアル状態ネットワークの少なくとも一つのＦＣレイヤ（Ｆｕｌｌｙ Ｃｏｎｎｅｃｔｅｄ Ｌａｙｅｒ）に入力して、前記少なくとも一つのＦＣレイヤをもって、前記学習用アクション情報に対してＦＣ演算を適用して第２の特徴を出力させるプロセス、及び（ｉｉ）前記第１の特徴と前記第２の特徴とをコンカチネートして生成されたコンカチネート済み特徴をデコンボリューションレイヤ（Ｄｅｃｏｎｖｏｌｕｔｉｏｎ Ｌａｙｅｒ）に入力して、前記デコンボリューションレイヤをもって、前記コンカチネート済み特徴に対してデコンボリューション演算を適用して前記予測ネクストフレーム情報を出力させるプロセスを遂行することを特徴とする。
一実施例において、前記学習装置は、（ｉ）前記ＣＮＮをもって、ＨｘＷｘＣテンソル（Ｔｅｎｓｏｒ）である前記多数の学習用最近フレーム情報をコンカチネートして生成されたＨｘＷｘ（Ｋ＋１）テンソルである前記学習用現在フレーム状態の和を、ＨＷＣ次元ベクトル（Ｄｉｍｅｎｓｉｏｎ Ｖｅｃｔｏｒ）である前記第１の特徴として出力させるプロセス、（ｉｉ）前記少なくとも一つのＦＣレイヤをもって、３次元ベクトルである前記学習用アクション情報を、Ｌ次元ベクトルである前記第２の特徴として出力させるプロセス、及び（ｉｉｉ）前記デコンボリューションレイヤをもって、前記第１の特徴と前記第２の特徴とをコンカチネートして生成された１ｘ１ｘ（ＨＷＣ＋Ｌ）テンソルを、ＨｘＷｘＣテンソルである前記予測ネクストフレーム情報として出力させるプロセスを遂行することを特徴とする。
一実施例において、前記学習装置は、前記ロスを利用した最急降下法（Ｇｒａｄｉｅｎｔ Ｄｅｓｃｅｎｔ）によって前記少なくとも一つのＣＮＮと、前記少なくとも一つのＦＣレイヤと、前記デコンボリューションレイヤとのうち少なくとも一つのパラメータをアップデートすることを特徴とする。
本発明の他の態様によると、ディープラーニング（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）基盤装置の学習に使用されるバーチャル世界シミュレータ（Ｖｉｒｔｕａｌ Ｗｏｒｌｄ Ｓｉｍｕｌａｔｏｒ）の物理エンジン（Ｐｈｙｓｉｃｓ Ｅｎｇｉｎｅ）をキャリブレーション（Ｃａｌｉｂｒａｔｉｏｎ）するキャリブレーション装置において、インストラクションを格納する少なくとも一つのメモリと、（Ｉ）バーチャル環境（Ｖｉｒｔｕａｌ Ｅｎｖｉｒｏｎｍｅｎｔ）上のバーチャル現在状態（Ｖｉｒｔｕａｌ Ｃｕｒｒｅｎｔ Ｓｔａｔｅ）に対応するバーチャル現在フレーム（Ｖｉｒｔｕａｌ Ｃｕｒｒｅｎｔ Ｆｒａｍｅ）情報が前記バーチャル世界シミュレータから取得されると、（ｉ）前記バーチャル現在フレーム情報を前記ディープラーニング基盤装置に伝送することによって、前記ディープラーニング基盤装置をもって、以前の学習パラメータを利用して前記バーチャル現在フレーム情報に対して演算を適用させて、前記バーチャル現在フレーム情報に対応するバーチャルアクション（Ｖｉｒｔｕａｌ Ａｃｔｉｏｎ）情報を出力させるプロセス、（ｉｉ）前記バーチャル現在フレーム情報と前記バーチャルアクション情報とを前記バーチャル世界シミュレータの前記物理エンジンに伝送することによって、前記物理エンジンをもって、以前のキャリブレーション済みパラメータ（Ｐｒｅｖｉｏｕｓ Ｃａｌｉｂｒａｔｅｄ Ｐａｒａｍｅｔｅｒ）を利用して前記バーチャル現在フレーム情報と前記バーチャルアクション情報とに対して演算を適用させて、前記バーチャル現在フレーム情報と前記バーチャルアクション情報とに対応するバーチャルネクストフレーム（Ｖｉｒｔｕａｌ Ｎｅｘｔ Ｆｒａｍｅ）情報を出力させるプロセス、及び（ｉｉｉ）前記バーチャル現在フレーム情報と前記バーチャルアクション情報とをリアル状態ネットワーク（Ｒｅａｌ Ｓｔａｔｅ Ｎｅｔｗｏｒｋ）（前記リアル状態ネットワークはリアル環境（Ｒｅａｌ Ｅｎｖｉｒｏｎｍｅｎｔ）上の多数のリアル最近のフレーム（Ｒｅａｌ Ｒｅｃｅｎｔ Ｆｒａｍｅ）情報において前記ディープラーニング基盤装置により遂行されたリアルアクション（Ｒｅａｌ Ａｃｔｉｏｎ）に関するリアルアクション情報に応答して多数の予測ネクストフレーム（Ｐｒｅｄｉｃｔｅｄ Ｎｅｘｔ Ｆｒａｍｅ）情報を出力するように学習された状態である）に伝送することによって、前記リアル状態ネットワークをもって学習された予測パラメータを利用して、前記バーチャル現在フレーム情報に対応する多数のバーチャル最近のフレーム（Ｖｉｒｔｕａｌ Ｒｅｃｅｎｔ Ｆｒａｍｅ）情報と前記バーチャルアクション情報とに対してアクションを適用させて予測リアルネクストフレーム（Ｐｒｅｄｉｃｔｅｄ Ｒｅａｌ Ｎｅｘｔ Ｆｒａｍｅ）情報を出力させるプロセス；及び（ＩＩ）前記バーチャルネクストフレーム情報と前記予測リアルネクストフレーム情報とを参照して生成された少なくとも一つのロスが最小化されるように、前記物理エンジンの前記以前のキャリブレーション済みパラメータをキャリブレーションし、最適化して現在のキャリブレーション済みパラメータ（Ｃｕｒｒｅｎｔ Ｃａｌｉｂｒａｔｅｄ Ｐａｒａｍｅｔｅｒ）を最適化されたパラメータとして生成するプロセスを遂行するための前記インストラクションを実行するか、他の装置をもって実行するように構成された少なくとも一つのプロセッサと、を含むことを特徴とする。
一実施例において、（ＩＩＩ）前記プロセッサが、前記バーチャルアクション情報に対応するリワード（Ｒｅｗａｒｄ）情報と前記バーチャルネクストフレーム情報とを前記ディープラーニング基盤装置に伝送することによって、前記ディープラーニング基盤装置をもって、前記バーチャルネクストフレーム情報と前記リワード情報とを利用したオンポリシー強化学習（Ｏｎ−Ｐｏｌｉｃｙ Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ）を通じて前記以前の学習パラメータをアップデートさせるプロセス；をさらに遂行することを特徴とする。
一実施例において、前記（ｉｉｉ）プロセスで、前記プロセッサは、前記バーチャル現在フレーム情報と前記バーチャルアクション情報とを前記リアル状態ネットワークに伝送するプロセスを遂行することによって、前記リアル状態ネットワークをもって、前記バーチャル現在フレーム情報と以前に伝送されたｋ個のバーチャル以前フレーム情報とを参照して前記多数のバーチャル最近フレーム情報を生成させることを特徴とする。
一実施例において、前記（ｉｉｉ）プロセスで、前記プロセッサは、前記バーチャル現在フレーム情報と前記バーチャルアクション情報とを前記リアル状態ネットワークに伝送するプロセスを遂行することによって、前記リアル状態ネットワークをもって、（ｉｉｉ−１）（ｉｉｉ−１−１）前記バーチャル現在フレーム情報と前記ｋ個のバーチャル以前フレーム情報とをコンカチネート（Ｃｏｎｃａｔｅｎａｔｉｎｇ）して生成されたバーチャル現在フレーム状態の和（Ｖｉｒｔｕａｌ Ｃｕｒｒｅｎｔ Ｆｒａｍｅ Ｓｔａｔｅ Ｓｕｍ）に対してコンボリューション演算（Ｃｏｎｖｏｌｕｔｉｏｎ Ｏｐｅｒａｔｉｏｎ）を適用して第１次元ベクトル（Ｄｉｍｅｎｓｉｏｎ Ｖｅｃｔｏｒ）を生成させ、（ｉｉｉ−１−２）前記バーチャルアクション情報に対してＦＣ（Ｆｕｌｌｙ Ｃｏｎｎｅｃｔｅｄ）演算を適用して第２次元ベクトルを生成させ、（ｉｉｉ−２）前記第１次元ベクトルと前記第２次元ベクトルとのコンカチネーション結果に対してデコンボリューション演算を適用して前記予測リアルネクストフレーム情報を生成させることを特徴とする。
一実施例において、前記バーチャル現在フレーム状態の和は、（ｉ）ＨｘＷｘＣテンソル（Ｔｅｎｓｏｒ）である前記バーチャル現在フレーム情報と（ｉｉ）ｋ個の前記バーチャル以前フレーム情報とをコンカチネートして生成されたＨｘＷｘ（Ｋ＋１）テンソルであり、前記第１次元ベクトルはＨＷＣ次元ベクトルであり、前記第２次元ベクトルをＬ次元ベクトルとする場合、前記予測リアルネクストフレーム情報は、前記第１次元ベクトルと前記第２次元ベクトルとをコンカチネートして生成された１ｘ１ｘ（ＨＷＣ＋Ｌ）テンソルに対してデコンボリューション演算を適用して生成されたＨｘＷｘＣテンソルであることを特徴とする。
一実施例において、前記（ＩＩ）プロセスで、前記プロセッサは、（ＩＩ−１）前記以前のキャリブレーション済みパラメータのうち一つの以前のキャリブレーション済みパラメータを選択するプロセス、（ＩＩ−２）前記選択された一つの以前のキャリブレーション済みパラメータを、前記ロスを利用してキャリブレーションし、予め設定された学習率に応じてキャリブレーションして、一つの現在のキャリブレーション済みパラメータを最適化されたパラメータ（Ｏｐｔｉｍｉｚｅｄ Ｐａｒａｍｅｔｅｒ）として生成するプロセス、及び（ＩＩ−３）（ＩＩ−３ａ）前記物理エンジンをもって、前記一つの現在のキャリブレーション済みパラメータと、前記一つの以前のキャリブレーション済みパラメータを除いた残りの以前のキャリブレーション済みパラメータとを利用して、前記バーチャル現在フレーム情報と前記バーチャルアクション情報とに対して演算を適用させて、新たなバーチャルネクストフレーム情報を生成させるプロセス、及び（ＩＩ−３ｂ）前記新たなバーチャルネクストフレーム情報と前記予測リアルネクストフレーム情報とを参照して生成された少なくとも一つの新たなロスを利用して前記ロスが減少したのかを確認するプロセスを、前記ロスが減少するまで繰り返すことを特徴とする。
一実施例において、前記以前のキャリブレーション済みパラメータ全てに対して前記ロスが減少しなかった場合、前記プロセッサは、前記予め設定された学習率を減少させ、前記（ｉ）プロセスと、前記（ｉｉ）プロセスと、前記（ｉｉ）プロセスとを遂行することを特徴とする。
本発明の他の態様によると、リアル環境（Ｒｅａｌ Ｅｎｖｉｒｏｎｍｅｎｔ）においてディープラーニング（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）基盤装置により多数のリアル最近のフレーム（Ｒｅａｌ Ｒｅｃｅｎｔ Ｆｒａｍｅ）情報で遂行されたリアルアクション（Ｒｅａｌ Ａｃｔｉｏｎ）に関するリアルアクション情報に対応する予測ネクストフレーム（Ｐｒｅｄｉｃｔｅｄ Ｎｅｘｔ Ｆｒａｍｅ）情報を生成するリアル状態ネットワーク（Ｒｅａｌ Ｓｔａｔｅ Ｎｅｔｗｏｒｋ）を学習する学習装置において、インストラクションを格納する少なくとも一つのメモリと、（Ｉ）前記リアル環境において前記ディープラーニング基盤装置により遂行された前記リアルアクションに対する前記多数のリアルアクション情報に対応する多数の軌跡（Ｔｒａｊｅｃｔｏｒｙ）情報がトレーニングデータとして取得されると、特定の軌跡情報の特定時点におけるリアル現在フレーム（Ｒｅａｌ Ｃｕｒｒｅｎｔ Ｆｒａｍｅ）情報とｋ個の以前のリアルフレーム（Ｐｒｅｖｉｏｕｓ Ｒｅａｌ Ｆｒａｍｅ）情報とを参照して多数の学習用最近フレーム情報を生成するプロセス；（ＩＩ）前記特定時点における前記特定の軌跡情報のリアル現在のアクション情報を参照して取得された学習用アクション情報と前記多数の学習用最近フレーム情報とを前記リアル状態ネットワークに入力することによって、前記リアル状態ネットワークをもって予測パラメータを利用して前記多数の学習用最近フレーム情報と前記学習用アクション情報とに対して演算を適用させて前記予測ネクストフレーム情報を出力させるプロセス；及び（ＩＩＩ）前記特定の軌跡情報における前記リアル現在フレーム情報の次のリアルネクストフレーム情報と前記予測の次のフレーム情報とを参照して生成された少なくとも一つのロスを利用して、前記ロスが最小化されるように前記予測パラメータをアップデートするプロセスを遂行するための前記インストラクションを実行するか、他の装置をもって実行するように構成された少なくとも一つのプロセッサと、を含むことを特徴とする。
一実施例において、前記（ＩＩ）プロセスで、前記プロセッサは、（ｉ）（ｉ−１）前記多数の学習用最近フレーム情報をコンカチネート（Ｃｏｎｃａｔｅｎａｔｉｎｇ）して生成された学習用現在フレーム状態の和（Ｃｕｒｒｅｎｔ Ｆｒａｍｅ Ｓｔａｔｅ Ｓｕｍ）を前記リアル状態ネットワークのＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）に入力して、前記ＣＮＮをもって、前記学習用現在フレーム状態の和に対してコンボリューション演算を適用して第１の特徴（Ｆｅａｔｕｒｅ）を出力させるプロセス、及び（ｉ−２）前記学習用アクション情報を前記リアル状態ネットワークの少なくとも一つのＦＣレイヤ（Ｆｕｌｌｙ Ｃｏｎｎｅｃｔｅｄ Ｌａｙｅｒ）に入力して、前記少なくとも一つのＦＣレイヤをもって、前記学習用アクション情報に対してＦＣ演算を適用して第２の特徴を出力させるプロセス、及び（ｉｉ）前記第１の特徴と前記第２の特徴とをコンカチネートして生成されたコンカチネート済み特徴をデコンボリューションレイヤ（Ｄｅｃｏｎｖｏｌｕｔｉｏｎ Ｌａｙｅｒ）に入力して、前記デコンボリューションレイヤをもって、前記コンカチネート済み特徴に対してデコンボリューション演算を適用して前記予測ネクストフレーム情報を出力させるプロセスを遂行することを特徴とする。
一実施例において、前記プロセッサは、（ｉ）前記ＣＮＮをもって、ＨｘＷｘＣテンソル（Ｔｅｎｓｏｒ）である前記多数の学習用最近フレーム情報をコンカチネートして生成されたＨｘＷｘ（Ｋ＋１）テンソルである前記学習用現在フレーム状態の和を、ＨＷＣ次元ベクトル（Ｄｉｍｅｎｓｉｏｎ Ｖｅｃｔｏｒ）である前記第１の特徴として出力させるプロセス、（ｉｉ）前記少なくとも一つのＦＣレイヤをもって、３次元ベクトルである前記学習用アクション情報を、Ｌ次元ベクトルである前記第２の特徴として出力させるプロセス、及び（ｉｉｉ）前記デコンボリューションレイヤをもって、前記第１の特徴と前記第２の特徴とをコンカチネートして生成された１ｘ１ｘ（ＨＷＣ＋Ｌ）テンソルを、ＨｘＷｘＣテンソルである前記予測ネクストフレーム情報として出力させるプロセスを遂行することを特徴とする。
一実施例において、前記プロセッサは、前記ロスを利用した最急降下法（Ｇｒａｄｉｅｎｔ Ｄｅｓｃｅｎｔ）によって前記少なくとも一つのＣＮＮと、前記少なくとも一つのＦＣレイヤと、前記デコンボリューションレイヤとのうち少なくとも一つのパラメータをアップデートすることを特徴とする。
その他にも、本発明の方法を実行するためのコンピュータプログラムを記録するためのコンピュータ読取り可能な記録媒体がさらに提供される。
本発明は、バーチャル世界とリアル世界との間のギャップ（Ｇａｐ）を最小化するようにバーチャル世界シミュレータ（Ｖｉｒｔｕａｌ Ｗｏｒｌｄ Ｓｉｍｕｌａｔｏｒ）の物理エンジン（Ｐｈｙｓｉｃｓ Ｅｎｇｉｎｅ）をキャリブレーション（Ｃａｌｉｂｒａｔｉｏｎ）することによって、バーチャル世界で学習されたディープラーニング（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）基盤装置の短期計画（Ｓｈｏｒｔ−Ｔｅｒｍ Ｐｌａｎｎｉｎｇ）をさらに信頼性があるようにリアル世界に適応させ得る効果がある。
本発明は与えられたバーチャル環境の信頼性を立証するために、物理エンジンとリアル環境モデルとの間のロスを信頼性尺度（Ｒｅｌｉａｂｉｌｉｔｙ Ｍｅａｓｕｒｅ）として使用することができる他の効果がある。
本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうちの一部に過ぎず、本発明が属する技術分野でおいて、通常の知識を有する者（以下「通常の技術者」）にとっては、発明的作業が行われることなくこの図面に基づいて他の図面が得られ得る。
本発明の一実施例によるディープラーニング（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）基盤装置の学習に使用されるバーチャル世界シミュレータ（Ｖｉｒｔｕａｌ Ｗｏｒｌｄ Ｓｉｍｕｌａｔｏｒ）の物理エンジン（Ｐｈｙｓｉｃｓ Ｅｎｇｉｎｅ）をキャリブレーション（Ｃａｌｉｂｒａｔｉｏｎ）するキャリブレーション装置を簡略に示したものである。 本発明の一実施例によるディープラーニング基盤装置の学習に使用される、バーチャル世界シミュレータの物理エンジンをキャリブレーションする方法を簡略に示したものである。 本発明の一実施例によるリアル環境（Ｒｅａｌ Ｅｎｖｉｒｏｎｍｅｎｔ）において、ディープラーニング基盤装置により多数のリアル最近のフレーム（Ｒｅａｌ Ｒｅｃｅｎｔ Ｆｒａｍｅ）情報で遂行されたリアルアクション（Ｒｅａｌ Ａｃｔｉｏｎ）に関するリアルアクション情報に対応する予測ネクストフレーム（Ｐｒｅｄｉｃｔｅｄ Ｎｅｘｔ Ｆｒａｍｅ）情報を生成するリアル状態ネットワーク（Ｒｅａｌ Ｓｔａｔｅ Ｎｅｔｗｏｒｋ）を学習する学習装置を簡略に示したものである。 本発明の一実施例によるリアル環境において、ディープラーニング基盤装置により多数のリアル最近フレーム情報で遂行されたリアルアクションに関するリアルアクション情報に対応する予測ネクストフレーム情報を生成するリアル状態ネットワークを学習する方法を簡略に示したものである。 本発明の一実施例によるリアル状態ネットワークを学習するための少なくとも一つの軌跡（Ｔｒａｊｅｃｔｏｒｙ）を生成する方法を簡略に示したものである。
後述する本発明に関する詳細な説明は、本発明の各目的、各技術的解法、及び各長所を明らかにするために本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は、当業者が本発明を実施することができるように十分詳細に説明される。
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。
さらに、本発明は、本明細書に示された実施例のすべての可能な組合せを網羅する。本発明の多様な実施例は互いに異なるが、相互に排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、一実施例に関連して本発明の精神及び範囲を逸脱せず、かつ他の実施例で具現され得る。また、それぞれの開示された実施例内の個別の構成要素の位置又は配置は、本発明の精神及び範囲を逸脱せず、かつ変更され得ることが理解されるべきである。したがって、後述の詳細な説明は、限定的な意味として受け取ろうとするものではなく、本発明の範囲は適切に説明されるのであれば、その請求項が主張することと均等な全ての範囲とともに添付された請求項によってのみ限定される。図面において類似の参照符号は、様々な側面にわたって同一であるか、又は類似の機能を指す。
本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。
以下、本発明の属する技術分野において通常の知識を有する者が本発明を容易に実施し得るようにするために、本発明の好ましい実施例について、添付された図面を参照して詳細に説明することにする。
図１は、本発明の一実施例によるディープラーニング（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）基盤装置の学習に使用されるバーチャル世界シミュレータ（Ｖｉｒｔｕａｌ Ｗｏｒｌｄ Ｓｉｍｕｌａｔｏｒ）の物理エンジン（Ｐｈｙｓｉｃｓ Ｅｎｇｉｎｅ）をキャリブレーション（Ｃａｌｉｂｒａｔｉｏｎ）するキャリブレーション装置を簡略に示したものである。図１を参照すると、キャリブレーション装置１０００は、ディープラーニング基盤装置を学習するためのバーチャル世界シミュレータの物理エンジンをキャリブレーションするためのインストラクション（Ｉｎｓｔｒｕｃｔｉｏｎ）を格納するメモリ１１００と、メモリ１１０に格納されたインストラクションに対応してディープラーニング基盤装置を学習するためのバーチャル世界シミュレータの物理エンジンをキャリブレーションするためのプロセスを遂行するプロセッサ１２００とを含むことができる。
具体的に、キャリブレーション装置１０００は、典型的に少なくとも一つのコンピューティング装置（例えば、コンピュータのプロセッサ、メモリ、ストレージ、入力装置及び出力装置、その他既存のコンピューティング装置の構成要素；ルータ、スイッチなどのような電子通信装置；ネットワーク接続ストレージ（ＮＡＳ）及びストレージ領域ネットワーク（ＳＡＮ）のような電子情報ストレージシステム）と少なくとも一つのコンピュータソフトウェア（すなわち、コンピューティング装置をもって特定の方式で機能させるインストラクション）との組み合わせを利用して所望のシステム性能を達成するものであり得る。
また、コンピューティング装置のプロセッサは、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）またはＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、キャッシュメモリ（Ｃａｃｈｅ Ｍｅｍｏｒｙ）、データバス（Ｄａｔａ Ｂｕｓ）などのハードウェア構成を含むことができる。また、コンピューティング装置は、オペレーティングシステム、特定の目的を遂行するアプリケーションソフトウェア構成をさらに含むこともできる。
しかし、コンピューティング装置が、本発明を実施するためのプロセッサ、メモリ、ミディアム又は他のコンピューティング構成要素の何らかの組み合わせを含む統合装置（Ｉｎｔｅｇｒａｔｅｄ Ｄｅｖｉｃｅ）を排除するものではない。
このように構成された本発明の一実施例によるキャリブレーション装置１０００を利用して、ディープラーニング基盤装置を学習するためのバーチャル世界シミュレータの物理エンジンをキャリブレーションする方法を、図２を参照して説明すると以下のとおりである。
まず、バーチャル世界シミュレータ１００は、エージェント（Ａｇｅｎｔ）であるディープラーニング基盤装置３００の学習のために予め設定されたバーチャル環境において、バーチャル現在状態（Ｖｉｒｔｕａｌ Ｃｕｒｒｅｎｔ Ｓｔａｔｅ）に対応するバーチャル現在フレーム（Ｖｉｒｔｕａｌ Ｃｕｒｒｅｎｔ Ｆｒａｍｅ）情報Ｉtを生成することができる。この場合、バーチャル現在状態は、ディープラーニング基盤装置３００の動作状態情報、周辺環境情報、動作条件などを含むことができ、ディープラーニング基盤装置３００は、自律走行自動車、自律走行飛行機、ロボットなどのようにディープラーニングアルゴリズムにより学習された条件にしたがって作動する全ての装置を含むことができる。一例として、ディープラーニング基盤装置が自律走行自動車である場合、バーチャル現在状態は、自律走行自動車情報、周辺自動車情報、道路情報、交通信号情報、周辺環境情報などのような様々な走行情報を含むことができる。
次に、バーチャル環境において、バーチャル現在状態に対応するバーチャル現在フレーム情報Ｉtが、バーチャル世界シミュレータ１００から取得されると、キャリブレーション装置１０００は、取得されたバーチャル現在フレーム情報Ｉtをディープラーニング基盤装置３００に伝送することによって、ディープラーニング基盤装置３００をもって、以前の学習パラメータを利用してバーチャル現在フレーム情報Ｉtに対して演算を適用させて、バーチャル現在フレーム情報Ｉtに対応するバーチャルアクション（Ｖｉｒｔｕａｌ Ａｃｔｉｏｎ）情報ａtを出力させることができる（Ｓ２）。
また、キャリブレーション装置１０００は、バーチャル世界シミュレータ１００から取得されたバーチャル現在フレーム情報Ｉtとディープラーニング基盤装置３００から出力されたバーチャルアクション情報ａtとをバーチャル世界シミュレータ１００の物理エンジンＦ１１０に送信することによって、物理エンジンＦ１１０をもって、以前のキャリブレーション済みパラメータ（Ｐｒｅｖｉｏｕｓ Ｃａｌｉｂｒａｔｅｄ Ｐａｒａｍｅｔｅｒ）を利用してバーチャル現在フレーム情報Ｉtとバーチャルアクション情報ａtとに対して演算を適用させて、バーチャル現在フレーム情報Ｉtとバーチャルアクション情報ａtとに対応するバーチャルネクストフレーム（Ｖｉｒｔｕａｌ Ｎｅｘｔ Ｆｒａｍｅ）情報Ｉt+1を出力させることができる（Ｓ３）。
これに加えて、キャリブレーション装置１０００は、バーチャル世界シミュレータ１００から取得されたバーチャル現在フレーム情報Ｉtとディープラーニング基盤装置３００から出力されたバーチャルアクション情報ａtとをリアル状態ネットワーク（Ｒｅａｌ Ｓｔａｔｅ Ｎｅｔｗｏｒｋ）２００に伝送することによって、リアル状態ネットワーク２００をもって学習された予測パラメータを利用してバーチャル現在フレーム情報Ｉtに対応する多数のバーチャル最近フレーム情報とバーチャルアクション情報ａtに対して演算を適用して、予測リアルネクストフレーム（Ｐｒｅｄｉｃｔｅｄ Ｒｅａｌ Ｎｅｘｔ Ｆｒａｍｅ）情報
Figure 0006865365
 を出力させることができる（Ｓ５）。すなわち、リアル状態ネットワーク２００は、多数のバーチャル最近フレーム情報とバーチャルアクション情報とを参照してリアル世界で起こるであろうと予測される次のフレーム情報を出力することができる。本発明全般にわたって、多数のバーチャル最近フレーム情報はｋ＋１個のバーチャル最近フレーム情報であり得るが、これに限定されるわけではない。
この場合、リアル状態ネットワーク２００は、リアル環境でディープラーニング基盤装置３００により多数のリアル最近フレーム情報で遂行されたリアルアクションに関するリアルアクション情報に対応して多数の予測ネクストフレーム情報を出力するように学習された状態であり得、これに関しては、以下に詳細に説明することにする。本発明全般にわたって、多数の予測ネクストフレーム情報はｋ＋１個の予測ネクストフレーム情報であり得、多数のリアル最近フレーム情報はｋ＋１個のリアル最近フレーム情報であり得るが、これに限定されるわけではない。
そして、キャリブレーション装置１０００は、バーチャル現在フレーム情報とバーチャルアクション情報とをリアル状態ネットワーク２００に伝送することによって、リアル状態ネットワーク２００をもって、バーチャル現在フレーム情報とそれ以前に伝送されたｋ個のバーチャル以前フレーム（Ｖｉｒｔｕａｌ Ｐｒｅｖｉｏｕｓ Ｆｒａｍｅ）情報とを参照して多数のバーチャル最近フレーム情報を生成させることができる。その他の例として、キャリブレーション装置１０００は、バーチャル現在フレーム情報とそれ以前に伝送されたｋ個のバーチャル以前フレーム情報とを参照してバーチャル最近フレーム情報を生成して、これをリアル状態ネットワーク２００に伝送することもできる。
すなわち、キャリブレーション装置１０００は、バーチャル現在フレーム情報とバーチャルアクション情報とをリアル状態ネットワーク２００に伝送することによって、リアル状態ネットワーク２００をもって、バーチャル現在フレーム情報とｋ個のバーチャル以前フレーム情報とをコンカチネート（Ｃｏｎｃａｔｅｎａｔｉｎｇ）して生成されたバーチャル現在フレーム状態の和（Ｖｉｒｔｕａｌ Ｃｕｒｒｅｎｔ Ｆｒａｍｅ Ｓｔａｔｅ Ｓｕｍ）を生成させるプロセスを遂行することができる。その他の例として、キャリブレーション装置１０００は、バーチャル現在フレーム情報とｋ個のバーチャル以前フレーム情報とをコンカチネートして生成されたバーチャル現在フレーム状態の和を生成して、これをリアル状態ネットワーク２００に伝送することもできる。
この場合、バーチャル現在フレーム状態の和Ｓtは、
Figure 0006865365
 のように表すことができ、予測リアルネクスト状態
Figure 0006865365
 のように表すことができる。
一方、リアル状態ネットワーク２００は、（ｉ）（ｉ−１）バーチャル現在フレーム状態の和Ｓtに対してコンボリューション演算を適用して第１次元ベクトル（Ｄｉｍｅｎｓｉｏｎ Ｖｅｃｔｏｒ）を生成し、（ｉ−２）バーチャルアクション情報に対してＦＣ演算（Ｆｕｌｌｙ Ｃｏｎｎｅｃｔｅｄ Ｏｐｅｒａｔｉｏｎ）を適用して第２次元ベクトルを生成した後、（ｉｉ）第１次元ベクトルと第２次元ベクトルとのコンカチネーション結果に対して、デコンボリューション演算を適用して予測リアルネクストフレーム情報を生成することができる。
この場合、バーチャル現在フレーム状態の和Ｓtは、（ｉ）ＨｘＷｘＣテンソル（Ｔｅｎｓｏｒ）であるバーチャル現在フレーム情報と（ｉｉ）ｋ個のバーチャル以前フレーム情報とをコンカチネートして生成されたＨｘＷｘ（Ｋ＋１）テンソルであり得る。また、第１次元ベクトルは、ＨＷＣ次元ベクトルであり得、第２次元ベクトルをＬ次元ベクトルとする場合、予測リアルネクストフレーム情報は、第１次元ベクトルと第２次元ベクトルとをコンカチネートして生成された１ｘ１ｘ（ＨＷＣ＋Ｌ）テンソルに対してデコンボリューション演算を適用して生成されたＨｘＷｘＣテンソルであり得る。そして、バーチャルアクション情報は、３次元ベクトルであり得、一例として、ディープラーニング基盤の装置３００が自律走行自動車である場合、バーチャルアクション情報はステアリング角度変化量情報、ブレーキペダル圧力情報、アクセルペダル圧力情報に対応することができる。
次に、キャリブレーション装置１０００は、バーチャル世界シミュレータ１００の物理エンジンＦ１１０から出力されたバーチャルネクストフレーム情報とリアル状態ネットワーク２００から出力された予測リアルネクストフレーム情報とを参照して生成された少なくとも一つのロスが最小化されるように、物理エンジンＦ１１０の以前のキャリブレーション済みパラメータ（Ｐｒｅｖｉｏｕｓ Ｃａｌｉｂｒａｔｅｄ Ｐａｒａｍｅｔｅｒ）をキャリブレーションし、最適化（Ｏｐｔｉｍｉｚｅ）して、現在のキャリブレーション済みパラメータ（Ｃｕｒｒｅｎｔ Ｃａｌｉｂｒａｔｅｄ Ｐａｒａｍｅｔｅｒ）を最適化されたパラメータとして生成するプロセスを遂行することができる（Ｓ６）。その結果、物理エンジンＦ１１０は、バーチャル環境とリアル環境との間のギャップ（Ｇａｐ）が最小化されたバーチャルネクストフレームをプランニングすることができる。
つまり、キャリブレーション装置１０００は、物理エンジンＦ１１０で生成されたバーチャルネクストフレーム情報Ｉt+1とリアル状態ネットワーク２００で生成された予測リアルネクストフレーム情報
Figure 0006865365
 とを参照して少なくとも一つのロス
Figure 0006865365
 を算出することができるか、ロスレイヤをもって、ロス
Figure 0006865365
 を算出させた後、ロス
Figure 0006865365
 を参照して物理エンジンＦ１１０を最適化することができる。
一方、バーチャル世界シミュレータ１００の物理エンジンＦ１１０が微分不可能な関数である場合、次のような方法により以前のキャリブレーション済みパラメータが最適化され得る。
すなわち、キャリブレーション装置１０００は、（ｉ）物理エンジン１１０の以前のキャリブレーション済みパラメータのうち一つの以前のキャリブレーション済みパラメータを選択するプロセス、及び（ｉｉ）選択された一つの以前のキャリブレーション済みパラメータを、ロスを利用してキャリブレーションし、予め設定された学習率に応じてキャリブレーションして、一つの現在のキャリブレーション済みパラメータを最適化されたパラメータとして生成するプロセスを遂行する。そして、キャリブレーション装置１０００は、（ｉ）物理エンジンＦ１１０をもって、一つの現在のキャリブレーション済みパラメータと、一つの以前のキャリブレーション済みパラメータを除いた残りの以前のキャリブレーション済みパラメータとを利用して、バーチャル現在フレーム情報とバーチャルアクション情報とに対して演算を適用させて、新たなバーチャルネクストフレーム情報を生成させるプロセス、及び（ｉｉ）新たなバーチャルネクストフレーム情報と予測リアルネクストフレーム情報とを参照して生成された少なくとも一つの新たなロスを利用して、ロスが減少したのかを確認するプロセスをロスが減少するまで繰り返すことができる。
そして、以前のキャリブレーション済みパラメータすべてに対してロスが減少しなかった場合、キャリブレーション装置１０００は、予め設定された学習率を減少させた以後、前記プロセスを遂行することができる。
また、キャリブレーション装置１０００は、物理エンジンＦ１１０から出力されたバーチャルネクストフレーム情報Ｉt+1とディープラーニング基盤装置３００から出力されたバーチャルアクション情報に対応するリワード（Ｒｅｗａｒｄ）情報ｒt+1とをディープラーニング基盤装置３００に伝送（Ｓ４）することによって、ディープラーニング基盤装置３００をもって、バーチャルネクストフレーム情報Ｉt+1とリワード情報ｒt+1とを利用したオンポリシー強化学習（Ｏｎ−Ｐｏｌｉｃｙ Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ）を通じて以前の学習パラメータをアップデートさせることができる。この際、リワード情報は、バーチャル現在フレーム情報に応答してディープラーニング基盤装置３００により遂行されたバーチャルアクション情報が適正であったかを示す結果であり得、リワード情報は、物理エンジンＦ１１０で生成されるか、キャリブレーション装置１０００で生成され得る。
図３は、本発明の一実施例によるリアル環境でディープラーニング基盤装置により多数のリアル最近フレーム情報で遂行されたリアルアクションに関するリアルアクション情報に対応する予測ネクストフレーム情報を生成するリアル状態ネットワークを学習する学習装置を簡略に示したものである。図３を参照すると、学習装置２０００は、リアル環境でディープラーニング基盤装置により多数のリアル最近フレーム情報で遂行されたリアルアクションに関するリアルアクション情報に対応する予測ネクストフレーム情報を出力するリアル状態ネットワークを学習するためのインストラクションを格納するメモリ２１００と、メモリ２１００に格納されたインストラクションに対応してリアル環境でディープラーニング基盤装置により多数のリアル最近フレーム情報で遂行されたリアルアクションに関するリアルアクション情報に対応する予測ネクストフレーム情報を出力するリアル状態ネットワークを学習するプロセスを遂行するプロセッサ２２００とを含むことができる。
具体的に、学習装置２０００は、典型的に少なくとも一つのコンピューティング装置（例えば、コンピュータのプロセッサ、メモリ、ストレージ、入力装置及び出力装置、その他既存のコンピューティング装置の構成要素を含むことができる装置；ルータ、スイッチなどのような電子通信装置；ネットワーク接続ストレージ（ＮＡＳ）及びストレージ領域ネットワーク（ＳＡＮ）のような電子情報ストレージシステム）と少なくとも一つのコンピュータソフトウェア（すなわち、コンピューティング装置をもって特定の方式で機能させる各インストラクション）との組み合わせを利用して所望のシステム性能を達成するものであり得る。また、コンピューティング装置のプロセッサは、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）またはＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、キャッシュメモリ（Ｃａｃｈｅ Ｍｅｍｏｒｙ）、データバス（Ｄａｔａ Ｂｕｓ）などのハードウェア構成を含むことができる。また、コンピューティング装置は、オペレーティングシステム、特定の目的を遂行するアプリケーションソフトウェア構成をさらに含むこともできる。
しかしながら、コンピューティング装置が本発明を実施するためのプロセッサ、メモリ、ミディアムまたはその他、別のコンピューティング構成要素の何らかの組み合わせを含む統合装置（Ｉｎｔｅｇｒａｔｅｄ Ｄｅｖｉｃｅ）を排除するわけではない。
このように構成された本発明の一実施例による学習装置２０００を利用して、リアル環境でディープラーニング基盤装置により多数のリアル最近フレーム情報で遂行されたリアルアクションに関するリアルアクション情報に対応する予測ネクストフレーム情報を出力するように学習する方法を、図４を参照して説明すると以下のとおりである。下記の説明では、図２を参照した説明から容易に理解可能な部分については詳細な説明を省略することにする。
まず、学習装置２０００は、リアル環境でディープラーニング基盤装置により作動したリアルアクションに対する多数のリアルアクション情報に対応する多数の軌跡（Ｔｒａｊｅｃｔｏｒｙ）情報をトレーニングデータとして取得することができる。
この場合、図５を参照すると、Ｎ個の軌跡情報は、リアル環境のような多様な環境でディープラーニング基盤装置であるエージェントにより生成され得、ディープラーニング基盤装置は（ｉ）リアル環境に対する情報である現在フレームＩt生成するプロセス、（ｉｉ）現在フレームＩtに対応するアクションａtを生成するプロセス、及び（ｉｉｉ）アクションａtによって変更される次のフレームＩt+1を生成するプロセスを繰り返すことによって、Ｎ個の軌跡情報を生成することができる。Ｎ個の軌跡情報は次のように例示的に示され得る。
Figure 0006865365
 この場合、それぞれのＮ個の軌跡情報のそれぞれの長さ
Figure 0006865365
 それぞれの開始地点
Figure 0006865365
 及びディープラーニング基盤装置のアクションパターン
Figure 0006865365
 （例えば、自律走行車両の運転パターン）は互いに異なってもよい。
そして、学習装置２０００は、トレーニングデータとして取得された多数の軌跡情報のうち特定の軌跡情報の特定時点におけるリアル現在フレーム情報とｋ個の以前のリアルフレーム情報とを参照して多数の学習用最近フレーム情報を生成するプロセスを遂行することができる。
次に、学習装置２０００は、特定時点における特定の軌跡情報のリアル現在のアクション情報を参照して取得された学習用アクション情報と多数の学習用最近フレーム情報とをリアル状態ネットワーク２００に入力することによって、リアル状態ネットワーク２００をもって予測パラメータを利用して多数の学習用最近フレーム情報と学習用アクション情報とに対して演算を適用させて予測ネクストフレーム情報を出力させるプロセスを遂行することができる。
一例として、学習装置２０００は、（ｉ）多数の学習用最近フレーム情報をコンカチネートして生成された学習用現在フレーム状態の和をリアル状態ネットワーク２００のＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）に入力して、ＣＮＮをもって学習用現在フレーム状態の和に対してコンボリューション演算を適用して第１の特徴を出力させるプロセス、及び（ｉｉ）学習用アクション情報をリアル状態ネットワーク２００の少なくとも一つのＦＣレイヤ（Ｆｕｌｌｙ Ｃｏｎｎｅｃｔｅｄ Ｌａｙｅｒ）に入力して、少なくとも一つのＦＣレイヤをもって、学習用アクション情報に対してＦＣ演算を適用して第２の特徴を出力させるプロセスを遂行することができる。そして、学習装置２０００は、第１の特徴と第２の特徴とをコンカチネートして生成されたコンカチネート済み特徴をデコンボリューションレイヤに入力して、デコンボリューションレイヤをもってコンカチネート済み特徴に対してデコンボリューション演算を適用して予測ネクストフレーム情報を出力させるプロセスを遂行することができる。
この場合、学習用現在フレーム状態の和Ｓtは、
Figure 0006865365
 のように表すことができ、予測ネクストフレーム情報
Figure 0006865365
 のように表すことができる。
すなわち、学習装置２０００は、（ｉ）ＣＮＮをもって、ＨｘＷｘＣテンソルである多数の学習用最近フレーム情報をコンカチネートして生成されたＨｘＷｘ（Ｋ＋１）テンソルである学習用現在フレーム状態の和を、ＨＷＣ次元ベクトルである第１の特徴として出力させるプロセス、（ｉｉ）少なくとも一つのＦＣレイヤをもって、３次元ベクトルである学習用アクション情報をＬ次元ベクトルである第２の特徴として出力させるプロセス、及び（ｉｉｉ）デコンボリューションレイヤをもって、第１の特徴と第２の特徴とをコンカチネートして生成された１ｘ１ｘ（ＨＷＣ＋Ｌ）テンソルを、ＨｘＷｘＣテンソルである予測ネクストフレーム情報として出力させるプロセスを遂行することができる。
次に、学習装置２０００は、特定の軌跡情報におけるリアル現在フレーム情報の次のリアルネクストフレーム情報と予測ネクストフレーム情報とを参照して生成された少なくとも一つのロスを利用してロスが最小化されるように予測パラメータをアップデートするプロセスを遂行することができる。
つまり、学習装置２０００は、特定の軌跡情報のリアルネクストフレーム情報Ｉt+1とリアル状態ネットワーク２００から出力される予測ネクストフレーム情報
Figure 0006865365
 とを参照して少なくとも一つのロス
Figure 0006865365
 を算出するか、ロスレイヤをもって、ロス
Figure 0006865365
 を算出させた後、ロス
Figure 0006865365
 を参照してリアル状態ネットワーク２００を学習することができる。
この場合、学習装置２０００は、最急降下法（Ｇｒａｄｉｅｎｔ Ｄｅｓｃｅｎｔ）によってリアル状態ネットワーク２００の予測パラメータをアップデートするプロセスを遂行することができ、一例として、少なくとも一つのＣＮＮ、少なくとも一つのＦＣレイヤ、及びデコンボリューションレイヤのうち少なくとも一つのパラメータをアップデートすることができる。
そして、学習装置２０００は、Ｎ個のリアル世界軌跡を利用して、リアル状態ネットワーク２００のロスが収斂されるように前記学習プロセスを繰り返すことができる。
また、以上にて説明された本発明による各実施例は、多様なコンピュータの構成要素を通じて遂行することができるプログラム命令語の形態で具現されて、コンピュータ読取り可能な記録媒体に格納され得る。前記コンピュータ読取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記コンピュータ読取り可能な記録媒体に格納されるプログラム命令語は、本発明のために特別に設計され、構成されたものであるか、コンピュータソフトウェア分野の当業者に公知にされて使用可能なものであり得る。コンピュータ読取り可能な記録媒体の例には、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（Ｆｌｏｐｔｉｃａｌ Ｄｉｓｋ）のような磁気−光メディア（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ Ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタープリターなどを使用してコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明による処理を実行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その反対も同様である。
以上にて本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解の一助とするために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば、かかる記載から多様な修正及び変形が行われ得る。
したがって、本発明の思想は、前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。
１０００：キャリブレーション装置
１１００：メモリ
１２００：プロセッサ
２０００：学習装置
２１００：メモリ
２２００：プロセッサ
１００： バーチャル世界、シミュレータ
１１０： 物理エンジン
２００： リアル状態ネットワーク
３００： ディープラーニング基盤装置

Claims (22)

  1. ディープラーニング（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）基盤装置の学習に使用されるバーチャル世界シミュレータ（Ｖｉｒｔｕａｌ Ｗｏｒｌｄ Ｓｉｍｕｌａｔｏｒ）の物理エンジン（Ｐｈｙｓｉｃｓ Ｅｎｇｉｎｅ）をキャリブレーション（Ｃａｌｉｂｒａｔｉｏｎ）する方法において、
    （ａ）バーチャル環境（Ｖｉｒｔｕａｌ Ｅｎｖｉｒｏｎｍｅｎｔ）上のバーチャル現在状態（Ｖｉｒｔｕａｌ Ｃｕｒｒｅｎｔ Ｓｔａｔｅ）に対応するバーチャル現在フレーム（Ｖｉｒｔｕａｌ Ｃｕｒｒｅｎｔ Ｆｒａｍｅ）情報が前記バーチャル世界シミュレータから取得されると、キャリブレーション装置が、（ｉ）前記バーチャル現在フレーム情報を前記ディープラーニング基盤装置に伝送することによって、前記ディープラーニング基盤装置をもって、以前の学習パラメータを利用して前記バーチャル現在フレーム情報に対して演算を適用させて、前記バーチャル現在フレーム情報に対応するバーチャルアクション（Ｖｉｒｔｕａｌ Ａｃｔｉｏｎ）情報を出力させるプロセス、（ｉｉ）前記バーチャル現在フレーム情報と前記バーチャルアクション情報とを前記バーチャル世界シミュレータの前記物理エンジンに伝送することによって、前記物理エンジンをもって、以前のキャリブレーション済みパラメータ（Ｐｒｅｖｉｏｕｓ Ｃａｌｉｂｒａｔｅｄ Ｐａｒａｍｅｔｅｒ）を利用して前記バーチャル現在フレーム情報と前記バーチャルアクション情報とに対して演算を適用させて、前記バーチャル現在フレーム情報と前記バーチャルアクション情報とに対応するバーチャルネクストフレーム（Ｖｉｒｔｕａｌ Ｎｅｘｔ Ｆｒａｍｅ）情報を出力させるプロセス、及び（ｉｉｉ）前記バーチャル現在フレーム情報と前記バーチャルアクション情報とをリアル状態ネットワーク（Ｒｅａｌ Ｓｔａｔｅ Ｎｅｔｗｏｒｋ）（前記リアル状態ネットワークはリアル環境（Ｒｅａｌ Ｅｎｖｉｒｏｎｍｅｎｔ）上の多数のリアル最近のフレーム（Ｒｅａｌ Ｒｅｃｅｎｔ Ｆｒａｍｅ）情報において前記ディープラーニング基盤装置により遂行されたリアルアクション（Ｒｅａｌ Ａｃｔｉｏｎ）に関するリアルアクション情報に応答して多数の予測ネクストフレーム（Ｐｒｅｄｉｃｔｅｄ Ｎｅｘｔ Ｆｒａｍｅ）情報を出力するように学習された状態である）に伝送することによって、前記リアル状態ネットワークをもって学習された予測パラメータを利用して、前記バーチャル現在フレーム情報に対応する多数のバーチャル最近のフレーム（Ｖｉｒｔｕａｌ Ｒｅｃｅｎｔ Ｆｒａｍｅ）情報と前記バーチャルアクション情報とに対してアクションを適用させて予測リアルネクストフレーム（Ｐｒｅｄｉｃｔｅｄ Ｒｅａｌ Ｎｅｘｔ Ｆｒａｍｅ）情報を出力させるプロセスを遂行する段階；及び
    （ｂ）前記キャリブレーション装置が、前記バーチャルネクストフレーム情報と前記予測リアルネクストフレーム情報とを参照して生成された少なくとも一つのロスが最小化されるように、前記物理エンジンの前記以前のキャリブレーション済みパラメータをキャリブレーションし、最適化して、現在のキャリブレーション済みパラメータ（Ｃｕｒｒｅｎｔ Ｃａｌｉｂｒａｔｅｄ Ｐａｒａｍｅｔｅｒ）を最適化されたパラメータとして生成するプロセスを遂行することを特徴とする段階；
    を含むことを特徴とする方法。
  2. （ｃ）前記キャリブレーション装置が、前記バーチャルアクション情報に対応するリワード（Ｒｅｗａｒｄ）情報と前記バーチャルネクストフレーム情報とを前記ディープラーニング基盤装置に伝送することによって、前記ディープラーニング基盤装置をもって、前記バーチャルネクストフレーム情報と前記リワード情報とを利用したオンポリシー強化学習（Ｏｎ−Ｐｏｌｉｃｙ Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ）を通じて前記以前の学習パラメータをアップデートさせる段階；
    をさらに含むことを特徴とする請求項１に記載の方法。
  3. 前記（ａ）段階の前記（ｉｉｉ）プロセスで、
    前記キャリブレーション装置は、前記バーチャル現在フレーム情報と前記バーチャルアクション情報とを前記リアル状態ネットワークに伝送するプロセスを遂行することによって、前記リアル状態ネットワークをもって、前記バーチャル現在フレーム情報と以前に伝送されたｋ個のバーチャル以前フレーム情報とを参照して前記多数のバーチャル最近フレーム情報を生成させることを特徴とする請求項１に記載の方法。
  4. 前記（ｉｉｉ）プロセスで、
    前記キャリブレーション装置は、前記バーチャル現在フレーム情報と前記バーチャルアクション情報とを前記リアル状態ネットワークに伝送するプロセスを遂行することによって、前記リアル状態ネットワークをもって、（ｉｉｉ−１）（ｉｉｉ−１−１）前記バーチャル現在フレーム情報と前記ｋ個のバーチャル以前フレーム情報とをコンカチネート（Ｃｏｎｃａｔｅｎａｔｉｎｇ）して生成されたバーチャル現在フレーム状態の和（Ｖｉｒｔｕａｌ Ｃｕｒｒｅｎｔ Ｆｒａｍｅ Ｓｔａｔｅ Ｓｕｍ）に対してコンボリューション演算（Ｃｏｎｖｏｌｕｔｉｏｎ Ｏｐｅｒａｔｉｏｎ）を適用して第１次元ベクトル（Ｄｉｍｅｎｓｉｏｎ Ｖｅｃｔｏｒ）を生成させ、（ｉｉｉ−１−２）前記バーチャルアクション情報に対してＦＣ（Ｆｕｌｌｙ Ｃｏｎｎｅｃｔｅｄ）演算を適用して第２次元ベクトルを生成させ、（ｉｉｉ−２）前記第１次元ベクトルと前記第２次元ベクトルとのコンカチネーション結果に対してデコンボリューション演算を適用して前記予測リアルネクストフレーム情報を生成させることを特徴とする請求項３に記載の方法。
  5. 前記バーチャル現在フレーム状態の和は、（ｉ）ＨｘＷｘＣテンソル（Ｔｅｎｓｏｒ）である前記バーチャル現在フレーム情報と（ｉｉ）ｋ個の前記バーチャル以前フレーム情報とをコンカチネートして生成されたＨｘＷｘ（Ｋ＋１）テンソルであり、
    前記第１次元ベクトルはＨＷＣ次元ベクトルであり、
    前記第２次元ベクトルをＬ次元ベクトルとする場合、前記予測リアルネクストフレーム情報は、前記第１次元ベクトルと前記第２次元ベクトルとをコンカチネートして生成された１ｘ１ｘ（ＨＷＣ＋Ｌ）テンソルに対してデコンボリューション演算を適用して生成されたＨｘＷｘＣテンソルであることを特徴とする請求項４に記載の方法。
  6. 前記（ｂ）段階で、
    前記キャリブレーション装置は、（ｉ）前記以前のキャリブレーション済みパラメータのうち一つの以前のキャリブレーション済みパラメータを選択するプロセス、（ｉｉ）前記選択された一つの以前のキャリブレーション済みパラメータを、前記ロスを利用してキャリブレーションし、予め設定された学習率に応じてキャリブレーションして、一つの現在のキャリブレーション済みパラメータを最適化されたパラメータ（Ｏｐｔｉｍｉｚｅｄ Ｐａｒａｍｅｔｅｒ）として生成するプロセス、及び（ｉｉｉ）（ｉｉｉ−１）前記物理エンジンをもって、前記一つの現在のキャリブレーション済みパラメータと、前記一つの以前のキャリブレーション済みパラメータを除いた残りの以前のキャリブレーション済みパラメータを利用して、前記バーチャル現在フレーム情報と前記バーチャルアクション情報とに対して演算を適用させて、新たなバーチャルネクストフレーム情報を生成させるプロセス、及び（ｉｉｉ−２）前記新たなバーチャルネクストフレーム情報と前記予測リアルネクストフレーム情報とを参照して生成された少なくとも一つの新たなロスを利用して前記ロスが減少したのかを確認するプロセスを、前記ロスが減少するまで繰り返すことを特徴とする請求項１に記載の方法。
  7. 前記以前のキャリブレーション済みパラメータ全てに対して前記ロスが減少しなかった場合、前記キャリブレーション装置は、前記予め設定された学習率を減少させ、前記（ｉ）プロセスと、前記（ｉｉ）プロセスと、前記（ｉｉｉ）プロセスとを遂行することを特徴とする請求項６に記載の方法。
  8. リアル環境（Ｒｅａｌ Ｅｎｖｉｒｏｎｍｅｎｔ）においてディープラーニング（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）基盤装置により多数のリアル最近のフレーム（Ｒｅａｌ Ｒｅｃｅｎｔ Ｆｒａｍｅ）情報で遂行されたリアルアクション（Ｒｅａｌ Ａｃｔｉｏｎ）に関するリアルアクション情報に対応する予測ネクストフレーム（Ｐｒｅｄｉｃｔｅｄ Ｎｅｘｔ Ｆｒａｍｅ）情報を生成するリアル状態ネットワーク（Ｒｅａｌ Ｓｔａｔｅ Ｎｅｔｗｏｒｋ）を学習する方法において、
    （ａ）前記リアル環境において前記ディープラーニング基盤装置により遂行された前記リアルアクションに対する前記多数のリアルアクション情報に対応する多数の軌跡（Ｔｒａｊｅｃｔｏｒｙ）情報がトレーニングデータとして取得されると、学習装置が、特定の軌跡情報の特定時点におけるリアル現在フレーム（Ｒｅａｌ Ｃｕｒｒｅｎｔ Ｆｒａｍｅ）情報とｋ個の以前のリアルフレーム（Ｐｒｅｖｉｏｕｓ Ｒｅａｌ Ｆｒａｍｅ）情報とを参照して多数の学習用最近フレーム情報を生成するプロセスを遂行する段階；
    （ｂ）前記学習装置が、前記特定時点における前記特定の軌跡情報のリアル現在のアクション情報を参照して取得された学習用アクション情報と前記多数の学習用最近フレーム情報とを前記リアル状態ネットワークに入力することによって、前記リアル状態ネットワークをもって予測パラメータを利用して前記多数の学習用最近フレーム情報と前記学習用アクション情報とに対して演算を適用させて前記予測ネクストフレーム情報を出力させるプロセスを遂行する段階；及び
    （ｃ）前記学習装置が、前記特定の軌跡情報における前記リアル現在フレーム情報の次のリアルネクストフレーム情報と前記予測ネクストフレーム情報とを参照して生成された少なくとも一つのロスを利用して、前記ロスが最小化されるように前記予測パラメータをアップデートするプロセスを遂行する段階；
    を含むことを特徴とする方法。
  9. 前記（ｂ）段階で、
    前記学習装置は、（ｉ）（ｉ−１）前記多数の学習用最近フレーム情報をコンカチネート（Ｃｏｎｃａｔｅｎａｔｉｎｇ）して生成された学習用現在フレーム状態の和（Ｃｕｒｒｅｎｔ Ｆｒａｍｅ Ｓｔａｔｅ Ｓｕｍ）を前記リアル状態ネットワークのＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）に入力して、前記ＣＮＮをもって、前記学習用現在フレーム状態の和に対してコンボリューション演算を適用して第１の特徴（Ｆｅａｔｕｒｅ）を出力させるプロセス、及び（ｉ−２）前記学習用アクション情報を前記リアル状態ネットワークの少なくとも一つのＦＣレイヤ（Ｆｕｌｌｙ Ｃｏｎｎｅｃｔｅｄ Ｌａｙｅｒ）に入力して、前記少なくとも一つのＦＣレイヤをもって、前記学習用アクション情報に対してＦＣ演算を適用して第２の特徴を出力させるプロセス、及び（ｉｉ）前記第１の特徴と前記第２の特徴とをコンカチネートして生成されたコンカチネート済み特徴をデコンボリューションレイヤ（Ｄｅｃｏｎｖｏｌｕｔｉｏｎ Ｌａｙｅｒ）に入力して、前記デコンボリューションレイヤをもって、前記コンカチネート済み特徴に対してデコンボリューション演算を適用して前記予測ネクストフレーム情報を出力させるプロセスを遂行することを特徴とする請求項８に記載の方法。
  10. 前記学習装置は、（ｉ）前記ＣＮＮをもって、ＨｘＷｘＣテンソル（Ｔｅｎｓｏｒ）である前記多数の学習用最近フレーム情報をコンカチネートして生成されたＨｘＷｘ（Ｋ＋１）テンソルである前記学習用現在フレーム状態の和を、ＨＷＣ次元ベクトル（Ｄｉｍｅｎｓｉｏｎ Ｖｅｃｔｏｒ）である前記第１の特徴として出力させるプロセス、（ｉｉ）前記少なくとも一つのＦＣレイヤをもって、３次元ベクトルである前記学習用アクション情報を、Ｌ次元ベクトルである前記第２の特徴として出力させるプロセス、及び（ｉｉｉ）前記デコンボリューションレイヤをもって、前記第１の特徴と前記第２の特徴とをコンカチネートして生成された１ｘ１ｘ（ＨＷＣ＋Ｌ）テンソルを、ＨｘＷｘＣテンソルである前記予測ネクストフレーム情報として出力させるプロセスを遂行することを特徴とする請求項９に記載の方法。
  11. 前記学習装置は、前記ロスを利用した最急降下法（Ｇｒａｄｉｅｎｔ Ｄｅｓｃｅｎｔ）によって前記少なくとも一つのＣＮＮと、前記少なくとも一つのＦＣレイヤと、前記デコンボリューションレイヤとのうち少なくとも一つのパラメータをアップデートすることを特徴とする請求項９に記載の方法。
  12. ディープラーニング（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）基盤装置の学習に使用されるバーチャル世界シミュレータ（Ｖｉｒｔｕａｌ Ｗｏｒｌｄ Ｓｉｍｕｌａｔｏｒ）の物理エンジン（Ｐｈｙｓｉｃｓ Ｅｎｇｉｎｅ）をキャリブレーション（Ｃａｌｉｂｒａｔｉｏｎ）するキャリブレーション装置において、
    インストラクションを格納する少なくとも一つのメモリと、
    （Ｉ）バーチャル環境（Ｖｉｒｔｕａｌ Ｅｎｖｉｒｏｎｍｅｎｔ）上のバーチャル現在状態（Ｖｉｒｔｕａｌ Ｃｕｒｒｅｎｔ Ｓｔａｔｅ）に対応するバーチャル現在フレーム（Ｖｉｒｔｕａｌ Ｃｕｒｒｅｎｔ Ｆｒａｍｅ）情報が前記バーチャル世界シミュレータから取得されると、（ｉ）前記バーチャル現在フレーム情報を前記ディープラーニング基盤装置に伝送することによって、前記ディープラーニング基盤装置をもって、以前の学習パラメータを利用して前記バーチャル現在フレーム情報に対して演算を適用させて、前記バーチャル現在フレーム情報に対応するバーチャルアクション（Ｖｉｒｔｕａｌ Ａｃｔｉｏｎ）情報を出力させるプロセス、（ｉｉ）前記バーチャル現在フレーム情報と前記バーチャルアクション情報とを前記バーチャル世界シミュレータの前記物理エンジンに伝送することによって、前記物理エンジンをもって、以前のキャリブレーション済みパラメータ（Ｐｒｅｖｉｏｕｓ Ｃａｌｉｂｒａｔｅｄ Ｐａｒａｍｅｔｅｒ）を利用して前記バーチャル現在フレーム情報と前記バーチャルアクション情報とに対して演算を適用させて、前記バーチャル現在フレーム情報と前記バーチャルアクション情報とに対応するバーチャルネクストフレーム（Ｖｉｒｔｕａｌ Ｎｅｘｔ Ｆｒａｍｅ）情報を出力させるプロセス、及び（ｉｉｉ）前記バーチャル現在フレーム情報と前記バーチャルアクション情報とをリアル状態ネットワーク（Ｒｅａｌ Ｓｔａｔｅ Ｎｅｔｗｏｒｋ）（前記リアル状態ネットワークはリアル環境（Ｒｅａｌ Ｅｎｖｉｒｏｎｍｅｎｔ）上の多数のリアル最近のフレーム（Ｒｅａｌ Ｒｅｃｅｎｔ Ｆｒａｍｅ）情報において前記ディープラーニング基盤装置により遂行されたリアルアクション（Ｒｅａｌ Ａｃｔｉｏｎ）に関するリアルアクション情報に応答して多数の予測ネクストフレーム（Ｐｒｅｄｉｃｔｅｄ Ｎｅｘｔ Ｆｒａｍｅ）情報を出力するように学習された状態である）に伝送することによって、前記リアル状態ネットワークをもって学習された予測パラメータを利用して、前記バーチャル現在フレーム情報に対応する多数のバーチャル最近のフレーム（Ｖｉｒｔｕａｌ Ｒｅｃｅｎｔ Ｆｒａｍｅ）情報と前記バーチャルアクション情報とに対してアクションを適用させて予測リアルネクストフレーム（Ｐｒｅｄｉｃｔｅｄ Ｒｅａｌ Ｎｅｘｔ Ｆｒａｍｅ）情報を出力させるプロセス；及び（ＩＩ）前記バーチャルネクストフレーム情報と前記予測リアルネクストフレーム情報とを参照して生成された少なくとも一つのロスが最小化されるように、前記物理エンジンの前記以前のキャリブレーション済みパラメータをキャリブレーションし、最適化して現在のキャリブレーション済みパラメータ（Ｃｕｒｒｅｎｔ Ｃａｌｉｂｒａｔｅｄ Ｐａｒａｍｅｔｅｒ）を最適化されたパラメータとして生成するプロセスを遂行するための前記インストラクションを実行するか、他の装置をもって実行するように構成された少なくとも一つのプロセッサと、
    を含むことを特徴とするキャリブレーション装置。
  13. （ＩＩＩ）前記プロセッサが、前記バーチャルアクション情報に対応するリワード（Ｒｅｗａｒｄ）情報と前記バーチャルネクストフレーム情報とを前記ディープラーニング基盤装置に伝送することによって、前記ディープラーニング基盤装置をもって、前記バーチャルネクストフレーム情報と前記リワード情報とを利用したオンポリシー強化学習（Ｏｎ−Ｐｏｌｉｃｙ Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ）を通じて前記以前の学習パラメータをアップデートさせるプロセス；
    をさらに遂行することを特徴とする請求項１２に記載のキャリブレーション装置。
  14. 前記（ｉｉｉ）プロセスで、
    前記プロセッサは、前記バーチャル現在フレーム情報と前記バーチャルアクション情報とを前記リアル状態ネットワークに伝送するプロセスを遂行することによって、前記リアル状態ネットワークをもって、前記バーチャル現在フレーム情報と以前に伝送されたｋ個のバーチャル以前フレーム情報とを参照して前記多数のバーチャル最近フレーム情報を生成させることを特徴とする請求項１２に記載のキャリブレーション装置。
  15. 前記（ｉｉｉ）プロセスで、
    前記プロセッサは、前記バーチャル現在フレーム情報と前記バーチャルアクション情報とを前記リアル状態ネットワークに伝送するプロセスを遂行することによって、前記リアル状態ネットワークをもって、（ｉｉｉ−１）（ｉｉｉ−１−１）前記バーチャル現在フレーム情報と前記ｋ個のバーチャル以前フレーム情報とをコンカチネート（Ｃｏｎｃａｔｅｎａｔｉｎｇ）して生成されたバーチャル現在フレーム状態の和（Ｖｉｒｔｕａｌ Ｃｕｒｒｅｎｔ Ｆｒａｍｅ Ｓｔａｔｅ Ｓｕｍ）に対してコンボリューション演算（Ｃｏｎｖｏｌｕｔｉｏｎ Ｏｐｅｒａｔｉｏｎ）を適用して第１次元ベクトル（Ｄｉｍｅｎｓｉｏｎ Ｖｅｃｔｏｒ）を生成させ、（ｉｉｉ−１−２）前記バーチャルアクション情報に対してＦＣ（Ｆｕｌｌｙ Ｃｏｎｎｅｃｔｅｄ）演算を適用して第２次元ベクトルを生成させ、（ｉｉｉ−２）前記第１次元ベクトルと前記第２次元ベクトルとのコンカチネーション結果に対してデコンボリューション演算を適用して前記予測リアルネクストフレーム情報を生成させることを特徴とする請求項１４に記載のキャリブレーション装置。
  16. 前記バーチャル現在フレーム状態の和は、（ｉ）ＨｘＷｘＣテンソル（Ｔｅｎｓｏｒ）である前記バーチャル現在フレーム情報と（ｉｉ）ｋ個の前記バーチャル以前フレーム情報とをコンカチネートして生成されたＨｘＷｘ（Ｋ＋１）テンソルであり、
    前記第１次元ベクトルはＨＷＣ次元ベクトルであり、
    前記第２次元ベクトルをＬ次元ベクトルとする場合、前記予測リアルネクストフレーム情報は、前記第１次元ベクトルと前記第２次元ベクトルとをコンカチネートして生成された１ｘ１ｘ（ＨＷＣ＋Ｌ）テンソルに対してデコンボリューション演算を適用して生成されたＨｘＷｘＣテンソルであることを特徴とする請求項１５に記載のキャリブレーション装置。
  17. 前記（ＩＩ）プロセスで、
    前記プロセッサは、（ＩＩ−１）前記以前のキャリブレーション済みパラメータのうち一つの以前のキャリブレーション済みパラメータを選択するプロセス、（ＩＩ−２）前記選択された一つの以前のキャリブレーション済みパラメータを、前記ロスを利用してキャリブレーションし、予め設定された学習率に応じてキャリブレーションして、一つの現在のキャリブレーション済みパラメータを最適化されたパラメータ（Ｏｐｔｉｍｉｚｅｄ Ｐａｒａｍｅｔｅｒ）として生成するプロセス、及び（ＩＩ−３）（ＩＩ−３ａ）前記物理エンジンをもって、前記一つの現在のキャリブレーション済みパラメータと、前記一つの以前のキャリブレーション済みパラメータを除いた残りの以前のキャリブレーション済みパラメータとを利用して、前記バーチャル現在フレーム情報と前記バーチャルアクション情報とに対して演算を適用させて、新たなバーチャルネクストフレーム情報を生成させるプロセス、及び（ＩＩ−３ｂ）前記新たなバーチャルネクストフレーム情報と前記予測リアルネクストフレーム情報とを参照して生成された少なくとも一つの新たなロスを利用して前記ロスが減少したのかを確認するプロセスを、前記ロスが減少するまで繰り返すことを特徴とする請求項１２に記載のキャリブレーション装置。
  18. 前記以前のキャリブレーション済みパラメータ全てに対して前記ロスが減少しなかった場合、前記プロセッサは、前記予め設定された学習率を減少させ、前記（ｉ）プロセスと、前記（ｉｉ）プロセスと、前記（ｉｉ）プロセスとを遂行することを特徴とする請求項１７に記載のキャリブレーション装置。
  19. リアル環境（Ｒｅａｌ Ｅｎｖｉｒｏｎｍｅｎｔ）においてディープラーニング（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）基盤装置により多数のリアル最近のフレーム（Ｒｅａｌ Ｒｅｃｅｎｔ Ｆｒａｍｅ）情報で遂行されたリアルアクション（Ｒｅａｌ Ａｃｔｉｏｎ）に関するリアルアクション情報に対応する予測ネクストフレーム（Ｐｒｅｄｉｃｔｅｄ Ｎｅｘｔ Ｆｒａｍｅ）情報を生成するリアル状態ネットワーク（Ｒｅａｌ Ｓｔａｔｅ Ｎｅｔｗｏｒｋ）を学習する学習装置において、
    インストラクションを格納する少なくとも一つのメモリと、
    （Ｉ）前記リアル環境において前記ディープラーニング基盤装置により遂行された前記リアルアクションに対する前記多数のリアルアクション情報に対応する多数の軌跡（Ｔｒａｊｅｃｔｏｒｙ）情報がトレーニングデータとして取得されると、特定の軌跡情報の特定時点におけるリアル現在フレーム（Ｒｅａｌ Ｃｕｒｒｅｎｔ Ｆｒａｍｅ）情報とｋ個の以前のリアルフレーム（Ｐｒｅｖｉｏｕｓ Ｒｅａｌ Ｆｒａｍｅ）情報とを参照して多数の学習用最近フレーム情報を生成するプロセス；（ＩＩ）前記特定時点における前記特定の軌跡情報のリアル現在のアクション情報を参照して取得された学習用アクション情報と前記多数の学習用最近フレーム情報とを前記リアル状態ネットワークに入力することによって、前記リアル状態ネットワークをもって予測パラメータを利用して前記多数の学習用最近フレーム情報と前記学習用アクション情報とに対して演算を適用させて前記予測ネクストフレーム情報を出力させるプロセス；及び（ＩＩＩ）前記特定の軌跡情報における前記リアル現在フレーム情報の次のリアルネクストフレーム情報と前記予測の次のフレーム情報とを参照して生成された少なくとも一つのロスを利用して、前記ロスが最小化されるように前記予測パラメータをアップデートするプロセスを遂行するための前記インストラクションを実行するか、他の装置をもって実行するように構成された少なくとも一つのプロセッサと、
    を含むことを特徴とする学習装置。
  20. 前記（ＩＩ）プロセスで、
    前記プロセッサは、（ｉ）（ｉ−１）前記多数の学習用最近フレーム情報をコンカチネート（Ｃｏｎｃａｔｅｎａｔｉｎｇ）して生成された学習用現在フレーム状態の和（Ｃｕｒｒｅｎｔ Ｆｒａｍｅ Ｓｔａｔｅ Ｓｕｍ）を前記リアル状態ネットワークのＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）に入力して、前記ＣＮＮをもって、前記学習用現在フレーム状態の和に対してコンボリューション演算を適用して第１の特徴（Ｆｅａｔｕｒｅ）を出力させるプロセス、及び（ｉ−２）前記学習用アクション情報を前記リアル状態ネットワークの少なくとも一つのＦＣレイヤ（Ｆｕｌｌｙ Ｃｏｎｎｅｃｔｅｄ Ｌａｙｅｒ）に入力して、前記少なくとも一つのＦＣレイヤをもって、前記学習用アクション情報に対してＦＣ演算を適用して第２の特徴を出力させるプロセス、及び（ｉｉ）前記第１の特徴と前記第２の特徴とをコンカチネートして生成されたコンカチネート済み特徴をデコンボリューションレイヤ（Ｄｅｃｏｎｖｏｌｕｔｉｏｎ Ｌａｙｅｒ）に入力して、前記デコンボリューションレイヤをもって、前記コンカチネート済み特徴に対してデコンボリューション演算を適用して前記予測ネクストフレーム情報を出力させるプロセスを遂行することを特徴とする請求項１９に記載の学習装置。
  21. 前記プロセッサは、（ｉ）前記ＣＮＮをもって、ＨｘＷｘＣテンソル（Ｔｅｎｓｏｒ）である前記多数の学習用最近フレーム情報をコンカチネートして生成されたＨｘＷｘ（Ｋ＋１）テンソルである前記学習用現在フレーム状態の和を、ＨＷＣ次元ベクトル（Ｄｉｍｅｎｓｉｏｎ Ｖｅｃｔｏｒ）である前記第１の特徴として出力させるプロセス、（ｉｉ）前記少なくとも一つのＦＣレイヤをもって、３次元ベクトルである前記学習用アクション情報を、Ｌ次元ベクトルである前記第２の特徴として出力させるプロセス、及び（ｉｉｉ）前記デコンボリューションレイヤをもって、前記第１の特徴と前記第２の特徴とをコンカチネートして生成された１ｘ１ｘ（ＨＷＣ＋Ｌ）テンソルを、ＨｘＷｘＣテンソルである前記予測ネクストフレーム情報として出力させるプロセスを遂行することを特徴とする請求項２０に記載の学習装置。
  22. 前記プロセッサは、前記ロスを利用した最急降下法（Ｇｒａｄｉｅｎｔ Ｄｅｓｃｅｎｔ）によって前記少なくとも一つのＣＮＮと、前記少なくとも一つのＦＣレイヤと、前記デコンボリューションレイヤとのうち少なくとも一つのパラメータをアップデートすることを特徴とする請求項２０に記載の学習装置。
JP2020007174A 2019-01-30 2020-01-20 ディープラーニング基盤装置の学習に使用されるバーチャル世界シミュレータの物理エンジンをキャリブレーションする方法及び装置、そしてそのためのリアル状態ネットワークを学習する方法及びそれを利用した学習装置 Active JP6865365B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962798691P 2019-01-30 2019-01-30
US62/798,691 2019-01-30
US16/723,450 2019-12-20
US16/723,450 US10776542B2 (en) 2019-01-30 2019-12-20 Method and device for calibrating physics engine of virtual world simulator to be used for learning of deep learning-based device, and a learning method and learning device for real state network used therefor

Publications (2)

Publication Number Publication Date
JP2020123338A JP2020123338A (ja) 2020-08-13
JP6865365B2 true JP6865365B2 (ja) 2021-04-28

Family

ID=69177075

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020007174A Active JP6865365B2 (ja) 2019-01-30 2020-01-20 ディープラーニング基盤装置の学習に使用されるバーチャル世界シミュレータの物理エンジンをキャリブレーションする方法及び装置、そしてそのためのリアル状態ネットワークを学習する方法及びそれを利用した学習装置

Country Status (5)

Country Link
US (1) US10776542B2 (ja)
EP (1) EP3690750A1 (ja)
JP (1) JP6865365B2 (ja)
KR (1) KR102300910B1 (ja)
CN (1) CN111738046A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102264571B1 (ko) * 2020-10-30 2021-06-15 주식회사 애자일소다 계층 구조를 갖는 의사결정 에이전트
DE102020215302A1 (de) * 2020-12-03 2022-06-09 Robert Bosch Gesellschaft mit beschränkter Haftung Dynamikabhängige Verhaltensplanung für zumindest teilweise automatisiert fahrende Fahrzeuge

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014117888A1 (de) * 2014-12-04 2016-10-13 Connaught Electronics Ltd. Online-Kalibrierung eines Kraftfahrzeug-Kamerasystems
WO2017004803A1 (en) * 2015-07-08 2017-01-12 Xiaoou Tang An apparatus and a method for semantic image labeling
US10019652B2 (en) * 2016-02-23 2018-07-10 Xerox Corporation Generating a virtual world to assess real-world video analysis performance
WO2017163538A1 (ja) * 2016-03-25 2017-09-28 ソニー株式会社 情報処理装置
US10902343B2 (en) * 2016-09-30 2021-01-26 Disney Enterprises, Inc. Deep-learning motion priors for full-body performance capture in real-time
KR20180094725A (ko) * 2017-02-16 2018-08-24 삼성전자주식회사 자율 주행을 위한 차량 제어 방법, 차량 제어 장치 및 자율 주행을 위한 학습 방법
US10678846B2 (en) * 2017-03-10 2020-06-09 Xerox Corporation Instance-level image retrieval with a region proposal network
US10475165B2 (en) * 2017-04-06 2019-11-12 Disney Enterprises, Inc. Kernel-predicting convolutional neural networks for denoising
CN111919225B (zh) * 2018-03-27 2024-03-26 辉达公司 使用模拟环境对自主机器进行培训、测试和验证

Also Published As

Publication number Publication date
EP3690750A1 (en) 2020-08-05
JP2020123338A (ja) 2020-08-13
CN111738046A (zh) 2020-10-02
US10776542B2 (en) 2020-09-15
KR102300910B1 (ko) 2021-09-13
KR20200094639A (ko) 2020-08-07
US20200242289A1 (en) 2020-07-30

Similar Documents

Publication Publication Date Title
JP6857371B2 (ja) 安全な自律走行を支援する学習方法、そしてこれを利用した学習装置、テスト方法、及びテスト装置
JP6913969B2 (ja) 強化学習に基づいて協同走行で多重エージェントセンサフュージョンを遂行する方法及び装置
JP6931937B2 (ja) 人の走行データをトレーニングデータとして利用して、強化学習を支援することによりカスタマイズ型経路プランニングを遂行する学習方法及び学習装置
JP6855090B2 (ja) カメラから取得されたイメージと、それに対応するレーダまたはライダを通じて取得されたポイントクラウドマップをニューラルネットワークのそれぞれのコンボリューションステージごとに統合する学習方法及び学習装置、そしてそれを利用したテスト方法及びテスト装置
CN110197027B (zh) 一种自动驾驶测试方法、装置、智能设备和服务器
US10816978B1 (en) Automated vehicle artificial intelligence training based on simulations
US20230244237A1 (en) Optimal path library for local path planning of an autonomous vehicle
Pereira et al. An integrated architecture for autonomous vehicles simulation
US10997729B2 (en) Real time object behavior prediction
US20200174472A1 (en) Real time decision making for autonomous driving vehicles
CN110647839A (zh) 自动驾驶策略的生成方法、装置及计算机可读存储介质
CN112382165B (zh) 驾驶策略生成方法、装置、介质、设备及仿真系统
KR102373487B1 (ko) 최근 주행 경로에 대한 궤적 기반 행동 분석을 수행하여 차량의 모드를 수동 주행 모드에서 자율 주행 모드로 변경할 지 여부를 판단하는 학습 방법 및 학습 장치
US11518382B2 (en) Learning to simulate
JP6865365B2 (ja) ディープラーニング基盤装置の学習に使用されるバーチャル世界シミュレータの物理エンジンをキャリブレーションする方法及び装置、そしてそのためのリアル状態ネットワークを学習する方法及びそれを利用した学習装置
CN112703459A (zh) 对抗场景的迭代生成
CN114084155B (zh) 预测型智能汽车决策控制方法、装置、车辆及存储介质
JP7092383B2 (ja) 各領域において最適化された自律走行を遂行できるように位置基盤アルゴリズムの選択によってシームレスパラメータ変更を遂行する方法及び装置
JP6978104B2 (ja) Ｇａｎを用いて仮想世界における仮想データから取得したトレーニングデータを生成して、自律走行用ニューラルネットワークの学習プロセスに必要なアノテーションコストを削減する学習方法や学習装置、それを利用したテスト方法やテスト装置
JP6892157B2 (ja) Ｖ２ｘ情報融合技術によって取得された、各物体に対する深さ予測情報及び各物体に対するクラス情報を利用して３ｄ空間を再構築することによりｈｄマップをアップデートする学習方法及び学習装置、そしてこれを利用したテスティング方法及びテスティング装置
CN112784867A (zh) 利用合成图像训练深度神经网络
JP7413249B2 (ja) 情報処理装置、情報処理方法
WO2020054345A1 (ja) 電子制御装置、ニューラルネットワーク更新システム
Stević et al. Development of ADAS perception applications in ROS and" Software-In-the-Loop" validation with CARLA simulator
JP6856957B2 (ja) 写真スタイル変換を使用してランタイム入力の変換によりリアル世界で使用されるバーチャル世界で学習されたｃｎｎを許容するための学習方法及び学習装置、そしてこれを利用したテスト方法及びテスト装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210202

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210209

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210310

R150 Certificate of patent or registration of utility model

Ref document number: 6865365

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250