JP7241450B2 - 機械概念理解のための方法及びシステム - Google Patents
機械概念理解のための方法及びシステム Download PDFInfo
- Publication number
- JP7241450B2 JP7241450B2 JP2021512442A JP2021512442A JP7241450B2 JP 7241450 B2 JP7241450 B2 JP 7241450B2 JP 2021512442 A JP2021512442 A JP 2021512442A JP 2021512442 A JP2021512442 A JP 2021512442A JP 7241450 B2 JP7241450 B2 JP 7241450B2
- Authority
- JP
- Japan
- Prior art keywords
- program
- primitives
- scene
- attention
- objects
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
- B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1671—Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/29—Graphical models, e.g. Bayesian networks
- G06F18/295—Markov models or related models, e.g. semi-Markov models; Markov random fields; Networks embedding Markov models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
- G06V30/19167—Active pattern learning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40395—Compose movement with primitive movement segments from database
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40532—Ann for vision processing
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40617—Agile eye, control position of camera, active vision, pan-tilt camera, follow object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
- G06V30/194—References adjustable by an adaptive method, e.g. learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Robotics (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Mathematical Optimization (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Pure & Applied Mathematics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Algebra (AREA)
- Computational Linguistics (AREA)
- Operations Research (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Image Analysis (AREA)
- Manipulator (AREA)
Description
[0001] 本願は、2018年9月5日に出願された米国仮出願番号第62/727,162号の利益を主張し、この参照によって当該出願の全体が組み込まれる。
[0016] 図1に示すように、本方法は、候補プログラムのセットを決定するステップS300と、本システム上でプログラムを実行するステップS500と、を含む。本方法は、追加又は代替として、訓練データから特徴を抽出するステップS100と、原始関数の引数を決定するステップS200と、各候補プログラムを評価するステップS400と、を含むことができるが、追加又は代替として任意の他の適切な要素を含むことができる。本方法は、システム上でプログラムを生成及び実行するように機能し、本プログラムは、原始関数を備える命令のセットから生成される。
[0021] 第1に、デモンストレーションと同じ設定でロボットがデモンストレーションを模倣する従来の方法(例えば、模倣学習)とは対照的に、本出願人は、システムアーキテクチャ上に帰納された認知プログラムが基本的概念を学習し、明確なデモンストレーションなしに新しい設定に十分に一般化する、新規で有用な方法を開発した。
[0026] システム20は、1以上の命令セット235と、1以上の視覚認知コンピュータ(VCC)220と、を含むことが好ましい。システム20は、追加又は代替として、訓練データ225、実行データ230、1以上のプログラムセット205、1以上のプログラム帰納エンジン215を含む又は使用する、及び/又は、任意の他の適切なコンポーネントを含むことができる。本システムは、シーンを解釈してプログラムを実行するように機能し、及び任意選択的に、その後の実行のための認知プログラムを帰納することができる。
[00145] 方法は、エージェントによって実行されることができる原始関数を含むプログラムを決定するように機能する、初期ターゲットの対のためのプログラムを生成することを含むことができる。方法は、VCCとインターフェースすることによってプログラム帰納エンジンによって実行されることが好ましいが、追加又は代替として、任意の他の適切なシステムによって実行されることができる。方法は、任意選択的に、特定されていない入力に対してプログラムを実行することを含むことができる。方法は、アクティブセッション中(例えば、訓練中、実行中など)に実行されることが好ましいが、任意の他の適切な時間に実行されることができる。方法は、訓練中のプログラムを生成するために命令のセットを使用することが好ましく、その後、実行中に、(例えば、選択された概念に関連付けられた)プログラムがシステムによって実行されることが好ましい。
Claims (22)
- 視覚ベースのプログラム帰納のための方法であって、
少なくとも1つの訓練セットを受信するステップであって、前記訓練セットが入力シーン及びターゲットシーンから本質的に構成される、ステップと、
生成視覚モデルによって前記入力シーン及び前記ターゲットシーン内でオブジェクトを検出するステップと、
前記入力シーン及び前記ターゲットシーンに基づいて原始関数の候補セットから一連の原始関数を自動的に選択するステップであって、前記一連の原始関数が、ロボット原始関数と、前記生成視覚モデルのための視覚的階層原始関数と、を含む、ステップと、
ダイナミックスモデル及び前記生成視覚モデルによって、前記一連の原始関数及び引数値のセットに基づいて、シミュレーションされたシーン内で一連のオブジェクト位置をシミュレーションするステップと、
前記ターゲットシーン内の前記オブジェクトのターゲット位置に実質的に一致する最終的にシミュレーションされたオブジェクト位置に応答して、前記プログラムとして前記一連の原始関数及び前記引数値のセットを選択するステップと、を含む方法。 - 前記一連の原始関数は、
トップダウンアテンションゲーティングを使用して、前記生成視覚モデルによって前記入力シーン及び前記ターゲットシーン内で識別されたオブジェクトに選択的にアテンドするように構成されたアテンションコントローラのためのアテンション制御原始関数と、
シミュレーションされた前記シーン内で固定点を制御するように構成された固定コントローラのための固定制御原始関数と、をさらに含む、請求項1に記載の方法。 - ロボット上で前記プログラムを実行するステップをさらに含み、当該ステップが、
前記プログラム内の前記ロボット原始関数をロボット特有関数に変換することによって前記ロボット特有プログラムを生成するステップと、
未確認の入力シーンをサンプリングするステップと、
前記未確認の入力シーンに基づいて、前記ダイナミックスモデル及び前記生成視覚モデルを使用して前記ロボット特有プログラムに従って前記ロボットを制御するステップと、を含む、請求項1に記載の方法。 - 前記生成視覚モデルは、複数の階層的層に組織化されたサブネットワークの再帰的に構築されたネットワークを含み、
前記サブネットークは、少なくとも、親特徴ノード、プールノード、親特有子特徴(PSCF)ノード及び子特徴ノードを備え、
少なくとも1つのサブネットワークの前記親特徴ノードは、前記少なくとも1つのサブネットワークの前記親特徴ノードに接続された少なくとも2つのプールノード上で動作可能な選択関数を有するように構成され、
前記少なくとも1つのサブネットワークの前記プールノードは、前記少なくとも1つのサブネットワークの前記プールノードに接続された少なくとも2つのPSCFノード上で動作可能な選択関数を有するように構成され、
前記少なくとも1つのサブネットワークの前記PSCFノードは、接続された子特徴ノードを起動させるように構成される、請求項1に記載の方法。 - 前記原始関数の候補セット、及び、前記原始関数に関連付けられた引数値の候補セットの各々が、木構造によって関連させられ、各エッジは、前記入力シーンに少なくとも部分的に基づいて確率的に決定された遷移に関連付けられ、原始関数の候補セットから一連の原始関数を自動的に選択することは、前記一連の原始関数及び前記引数値のセットを確率の高い順で検索することを含む、請求項1に記載の方法。
- 原始関数のセットはサブルーチンに結合され、前記サブルーチンは、前記木構造のノードとして前記生成視覚モデルに組み込まれる、請求項5に記載の方法。
- 前記一連の原始関数は、前記シミュレーションされたシーン内で固定点を制御するように構成された固定コントローラのための固定制御原始関数をさらに含み、前記方法は、ユーザから固定ガイダンスを受信することをさらに含み、前記固定ガイダンスは、前記一連の原始関数内で固定制御原始関数のための引数を決定するために識別モデルによって使用される、請求項5に記載の方法。
- 前記木構造は一連のマルコフ連鎖を備える、請求項5に記載の方法。
- 前記引数値の候補セットのための確率は、ニューラルネットワークを適用することによって、条件ランダムフィールドを適用することによって、又は、前記視覚的階層をクエリすることによって、決定される、請求項5に記載の方法。
- 前記入力シーン及び前記ターゲットシーンに基づいて第2プログラムを生成することと、
更新された生成視覚モデルを生成するために前記プログラム及び前記第2プログラムに基づいて前記生成視覚モデルを更新することと、
更新された前記生成視覚モデルを用いて、前記入力シーン及び前記ターゲットシーンに基づいてプログラムを反復的に決定することと、をさらに含む、請求項5に記載の方法。 - 更新された前記生成視覚モデルを用いてプログラムを反復的に決定することは、前記遷移確率を変化させることを含む、請求項10に記載の方法。
- 選択された前記一連の原始関数のためのセット引数値を自動的に決定することをさらに含む、請求項1に記載の方法。
- 第2の一連の原始関数と引数値の第2セットとを備える部分プログラムを決定することと、
前記部分プログラムを実行することであって、
前記部分プログラムを実行することによって部分シーンを生成することと、
前記部分シーン及び前記ターゲットシーンの間の距離値を決定することと、
前記距離値と前記部分プログラムに関連付けられた遷移確率のセットとに基づいてヒューリスティック値を決定することと、
前記部分プログラムに前記ヒューリスティック値を関連付けることと、を含む、前記部分プログラムを実行することと、をさらに含み、
前記プログラムを選択することは、前記ヒューリスティック値に基づいて前記プログラムを検索することを含む、請求項1に記載の方法。 - 前記入力シーン及び前記ターゲットシーン内で、前記オブジェクトを備える複数のオブジェクトを検出することをさらに含み、
異なる一連のオブジェクト位置が、前記複数のオブジェクトの各々についてシミュレーションされ、
前記プログラムは、前記ターゲットシーン内の各オブジェクトについてのそれぞれのターゲット位置に実質的に一致する前記複数のオブジェクトの各々についての最終的にシミュレーションされたオブジェクト位置に応答して選択される、請求項1に記載の方法。 - 入力シーン内でオブジェクトを検出し、かつ、入力シーンから各オブジェクトについての属性のセットを抽出する視覚的階層であって、視覚的階層原始関数のセットに応答する視覚的階層と、
前記入力シーン内で対象のフィールドの基準点を位置決めする固定コントローラであって、固定制御原始関数のセットに応答する固定コントローラと、
検出された前記オブジェクトから前記対象のフィールド内で、アテンドされたオブジェクトのセットを選択するアテンションコントローラであって、アテンション制御原始関数のセットに応答するアテンションコントローラと、
前記入力シーン内で選択された前記オブジェクトを操作するためのマニピュレータを制御するロボットコントローラであって、ロボット制御原始関数のセットに応答するロボットコントローラと、
一連の原始関数を備えるプログラムであって、前記一連の原始関数は、前記視覚的階層原始関数のセットからの視覚的階層原始関数と、前記固定制御原始関数のセットからの固定制御原始関数と、前記アテンション制御原始関数のセットからのアテンション制御原始関数と、前記ロボット制御原始関数のセットからのロボット制御原始関数と、を備える、プログラムと、を備える、ロボットプログラム実行のためのシステム。 - 前記視覚的階層は、入力シーン内で各オブジェクトのための概略的表現の階層を抽出する生成視覚モデルを含む、請求項15に記載のシステム。
- 前記アテンションコントローラは、トップダウンアテンションゲーティングを用いて、前記概略的表現のそれぞれの階層に基づいて、前記対象のフィールド内でオブジェクトに選択的にアテンドする、請求項16に記載の方法。
- 前記生成視覚モデルは、
複数の階層の層に組織化されたサブネットワークの再帰的に構築されたネットワークと、
前記少なくとも1つのサブネットワークの前記親特徴ノードは、前記少なくとも1つのサブネットワークの前記親特徴ノードに接続された少なくとも2つのプールノード上で動作可能な選択関数を有するように構成され、
前記少なくとも1つのサブネットワークの前記プールノードは、前記少なくとも1つのサブネットワークの前記プールノードに接続された少なくとも2つのPSCFノード上で動作可能な選択関数を有するように構成され、
前記少なくとも1つのサブネットワークの前記PSCFノードは、接続された子特徴ノードを起動するように構成される、請求項16に記載の方法。 - 前記プログラム内で今後のロボット制御原始関数に基づいて、視覚空間内で前記視覚的階層によって今後のアクションを集合的にシミュレーションするダイナミックスモデルをさらに備える、請求項15に記載のシステム。
- 前記基準点に対するそれぞれの前記オブジェクトの近接性に基づいて、アテンドされた前記オブジェクトのセット内で、各オブジェクトをインデックスするオブジェクトインデクサをさらに備える、請求項15に記載のシステム。
- 前記プログラムは、
入力シーン及びターゲットシーンから本質的に構成される訓練セットと、
前記視覚的階層原始関数のセットと、前記固定制御原始関数のセットと、前記アテンション制御原始関数のセットと、前記ロボット制御原始関数と、を備える原始関数の候補セットと、
前記原始関数の候補セットからの一連の原始関数を確率論的に決定する生成モデルと、
前記一連の原始関数内で原始関数のための引数を確率論的に決定する識別モデルと、を使用して生成される、請求項15に記載のシステム。 - 前記識別モデルはニューラルネットワークを備える、請求項21に記載のシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862727162P | 2018-09-05 | 2018-09-05 | |
US62/727,162 | 2018-09-05 | ||
PCT/US2019/049804 WO2020051367A1 (en) | 2018-09-05 | 2019-09-05 | Method and system for machine concept understanding |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021536633A JP2021536633A (ja) | 2021-12-27 |
JP7241450B2 true JP7241450B2 (ja) | 2023-03-17 |
Family
ID=69641942
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021512442A Active JP7241450B2 (ja) | 2018-09-05 | 2019-09-05 | 機械概念理解のための方法及びシステム |
Country Status (4)
Country | Link |
---|---|
US (1) | US11633860B2 (ja) |
EP (1) | EP3847803A4 (ja) |
JP (1) | JP7241450B2 (ja) |
WO (1) | WO2020051367A1 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11314987B2 (en) * | 2018-11-23 | 2022-04-26 | X Development Llc | Domain adaptation using simulation to simulation transfer |
US11213947B2 (en) * | 2019-06-27 | 2022-01-04 | Intel Corporation | Apparatus and methods for object manipulation via action sequence optimization |
WO2021191908A1 (en) * | 2020-03-25 | 2021-09-30 | Yissum Research Development Company Of The Hebrew University Of Jerusalem Ltd. | Deep learning-based anomaly detection in images |
WO2021196038A1 (zh) * | 2020-03-31 | 2021-10-07 | 深圳市大疆创新科技有限公司 | 点云的编解码方法和装置 |
US11350078B2 (en) * | 2020-04-03 | 2022-05-31 | Fanuc Corporation | 3D pose detection by multiple 2D cameras |
US20220068037A1 (en) * | 2020-08-31 | 2022-03-03 | Nvidia Corporation | Image generation using one or more neural networks |
DE102020212658A1 (de) * | 2020-10-07 | 2022-04-07 | Robert Bosch Gesellschaft mit beschränkter Haftung | Vorrichtung und Verfahren zum Steuern einer Robotervorrichtung |
US20220111869A1 (en) * | 2020-10-08 | 2022-04-14 | Nec Laboratories America, Inc. | Indoor scene understanding from single-perspective images |
US20220121925A1 (en) * | 2020-10-21 | 2022-04-21 | International Business Machines Corporation | Chips supporting constant time program control of nested loops |
US11934801B2 (en) * | 2021-12-07 | 2024-03-19 | Microsoft Technology Licensing, Llc | Multi-modal program inference |
WO2024011331A1 (en) * | 2022-07-14 | 2024-01-18 | Promise Robotics Inc. | Methods, systems and devices for automated assembly of building structures |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015071206A (ja) | 2013-10-03 | 2015-04-16 | セイコーエプソン株式会社 | 制御装置、ロボット、教示データ生成方法及びプログラム |
US20160267375A1 (en) | 2012-05-15 | 2016-09-15 | Vicarious Fpc, Inc. | System and method for a recursive cortical network |
Family Cites Families (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5065040A (en) | 1990-08-03 | 1991-11-12 | Motorola Inc. | Reverse flow neuron |
US5253329A (en) | 1991-12-26 | 1993-10-12 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Neural network for processing both spatial and temporal data with time based back-propagation |
US5666518A (en) | 1995-06-26 | 1997-09-09 | The United States Of America As Represented By The Secretary Of The Air Force | Pattern recognition by simulated neural-like networks |
US6976012B1 (en) | 2000-01-24 | 2005-12-13 | Sony Corporation | Method and apparatus of using a neural network to train a neural network |
US8332339B2 (en) | 2008-11-05 | 2012-12-11 | Knowmtech, Llc | Watershed memory systems and methods |
US7580907B1 (en) | 2004-01-14 | 2009-08-25 | Evolved Machines, Inc. | Invariant object recognition |
US7519488B2 (en) | 2004-05-28 | 2009-04-14 | Lawrence Livermore National Security, Llc | Signal processing method and system for noise removal and signal extraction |
US7739208B2 (en) | 2005-06-06 | 2010-06-15 | Numenta, Inc. | Trainable hierarchical memory system and method |
US20070192267A1 (en) | 2006-02-10 | 2007-08-16 | Numenta, Inc. | Architecture of a hierarchical temporal memory based system |
US7711663B2 (en) | 2006-03-27 | 2010-05-04 | Board Of Trustees Of Michigan State University | Multi-layer development network having in-place learning |
US8165407B1 (en) | 2006-10-06 | 2012-04-24 | Hrl Laboratories, Llc | Visual attention and object recognition system |
US7512573B2 (en) | 2006-10-16 | 2009-03-31 | Alcatel-Lucent Usa Inc. | Optical processor for an artificial neural network |
WO2008106615A1 (en) | 2007-02-28 | 2008-09-04 | Numenta, Inc. | Spatio-temporal learning algorithms in hierarchical temporal networks |
WO2009006231A1 (en) | 2007-06-29 | 2009-01-08 | Numenta, Inc. | Hierarchical temporal memory system with enhanced inference capability |
US8411935B2 (en) | 2007-07-11 | 2013-04-02 | Behavioral Recognition Systems, Inc. | Semantic representation module of a machine-learning engine in a video analysis system |
US8200025B2 (en) | 2007-12-07 | 2012-06-12 | University Of Ottawa | Image classification and search |
US8824833B2 (en) | 2008-02-01 | 2014-09-02 | Omnivision Technologies, Inc. | Image data fusion systems and methods |
US20090299929A1 (en) | 2008-05-30 | 2009-12-03 | Robert Kozma | Methods of improved learning in simultaneous recurrent neural networks |
US8369652B1 (en) | 2008-06-16 | 2013-02-05 | Hrl Laboratories, Llc | Visual attention system for salient regions in imagery |
US8340435B2 (en) | 2009-06-11 | 2012-12-25 | California Institute Of Technology | Method and system for object recognition search |
US9031286B2 (en) | 2010-12-09 | 2015-05-12 | Panasonic Corporation | Object detection device and object detection method |
US8442321B1 (en) | 2011-09-14 | 2013-05-14 | Google Inc. | Object recognition in images |
JP6032921B2 (ja) | 2012-03-30 | 2016-11-30 | キヤノン株式会社 | 物体検出装置及びその方法、プログラム |
US9262698B1 (en) | 2012-05-15 | 2016-02-16 | Vicarious Fpc, Inc. | Method and apparatus for recognizing objects visually using a recursive cortical network |
CA2941250A1 (en) * | 2014-03-19 | 2015-09-24 | Neurala, Inc. | Methods and apparatus for autonomous robotic control |
EP3398119B1 (en) * | 2016-02-05 | 2022-06-22 | Deepmind Technologies Limited | Generative neural networks for generating images using a hidden canvas |
US11345040B2 (en) * | 2017-07-25 | 2022-05-31 | Mbl Limited | Systems and methods for operating a robotic system and executing robotic interactions |
US11188035B2 (en) * | 2018-07-19 | 2021-11-30 | International Business Machines Corporation | Continuous control of attention for a deep learning network |
-
2019
- 2019-09-05 JP JP2021512442A patent/JP7241450B2/ja active Active
- 2019-09-05 US US16/562,261 patent/US11633860B2/en active Active
- 2019-09-05 EP EP19856871.9A patent/EP3847803A4/en active Pending
- 2019-09-05 WO PCT/US2019/049804 patent/WO2020051367A1/en unknown
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160267375A1 (en) | 2012-05-15 | 2016-09-15 | Vicarious Fpc, Inc. | System and method for a recursive cortical network |
JP2015071206A (ja) | 2013-10-03 | 2015-04-16 | セイコーエプソン株式会社 | 制御装置、ロボット、教示データ生成方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
EP3847803A4 (en) | 2022-06-15 |
EP3847803A1 (en) | 2021-07-14 |
WO2020051367A1 (en) | 2020-03-12 |
JP2021536633A (ja) | 2021-12-27 |
US11633860B2 (en) | 2023-04-25 |
US20200070352A1 (en) | 2020-03-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7241450B2 (ja) | 機械概念理解のための方法及びシステム | |
Jiang et al. | Hand-object contact consistency reasoning for human grasps generation | |
Dasari et al. | Robonet: Large-scale multi-robot learning | |
Huang et al. | Shape synthesis from sketches via procedural models and convolutional networks | |
Labbé et al. | Monte-carlo tree search for efficient visually guided rearrangement planning | |
Stylianou et al. | Visualizing deep similarity networks | |
Lyu et al. | Robot path planning by leveraging the graph-encoded Floyd algorithm | |
Jayaraman et al. | End-to-end policy learning for active visual categorization | |
Huang et al. | Leveraging appearance priors in non-rigid registration, with application to manipulation of deformable objects | |
Jia et al. | Cloth manipulation using random-forest-based imitation learning | |
Shi et al. | RoboCraft: Learning to see, simulate, and shape elasto-plastic objects in 3D with graph networks | |
Yang et al. | Robotic grasping through combined image-based grasp proposal and 3d reconstruction | |
de Souza et al. | Robotic grasping: from wrench space heuristics to deep learning policies | |
Patten et al. | Dgcm-net: dense geometrical correspondence matching network for incremental experience-based robotic grasping | |
Szeliski et al. | Feature detection and matching | |
Huang et al. | Tracking-by-detection of 3d human shapes: from surfaces to volumes | |
Wu et al. | Efficient push-grasping for multiple target objects in clutter environments | |
Łępicka et al. | Utilization of colour in ICP-based point cloud registration | |
Yang et al. | Autonomous tool construction with gated graph neural network | |
Shantia et al. | Indoor localization by denoising autoencoders and semi-supervised learning in 3D simulated environment | |
Nanwani et al. | Instance-Level Semantic Maps for Vision Language Navigation | |
Tang et al. | Two-stage filtering method to improve the performance of object detection trained by synthetic dataset in heavily cluttered industry scenes | |
Biza et al. | One-shot imitation learning via interaction warping | |
Wei | A bio-inspired integration method for object semantic representation | |
Yoon et al. | Multi-pose Face Registration Method for Social Robot |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210423 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220509 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220614 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220914 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221110 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20221227 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230131 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230301 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230303 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7241450 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |