JPWO2021015869A5 - - Google Patents

Description

特許請求の範囲は上記に示された正確な構成及び構成要素に限定されないことが理解されるべきである。上に説明した方法及び装置の配置、操作、並びに詳細に対して、特許請求の範囲から逸脱せずに、様々な修正、変更及び変形がなされ得る。
本明細書に開示される発明は以下の態様を含む。
〔態様１〕
訓練環境においてロボット装置の３Ｄカメラを使用して撮影した画像を使用して３Ｄモデルを構成することと、
前記訓練環境のパラメーターを人工的に調整し、前記３Ｄモデルから３Ｄ画像のペアを生成することにより、ディープニューラルネットワークを使用して操作画像を形成することと、
前記３Ｄ画像のペア間に共通する物体の埋め込みディスクリプタを含む参照画像を形成するために前記３Ｄ画像のペアを処理すること、
未来の画像中の検出物体を識別して相関性を判断するためにニューラルネットワークの訓練時からの前記参照画像を使用することと、
を含む、ロボット装置のディープニューラルネットワークを訓練する方法。
〔態様２〕
前記３Ｄ画像のペアの生成は、
リンクされた要素にて３Ｄ画像をペアリングすることと、
前記３Ｄ画像のペア間でリンクされた要素を操作して異なる物体アーティキュレーションを有する風景を作成することと、
を含む、態様１に記載の方法。
〔態様３〕
パラメーターの人工的な調整は、
オリジナル３Ｄ画像と操作済３Ｄ画像との間の物体アーティキュレーションを変更することを含む、
態様１に記載の方法。
〔態様４〕
前記物体アーティキュレーションの変更は、
前記オリジナル３Ｄ画像と前記操作済３Ｄ画像との間の照明を変更することを含む、
態様３に記載の方法。
〔態様５〕
前記物体アーティキュレーションの変更は、
前記オリジナル３Ｄ画像と前記操作済３Ｄ画像との間の視角を変更することを含む、
態様３に記載の方法。
〔態様６〕
未知の環境における変形、物体アーティキュレーション、視角、照明に関わらず操作され得る未知の環境中の物体を識別することと、
識別物体を操作することと、
を更に含む、態様１に記載の方法。
〔態様７〕
未知の環境中の物体を検出することと、
画像撮影環境のパラメーターを人工的に調整することにより操作される訓練された物体に対応する埋め込みディスクリプタを含む対応する参照画像を選択することと、
前記対応する参照画像の前記埋め込みディスクリプタに基づいて検出物体を識別することと、
を含む、未知の環境における検出物体の識別に基づいたロボット装置の制御方法。
〔態様８〕
一定期間識別物体を追従することを更に含む、態様７に記載の方法。
〔態様９〕
識別物体が操作され得ることを判断することと、
前記識別物体を操作することと、
を更に含む、態様７に記載の方法。
〔態様１０〕
前記対応する参照画像を風景の撮影画像に重ねることと、
前記対応する参照画像と前記撮影画像との間の点の対応関係に基づいて前記検出物体の識別を決定することと、
を更に含む、態様７に記載の方法。
〔態様１１〕
ロボット装置のディープニューラルネットワークを訓練するためのプログラムコードを記録した非一時的なコンピュータ可読媒体であって、
前記プログラムコードはプロセッサにより実行され、
前記ディープニューラルネットワークを使用して操作画像を形成するために訓練環境のパラメーターを人工的に調整して３Ｄモデルから３Ｄ画像のペアを生成するプログラムコードと、
前記３Ｄ画像のペア間に共通する物体の埋め込みディスクリプタを含む参照画像を形成するために前記３Ｄ画像のペアを処理するプログラムコードと、
未来の画像中の検出物体を識別して相関性を判断するためにニューラルネットワークの訓練中からの前記参照画像を使用するプログラムコードと、
を含む、非一時的なコンピュータ可読媒体。
〔態様１２〕
前記３Ｄ画像のペアを生成するための前記プログラムコードは、
リンクされた要素にて３Ｄ画像をペアリングするプログラムコードと、
前記ペアの３Ｄ画像間でリンクされた要素を操作して異なる物体アーティキュレーションを有する風景を作成するプログラムコードと、
を含む、態様１１に記載の非一時的なコンピュータ可読媒体。
〔態様１３〕
前記３Ｄ画像のペアを生成するための前記プログラムコードは、
オリジナル３Ｄ画像と操作済３Ｄ画像との間の物体アーティキュレーションを変更するプログラムコードを含む、
態様１１に記載の非一時的なコンピュータ可読媒体。
〔態様１４〕
物体アーティキュレーションを変更するための前記プログラムコードは、
前記オリジナル３Ｄ画像と前記操作済３Ｄ画像との間の照明を変更するプログラムコードを含む、
態様１３に記載の非一時的なコンピュータ可読媒体。
〔態様１５〕
前記物体アーティキュレーションを変更するための前記プログラムコードは、
前記オリジナル３Ｄ画像と前記操作済３Ｄ画像との間の視角を変更するプログラムコードを含む、
態様１３に記載の非一時的なコンピュータ可読媒体。
〔態様１６〕
撮影画像中の検出物体を識別するために対応する参照画像を選択するように構成された予め訓練された物体識別モジュールを備え、前記対応する参照画像は画像撮影環境の人工的に調整されたパラメーターにより操作される訓練された物体に基づいた埋め込みディスクリプタを含み、
前記検出物体のアイデンティティに基づいてロボット装置の自律動作を選択するように構成されたコントローラを備える、
未知の環境における検出物体の識別に基づいてロボット装置を制御するためのシステム。
〔態様１７〕
前記予め訓練された物体識別モジュールは識別物体を一定期間に渡って追跡するように構成されている、態様１６に記載のシステム。
〔態様１８〕
前記コントローラは更に識別物体を操作するように構成されている、態様１６に記載のシステム。
〔態様１９〕
前記予め訓練された物体識別モジュールは、前記対応する参照画像を風景の撮影画像に重ね合わせ、前記対応する参照画像と前記撮影画像との間の点の対応関係に基づいて前記検出物体の識別を決定するように構成されている、態様１６に記載のシステム。
〔態様２０〕
前記予め訓練された物体識別モジュールは未来の画像中の前記検出物体を識別する相関性に基づいて前記対応する参照画像と撮影画像との間で共通する物体を検出するように構成されている、態様１６に記載のシステム。

Claims (15)

1. 訓練環境においてロボット装置の３Ｄカメラを介して撮影した画像を使用して３Ｄモデルを構成することと、
   前記訓練環境のパラメーターを人工的に調整し、前記３Ｄモデルから３Ｄ画像のペアを生成することにより、ディープニューラルネットワークを使用して操作画像を形成することと、
   前記３Ｄ画像のペア間に共通する物体の埋め込みディスクリプタを含む参照画像を形成するために前記３Ｄ画像のペアを処理することと、
   未来の画像中の検出物体を識別して相関性を判断するためにニューラルネットワークの訓練時からの前記参照画像を使用することと、
   を含む、ロボット装置のディープニューラルネットワークを訓練する方法。
2. 前記３Ｄ画像のペアの生成は、
   リンクされた要素にて３Ｄ画像をペアリングすることと、
   前記３Ｄ画像のペア間でリンクされた要素を操作して異なる物体アーティキュレーションを有する風景を作成することと、
   を含む、請求項１に記載の方法。
3. パラメーターの人工的な調整は、
   オリジナル３Ｄ画像と操作済３Ｄ画像との間の物体アーティキュレーションを変更することを含む、
   請求項１に記載の方法。
4. 前記物体アーティキュレーションの変更は、
   前記オリジナル３Ｄ画像と前記操作済３Ｄ画像との間の照明を変更することを含む、
   請求項３に記載の方法。
5. 前記物体アーティキュレーションの変更は、
   前記オリジナル３Ｄ画像と前記操作済３Ｄ画像との間の視角を変更することを含む、
   請求項３に記載の方法。
6. 未知の環境における変形、物体アーティキュレーション、視角、照明に関わらず操作され得る未知の環境中の物体を識別することと、
   識別物体を操作することと、
   を更に含む、請求項１に記載の方法。
7. 未知の環境中の物体を検出することと、
   画像撮影環境のパラメーターを人工的に調整することにより操作される訓練された物体に対応する埋め込みディスクリプタを含む対応する参照画像を選択することと、
   前記対応する参照画像の前記埋め込みディスクリプタに基づいて検出物体を識別することと、
   を含む、未知の環境における検出物体の識別に基づいたロボット装置の制御方法。
8. 一定期間識別物体を追従することを更に含む、請求項７に記載の方法。
9. 識別物体が操作され得ることを判断することと、
   前記識別物体を操作することと、
   を更に含む、請求項７に記載の方法。
10. 前記対応する参照画像を風景の撮影画像に重ねることと、
    前記対応する参照画像と前記撮影画像との間の点の対応関係に基づいて前記検出物体の識別を決定することと、
    を更に含む、請求項７に記載の方法。
11. ロボット装置のディープニューラルネットワークを訓練するためのプログラムコードを記録した非一時的なコンピュータ可読媒体であって、
    前記プログラムコードはプロセッサにより実行され、
    前記ディープニューラルネットワークを使用して操作画像を形成するために訓練環境のパラメーターを人工的に調整して３Ｄモデルから３Ｄ画像のペアを生成するプログラムコードと、
    前記３Ｄ画像のペア間に共通する物体の埋め込みディスクリプタを含む参照画像を形成するために前記３Ｄ画像のペアを処理するプログラムコードと、
    未来の画像中の検出物体を識別して相関性を判断するためにニューラルネットワークの訓練中からの前記参照画像を使用するプログラムコードと、
    を含む、非一時的なコンピュータ可読媒体。
12. 前記３Ｄ画像のペアを生成するための前記プログラムコードは,
    リンクされた要素にて３Ｄ画像をペアリングするプログラムコードと、
    前記ペアの３Ｄ画像間でリンクされた要素を操作して異なる物体アーティキュレーションを有する風景を作成するプログラムコードと、
    を含む、請求項１１に記載の非一時的なコンピュータ可読媒体。
13. 前記３Ｄ画像のペアを生成するための前記プログラムコードは,
    オリジナル３Ｄ画像と操作済３Ｄ画像との間の物体アーティキュレーションを変更するプログラムコードを含む、
    請求項１１に記載の非一時的なコンピュータ可読媒体。
14. 物体アーティキュレーションを変更するための前記プログラムコードは、
    前記オリジナル３Ｄ画像と前記操作済３Ｄ画像との間の照明を変更するプログラムコードを含む、
    請求項１３に記載の非一時的なコンピュータ可読媒体。
15. 撮影画像中の検出物体を識別するために対応する参照画像を選択するように構成された予め訓練された物体識別モジュールを備え、前記対応する参照画像は画像撮影環境の人工的に調整されたパラメーターにより操作される訓練された物体に基づいた埋め込みディスクリプタを含み、
    前記検出物体のアイデンティティに基づいてロボット装置の自律動作を選択するように構成されたコントローラを備える、
    未知の環境における検出物体の識別に基づいてロボット装置を制御するためのシステム。