JP7264410B2 - 「敵対的サンプル」に対するロバスト性を改善する装置及び方法 - Google Patents

「敵対的サンプル」に対するロバスト性を改善する装置及び方法 Download PDF

Info

Publication number
JP7264410B2
JP7264410B2 JP2021535830A JP2021535830A JP7264410B2 JP 7264410 B2 JP7264410 B2 JP 7264410B2 JP 2021535830 A JP2021535830 A JP 2021535830A JP 2021535830 A JP2021535830 A JP 2021535830A JP 7264410 B2 JP7264410 B2 JP 7264410B2
Authority
JP
Japan
Prior art keywords
input signal
classifier
signal
org
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021535830A
Other languages
English (en)
Other versions
JP2022515756A (ja
Inventor
ジーグ コルター ジェレミー
シュミット フランク
ウォン エリック
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Carnegie Mellon University
Original Assignee
Robert Bosch GmbH
Carnegie Mellon University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH, Carnegie Mellon University filed Critical Robert Bosch GmbH
Publication of JP2022515756A publication Critical patent/JP2022515756A/ja
Application granted granted Critical
Publication of JP7264410B2 publication Critical patent/JP7264410B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217Validation; Performance evaluation; Active pattern learning techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133Distances to prototypes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/09Supervised learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/094Adversarial learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776Validation; Performance evaluation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133Distances to prototypes
    • G06F18/24143Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Feedback Control In General (AREA)

Description

本発明は、敵対的入力信号を取得するための方法、分類器を使用及び/又はトレーニングするための方法、分類器のロバスト性を評価するための方法、及び、アクチュエータを動作させるための方法、コンピュータプログラム及び機械可読記憶媒体、分類器、制御システム及びトレーニングシステムに関する。
従来技術
米国特許第10007866号明細書には、以下のことを含む方法、即ち、
複数のクラスについてラベル付けされた、入力空間からの複数のトレーニング画像を用いてトレーニング済みのニューラルネットワーク画像分類器に、メモリからアクセスし、
敵対的画像ごとに、トレーニング画像のうちの1つの周囲の入力空間において、ニューラルネットワークが線形である領域をサーチして、ニューラルネットワークにより複数のクラスに誤分類された1つの画像を見出すことによって、複数の敵対的画像を計算し、
トレーニング画像をニューラルネットワークに適用して、ニューラルネットワークの反応を観察し、
観察された反応を用いて、入力空間を表現する制約システムを計算し、
少なくともこれらの敵対的画像を用いて精度が改善されるように、ニューラルネットワーク画像分類器をさらにトレーニングする、
ことを含む方法が開示されている。
“Universal Adversarial Perturbations Against Semantic Image Segmentation”, arXiv preprint arXiv: 1704.05712v3, Jan Hendrik Metzen, Mummadi Chaithanya Kumar, Thomas Brox, Volker Fischerには、敵対的摂動を生成するための方法が開示されている。
米国特許第10007866号明細書
"Universal Adversarial Perturbations Against Semantic Image Segmentation", arXiv preprint arXiv: 1704.05712v3, Jan Hendrik Metzen, Mummadi Chaithanya Kumar, Thomas Brox, Volker Fischer
発明の利点
例えばニューラルネットワーク分類システムのような分類器は、容易に欺くことができる。また、ディープラーニングに基づくものとすることができる分類器は、微小摂動の影響を受けやすいものとなり得る、ということはよく知られている。このようなシステムを物理的世界に配備するために重要であることは、システムのロバスト性に関する証明を提供することである。
小さいL球体内にある敵対的ノイズに関して、ロバストな分類器を計算することができる。それにもかかわらず、より自然な摂動に関する敵対性は、それらのロバスト性の提示によって必ずしも担保されているわけではない。より自然な摂動には、部分的な並進、回転及びモーションブラーが含まれる。例えば、1つのピクセルによる暗い物体を移動させると、背景が著しく明るいならば、著しく長いL-距離が引き起こされることになり、ただし、これは、物理的世界においては通常、小さい変化とみなされることになる。結果として、このような小さい物理的変化は、L-ロバスト性によっても担保されない。
独立請求項1に記載のステップを備える方法は、かかる摂動に関してロバスト性を改善するという利点を有する。
発明の開示
従って、第1の態様によれば、本発明は、分類器への入力信号(x)を分類する前記分類器に対する敵対的入力信号(xadv)を取得するためのコンピュータ実装方法に関し、前記入力信号(x)は、センサから取得されたものとすることができ、前記敵対的入力信号(xadv)は、前記センサから取得されたものとすることができる原入力信号(xorg)から取得され、前記敵対的入力信号(xadv)及び前記原入力信号(xorg)は、前記分類器に指示して、前記原入力信号(xorg)を第1のクラス(l)に属するものとして分類させ、前記敵対的入力信号(xadv)を前記第1のクラス(l)とは異なる第2のクラス(l)に属するものとして分類させ、
当該方法は、
前記原入力信号(xorg)を修正して、修正入力信号(xmod)を生じさるステップと、
前記修正入力信号(xmod)を、前記原入力信号(xorg)周囲の(例えば、周囲にセンタリングされた)メトリック球体上に投影して、投影入力信号(xproj)を生じさせるステップと、
前記投影入力信号(xproj)に依存して前記敵対的入力信号(xadv)を取得するステップと、
を備え、
前記メトリックは、少なくとも近似的なワッサースタイン距離であることを特徴としている。用語「所与の点をメトリック球体上に投影する」とは、「前記所与の点に最も近い点を前記メトリック球体から決定する」という意味であると解することができる。
前記少なくとも近似的なワッサースタイン距離を、例えば、予め定義された半径など、予め定義されたパラメータによって表すことができる。前記ワッサースタイン距離は、計算することが困難であり、ワッサースタイン球体上への投影をどのようにして実施するのかは、これまで知られていなかった。
よって、ここで提案されていることは、前記少なくともワッサースタイン距離による、例えばLメトリックにより測定された距離が、前記メトリック球体の予め定義された半径(ε)よりも大きくないという制約のもとで、前記修正入力信号(xmod)までの距離を最小化することにより、前記投影入力信号(xproj)を決定する、ということである。
これによって、正確な解法、即ち、前記少なくとも近似的なワッサースタイン距離はワッサースタイン距離(W)である、という場合の解法が可能となる。好都合なことに、上述の前記最小化を、前記制約のもとにおける前記最小化により与えられる主問題に対応する双対問題を最大化することによって、取得することができ、この場合、前記双対問題は、前記制約に対応するラグランジュ乗数の変数を有する。このことは、図13及び対応する説明において詳述されている。
1つの好ましい実施形態によれば、前記少なくとも近似的なワッサースタイン距離は、エントロピー項によってワッサースタイン距離とは異なるシンクホーン距離であり、この場合、第1の分布(P)と第2の分布(Q)とから成る任意のペアについて、前記エントロピー項は、Π1=P,Π=Qを満たす分布Πのエントロピーを表す。P及びQが同一の定義域Ω全体において定義された分布であるならば、Πは、周辺分布としてP及びQを含む定義域Ω*Ω全体にわたる分布である。
ここで見出されたことは、前記エントロピー項を含めることによって、計算がはるかに高速化されたワッサースタイン球体上への投影に対する近似解法が可能になる、ということである。
ここで留意されたいことは、“Sinkhorn Distances: Lightspeed Computation of Optimal Transportation Distances”, arXiv preprint arXiv: 1306.0895vl, Marco Cuturi (2013)に示されているように、シンクホーン距離は、実のところ数学的な意味におけるメトリックではない、ということであり、その理由は、同一ではない2つの分布間において距離ゼロとなる場合があるからである。むしろ数学的な意味では、これは疑似メトリックである。
実際には、前記制約のもとにおける前記最小化に対応する凸最適化を解決することによって、前記投影入力信号(xproj)を決定するための良好な手法が見出されている。これについては、図14に対応する説明において詳述されている。
本発明の1つのさらなる態様によれば、前記敵対的入力信号(xadv)を標的型攻撃によって供給することができ、即ち、前記分類器に指示して、この信号を予め定義された第2のクラスに属するものとして分類させるように、供給することができる。前記入力信号(x)が供給されたときに前記分類器が、前記第1のクラス(l)に対応する第1の分類値(fl0)と、前記予め定義された第2のクラス(l)に対応する第2の分類値(f)とを出力するように構成されているならば、そのようにするための効率的な手法をもたらすことができる。この意味においては、前記入力信号(x)が前記第1及び/又は第2の分類値を生じさせる、ということができる。前記標的型の誤分類を生成するためのロバストな手法は、前記第1の分類値(fl0)と前記第2の分類値(f)との差(g)を、前記原入力信号(xorg)によりもたらされる差(g)よりも小さくさせるように、前記修正入力信号(xmod)を決定することによるものである。好都合なことに、前記差(g)の勾配(▽g)に依存して前記修正入力信号(xmod)を決定することによって、このことを達成することができる。
前記標的型攻撃に対する選択的な実施形態によれば、前記敵対的入力信号(xadv)を、非標的型攻撃によって供給することができ、即ち、前記分類器に指示して、この信号を任意の異なる第2のクラスに属するものとして分類させるように、供給することができる。この場合においては、好都合なことに、前記第1の分類値(fl0)を、前記原入力信号(xorg)によりもたらされる前記第1の分類値(fl0)よりも小さくさせるように、前記修正入力信号(xmod)が供給される。好都合なことに、前記第1の分類値(fl0)の勾配(▽fl0)に依存して前記修正入力信号(xmod)を決定することによって、このことを達成することができる。
さらに他の態様によれば、前記原入力信号(xorg)を修正して前記修正入力信号(xmod)を生じさせ、当該修正入力信号(xmod)を予め定義された部分集合に投影して、前記投影入力信号(xproj)を生じさせるステップは、先行の反復の前記投影入力信号(xproj)を後続の反復の原入力信号(xorg)として使用することにより、繰り返し実行され、前記修正入力信号(xmod)を前記予め定義された部分集合に投影する前記ステップは、前記原入力信号(xorg)を修正する各ステップの後に実行される。かかる反復的な方法が好ましい理由は、このようにすることにより、中間の修正入力信号(xmod)が、少なくとも近似的なワッサースタイン球体の境界近傍に留まることが保証され、それによって、方法の収束が強められるからである。
以下の図面を参照しながら、本発明の実施形態についてさらに詳細に説明する。
アクチュエータをその環境内において制御する分類器を有する制御システムを示す図である。 少なくとも部分的に自律的なロボットを制御する制御システムを示す図である。 製造機械を制御する制御システムを示す図である。 自動化されたパーソナルアシスタントを制御する制御システムを示す図である。 アクセス制御システムを制御する制御システムを示す図である。 監視システムを制御する制御システムを示す図である。 撮像システムを制御する制御システムを示す図である。 分類器を制御するためのトレーニングシステムを示す図である。 前記トレーニングシステムにより実施されるトレーニング方法を示すフローチャートである。 前記制御システムを動作させるための方法を示すフローチャートである。 前記分類器の構造の1つの実施形態を示す図である。 前記敵対的入力信号xadvを決定するための方法を示すフローチャートである。 修正入力信号xmodをワッサースタイン球体上に投影するための方法を示すフローチャートである。 修正入力信号xmodをシンクホーン球体上に投影するための方法を示すフローチャートである。 式(5)を解く最大化を行う値Φ,Ψ,ρから、式(2)に定義されたΠを計算するための方法を示すフローチャートである。
実施形態の説明
図1には、アクチュエータ10の1つの実施形態がその環境20内において示されている。アクチュエータ10は、制御システム40と相互に作用する。アクチュエータ10とその環境20とが連帯的に、アクチュエータシステムと称される。好ましくは等間隔の距離で、センサ30がアクチュエータシステムの状態をセンシングする。センサ30は、複数のセンサを含み得る。好ましくは、センサ30は、環境20の画像を撮影する光学センサである。センシングされた状態を符号化するセンサ30の出力信号S(又はセンサ30が複数のセンサを有する場合においては、センサ各々の出力信号S)が、制御システム40に送信される。
これにより、制御システム40は、センサ信号Sのストリームを受信する。その後、制御システム40は、センサ信号Sのストリームに依存して、一連のアクチュエータ制御命令Aを計算し、次いで、それらがアクチュエータ10に送信される。
制御システム40は、任意選択的な受信ユニット50においてセンサ30のセンサ信号Sのストリームを受信する。受信ユニット50は、センサ信号Sを入力信号xに変換する。選択的に、受信ユニット50が設けられていない場合においては、各センサ信号Sをそのまま入力信号xとして取り扱うものとしてもよい。入力信号xを、例えば、センサ信号Sからの抜粋として実現することができる。選択的に、センサ信号Sを処理して、入力信号xを生じさせるものとしてもよい。入力信号xは、センサ30により記録された画像に対応する画像データを含む。換言すれば、入力信号xは、センサ信号Sに従って供給される。
その後、入力信号xは、例えば、人工ニューラルネットワークによって実現可能な画像分類器60に送られる。
分類器60は、パラメータφによってパラメータ化され、これらのパラメータφは、パラメータストレージSt内に格納されており、このストレージStによって供給される。
分類器60は、入力信号xから出力信号yを決定する。出力信号yは、1つ又は複数のラベルを入力信号xに割り当てる情報を有する。出力信号yは、任意選択的な変換ユニット80に送信され、この変換ユニット80は、出力信号yを制御命令Aに変換する。次いで、アクチュエータ制御命令Aは、これに応じてアクチュエータ10を制御するためにアクチュエータ10に送信される。選択的に、出力信号yをそのまま制御命令Aとして取り扱うものとしてもよい。
アクチュエータ10は、アクチュエータ制御命令Aを受信し、これに応じて制御されて、アクチュエータ制御命令Aに対応するアクションを実施する。アクチュエータ10は、アクチュエータ制御命令Aをさらなる制御命令に変換する制御ロジックを有することができ、次いで、このさらなる制御命令を使用してアクチュエータ10が制御される。
さらなる実施形態によれば、制御システム40は、センサ30を有することができる。さらに他の実施形態によれば、制御システム40は、選択的に又は付加的に、アクチュエータ10を有することができる。
さらに他の実施形態によれば、制御システム40は、アクチュエータ10の代わりにディスプレイ10aを制御するように構成することができる。
さらに、制御システム40は、1つのプロセッサ45(又は複数のプロセッサ)及び少なくとも1つの機械可読記憶媒体46を有することができ、この機械可読記憶媒体46には命令が格納されており、これらの命令は、これらの実行時に制御システム40に指示して、本発明の1つの態様による方法を実施させる。
図2に示されている実施形態によれば、制御システム40を使用して、少なくとも部分的に自律的なロボット、例えば、少なくとも部分的に自律的な車両100が制御される。
センサ30は、1つ又は複数のビデオセンサ、及び/又は、1つ又は複数のレーダセンサ、及び/又は、1つ又は複数の超音波センサ、及び/又は、1つ又は複数のLiDARセンサ、及び/又は、1つ又は複数のポジションセンサ(例えばGPSなど)を有することができる。これらのセンサのうちの一部又は全部は、好ましくは、ただし必須ではないが、車両100内に組み込まれている。選択的に又は付加的にセンサ30は、アクチュエータシステムの状態を特定するための情報システムを有することができる。かかる情報システムのための1つの例は、環境20における現在の又は今後の天候状態を特定する天候情報システムである。
例えば入力信号xを使用して、分類器60は、例えば、少なくとも部分的に自律的なロボット付近の物体を検出することができる。出力信号yは、少なくとも部分的に自律的なロボット付近において、物体がどこに位置しているのかを表す情報を有し得る。次いで、この情報に従って、例えば、検出された前記物体との衝突を回避するために、制御命令Aを決定することができる。
好ましくは車両100に組み込まれたアクチュエータ10を、車両100のブレーキ、推進システム、エンジン、駆動トレイン又はステアリングによって実現することができる。車両100が検出された前記物体との衝突を回避するように、1つのアクチュエータ(又は複数のアクチュエータ)10が制御されるように、アクチュエータ制御命令Aを決定することができる。分類器60が、検出された物体を最も高い可能性で何であるとみなしたのかに従って、例えば、歩行者であるのか又は木であるのかに従って、検出された物体を分類することもでき、その分類に依存してアクチュエータ制御命令Aを決定することができる。
さらなる実施形態によれば、少なくとも部分的に自律的なロボットを、例えば、飛行、水泳、潜水、歩進により移動可能な他の移動型ロボット(図示せず)によって実現することができる。移動型ロボットを、特に、少なくとも部分的に自律的な芝刈り機、又は、少なくとも部分的に自律的な掃除ロボットとすることができる。上述の実施形態の総てにおいて、移動型ロボットが識別された前記物体との衝突を回避し得るように、移動型ロボットの推進ユニット及び/又はステアリング及び/又はブレーキが制御されるように、アクチュエータ制御命令Aを決定することができる。
さらなる実施形態によれば、少なくとも部分的に自律的なロボットを、ガーデニングロボット(図示せず)によって実現することができ、このガーデニングロボットは、センサ30、好ましくは光学センサを使用して、環境20内の植物の状態を特定することができる。アクチュエータ10を、化学薬品を散布するためのノズルとすることができる。植物の識別された種類及び/又は識別された状態に依存して、アクチュエータ10に指示して適当な量の適当な化学薬品を植物に散布させるように、アクチュエータ制御命令Aを決定することができる。
さらに他の実施形態によれば、少なくとも部分的に自律的なロボットを、洗濯機、ストーブ、オーブン、電子レンジ又は皿洗い機などのような屋内電気器具(図示せず)によって実現することができる。センサ30、例えば光学センサは、家庭電化製品によって処理されている物体の状態を検出することができる。例えば、屋内電気器具が洗濯機である場合には、センサ30は、洗濯機内部の洗濯物の状態を検出することができる。この場合には、アクチュエータ制御信号Aを、洗濯物の検出された材質に依存して決定することができる。
図3に示されている実施形態によれば、制御システム40を使用して、例えば、製造ラインの一部である製造システム200の製造機械11、例えば、押し抜き機、カッタ又はガンドリルが制御される。制御システム40は、アクチュエータ10を制御し、さらに、アクチュエータ10は、製造機械11を制御する。
センサ30を、例えば、ある工業製品12の特性を捕捉する光学センサによって実現することができる。分類器60は、この工業製品12の状態を、捕捉されたそれらの特性から特定することができる。次いで、製造機械11を制御するアクチュエータ10を、この工業製品12の特定された状態に依存して、工業製品12の後続の製造ステップのために制御することができる。又は、この工業製品12の特定された状態に依存して、後続の工業製品12の製造中にアクチュエータ10が制御される、というように構成するものとしてもよい。
図4に示されている実施形態によれば、自動化されたパーソナルアシスタント250を制御するために制御システム40が用いられる。センサ30を、例えば、ユーザ249のジェスチャのビデオ画像を受信するための、光学センサとすることができる。選択的にセンサ30を、例えば、ユーザ249の音声命令を受信するための、音声センサとすることもできる。
この場合に、制御システム40は、自動化されたパーソナルアシスタント250を制御するためのアクチュエータ制御命令Aを決定する。アクチュエータ制御命令Aは、センサ30のセンサ信号Sに従って決定される。センサ信号Sは、制御システム40に送信される。例えば、分類器60を、ユーザ249によりなされたジェスチャを識別するために、例えば、ジェスチャ認識アルゴリズムを実行するように構成することができる。この場合に、制御システム40は、自動化されたパーソナルアシスタント250へ送信するためのアクチュエータ制御命令Aを決定することができる。次いで、制御システム40は、前記アクチュエータ制御命令Aを自動化されたパーソナルアシスタント250に送信する。
例えば、アクチュエータ制御命令Aを、分類器60により認識されたユーザの識別されたジェスチャに従って決定することができる。この場合に、アクチュエータ制御命令Aは、自動化されたパーソナルアシスタント250に指示して、データベースから情報を取り出させ、取り出されたこの情報をユーザ249による受信のために適した形態で出力させる情報を含み得る。
さらなる実施形態によれば、自動化されたパーソナルアシスタント250の代わりに、制御システム40が、識別されたユーザのジェスチャに従って屋内電気器具(図示せず)を制御するように、構成することができる。屋内電気器具を、洗濯機、ストーブ、オーブン、電子レンジ又は皿洗い機とすることができる。
図5に示されている実施形態によれば、制御システムはアクセス制御システム300を制御する。アクセス制御システムを、アクセスを物理的に制御するように設計することができる。このシステムは、例えば、ドア401を有することができる。センサ30は、アクセスが許可されるのか否かの決定に関連するシーンを検出するように構成されている。これを、例えば、人間の顔を検出するために画像又はビデオデータを供給する光学センサとすることができる。分類器60を、例えば、データベースに格納されている既知の人々との同一性のマッチングによって、この画像又はビデオデータを解釈し、それによって、人物の身元を特定するように構成することができる。この場合には、例えば、特定された身元に従い分類器60の解釈に依存して、アクチュエータ制御信号Aを決定することができる。アクチュエータ10を、アクチュエータ制御信号Aに依存してアクセスを許可する又は許可しない鎖錠とすることができる。物理的ではなく論理的なアクセス制御も可能である。
図6に示されている実施形態によれば、制御システム40はアクセス監視システム400を制御する。この実施形態は、図5に示した実施形態とほとんど同様である。従って、異なる態様についてのみ詳細に説明する。センサ30は、監視下にあるシーンを検出するように構成されている。制御システムは、必ずしもアクチュエータ10を制御するのではなく、ディスプレイ10aを制御する。例えば、機械学習システム60は、例えば光学センサ30により検出されたシーンが疑わしいか否かなど、シーンの分類を決定することができる。次いで、ディスプレイ10aに送信されるアクチュエータ制御信号Aを、例えば、ディスプレイ10aに指示して、決定された分類に依存して表示される内容を調節させ、例えば、機械学習システム60により疑わしいとみなされた物体を強調させるように、構成することができる。
図7には、撮像システム500、例えば、MRI装置、X線撮像装置又は超音波撮像装置を制御するための制御システム40の実施形態が示されている。センサ30を、例えば撮像センサとすることができる。この場合には、機械学習システム60が、センシングされた画像の全部又は一部の分類を決定することができる。次いで、この分類に従ってアクチュエータ制御信号Aを選択することができ、それによって、ディスプレイ10aが制御される。例えば、機械学習システム60は、センシングされた画像のある1つの領域を、潜在的に異常であると解釈することができる。この場合には、ディスプレイ10aに指示して、潜在的に異常な領域を撮像し強調して表示させるように、アクチュエータ制御信号Aを決定することができる。
図8には、分類器60をトレーニングするためのトレーニングシステム140の実施形態が示されている。トレーニングデータユニット150は、入力信号xを決定し、この信号は、分類器60に送られる。例えば、トレーニングデータユニット150は、コンピュータにより実装されたデータベースStにアクセスすることができ、このデータベース内にトレーニングデータのセットTが格納されている。セットTは、入力信号xと対応する望ましい出力信号yとから成るペアを含む。トレーニングデータユニット150は、セットTから例えばランダムにサンプルを選択する。選択されたサンプルの入力信号xは、分類器60に送られる。望ましい出力信号yは、評価ユニット180に送られる。
分類器60は、入力信号xから出力信号yを計算するように構成されている。それらの出力信号yも、評価ユニット180に送られる。
修正ユニット160は、評価ユニット180からの入力に依存して、更新されたパラメータφ’を決定する。更新されたパラメータφ’は、パラメータストレージStに送信され、それによって、現在のパラメータφが置き換えられる。
例えば、評価ユニット180は、出力信号yと望ましい出力信号yとに依存して、損失関数£の値を決定するように構成することができる。次いで、修正ユニット160は、損失関数£を最適化するために、例えば確率的勾配降下法を用いて、更新されたパラメータφ’を計算することができる。
さらに、修正ユニット160は、例えば、トレーニングセットTとそれらの個々の望ましい出力信号yとから取られた原入力信号xに基づき、修正入力信号xadvを有する敵対的データセットT’を計算することができる。
さらに、トレーニングシステム140は、1つのプロセッサ145(又は複数のプロセッサ)及び少なくとも1つの機械可読記憶媒体146を備えることができ、この機械可読記憶媒体146には、命令が格納されており、これらの命令は、これらの実行時にトレーニングシステム140に指示して、本発明の1つの態様による方法を実施させる。
図9には、トレーニングシステム140により実装可能な、分類器60をトレーニングするための方法の1つの実施形態のフローチャートが示されている。
最初に(901)、セットTのトレーニングデータを用いて慣用の手法により、上述のように分類器60がトレーニングされる。
次いで(902)、図11に示されているとおりの方法を用い、データセットTからの入力信号を修正し、かつ、対応する望ましい出力信号yは修正しないままにすることにより、1つ又は複数の敵対的入力信号xadvと、対応する望ましい出力信号yとが生成される。敵対的入力信号xadvと対応する望ましい出力信号yとから成る、1つ又は複数のこれらのペアが、敵対的データセットT’に加えられる。
ここで(903)、トレーニングデータセットである敵対的データセットT’を用いて分類器60がトレーニングされる。その後(904)、トレーニング済みの分類器60を用いて、アクチュエータ制御信号Aを供給することができ、これは以下のことにより行われる。即ち、センサ30からのデータを含むセンサ信号Sを受信し、このセンサ信号Sに依存して入力信号xを決定し、さらに、この入力信号xを分類器60に供給して、入力信号xの分類を表す出力信号yを取得する。次いで、供給されたアクチュエータ制御信号Aに従って、アクチュエータ10又は10aを制御することができる。これにより、この方法は終了する。
図10には、制御システム40により実装可能な、分類器60を動作させるための方法の1つの実施形態のフローチャートが示されている。
最初に(911)、分類器60の動作を表すパラメータφが供給される。慣用のようにそれらのパラメータは、分類器60をトレーニングするためのトレーニング方法によって、例えば上述のような教師ありトレーニングによって、取得される。
その後(912)、トレーニング済みの分類器60を用いて、第1の出力信号y1を供給することができ、これは以下のことにより行われる。即ち、センサ30からのデータを含むセンサ信号Sを受信し、このセンサ信号Sに依存して入力信号xを決定し、さらに、この入力信号xを分類器60に入力して、入力信号xの分類を表す第1の出力信号y1を取得する。
次いで(913)、図11に示されているとおりの方法を用い、入力信号xを修正することによって、敵対的入力信号xadvが生成される。
次いで(914)、この敵対的入力信号xadvが分類器60に入力されて、敵対的入力信号xadvの分類を表す第2の出力信号y2が取得される。
次に(915)、前記第1の出力信号y1と前記第2の出力信号y2とに基づき、分類器60の脆弱性を表すパラメータvuが計算される。例えば、前記パラメータvuを、前記第1の出力信号y1が前記第2の出力信号y2と等しくなければ、脆弱性を表す第1の値(例えば「1」)にセットすることができ、前記第1の出力信号y1が前記第2の出力信号y2と等しければ、非脆弱性を表す第2の値(例えば「0」)と等しくなるようにセットすることができる。
次いで(916)、前記パラメータvuに従ってアクチュエータ制御信号(A)を決定することができ、このアクチュエータ制御信号(A)に従ってアクチュエータ(10)を制御することができる。例えば、前記パラメータvuが非脆弱性を表すならば、その場合には前記アクチュエータ制御信号(A)を、通常動作モードに対応するように決定することができるのに対し、前記パラメータvuが脆弱性を表すのであれば、その場合には前記アクチュエータ制御信号(A)を、例えば、前記アクチュエータ(10)の運動ダイナミクスを低減することよる、フェイルセーフ動作モードに対応するように決定することができる。
図11には、分類器60の1つの実施形態の構造が概略的に示されている。例えば、ニューラルネットワークの最後の層を除く総ての層によって実現可能な処理ユニット61に、入力信号xが入力される。処理ユニット61は、分類のために考えられるクラスlごとに、好ましくは少なくとも1つのエントリzを有するベクトルfを出力するように、構成されている。例えばargmax関数の実装によって実現可能なセレクタ62に、前記ベクトルfが入力される。セレクタ62は、最大値を有するベクトルfのエントリfのうちの1つと一致するクラスに対応する信号yを出力するように構成されている。入力信号xとの依存関係を強調するために、ベクトルfをf(x)とも表す。
図12には、原入力信号xorgとも称する所与の入力信号xに基づき、敵対的入力信号xadvを決定するための方法が示されている。この方法を、制御システム40又はトレーニングシステム140によって実装することができる。初期化ステップ(1000)において、カウンタ変数をcounter=0として初期化することができ、ステップサイズτを例えばτ=20として初期化することができ、修正入力信号xmodをxmod=xとして初期化することができる。原入力信号xorgが分類器60に入力され、結果として出力される信号yが決定される。正解分類lがl=yとして初期化される。標的分類l≠lを、ランダムに選択することができ、又は、例えば、これを予め定義された値にセットすることにより、若しくは、正解分類lに最も近い分類l≠lとしてこれを選択することにより、選択することができる。例えば、標的分類lを、ベクトルfの2番目に大きいエントリfに対応する分類として、決定することができる。この場合、標的型攻撃又は非標的型攻撃とすることができる。
次いで(1100)、修正入力信号xmodが分類器60に入力され、対応するベクトルf(xmod)が決定される。その後、スカラ関数g(x)=f(x)-f(x)l0が評価され、その勾配▽g(x)|x=x modが決定される。修正入力信号xmodを、以下のように更新することができる。即ち、
Figure 0007264410000001
次に(1200)、原入力信号xorgの周囲にセンタリングされた、予め定義された半径εを有するワッサースタイン球体上に、修正入力信号xmodを投影することによって、投影入力信号xprojが決定される。この投影を、図13及び図14に示した方法のうちの一方によって実行することができる。
次いで(1300)、カウンタがcounter←counter+1というように増分され、カウンタが例えば20といった予め定義された数値の倍数であるか否かがチェックされる(1400)。このことが該当するならば(1500)、カウンタがcounter=0にリセットされ、ステップサイズτが、例えばτ←τ・1.1といった予め定義された係数により増分される。
ステップ(1400)及び(1500)の両方に続いて、カウンタが予め定義された最大カウンタcountermax未満であるか否かが、即ち、counter<countermaxであるか否かが、チェックされる(1600)。さらに、修正入力信号xmodが、投影入力信号xprojと等しくなるようにセットされ、スカラg(xmod)が評価される。counter<countermaxであり、かつ、g(xmod)≦ubであるならば、この方法は、ステップ(1100)に戻って繰り返され、ただし、上限ubを任意の非負数、例えばub=0(即ち、分類は正解分類lから標的分類lへと変化しなかった)にセットすることができる。このことが該当しなければ(1600)、敵対的入力信号xadvが、修正入力信号xmodと等しいものとして供給される。任意選択的に、g(xadv)≦ubであれば、敵対性が望ましい信頼性では見出されなかったことを表すエラーメッセージを供給することができる。これにより、この方法は終了する。
図13には、修正入力信号xmodから投影入力信号xprojを決定するための方法が示されている。この投影には、P=(P,...,P)及びQ=(Q,...,Q)として与えられた2つのn次元ベクトルPとQとの間のワッサースタイン距離W(P,Q)の計算が含まれる。添え字iとjとの間の距離が、行列Dij∈Rn×nに格納され(ただし、pの何らかの予め定義された値についてDij=、||i-j||)、ワッサースタイン距離W(P,Q)を以下のようにして計算することができる。即ち、
Figure 0007264410000002
(ここで、Π1=P、Π1=Qにおける1は、複数の1から成るn次元のベクトルを表す)。この場合、前記投影入力信号xprojを決定するということは、以下の式を解くことに相当する。即ち、
Figure 0007264410000003
(当然ながら、Lメトリックを他の任意のメトリックと置き換えることができる)。
最初に(1310)、修正入力信号xmodと原入力信号xorgとの間のワッサースタイン距離W(xmod,xorg)が、予め定義された半径εよりも大きくないか否か、即ち、
(xmod,xorg)≦ε (4)
であるか否かが特定される。
このことが該当するならば(1320)、投影入力信号xprojが修正入力信号xmodと等しくなるようにセットされ、この方法は終了する。
このことが該当せず(1330)、P=xmodかつQ=xorgを表すならば、式
Figure 0007264410000004
が、例えば投影勾配上昇法を用いて解かれ、それによって、最大化をもたらす値Φ,Ψ,ρが生じる。自明のとおり、式(5)は、式(3)及び(2)により与えられる主問題に対する双対定式化である。
次に(1340)、式(2)において定義されたΠが、例えば図15に示した方法を用いることにより、最大化をもたらす値Φ,Ψ,ρから決定される。
次いで(1350)、投影入力信号xprojが、xproj=Π1と等しくなるようにセットされる。これにより、この方法は終了する。
図14には、適当な、ただし、より効率的な他の方法が示されており、この場合、投影の対象となる球体を定義するために、式(2)に定義されたワッサースタイン距離W(P,Q)を用いる代わりに、シンクホーン距離W λ(P,Q)が、エントロピー項Eを減ずることにより用いられ、即ち、
Figure 0007264410000005
であり、ここで、予め定義された変数λ≠0であり、例えばλ=1である。
最初に(1311)、修正入力信号xmodと原入力信号xorgとの間のシンクホーン距離W α(xmod,xorg)が、予め定義された半径εよりも大きくないか否か、即ち、
α(xmod,xorg)≦ε (8)
であるか否かが特定される。
このことが該当するならば(1321)、投影入力信号xprojが修正入力信号xmodと等しくなるようにセットされ、この方法は終了する。
このことが該当せず(1331)、P=xmodかつQ=xorgを表すならば、変数ρがρ=1のように初期化され、2つのn次元ベクトルR、Sが、それらの要素各々を、例えば、R=S=1/nと等しくなるようにセットすることによって、初期化される。
次いで(1341)、nxn次元の指数行列Kが
K=exp(-λ・ρ・D) (9)
のように計算される。
次に(1351)、行列Rの要素R
=P/(K・S) (10)
のように更新され、行列Sの要素S
=W(exp(λQ-1/2)・tmp)/tmp (11)
のように更新され、
ただし、
tmp=λ・KR (12)
である。
次いで(1361)、スカラg及びhが
g=〈R,DKS〉-ε (13)
h=-λ〈R,DDKS〉 (14)
のように計算され、ここで、〈...〉は、スカラ積を表し、即ち、エントリごとの乗算及びそれに続き乗算された総てのエントリの和を表す。値αは、正の値、例えばα=1にセットされる。
次いで(1371)、例えば、ρ<α(g/h)である限りα←(α/2)と更新することによって、ρ≒α(g/h)、ただしρ≧α(g/h)でもあるように、αがセットされる。
ここで(1381)、ρ←ρ-α(g/h)のようにρが更新される。
次に(1391)、この方法が収束しているのか否か、例えば、最後の反復にわたりR及び/又はSへの変化が十分に小さい(例えば、予め定義された閾値未満)か否かがチェックされる。このことが該当しなければ、この方法は、ステップ(1341)に戻って繰り返される。しかしながら、この方法が収束したならば、ステップ(1392)が続く。
このステップにおいて、
Πij=〈R,K・S〉 (15)
proj=Π1 (16)
がセットされる。これにより、この方法は終了する。
図15には、ステップ(1330)において式(5)を解くことにより得られた、最大化を行う値Φ,Ψ,ρから、式(2)に定義されたΠを計算するための実施形態が示されている。最初に(2000)、変数iがi=1のように初期化される。次いで(2010)、j∈{1,...,n}のうちΦ <Ψ +ρ・Dijが成り立つ総ての値が識別される。これが行われたならば、対応する要素ΠijがΠij=0にセットされる。次いで(2020)、j∈{1,...,n}のうちΦ =Ψ +ρ・Dijが成り立つ総ての値(即ち、jの残余の総ての値)が識別されて、セットJに格納される。次に(2030)、Jにおける要素の個数がカウントされ、sz(J)として表される。次いで(2040)、総てのj∈Jについて、対応する要素ΠijがΠij=p/sz(j)にセットされる。その後、i<nが成り立つか否かがチェックされる(2050)。このことが該当するのであれば(2060)、i←i+1のようにiが増分され、この方法は、ステップ(2010)に戻って繰り返される。このことが該当しないのであれば、この方法は終了し、ステップ(1350)から続行される。
用語「コンピュータ」は、予め定義された計算命令を処理するための任意のデバイスを含む。これらの計算命令を、ソフトウェアの形態とすることができ、又は、ハードウェアの形態とすることができ、又は、ソフトウェアとハードウェアの混合形態とすることもできる。
さらに、自明のとおり、これらの手順は、既述のようにソフトウェアにおいて完全に実装することができるだけではない。これらの手順を、ハードウェアにおいても、又は、ソフトウェアとハードウェアの混合形態においても、実装することができる。

Claims (20)

  1. センサ(30)から取得された入力信号(x)を分類するための分類器(60)に対する敵対的入力信号(xadv)を取得するためのコンピュータ実装方法であって、
    前記敵対的入力信号(xadv)は、原入力信号(xorg)から取得され、
    前記敵対的入力信号(xadv)及び前記原入力信号(xorg)は、前記分類器(60)に指示して、前記原入力信号(xorg)を第1のクラス(l)に属するものとして分類させ、前記敵対的入力信号(xadv)を前記第1のクラス(l)とは異なる第2のクラス(l)に属するものとして分類させ、
    当該方法は、
    前記原入力信号(xorg)を修正して、修正入力信号(xmod)を生じさせるステップと、
    前記修正入力信号(xmod)を、前記原入力信号(xorg)周囲のメトリック球体上に投影して、投影入力信号(xproj)を生じさせるステップと、
    前記投影入力信号(xproj)に依存して前記敵対的入力信号(xadv)を取得するステップと、
    を備え、
    少なくとも近似的なワッサースタイン距離(W、W λ)による距離が、前記メトリック球体の予め定義された半径(ε)よりも大きくない、という制約のもとで、前記修正入力信号(xmod)までの距離を最小化することにより、前記投影入力信号(xproj)を決定する、
    ことを特徴とする方法。
  2. 前記少なくとも近似的なワッサースタイン距離は、ワッサースタイン距離(W)である、
    請求項1に記載の方法。
  3. 前記最小化は、前記制約のもとで前記最小化により与えられる主問題に対応する双対問題を最大化することによって取得される、
    請求項1又は2に記載の方法。
  4. 前記少なくとも近似的なワッサースタイン距離は、エントロピー項(E)によってワッサースタイン距離(W)とは異なるシンクホーン距離(W λ)であり、第1の分布(P)と第2の分布(Q)とから成る任意のペアについて、前記エントロピー項(E)は、Π1=P,Π=Qを満たす分布Πのエントロピーを表す、
    請求項1に記載の方法。
  5. 前記投影入力信号(xproj)は、前記最小化に対応する凸最適化を解決することにより決定される、
    請求項1乃至3のいずれか一項に記載の方法。
  6. 前記分類器(60)は、入力信号(x)が供給されると、前記第1のクラス(l)に対応する第1の分類値(fl0)と、予め定義された前記第2のクラス(l)に対応する第2の分類値(f)とを出力するように構成されており、前記修正入力信号(xmod)は、前記第1の分類値(fl0)と前記第2の分類値(f)との差(g)を、前記原入力信号(xorg)によりもたらされる差(g)よりも小さくさせる、
    請求項1乃至5のいずれか一項に記載の方法。
  7. 前記分類器(60)は、入力信号(x)が供給されると、前記第1のクラス(l)に対応する第1の分類値(fl0)を出力するように構成されており、前記修正入力信号(xmod)は、前記第1の分類値(fl0)を、前記原入力信号(xorg)によりもたらされる前記第1の分類値(fl0)よりも小さくさせる、
    請求項1乃至6のいずれか一項に記載の方法。
  8. 前記原入力信号(xorg)を修正して前記修正入力信号(xmod)を生じさせ、前記修正入力信号(xmod)を前記メトリック球体に投影して、前記投影入力信号(xproj)を生じさせるステップは、先行の反復の前記投影入力信号(xproj)を後続の反復の原入力信号(xorg)として使用することにより、繰り返し実行され、前記修正入力信号(xmod)を前記メトリック球体に投影する前記ステップは、前記原入力信号(xorg)を修正する各ステップの後に実行される、
    請求項1乃至7のいずれか一項に記載の方法。
  9. センサ(30)から取得された入力信号(x)を分類するために改善された精度を有する分類器(60)をトレーニングするためのコンピュータ実装方法であって、
    複数のクラスにラベル付けされた複数のトレーニング入力信号を用いてトレーニング済みの前記分類器(60)に、メモリ(146)からアクセスするステップと、
    請求項1乃至8のいずれか一項に記載の方法によって、敵対的入力信号(xadv)を生成するステップと、
    少なくとも前記敵対的入力信号(xadv)を用いて、改善された精度を有するように前記分類器(60)をさらにトレーニングするステップと、
    を備える方法。
  10. センサ信号を分類するために、請求項9に記載の方法を用いてトレーニングされた分類器(60)を使用するためのコンピュータ実装方法であって、
    センサ(30)からのデータを含むセンサ信号(S)を受信するステップと、
    前記センサ信号(S)に依存する入力信号(x)を決定するステップと、
    前記入力信号(x)を前記分類器(60)に供給して、前記入力信号(x)の分類を表す出力信号(y)を取得するステップと、
    を備える方法。
  11. アクチュエータ(10)を制御するアクチュエータ制御信号(A)を供給するために、請求項9に記載の方法を用いてトレーニングされた分類器(60)を使用するためのコンピュータ実装方法であって、
    請求項10に記載の方法の総てのステップを備え、さらに、
    前記出力信号(y)に依存して前記アクチュエータ制御信号(A)を決定するステップを備える方法。
  12. センサ信号を分類するための分類器のロバスト性を評価するためのコンピュータ実装方法であって、
    センサ(30)からのデータを含むセンサ信号(S)を受信するステップと、
    前記センサ信号(S)に依存する原入力信号(xorg)を決定するステップと、
    前記分類器(60)により、前記原入力信号(xorg)の分類を表す第1の出力信号(y1)を取得するステップと、
    請求項1乃至8のいずれか一項に記載の方法によって、敵対的入力信号(xadv)を決定するステップと、
    前記分類器(60)により、前記敵対的入力信号(xadv)の分類を表す第2の出力信号(y2)を決定するステップと、
    前記第1の出力信号(y1)と前記第2の出力信号(y2)とに依存して、ロバスト性の値を決定するステップと、
    を備える方法。
  13. 分類器(60)の出力信号(y)に依存してアクチュエータ(10)を制御するアクチュエータ制御信号(A)を供給するためのコンピュータ実装方法であって、
    前記分類器(60)がロバストであるか否かを、請求項12に記載の方法を用いて評価するステップと、
    前記評価の結果に従って、特に、前記評価の結果として前記分類器(60)がロバストではないとみなされたならば、前記アクチュエータ(10)をセーフモードで動作させるように、前記アクチュエータ制御信号(A)を決定することによって、前記アクチュエータ制御信号(A)を決定するステップと、
    を備える方法。
  14. 前記アクチュエータ(10)は、少なくとも部分的に自律的なロボット(100)及び/又は製造機械(200)及び/又はアクセス制御システム(300)を制御する、
    請求項11又は13に記載の方法。
  15. コンピュータプログラムであって、前記コンピュータプログラムがプロセッサ(45、145)によって実行されると、コンピュータに指示して、請求項1乃至14のいずれか一項に記載の方法を、当該方法の総てのステップと共に実施させるために構成されているコンピュータプログラム。
  16. 請求項15に記載のコンピュータプログラムが記憶されている機械可読記憶媒体(46、146)。
  17. センサ信号を分類するための分類器(60)であって、
    請求項9に記載の方法を用いてトレーニングすることによって取得可能であることを特徴とする分類器(60)。
  18. アクチュエータ(10)を動作させるための制御システム(40)であって、
    請求項17に記載の分類器(60)を備え、前記分類器(60)の出力に従って前記アクチュエータ(10)を動作させるように構成されている制御システム(40)。
  19. 請求項11乃至14のいずれか一項に記載の方法を実施するように構成されている制御システム(40)。
  20. 請求項9に記載の方法を実施するように構成されているトレーニングシステム(140)。
JP2021535830A 2018-12-19 2019-11-27 「敵対的サンプル」に対するロバスト性を改善する装置及び方法 Active JP7264410B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18213925.3A EP3671574B1 (en) 2018-12-19 2018-12-19 Device and method to improve the robustness against adversarial examples
EP18213925.3 2018-12-19
PCT/EP2019/082757 WO2020126372A1 (en) 2018-12-19 2019-11-27 Device and method to improve the robustness against 'adversarial examples'

Publications (2)

Publication Number Publication Date
JP2022515756A JP2022515756A (ja) 2022-02-22
JP7264410B2 true JP7264410B2 (ja) 2023-04-25

Family

ID=64746095

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021535830A Active JP7264410B2 (ja) 2018-12-19 2019-11-27 「敵対的サンプル」に対するロバスト性を改善する装置及び方法

Country Status (5)

Country Link
US (1) US20210326647A1 (ja)
EP (1) EP3671574B1 (ja)
JP (1) JP7264410B2 (ja)
CN (1) CN113302630A (ja)
WO (1) WO2020126372A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112215292B (zh) * 2020-10-19 2022-03-29 电子科技大学 一种基于迁移性的图像对抗样本生成装置及方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10013477B2 (en) * 2012-11-19 2018-07-03 The Penn State Research Foundation Accelerated discrete distribution clustering under wasserstein distance
US10007866B2 (en) 2016-04-28 2018-06-26 Microsoft Technology Licensing, Llc Neural network image classifier
DE102018200724A1 (de) * 2017-04-19 2018-10-25 Robert Bosch Gmbh Verfahren und Vorrichtung zum Verbessern der Robustheit gegen "Adversarial Examples"
EP3599575B1 (en) * 2017-04-27 2023-05-24 Dassault Systèmes Learning an autoencoder
US10624558B2 (en) * 2017-08-10 2020-04-21 Siemens Healthcare Gmbh Protocol independent image processing with adversarial networks
US20200224172A1 (en) * 2017-09-19 2020-07-16 The Broad Institute, Inc. Methods and systems for reconstruction of developmental landscapes by optimal transport analysis
US10971142B2 (en) * 2017-10-27 2021-04-06 Baidu Usa Llc Systems and methods for robust speech recognition using generative adversarial networks
EP3673419B8 (en) * 2017-11-22 2024-09-18 DeepMind Technologies Limited Population based training of neural networks
US20200380364A1 (en) * 2018-02-23 2020-12-03 Robert Bosch Gmbh Adversarial Probabilistic Regularization
US10825219B2 (en) * 2018-03-22 2020-11-03 Northeastern University Segmentation guided image generation with adversarial networks
WO2019241155A1 (en) * 2018-06-11 2019-12-19 Arterys Inc. Simulating abnormalities in medical images with generative adversarial networks
CN108830334B (zh) * 2018-06-25 2020-08-28 江西师范大学 一种基于对抗式迁移学习的细粒度目标判别方法
EP3874417A1 (en) * 2018-10-29 2021-09-08 HRL Laboratories, LLC Systems and methods for few-shot transfer learning

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Serban, Alexandru Constantin et al.,"Adversarial Examples - A Complete Characterisation of the Phenomenon",arXiv.org [online],arXiv:1810.01185v1,米国,arXiv,2018年10月,pp.1-54,[令和4年8月9日 検索], インターネット:<URL: https://arxiv.org/abs/1810.01185v1>,DOI:10.48550/ARXIV.1810.01185

Also Published As

Publication number Publication date
WO2020126372A1 (en) 2020-06-25
EP3671574A1 (en) 2020-06-24
CN113302630A (zh) 2021-08-24
US20210326647A1 (en) 2021-10-21
EP3671574B1 (en) 2024-07-10
JP2022515756A (ja) 2022-02-22

Similar Documents

Publication Publication Date Title
EP3576021B1 (en) Method, apparatus and computer program for generating robust automated learning systems and testing trained automated learning systems
US20220100850A1 (en) Method and system for breaking backdoored classifiers through adversarial examples
CN113962399A (zh) 用于机器学习中学习扰动集的方法和系统
US20230244924A1 (en) System and method for robust pseudo-label generation for semi-supervised object detection
JP7060762B2 (ja) 拡充識別器を訓練するための装置および方法
TWI845580B (zh) 用於訓練神經網路的方法
JP2023138492A (ja) ランダム化およびサンプル拒否を使用して、ディープニューラルネットワークにおける事前トレーニング済みシステムのロバストネスを向上させるためのシステムおよび方法
JP7264410B2 (ja) 「敵対的サンプル」に対するロバスト性を改善する装置及び方法
EP3754557A1 (en) Robustness indicator unit, certificate determination unit, training unit, control unit and computer-implemented method to determine a robustness indicator
CN114358276A (zh) 使用自标准化梯度训练标准化流的设备和方法
US20230259658A1 (en) Device and method for determining adversarial patches for a machine learning system
US20230107463A1 (en) Method and system for probably robust classification with multiclass enabled detection of adversarial examples
US20220101116A1 (en) Method and system for probably robust classification with detection of adversarial examples
CN113168572A (zh) 分类传感器数据和确定操控执行器的操控信号的方法和设备
US20210319268A1 (en) Device and method to improve the robustness against &#39;adversarial examples&#39;
KR20230175128A (ko) 기계 학습 시스템의 적대적 섭동들을 결정하기 위한 디바이스 및 방법
US20240135699A1 (en) Device and method for determining an encoder configured image analysis
US20220230416A1 (en) Training of machine learning systems for image processing

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20210618

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210618

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210618

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220816

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230307

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230405

R150 Certificate of patent or registration of utility model

Ref document number: 7264410

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150