JP7310921B2

JP7310921B2 - 検査装置、検査方法及び検査プログラム

Info

Publication number: JP7310921B2
Application number: JP2021563513A
Authority: JP
Inventors: 達大青島; 利宣碓井; 裕平川古谷; 誠岩村; 潤三好
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2019-12-11
Filing date: 2019-12-11
Publication date: 2023-07-19
Anticipated expiration: 2039-12-11
Also published as: JPWO2021117162A1; WO2021117162A1; US20230016772A1

Description

本発明は、検査装置、検査方法及び検査プログラムに関する。

従来、機械学習モデルにより制御されるシステムの挙動を検査する手法が知られている。例えば、有限状態遷移システムや区分線形関数で表現される連続状態遷移システムが、Linear Temporal Logicで記述された仕様を満たすかどうかを検査する方法がある（例えば、非特許文献１を参照）。

Yordanov, B., et al 2011. "Temporal Logic Control of Discrete Time Piecewise Affine Systems." IEEE Transactions on Automatic Control, vol. 57, no. 6, pp.1491-1504.

しかしながら、従来の技術では、再帰ニューラルネットワークにより制御されるシステムの挙動を検査することが困難な場合があるという問題がある。まず、線形写像とシグモイド関数の合成として定義される再帰ニューラルネットワークは非線形関数であるため、従来の技術を適用できない。また、再帰ニューラルネットワークにより制御されるシステムは、特定の性質を満たし得る一定の期間と満たしてはいけない一定の期間が交互に切り替わるような仕様が求められる場合がある。一方で、このような仕様はLinear Temporal Logicで記述できないため、従来技術では検査できない。

上述した課題を解決し、目的を達成するために、検査装置は、仕様を満たす再帰ニューラルネットワークの状態全体に関する集合を計算する計算部と、前記集合及び検査対象の再帰ニューラルネットワークの初期状態を基に、前記検査対象の再帰ニューラルネットワークが前記仕様を満たすか否かを判定する判定部と、を有することを特徴とする。

本発明によれば、再帰ニューラルネットワークにより制御されるシステムの挙動を検査することができる。

図１は、第１の実施形態に係る検査装置の構成例を示す図である。図２は、再帰ニューラルネットワークの動作を説明する説明図である。図３は、第１の実施形態に係る検査方法の概要を示す図である。図４は、各値を集合で表した場合の再帰ニューラルネットワークの動作を説明する説明図である。図５は、第１の実施形態に係る検査装置の処理の流れを示すフローチャートである。図６は、意味集合を計算する処理の流れを示すフローチャートである。図７は、検査プログラムを実行するコンピュータの一例を示す図である。

以下に、本願に係る検査装置、検査方法及び検査プログラムの実施形態を図面に基づいて詳細に説明する。なお、本発明は、以下に説明する実施形態により限定されるものではない。

ここで、本実施形態の検査装置は、再帰ニューラルネットワークが仕様を満たすか否かを検査するための装置である。ここで、再帰ニューラルネットワークにはシーケンシャルなデータが入力される。例えば、再帰ニューラルネットワークに時系列データが入力される場合、入力されるデータの時刻が進むにしたがい、再帰ニューラルネットワークの状態は変化する。そこで、本実施形態の検査装置は、例えば、様相論理の手法を用いて仕様を満たす状態全体を仮定し、検査対象の再帰ニューラルネットワークが仕様を満たすか否かを検査する。

ここで、図２を用いて、一般的な再帰ニューラルネットワークの動作を説明する。図２は、再帰ニューラルネットワークの動作を説明する説明図である。なお、本実施形態では、再帰ニューラルネットワークに時系列データが入力されるものとして説明を行う。図２に示すように、再帰ニューラルネットワークは、各時刻の状態及び入力を基に、次の時刻の状態及び出力を計算する。また、図２に示すように、一般的な再帰ニューラルネットワークの計算において、状態、入力値及び出力値は、所定の平面における点として表される。また、再帰ニューラルネットワークは、関数f及びgによって表される。

図２の各文字の添え字は時刻を表している。例えば、再帰ニューラルネットワークは、まず、初期状態h₀及び入力x₁から、時刻t=1の状態h₁=f(h₀,x₁)を計算する。さらに、再帰ニューラルネットワークは、状態h₁及び入力x₁から、時刻t=1の出力o₁=g(h₁,x₁)を計算する。さらに、再帰ニューラルネットワークは、状態h₁及び入力x₂から、時刻t=2の状態h₂=f(h₁,x₂)を計算する。さらに、再帰ニューラルネットワークは、状態h₂及び入力x₂から、時刻t=2の出力o₂=g(h₂,x₂)を計算する。このように、再帰ニューラルネットワークは再帰的に状態及び出力を計算する。

［第１の実施形態の構成］
図１を用いて、第１の実施形態に係る検査装置の構成について説明する。図１は、第１の実施形態に係る検査装置の構成例を示す図である。図１に示すように、検査装置１０は、入出力部１１、記憶部１２及び制御部１３を有する。

入出力部１１は、データの入出力を行うためのインタフェースである。例えば、入出力部１１は、ネットワークを介して他の装置との間でデータ通信を行うＮＩＣ（Network Interface Card）等の通信インタフェースであってもよい。また、入出力部１１は、マウスやキーボード等の入力装置、及びディスプレイ等の出力装置を含んでいてもよい。

記憶部１２は、HDD（Hard Disk Drive）、SSD（Solid State Drive）、光ディスク等の記憶装置である。なお、記憶部１２は、RAM（Random Access Memory）、フラッシュメモリ、NVSRAM（Non Volatile Static Random Access Memory）等のデータを書き換え可能な半導体メモリであってもよい。記憶部１２は、検査装置１０で実行されるOS（Operating System）や各種プログラムを記憶する。また、記憶部１２は、モデル情報１２１を記憶する。

モデル情報１２１は、再帰ニューラルネットワークを構築するための情報である。例えば、モデル情報１２１は、再帰ニューラルネットワークの各ノードの重みやバイアス等のパラメータであってもよい。

制御部１３は、検査装置１０全体を制御する。制御部１３は、例えば、CPU（Central Processing Unit）、MPU（Micro Processing Unit）等の電子回路や、ASIC（Application Specific Integrated Circuit）、FPGA（Field Programmable Gate Array）等の集積回路である。また、制御部１３は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、内部メモリを用いて各処理を実行する。また、制御部１３は、各種のプログラムが動作することにより各種の処理部として機能する。例えば、制御部１３は、計算部１３１、判定部１３２及び生成部１３３を有する。

計算部１３１は、仕様を満たす再帰ニューラルネットワークの状態全体に関する集合を計算する。例えば、計算部１３１は、仕様を満たす再帰ニューラルネットワークの状態全体の否定の意味集合を計算する。

その際、計算部１３１は、仕様を全称様相μ計算式とおいて意味集合を計算する。全称様相μ計算式とは、様相論理において必然を意味する演算子である□のみを含む様相μ計算式である。これにより、仕様の反例が存在するならただ１つであることが保証される。

仕様を満たす再帰ニューラルネットワークの状態全体の否定の意味集合は、仕様を満たさない再帰ニューラルネットワークの状態の意味集合ということができる。つまり、計算部１３１は、意味集合[[￢φ]]を計算する。なお、φは、仕様としての全称様相μ計算式である。また、[[]]は、二重角かっこであるものとする。

さらに、計算部１３１は、制約zonotopeにより、再帰ニューラルネットワークの計算過程における入力値、出力値、及び状態を集合として計算する。計算部１３１は、意味集合を制約zonotopeにより表現し操作する。これにより、計算部１３１は、再帰ニューラルネットワークの計算過程を、抽象的に解釈した結果として計算することができる。

制約zonotopeは、凸超多面体と線形方程式の解集合の共通部分として定義される。凸超多面体は、二次元空間における多角形や三次元空間における多面体を、高次元空間に一般化したものである。

計算部１３１は、制約zonotopeが、加法、線形写像、共通部分、有界で単調な関数の作用、線形方程式の解集合を求める操作について閉じていることを利用する。ただし、計算部１３１は、複数の制約zonotopeを保持することにより和集合を表現する。

判定部１３２は、集合及び検査対象の再帰ニューラルネットワークの初期状態を基に、検査対象の再帰ニューラルネットワークが仕様を満たすか否かを判定する。例えば、判定部１３２は、意味集合に初期状態が含まれない場合、検査対象のニューラルネットワークが仕様を満たすと判定し、意味集合に初期状態が含まれる場合、検査対象のニューラルネットワークが仕様を満たさないと判定する。前述の通り、意味集合[[￢φ]]は仕様の否定であるため、再帰ニューラルネットワークの初期状態がこの意味集合に含まれないということは、当該再帰ニューラルネットワークは仕様を満たしているということができる。

生成部１３３は、判定部１３２によって検査対象の再帰ニューラルネットワークが仕様を満たさないと判定された場合、検査対象の再帰ニューラルネットワークに対するバックプロパゲーションにより、仕様を満たさないと判定されるような入力列を生成する。例えば、生成部１３３は、仕様を満たさないと判定された場合は、意味集合を計算する過程を用いて、各時刻の状態がその過程の各段階に含まれるように、入力列をバックプロパゲーションにより求めることにより、反例を生成することができる。

計算部１３１による意味集合の計算過程には、不動点計算が含まれるものとする。ここで、生成部１３３は、まず、（１）式で表される不動点計算による意味集合の計算過程利用して、各時刻tの状態が、（２）式の状態に含まれるように損失関数を設計する。例えば、計算部１３１は、集合からの距離に関するhinge関数（絶対値関数）を損失関数として利用する。

前述の通り、意味集合[[￢φ]]は仕様の否定であるため、入力列に対応する各状態がこの意味集合に含まれていれば、当該入力列は仕様を満たさない入力列、すなわち反例となる。

図３は、第１の実施形態に係る検査方法の概要を示す図である。図３のモデル検査手法は、計算部１３１、判定部１３２及び生成部１３３による計算及び判定手法である。図３に示すように、モデル検査手法には、機械学習モデルが入力される。機械学習モデルは、非線形なものであってもよい。本実施形態では、再帰ニューラルネットワークが入力される。

次に、モデル検査手法は、機械学習モデルが仕様を満たすか否かを判定する。仕様は、全称様相μ計算式で表される。例えば、全称様相μ計算式は、「仕様は、φならばいつかかならずψが成り立つことを意味する」ことを表す。また、仕様を満たさない場合、モデル検査手法は、反例としての入力と状態遷移の列を生成し出力する。

図４は、各値を集合で表した場合の再帰ニューラルネットワークの動作を説明する説明図である。本実施形態では、再帰ニューラルネットワークの状態、入力値及び出力値は、所定の平面における範囲として表される。つまり、計算部１３１は、計算過程の近似により、状態、入力値及び出力値の取り得る値を集合として追跡することができる。また、再帰ニューラルネットワークは、関数f及びgによって表される。

例えば、再帰ニューラルネットワークは、まず、初期状態h₀及び入力範囲X₁から、時刻t=1の状態範囲H₁=f(h₀,X₁)を計算する。さらに、再帰ニューラルネットワークは、状態範囲H₁及び入力範囲X₁から、時刻t=1の出力範囲O₁=f(H₁,X₁)を計算する。さらに、再帰ニューラルネットワークは、状態範囲H₁及び入力範囲X₂から、時刻t=2の状態範囲H₂=f(H₁,X₂)を計算する。さらに、再帰ニューラルネットワークは、状態範囲H₂及び入力範囲X₂から、時刻t=2の出力範囲O₂=f(H₂,X₂)を計算する。このように、再帰ニューラルネットワークは再帰的に状態及び出力を計算する。

［第１の実施形態の処理］
図５を用いて、検査装置１０の処理の流れを説明する。図５は、第１の実施形態に係る検査装置の処理の流れを示すフローチャートである。まず、検査装置１０は、仕様を満たさない再帰ニューラルネットワークの状態全体の意味集合を計算する（ステップＳ１１）。これは、例えば、検査装置１０が仕様を満たすニューラルネットワークの状態全体の否定の意味集合を計算することを意味する。

ここで、検査装置１０は、計算した意味集合が検査対象のニューラルネットワークの初期状態を含むか否かを判定する（ステップＳ１２）。検査装置１０は、意味集合が初期状態を含まない場合（ステップＳ１２、Ｎｏ）、検査対象のニューラルネットワークは仕様を満たすと判定する（ステップＳ１３）。

一方、検査装置１０は、意味集合が初期状態を含む場合（ステップＳ１２、Ｙｅｓ）、検査対象のニューラルネットワークは仕様を満たさないと判定する（ステップＳ１４）。さらに、検査装置１０は、仕様を満たさないと判定した場合、反例となる入力列を生成する（ステップＳ１５）。

図６を用いて、検査装置１０の計算部１３１が意味集合を計算する処理（図５のステップＳ１１）の流れを説明する。図６は、意味集合を計算する処理の流れを示すフローチャートである。ここで、検査対象のニューラルネットワークを（f,g）とする。仕様は、様相μ計算式φによって表される。また、不動点計算回数の最大値を示すパラメータをTとする。また、例えば[[φ]]は、φの意味集合を表すものとする。ψ、ψ₁及びψ₂は、任意の様相μ計算式である。また、◇は様相論理において可能を意味する演算子である。

まず、φ=pである場合（ステップＳ１０１、Ｙｅｓ）、すなわちφが原子命題である場合、計算部１３１は、原子命題pを満たす状態全体の集合V(p)を返す（ステップＳ２０１）。

φ=pでなく（ステップＳ１０１、Ｎｏ）、φ=ψ₁∨ψ₂である場合（ステップＳ１０２、Ｙｅｓ）、計算部１３１は、[[ψ₁]]及び[[ψ₂]]を計算し（ステップＳ２０２）、[[ψ₁]]∪[[ψ₂]]を返す（ステップＳ２０３）。

φ=ψ₁∨ψ₂でなく（ステップＳ１０２、Ｎｏ）、φ=ψ₁∧ψ₂である場合（ステップＳ１０３、Ｙｅｓ）、計算部１３１は、[[ψ₁]]及び[[ψ₂]]を計算し（ステップＳ２０４）、[[ψ₁]]∩[[ψ₂]]を返す（ステップＳ２０５）。

φ=ψ₁∧ψ₂でなく（ステップＳ１０３、Ｎｏ）、φ=◇ψである場合（ステップＳ１０４、Ｙｅｓ）、計算部１３１は、[[ψ]]を計算し（ステップＳ２０６）、[[ψ]]のfによる逆像を返す（ステップＳ２０７）。

φ=◇ψでなく（ステップＳ１０４、Ｎｏ）、φ=x、すなわちφが変数である場合（ステップＳ１０５、Ｙｅｓ）、計算部１３１は、xが保持する意味集合B(x)を返す（ステップＳ２０８）。

φ=xでなく（ステップＳ１０５、Ｎｏ）、φ=μx.ψ(x)である場合（ステップＳ１０６、Ｙｅｓ）、計算部１３１は、ψ（x）の最小不動点μx.ψ(x)を返す（ステップＳ２０９）。このとき、繰り返し回数の最大はTである。

φ=μx.ψ(x)でなく（ステップＳ１０６、Ｎｏ）、φ=νx.ψ(x)である場合（ステップＳ１０７、Ｙｅｓ）、計算部１３１は、ψ（x）の最大不動点νx.ψ(x)を返す（ステップＳ２１０）。このとき、繰り返し回数の最大はTである。

ここで、φ=μx.p∨◇xを例に、計算部１３１の処理の流れを説明する。pは原子命題である。φ=μx.p∨◇xは、ある再帰ニューラルネットワークに対する入力列が存在して、将来のある時刻の状態でpが成り立つことを意味する。

計算部１３１は以下の処理を行う。ただし、再帰呼び出しとは、図６のフローを再帰的にＳ１０１から実行することである。
（1）まず、φ=μx.ψ(x)とかけるので、計算部１３１は、ステップＳ１０６からステップＳ２０９へ進み、ψ(x)=p∨◇xの最小不動点を計算するため、B(x)を空集合に初期化し、再帰呼び出し:
（1-1）φ=ψ₁∨ψ₂とかけるので、ψ₁=p,ψ₂=◇xとしてそれぞれ再帰呼び出し:
（1-1-1）pは原始命題なので、ステップＳ１０１からＳ２０１へ進み、V(p)を返す
（1-1-2）φ=◇ψとかけるので、ψ=xとして再帰呼び出し:
（1-1-2-1）xは変数なので、ステップＳ１０５からＳ２０８へ進み、B(x)を返す
（1-1-3）B(x)のfによる逆像を返す
（1-2）（1-1-1）で返された結果と（1-1-3）で返された結果の和集合を返す
（2）（1-2）で返された結果をxに代入（つまり、B(x)の値とする）して、（1）を最大最T回繰り返す。

ただし、ステップＳ２０９において、B(x)は空集合と初期化する。また、ステップＳ２１０において、B(x)は、制約zonotopeで表現される再帰ニューラルネットワークが取り得る状態全体の集合と初期化する。

［第１の実施形態の効果］
これまで説明してきたように、計算部１３１は、仕様を満たす再帰ニューラルネットワークの状態全体に関する集合を計算する。判定部１３２は、集合及び検査対象の再帰ニューラルネットワークの初期状態を基に、検査対象の再帰ニューラルネットワークが仕様を満たすか否かを判定する。このように、検査装置１０は、集合の性質を利用して再帰ニューラルネットワークが仕様を満たしているか否かを検査することができる。このため、本実施形態によれば、非線形関数である再帰ニューラルネットワークにより制御されるシステムの挙動を検査することができる。さらに、本実施形態によれば、特定の性質を満たし得る一定の期間と満たしてはいけない一定の期間が交互に切り替わるような仕様についても検査を行うことができる。

さらに、本実施形態によれば、再帰ニューラルネットワークにより制御されるロボットアームや自動運転車が、危害を加えるような望ましくない動作を行わないことを、事前に保証することが期待できる。また、本実施形態は、訓練済みの再帰ニューラルネットワークに対しても適用できるため、既に運用されているシステムに対する安全性も検証できる。

計算部１３１は、仕様を満たす再帰ニューラルネットワークの状態全体の否定の意味集合を計算する。判定部１３２は、意味集合に初期状態が含まれない場合、検査対象のニューラルネットワークが仕様を満たすと判定し、意味集合に初期状態が含まれる場合、検査対象のニューラルネットワークが仕様を満たさないと判定する。このように、本実施形態の検査装置１０は、意味集合の性質を利用して、再帰ニューラルネットワークが仕様を満たしているか否かを容易に検査することができる。

計算部１３１は、仕様を全称様相μ計算式とおいて意味集合を計算する。これにより、仕様の反例が存在するならただ１つであることが保証される。

計算部１３１は、制約zonotopeにより、再帰ニューラルネットワークの計算過程における入力値、出力値、及び状態を集合として計算する。また、前述の通り、制約zonotopeは線形方程式の解集合を求める操作について閉じている。このため、計算部１３１は、意味集合を計算するときに必要な再帰ニューラルネットワークの逆像を、逆行列を解くことなく効率良く行うことができる。なお、逆像は、再帰ニューラルネットワークの計算過程の逆算を意味する。

生成部１３３は、判定部１３２によって検査対象の再帰ニューラルネットワークが仕様を満たさないと判定された場合、検査対象の再帰ニューラルネットワークに対するバックプロパゲーションにより、仕様を満たすと判定されるような入力列を生成する。これにより、再帰ニューラルネットワークが仕様を満たさない場合、反例を導出できるため、例えばシステムの脆弱性に対する具体的な攻撃例を導出することができる。

［システム構成等］
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示のように構成されていることを要しない。すなわち、各装置の分散及び統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散又は統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部又は任意の一部が、CPU及び当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

また、本実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

［プログラム］
１つの実施形態として、検査装置１０は、パッケージソフトウェアやオンラインソフトウェアとして上記の検査処理を実行する検査プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、上記の検査プログラムを情報処理装置に実行させることにより、情報処理装置を検査装置１０として機能させることができる。ここで言う情報処理装置には、デスクトップ型又はノート型のパーソナルコンピュータが含まれる。また、その他にも、情報処理装置にはスマートフォン、携帯電話機やPHS（Personal Handyphone System）等の移動体通信端末、さらには、PDA（Personal Digital Assistant）等のスレート端末等がその範疇に含まれる。

また、検査装置１０は、ユーザが使用する端末装置をクライアントとし、当該クライアントに上記の検査処理に関するサービスを提供する検査サーバ装置として実装することもできる。例えば、検査サーバ装置は、再帰ニューラルネットワークを入力とし、判定結果又は反例を出力とする検査サービスを提供するサーバ装置として実装される。この場合、検査サーバ装置は、Webサーバとして実装することとしてもよいし、アウトソーシングによって上記の検査処理に関するサービスを提供するクラウドとして実装することとしてもかまわない。

図７は、検査プログラムを実行するコンピュータの一例を示す図である。コンピュータ１０００は、例えば、メモリ１０１０、CPU１０２０を有する。また、コンピュータ１０００は、ハードディスクドライブインタフェース１０３０、ディスクドライブインタフェース１０４０、シリアルポートインタフェース１０５０、ビデオアダプタ１０６０、ネットワークインタフェース１０７０を有する。これらの各部は、バス１０８０によって接続される。

メモリ１０１０は、ROM（Read Only Memory）１０１１及びRAM１０１２を含む。ROM１０１１は、例えば、BIOS（BASIC Input Output System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１１００に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ１１００に挿入される。シリアルポートインタフェース１０５０は、例えばマウス１１１０、キーボード１１２０に接続される。ビデオアダプタ１０６０は、例えばディスプレイ１１３０に接続される。

ハードディスクドライブ１０９０は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３、プログラムデータ１０９４を記憶する。すなわち、検査装置１０の各処理を規定するプログラムは、コンピュータにより実行可能なコードが記述されたプログラムモジュール１０９３として実装される。プログラムモジュール１０９３は、例えばハードディスクドライブ１０９０に記憶される。例えば、検査装置１０における機能構成と同様の処理を実行するためのプログラムモジュール１０９３が、ハードディスクドライブ１０９０に記憶される。なお、ハードディスクドライブ１０９０は、SSDにより代替されてもよい。

また、上述した実施形態の処理で用いられる設定データは、プログラムデータ１０９４として、例えばメモリ１０１０やハードディスクドライブ１０９０に記憶される。そして、CPU１０２０は、メモリ１０１０やハードディスクドライブ１０９０に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてRAM１０１２に読み出して、上述した実施形態の処理を実行する。

なお、プログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０９０に記憶される場合に限らず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ１１００等を介してCPU１０２０によって読み出されてもよい。あるいは、プログラムモジュール１０９３及びプログラムデータ１０９４は、ネットワーク（LAN（Local Area Network）、WAN（Wide Area Network）等）を介して接続された他のコンピュータに記憶されてもよい。そして、プログラムモジュール１０９３及びプログラムデータ１０９４は、他のコンピュータから、ネットワークインタフェース１０７０を介してCPU１０２０によって読み出されてもよい。

１０検査装置
１１入出力部
１２記憶部
１３制御部
１２１モデル情報
１３１計算部
１３２判定部
１３３生成部

Claims

仕様を満たす再帰ニューラルネットワークの状態全体に関する集合を計算する計算部と、
前記集合及び検査対象の再帰ニューラルネットワークの初期状態を基に、前記検査対象の再帰ニューラルネットワークが前記仕様を満たすか否かを判定する判定部と、
を有することを特徴とする検査装置。
前記計算部は、前記仕様を満たす再帰ニューラルネットワークの状態全体の否定の意味集合を計算し、
前記判定部は、前記意味集合に前記初期状態が含まれない場合、前記検査対象のニューラルネットワークが前記仕様を満たすと判定し、前記意味集合に初期状態が含まれる場合、前記検査対象のニューラルネットワークが前記仕様を満たさないと判定することを特徴とする請求項１に記載の検査装置。
前記計算部は、前記仕様を全称様相μ計算式とおいて前記意味集合を計算することを特徴とする請求項２に記載の検査装置。
前記計算部は、制約zonotopeにより、再帰ニューラルネットワークの計算過程における入力値、出力値、及び状態を集合として計算することを特徴とする請求項１に記載の検査装置。
前記判定部によって前記検査対象の再帰ニューラルネットワークが前記仕様を満たさないと判定された場合、前記検査対象の再帰ニューラルネットワークに対するバックプロパゲーションにより、前記仕様を満たすと判定されるような入力列を生成する生成部をさらに有することを特徴とする請求項１に記載の検査装置。
検査装置によって実行される検査方法であって、
仕様を満たす再帰ニューラルネットワークの状態全体に関する集合を計算する計算工程と、
前記集合及び検査対象の再帰ニューラルネットワークの初期状態を基に、前記検査対象の再帰ニューラルネットワークが前記仕様を満たすか否かを判定する判定工程と、
を含むことを特徴とする検査方法。
コンピュータを、請求項１から５のいずれか１項に記載の検査装置として機能させるための検査プログラム。