WO2023238342A1 - 測定装置、通信システム、測定方法、及びプログラム - Google Patents

測定装置、通信システム、測定方法、及びプログラム Download PDF

Info

Publication number
WO2023238342A1
WO2023238342A1 PCT/JP2022/023346 JP2022023346W WO2023238342A1 WO 2023238342 A1 WO2023238342 A1 WO 2023238342A1 JP 2022023346 W JP2022023346 W JP 2022023346W WO 2023238342 A1 WO2023238342 A1 WO 2023238342A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
input range
input
predetermined
machine learning
Prior art date
Application number
PCT/JP2022/023346
Other languages
English (en)
French (fr)
Inventor
直人 桐淵
亮平 鈴木
奈実 芦澤
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to PCT/JP2022/023346 priority Critical patent/WO2023238342A1/ja
Publication of WO2023238342A1 publication Critical patent/WO2023238342A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Definitions

  • the present disclosure relates to a technique for measuring changes in the behavior of a machine learning model.
  • the present invention has been made in view of the above points, and aims to more accurately measure changes in the behavior of a machine learning model without examining the outputs for all inputs to the machine learning model. do.
  • the invention according to claim 1 provides a measuring device for measuring changes in the behavior of a machine learning model, which inputs data in a first input range and data in a second input range.
  • an input unit that is capable of Input that determines whether the data in the ranges are the same and, if it is determined that they are the same, makes the data in the first input range and the data in the second input range the data in the same predetermined input range.
  • a range determination unit and a set setting unit that sets the data in the predetermined input range itself to the input set data, or sets a value sampled from the data in the predetermined input range to the input set data.
  • the measuring device includes a measuring section and an output section that outputs a result related to the similarity measured by the similarity measuring section.
  • FIG. 1 is an overall configuration diagram of a communication system according to this embodiment.
  • FIG. 1 is an overall configuration diagram of a communication system according to this embodiment.
  • the communication system 1 of this embodiment is constructed by a measuring device 3 and a communication terminal 5.
  • the communication terminal 5 is managed and used by a user.
  • the user is a person who refers to the output results of the measuring device and determines subsequent actions.
  • the measuring device 3 and the communication terminal 5 can communicate via a communication network 100 such as the Internet.
  • the connection form of the communication network 100 may be either wireless or wired.
  • the measuring device 3 is configured by one or more computers. When the measuring device 3 is configured by a plurality of computers, it may be referred to as a "measuring device” or a “measuring system.”
  • the measuring device 3 regards the input and output of the machine learning model as a function, defines the degree of similarity, and then measures an alternative degree of similarity so that it is not necessary to examine the outputs for all inputs.
  • the communication terminal 5 is a computer, and in FIG. 1, a notebook computer is shown as an example.
  • a user operates a communication terminal 5.
  • the measurement device 3 may perform processing alone without using the communication terminal 5.
  • FIG. 2 is an electrical hardware configuration diagram of the measuring device.
  • the measuring device 3 is a computer that includes a CPU (Central Processing Unit) 301, a ROM (Read Only Memory) 302, a RAM (Random Access Memory) 303, an SSD (Solid State Drive) 304, It includes an external device connection I/F (Interface) 305, a network I/F 306, a media I/F 309, and a bus line 310.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • SSD Solid State Drive
  • the CPU 301 controls the operation of the entire measuring device 3.
  • the ROM 302 stores programs used to drive the CPU 301, such as IPL (Initial Program Loader).
  • RAM 303 is used as a work area for CPU 301.
  • the SSD 304 reads or writes various data under the control of the CPU 301.
  • an HDD Hard Disk Drive
  • an HDD Hard Disk Drive
  • the external device connection I/F 305 is an interface for connecting various external devices.
  • External devices in this case include a display, speaker, keyboard, mouse, USB (Universal Serial Bus) memory, printer, and the like.
  • the network I/F 306 is an interface for data communication via the communication network 100.
  • the media I/F 309 controls reading or writing (storage) of data to a recording medium 309m such as a flash memory.
  • the recording media 309m also include DVDs (Digital Versatile Discs), Blu-ray Discs (registered trademark), and the like.
  • the bus line 310 is an address bus, a data bus, etc. for electrically connecting each component such as the CPU 301 shown in FIG. 2.
  • the electrical hardware configuration of the communication terminal 5 is basically the same as that of the measurement device 3, so its description will be omitted.
  • ⁇ Definition of similarity> The input and output of a machine learning model (machine learning model) is regarded as a function, and two machine learning models whose similarity is to be measured are designated as f 1 and f 2 .
  • the input (data) and output (data) of the machine learning model are multivariate vectors.
  • the following three measurement methods are used to obtain the similarity that replaces the above equation (Equation 2).
  • the three measurement techniques may be used alone, or any two or more may be used in combination.
  • ⁇ Input range limitation ⁇ Similarity estimation ⁇ Function approximation ⁇ Input range limitation>
  • the scope of similarity calculation is limited to set D, and the similarity in set D is measured. That is, the similarity is measured using the following equation instead.
  • the set D includes data input to a machine learning model during a predetermined period, a specific data set, and the like. It is also possible to read a collection of data as a distribution and obtain a degree of similarity that takes into account the frequency of a certain input. For example, when the appearance probability of input data is expressed by the function P(x), the similarity is
  • domain conversion processing may be performed to convert the domain D 1 to D 2 (or convert the domain D 2 to D 1 ) to align them. This conversion process corresponds to, for example, converting the size of an image.
  • ⁇ Similarity estimation> Estimate the desired degree of similarity from the sampled input/output data set using statistical methods. Randomly extract n differences E(f 1 (x),f 2 (x)) for a certain input data x, and calculate the average
  • the degree of similarity can be estimated using the following formula.
  • a global interpretation of f(x) is obtained using an explainable machine learning model, and the similarity is measured by considering this interpretation as an approximation of the function f(x).
  • An explainable machine learning model is one that provides a global explanation that is easier for humans to interpret by approximating a decision tree or rules that are simpler than the original machine learning model originally stored in the measurement device 3. be.
  • the measuring device 3 regards the obtained decision trees or rules as approximation functions f' 1 , f' 2 and approximations of the original machine learning models f 1 , f 2 , and measures the degree of similarity using the following formula.
  • FIG. 3 is a functional configuration diagram of the measuring device.
  • the measurement device 3 includes an input section 31, a measurement method judgment section 32, an input range acquisition section 33, an input range judgment section 34, a domain conversion section 35, a set setting section 36, a set element input section 37, It has a similarity measurement section 38 and an output section 39.
  • Each of these units is a function realized by instructions from the CPU 301 in FIG. 2 based on a program.
  • machine learning models 41 and 42 are stored in the RAM 303 or SSD 304. Note that at least one of the machine learning models 41 and 42 is stored not in the measuring device 3 but in a separate device independent of the measuring device 3, and the measuring device 3 performs machine learning via the communication network 100. At least one of the models 41 and 42 may be used.
  • the input unit 31 inputs input content (designation of a measurement method) received from the communication terminal 5 or input content (designation of a measurement method) directly received by the input unit 31 to its own device (measuring device 3).
  • the specified measurement method is at least one of three types of measurement methods (input range limitation, similarity estimation, or function approximation).
  • the input contents include data D1 of the first input range and data D2 of the second input range related to the comparison target.
  • function approximation is specified, the input contents include approximate functions f' 1 and f' 2 .
  • the input range data indicates data generated or acquired within a predetermined range (predetermined period, predetermined classification, etc.).
  • the data of the input range may not be the data itself generated or acquired in the predetermined range, but may be data indicating the conditions of the range. For example, as a range condition, x may be 1 or more and 500 or less.
  • the measurement method determining unit 32 determines which of the three measurement methods is specified based on the input content.
  • the input range acquisition unit 33 performs the following: Data d1 in a predetermined first input range is obtained from the machine learning model 41, and data d2 in a predetermined second input range is obtained from the machine learning model 42.
  • the input range determination unit 34 determines that when the input unit 31 inputs the data D1 of the first input range and the data D2 of the second input range because “input range limitation” is specified, the input range determination unit 34 It is determined whether the data D1 of the input range and the data D2 of the second input range are the same, and if it is determined that they are the same, the data D1 of the first input range and the data D2 of the second input range are determined. Let be data D in the same predetermined input range.
  • the input range determining unit 34 determines that the data d1 of the predetermined first input range and the data d1 of the predetermined second input range obtained by the input range obtaining unit 33 are It is determined whether the data d2 are the same, and if it is determined that they are the same, the data d1 of the predetermined first input range and the data d2 of the predetermined second input range are replaced with the data of the same predetermined input range. Let it be D.
  • the domain conversion unit 35 converts the data D1 of the first input range and the data D2 of the second input range. If the data D2 are not the same, by converting the domain of the data D1 of the first input range or the data D2 of the second input range, the first input range and the second input range are aligned and a predetermined value is obtained. Let the input range data be D.
  • the domain conversion unit 35 converts the data d1 of the predetermined first input range or the data d2 of the predetermined second input range to By converting the domain of the data d2 in the second input range, a predetermined first input range and a predetermined second input range are aligned and set as data D in the predetermined input range.
  • the set setting unit 36 sets the value x sampled from the data D in a predetermined input range to the input set data X. Further, if “similarity estimation” is not specified, the set setting unit 36 sets the data D itself in the predetermined input range as the input set data X.
  • the set element input unit 37 sets each of the first function related to the first machine learning model and the second function related to the second machine learning model. Enter data x for each element.
  • the set element input unit 37 inputs a first approximation function that approximates a decision tree or rule that is simpler than the machine learning model 41 and a simpler one than the machine learning model 42.
  • the data x of each element of the set is input to each of the second approximation functions that approximate a decision tree or rule.
  • the similarity measurement unit 38 calculates the first output from the first function. A similarity between the data and second output data from the second function is measured. Further, when the set element input unit 37 inputs the data x of each element of the set to each of the first approximation function and the second approximation function, the similarity measurement unit 38 calculates the data x from the first approximation function. The similarity between the first output data from the second approximation function and the second output data from the second approximation function is measured.
  • the output unit 39 outputs measurement result information indicating the similarity measured by the similarity measurement unit 38 from the measurement device 3. Examples of output include displaying on a display connected to the external device connection I/F 305 in FIG. 2, and transmitting to an external device such as the communication terminal 5 via the network I/F 306.
  • FIGS. 4 to 6 are flowcharts showing processes or operations performed by the measuring device.
  • the measurement method determination unit 32 determines the similarity measurement method. It is determined which measurement method has been designated (or selected) among the three types (input range limitation, similarity estimation, or function approximation) (hereinafter, this process will be referred to as "measurement method determination process"). In this case, at least one of the three types of measurement methods is accepted.
  • the input range determining unit 34 determines that the input range data D1, D2 input by the input unit 31 is Determine if they are the same. Alternatively, if the measurement method determining unit 32 does not determine that the “input range limited” designation has been received (S11; NO), the input range determining unit 34 determines the input range that has been input by the input range acquiring unit 33 in step S12. Determine whether the range data d1 and d2 are the same.
  • the domain conversion unit 35 converts the input range data D1, By converting the domain of either D2 or the input range data d1, d2, the input range data D1, D2 or the input range data d1, d2 can be aligned. Let be data D in a predetermined input range. Note that the domain conversion unit 35 may convert each domain of the input range data D1, D2 to match the input range data D, or convert each domain of the input range data d1, d2 to match the input range data D1, D2. It is also possible to align it with data D.
  • the set setting The unit 36 sets the input range data D itself aligned by the input range determination unit 34 or the input range data D itself aligned by the domain conversion unit 35 as data X of the input set.
  • the similarity measurement unit 38 measures the similarity of each output data [y 1 , y 2 ] or measures the similarity of each output data [y1, y2].
  • the output unit 39 outputs the result related to the similarity measured by the similarity measurement unit 38.
  • a machine learning model is regarded as a function, the sum of the differences between each output data for the same input data to two machine learning models is defined as similarity, and the output for the input is examined.
  • this similarity is measured by three measurement techniques: input range limitation, similarity estimation, and function approximation. This makes it possible to measure changes in the behavior of a given machine learning model without examining the outputs for all inputs. Furthermore, by appropriately using any of the three measurement methods above, machine learning can be performed more accurately. This has the effect of being able to measure changes in the model's behavior.
  • the present invention is not limited to the above-described embodiments, and may have the following configuration or processing (operation).
  • the measuring device 3 can be realized by a computer and a program, but this program can also be recorded on a (non-temporary) recording medium or provided via the communication network 100.
  • a notebook computer is shown as an example of the communication terminal 5, but it is not limited to this, and examples include a desktop computer, a tablet terminal, a smartphone, a smart watch, a car navigation device, a refrigerator, A microwave oven or the like may be used.
  • the number of CPUs 301 is not limited to a single CPU, and may be a plurality of CPUs.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

本開示は、機械学習モデルへの全ての入力に対する出力を調べなくても、より正確に機械学習モデルの振る舞いの変化を測定することを目的とする。　そのため、本開示は、機械学習モデルを関数とみなし、２つの機械学習モデルへの同じ入力データに対する各出力データの差の合計を類似度として定義し、入力に対する出力を調べる代わりとして代替的に、この類似度を３つの測定手法（入力範囲限定、類似度推定、関数近似）により測定する。これにより、全ての入力に対する出力を調べなくても、所定の機械学習モデルの振る舞いの変化を測定することができ、更に上記３つの測定手法のいずれかを適宜用いることで、より正確に機械学習モデルの振る舞いの変化を測定することができるという効果を奏する。

Description

測定装置、通信システム、測定方法、及びプログラム
　本開示は、機械学習モデルの振る舞いの変化を測定する技術に関する。
　数ある機械学習モデル(AI：Artificial Intelligence)の中には、継続的な機械学習により絶えず変化するものがある。絶えず変化することは、従来のソフトウェアには無い機械学習モデルの特徴であり、機械学習モデルはいつの間にか変化している可能性がある。機械学習モデルの振る舞いの変化（状態）を把握する方法として、機械学習モデルの内部パラメータ（モデル内の重みなど）を可視化する方法や、テストデータを機械学習モデルに入力して機械学習モデルの推論精度を可視化する方法が知られている(非特許文献１参照）。
Hohman, Fred, et al. "Visual analytics in deep learning: An interrogative survey for the next frontiers." IEEE transactions on visualization and computer graphics 25.8 (2018): 2674-2693.
　しかし、機械学習モデルの内部パラメータを可視化するだけでは、機械学習モデルの振る舞いとして、出力にどのような影響があるかを知ることができない。また、機械学習モデルの推論精度を可視化した場合にも、推論精度が同程度の機械学習モデルであっても推論可能な対象や間違え方などは異なるため、機械学習モデルの振る舞いを知るには不十分という課題があった。更に、機械学習モデルの状態を把握するために、全ての入力に対する出力を調べようとすると莫大な工数が発生するため、非現実的である。
　本発明は、上記の点に鑑みてなされたものであって、機械学習モデルへの全ての入力に対する出力を調べなくても、より正確に機械学習モデルの振る舞いの変化を測定することを目的とする。
　上記課題を解決するため、請求項１に係る発明は、機械学習モデルの振る舞いの変化を測定する測定装置であって、第１の入力範囲のデータ及び第２の入力範囲のデータを入力することが可能な入力部と、前記入力部によって前記第１の入力範囲のデータ及び前記第２の入力範囲のデータが入力された場合には、前記第１の入力範囲のデータ及び前記第２の入力範囲のデータが同一かを判断すると共に、同一であると判断した場合には、前記第１の入力範囲のデータ及び前記第２の入力範囲のデータを同一の所定の入力範囲のデータとする入力範囲判断部と、前記所定の入力範囲のデータそのものを入力用の集合のデータに設定するか、又は前記所定の入力範囲のデータからサンプリングした値を入力用の集合のデータに設定する集合設定部と、第１の機械学習モデルに係る第１の関数及び第２の機械学習モデルに係る第２の関数のそれぞれに前記集合の各要素のデータを入力するか、又は前記第１の機械学習モデルよりも単純な決定木若しくはルールに近似した第１の近似関数及び前記第２の機械学習モデルよりも単純な決定木若しくはルールに近似した第２の近似関数のそれぞれに前記集合の各要素のデータを入力する集合要素入力部と、前記集合要素入力部によって前記第１の関数及び前記第２の関数のそれぞれに前記集合の各要素のデータが入力された場合には、前記第１の関数からの第１の出力データ及び前記第２の関数からの第２の出力データの類似度を測定するか、又は前記集合要素入力部によって前記第１の近似関数及び前記第２の近似関数のそれぞれに前記集合の各要素のデータが入力された場合には、前記第１の近似関数からの第１の出力データ及び前記第２の近似関数からの第２の出力データの類似度を測定する類似度測定部と、前記類似度測定部によって測定された前記類似度に係る結果を出力する出力部と、を有する測定装置である。
　以上説明したように本発明によれば、機械学習モデルへの全ての入力に対する出力を調べなくても、より正確に機械学習モデルの振る舞いの変化を測定することができるという効果を奏する。
本実施形態に係る通信システムの全体構成図である。 本実施形態に係る測定装置及び通信端末の電気的なハードウェア構成図で 測定装置の機能構成図である。 測定装置が実行する処理又は動作を示すフローチャートである。 測定装置が実行する処理又は動作を示すフローチャートである。 測定装置が実行する処理又は動作を示すフローチャートである。
　以下、図面に基づいて本発明の実施形態を説明する。
　〔実施形態のシステム構成〕
　まず、図１を用いて、本実施形態の通信システムの全体構成略について説明する。図１は、本実施形態に係る通信システムの全体構成図である。
　図１に示されているように、本実施形態の通信システム１は、測定装置３、及び通信端末５によって構築されている。通信端末５は、ユーザによって管理及び使用される。ユーザは、測定装置の出力結果を参照して、その後の対応を判断する者である。
　また、測定装置３と通信端末５は、インターネット等の通信ネットワーク１００を介して通信することができる。通信ネットワーク１００の接続形態は、無線又は有線のいずれでも良い。
　測定装置３は、単数又は複数のコンピュータによって構成されている。測定装置３が複数のコンピュータによって構成されている場合には、「測定装置」と示しても良いし、「測定システム」と示しても良い。
　測定装置３は、機械学習モデルの入出力を関数とみなして、類似度を定義した上で、全ての入力に対する出力を調べなくてよいように、代替となる類似度を測定する。
　通信端末５は、コンピュータであり、図１では、一例としてノート型パソコンが示されている。図１では、ユーザが、通信端末５を操作する。なお、通信端末５を用いずに、測定装置３単独で処理してもよい。
　〔ハードウェア構成〕
　＜測定装置のハードウェア構成＞
　次に、図２を用いて、測定装置３の電気的なハードウェア構成を説明する。図２は、測定装置の電気的なハードウェア構成図である。
　測定装置３は、コンピュータとして、図２に示されているように、ＣＰＵ(Central Processing Unit)３０１、ＲＯＭ(Read Only Memory)３０２、ＲＡＭ(Random Access Memory)３０３、ＳＳＤ(Solid State Drive)３０４、外部機器接続Ｉ／Ｆ(Interface)３０５、ネットワークＩ／Ｆ３０６、メディアＩ／Ｆ３０９、及びバスライン３１０を備えている。
　これらのうち、ＣＰＵ３０１は、測定装置３全体の動作を制御する。ＲＯＭ３０２は、ＩＰＬ(Initial Program Loader)等のＣＰＵ３０１の駆動に用いられるプログラムを記憶する。ＲＡＭ３０３は、ＣＰＵ３０１のワークエリアとして使用される。
　ＳＳＤ３０４は、ＣＰＵ３０１の制御に従って各種データの読み出し又は書き込みを行う。なお、ＳＳＤ３０４の代わりに、ＨＤＤ(Hard Disk Drive)を用いても良い。
　外部機器接続Ｉ／Ｆ３０５は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、ディスプレイ、スピーカ、キーボード、マウス、ＵＳＢ(Universal Serial Bus)メモリ、及びプリンタ等である。
　ネットワークＩ／Ｆ３０６は、通信ネットワーク１００を介してデータ通信をするためのインターフェースである。
　メディアＩ／Ｆ３０９は、フラッシュメモリ等の記録メディア３０９ｍに対するデータの読み出し又は書き込み（記憶）を制御する。記録メディア３０９ｍには、ＤＶＤ(Digital Versatile Disc)やＢｌｕ-ｒａｙ Ｄｉｓｃ（登録商標）等も含まれる。
　バスライン３１０は、図２に示されているＣＰＵ３０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
　なお、通信端末５の電気的なハードウェア構成は、基本的に測定装置３と同様であるため、その説明を省略する。
　〔測定の開発技術内容〕
　続いて、測定装置による測定の開発技術内容について説明する。
　＜類似度の定義＞
　機械学習モデル（機械学習モデル）の入出力を関数とみなし、類似度を測定する２つの機械学習モデルをf1,f2とおく。機械学習モデルの入力(データ)及び出力(データ)が多変数のベクトル
Figure JPOXMLDOC01-appb-M000001
 （以降、単に「x」,「y」と示す）で
y＝f(x)となるとき、類似度は、f1(x)とf2(x)の差分の合計と考えることができ、次の式で表現できる。
Figure JPOXMLDOC01-appb-M000002
 　ここで、関数
Figure JPOXMLDOC01-appb-M000003
 は、ベクトル間の差分を求める関数であり、
例えば、下記のベクトル間のユークリッド距離を用いることができる。
Figure JPOXMLDOC01-appb-M000004
 　なお、
Figure JPOXMLDOC01-appb-M000005
 は、N次元のベクトルで各要素をそれぞれ
Figure JPOXMLDOC01-appb-M000006
 とする。
　＜類似度の測定＞
　但し、機械学習モデルの入出力（データ）の組を全て把握することは非現実的であるため、上述の類似度を直接測定することは困難である。
　そこで、本実施形態では、下記３つの測定方法（測定手法）で上述の式（数２）を代替する類似度を得る。３つの測定手法は単独で用いてもよいし、いずれか２つ以上を組み合わせて用いてもよい。
・入力範囲限定
・類似度推定
・関数近似
　＜入力範囲限定＞
　類似度の算出の対象範囲を集合Dに限定し、集合Dにおける類似度を測定する。即ち、類似度を次の式で代替して測定する。
Figure JPOXMLDOC01-appb-M000007
 集合Dとしては、所定期間に機械学習モデルに入力されたデータや特定のデータセット等がある。データの集合を分布に読み替えて、ある入力の頻度を加味した類似度にすることもできる。例えば、入力されるデータの出現確率が関数P(x)で表現されるとき、類似度は、
Figure JPOXMLDOC01-appb-M000008
 で測定できる。
　なお、実際の入力は離散的な値であるため、積分値は単純な総和で代替してもよい。また、２つの機械学習モデルの入力範囲が異なる場合、ドメインD1をD2に変換（又はドメインD2をD1に変換）して揃えるドメイン変換処理を行ってもよい。この変換処理は、例えば、画像のサイズを変換することが相当する。
　＜類似度推定＞
　統計手法を用いてサンプリングされた入出力データの組から求めたい類似度を推定する。ある入力データxに対する差分E(f1(x),f2(x))を無作為にn個抽出し、その平均を
Figure JPOXMLDOC01-appb-M000009
 とする。
　差分の母集団が正規分布に従うと仮定すると、類似度は下記の式で推定できる。
Figure JPOXMLDOC01-appb-M000010
 　＜関数近似＞
　説明可能な機械学習モデルによってf(x)の大域的な解釈を得て、その解釈を関数f(x)の近似とみなして類似度を測定する。説明可能な機械学習モデルには、もともと測定装置３が記憶している元の機械学習モデルよりも単純な決定木又はルールに近似することで、人間に解釈しやすい大域的な説明を与えるものがある。測定装置３は、得られた決定木又はルールを近似関数f'1,f'2とし、元の機械学習モデルf1,f2の近似とみなし、下記の式で類似度を測定する。
Figure JPOXMLDOC01-appb-M000011
 　〔測定装置の機能構成〕
　続いて、上記測定の開発技術内容を実現するための測定装置３の機能構成について説明する。図３は、測定装置の機能構成図である。
　図３に示すように、測定装置３は、入力部３１、測定手法判断部３２、入力範囲取得部３３、入力範囲判断部３４、ドメイン変換部３５、集合設定部３６、集合要素入力部３７、類似度測定部３８、及び出力部３９を有する。これら各部は、プログラムに基づき図２のＣＰＵ３０１による命令によって実現される機能である。また、ＲＡＭ３０３又はＳＳＤ３０４には、機械学習モデル４１，４２が記憶されている。なお、機械学習モデル４１，４２の少なくとも１つは、測定装置３内ではなく、測定装置３とは独立した別の装置内に記憶されており、測定装置３が通信ネットワーク１００を介して機械学習モデル４１，４２の少なくとも１つを利用してもよい。
　入力部３１は、通信端末５から受けた入力内容（測定手法の指定）、又は入力部３１が自装置（測定装置３）に対して直接受けた入力内容（測定手法の指定）を入力する。指定された測定手法は、３種類の測定手法（入力範囲限定、類似度推定、又は関数近似）のうちの少なくとも１つである。また、「入力範囲限定」が指定された場合には、入力内容に、比較対象に係る第１の入力範囲のデータD1及び第２の入力範囲のデータD2が含まれている。また、「関数近似」が指定された場合には、入力内容には、近似関数f'1,f'2 が含まれている。なお、入力範囲のデータは、所定範囲（所定期間、所定分類等）に生成又は取得されたデータを示す。また、入力範囲のデータは、所定範囲に生成又は取得されたデータそのものではなく、範囲の条件を示すデータであってもよい。例えば、範囲の条件として、xが１以上５００以下を示す場合が挙げられる。
　測定手法判断部３２は、入力内容に基づいて、３種類の測定手法のうち、いずれの測定手法が指定されたかを判断する。
　入力範囲取得部３３は、「入力範囲限定」が指定されなかったことにより、入力部３１によって第１の入力範囲のデータD1及び第２の入力範囲のデータD2が入力されなかった場合には、機械学習モデル４１から所定の第１の入力範囲のデータd1を取得すると共に、機械学習モデル４２から所定の第２の入力範囲のデータd2を取得する。
　入力範囲判断部３４は、「入力範囲限定」が指定されたことにより、入力部３１によって第１の入力範囲のデータD1及び第２の入力範囲のデータD2が入力された場合には、第１の入力範囲のデータD1及び第２の入力範囲のデータD2が同一かを判断すると共に、同一であると判断した場合には、第１の入力範囲のデータD1及び第２の入力範囲のデータD2を同一の所定の入力範囲のデータDとする。また、入力範囲判断部３４は、「入力範囲限定」が指定されなかったことにより、入力範囲取得部３３によって取得された所定の第１の入力範囲のデータd1及び所定の第２の入力範囲のデータd2が同一かを判断すると共に、同一であると判断した場合には、所定の第１の入力範囲のデータd1及び所定の第２の入力範囲のデータd2を同一の所定の入力範囲のデータDとする。
　ドメイン変換部３５は、入力部３１によって第１の入力範囲のデータD1及び第２の入力範囲のデータD2が入力された場合であって、第１の入力範囲のデータD1及び第２の入力範囲のデータD2が同一でないときには、第１の入力範囲のデータD1又は第２の入力範囲のデータD2のドメインを変換することで、第１の入力範囲及び前記第２の入力範囲を揃えて所定の入力範囲のデータDとする。また、ドメイン変換部３５は、所定の第１の入力範囲のデータd1及び所定の第２の入力範囲のデータd2が同一でない場合には、所定の第１の入力範囲のデータd1又は所定の第２の入力範囲のデータd2のドメインを変換することで、所定の第１の入力範囲及び所定の第２の入力範囲を揃えて所定の入力範囲のデータDとする。
　集合設定部３６は、「類似度推定」が指定されていた場合には、所定の入力範囲のデータDからサンプリングした値xを入力用の集合のデータXに設定する。また、集合設定部３６は、「類似度推定」が指定されていなかった場合には、所定の入力範囲のデータDそのものを入力用の集合のデータXに設定する。
　集合要素入力部３７は、「関数近似」が指定されていなかった場合には、第１の機械学習モデルに係る第１の関数及び第２の機械学習モデルに係る第２の関数のそれぞれに集合の各要素のデータxを入力する。また、集合要素入力部３７は、「関数近似」が指定されていた場合には、機械学習モデル４１よりも単純な決定木若しくはルールに近似した第１の近似関数及び機械学習モデル４２よりも単純な決定木若しくはルールに近似した第２の近似関数のそれぞれに集合の各要素のデータxを入力する。
　類似度測定部３８は、集合要素入力部３７によって第１の関数及び第２の関数のそれぞれに集合の各要素のデータxが入力された場合には、第１の関数からの第１の出力データ及び第２の関数からの第２の出力データの類似度を測定する。また、類似度測定部３８は、集合要素入力部３７によって第１の近似関数及び第２の近似関数のそれぞれに集合の各要素のデータxが入力された場合には、第１の近似関数からの第１の出力データ及び第２の近似関数からの第２の出力データの類似度を測定する。
　出力部３９は、類似度測定部３８によって測定された類似度を示す測定結果の情報を、測定装置３から出力する。出力する例としては、図２の外部機器接続Ｉ／Ｆ３０５に接続されたディスプレイに表示させる場合、ネットワークＩ／Ｆ３０６を介して通信端末５等の外部装置に送信する場合等が挙げられる。
　〔測定装置の処理又は動作〕
　続いて、図４乃至図６を用いて、測定装置３の処理又は動作について説明する。図４乃至図６は、測定装置が実行する処理又は動作を示すフローチャートである。
　まず、入力部３１が通信端末５から受けた入力内容、又は入力部３１が自装置（測定装置３）に対して直接受けた入力内容に基づき、測定手法判断部３２は、類似度の測定手法の３種類（入力範囲限定、類似度推定、又は関数近似）のうちのいずれの測定手法が指定（又は選択）されたかを判断する（以降、この処理を「測定手法判断処理」と示す）。この場合、３種類の測定手法のうち、少なくとも１つが受け付けられる。
　Ｓ１２：測定手法判断処理において、測定手法判断部３２によって「入力範囲限定」の指定を受けたと判断されなかった場合には（Ｓ１１；ＮＯ）、入力範囲取得部３３が、機械学習モデル４１から入力範囲のデータd1を取得すると共に、機械学習モデル４２から入力範囲のデータd2を取得する。そして、Ｓ１３に進む。
　Ｓ１３：測定手法判断部３２によって「入力範囲限定」の指定を受けたと判断された場合（Ｓ１１；ＹＥＳ）、入力範囲判断部３４は、入力部３１によって入力された入力範囲のデータD1,D2が同一かを判断する。または、測定手法判断部３２によって「入力範囲限定」の指定を受けたと判断されなかった場合（Ｓ１１；ＮＯ）、入力範囲判断部３４は、上記ステップＳ１２により入力範囲取得部３３によって入力された入力範囲のデータd1,d2が同一かを判断する。
　Ｓ１４：入力範囲のデータD1,D2が同一、又は入力範囲のデータd1,d2が同一の場合（Ｓ１３；ＹＥＳ）、入力範囲判断部３４が、入力範囲のデータD1,D2又は入力範囲のデータd1,d2を所定の入力範囲のデータDとする。
　Ｓ１５: 入力範囲のデータD1,D2が同一でない（異なる）とき、又は入力範囲のデータd1,d2が同一でない（異なる）とき（Ｓ１３；ＹＥＳ）、ドメイン変換部３５が、入力範囲のデータD1,D2のいずれか一方、又は入力範囲のデータd1,d2のいずれか一方のドメインを変換することで、入力範囲のデータD1,D2を揃えて、又は入力範囲のデータd1,d2を揃えて、これを所定の入力範囲のデータDとする。なお、ドメイン変換部３５は、入力範囲のデータD1,D2の各ドメインを変換して入力範囲のデータDに揃えてもよいし、入力範囲のデータd1,d2の各ドメインを変換して入力範囲のデータDに揃えてもよい。
　Ｓ２２：更に、測定手法判断処理において、図５に示すように、測定手法判断部３２によって「類似度測定」の指定を受けたと判断された場合には（Ｓ２１；ＹＥＳ）、集合設定部３６は、入力範囲判断部３４によって揃えられた入力範囲のデータDからサンプリングした値xを入力用の集合Xと設定するか、又はドメイン変換部３５によって揃えられた入力範囲のデータDからサンプリングした値xを入力用の集合Xと設定する。
　Ｓ２３：一方、測定手法判断処理において、測定手法判断部３２によって「類似度測定」の指定を受けたと判断されなかった場合（受けなかったと判断された場合）には（Ｓ２１；ＮＯ）、集合設定部３６は、入力範囲判断部３４によって揃えられた入力範囲のデータDそのもの、又はドメイン変換部３５によって揃えられた入力範囲のデータDそのものを入力用の集合のデータXと設定する。
　Ｓ３２：更に、測定手法判断処理において、図６に示すように、測定手法判断部３２によって「関数近似」の指定を受けたと判断された場合には（Ｓ３１；ＹＥＳ）、集合要素入力部３７は、近似関数[f'1(x), f'2(x)]に集合のデータXの各要素のデータxを入力して各出力[y'1,y'2]を得る。
　Ｓ３３：一方、測定手法判断処理において、図６に示すように、測定手法判断部３２によって「関数近似」の指定を受けたと判断されなかった（受けなかったと判断された）場合には（Ｓ３３；ＮＯ）、集合要素入力部３７は、機械学習モデル４１，４２の関数[f1(x), f2(x)]に集合のデータXの各要素のデータxを入力して各出力[y1,y2]を得る。
　Ｓ３４：類似度測定部３８は、各出力データ[y1,y2]の類似度を測定するか、又は各出力データ[y1,y2]の類似度を測定する。
　Ｓ３５：出力部３９は、類似度測定部３８によって測定された類似度に係る結果を出力する。
　以上により、測定装置の処理又は動作の説明が終了する。
　〔実施形態の効果〕
　以上説明したように本実施形態によれば、機械学習モデルを関数とみなし、２つの機械学習モデルへの同じ入力データに対する各出力データの差の合計を類似度として定義し、入力に対する出力を調べる代わりとして代替的に、この類似度を３つの測定手法（入力範囲限定、類似度推定、関数近似）により測定する。これにより、全ての入力に対する出力を調べなくても、所定の機械学習モデルの振る舞いの変化を測定することができ、更に上記３つの測定手法のいずれかを適宜用いることで、より正確に機械学習モデルの振る舞いの変化を測定することができるという効果を奏する。
　〔補足〕
　本発明は上述の実施形態に限定されるものではなく、以下に示すような構成又は処理（動作）であってもよい。
（１）測定装置３はコンピュータとプログラムによっても実現できるが、このプログラムを（非一時的な）記録媒体に記録することも、通信ネットワーク１００を介して提供することも可能である。
（２）上記実施形態では、通信端末５の一例としてノート型パソコンが示されているが、これに限るものではなく、例えば、デスクトップパソコン、タブレット端末、スマートフォン、スマートウォッチ、カーナビゲーション装置、冷蔵庫、電子レンジ等であってもよい。
（３）ＣＰＵ３０１は、単一だけでなく、複数であってもよい。
１　通信システム
３　測定装置
５　通信端末
３１　入力部
３２　測定手法判断部
３３　入力範囲取得部
３４　入力範囲判断部
３５　ドメイン変換部
３６　集合設定部
３７　集合要素入力部
３８　類似度測定部
３９　出力部
４１　機械学習モデル（第１の機械学習モデルの一例）
４２　機械学習モデル（第２の機械学習モデルの一例）

Claims (7)

  1. 　機械学習モデルの振る舞いの変化を測定する測定装置であって、
    　第１の入力範囲のデータ及び第２の入力範囲のデータを入力することが可能な入力部と、
    　前記入力部によって前記第１の入力範囲のデータ及び前記第２の入力範囲のデータが入力された場合には、前記第１の入力範囲のデータ及び前記第２の入力範囲のデータが同一かを判断すると共に、同一であると判断した場合には、前記第１の入力範囲のデータ及び前記第２の入力範囲のデータを同一の所定の入力範囲のデータとする入力範囲判断部と、
    　前記所定の入力範囲のデータそのものを入力用の集合のデータに設定するか、又は前記所定の入力範囲のデータからサンプリングした値を入力用の集合のデータに設定する集合設定部と、
    　第１の機械学習モデルに係る第１の関数及び第２の機械学習モデルに係る第２の関数のそれぞれに前記集合の各要素のデータを入力するか、又は前記第１の機械学習モデルよりも単純な決定木若しくはルールに近似した第１の近似関数及び前記第２の機械学習モデルよりも単純な決定木若しくはルールに近似した第２の近似関数のそれぞれに前記集合の各要素のデータを入力する集合要素入力部と、
    　前記集合要素入力部によって前記第１の関数及び前記第２の関数のそれぞれに前記集合の各要素のデータが入力された場合には、前記第１の関数からの第１の出力データ及び前記第２の関数からの第２の出力データの類似度を測定するか、又は前記集合要素入力部によって前記第１の近似関数及び前記第２の近似関数のそれぞれに前記集合の各要素のデータが入力された場合には、前記第１の近似関数からの第１の出力データ及び前記第２の近似関数からの第２の出力データの類似度を測定する類似度測定部と、
    　前記類似度測定部によって測定された前記類似度に係る結果を出力する出力部と、
    　を有する測定装置。
  2. 　請求項１に記載の測定装置であって、
    　前記入力部によって前記第１の入力範囲のデータ及び前記第２の入力範囲のデータが入力された場合であって、前記第１の入力範囲のデータ及び前記第２の入力範囲のデータが同一でないときには、前記第１の入力範囲のデータ又は前記第２の入力範囲のデータのドメインを変換することで、前記第１の入力範囲及び前記第２の入力範囲を揃えて前記所定の入力範囲のデータとするドメイン変換部を有する、測定装置。
  3. 　請求項１に記載の測定装置であって、
    　前記入力部によって前記第１の入力範囲のデータ及び前記第２の入力範囲のデータが入力されなかった場合には、前記第１の機械学習モデルから所定の第１の入力範囲のデータを取得すると共に、前記第２の機械学習モデルから所定の第２の入力範囲のデータを取得する入力範囲取得部を有し、
    　前記入力範囲判断部は、前記入力範囲取得部によって取得された前記所定の第１の入力範囲のデータ及び前記所定の第２の入力範囲のデータが同一かを判断すると共に、同一であると判断した場合には、前記所定の第１の入力範囲のデータ及び前記所定の第２の入力範囲のデータを同一の所定の入力範囲のデータとする、
    　測定装置。
  4. 　請求項３に記載の測定装置であって、
    　前記所定の第１の入力範囲のデータ及び前記所定の第２の入力範囲のデータが同一でない場合には、前記所定の第１の入力範囲のデータ又は前記所定の第２の入力範囲のデータのドメインを変換することで、前記所定の第１の入力範囲及び前記所定の第２の入力範囲を揃えて前記所定の入力範囲のデータとするドメイン変換部を有する、測定装置。
  5. 　請求項１乃至４のいずれか一項に記載の測定装置と、
    　前記測定装置に前記第１の入力範囲のデータ及び前記第２の入力範囲のデータを送信することが可能な通信端末と、
    　を有する通信システム。
  6. 　機械学習モデルの振る舞いの変化を測定する測定装置が実行する測定方法であって、
    　前記測定装置は、
    　第１の入力範囲のデータ及び第２の入力範囲のデータが入力された場合には、前記第１の入力範囲のデータ及び前記第２の入力範囲のデータが同一かを判断すると共に、同一であると判断した場合には、前記第１の入力範囲のデータ及び前記第２の入力範囲のデータを同一の所定の入力範囲のデータとする入力範囲判断処理と、
    　前記所定の入力範囲のデータそのものを入力用の集合のデータに設定するか、又は前記所定の入力範囲のデータからサンプリングした値を入力用の集合のデータに設定する集合設定処理と、
    　第１の機械学習モデルに係る第１の関数及び第２の機械学習モデルに係る第２の関数のそれぞれに前記集合の各要素のデータを入力するか、又は前記第１の機械学習モデルよりも単純な決定木若しくはルールに近似した第１の近似関数及び前記第２の機械学習モデルよりも単純な決定木若しくはルールに近似した第２の近似関数のそれぞれに前記集合の各要素のデータを入力する集合要素入力処理と、
    　前記集合要素入力処理によって前記第１の関数及び前記第２の関数のそれぞれに前記集合の各要素のデータが入力された場合には、前記第１の関数からの第１の出力データ及び前記第２の関数からの第２の出力データの類似度を測定するか、又は前記集合要素入力処理によって前記第１の近似関数及び前記第２の近似関数のそれぞれに前記集合の各要素のデータが入力された場合には、前記第１の近似関数からの第１の出力データ及び前記第２の近似関数からの第２の出力データの類似度を測定する類似度測定処理と、
    　前記類似度測定処理によって測定された前記類似度に係る結果を出力する出力処理と、
    　を実行する測定方法。
  7. 　コンピュータに、請求項６に記載の方法を実行させるプログラム。
PCT/JP2022/023346 2022-06-09 2022-06-09 測定装置、通信システム、測定方法、及びプログラム WO2023238342A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/023346 WO2023238342A1 (ja) 2022-06-09 2022-06-09 測定装置、通信システム、測定方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/023346 WO2023238342A1 (ja) 2022-06-09 2022-06-09 測定装置、通信システム、測定方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2023238342A1 true WO2023238342A1 (ja) 2023-12-14

Family

ID=89117793

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/023346 WO2023238342A1 (ja) 2022-06-09 2022-06-09 測定装置、通信システム、測定方法、及びプログラム

Country Status (1)

Country Link
WO (1) WO2023238342A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006221310A (ja) * 2005-02-09 2006-08-24 Fuji Electric Holdings Co Ltd 予測方法、予測装置、予測プログラムおよび記録媒体
CN112215270A (zh) * 2020-09-27 2021-01-12 苏州浪潮智能科技有限公司 一种模型的相似度对比方法、系统、设备以及介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006221310A (ja) * 2005-02-09 2006-08-24 Fuji Electric Holdings Co Ltd 予測方法、予測装置、予測プログラムおよび記録媒体
CN112215270A (zh) * 2020-09-27 2021-01-12 苏州浪潮智能科技有限公司 一种模型的相似度对比方法、系统、设备以及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Zest of LIME: Towards Architecture-Independent Model Distances.", 14 February 2023, article JIA HENGRUI, CHEN HONGYU, GUAN JONAS, SHAHIN ALI, PAPERNOT NICOLAS: "A ZEST OF LIME: TOWARDS ARCHITECTURE-INDEPENDENT MODEL DISTANCES", pages: 1 - 17, XP093113115 *

Similar Documents

Publication Publication Date Title
WO2019129060A1 (zh) 自动生成机器学习样本的特征的方法及系统
JP7350878B2 (ja) 画像解析方法、装置、プログラム
JP6954003B2 (ja) データベースのための畳み込みニューラルネットワークモデルの決定装置及び決定方法
WO2022213465A1 (zh) 基于神经网络的图像识别方法、装置、电子设备及介质
JP2022517835A (ja) 画像処理方法並びにその、装置、コンピュータプログラム及び電子機器
CN111524216B (zh) 生成三维人脸数据的方法和装置
US20150026582A1 (en) Graphical representation of classification of workloads
US20200097997A1 (en) Predicting counterfactuals by utilizing balanced nonlinear representations for matching models
WO2023202620A1 (zh) 模型训练及模态信息的预测方法及装置、电子设备、存储介质和计算机程序产品
US20210151128A1 (en) Learning Method, Mixing Ratio Prediction Method, and Prediction Device
US10127694B2 (en) Enhanced triplet embedding and triplet creation for high-dimensional data visualizations
JP2019105871A (ja) 異常候補抽出プログラム、異常候補抽出方法および異常候補抽出装置
WO2020179378A1 (ja) 情報処理システム、情報処理方法および記録媒体
WO2023238342A1 (ja) 測定装置、通信システム、測定方法、及びプログラム
CN113537151A (zh) 图像处理模型的训练方法及装置、图像处理方法及装置
US10631050B2 (en) Determining and correlating visual context on a user device with user behavior using digital content on the user device
JP7396601B2 (ja) 解析装置、解析方法及びプログラム
Marques et al. Gaussian process for radiance functions on the sphere
JP7416071B2 (ja) 判定装置、および判定プログラム
Shiu et al. On ROC analysis with nonbinary reference standard
US11962952B2 (en) Computer implemented method and system for retrieval of multi spectral BRDF parameters
WO2022044233A1 (ja) 推定装置、推定方法及びプログラム
EP4283505A1 (en) Data obscuring for privacy-enhancement
JP7301467B2 (ja) 画像判読支援システムおよび画像判読支援プログラム
CN109684187B (zh) 生成测试传感器数据的方法和设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22945844

Country of ref document: EP

Kind code of ref document: A1