JP7096653B2

JP7096653B2 - 試験測定装置及び測定を提案するための試験測定装置をトレーニングする方法

Info

Publication number: JP7096653B2
Application number: JP2017173708A
Authority: JP
Inventors: イアン・アール・アブシャー; クレイグ・エム・ストロング
Original assignee: Tektronix Inc
Current assignee: Tektronix Inc
Priority date: 2016-09-12
Filing date: 2017-09-11
Publication date: 2022-07-06
Anticipated expiration: 2037-09-11
Also published as: US11181553B2; EP3293528B1; JP2018059912A; US10585121B2; CN107818331A; EP3293528A3; US20180074096A1; EP4109113B1; US20200209282A1; EP4109113A1; EP3293528A2

Description

本発明は、試験測定装置の操作のためのシステム及び方法に関し、特に、試験測定装置について、入力波形の形式を検出し、対応する測定設定を提案するシステム及び方法に関する。

試験測定システムは、信号入力を受けて、これら信号をサンプルし、その結果を波形として表示するよう設計されている。サンプリングの仕方、取得するサンプルの特性、そして、波形を表示する仕方を制御するのに、様々な設定が利用できる。いくつかの高度な試験測定システムには、あり得る制御設定が多数あり、多くのこうした設定は、特定の入力信号形式にのみ有用である。従って、高度なモデルでは、ユーザには、選択肢があり過ぎることがあり、適切な設定の仕方を見つけ出すのが、非常に困難なことがある。

特許第２８７６４９９号公報特許第４６３７９８８号公報

複雑な操作インタフェースに固有の操作性の問題に対処するために、様々なアプローチが採用されてきた。例えば、広く使用される測定を、より簡単にアクセスするために、表示の上位に配置しても良い。しかし、このアプローチは、状況に応じたものではなく、一部のユーザにとって広く使用される測定も、他のユーザには広く使用されない可能性がある。別のアプローチでは、可能性のある測定を表示画面に自動的に追加することを含むが、そのようなアプローチは、受けた波形に合わせられず、過度に一般的な情報又は無関係な情報を含む可能性がある。更に別のアプローチでは、測定された波形のスナップショット・ウィンドウをユーザが選択でき、そのウィンドウに関連する全ての測定が、関連データと無関連データの両方を含めて表示される。このような手法では、入力波形に対して有用な測定オプションを見つけるために、ユーザが依然として無関係な情報を調べなければならない。

本発明の実施形態は、これら及び他の問題に取り組むものである。

本発明の実施形態としては、機械学習を使用して、入力波形や接続されたバスを分類し、この分類に基づいて測定又は他のアクション（動作）を提案するように構成されたオシロスコープがある。オシロスコープは、学習段階を経験し、ここでは、複数の分類子が、既知の分類に沿って特定の波形やバスを表すトーニング・データを受ける。分類子は、トレーニング・データに適用され、既知の分類に照らして、分類子によって出力された分類が正しくないときには修正される。また、信頼しきい値が、各分類子について記憶されても良い。各分類子（classifier）について対応するモデルが生成され、提案された測定やアクションが各モデルに加えられる。更に、対応する分類に有用ではない入力を除去することによって、分類子の入力のセットを減少させるように、各分類子について、特徴選択（feature selection）を利用してもよい。また、分類子の精度を向上させるために、相互検証（Cross validation）を利用しても良い。こうした機械学習は、製造されたオシロスコープ毎に行われても良いし、又は、マスター・オシロスコープに対して行われて、その結果が製造時に複数のオシロスコープにロードされるようにしても良い。実行時には、オシロスコープは入ってくる波形を受け、各分類子を入力波形に適用する。各分類子は、対応する分類について信頼値を返答する。もし単一の分類子が、その分類子の信頼しきい値を超える信頼値を返答する場合、波形は適切に分類されている。その分類はレコメンダに送られ、これは、分類に関連付けられたモデルを取得し、提案された測定又はアクションを実施する。

従って、少なくともいくつかの態様では、試験測定装置は、測定データを受け取るように構成された入力ポートと、入力ポートに結合されたプロセッサとを含む。プロセッサは、複数の分類子を測定データに適用して、測定データの分類を決定するように構成される。プロセッサは、分類に対応するモデルも選択するが、ここでモデルは提案された測定に対応する。更に、プロセッサは、入力ポートを通じて受ける波形を取り込む際に、選択したモデルに対応する提案された測定を使用するように試験測定装置を設定する。

別の態様では、測定を提案するように試験測定装置をトレーニングする方法が開示される。この方法は、入力ポートを介して、波形と対応する既知の分類を含むトレーニング・データを受ける処理を含む。複数の分類子は、プロセッサによって、対応する予測された分類を得るために、トレーニング・データの各波形に各分類子を反復的に適用することによって、トレーニング・データについてトレーニングされる。トレーニングは、予測された波形の分類を既知の分類と比較し、対応する波形に関する既知の分類に一致しない予測された波形分類を出力する各分類子を修正する処理を更に含む。

これら及び他の態様は、以下で更に詳細に説明される。

図１は、試験デバイス（ＤＵＴ）からの複数の入力信号を受けるよう構成されたオシロスコープを含む試験システムの実施形態のブロック図である。図２は、オシロスコープの実施形態のブロック図である。図３は、波形を分類し、対応する測定及び動作（アクション）を提案するために機械学習を利用するよう構成された試験測定システムの実施形態のブロック図である。図４は、分類子及びモデル・データ・オブジェクトを含む機械学習オブジェクトの実施形態を示すブロック図である。図５は、試験測定システムにおいて学習段階を実現する方法の実施形態を説明するブロック図である。図６は、試験測定システムにおいて評価段階を実現する方法の実施形態を説明するブロック図である。

本開示の態様は、様々な変更及び代替形態が可能である。特定の態様は、図面に例として示されており、以下で詳細に説明する。しかしながら、本願に開示された実施例は、説明を明瞭にする目的で提示されており、明示的に限定されない限り、開示された全体的な概念の範囲を本願に記載の特定の実施形態に限定することを意図しない。このように、本開示は、添付の図面及び特許請求の範囲に照らして記載された態様のすべての改変、均等物及び代替物をカバーすることを意図している。

実施形態、態様、実施例などの明細書における言及では、記載された項目が特定の特徴、構造又は特性を含んでも良いことを示す。しかしながら、開示される全ての態様は、その特定の特徴、構造又は特性を含んでも良いし、必ずしも含んでいなくても良い。更に、このような言い回しは、特に明記しない限り、必ずしも同じ態様を指しているとは限らない。更に、特定の態様に関連して特定の特徴、構造又は特性が記載されている場合、そのような特徴、構造又は特性は、そのような特徴が他の開示された態様と共に明示的に記載されていてもいなくても、そのような他の開示された態様と共に利用されても良い。

開示される態様は、場合によっては、ハードウェア、ファームウェア、ソフトウェア又はそれらの任意の組み合わせで実現されてもよい。開示された態様は、また、１つ又は複数のプロセッサによって読み取られ実行できる、１つ又は複数の一時的又は非一時的な機械可読（例えば、コンピュータ可読）記憶媒体によって搬送されるか又は記憶される命令として実現されてもよい。機械可読記憶媒体は、機械によって読み取り可能な形式で情報を記憶又は送信するための任意の記憶デバイス、メカニズム又は他の他の物理的構造（例えば、揮発性又は不揮発性メモリ、媒体ディスク又は他の媒体デバイスなど）として具体化されてもよい。

図１は、例えば、被試験デバイス（ＤＵＴ）１２１からの信号を試験するために、１つ以上の入力信号を測定データ１２５として受けるように構成されたオシロスコープ１１０を含む試験システム１００の実施形態のブロック図である。ＤＵＴ１２１は、電気的又は光学的な信号による伝達を行うよう構成された任意の信号源であっても良い。例えば、ＤＵＴ１２１としては、任意の形態の送信機、又は、１つ以上の信号プローブによって結合された信号送信媒体を含んでも良い。ＤＵＴ１２１は、オシロスコープ１１０によって測定データ１２５として測定できる多種多様な波形を入力信号として送信し、これは、以下で更に十分に説明される。例えば、波形は、正弦波、パルス振幅変調信号、立ち上がりエッジ信号、立ち下がりエッジ信号、ランプ（ramp）信号、直流（ＤＣ）信号、ノイズ信号、ｓｉｎ（ｘ）／ｘ信号（ここでｘは、変数）、ガウス（Gaussian）信号、ローレンツ（Lorentz）信号、指数関数的立ち上がり信号、指数関数的減衰信号、ハーバーサイン（haversine：半正矢）信号、心臓（cardiac）信号などの形で送信されても良い。ＤＵＴ１２１は、オプションで、バス１２３を介してオシロスコープ１１０に接続されても良い。バス１２３は、２点間で信号又はデータを伝送する任意の通信システムである。バス１２３の多くの形式は、特定の通信プロトコルを採用している。例えば、バス１２３は、パラレル・バス、ＳＰＩ（Serial Peripheral Interface ）バス、Ｉ２Ｃ（Inter-Integrated Circuit）バス、ＵＳＢ（Universal Serial Bus）、ＬＩＮ（Local Interconnect Network）バス、ＣＡＮ（Controller Area Network）バス、オーディオ・バス、ＡＲＩＮＣ４２９（Aeronautical Radio Inc. data transfer standard 429）バス、ＲＳ２３２（Radio Sector standard２32）バス、イーサネット・バス、ＦｌｅｘＲａｙバスなど、として構成されても良い。いくつかの態様では、ＤＵＴ１２１が、波形／バスを分類するようオシロスコープ１１０をトレーニング（訓練）するのに利用されても良い。別の態様では、ＤＵＴ１２１は、オシロスコープによって試験されるデバイスであっても良い。

オシロスコープ１１０は、測定データ１２５を受け、測定データ１２５を分類して、どの形式の波形を受けたか又はどの形式のバス１２３がオシロスコープに接続されているかを決定し、上記分類に基づいて、行うべき測定又は動作を提案し、最終的に１つ以上の表示領域を有する表示部１１１上に関連するデータを表示するよう構成された試験測定装置である。オシロスコープ１１０には、測定データ１２５を受けて、信号／データを、調整、サンプリング、分類などのために、ローカルのハードウェアに送るためのポート１１５がある。オシロスコープ１１０には、例えば、交流（ＡＣ）又はＤＣ結合の制御、トリガ・レベル制御、トリガ・レベル・ヒステレシスしきい値及びマージンを変更するためのトリガ・レベル・ヒステレシス制御、ユーザ選択、ユーザ・オーバーライドなどのユーザの入力を受けるための操作部１１３もある。操作部１０３を利用することによって、ユーザは、波形又はバスを分類するようオシロスコープをトレーニング又は利用でき、そして、こうした分類の結果として、表示部１１１上に表示される提案された測定又は動作を受け入れるか又は拒否できる。オシロスコープ１００は、説明を明確にする都合上の例として提示されているが、多数の形式のオシロスコープとして限定していると考えるべきではなく、本開示から逸脱することなく、試験測定システム及び他の試験セットアップを利用しても良い。

図２は、試験システム１００のような試験システムにおいて利用できるオシロスコープ２００の実施形態のブロック図である。例えば、オシロスコープ２００は、オシロスコープ１００とほぼ同様であっても良く、同様にしてＤＵＴ又は他のトレーニング・デバイスと接続されても良い。オシロスコープ２００は、図１～６で夫々示されるような本願で開示される、試験測定システム３００を実現し、機械学習オブジェクト４００を記憶して相互作用し、方法５００、６００や他の方法を実現するのに利用されても良い。オシロスコープ２００には、測定又はトレーニング・データを含む入力信号を受けるよう構成された入力ポート２１５があり、これは、ポート１１５とほぼ同様であっても良く、また、電気的又は光学的なポート、受信機などを含んでも良い。入力ポート２１５としては、チャンネル入力端子、位相基準入力端子、クロック入力端子や任意の他の信号入力端子があっても良い。信号入力ポート２１５は、信号分析回路２１４に結合され、これは、入力ポート２１５を介して受けた入力信号から測定又はトレーニング・データを取得するのに利用できる調整回路、増幅回路、サンプラ、アナログ・デジタル・コンバータ、位相基準回路、クロック回路や任意のコンポーネントを含んでも良い。信号分析回路２１４は、入力ポート２１５からの入力信号を受けて、この信号を調整し、信号サンプリングを実行したり、信号をデジタル化し、その結果を分析のためにメモリ２１７又はプロセッサ２１２へと送る。信号分析回路２１４は、特定用途向け集積回路（ＡＳＩＣ）、デジタル・シグナル・プロセッサ（ＤＳＰ）又は他の処理回路として実現されても良い。信号分析回路２１４は、プロセッサ２１２に結合されており、これは汎用プロセッサとして実現されても良い。プロセッサ２１２は、メモリ２１７からの命令を実行し、命令によって示される任意の方法や関連するステップを実行するように構成される。メモリ２１７は、プロセッサ・キャッシュ、ランダム・アクセス・メモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、ソリッド・ステート・メモリ、ハードディスク・ドライブ又はその他のメモリ形式として実現されても良い。メモリ２１７は、以下で説明するように、コンピュータ・プログラム・プロダクトや他の命令を記憶し、波形サンプルを記憶したり、分類子（classifier）及びモデルなどの他のデータ・オブジェクトを記憶するための非一時的媒体として機能する。メモリ２１７は、そのような記憶された情報を、必要に応じて計算のためにプロセッサ２１２に提供する。

プロセッサ２１２は、機械学習モジュール２１６を含んでも良い。機械学習モジュール２１６は、処理回路や、機械学習モジュール３３３のような機械学習アルゴリズムを動かすように構成された実行命令のセットである。例えば、プロセッサ２１２及び機械学習モジュール２１６は、分類子３３５及び４３５、モデル３３６及び４３６のようなデータ・オブジェクトをトレーニングする学習段階において利用されても良い。こうしたトレーニングは、トレーニング・データ３３１のようなトレーニング・データを利用しても良い。また、機械学習モジュール２１６は、評価やアクション段階において、機械学習アルゴリズムと、レコメンダ（Recommender）３３８のようなレコメンダを動かすように構成されている。このように、機械学習モジュール２１６は、本願で説明する方法５００、６００やその他の方法を実行するよう構成される。いくつかの態様では、機械学習モジュール２１６は、一部が、オシロスコープ２００中のメモリ２１７や他のコンポーネントにおいて実現されても良い。

ユーザ操作部２１３は、少なくともプロセッサ２１２及び信号分析回路２１４には結合される。ユーザ操作部２１３には、表示部２１１上に入力信号を表示するためにユーザが利用できる、ストローブ入力部、利得調整部、トリガ部、表示調整部、パワー調整部又はその他調整部があっても良い。また、ユーザ操作部２１３によって、ユーザが信号を分析するときに行う特定の測定又はアクションを選択できるようにしても良い。そこで、機械学習モジュール２１６は、表示部２１１を用いて、測定やアクションを提案しても良く、また、ユーザ操作部２１３は、ユーザが提案されたアクション又は測定を受け入れるか又は無効にできるように構成されても良い。いくつかの態様では、ユーザ操作部２１３が、全体又は一部が表示部２１１中に統合される。表示部２１１は、デジタル・スクリーン又は陰極線ベースの表示装置でも良い。表示部２１１には、例えば、アイ・ダイアグラム、ヒストグラム、ヒート・マップ（heat maps）、時間領域信号、周波数領域信号などのような、複数の入力信号を表示するために対応する複数の表示領域がある。こうして、オシロスコープ２００は、後述のように、分類子及びモデルをトレーニングして、トレーニング・データを分類し、入力波形やバスに関する分類を決定するように構成されても良い。オシロスコープ２００は、また、後述のように、分類子及びモデルを利用して、測定データを分類し、測定及びアクションを提案するよう構成されても良い。更に、オシロスコープ２００は、ユーザが直接手ほどき又は承認することなしに、提案された測定や提案されたアクションで指示されるように、動作（アクション）を行っても良い。

図３は、機械学習を利用して波形を分類し、対応する測定及びアクションを提案するよう構成される試験測定システム３００の実施形態のブロック図である。試験測定システム３００は、オシロスコープ１００や２００のようなオシロスコープにおいて実現されても良く、ＤＵＴ１２１のようなＤＵＴや他のトレーニング・ハードウェアからの信号を受けるよう構成されても良い。試験測定システム３００には、機械学習モジュール３３３、分類子（分類子s）３３５、レコメンダ３３８及びモデル（モデルs）３３６があり、これらは、汎用プロセッサ、特定用途プロセッサ、メモリ又はこれらの組み合わせ（例えば、プロセッサ２１２、機械学習モジュール２１６及びメモリ２１７）によって実現できる。試験測定システム３００は、後述のように、トレーニング・データ３３１及び捕捉波形測定値／デバイス状態３３７を入力として受け取り、出力３３９を生成する。

機械学習モジュール３３３（例えば、機械学習アルゴリズム）は、タスクを実行し、このタスクのパフォーマンス（できばえ）を測定し、測定値に基づいてタスクのパフォーマンスを変更して経験に基づいてパフォーマンスを改善するように構成される命令のセットである。機械学習モジュール３３３は、分析的学習、人工ニューラル・ネットワーク、誤差逆伝播法（backpropagation）、ブースティング、ベイズ統計学、事例に基づく推論、決定木学習（decision tree learning）、帰納論理プログラミング、ガウス過程回帰（Gaussian process regression）、ＧＭＤＨアルゴリズム（group method of data handling）、カーネル推定、学習のオートマトン、最小メッセージ長（決定木、決定グラフなど）、多重線形部分空間学習（multilinear subspace learning）、単純ベイズ分類子（naive Bayes 分類子）、最大エントロピー分類子（maximum entropy 分類子）、条件付き確率場（conditional random field）、最近傍（nearest neighbor）アルゴリズム、確率近似（ＰＡＣ：Probably Approximately Correct）学習、リップル・ダウン・ルール法（ripple down rules）、記号的（symbolic）機械学習、準記号的（sub-symbolic）機械学習、サポート・ベクトル・マシーン（support vector machines）、最小複雑度マシーン（Minimum Complexity Machine：MCM）、ランダム・フォレスト（random forest）、分類子のアンサンブル（ensemble：連携）、順序分類（ordinal classification）、データ前処理、アンバランス・データセット処理（handling imbalanced datasets）、統計的関係学習（statistical relational learning）やProaftnを含む教師付き学習（supervised learning）アルゴリズムに従って実現されても良い。明確にする都合上、機械学習モジュール３３３は、本願では判断フォレスト（決定フォレスト）と呼ぶランダム・フォレストの観点から説明されるが、複数の教師付き学習アルゴリズムの複数の組み合わせを利用しても良い。更に、ディープ・ラーニング・アルゴリズムも、機械学習モジュール３３３の一部として利用しても良い。

学習段階において、機械学習モジュール３３３は、トレーニング・データ３３１を受ける。トレーニング・データ３３１は、複数波形のセット（グループ）と、対応する既知の複数の分類（classifications）である。機械学習モジュール３３３は、トレーニング・データ３３１を分類する複数の分類子３３５を生成してトレーニングする。分類子３３５は、予め設定されたルールに基づいて入力データの分類を提供するとともに、こうしたルールを、トレーニングを通じて変更するよう構成される任意のコンポーネントである。例えば、分類子３３５が、複数の決定木を用いるランダム決定フォレスト（random 決定フォレスト）を含んでいても良い。各分類子３３５は、正弦波、矩形波、パルス幅変調、立ち上がりエッジ、立ち下がりエッジ、ランプ、ＤＣ、ノイズ、ｓｉｎ（ｘ）／ｘ、ガウス、ローレンツ、指数関数的立ち上がり、指数関数的減衰、ハーバーサイン（半正矢）、心臓、パラレル・バス、ＳＰＩバス、Ｉ２Ｃバス、ＵＳＢ、ＬＩＮバス、ＣＡＮバス、オーディオ・バス、ＡＲＩＮＣ４２９バス、ＲＳ２３２バス、イーサネット・バス、ＦｌｅｘＲａｙバスなどのような特定の分類に対応する。機械学習モジュール３３３は、トレーニング・データ３３１中の波形セット（波形グループ）の夫々を各分類子３３５に適用し、そして、各分類子３３５は結果を返答する。例えば、正弦波と一致するトーニング・データ３３１が各分類子３３５に送られる場合、正弦波の分類子３３５は一致すると返答するべきであるし、他の全ての分類子は一致すると返答すべきではない。そこで、機械学習モジュール３３３は、既知の分類を利用して、間違った結果を返答する分類子のルールを修正する。例えば、ガウス波形が適用されたときに、ＵＳＢの分類子３３５が一致すると返答する（例えば、間違った一致）と、機械学習モジュール３３３は、ＵＳＢの分類子３３５のルールを修正する。

分類子３３５は、トレーニング・データ３３１及び測定データ（例えば、捕捉波形測定値／デバイス状態３３７）を分類するのに、様々な信号特性を利用しても良い。例えば、分類子３３５は、振幅、最大振幅、最小振幅、ピーク・トゥ・ピーク、正のオーバーシュート、負のオーバーシュート、平均振幅、信号実効値（Root Mean Square：RMS）、交流ＲＭＳ、直流コモン・モード、交流コモン・モード（例えば、ピーク・トゥ・ピーク）、信号エリア、差動クロスオーバ、信号トップ（signal top）、信号ベース（signal base）、ビット・ハイ（bit high）、ビット・ロー（bit low）、ビット振幅、伝達／ネットワーク伝達（Ｔ／ｎＴ）比などのような信号振幅特性を利用しても良い。また、分類子３３５は、周期、周波数、データ・レート、正パルス幅、負パルス幅、スキュー、立ち上がり時間、立ち下がり時間、遅延時間、立ち上がりスルー・レート、立ち下がりスルー・レート、位相、正のデューティ・サイクル、負のデューティ・サイクル、バースト幅、セットアップ時間、ホールド時間、レベル外の時間、ハイ時間、ロー時間、Ｎを可変の周期の数としてＮ周期の持続時間、スペクトラム拡散クロック（ＳＳＣ）周波数偏差、ＳＳＣ変調レート、正エッジ数、負エッジ数、パルス数、バーストなどのような時間に関係する特性を利用しても良い。更に、分類子３３５は、タイム・インターバル・エラー（ＴＩＥ）、位相ノイズ、ランダム・ジッタ（ＲＪ）、ＲＪアンチ・エイリアシング（ＲＪ－ａａ）、非周期ジッタ（ＮＰＪ）、特定ビット・エラー・レートにおけるトータル・ジッタ（ＴＪ＠ＢＥＲ）、ディターミニスティック・ジッタ（ＤＪＪ）、ＤＪアンチ・エイリアシング（ＤＪ－ａａ）、周期ジッタ（ＰＪ）、データ依存ジッタ（ＤＤＪ）、デューティ・サイクル歪み（ＤＣＤ）、１０^－２を除く全てのインターバルのジッタ分布（Ｊ２）、１０^－９を除く全てのインターバルのジッタ分布（Ｊ９）、サブレート・ジッタ（ＳＲＪ）、周波数（Ｆ）／２、Ｆ／４、Ｆ／８などのようなジッタに関係する特性を利用しても良い。また、分類子３３５は、電力特性の電力微分（power quality power derivative）、変調、電力高調波、スイッチング損失、リップルなどのような電力に関係する特性を利用しても良い。従って、分類子３３５は、信号の振幅、時間特性、ジッタや電力を調べることによって、トレーニング・データ及び測定データに関する分類を決定するよう構成されている。トレーニング・データ３３１は、生のポイント・データ、波形画像、垂直ヒストグラム、デバイス設定又は情報（例えば、デバイス状態）、ヒート・マップに合成された複数の取り込みデータの集合、波形測定値などを含む様々な形態で、分類子３３５へと送付されて良い。多種多様なトレーニング・データ及び分類形式を分類子３３５で利用できるので、複数の分類子３３５は、特定の波形形式を分類するよう選択された特定の機械学習アルゴリズムを有する複数の機械学習アルゴリズムを利用して良い。言い換えると、いくつかの機械学習アルゴリズムは、第１波形セットを分類するのに適したものであり、これは、他の機械学習アルゴリズムは、第２波形セットを分類するのに適したものであるということである。このように、いくつかの分類子３３５は、同じシステム中の他の分類子３３５と異なる機械学習アルゴリズムを利用しても良い。

モデル３３６は、学習段階において、各分類子３３５（よって、ここでは各分類）に対応して（例えば、機械学習モジュール３３３によって）構築される。いくつかのモデル３３６は、入力ポート（例えば、ポート１１５／２１５）を通じて入ってくる波形に対応して構築される一方で、他のものは、入力ポートに接続されるバス（例えば、バス１２３）に対応している。よって、いくつの分類に関しては、高い決定力のある測定値も、他の分類に関しては有用でないことがある。そこで、不必要な測定値を各分類子３３５から除去し、関連するデータのみから対応するモデル３３６を生成するために、機械学習モジュール３３３は、特徴選択を利用する。従って、各モデル３３６は、対応する分類子３３５が入力として受け入れできる測定値を記述している。更に、各モデル３３６は、入力データが対応する分類を示す場合に、ユーザが行いたい特定の測定又はアクションを含む。

トレーニング・データ３３１を完全に処理すると、機械学習モジュール３３３により、分類子３３５がトレーニングされ、モデル３３６が生成される。機械学習モジュール３３３の状態が生成及びトレーニングされたとなったら、分類子３３５及びモデル３３６が、オシロスコープでの実行時での利用のために、メモリに記憶されても良い。例えば、マスター試験測定装置が、機械学習モジュール３３３、分類子３３５及びモデル３３６をトレーニングするとともに、複数のオシロスコープが製造されたときに、そうしたオシロスコープにロードされるメモリ読み出し可能形式で結果を記憶しても良い。別の態様では、各オシロスコープが、製造過程においてトレーニングされても良い。

エンド・ユーザは、評価段階の一部として実行時に試験測定システム３００を使用する。評価段階の間に、捕捉された波形測定値／デバイス状態３３７は、例えば、波形の場合は入力ポート／信号分析回路を介して、又は、デバイス状態の場合は信号解析回路やメモリを介して、機械学習モジュール３３３が受ける。各分類子３３５は、測定値／状態３３７に適用される。分類子３３５は、夫々一致又は不一致を示す。いくつかの態様では、分類子３３５は、信頼値も返す。評価段階の間に受けた測定値／状態３３７は、事実上あらゆる形式のデータを含むことができ、分類は未知である。従って、もし１つの分類子３３５だけが一致を返答すれば、分類が決定される。分類子３３５が一致を返答しない場合又は複数の分類子３３５が一致を返答する場合、システム３００は入力信号を分類できない。測定値／状態３３７が単一の分類子３３５に一致する場合、分類（例えば、波形又はバス形式）がレコメンダ（recommender）３３９に送られる。

レコメンダ３３９は、特定のアクション（動作）又は測定をユーザに推奨するように構成されたコンポーネントである。レコメンダ３３８は分類を受け、対応するモデル３３６を取得する。レコメンダ３３８は、返答されたモデル３３６に基づいて、分類された波形又はバスに関連する有用なトリガ・ポイント、特定の変換などのような分類をユーザが見つけるに役立つであろう特定の測定を推奨できる。更に、レコメンダ３３８は、バス構成の選択、表示範囲の変更などのような、ユーザが分類に基づいて行いたいと望むかもしれない特定のアクションを推奨できる。加えて、レコメンダ３３８は、特定の分類について最も関連するアクション／測定が最初にリストされるように、提案されたアクション／測定のリストを並べ替えることができる。また、レコメンダ３３８は、特定の分類に適さないアクション／測定を灰色表示（grey out）、つまり、除去しても良い。レコメンダ３３８は、表示部１１１／２１１のような表示装置を含むことがある出力３３９を介して、そのような示唆をユーザに送る。ユーザは、操作部（例えば、操作部１１３／２１３）を利用して、提案を受け入れるか又は拒否できる。いくつかの態様では、レコメンダ３３８は、直接的なユーザの手ほどき、承認又はやりとりを必要とせずに、直ちに、提案されたアクションを行ったり、提案された測定を開始しても良い。

図４は、分類子４３５及びモデル・データ４３６のオブジェクトを含む機械学習オブジェクト４００の実施形態を示すブロック図である。分類子４３５及びモデル４３６は、それぞれ分類子３３５及びモデル３３６と実質的に同様である。分類子４３５は、ランダム・フォレスト機械学習アルゴリズムを実現するように構成された分類子３３５の一例である。分類子４３５は、決定フォレスト４４１を含み、これは、複数の決定木４４３を更に含む。具体的には、決定フォレスト４４１が各分類（例えば、分類子３３５に関して議論されたように）ごとに作成される。トレーニング中に、トーニング・データに基づいて、決定フォレスト４４１において、複数の決定木４４３が成長する。具体的には、決定フォレスト４４１が各分類（例えば、分類子３３５に関して議論されたように）ごとに作成される。トレーニング中に、トーニング・データに基づいて、決定フォレスト４４１において、複数の決定木４４３が成長する。上述のように、トレーニング・データを分類するのに、決定木４４３によって、様々な信号特性が利用され、間違った結果（例えば、不適切な一致又は不適切な不一致）が返答されると、決定木４４３が修正される。いくつかの態様では、１００個の決定木４４３が、決定フォレスト４４１において利用される。トーニング・データ・セットに対する決定木４３の過剰適合（overfitting）の発生を低減するため、ランダム化が利用される。学習段階が完了すると、各分類子４３５に対する信頼しきい値４４５が記憶されても良い。信頼しきい値４４５は、対応する決定フォレスト４４１及び対応する分類子４３５に関して肯定的な分類を生じるように、肯定的な分類を出力する（例えば、一致と返答する）であろう決定フォレスト４４１中の決定木４４３の最小パーセンテージを示す。例えば、実際に一致が見つかったとシステムが確信する前において、８０％の信頼しきい値４４５は、決定木４４３の８０％が一致を示すべきであることを示すのに利用できる。更に、トレーニング・データ・セットに関する決定フォレスト（決定フォレスト）４４１の精度を評価するのに、相互検証（cross-validation）を利用しても良い。トレーニング・データに関する決定フォレストの出力を更に修正するのに相互検証の結果を利用しても良い。

評価段階において、入力ポートを介して測定データを受けて、プロセッサへと送られる。プロセッサは、分類子４３５の夫々を測定データに適用して、その測定データに関する分類を決定する。選択された分類子４３５が適用されると、決定フォレスト４４３は、各決定木４４３を適用し、出力を受ける。分類子４３５は、一致と報告する決定木４４３の出力のパーセンテージを、信頼値４４７として利用する。決定フォレスト４４１によって出力された信頼値４４７が、分類子４３５の信頼しきい値４４５を超えると、決定木４４１、従って分類子４３５は、一致を返答したと見なされる。

図示のように、各分類子４３５は、分類子４３５の分類に関連する示唆された測定４４４及び示唆されたアクション４４６を示すモデル４３６に対応する。信頼しきい値４４５を超える信頼値４４７によって示されるように、分類子４３５が一致を返答する場合、レコメンダは、分類に対応するモデル４３６を選択して、対応する提案された測定４４４や提案されたアクション４４６を取得する。次いで、レコメンダは、入力ポートを通じて受けた波形を捕捉するときに、選択されたモデル４３６に対応する提案された測定４４４や提案されたアクション４４６を利用するように、試験測定装置を設定できる。上述のように、提案された測定４４４や提案されたアクション４４６は、ユーザに直感的なアクションを示唆するために、学習段階中に設定される。提案された測定４４４には、表示上で、分類子３３５に関してリストされた測定をソートする処理、イネーブルする処理、ハイライトする処理や隠す処理を含んでも良い。提案されたアクション４４６は、表示上で、分類子３３５に関してリストされたバスのカテゴリをソートする処理、イネーブルする処理、ハイライトする処理や隠す処理を含んでも良い。

図５は、試験測定システムにおいて学習段階を実施する方法５００の一実施形態を示すブロック図である。方法５００は、機械学習オブジェクト４００のようなデータ構造を有するシステム３００のような試験測定システムを動かすオシロスコープ１００／２００のようなオシロスコープによって使用されてもよい。ブロック５０１では、トレーニング・データ３３１のようなトレーニング・データを、例えば、入力ポートを介して受ける。トレーニング・データは、波形やバスを表し、また、対応する既知の分類も含んでも良い。ブロック５０３では、プロセッサは、機械学習アルゴリズムを使用して、既知の分類に基づいて、トレーニング・データについての分類子をトレーニングする。具体的には、各分類子がトレーニング・データの各波形に反復的に適用されて、対応する予測された波形を得る。予測された波形の分類は、既知の分類と比較される。更に、対応する波形の既知の分類と一致しない予測された波形分類を出力する各分類子は、修正される。予測された波形の分類は、既知の分類と比較される。更に、対応する波形の既知の分類と一致しない予測された波形分類を出力する各分類子は、修正される。反復的に各分類子を試験し、修正することによって、新しい入力データの分類を試みるときに、分類子は徐々に一層正確になる。ブロック５０５では、信頼しきい値が、オプションで、分類子に関して記憶されても良い。例えば、決定フォレストに基づく分類子は、信頼しきい値を利用する一方で、他の学習アルゴリズムでは信頼しきい値を利用せず、代わりに、各分類子に関して、一致（例えば、分類）か又は不一致（分類なし）を返答するのみとしても良い。モデル４３６のようなモデルは、ブロック５０７で生成される。提案された測定や提案されたアクションのセットが、各モデルに加えられる。提案された測定／アクションには、モデルに対応する分類子の分類と測定データが一致すると、試験測定システムによって実行される命令が含まれる。例えば、波形分類に関連する提案された測定は、波形分類に対応する分類子に対して記憶され、バス分類に関連する提案されたアクションは、バス分類に対応する分類子に対して記憶される。ブロック５０９では、トーニング・データの相互検証を用いて、分類子の精度を評価したり、分類子を更に修正する。相互検証は、波形に基づくトレーニング・データ及びバスに基づくトレーニング・データの両方で行っても良い。

図６は、試験測定システムにおいて評価段階を実施する方法６００の一実施形態を示すブロック図である。方法６００は、機械学習オブジェクト４００などのデータ構造を有するシステム３００のような試験測定システムを動かすオシロスコープ１００／２００のようなオシロスコープによって使用されてもよい。具体的には、方法６００は、方法５００のトレーニングが完了した後に、利用しても良い。ブロック６０１では、例えば、入力ポートを介して測定データを受ける。受けた測定データは、測定される波形又はバス入力に対応し、分類のために受信される。ブロック６０２では、各分類子が測定データに適用されて、例えば、測定されたデータ又はバス入力に関して、分類が決定される。上述のように、分類子はそれぞれ、信号の振幅、時間特性、ジッタ、電力（パワー）などを調べることによって分類を返答する。ブロック６０３では、分類の決定をサポートするために、分類子のいくつか又は全てに関して信頼値が生成される。ブロック６０５では、分類子の信頼値が、それら夫々の信頼しきい値と比較され、単一の分類子が、対応する記憶された信頼しきい値を超える信頼値を生成するか否かが決定される。２つの分類子が一致を返答する場合、分類は不明である。分類子が一致を返答しない場合、分類はできない。どちらの場合も、方法６００は、ブロック６０９に進む。こうした場合、分類は、不成功である。この結果は、試験測定システムの表示部上に表示しても良く、アクションは行われない。もし単一の分類子が、対応する信頼しきい値を超える信頼値を返答したら、波形形式又はバス形式の分類は成功であり、すると、方法６００は、ブロック６０７に進む。決定された分類を返答する分類子に対応するモデルが、例えば、レコメンダによって選択される。上述のように、このモデルは、分類子に関して提案される測定やアクションに対応する。レコメンダは、例えば、操作部を介したユーザの承認に基づき、測定された波形をキャプチャするときに、選択されたモデルに対応する提案された測定／アクションを利用するように、試験測定装置を設定することによって、提案された測定やアクションを実施する。レコメンダは、その提案を強調又は非強調表示したり、決定分類に無関係なアクション／測定を表示から除去したり、又は、ユーザからの承認を受けたらアクションを実行するよう試験測定システムを準備するかのどれかによって、表示上でユーザに対して、提案されたアクション／測定を表示しても良い。対応する分類に関して有用ではない入力を取り除くことによって、モデル中の対応する分類セットの入力を減らすことにより、各分類子の分類について、特徴の選択（Feature selection）を利用しても良い。従って、方法５００～６００によって、データ・オブジェクト４００を有する試験測定システム３００を動かすオシロスコープ１００／２００は、オシロスコープが、オシロスコープへの入力信号を分類し、それに応じてユーザに関連する装置の機能を強調又は非強調するようオシロスコープの表示を変更できるようにすることによって、オシロスコープの機能を改善する。よって、本願で開示される装置、システム及び方法は、他のシステムよりも大幅に簡単にわかりやすく、ユーザが関連する機能にアクセスできるようにする。

本発明の実施形態は、特別に作成されたハードウェア、ファームウェア、デジタル・シグナル・プロセッサ又はプログラムされた命令に従って動作するプロセッサを含む特別にプログラムされた汎用コンピュータで動作できる。本願で使用する「コントローラ」又は「プロセッサ」という用語は、マイクロプロセッサ、マイクロコンピュータ、ＡＳＩＣ、及び専用ハードウェア・コントローラを含むことを意図している。本発明の１つ又は複数の態様は、１つ又は複数のコンピュータ（モニタリング・モジュールを含む）又は他のデバイスによって実行される、１つ又は複数のプログラム・モジュールのようなコンピュータ利用可能データ及びコンピュータ実行可能命令で実施できる。概して、プログラム・モジュールは、コンピュータ又は他のデバイス中のプロセッサによって実行されたときに、特定のタスクを実行するか又は特定の抽象データ型を実現するルーチン又はプログラム、オブジェクト、コンポーネント、データ構造などを含む。コンピュータ実行可能な命令は、ハードディスク、光ディスク、リムーバブル記憶媒体、ソリッド・ステート・メモリ、ＲＡＭ等のような非一時的なコンピュータ可読媒体に記憶されてもよい。当業者には理解されるように、複数のプログラム・モジュールの機能は、組み合わせても良いし、必要に応じて、様々な実施形態に分散させても良い。加えて、これら機能は、集積回路、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）などのようなファームウェア又はハードウェア等価物において全体又は部分的に実現されても良い。本発明の１つ以上の態様をより効果的に実現するのに、特定のデータ構造を利用しても良く、こうしたデータ構造は、本願に記載されたコンピュータ実行可能命令及びコンピュータ利用可能データの範囲内と考えられる。

開示された主題の上述のバージョンは、記載されているか又は当業者には明らかであろう多くの利点を有する。そうだとしても、開示された装置、システム又は方法の全てのバージョンにおいて、これらの利点又は特徴の全てが要求されるわけではない。

加えて、この記載の説明では、特定の特徴に言及している。この明細書における開示は、これら特定の特徴の可能な全ての組み合わせを含むと理解されるべきである。例えば、特定の特徴が、特定の態様又は実施形態という状況で開示されている場合、その特徴は、可能な限り、他の態様及び実施形態の状況においても利用できる。

また、本願において、２つ以上の定義されたステップ又は動作を有する方法に言及する場合、定義されたステップ又は動作は、状況がそれらの可能性を排除しない限り、任意の順序で又は同時に実行できる。

説明の都合上、本発明の特定の実施形態を図示し、説明してきたが、本発明の趣旨及び範囲から逸脱することなく様々な変更がなされ得ることが理解できよう。従って、本発明は、添付の特許請求の範囲を除いて限定されるべきではない。

以下の概念は、明確にするために提示されており、本発明の範囲を限定するものと考えるべきではない。

本発明の概念１は、試験測定装置であって、
測定データを受けるよう構成された入力ポートと、
該入力ポートと結合され、
複数の分類子を上記測定データに適用して、上記測定データに関する分類を決定し、
上記分類に対応し、１つ以上の提案される測定に対応するモデルを選択し、
上記入力ポートを通じて受ける波形を捕捉するときに、選択された上記モデルに対応する提案される上記測定を使用するように上記試験測定装置を設定する
よう構成されるプロセッサと
を具えている。

本発明の概念２は、上記概念１の試験測定装置であって、このとき、複数の上記分類子が、少なくとも１つの決定フォレストを含み、ここで、該決定フォレストは、上記分類子の信頼しきい値を上記決定フォレストが出力する信頼値が超える場合に、上記測定データの分類を決定する。

本発明の概念３は、上記概念１の試験測定装置であって、このとき、複数の上記分類子は、特定の波形形式を分類するように選択された特定の機械学習アルゴリズムを有する複数の機械学習アルゴリズムを利用する。

本発明の概念４は、上記概念１の試験測定装置であって、このとき、上記分類子は、信号の振幅、時間特性、ジッタ又は電力を調べることによって、上記測定データの分類を決定する。

本発明の概念５は、上記概念１の試験測定装置であって、このとき、上記分類に対応する上記モデルは、上記入力ポートを通じて入ってくる波形の形式を示す。

本発明の概念６は、上記概念１の試験測定装置であって、このとき、上記分類に対応する上記モデルは、上記入力ポートに接続されるバスを示す。

本発明の概念７は、上記概念１の試験測定装置であって、表示部を更に具え、このとき、上記プロセッサは、更に、ユーザの選択を可能又は不可能にするように表示を変更することによって、選択された上記モデルに対応するアクションを提案するよう構成される。

本発明の概念８は、上記概念１の試験測定装置であって、このとき、上記プロセッサは、直接的なユーザのやりとりなしに、提案されたアクションを開始するよう更に構成される。

本発明の概念９は、測定を提案するよう試験測定装置をトレーニングする方法であって、この方法は、
波形及び対応する既知の分類を含むトレーニング・データを入力ポートを介して受ける処理と、
プロセッサにより、
分類子の夫々を上記トレーニング・データの上記波形の夫々に繰り返し適用して、対応する予測波形分類を取得する処理と、
上記予測波形分類を上記既知の分類と比較する処理と、
対応する上記波形に関する上記既知の分類と一致しない予測波形分類を出力する上記分類子の夫々について修正する処理とにより、上記トレーニング・データについての複数の分類子をトレーニングする処理と
を具えている。

本発明の概念１０は、上記概念９の方法であって、このとき、上記分類子は、決定フォレストを含み、ここで、上記分類子をトレーニングする処理が、上記決定フォレスト中の決定木を成長させる処理を含んでいる。

本発明の概念１１は、上記概念１０の方法であって、上記分類子の夫々に対する信頼しきい値を記憶する処理を更に具え、上記信頼しきい値は、対応する上記分類子に関して肯定的な分類を生じるように、肯定的な分類を出力する上記決定フォレスト中の決定木の最小パーセンテージを示す。

本発明の概念１２は、上記概念９の方法であって、上記分類子を更に修正するために、上記トレーニング・データの相互検証を利用する処理を更に具えている。

本発明の概念１３は、上記概念９の方法であって、対応する上記分類に有用でない入力を除去することによって、対応する分類子のセットの入力を低減するように、上記分類子の夫々についての特徴選択を利用する処理を更に具えている。

本発明の概念１４は、上記概念１３の方法であって、上記モデル夫々に対する１つ以上の提案されたアクションのセットを記憶する処理を更に具え、上記提案されたアクションが、上記モデルに対応する分類子の分類と測定データが一致すると、上記試験測定システムによって実行される命令を含む。

本発明の概念１５は、上記概念９の方法であって、
測定される波形又はバス入力に対応する測定データを受ける処理と、
上記分類子の夫々を上記測定データに適用して、測定された上記波形の分類を決定する処理と、
決定された上記分類を返答する上記分類子に対応するとともに、上記分類子に関する１つ以上の提案される測定に対応するモデルを選択する処理と、
測定される上記波形を捕捉するときに、選択された上記モデルに対応する提案された上記測定を利用するように上記試験測定装置を設定する処理と
を具えている。

本発明の概念１６は、上記概念１５の方法であって、このとき、測定される上記波形に関する上記分類を決定する処理が、上記分類子の夫々に関する信頼値を生成する処理を含み、このとき、単一の分類子が、記憶された信頼しきい値を超える信頼値を生成する場合に、上記分類が決定される。

１００試験システム
１１０オシロスコープ
１１１表示部
１１３操作部
１１５ポート
１２１被試験デバイス（ＤＵＴ）１
１２３バス
１２５測定データ
２００オシロスコープ
２１１表示部
２１２プロセッサ
２１３ユーザ操作部
２１４信号分析回路
２１５入力ポート
２１６機械学習モジュール
２１７メモリ
３００試験測定システム
３３１トレーニング・データ
３３３機械学習モジュール
３３５分類子
３３６モデル
３３７捕捉された波形測定値／デバイス状態
３３８レコメンダ
３３９出力部
４００機械学習オブジェクトs
４３５分類子
４３６モデル
４４１決定フォレスト
４４３決定木
４４４決定フォレスト
４４５信頼しきい値
４４６提案されたアクション
４４７信頼値

Claims

波形及び対応する既知の分類を含むトレーニング・データを受けるよう構成された入力ポートと、
該入力ポートと結合され、
分類子の夫々を上記トレーニング・データの上記波形の夫々に繰り返し適用して、対応する予測波形分類を取得する処理と、
上記予測波形分類を上記既知の分類と比較する処理と、
対応する上記波形に関する上記既知の分類と一致しない予測波形分類を出力する上記分類子の夫々について修正する処理とにより、上記トレーニング・データについて複数の上記分類子をトレーニングする処理と
を実行するよう構成されるプロセッサと
を具える試験測定装置。
上記入力ポートが、波形を含む測定データを受けるよう更に構成され、
上記プロセッサが、
トレーニングされた複数の分類子を上記測定データに適用する処理と、
上記測定データに関する分類を決定する処理と、
上記分類に対応し、１つ以上の提案される測定に対応するモデルを選択する処理と、
上記入力ポートを通じて受ける上記波形を捕捉するときに、選択された上記モデルに対応する提案される上記測定を使用するように上記試験測定装置を設定する処理と
を更に実行するよう構成される請求項１の試験測定装置。
試験測定装置であって、
波形を含む測定データを受けるよう構成された入力ポートと、
該入力ポートと結合され、
トレーニングされた複数の分類子を上記測定データに適用して、トレーニングされた複数の上記分類子夫々の信頼値を生成する処理と、
トレーニングされた複数の上記分類子夫々の上記信頼値が信頼しきい値を超えたか判断する処理と、
上記信頼しきい値を超える上記信頼値を生成した上記分類子が１つだけの場合に、上記信頼しきい値を超える上記信頼値を生成した上記分類子に対応する分類を上記測定データに関する分類として決定する処理と、
上記分類に対応し、１つ以上の提案される測定に対応するモデルを選択する処理と、
上記入力ポートを通じて受ける上記波形を捕捉するときに、選択された上記モデルに対応する提案される上記測定を使用するように上記試験測定装置を設定する処理と
を実行するよう構成されるプロセッサと
を具える試験測定装置。
測定を提案するよう試験測定装置をトレーニングする方法であって、
波形及び対応する既知の分類を含むトレーニング・データを入力ポートを介して受ける処理と、
プロセッサにより、
分類子の夫々を上記トレーニング・データの上記波形の夫々に繰り返し適用して、対応する予測波形分類を取得する処理と、
上記予測波形分類を上記既知の分類と比較する処理と、
対応する上記波形に関する上記既知の分類と一致しない予測波形分類を出力する上記分類子の夫々について修正する処理とにより、上記トレーニング・データについて複数の上記分類子をトレーニングする処理と
を具える試験測定装置をトレーニングする方法。
測定される波形又はバス入力に対応する測定データを受ける処理と、
上記分類子の夫々を上記測定データに適用して、測定された上記波形の分類を決定する処理と、
決定された上記分類を返答する上記分類子に対応するとともに、上記分類子に関する１つ以上の提案される測定に対応するモデルを選択する処理と、
測定される上記波形を捕捉するときに、選択された上記モデルに対応する提案された上記測定を利用するように上記試験測定装置を設定する処理と
を更に具える請求項４の試験測定装置をトレーニングする方法。