JP2023534966A - １つ以上の被試験デバイスをテストするための自動試験装置、方法およびコンピュータプログラムであって、異なるテストアクティビティが被試験デバイスのリソースのサブセットを使用する、自動試験装置、方法およびコンピュータプログラム - Google Patents

Abstract

【解決手段】本発明に係る一実施形態は、１つまたは複数の被試験デバイスをテストするための自動試験装置を含む。自動試験装置は、複数のテストアクティビティを有する１つ以上の、好ましくは複数のテストシナリオを自動的に、動的に生成するように構成される。異なるテストアクティビティは、重複できる被試験デバイスのリソースのサブセットを使用する。自動試験装置は、テストシナリオの複数のテストアクティビティに関連する被試験デバイスのリソースが互いに競合しないように、複数のテストシナリオを生成するように構成される。【選択図】図２

Description

本発明に係る実施形態は、自動試験装置に関するものである。本発明に係る更なる実施形態は、システムレベルテストに関するものである。本発明に係る更なる実施形態は、オンチップシステムテストに関するものである。本発明に係る実施形態は、カバーリング試験に関するものである。

発明の背景
構造テストおよびパラメトリック試験には合格しても、システムレベルテスト（ＳＬＴ）に不合格となるデバイスがあることは、経験則または真実である。これは、通常、構造テスト中の非現実的なテスト条件に起因する。

たとえば、ダイ領域全体のアクティビティパターンは、システムレベルテストと構造テストとでは大きく異なる。構造テストでは、ほとんどの時間をシフト操作に費やし、頻度は非常に低いものの、パターンのアクティビティは非常に高くなる。このため、電源に不自然な負荷がかかり、ダイ上の位置および時間に対して非現実的な電圧プロファイルが発生する。

さらに、テストパターンの自動生成が困難であるため、パワードメインの交差および／またはクロックドメインの交差が構造テストに含まれないことがよくある。このような場合、この部分の故障は感度が上がらず、検出されないことになる。

構造テストは、非現実的なテスト条件であるため、優れた故障検出能力を得るために最適化されている。これに対し、ＳＬＴは、正当なユーザーシナリオのみで構成されている。故障モデルを知らなくても、ＳＬＴの失敗が本当に悪いデバイスであることを特定することは、合意されているか、一般的に信じられている。

たとえば、被試験デバイス（ＤＵＴ）は、電源電圧、周波数、温度など、選択された１つの環境において、考えられる用途とシナリオのごく一部しか実行できないため、ＳＬＴは決して網羅的ではない。

また、故障の感受から検出までの時間が非常に長くなったり、すべての動作の正確な順序が不明であったり、ＳＬＴのシミュレーション時間が長すぎたりするため、ＳＬＴの失敗はデバッグが困難であるという欠点がある。

さらに、ＳＬＴは、実行時間が非常に長く、１０分以上も例外ではない。

さらに、ＳＬＴは、ＤＵＴごとに多数のシステムボードを管理する必要があるため、テストハウスへの導入が困難である。

システムレベルテストでは、想定されるユーザーシナリオ、実行時間、実用性のトレードオフを改善することが求められている。

本発明に係る一実施形態は、１つ以上の被試験デバイス（ＤＵＴ）、たとえばシステムオンチップ（ＳｏＣ）をテストするための自動試験装置を備える。自動試験装置（ＡＴＥ）は、複数のテストアクティビティを有する１つ以上の、好ましくは複数のテストシナリオを自動的に、動的に生成するように構成される。異なるテストアクティビティ、たとえばＡ１、Ａ２、Ａ３は、たとえばＡ１：ＣＰＵ２、Ｍｅｍ３、Ａ２：Ｍｅｍ３、Ａ３：ＭＰＥＧのように、重複し得るＤＵＴリソースのサブセットを使用する。自動試験装置は、テストシナリオの複数のテストアクティビティに関連するＤＵＴのリソースが互いに競合しないように、複数のテストシナリオを生成するように構成される。

オンチップシステムテスト（ＯＣＳＴ）は、ＳＬＴよりも多種多様な正当なテスト条件にＤＵＴをさらすため、ＳＬＴよりも関連性の高い問題を発見することが期待できる。問題は、実際のユースケースをシミュレートしたり、その一部であるようなテストアクティビティの組み合わせの中で発生した場合、関連性があると考えることができる。

ＯＣＳＴは、作業負荷に関連する故障を感作するために、供給電圧および周波数などの外部テスト条件、および／またはテストアクティビティの強度（データ移動速度など）などの内部テスト条件を変化させることができる。一旦故障が感作されると、ＯＣＳＴは、故障動作を検出するための優れた観測性を提供する。

ＯＣＳＴは、ＳＬＴのどの部分集合の不合格を見つけることができるかを示すことで、その有効性を証明することができる。言い換えれば、ＯＣＳＴは、ＳＬＴの故障するサブセットを見つけることができるかもしれない。

理想的には、ＯＣＳＴのテストは、デバッグなどのためにシミュレーション環境で再現できることが望ましい。ＯＣＳＴは、ＤＦＴ（Ｄｅｓｉｇｎ ｆｏｒ Ｔｅｓｔ）、ＤＦＤ（Ｄｅｓｉｇｎ ｆｏｒ Ｄｅｂｕｇ）、スキャンチェーン、ＬＢＩＳＴ（Ｌｏｇｉｃ Ｂｕｉｌｔｉｎ Ｓｅｌｆ Ｔｅｓｔｓ）、ＭＢＩＳＴ（Ｍｅｍｏｒｙ Ｂｕｉｌｔｉｎ Ｓｅｌｆ Ｔｅｓｔｓ）などの既存のオンチップリソースを活用することも必要である。また、マルチコアＤＵＴおよび複数のＡＴＥリソースの間のインタフェースでは、マルチスレッドがサポートされる場合がある。

好ましい一実施形態では、所定のテストシナリオの複数のテストアクティビティは、同時に実行されるように構成される。

ＡＴＥは、テストアクティビティが重複しないＤＵＴリソースを使用するテストシナリオを生成するように構成されているため、テストシナリオのテストアクティビティが互いに競合することはない。すなわち、与えられたテストシナリオのテストアクティビティを同時に実行することによって、テストを高速化できる。

本発明の一般的な考え方は、データブロック移動または内蔵のセルフテストのようなＤＵＴリソースを使用して、テストアクティビティの強度および並行性の組み合わせを変えながら、ＤＵＴ上で多数の単純で現実的な自己チェックテストアクティビティを同時に実行することである。各テストアクティビティは、選択したＩＰブロックまたは関連するＩＰブロックをチェックできるが、電源のロード、クロックツリー、熱結合を通じて他のブロックのテスト条件にも貢献する。

一実施形態によれば、１つ以上のテストアクティビティは、電圧、速度、データ転送のサイズ、データ転送間の時間、総データ転送が分割されるブロックサイズなどの１つ以上のテストパラメータと関連付けられる。テストパラメータは、テストアクティビティの動作を制御する。テストパラメータは、オン／オフ、５Ｖ、５０ＧＢ／ｓなどのそれぞれのテストパラメータ値によって特徴付けられ、および／または、テストパラメータ値の動的生成のためなどに、一つ以上の制約または限界と関連付けられる。

異なるパラメータ値を持つ同じテストアクティビティは、１つ以上のテストシナリオを有するテストシーケンスで実行されてもよい。テストアクティビティは、複数のテストパラメータおよび／または制約に関連付けられることがある。たとえば、テストパラメータ値、すなわち電圧などのテストパラメータ値は、テストアクティビティからテストアクティビティへと変化させることができる。テストアクティビティは、たとえば、ＤＵＴまたはＤＵＴリソースを保護するため、または実際の使用では発生しないシナリオを回避するために、いくつかの制約または制限を有することもある。そのような制約とは、書き込み速度の制限、温度制限、メモリの使用制限などであろう。

一実施形態によれば、テストアクティビティの１つ以上は、低すぎる電圧値および／または速すぎる周波数など、所定の制限外またはチップ仕様外の１つ以上のテストパラメータ値によって特徴づけられる。

所定の制限、またはチップ仕様の外側またはわずかに外側のＤＵＴをテストした結果は、所定の制限またはチップ仕様の内側のＤＵＴの性能と相関があるかもしれない。すなわち、チップ仕様の外側で良好なテスト結果を得たＤＵＴは、チップ仕様の内側でのＤＵＴの良好な性能を示唆する可能性がある。逆に、チップ仕様外のテストが不合格であることは、チップ仕様内のテストが不合格であることの確固たるヒントおよび証明にはならず、弱点を示していると考えられる。

一実施形態によれば、所定のテストシナリオの複数のテストアクティビティは、異なるテストアクティビティからの使用またはテストパラメータ値に関する要件の競合を避けるために、所定のテストシナリオの複数のテストアクティビティに関連する被試験デバイスのリソースが互いに競合しないという制約下で、ランダムで選択される。

テストシナリオ内のテストアクティビティのランダムな混合は、実際の作業環境で発生するアクティビティまたはテストアクティビティ間の未知の相互作用をテストするために必要である。パラメトリックなテストアクティビティのランダム化は、ローカルな作業負荷の多くの組み合わせをカバーするため、多くのシステムレベルの欠陥の原因と考えられる現実的な作業負荷のパターンを多く模倣すできる。

好ましい一実施形態では、自動試験装置は、被試験デバイスのリソース間の競合の発生を防止するために、テストシナリオを生成するための制約ソルバを含んでいる。

各テストアクティビティは、テストパラメータおよびオプションの制約を持つことができる。たとえば、データブロックの書き込みおよび読み出しのテストアクティビティは、初期時間遅延、ブロックサイズ、開始アドレス、サブブロックサイズ、読み出し前の時間遅延のテストパラメータを持つことができる。制約はまた、複数のテストアクティビティからのテストパラメータを含むテストシナリオレベルとすることもできる。

ワークステーション、またはオンチップＯＣＳＴコントローラおよびＯＣＳＴカードなどのコントローラは、制約ソルバを使用して、テストアクティビティからテストシナリオを自動的に生成できる。制約ソルバは、リソース制約に違反することなく、同時に共存できるテストアクティビティをマッチングさせる。

好ましい一実施形態では、テストアクティビティの１つ以上は、被試験デバイス上に配置された応力発生器、たとえばオンチップ応力発生器、たとえば内部および／または外部バスへのトラフィック発生器を起動することを含む。

たとえば、既存または新規のテスト用設計（ＤＦＴ）構造は、検出の可能性を高めるために（またはより可能性の高い故障検出のために）制御された応力を生成し、観測可能性を高めることができる。応力発生器は、内部バスへのトラフィック発生器、および／または、行方不明の外部デバイスからのトラフィックを模倣するための外部入力へのトラフィック発生器で構成される場合がある。応力発生器は、選択されたラップＩＰブロックにおいて、メモリまたはロジック組み込みセルフテスト（ＭＢＩＳＴ、ＬＢＩＳＴ）などの組み込みセルフテスト（ＢＩＳＴ）を実行することを可能にする。さらに、応力発生器は、入力／出力（Ｉ／Ｏ）ルックバックテストを実行することができる。また、応力発生器は、ＩＥＥＥ１５００ラッパーなどのラッパーを使用してＩＰブロックを分離し、そのスキャンチェーンをリニアフィードバックシフトレジスタ（ＬＦＳＲ）に切り替えてもよい。

一実施形態によれば、自動試験装置は、テストシーケンス、たとえば、テストシナリオのテストステップのシーケンスを生成するように構成される。

テストシナリオのテストシーケンスは、可能な現実的な作業負荷の組み合わせを模倣するために、同時進行のテストアクティビティの異なる混合物をテストするために生成される。

一実施形態によれば、テストシーケンスは、同じテストアクティビティを有する２つ以上のテストシナリオを有し、テストシナリオは、少なくとも１つのテストパラメータ値によって異なる。

テストシーケンスでは、テストパラメータがテスト結果に与える影響をテストするために、異なるテストパラメータ値で同じテストアクティビティを持つテストシナリオを構成できる。ＤＵＴのＩＰブロックの１つのテストパラメータ値のみを変更すると、ＤＵＴの別のＩＰブロックにも影響を与えるか、または影響を与える可能性がある。

さらに、同じテストアクティビティで異なるテストパラメータ値でテストシナリオを実施すると、テスト評価プロセスで不良ＩＰブロックを特定するのにさらに役立つことがある。

好ましい一実施形態では、テストシーケンスの複数のテストシナリオは、たとえば、自動試験装置またはコントローラによって、現実的な作業負荷パターンを模倣するために、ランダムで選択および／または順序付けされる。

テストシーケンスのテストシナリオのランダム化は、現実的な作業負荷を作成または生成することにより、テストプロセスをさらに改善する。理想的には、テストシナリオは互いに独立しており、テストシナリオの実行順序を変更しても、ＤＵＴの動作が変化することはないと考えられる。そのシナリオの実行順序の無作為化は、たとえば、以前のテストシナリオからの休止熱または休止データが、現在のテストシナリオに影響を与えることができるかどうかをテストできる。

好ましい一実施形態では、自動試験装置は、テストデータを収集するためにコントローラによって実行されるように構成されたテストシーケンスを生成するように構成されている。

生成されたテストシーケンスは、コントローラまたはＯＣＳＴコントローラによって実行される。コントローラのタスクは、複数のテストアクティビティの実行をトリガし、合格／不合格の結果および／または測定結果などのテスト結果を読み出すことである。コントローラは、どのテストシナリオがどのテストパラメータ値で実行されているかを把握している。これは、エラーが発生した場合のデバッグに必要である。

一実施形態によれば、コントローラは、たとえばオペレーティングシステムとともにオンチッププロセッサ、または、たとえば自動試験装置および被試験デバイスと通信するように構成された自動試験装置の一部としてのコントローラカードである。

コントローラは、ＤＵＴに対してテストシーケンスを実行し、測定データまたは測定結果をＡＴＥに提供する。ＡＴＥ内のオペレーティングシステム付きオンチッププロセッサまたはコントローラカードは、測定値またはテスト結果または収集したデータをＤＵＴからＡＴＥに伝達する。

好ましい一実施形態では、コントローラは、メモリデータおよび／または被試験デバイスのセンサデータ、たとえばオンチップセンサデータなどのＤＵＴデータを読み出すように構成された１つまたは複数のインタフェースを有する。したがって、ＡＴＥは、ＤＵＴデータおよび／またはＤＵＴセンサデータを読み出すようにコントローラを設定するように構成される。

ＤＵＴテストデータおよび／またはＤＵＴセンサデータをインターフェースを介して読み出すことにより、結果データおよび／または結果センサデータを予想される結果データまたは予想されるセンサデータと比較することができ、テストがさらに改善される。コントローラ、ＯＣＳＴコントローラは、好ましくは、オプションのテストオペレーティングシステムと共にオンチッププロセッサであり、オンチップセンサデータを読み出すためにオンチップＩＪＴＡＧにインターフェースする。

一実施形態によれば、コントローラは、被試験デバイス領域上に分布する１つ以上のセンサにインターフェースし、コントローラは、１つ以上のセンサのセンサテストデータを読み出すように構成される。したがって、自動試験装置は、コントローラによって構成される被試験デバイス領域上に分布する１つまたは複数のセンサのセンサテストデータを読み出すようにコントローラを設定するように構成される。

コントローラがオンチッププロセッサであっても、ＤＵＴまたはＡＴＥワークステーションと通信するＯＣＳＴ制御カードであっても、コントローラは、局所的な異常を検出するためにＤＵＴのダイ領域上に分散した追加のセンサで構成されてもよい。適用されるセンサは、たとえば、温度、電流および／または電圧センサを含んでよい。

好ましい一実施形態では、コントローラは、たとえば、収集されたテストデータが１つ以上の所定の閾値を超えるなどの所定の条件を満たす場合に、保存されたシステムデータ、プログラムカウンタまたはメモリレジスタ情報などの追加データを収集するなど、反応するように構成される。したがって、自動試験装置は、収集されたテストデータが所定の条件を満たす場合に反応するようにコントローラを設定するように構成される。

たとえば、コントローラは、電流／最大／最小ピーク温度などの温度値、電流／最大／最小ピーク電圧などの電圧値、および／またはレイザー回路などのタイミング違反に対するオプションの閾値アラーム機能を備えた１つまたは複数のセンサにインターフェースできる。アラーム機能は、たとえば、デバッグを容易にするために、プログラムカウンタ、メモリコントローラレジスタなどの重要なシステムデータの保存をトリガーできる。

一実施形態によれば、コントローラは、収集されたテストデータを自動試験装置に通信するように構成される。

テスト結果データであろうと、測定データであろうと、測定データまたはテスト結果データをトリガーとする任意の収集データであろうと、収集されたテストデータは、コントローラからＡＴＥに提供される。

一実施形態によれば、コントローラまたは自動試験装置は、テストアクティビティ制約に基づき、および／または収集されたテストデータに基づき、テストパラメータ値を動的に作成するように構成されている。

収集されたテストデータは、既存のテストパラメータ値を修正するため、または新しいテストパラメータ値で１つ以上のテストシナリオをテストシーケンスに追加するために、テストプロセス中にＡＴＥまたはコントローラによって分析される場合がある。新しいテストパラメータ値の作成は、所定のテストアクティビティの制約を考慮してもよい。

好ましい一実施形態では、コントローラまたは自動試験装置は、テストシーケンスを最適化するために、たとえば、最小被覆集合問題を解決するために、冗長性を減らし、および／またはテストアクティビティを決して失敗させないために、収集したテストデータを分析するように構成されている。

収集されたテストデータは、テストパラメータ値を動的に作成するためだけでなく、テストシーケンスを最適化するためにも使用される。テストの一般的な考え方は、テスト失敗の発生に影響を与えるテストパラメータを特定することである。冗長なテストアクティビティは、たとえば、単一または少数のテストパラメータのグループの影響を評価するのに役立つ場合がある。最も影響力のあるテストアクティビティおよび／またはテストシナリオを特定した後、テストシナリオの数またはテストアクティビティの数を、テストシーケンスの実行時間を短縮するために最小限のテストアクティビティの集合に減らすことができる。

一実施形態によれば、自動試験装置のコントローラは、テスト時間を最適化するために、所定の制限内のシステムレベルテストの結果の相関関係を、所定の制限内および／または制限外の収集されたテストデータ、たとえばテスト中のデバイスデータ、テスト中のデバイスセンサデータ、センサテストデータと比較または計算するように構成される。

ＤＵＴの所定の制限または仕様の範囲外でテストを実施し、所定の制限内のシステムレベルテストと比較する。所定の制限の外で肯定的なテスト結果を持つテストアクティビティは、所定の制限内のシステムレベルテストに合格することを示すかもしれない。所定の制限内のテスト結果と所定の制限外のテスト結果とを比較することは、テストシナリオおよび／またはテストシナリオ内のテストアクティビティの数を減らすのに役立つ場合がある。また、所定の制限の内側および外側で行われたテストの間に良好な相関関係を提供するために、テストパラメータ値が所定の制限の外側でどの程度まで可能であるかを特定または決定するのに役立つ場合がある。

好ましい一実施形態では、自動試験装置は、人工知能または機械学習ユニットを備え、コントローラまたは自動試験装置は、テストシーケンスを最適化するために、システムレベルテストの結果および／または収集されたテストデータおよび／またはシステムレベルテストと収集されたテストデータとの比較により、人工知能または機械学習ユニットを訓練するように構成される。

さらに、好ましい一実施形態では、訓練された人工知能または機械学習ユニットは、収集されたテストデータに基づいてシステムレベルのテスト結果を予測するように構成される。

人工知能または機械学習ユニットは、収集されたテストデータまたは測定データに基づいてシステムレベルのテスト結果を予測するために、収集されたテストデータとシステムレベルのテスト結果とを比較するために、システムレベルのテスト結果と収集されたセンサデータとを組み合わせたもので訓練されてもよい。

収集されたテストデータに基づくシステムレベルのテスト結果の予測を使用することは、テストシナリオの数および／またはテストシーケンスのテストシナリオにおけるテストアクティビティの数をさらに減少させることができる。

好ましい一実施形態において、コントローラまたは自動試験装置は、テスト結果を得るために、たとえば、被試験欠陥デバイスおよび／または被試験欠陥デバイスリソースを特定するために、および／または被試験デバイスを分類するために、収集したテストデータを分析するように構成されている。

たとえば統計的な方法を用いて収集されたテストデータを分析することは、ＤＵＴの欠陥のあるＩＰブロックを定義すること、またはＤＵＴのＩＰブロックを分類することを有してよい。

好ましい一実施形態では、訓練された人工知能または機械学習ユニットは、テストシーケンスおよび／または得られたテスト結果を最適化するために、収集されたテストデータを分析するように構成されている。

既に訓練された機械学習ユニットは、ＤＵＴのＩＰブロックを分類し、および／またはＤＵＴの欠陥ＩＰブロックを定義するために、テストシーケンスをさらに改善し、および／または統計的方法を改善できる。

本発明によるさらなる実施形態は、それぞれの方法およびそれぞれのコンピュータプログラムを作成する。

しかしながら、この方法は、対応する自動試験装置と同じ考察に基づいていることに留意されたい。さらに、この方法は、自動試験装置に関して本明細書に記載されている特徴、機能および詳細のいずれかによって、個別におよび組み合わせて補足されてよい。

以下、本願による実施形態を添付の図を参照して説明する。
図１は、一実施形態に係る、１つ以上の被試験デバイスをテストするための自動試験装置を含む試験配置構成の概略図である。 図２は、一実施形態に係る、試験配置構成によって実施されるテストプロセスを説明するブロック図である。 図３は、一実施形態に係る、制約ソルバの入力である例示的なテストアクティビティテーブルを示す図である。 図４は、一実施形態に係る、制約ソルバによって使用される例示的なリソース競合テーブルを示す図である。 図５は、一実施形態に係る、制約ソルバが使用する例示的なテストシナリオテーブルを示す図である。 図６は、一実施形態に係る、制約ソルバが使用する例示的なテストステップテーブルを示す図である。 図７は、一実施形態に係る、制約ソルバによって作成された例示的なテストシーケンスを有する空のテスト結果テーブルを示す図である。 図８は、一実施形態に係る、テストステップ数を最適化するために使用されるテストステップごとの不合格テーブルを例示する図である。 図９は、一実施形態に係る、ＳＬＴ試験とＯＣＳＴ試験との比較テーブルである。 図１０は、一実施形態に係る、機械学習モジュールのための訓練データセットとして使用されるＳＬＴの結果と収集されたテストデータとを組み合わせたテーブルを示す図である。 図１１は、一実施形態に係る、収集したテストデータと機械学習モジュールの訓練データセットとして使用されるＯＣＳＴ結果とを組み合わせたテーブルである。

以下では、異なる発明の実施形態および態様について説明する。また、さらなる実施形態は、添付の特許請求の範囲によって定義される。

特許請求の範囲によって定義される任意の実施形態は、本明細書に記載される詳細、特徴および機能性のいずれかによって補足され得ることに留意されたい。また、本明細書に記載された実施形態は、個別に使用でき、また、任意に、特許請求の範囲に含まれる詳細、特徴、および機能性のいずれかによって補完できる。また、本明細書に記載された個々の態様は、個別にまたは組み合わせて使用できることに留意されたい。したがって、上記側面の別のものに詳細を追加することなく、上記個々の側面の各々に詳細を追加できる。また、本開示は、自動試験装置において使用可能な特徴を明示的または暗黙的に記述していることに留意されたい。したがって、本明細書に記載された特徴のいずれもが、自動試験装置の文脈で使用され得る。

さらに、方法に関する本明細書に開示された特徴および機能性は、そのような機能性を実行するように構成された、装置において使用することも可能である。さらに、装置に関して本明細書に開示された任意の特徴および機能性は、対応する方法においても使用できる。言い換えれば、本明細書に開示された方法は、装置に関して説明された特徴および機能性のいずれかによって補完できる。

本発明は、以下に与えられる詳細な説明と、本発明の実施形態の添付図面からより完全に理解されるであろうが、これらは、しかし、本発明を説明された特定の実施形態に限定するために取られるべきものではなく、説明と理解のためだけのものである。

図１に係る実施形態
図１は、１つ以上の被試験デバイス（ＤＵＴ）１２０をテストするための自動試験装置（ＡＴＥ）１１０を含む試験配置構成１００を模式的に示す図である。図１は、複数のＤＵＴリソース１３０ａ～ｅを有する例示的なＤＵＴ１２０をさらに含む。ＤＵＴリソース１３０ａ～ｅは、ＣＰＵ、メモリ、ＭＰＥＧなどの異なるＩＰブロックを備えてよい。

ＡＴＥ１１０は、それぞれが複数のテストアクティビティを有する複数のテストシナリオ１４０ａ～ｃを生成するように構成される。たとえば、テストシナリオ１４０ｃは、テストアクティビティ１５０ａ～ｃを含む。

各テストアクティビティは、１つまたは複数のＤＵＴリソース１３０ａ～ｅを利用するように構成される。たとえば、テストアクティビティ１５０ａは、ＤＵＴリソース１３０ｅを使用するように構成されている。またはたとえば、テストアクティビティ１５０ｂは、ＤＵＴリソース１３０ｃおよび１３０ｄを使用するように構成される。別の例は、ＤＵＴリソース１３０ａおよび１３０ｂを使用するように構成されるテストアクティビティ１５０ｃであってもよい。

自動試験装置１１０は、テストアクティビティ１５０ａ～ｃのような複数のテストアクティビティに関連するＤＵＴリソース１３０ａ～ｅのようなＤＵＴリソースが互いに競合しないように、テストシナリオ１４０ａ～ｃのような複数のテストシナリオを生成するように構成される。たとえばテストアクティビティ１５０ａ～ｃは、テストアクティビティ１５０ａ～ｃのＤＵＴリソース１３０ａ～ｅが競合しないように、テストシナリオ１４０ｃにグループ化され、所定のテストシナリオ１４０ｃのテストアクティビティ１５０ａ～ｃの同時実行を可能にする。

オンチップシステムテスト（ＯＣＳＴ）の一般的な考え方は、ＤＵＴリソース１３０ａ～ｅを使用してＤＵＴ１２０上で多数の単純で現実的なテストアクティビティを同時に実行することであり、同時実行するテストアクティビティの組み合わせおよび／または強度は様々である。各テストアクティビティは、関連するＩＰブロックをチェックできるが、電源のロード、クロックツリーおよび熱結合を通じて他のＩＰブロックのテスト条件に寄与することもできる。テストアクティビティの例は、データブロックの移動、またはメモリ内蔵セルフテスト（ＭＢＩＳＴ）、またはロジック内蔵セルフテスト（ＬＢＩＳＴ）などの内蔵セルフテストの実行で構成され得る。

たとえば、ＯＣＳＴコントローラは、いくつかのＩＰブロックにおいて、ＬＢＩＳＴ、ＭＢＩＳＴなどの構造テストをローカルに実行する。これらのテストアクティビティは明らかに自己チェックであるが、同時に実行される他のテストアクティビティのテスト条件を制御するための応力発生器としても機能する。テストシナリオでは、一部のＩＰコアは構造テストを実行し、他の一部のコアはコードベースのテストアクティビティなどに関与する。

関連するＩＰブロックは、応力を発生させて故障を増感したり、観測性を高めて増感した故障を検出したり、既存の構造にアクセスしてデバッグおよびシステム内テストを行うなど、テスト用設計（ＤＦＴ）構造または技術を適用できる。

テストアクティビティのランダム化またはパラメータ化可能なテストアクティビティは、ローカルな作業負荷の多くの組み合わせをカバーするため、多くのシステムレベルの欠陥の原因と考えられる現実的な作業負荷のパターンを多く模倣できる。既存または新規のテスト用設計（ＤＦＴ）構造は、故障検出の可能性を高めるため（または故障検出の可能性を高めるため）、制御された応力を生成し、観測可能性を高めることができる。

ＤＦＴ構造は、たとえば、オンチップＯＣＳＴコントローラがオンチップＩＪＴＡＧにインターフェースし、オンチップセンサデータを読み出すことで観測性を向上させることができる。

たとえば、レイザー回路などで、電流／最大ピーク／最小ピーク温度および／または電流／最大ピーク／最小ピーク電圧および／またはタイミング違反に対するオプションの閾値アラーム機能を持つセンサを追加すると、観測性をさらに向上させることができる。アラームは、デバッグを容易にするために、プログラムカウンタ、メモリコントローラレジスタなどの重要なシステムステータスの保存または蓄積をトリガーできる。

また、局所的な異常を検出するために、ダイ領域上に配置された追加のセンサによって、観測性をさらに向上させることができる。また、プロセッサを接続してメモリをトレースし、その内容を期待値と比較することも可能である。さらに、プロトコルチェッカー、ＣＲＣ、バストラフィックロガーなどのアサーションチェッカーを追加して、カバレッジを測定し、デバッグを支援できる。

テストアクティビティは、たとえばオンチップシステムテスト（ＯＣＳＴ）コントローラによって制御され、最も効果的なテスト条件を決定し、不合格を特定のテストアクティビティおよびそのテストパラメータ値に帰着させることができるようにする。

図２に係る実施形態
図２は、図１の試験配置構成１００と同様の試験配置構成によって行われるテストプロセスを説明するブロック図２００である。

ブロック図２００は、テストアクティビティテーブル２１０から始まる。テストアクティビティテーブル２１０は、テストアクティビティ２１２の列を含み、各テストアクティビティ２１２は、１つまたは複数のＤＵＴリソース２１４を使用することができる。対応するＤＵＴリソース２１４は、ＤＵＴリソース２１４の欄に提供される。さらに、テストアクティビティ２１２は、別々の列に提供される対応するテストパラメータ２１６および／または制約２１８を有してもよい。制約条件は、テストシナリオレベルであり、複数のテストアクティビティからのテストパラメータを参照できる。

テストアクティビティテーブル２１０は、制約ソルバ２５０に供給される。制約ソルバ２５０は、図２に示すように、ＡＴＥ２２０によって構成されてもよいし、コントローラ２７０によって構成されてもよいし、別個の存在であってもよい。図２の制約ソルバ２５０は、１つの入力と１つの出力を有する。制約ソルバ２５０の入力は、テストアクティビティテーブル２１０から供給される。制約ソルバの出力は、テストシーケンステーブル２６０である。

テストシーケンステーブル２６０は、図１のテストシナリオ１４０ａ～ｃと同様のテストシナリオ２６２を有する。テストシナリオは、１つ以上のテストアクティビティ２１２ａ～ｅを有してよく、各テストアクティビティ２１２ａ～ｅは、テストパラメータ値２１６ａ～ｅかを有してよい。テストシーケンステーブル２６０は、ＡＴＥ２２０またはコントローラ２７０に提供される。

たとえば、第１のシナリオは、テストパラメータＰ１ ２１６ａ、Ｐ２ ２１６ｂを有する第１のテストアクティビティ２１２ａと、テストパラメータＰ３ ２１６ｃ、Ｐ４ ２１６ｄを有するテストアクティビティ２１２ｂとを有してよい。第２のシナリオは、テストパラメータＰ３ ２１６ｃおよびテストパラメータＰ４ ２１６ｄを有する第２のテストアクティビティ２１２ｂを有してよい。第３のシナリオは、テストパラメータＰ３ ２１６ｃおよびＰ５ ２１６ｅを有する第３のテストアクティビティ２１２ｃを有してよい。第４のシナリオは、テストパラメータＰ２ ２１６ｂおよびテストパラメータＰ４ ２６６ｄを有する第４のテストアクティビティ２１２ｄを有してよい。

コントローラ２７０は、テストシーケンステーブル２６０を入力とし、テスト結果テーブル２８０を出力する。テストブロック２７０が提供するテスト結果テーブル２８０は、ＤＵＴ２８２上で実行されるテストシナリオ２６２の１つ以上のテストアクティビティ２１２のテスト結果２８８を有する。テスト結果テーブル２８０は、ＡＴＥ２２０に供給され、および／またはコントローラ２７０に戻される。

ＡＴＥ２２０またはコントローラ２７０は、テスト結果テーブル２８０を入力として受け入れ、改良されたテストシーケンステーブル２６０および／または結果テーブル２９２を出力として提供するようになっている。

改良されたテストシーケンステーブル２６０は、さらに、ＡＴＥ２２０またはコントローラ２７０にフィードバックできる新しいテスト結果テーブル２８０を提供するために、コントローラ２７０の入力として使用されてもよい。

ＡＴＥ２２０またはコントローラ２７０によって提供される結果テーブル２９２は、ＤＵＴリソース２９６の合格／不合格のテスト結果２９８を有する。さらに、および／または代替的に、結果テーブル２９２は、ＤＵＴリソース２９６の分類を有してよい。

テストアクティビティ２１２が必要とする制約２１８、テストパラメータ２１６およびリソース２１４を有するテストアクティビティテーブル２１０は、制約ソルバ２５０に提供される。テストアクティビティテーブル２１０またはテストアクティビティのライブラリは、さらに、コントローラ２７０またはＯＣＳＴコントローラ２７０がテストアクティビティ２１２を活性化または実行するためのコードのプールを有してよい。ライブラリは、どのＤＵＴまたはオンチップおよびＡＴＥリソースが所定のテストアクティビティ２１２によって使用されるかを知ることもできる。

制約ソルバ２５０は、テストアクティビティテーブル２１０からテストシーケンステーブル２６０を作成するように構成される。テストシーケンステーブル２６０は、テストシナリオ２６２を有し、テストシナリオ２６２は、リソース制約２１８に違反することなく共存可能または同時実行可能な１つ以上のテストアクティビティ２１２ａ～ｅを有する。テストシナリオ２６２は、ＯＣＳＴカードまたはオンチップＯＣＳＴコントローラなどの、ワークステーション上および／またはコントローラ２７０上で動作する制約ソルバ２５０によって自動的に生成される。制約は、ＰＳＳでモデル化されてもよい。

制約ソルバ２５０によって提供されるテストシーケンステーブル２６０は、１つ以上のテストパラメータ２１６ａ～ｅに関連する１つ以上のテストアクティビティ２１２ａ～ｄが同時に実行され得るシナリオ２６２を構成する。それぞれのテストパラメータ２１６ａ－ｅを特徴付けるテストパラメータ値は、ランダムに、または極値を強調するように選択される。テストシナリオ２６２の順序は、たとえば、現実の作業負荷をシミュレートするために、ランダムに生成される。

生成されたテストシーケンステーブル２６０は、オンチップＯＣＳＴコントローラなどのコントローラ２７０に提供され、テストシーケンステーブル２６０のテストシナリオ２６２を実行するように構成され、テストデータ２８０を収集するために、オンチップＯＣＳＴコントローラは、テストシーケンステーブル２６０のテストシナリオを実行する。コントローラ２７０は、ＡＴＥと通信するためのインタフェースおよび／またはＤＵＴと通信するためのインタフェースを有してよい。コントローラ２７０は、ＤＵＴテストデータおよび／またはＤＵＴセンサデータを読み出してもよく、および／またはコントローラは、局所的な異常を検出するためにＤＵＴ領域またはダイ領域上にセンサを有してよい。測定値または収集データ２８０は、測定値および／またはセンサ値が特定の事前定義された条件を満たす場合、コントローラ２７０がＤＵＴのメモリ情報またはステータス情報などのさらなる情報を収集するトリガーとなり得る。

コントローラ２７０は、シナリオ２６２のテストアクティビティ２１２の収集されたテストデータ２８０またはテスト結果２８８をＡＴＥ２２０に伝達するように構成される。ＡＴＥ２２０またはコントローラ２７０は、テストプロセスをさらに改善し、および／またはＤＵＴをデバッグもしくは診断するように構成される。

オンチップＯＣＳＴコントローラまたはＯＣＳＴカードなどのコントローラ２７０、またはＡＴＥ２２０は、制約を満たし得るテストシナリオのテストパラメータセットを動的に作成または修正するように構成され、デバッグのために現在のテストパラメータを知ることができるようにしてもよい。テストアクティビティ２１２のためのテストパラメータ値セットを作成する方法は、極値を任意に強調する所望の分布に従うランダム化、たとえば、カバレッジを最大化するための制約ソルバの使用、または、たとえば、少数のテストパラメータの網羅のための入れ子ループを使用することを含む。

テスト環境をさらに改善するために、テスト学習環境が必要な場合がある。広範な特性テストは、多くのＤＵＴが多くのテストステップまたは多くのテストシナリオにさらされる、テスト学習の基礎となるものである。好ましくは、テストパラメータ２１６の大量の組み合わせをカバーするために、すべてのＤＵＴ２８２が同じテストステップまたはテストシナリオにさらされるわけではない。特定のＤＵＴ２８２に対するテストシナリオの偏りを避けるために、テストステップまたはテストシナリオは、ランダムな並べ換え順序で実行される。

ＡＴＥ２２０またはコントローラ２７０は、収集したテスト結果データ２８０およびシステムレベルのテスト結果で訓練させた、機械学習またはＡＩモジュールも使用できる。機械学習モジュールは、収集されたテスト結果データ２８０およびシステムレベルのテスト結果を分析してもよく、収集されたテストデータ２８０の新しいセットに基づいて、システムレベルのテスト結果を予測してもよい。

ＡＩモジュールは、テスト結果からシステムレベルテストの不合格を予測するために、オンチップセンサデータなどの仕様制限のない測定結果データによって、または低すぎる電圧および速すぎる周波数などの仕様制限のないテストパラメータによってさらに訓練されてもよい。仕様範囲外のテストステップおよびテストアクティビティを失敗することは、不良ＤＵＴの証拠にはならない。

しかし、機械学習モジュールおよびモデルは、仕様範囲外または仕様範囲外の測定結果や、仕様範囲外のテストパラメータやテストステップまたはシナリオに関連する特性（関与したテストアクティビティやテストリソースなど）を含むテストステップまたはテストアクティビティ結果からシステムレベルのテスト結果を予測するために構築できる。

このようなモデルは、以前に逃れたＳＬＴの不合格のいくつかを見つける可能性が高いが、ＳＬＴに合格し、他のすべての正当なＯＣＳＴ試験に合格したＤＵＴも不合格とする可能性がある。これらのケースは、テストによる歩留まり損失とみなされ、できればコストモデルに基づいて、追加で見つかったＳＬＴの不合格と慎重に取引される可能性がある。そのようなモデルによって必要とされる追加のテストステップまたはシナリオのみが、生産ステップに含まれてもよい。その他の追加テストステップは、再び削除できる。

ＡＴＥ２２０またはコントローラ２７０は、ＤＵＴをデバッグおよび／または診断するようにさらに構成されてもよい。テスト結果テーブル２８０は、テストシナリオ２６２の同時に実行されたテストアクティビティ２１２の結果２８８を有するため、不良ＤＵＴまたはＤＵＴリソースを識別および／または分類するために、収集したテストデータ２８０のさらなる分析が必要である。

デバッグまたは診断のための一般的な考え方は、ＯＣＳＴの不合格の発生に最も影響を与えるテストパラメータ２１６を特定することである。特定のＩＰブロックにおける特定のアクションを含むテストアクティビティ２１２に関連するテストパラメータ２１６は、デバッグのための情報的なヒントを提供する。

テストステップまたはシナリオと、テストアクティビティ、ＤＵＴリソース、テストパラメータ、テスト結果、および全体的なＯＣＳＴ結果を組み合わせたテーブルによって訓練された機械学習モジュールは、任意で複数のＤＵＴについて、不良ＤＵＴリソースを分類または特定するために使用されてもよい。機械学習モジュールまたは機械学習特徴選択アルゴリズムは、どのテストアクティビティ、テストまたはＤＵＴリソースおよびテスト結果が、ＯＣＳＴの不合格の発生に寄与するＯＣＳＴ結果を説明するために重要であるかを特定してもよい。

つまり、コントローラ２７０は、テストプロセスを制御している。コントローラ、すなわちＯＣＳＴコントローラは、好ましくは、オプションのテストオペレーティングシステムとともにオンチッププロセッサであるが、ＤＵＴまたはＡＴＥワークステーションと通信するＯＣＳＴカードであってもよい。

ＯＣＳＴコントローラのタスクは、たとえば、複数のテストアクティビティの実行をトリガし、その合格／不合格の結果および／または測定結果を読み出すことである。テストアクティビティは、オプションの応力発生および／またはオプションの故障検出の組み合わせを含むことができる。

以下に、テストアクティビティの例を示す。
・ ＡＴＥは、ＤＵＴの外部テスト条件、たとえばＤＵＴの電源電圧および周波数を設定し、すなわちＯＣＳＴコントローラは、ＡＴＥリソースを制御できる。
・ ＡＴＥは、測定（たとえば電源電流測定）を実行する。
・ ＩＰコア間でデータブロックを移動し、移動前および移動後の内容をチェックする。
・ オンチップＣＰＵのメモリテストを実行する。
・ メモリのセルフテストを実行する。
・ 画像の圧縮および伸張を行い、元の画像と伸張後の画像の差分を確認する。（応力＆チェック）
・ Ｉ／Ｏループバックテストを実施する。
・ ＤＦＴ技術を使用して、応力生成を適用する。
・ ＤＦＴ技術を使用して、観測可能な構造体をアクティブ化して読み出す。

コントローラは、どのテストシナリオがどのテスト（アクティビティ）パラメータで実行されているかを常に把握しているため、エラー発生時のデバッグに必要な情報を得ることができる。

さらに、コントローラまたはＯＣＳＴコントローラは、制約条件に基づいてテストアクティビティパラメータを動的に作成または修正でき、および／または、事前に計算されたリストからそれらを作業またはインポートすることができる。また、コントローラ、または、ＯＣＳＴコントローラコードを実行するプロセッサは、テストアクティビティを生成することもできる。

図３に係るテストアクティビティテーブルの例
図３は、一実施形態に係る例示的なテストアクティビティテーブル３００を示す図である。テストアクティビティテーブル３００は、図２のテストアクティビティテーブル２１０と類似しているか、またはその一例である。

テストアクティビティテーブル３００は、テストアクティビティ、リソース、テストパラメータ、および可能な結果の列を含む。テストアクティビティテーブルは、必要なリソース、調整可能なパラメータ、および可能な結果または結果を有するＤＵＴ上で実行されるすべての可能なテストをリストアップするように構成される。

テストアクティビティテーブル３００は、テストシーケンスを作成するための入力として、図２の制約ソルバ２５０のような制約ソルバによって使用され得る。テストシーケンスでは、どのテストアクティビティがどのテストパラメータでどのＤＵＴに対してどのような順序で実行されるかを定義できる。

テストアクティビティテーブル３００は、一般的なテストアクティビティを有してよいし、ＤＵＴ固有のテストアクティビティを有してよい。テストアクティビティのいくつかの例は、例示的なテストアクティビティテーブル３００によって含まれる。

たとえば、第１のテストアクティビティＡ１は、処理ユニット２（ＣＰＵ２）がメモリ３（ＭＥＭ３）にデータを書き込み、ＭＥＭ３の内容をチェックすることを含んでよい。アクティビティＡ１は、リソースＲ１：ＣＰＵ２、Ｒ２：ＭＥＭ３、Ｒ３：コア供給用のＡＴＥ ＤＰＳを必要とする。テストアクティビティＡ１の調整可能なテストパラメータは、Ｐ１：帯域幅、Ｐ２：ＤＰＳ電圧である。結果は、不合格／合格値であるｒ１および電流値であるｒ２の２つの値を含んでよい。

たとえば、テストアクティビティＡ２は、リソースＲ２、つまりＭＥＭ３を必要とする、ＭＥＭ３のメモリ内蔵セルフテスト（ＭＢＩＳＴ）であり、調整可能なパラメータはなく、結果として合格／不合格の値が得られる。

たとえば、テストアクティビティＡ３は、ＭＰＥＧセルフテストであり、テストパラメータＰ３として調整可能なブロックサイズを有するＭＰＥＧリソースを必要とし、結果は合格／不合格の値である。

図４に係るリソース競合テーブル
図４は、図２の制約ソルバ２５０によって使用および／または作成される可能性のあるリソース競合テーブル４００を示す図である。リソース競合テーブル４００は、テストアクティビティ列と、ＤＵＴの各リソースに対する列とを有する。テーブル４００の各テストアクティビティは、１つ以上のＤＵＴテストリソースを使用し、これは、それぞれのリソース欄の「Ｘ」によって表される。

図２の制約ソルバ２５０のような制約ソルバは、テストシーケンスを作成するために、図３のテーブル３００のようなテストアクティビティテーブルを入力として取り得る。テストシーケンスを作成するステップは、リソース競合テーブル４００のような、リソース競合テーブルを作成することである。リソース競合テーブル４００は、どのテストアクティビティが同じＤＵＴリソースを使用しているか、したがって、どのテストアクティビティが同時に実行できないかを示す。

たとえば、リソース競合テーブル４００は、テストアクティビティテーブル３００のテストアクティビティの競合するリソースを示している。たとえば、テストアクティビティＡ１は、リソースＲ１、Ｒ２、Ｒ３を使用し、Ｒ４を使用しない。たとえば、テストアクティビティＡ２は、リソースとしてＲ２のみを使用する。たとえば、テストアクティビティＡ３は、ＤＵＴリソースＲ４を使用する。

リソース競合テーブル４００が示すように、テストアクティビティＡ１およびテストアクティビティＡ２は、どちらもテストリソースＲ２を必要とするため、競合するテストアクティビティとなる。テストアクティビティＡ１およびＡ２は、両方ともテストリソースＲ２を必要とするので、同時に実行することができない。つまり、テストアクティビティＡ１およびテストアクティビティＡ２は同時に実行できない。リソースの競合がないテストアクティビティは、テストシナリオに組み合わせることができる。

図５に係るテストシナリオテーブル
図５は、図２の制約ソルバ２５０によって使用または作成される可能性のあるテストシナリオテーブル５００を示す。テストシナリオテーブル５００は、テストシナリオ列と、提供される各テストアクティビティの列とを有する。テストシナリオテーブル５００は、可能な全てのテストシナリオを有する。テストシナリオの１つ以上のテストアクティビティは、同時に実行される。

テストシナリオテーブル５００は、図３のテストアクティビティテーブル３００のテストアクティビティＡ１、Ａ２、Ａ３のように、テストアクティビティから作成される可能性のある全てのテストシナリオを示している。テストシナリオのテストアクティビティは、非競合的であることが要求される。競合するテストアクティビティは、図４のリソース競合テーブル４００のようなリソース競合テーブルで示される。リソース競合テーブルから取り出した、競合するテストアクティビティを持つテストシナリオを、可能なすべてのテストシナリオから除外すると、テストシナリオテーブル５００のような、競合しないテストアクティビティを持つテストシナリオテーブルになる。

たとえば、テストシナリオテーブル５００は、テストシナリオ欄と、Ａ１、Ａ２、Ａ３といったテストアクティビティ毎の欄とを有する。図４のリソース競合テーブル４００によれば、Ａ１およびＡ２は同じリソースＲ２を使用しているので、テストアクティビティＡ１およびテストアクティビティＡ２は同時には実行できず、同じテストシナリオにはなり得ない。

たとえば、図３の例示的なテストアクティビティのテストシナリオは、テストアクティビティＡ１を有するテストシナリオＳ１、テストアクティビティＡ２を有するテストシナリオＳ２、テストアクティビティＡ３を有するテストシナリオＳ３、テストアクティビティＡ１、Ａ３を同時に有するテストシナリオＳ４、およびテストアクティビティＡ２、Ａ３を同時に有するテストシナリオＳ５である。リソースの制約上、どのテストシナリオもテストアクティビティＡ１およびＡ２を同時に実行することはない。

テストアクティビティを本当に同時進行させるかどうかは、テストパラメータの設定やその他の未知の要因に依存することがある。テストシーケンスまたはテストスイートは、テストアクティビティに指定されたテストパラメータ値で所定のテストシナリオを実行する複数のテストステップで構成される。

図６に係るテストステップテーブル
図６は、図２の制約ソルバ２５０が使用または作成することができるテストステップテーブル６００を示す図である。テストステップテーブルは、テストステップ、テストシナリオ、テストアクティビティ、およびテストアクティビティに対応するテストパラメータの列を有する。

テストステップテーブル６００のテストステップ欄は、異なるテストステップを識別するために、実行番号を有する。テストシナリオ欄は、少なくとも１回可能な全てのテストシナリオを有してよい。テストシナリオは、複数の異なるテストパラメータで複数回テストされてもよい。図５のテストシナリオテーブル５００と同様に、テストシナリオのテストアクティビティは、対応するテストアクティビティ列の「Ｘ」によって表される。

テストシナリオがテストアクティビティを有する場合、対応するテストパラメータ列は、テストパラメータ値を有する。テストパラメータ値は、好ましくはランダムで生成され、所定の分布に任意に従い、および／または任意に、ランダムで生成されたテストパラメータ値よりも問題を誘発する傾向がある極値に対して一定の割合を集中させた状態で、生成される。

テストステップテーブル６００から、ランダムでマッピングされたテストシーケンスよりも多くの問題を誘発するために、テストステップテーブル６００のテストステップをランダムでまたは所定の分布に従ってＤＵＴにマッピングし、図２のテストシーケンステーブル２６０のようなテストシーケンスを生成する。

テストシナリオ欄は、テストシナリオテーブル５００からのテストシナリオＳ１～Ｓ５など、可能なすべてのテストシナリオを有し、テストシナリオは、いくつかの異なるテストパラメータでテストされてよい。

たとえば、最初のテストステップは、テストパラメータＰ１、帯域幅１０ＧＢ／Ｓ、テストパラメータＰ２、ＤＰＳ電圧０．９Ｖに対応するテストアクティビティＡ１を有する最初のテストシナリオＳ１であってよい。たとえば、テストステップ２は、異なるテストパラメータＰ１、帯域幅２０ＧＢ／Ｓ、ＤＰＳ電圧０．８６ＶのＰ２、同じテストシナリオＳ１を含む。

たとえば、テストステップ３は、調整可能なテストパラメータを一切使用しないテストアクティビティＡ２を含むテストシナリオＳ２を有してよい。

たとえば、テストステップ４は、テストパラメータＰ３が１２８ｋＢのブロックサイズであるテストアクティビティＡ３を有するテストシナリオＳ３を含む。たとえば、テストステップ５は、テストパラメータＰ３が１ＭＢのブロックサイズである同じシナリオＳ３を含む。

たとえば、テストステップ６は、テストアクティビティＡ１およびＡ３によるテストシナリオＳ４を含み、テストパラメータは、Ｐ１を帯域幅５０ＧＢ／Ｓ、Ｐ２をＤＰＳ電圧１．０４Ｖ、テストパラメータＰ３をブロックサイズ６ＭＢとする。たとえば、ステップ７は、同じシナリオＳ４で、テストパラメータＰ３、帯域幅３ＧＢ／ＳのＰ２、ＤＰＳ電圧０．９７Ｖおよびブロックサイズ５００ＫＢのＰ３から構成される。たとえば、ステップ８は、テストパラメータＰ１を２７ＧＢ／Ｓの帯域幅、Ｐ２を０．８８ＶのＤＰＳ電圧、Ｐ３を２１ＭＢのブロックサイズとして、同じシナリオＳ４から構成されている。

たとえば、テストステップ９は、テストパラメータなしのテストアクティビティＡ２と、ブロックサイズ７ＭＢのテストパラメータＰ３のテストアクティビティＡ３とのＳ５のテストシナリオを有する。たとえば、テストステップ１０は、７８０ＫＢのブロックサイズのＰ３のテストパラメータを持つ、Ｓ５と同じテストシナリオを有する。たとえば、ステップ１１は、Ｓ５と同じテストシナリオで、テストパラメータＰ３を１３ＭＢのブロックサイズとしたものである。

図７に係るテスト結果テーブル
図７は、図２のテストシーケンステーブル２６０のテストアクティビティを実施した後に、コントローラによって記入される可能性のある空のテスト結果テーブル７００を示す。テスト結果テーブルは、ＤＵＴｓ、テストステップ、テストアクティビティのテスト結果、および総合テスト結果欄を有する。

テスト結果テーブル７００は、図２のテストシーケンステーブル２６０のようなテストシーケンスを有する。テスト結果テーブル７００の最初の２列、ＤＵＴ列およびテストステップ列は、どのテストステップがどのＤＵＴに対して行われるかを定義している。テストシーケンスは、図６のテストステップテーブル６００から、ランダムでマッピングされたテストシーケンスよりも多くの問題を誘発するために、テストステップテーブル６００のテストステップをＤＵＴにランダムに、または所定の分布に従って、および／または所定の条件を満たすようにマッピングすることによって、生成される。

例示的なテストシーケンスは、たとえば、テストステップ６、１１、７、１および８によってテストされるＤＵＴ１と、５、２、１０、４および９のテストステップによってテストされるＤＵＴ２とを有してよい。

オンチップコントローラおよびコントローラカードなどのコントローラは、テストシーケンスに従ってテストを実行する。列ｒ１（＃不合格）、ｒ２（電流）、ｒ３（＃不合格）、ｒ４（ｐ／ｆ）で表されるテストアクティビティの結果は、コントローラによって収集される。全体的なＯＣＳＴの結果は、テストアクティビティの結果の全てに基づいてもよいし、テストアクティビティの結果のサブセットに基づいてもよい。追加的または代替的に、ＯＣＳＴ結果は、テストアクティビティ結果またはテストアクティビティ結果の一部に基づくＤＵＴの分類を有してよい。

この例では、全体のＯＣＳＴ結果は結果ｒ１、ｒ３、ｒ４から計算され、つまり、測定結果ｒ２は、この例では仕様限界を持たないので、オーバーテスト結果には寄与しない。

図８に係るテストステップ毎の不合格テーブル
図８は、ＤＵＴ列およびテストステップ毎の列を有するテストステップ毎の不合格テーブル８００を示す。ＤＵＴ欄には、テストされたＤＵＴが記載されている。テストされたＤＵＴの行は、ＤＵＴが所定のテストステップに合格した場合、所定のテストステップ列の文字「Ｐ」を有し、ＤＵＴが所定のテストステップで不合格だった場合、背景が強調された文字「Ｆ」である。

コントローラまたはＡＴＥは、テストステップ毎の不合格テーブル８００を、テストステップの数を最適化する、好ましくは減らすために使用するように構成される。たとえば、決して不合格にならないテストおよび／または冗長なテストステップの数は、低減され得る。コントローラまたはＡＴＥのタスクは、既知の解を有する最小被覆集合問題として知られる、テストステップの最小集合を選択することを含んでいてもよい。

たとえば、テストステップ毎の不合格テーブル８００の場合、ＤＵＴ１～４の４つのＤＵＴのテスト結果を有してよい。たとえば、ＤＵＴ１は、テストステップ６を除く全てのテストステップに合格してよい。たとえば、ＤＵＴ２は、テストステップ２およびテストステップ４を除く全てのテストステップに合格してよい。たとえば、ＤＵＴ３は、テストステップ１および６を除くすべてのテストステップに合格してもよい。たとえば、ＤＵＴ４は、テストステップ８を除くすべてのテストステップに合格してよい。

たとえば、コントローラまたはＡＴＥがテストステップ毎の不合格テーブル８００を分析すると、コントローラは、テストステップ３、５および７は決して不合格にならず、したがって、製造テストから削除することができるという結論に達することができる。さらに、テストステップ４は、テストステップ２に対して冗長であり、また、削除されてもよい。

図９に係るＯＣＳＴとＳＬＴとの比較
図９は、ＯＣＳＴテスト結果とＳＬＴテスト結果との例示的な比較テーブル９００を示す図である。例示的な比較テーブル９００は、同じセットのＤＵＴをＯＣＳＴおよびＳＬＴの両方のテスト方法でテストするときに生じ得る差異を示す。

この例では、９９００個のデバイスがＯＣＳＴとＳＬＴの両方のテスト方法に合格し、７０個が不合格となった。ＯＣＳＴ試験に不合格でＳＬＴ試験に合格したデバイスまたはＤＵＴは２５個であったが、ＯＣＳＴ試験に合格でＳＬＴ試験に不合格だったＤＵＴは５個だけであった。

つまり、上記の例では、ＯＣＳＴはＳＬＴで不合格になる５個のデバイスを見逃すが、ＳＬＴが発見できない２５個のＤＵＴに問題を発見する。これは、すべてのテストステップが現実的なシナリオを現実的なテストパラメータ値で記述すると仮定すると、良いバランスと言える。

図１０に係るテスト結果およびＳＬＴ結果を組み合わせた訓練テーブル
図１０は、収集したテストデータおよびＳＬＴの結果を組み合わせた訓練テーブル１０００を示す図である。訓練テーブル１０００は、機械学習またはＡＩモジュールのための訓練テーブルまたは訓練データセットとして使用されるように構成される。訓練テーブル１０００は、対応するＳＬＴ結果を有するＤＵＴに対して実施されたテストステップのすべてのテストアクティビティ、テストリソース、およびテスト結果を有してよい。訓練テーブル１０００は、複数のＤＵＴに対して実施された複数のテストステップを有してよい。

訓練テーブル１０００は、ＳＬＴテストがＤＵＴの仕様内で実施された、ＤＵＴの仕様外、または若干の仕様外において収集されたテストデータとＳＬＴ結果とを組み合わせて構成されてもよい。たとえば、この場合、ＯＣＳＴの結果が不合格であることはＤＵＴが不合格であることの強い印とはみなされないが、仕様範囲外のＯＣＳＴ試験に合格したことは、良好なＤＵＴの強い印とみなされ、ＤＵＴを高品質のＤＵＴとして分類する結果になり得る。

ＡＴＥまたはコントローラは、訓練テーブル１０００によって訓練され、ＤＵＴに対して新たに実施されたテストステップからＳＬＴ結果を予測するように構成され得る、機械学習ユニットまたはＡＩモジュールを含んでよい。機械学習ユニットは、テストプロセスを改善するためにも使用されてもよい。

図１１に係るテスト結果付き学習テーブル
図１１は、収集したテストデータおよびＯＣＳＴの総合結果を有する訓練テーブル１１００を示す図である。訓練テーブル１１００は、機械学習またはＡＩモジュールのための訓練テーブルまたは訓練データセットとして使用されるように構成される。訓練テーブル１１００は、ＤＵＴに対して実施されたテストステップのテストアクティビティ、テストリソースおよびテスト結果を、対応する全体的なＯＣＳＴの結果と一緒に構成できる。

テーブル１１００は、デバッグや診断の目的で使用される。デバッグの一般的な考え方は、ＯＣＳＴフェイルの発生に最も影響を与えるテストパラメータを特定することである。ＡＴＥまたはコントローラは、頻繁にフェイルするＤＵＴリソースまたはＤＵＴを特定および／または分類するために、ＡＩまたは機械学習ユニットを含んでよい。効率上の理由から、テーブルは故障するデバイスに限定され得る。頻繁に発生する故障メカニズムを特定するために、多くのＤＵＴにわたって分析を行うことができる。

機械学習ユニットまたはモジュールは、故障したＤＵＴ、またはＤＵＴリソースを予測するために、テスト結果テーブル１１００によって訓練されてよい。

実装の選択肢
いくつかの態様を装置の文脈で説明してきたが、これらの態様は、ブロックまたは装置が方法ステップまたは方法ステップの特徴に対応する、対応する方法の説明も表していることは明らかである。同様に、方法ステップの文脈で説明された側面は、対応するブロックまたは項目または対応する装置の特徴の説明も表す。

特定の実装要件に応じて、本発明の実施形態は、ハードウェアで実装することも、ソフトウェアで実装することも可能である。実装は、デジタル記憶媒体、たとえばフロッピー（登録商標）ディスク、ＤＶＤ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭまたはフラッシュメモリであって、その上に格納された電子的に読み取り可能な制御信号を有し、それぞれの方法が実行されるようにプログラム可能なコンピュータシステムと協力する（または協力できる）ものを使用して実行することができる。

本発明に係るいくつかの実施形態は、電子的に読み取り可能な制御信号を有するデータキャリアであって、本明細書に記載の方法の１つが実行されるように、プログラム可能なコンピュータシステムと協働することが可能であるデータキャリアを備える。

一般に、本発明に係る実施形態は、プログラムコードを有するコンピュータプログラム製品として実装でき、そのプログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されるときに、方法の１つを実行するために動作可能である。プログラムコードは、たとえば、機械読み取り可能な担体上に格納できる。

他の実施形態は、本明細書に記載の方法の１つを実行するためのコンピュータプログラムが、機械可読担体に格納されてなる。

すなわち、本発明の方法の一実施形態は、したがって、コンピュータプログラムがコンピュータ上で実行される場合に、本明細書に記載の方法の１つを実行するためのプログラムコードを有するコンピュータプログラムである。

したがって、本発明の方法のさらなる実施形態は、本明細書に記載の方法の１つを実行するためのコンピュータプログラムをその上に記録してなるデータキャリア（またはデジタル記憶媒体、またはコンピュータ読み取り可能な媒体）である。データキャリア、デジタル記憶媒体、または記録媒体は、典型的には、有形および／または非一時的である。

したがって、本発明の方法のさらなる実施形態は、本明細書に記載の方法の１つを実行するためのコンピュータプログラムを表すデータストリームまたは信号のシーケンスである。データストリームまたは信号のシーケンスは、たとえば、データ通信接続、たとえばインターネットを介して転送されるように構成されてよい。

さらなる実施形態は、本明細書に記載された方法の１つを実行するように構成されたまたは適合された、たとえばコンピュータ、またはプログラマブルロジックデバイスなどの処理手段を含む。

さらなる実施形態は、本明細書に記載された方法の１つを実行するためのコンピュータプログラムをその上にインストールしたコンピュータを備える。

本発明によるさらなる実施形態は、本明細書に記載の方法の１つを実行するためのコンピュータプログラムを受信機に（たとえば、電子的または光学的に）転送するように構成された装置またはシステムである。受信機は、たとえば、コンピュータ、モバイルデバイス、メモリデバイスなどとすることができる。装置またはシステムは、たとえば、コンピュータプログラムを受信機に転送するためのファイルサーバを含んでよい。

いくつかの実施形態では、プログラマブルロジックデバイス（たとえば、フィールドプログラマブルゲートアレイ）を使用して、本明細書に記載の方法の機能性の一部または全部を実行することが可能である。いくつかの実施形態では、フィールドプログラマブルゲートアレイは、本明細書に記載される方法の１つを実行するためにマイクロプロセッサと協働できる。一般に、本方法は、任意のハードウェア装置によって実行されることが好ましい。

本明細書に記載された装置は、ハードウェア装置を用いて、またはコンピュータを用いて、あるいはハードウェア装置およびコンピュータの組合せを用いて実装できる。

本明細書に記載の装置、または本明細書に記載の装置の任意の構成要素は、少なくとも部分的にハードウェアおよび／またはソフトウェアで実装できる。

本明細書に記載された方法は、ハードウェア装置を用いて、またはコンピュータを用いて、あるいはハードウェア装置およびコンピュータの組合せを用いて実行できる。

Claims (25)

1. １つ以上の被試験デバイスをテストするための自動試験装置であって、
   前記自動試験装置は、複数のテストアクティビティを含む１つ以上のテストシナリオを生成するように構成されており、
   異なるテストアクティビティは、前記被試験デバイスのリソースのサブセットを使用し、
   前記自動試験装置は、テストシナリオの複数のテストアクティビティに関連する前記被試験デバイスのリソースが互いに競合しないように、複数のテストシナリオを生成するように構成されている、
   自動試験装置。
2. 所与のテストシナリオの前記複数のテストアクティビティは、同時に実行されるように構成されている、
   請求項１に記載の自動試験装置。
3. 前記テストアクティビティの１つ以上は、それぞれのテストパラメータ値によって特徴付けられる１つ以上のテストパラメータに関連付けられ、および／または１つ以上の制約に関連付けられる、
   請求項１または２に記載の自動試験装置。
4. 前記テストアクティビティの１つ以上は、所定の制限の外にある１つ以上のテストパラメータ値によって特徴付けられる、
   請求項１～３のいずれか一項に記載の自動試験装置。
5. テストシナリオの前記複数のテストアクティビティは、前記テストシナリオの前記複数のテストアクティビティに関連する前記被試験デバイスのリソースが互いに競合しない制約の下で、ランダムで選択される、
   請求項１～４のいずれか一項に記載の自動試験装置。
6. 前記自動試験装置は、前記被試験デバイスの前記リソースの間における競合の発生を防止するために、テストシナリオを生成するための制約ソルバを備える、
   請求項１～５のいずれか一項に記載の自動試験装置。
7. 前記テストアクティビティの１つ以上は、前記被試験デバイスに配置された応力発生器を作動させることを含む、
   請求項１～６のいずれか一項に記載の自動試験装置。
8. 前記自動試験装置は、テストシナリオのテストシーケンスを生成するように構成されている、
   請求項１～７のいずれか一項に記載の自動試験装置。
9. 前記テストシーケンスは、同じテストアクティビティを有する２つ以上のテストシナリオを含み、
   前記テストシナリオは、少なくとも１つのテストパラメータ値によって異なる、
   請求項８に記載の自動試験装置。
10. 前記テストシーケンスの前記複数のテストシナリオは、ランダムで選択および／または順序付けされる、
    請求項８または９に記載の自動試験装置。
11. 前記自動試験装置は、テストデータを収集するためにテストシーケンスがコントローラによって実行されるように、前記テストシーケンスを生成するように構成されている、
    請求項７～１０のいずれか一項に記載の自動試験装置。
12. 前記コントローラは、前記自動試験装置および前記被試験デバイスと通信するように構成されたオンチッププロセッサまたはコントローラカードである、
    請求項１１に記載の自動試験装置。
13. 前記コントローラは、被試験デバイスデータおよび／または被試験デバイスセンサデータを読み出すように構成された１つまたは複数のインタフェースを有する、
    請求項１１または１２に記載の自動試験装置。
14. 前記コントローラは、前記コントローラが前記１つ以上のセンサのセンサテストデータを読み出すように構成されるように、前記被試験デバイスの領域上に配された１つ以上のセンサを備える、
    請求項１１～１３のいずれか一項に記載の自動試験装置。
15. 前記コントローラは、収集されたテストデータが所定の条件を満たす場合に反応するように構成されている、
    請求項１１～１４のいずれか一項に記載の自動試験装置。
16. 前記コントローラは、収集されたテストデータを前記自動試験装置に伝達するように構成されている、
    請求項１１～１５のいずれか一項に記載の自動試験装置。
17. 前記コントローラまたは前記自動試験装置は、テストアクテビティの制約に基づき、および／または収集されたテストデータに基づき、テストパラメータ値を動的に作成するように構成されている、
    請求項１１～１６のいずれか一項に記載の自動試験装置。
18. 前記コントローラまたは前記自動試験装置は、テストシーケンスを最適化するために収集されたテストデータを分析するように構成されている、
    請求項１１～１７のいずれか一項に記載の自動試験装置。
19. 前記コントローラまたは前記自動試験装置は、テストシーケンスを最適化するために、所定の制限内のシステムレベルテストの結果と、所定の制限内および／または制限外の収集されたテストデータとを比較するように構成されている、
    請求項１１～１８のいずれか一項に記載の自動試験装置。
20. 前記自動試験装置は、人工知能または機械学習ユニットを備え、
    前記コントローラまたは前記自動試験装置は、テストシーケンスを最適化するために、システムレベルテストの結果、および／または収集されたテストデータ、および／またはシステムレベルテストと収集されたテストデータとの比較により、前記人工知能または前記機械学習ユニットを訓練するように構成される、
    請求項１１～１９のいずれか一項に記載の自動試験装置。
21. 前記訓練された人工知能または機械学習ユニットは、前記収集されたテストデータに基づいてシステムレベルテストの結果を予測するように構成される、
    請求項２０に記載の自動試験装置。
22. 前記コントローラまたは前記自動試験装置は、テスト結果を得るために、収集されたテストデータを分析するように構成されている、
    請求項１１～２１のいずれか一項に記載の自動試験装置。
23. 訓練された人工知能または機械学習ユニットは、テストシーケンスを最適化するため、および／またはテスト結果を得るために、収集されたテストデータを分析するように構成される、
    請求項１７～２２のいずれか一項に記載の自動試験装置。
24. 自動試験装置によって１つ以上の被試験デバイスをテストするための方法であって、
    前記自動試験装置は、複数のテストアクティビティを含む１つまたは複数のテストシナリオを生成し、
    異なるテストアクティビティは、前記被試験デバイスのリソースのサブセットを使用し、
    前記自動試験装置は、テストシナリオの複数のテストアクティビティに関連する前記被試験デバイスのリソースが互いに競合しないように、前記複数のテストシナリオを生成する、
    方法。
25. コンピュータまたは信号処理装置で実行されるときに、請求項２４に記載の方法を実行するためのコンピュータプログラム。