JP6274128B2 - 不揮発性半導体記憶装置の評価方法、評価システム、及び評価プログラム - Google Patents

Description

本発明は、メモリカード等の不揮発性半導体記憶装置を評価する評価方法、評価システム、及び評価プログラムに関する。

近年、メモリカード（ＳＤカード等）、ＵＳＢメモリ、ソリッドステートドライブ（ＳＳＤ）といった不揮発性半導体記憶装置が普及している。不揮発性半導体記憶装置は、ＮＡＮＤ型フラッシュメモリ等の不揮発性半導体メモリと、不揮発性半導体メモリのアクセス制御を行うコントローラを内蔵している。不揮発性半導体メモリの寿命を予測する方法として、不揮発性半導体メモリの読み出し電圧を内部でモニタすることにより、寿命を予測し、外部に報知する手法が提案されている（例えば特許文献１参照）。

不揮発性半導体記憶装置に内蔵されている不揮発性メモリ及びコントローラの種類は多種多様であり、その組み合わせも多種多様である。上述のような寿命予測機能を搭載しない不揮発性半導体記憶装置も多く販売されている。

特開２０１３−１２２７９３号公報

メモリカード等の不揮発性半導体記憶装置は、デジタルカメラやスマートフォン等の電子機器にバンドルされて販売されることも多い。電子機器のメーカは、バンドルして販売する不揮発性半導体記憶装置の寿命を把握しておく必要性が高い。

本発明はこうした状況に鑑みてなされたものであり、その目的は、不揮発性半導体記憶装置の寿命を外部から予測する技術を提供することにある。

上記課題を解決するために、本発明のある態様の不揮発性半導体記憶装置（３０）の評価方法は、不揮発性半導体メモリ（３１）と、コントローラ（３２）を含む不揮発性半導体記憶装置（３０）の評価方法であって、不揮発性半導体記憶装置（３０）に、所定のアクセスパターンでデータの書き込み又は読み出しを行い、単位記憶領域ごとのアクセス時間を測定する測定ステップと、測定した単位記憶領域ごとのアクセス時間から特徴量を抽出する抽出ステップと、評価対象の不揮発性半導体記憶装置（３０）の前記特徴量と、既にカテゴリ分類された他の不揮発性半導体記憶装置（３０）の前記特徴量を比較して、前記評価対象の不揮発性半導体記憶装置（３０）を分類する分類ステップと、を備える。

本発明の別の態様は、不揮発性半導体記憶装置（３０）の評価システム（１）である。このシステムは、不揮発性半導体メモリ（３１）と、コントローラ（３２）を含む不揮発性半導体記憶装置（３０）の評価システム（１）であって、不揮発性半導体記憶装置（３０）に、所定のアクセスパターンでデータの書き込み又は読み出しを行い、単位記憶領域ごとのアクセス時間を測定する試験装置（２０）と、前記試験装置（２０）から単位記憶領域ごとのアクセス時間を取得する情報処理装置（１０）と、を備える。前記情報処理装置（１０）は、取得した単位記憶領域ごとのアクセス時間から特徴量を抽出する特徴量抽出部（１１２）と、評価対象の不揮発性半導体記憶装置３０の前記特徴量と、既にカテゴリ分類された他の不揮発性半導体記憶装置３０の前記特徴量を比較して、前記評価対象の不揮発性半導体記憶装置を分類する分類部（１１５）と、を有する。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、不揮発性半導体記憶装置の寿命を外部から予測することができる。

本発明の実施の形態１に係る評価システムの構成を示す図である。 実施の形態１に係る不揮発性半導体記憶装置の評価方法の流れを示すフローチャートである。 正方向アクセスパターンの一例を示す図である。 逆方向アクセスパターンの一例を示す図である。 アクセス時間の分布を示す第１例のグラフである。 アクセス時間の分布を示す第２例のグラフである。 評価対象のメモリカードのアクセスパターンデータと、比較対象のメモリカードのアクセスパターンデータを重ねた図である。 評価対象のメモリカードをカテゴリ分類するための操作画面例を示す図である。 評価対象のメモリカードを新規カテゴリに登録する操作画面例を示す図である。 特定ＬＢＡにおける書き込み、読み出しアクセス時間の推移の一例を示すグラフである。 本発明の実施の形態２に係る評価システムの構成を示す図である。 実施の形態２に係る比較評価処理の流れを示すフローチャートである。 混合分布による近似値を説明するための模式的なグラフである。 アクセス時間の分布からピークの個数とピークの位置を検出する方法を説明するための模式的なグラフである。 セグメント分割の一例を示す図である。 評価データ保持部のデータ形式の一例を示す図である。 最短距離を持つ基準データを特定する処理を説明するための模式図である。

本発明の実施の形態は、不揮発性半導体記憶装置の寿命評価に関する。本実施の形態では、不揮発性半導体記憶装置に対して、規格に基づく外部インタフェースからアクセスし、アクセス時間を測定する。当該アクセス時間をもとに不揮発性半導体記憶装置の寿命を予測し、不揮発性半導体記憶装置の製品使用上の閾値を決定する。

従来の不揮発性半導体記憶装置の寿命予測方法の一つに、内部のコントロールチップが、不揮発性半導体メモリ（以下、本明細書では不揮発性メモリという）の書き込み電圧を直接監視する構成を持つものがある。当該コントロールチップは、書き込み電圧をリアルタイムに監視することにより、不揮発性メモリの寿命予測を行い、不揮発性メモリにおいて障害が発生するであろう閾値を決定する。その閾値をもとに、障害が発生していると推測される不揮発性メモリへの書き込みを抑制することにより、システム運用に問題が発生しないようにしている。このように、コントロールチップで不揮発性メモリの書き込み時の電圧を直接監視することにより、不揮発性メモリの寿命を直接予測する手法は既に存在する。

不揮発性半導体記憶装置のメーカは、内部の不揮発性メモリの延命を図るため、アクセスに対してウェアレベリングを行い、できるだけ同じ不揮発性メモリをアクセスしないようにチューニングしている。従って、不揮発性半導体記憶装置の外側からは、どの不揮発性メモリを何回アクセスしたかを正確に把握することが難しく、どの不揮発性メモリが寿命に達しているかを判断することは基本的にできない。

また、市場に流通している不揮発性半導体記憶装置に内蔵されている不揮発性メモリ及びコントロールチップの多くは、寿命に達したときに何らかのレスポンスを外部に返すように設計されていない。従って、一般に市場に流通している不揮発性半導体記憶装置の寿命を外部から予測することは非常に難しい。

本実施の形態では、一般に市場に流通している、不揮発性メモリ及びコントロールチップを含む不揮発性半導体記憶装置全体の使用寿命を予測する方法を提案する。この寿命予測では、規格に基づく外部インタフェースからのアクセスに対するアクセス時間を測定し、測定したアクセス時間により、不揮発性半導体記憶装置の製品使用上の閾値を決定する。

以下、本実施の形態に係る不揮発性半導体記憶装置の寿命予測の概要を説明する。本実施の形態では、個々の不揮発性半導体記憶装置に対するデータの書き込み時のアクセス時間および／または読み出し時のアクセス時間を相対比較する。これにより、同一または類似する不揮発性メモリとコントロールチップの組み合わせを特定する。データ書き込み時のアクセス時間は、外部インタフェースから書き込みコマンドと書き込みデータを不揮発性半導体記憶装置に送信し、不揮発性半導体記憶装置から書き込み完了の応答コマンドを受信するまでの時間をいう。以下、単に「書き込み時間」と表記することもある。データ読み出し時のアクセス時間は、外部インタフェースから読み出しコマンドを不揮発性半導体記憶装置に送信し、不揮発性半導体記憶装置が読み出しデータの送信を完了するまでの時間をいう。以下、単に「読み出し時間」と表記することもある。

同一カテゴリの中の個体の一つを、不揮発性半導体記憶装置の本来の性能を保持できない状態になるまで、データの書き込みと読み出しを読み出したデータが正常であることを確認しながら、アクセス時間の測定を繰り返す。これにより、性能を保持できないレベルになるアクセス時間を導き出し、個体の寿命限界を導き出す。寿命限界を導き出した個体と同一カテゴリに分類されたその他の不揮発性半導体記憶装置も同一の寿命特性を持つと予測する。個体の一つは本来の性能を保持できないものになるが、後述する比較評価だけ行われるその他の不揮発性半導体記憶装置は本来の性能を保持したまま使用できる。その不揮発性半導体記憶装置のアクセス時間が、上記個体から導き出した寿命限界のアクセス時間に達したとき、障害が発生すると予測することができる。

本実施の形態に係る不揮発性半導体記憶装置の寿命予測は、比較評価と寿命評価に大別される。まず比較評価の概要を説明する。外部インタフェースから不揮発性半導体記憶装置に対し、固定された特定のセクタ単位（例えば、２５６セクタ単位）で連続してアクセスする。その際のアクセス時間をミリ秒オーダで記録する。アクセスパターンは、最小ＬＢＡ（Logical Block Address）から最大ＬＢＡへの正方向に、又は最大ＬＢＡから最小ＬＢＡへの逆方向に、指定されたＬＢＡ単位で単調増加または単調減少でアクセスするパターンである。最小ＬＢＡは通常、０であり、最大ＬＢＡはシステムにより異なる。以下、本明細書では説明を簡単にするためＬＢＡの単位記憶領域とセクタの単位記憶領域は同じ大きさであるとする。即ち、当該アクセスパターンは、単位記憶領域の最小値から最大値の方向へ所定値単位でアクセス開始位置を増加させ、その所定値単位のデータをアクセスするアクセスパターン、または単位記憶領域の最大値から最小値の方向へ所定値単位でアクセス開始位置を減少させ、その所定値単位のデータをアクセスするアクセスパターンである。測定した単位記憶領域ごとのアクセス時間をミリ秒オーダで細かくプロットする。

これまで、ＨＤＤの性能評価方法として、アプリケーションソフトを使用したベンチマーク試験が存在する。これは、相対的に大まかなＨＤＤの性能評価を示す指標として使用されており、部分的なアクセスによりＨＤＤの相対的な性能比較に用いられるものであって、寿命評価を考慮している物ではなかった。そのため、測定された個体がどのようなアクセス時間を有するかという大まかな違いは検出できるが、そのアクセス時間から、測定した各個体がどのような種類のものであるかを細かく分類することはできない。

そこで本実施の形態では、ＬＢＡにアクセスした時間を明確にするため、固定されたＬＢＡ単位でＬＢＡが重複することなく、アクセス開始位置を増加またはアクセス開始位置を減少させるアクセスパターンを使用する。例えば、一般に公開されているＩＤＥＭＡ(The International Disk Drive Equipment and Materials Association)のＨＤＤ評価パターン（Command completion time measurement tool White Paper）を使用できる。

このようなアクセスパターンを用い、アクセスする方向、アクセスするＬＢＡ、転送するデータ、アクセス手法を厳密に定め、不揮発性メモリの一部分の領域ではなく、全体領域にデータを書き込む。これより、評価対象の個体のアクセス性能の正確な特徴を抽出することができる。なお転送するデータは、不揮発性半導体記憶装置３０に最も負荷を与えるデータにするとよい。最も負荷を与えるデータは通常、全ビットが「１」のデータである。

本実施の形態では、アクセス時間をプロットする装置として、オペレーティングシステム（ＯＳ）等による時間的に不適当なオーバーヘッドを持たない専用の治具を使用することが望ましいが、専用の治具を省略し、ソフトウェアで計測することも可能である。

これにより、不揮発性メモリとコントロールチップを含めた不揮発性半導体記憶装置全体のアクセス性能を正確に把握することができる。測定したアクセス時間の違いにより、不揮発性半導体記憶装置の性能を評価することができ、類似の性能を持つ不揮発性半導体記憶装置を同じカテゴリに分類できる。

カテゴリ分類の指標として、（１）ＬＢＡごとのアクセス時間の分布、（２）指定されたアクセスパターンによる試験開始から試験終了までに要する時間がある。同一の不揮発性メモリ及びコントロールチップを持つ不揮発性半導体記憶装置は、上記２点において同じような評価結果を示す。

この評価方法により、例えば、内蔵されている不揮発性メモリ及びコントロールチップが不明な不揮発性半導体記憶装置を含む、市場に流通している全ての不揮発性半導体記憶装置を相対的に分類できる。このように不揮発性半導体記憶装置を分類した上で、個々の不揮発性半導体記憶装置がどのような寿命性能を有するか評価する。

次に寿命評価の概要を説明する。寿命評価も比較評価と同様に、オペレーティングシステム（ＯＳ）等による時間的に不適当なオーバーヘッドを持たない専用の治具を使用することが望ましいが、専用の治具を省略し、ソフトウェアで計測することも可能である。寿命評価において比較評価と異なるのはアクセスパターンである。

寿命評価では、指定されたデータ単位でＬＢＡが重複することなく、アクセス開始位置を増加させながら０ＬＢＡから最大ＬＢＡまでシーケンシャルに全面書き込みを行うとともに、書き込んだ同じデータの読み出しを行いデータが正常に書き込まれているかを確認することにより、そのときの書き込みアクセス時間、読み出しアクセス時間をプロットし、評価する不揮発性半導体記憶装置が全体的にどのくらいの回数書き込みが可能であるかを評価する。データが書き込まれても正常なデータとして読めなくなったとき、不揮発性半導体記憶装置は本来の性能を有しなくなるので、寿命に達したと判断する。このような書き込みは、評価する不揮発性半導体記憶装置の不揮発性メモリの酸化膜の劣化を進行させることができるので、最終的に読み込まれたデータと書き込まれたデータが異なったことが、不揮発性メモリの寿命に達したことを示し、これにより、評価する不揮発性半導体記憶装置が本来の性能を維持できなくなったとして、寿命に達し、破壊されたものと判断する。

従って、使用する不揮発性半導体記憶装置は、それ以前の書き込み回数が明確である物を使用する必要があり、何も書き込まれていない不揮発性半導体記憶装置を比較評価に引き続き寿命評価を行った場合、全領域、１回は書き込まれた物を使用することになる。

この寿命評価においては、不揮発性半導体記憶装置が寿命に達したと判断されるまで、この評価を繰り返し０ＬＢＡから最大ＬＢＡまで全面行う。評価の結果、このカテゴリごとの不揮発性半導体記憶装置の書き込み回数の限界が寿命として登録され、この寿命に達するまでの書き込みアクセス時間のプロット、読み出しアクセス時間のプロットと特にデータが異常を来したときの書き込みアクセス時間、読み出しアクセス時間がカテゴリ化された不揮発性半導体記憶装置固有の情報として登録される。

比較評価および寿命評価を一体的に運用するため、本実施の形態に係る評価システムは、試験装置と情報処理装置を備える。当該試験装置は、不揮発性半導体記憶装置を差し込むソケットを有し、ソケットに差し込まれた不揮発性半導体記憶装置に対して、特定のインタフェースを通して規定のアクセスパターンでデータを送り出す。当該情報処理装置は本評価システム全体を制御する。例えば試験装置のアクセスパターンを変更する。当該情報処理装置は測定結果を蓄積するデータベースを管理する。このデータベースに、カテゴリ分類された比較評価データと、各カテゴリの寿命評価データを関連付けて登録する。各カテゴリで１つの個体の寿命評価データがあれば、他の個体の寿命評価試験をしなくても、その寿命を予測することができる。

本実施の形態では、内蔵されている不揮発性メモリとコントロールチップを含む不揮発性半導体記憶装置全体の特性を用いて、不揮発性半導体記憶装置を分類する。各カテゴリに属する１つの個体の寿命特性を導くことにより、カテゴリ内の他の個体の寿命特性を導くことができる。よって、不揮発性半導体記憶装置の内部に寿命を監視する仕組みを持たずに、市場に流通している不揮発性半導体記憶装置の寿命を予測できる。また寿命特性をもとに、評価対象の不揮発性半導体記憶装置が、後どれだけ書き込みが可能かを推定することもできる。

ここで本実施の形態に係る不揮発性半導体記憶装置の評価方法のポイントをまとめると、次のようになる。不揮発性半導体記憶装置の内部に特別な寿命評価装置等を搭載することなく、外部インタフェースからのアクセスに対するアクセス時間を測定することにより、不揮発性半導体記憶装置の寿命を予測できる。不揮発性半導体記憶装置に含まれる不揮発性メモリ及びコントロールチップを特定する必要なく、パッケージ化された状態のまま不揮発性半導体記憶装置の寿命を予測できる。

記憶領域全体を対象として、所定のＬＢＡ単位でＬＢＡが重複することなく、アクセス開始位置を増加またはアクセス開始位置を減少させるアクセスパターンでアクセスし、単位記憶領域ごとのアクセス時間を測定する。これにより、複数の不揮発性半導体記憶装置を高精度に相対比較できる。相対比較することにより、不揮発性半導体記憶装置の内部構造を解析することなく、パッケージ化された状態のままカテゴリ分類できる。厳密に管理された寿命評価用のアクセスパターンでアクセスすることにより、不揮発性半導体記憶装置の寿命をパッケージ化された状態のまま予測できる。同一カテゴリに属する他の不揮発性半導体記憶装置のアクセス時間から、寿命に達するまでの使用回数を推定できる。

以下、本発明の実施の形態に係る評価システムを具体的に説明する。実施の形態１では比較評価の一部をマニュアル操作で行う例を説明し、実施の形態２では比較評価の全てを自動処理で行う例を説明する。

図１は、本発明の実施の形態１に係る評価システム１の構成を示す図である。評価対象の不揮発性半導体記憶装置３０は不揮発性メモリ３１及びコントローラ３２を含む。コントローラ３２は外部インタフェースから書き込みコマンド及び書き込みデータを受信すると当該データを不揮発性メモリ３１の指定された記憶領域に書き込む。当該データの書き込みが完了すると外部インタフェースに応答信号を返す。またコントローラ３２は外部インタフェースから読み出しコマンドを受信すると、不揮発性メモリ３１の指定された記憶領域からデータを読み出し、外部インタフェースに送信する。以下の説明では、不揮発性半導体記憶装置３０としてメモリカードを想定する。

試験対象の不揮発性半導体記憶装置３０は試験装置２０に装着または接続される。試験装置２０は、不揮発性半導体記憶装置３０のアクセス時間をミリ秒オーダで正確に測定できるテスト治具である。試験装置２０は、不揮発性半導体記憶装置３０に規定のアクセスパターンでデータを書き込み、単位記憶領域ごとのアクセス時間を測定する。

試験装置２０は、不揮発性半導体記憶装置３０に書き込み命令または読み出し命令を発行するコマンド実行機能、発行したコマンドに対するレスポンス時間をアクセス時間として測定する測定機能、測定した結果を図示しない内部記憶部に記憶するデータ保持機能を有する。当該内部記憶部は、測定データを格納にするに十分な容量を持つＦＩＦＯ（First In First Out）構造の半導体メモリで構成される。当該内部記憶部は、格納された測定データを順番に情報処理装置１０に送り出す。その際、コマンド実行機能および測定機能に影響を与えずにデータを送り出すことができる。

情報処理装置１０は例えばＰＣで構成され、評価システム１全体を制御する。情報処理装置１０は試験装置２０とケーブルで接続される。情報処理装置１０は、試験装置２０から単位記憶領域ごとのアクセス時間を取得し、単位記憶領域ごとのアクセス時間をもとに、不揮発性半導体記憶装置３０を分類する。

情報処理装置１０は制御部１１、記憶部１２、表示部１３及び操作部１４を備える。制御部１１は試験実行部１１１、表示制御部１１３、操作受付部１１４、分類部１１５及び寿命評価部１１６を含む。図１の制御部１１には、実施の形態１にて注目する処理に関連する機能ブロックのみを描いている。これらの機能はハードウェア資源とソフトウェア資源の協働、又はハードウェア資源のみにより実現できる。ハードウェア資源としてプロセッサ、ＲＯＭ、ＲＡＭ、その他のＬＳＩを利用できる。ソフトウェア資源としてオペレーティングシステム、アプリケーション等のプログラムを利用できる。

記憶部１２はハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）等の記録媒体を備え、評価データ保持部１２１を含む。図１の記憶部１２にも、実施の形態１にて注目する処理に関連する機能ブロックのみを描いている。実施の形態１では、評価データ保持部１２１は、不揮発性半導体記憶装置３０の単位記憶領域ごとのアクセス時間を少なくとも保持する。

図２は、実施の形態１に係る不揮発性半導体記憶装置３０の評価方法の流れを示すフローチャートである。試験実行部１１１は比較評価を実行する。具体的には、試験実行部１１１は試験装置２０に対して、比較評価用の試験を実行するよう命令する。試験装置２０は当該命令を受けると比較評価用のアクセスパターンを用意し、コマンド実行機能により、不揮発性半導体記憶装置３０に書き込みコマンドを発行する。

不揮発性半導体記憶装置３０のコントローラ３２は正常に書き込みコマンドを受信し、不揮発性メモリ３１の指定されたＬＢＡに書き込みが完了すると、書き込み完了の応答を試験装置２０に返す。試験装置２０の測定機能は、書き込みコマンド発行から応答が戻るまでの時間をアクセス時間として測定し、不揮発性半導体記憶装置３０に送り出したＬＢＡの位置データととともに内部記憶部に記憶する。情報処理装置１０の試験実行部１１１は、試験装置２０の内部記憶部から、位置データとアクセス時間を含む測定データを取得し、順次プロットする（Ｓ１０）。以下、個体のＬＢＡごとのアクセス時間の集合をアクセスパターンデータという。このアクセスパターンデータにより、最終的にどの時間帯にアクセス時間が収束するかを確認できる。

分類部１１５は、評価対象の不揮発性半導体記憶装置３０の評価データと、既にカテゴリ分類された評価済みの不揮発性半導体記憶装置３０の評価データとを比較する（Ｓ１１）。評価データは、アクセスパターンデータそのものを使用してもよいし、アクセスパターンデータから抽出された特徴量を使用してもよい。

実施の形態１では、評価データの比較を例えば以下のように行う。表示制御部１１３は、評価対象の不揮発性半導体記憶装置３０のアクセスパターンデータを示すグラフと、評価データ保持部１２１にカテゴリ分類されて保持される比較対象の不揮発性半導体記憶装置３０のアクセスパターンデータを示すグラフを画面上に表示させる。その際、両方のグラフを同一画面上にオーバーラップさせて表示させてもよい。

操作受付部１１４は、当該画面を見ているユーザの操作を受け付ける。ユーザは、当該画面上に表示されている評価対象の不揮発性半導体記憶装置３０のアクセスパターンデータと、比較対象の不揮発性半導体記憶装置３０のアクセスパターンデータが近似するか否か判断し、その判断結果を操作受付部１１４に入力する。

ユーザは、画面に表示されている比較対象の不揮発性半導体記憶装置３０のアクセスパターンデータを示すグラフを切り替えることができる。操作受付部１１４に対してユーザから切替指示操作がなされると、当該切替指示操作にもとづき、表示制御部１１３は、画面上に表示される比較対象の不揮発性半導体記憶装置３０のアクセスパターンを示すグラフを、別のものに切り替える。

分類部１１５は、当該ユーザの操作にもとづき、評価対象の不揮発性半導体記憶装置３０を分類するカテゴリを決定する。評価対象の不揮発性半導体記憶装置３０と評価データが近似する評価済み（比較対象）の不揮発性半導体記憶装置３０が存在する場合（Ｓ１２のＹ）、分類部１１５は、当該比較対象の不揮発性半導体記憶装置３０が属しているカテゴリに、評価対象の不揮発性半導体記憶装置３０を分類する（Ｓ１３）。寿命評価部１１６は、評価データ保持部１２１から当該カテゴリに属する不揮発性半導体記憶装置３０の寿命評価データを読み出し、これを用いて、評価対象の不揮発性半導体記憶装置３０の寿命を予測する（Ｓ１４）。なおここで、寿命予測部（図１には図示せず）を別途設けた上で、寿命予測部がＳ１４の処理を行ってもよい。

評価対象の不揮発性半導体記憶装置３０と評価データが近似する評価済みの不揮発性半導体記憶装置３０が存在しない場合（Ｓ１２のＮ）、試験実行部１１１は寿命評価を実行する（Ｓ１５）。具体的には、試験実行部１１１は試験装置２０に対して、寿命評価用の試験を実行するよう命令する。試験装置２０は当該命令を受けると寿命評価用のアクセスパターンを用意し、コマンド実行機能により不揮発性半導体記憶装置３０に、予め用意されたデータの書き込みコマンドを発行する。

不揮発性半導体記憶装置３０のコントローラ３２は正常に書き込みコマンドを受信し、不揮発性メモリ３１の指定されたＬＢＡに書き込みが完了すると、書き込み完了の応答を試験装置２０に返す。試験装置２０の測定機能は、書き込みコマンド発行から応答が戻るまでの時間を書き込み時のアクセス時間として測定し、不揮発性半導体記憶装置３０に送り出したＬＢＡの位置データとともに内部記憶部に記憶する。なお、書き込み時のアクセス時間と同様に、読み出し（読み込み）コマンド発行から応答が戻るまでの時間を読み出し時のアクセス時間として測定し、これをカテゴリ分類に用いてもよい。すなわち、１）書き込み時のアクセス時間のみ、２）読み出し時のアクセス時間のみ、３）書き込み時のアクセス時間と読み出し時のアクセス時間の両方、のいずれかを用いてカテゴリ分類を行うことができる。

続いて試験装置２０はコマンド実行機能により、データを書き込んだＬＢＡから当該データを読み出すコマンドを不揮発性半導体記憶装置３０に発行する。不揮発性半導体記憶装置３０のコントローラ３２は正常に読み出しコマンドを受信すると、指定されたＬＢＡからデータを読み出し、外部に送り出す。試験装置２０の測定機能は、読み出しコマンド送信からデータ受信までの時間を読み出し時のアクセス時間として測定し、不揮発性半導体記憶装置３０に送り出したＬＢＡの位置データとともに内部記憶部に記憶する。

情報処理装置１０の寿命評価部１１６は、試験装置２０から不揮発性半導体記憶装置３０に書き込まれたデータと、不揮発性半導体記憶装置３０から試験装置２０に読み出したデータを比較し、両者が一致するか確認する。両者が一致すれば次のＬＢＡに進み、最後のＬＢＡまで、データの書き込み、読み出し、一致判定からなるデータ比較処理を繰り返す。この先頭のＬＢＡから最後のＬＢＡまでの当該データ比較処理を、書き込みデータと読み出しデータが一致しなくなるまで繰り返す。

データが一致しなくなるまで上記データ比較処理を繰り返すことにより測定されたアクセス時間と位置データを含む測定データは、内部記憶部から情報処理装置１０に送られる。情報処理装置１０の寿命評価部１１６は、取得した測定データをプロットすることにより、評価対象の不揮発性半導体記憶装置３０に対する書き込みデータと読み出しデータが一致しなくなるまでのアクセス時間の推移を示す寿命評価データを作成する。寿命試験が終了すると、寿命評価部１１６は、寿命評価試験を実行した不揮発性半導体記憶装置３０の寿命評価データを当該不揮発性半導体記憶装置３０の比較評価データに関連付けて、評価データ保持部１２１に記録する（Ｓ１６）。

評価データ保持部１２１に記録された寿命評価データは、他の不揮発性半導体記憶装置３０の寿命予測に使用できるようになる。このように寿命評価部１１６は、カテゴリに属する全ての不揮発性半導体記憶装置３０の寿命を評価する必要はなく、カテゴリごとに少なくとも１つの不揮発性半導体記憶装置３０の寿命を評価すればよい。

次にアクセスパターンの具体例を説明する。以下、正方向アクセスパターン、逆方向アクセスパターンの例を挙げる。

図３は、比較評価に使用される正方向アクセスパターンの一例を示す図である。縦軸はＬＢＡを示し、横軸はコマンド発行番号（コマンドの発行順序を示す番号）を示している。コマンド発行番号が小さい順に、各コマンドが発行される。正方向アクセスは、０ＬＢＡから最大ＬＢＡまで図３に示すように２５６セクタ単位でメディア全面に書き込みを行う。各アクセスコマンドの発行は、図３で示すように、１番目のアクセスコマンドはＬＢＡ開始位置から２５６セクタ分書き込まれるように発行され、２番目のＬＢＡ開始位置は、１番目のＬＢＡ開始位置から２５６セクタ分加算して同じように書き込まれるように発行される。なお、アクセスコマンドは読み込みであってもいい。このとき、不揮発性半導体記憶装置に書き込まれるデータは任意の物でも問題は無いが、データが０、１、２、からＦまでの常に１を加算した連続したデータを書き込むと、書き込まれたデータに問題があった場合、どのデータで問題があったかを発見しやすい利便性がある。

図４は、比較評価に使用される逆方向アクセスパターンの一例を示す図である。逆方向アクセスは、最大ＬＢＡからアクセスするセクタ数を減算した物を先頭に０ＬＢＡまで図４に示すように２５６セクタ単位でメディア全面に書き込みを行う。各アクセスコマンドの発行は、図４で示すように、１番目のアクセスコマンドはＬＢＡ開始位置から２５６セクタ分書き込まれるよう発行され、２番目のＬＢＡ開始位置は、１番目のＬＢＡ開始位置から２５６セクタ分減算して同じように書き込まれるように発行される。なお、アクセスコマンドは読み込みであってもよい。このとき、不揮発性半導体記憶装置に書き込まれるデータは任意の物でも問題は無いが、データが０、１、２、からＦまでの常に１を加算した連続したデータを書き込むと、書き込まれたデータに問題があった場合、どのデータで問題があったかを発見しやすい利便性がある。図３および図４に示すように、本実施例においては、アクセス開始ＬＢＡ（アクセス開始位置）とコマンド発行番号が一対一に対応付けられており、相互に変換可能である。また本実施例においては、コマンド発行番号は、「１」から始まる連番であり、アクセス開始ＬＢＡに比べて必要な記憶容量が少なくて済むため、後述するアクセス時間の分布を示すデータにおいて、横軸にコマンド発行番号を用いるが、コマンド発行番号の代わりにアクセス開始ＬＢＡを用いても、もちろんよい。

次に比較評価における不揮発性半導体記憶装置３０のカテゴリ判別について、具体的に説明する。比較評価におけるカテゴリ判別は主に、コマンド発行番号ごとのアクセス時間（アクセスパターンデータ）の収束の仕方、及び指定されたアクセスパターンによる試験の開始から終了までに要した時間（以下、アクセス試験時間ともいう）で行う。

まず、アクセス開始位置を増加またはアクセス開始位置を減少させるアクセスパターンによる連続するアクセス時間の収束について説明する。不揮発性メモリは電子の保持能力によってデータを保存するため、ＬＢＡの配置によってアクセス時間に大きな変動を持たない性質がある。不揮発性メモリでは、ハードディスク等の円盤磁気メディアのようにデータ保存位置にヘッドを送り出してデータを読み出す駆動系を持たない。従ってＬＢＡの配置による駆動系の動作遅延が発生せず、アクセス位置によるアクセス時間の変動が基本的に発生しない。

しかしながら、不揮発性メモリはその製造メーカによって一度にアクセスできる容量が異なり、その寿命にも差がある。同じ製造メーカの同じ型番の不揮発性メモリであっても製造時期によって、それらが異なってくる場合がある。また、それぞれの不揮発性メモリに合わせて作られているコントロールチップもその製造メーカ、組み合わせる不揮発性メモリによってアクセス性能が異なってくる。また、アクセス手法によっても不揮発性メモリの寿命が異なってくる。

不揮発性メモリの種類がＳＬＣ（Single Level Cell）の場合、指定されたＬＢＡしかアクセスしないが、ＭＬＣ(Multiple Level Cell)の場合、指定されたＬＢＡと内部キャッシュ内のＬＢＡの２箇所にアクセスする。内部キャッシュ内のＬＢＡはコントロールチップしか知らないＬＢＡである。ＴＬＣ(Triple Level Cell)では、３カ所同時に書き込まれる。

内部の不揮発性メモリとコントロールチップがどのようなものかは、パッケージメディアとしてのメモリカードの外からは判断できない。たとえ内部構成が分かったとしても、同じ型番の不揮発性メモリでも製造時期によって、寿命、アクセス性能が異なる。従ってメモリカード全体としての寿命を個々の不揮発性メモリ及びコントロールチップから判断することは困難である。

しかしながらメモリカード全体として、同一の不揮発性メモリとコントロールチップで構成されたメモリカードは、同じアクセス特性を持つ。内部の不揮発性メモリ及びコントロールチップは特定できないが、同じアクセス特性を持つメモリカードであるか否かは特定できる。上述のようにメモリカードではアクセス中に不特定となる駆動系等の外部的要因がないことから、アクセス特性から高精度なカテゴリ識別が可能である。

メモリカードのアクセス特性は、固定長のセクタ単位でＬＢＡに連続してデータを書き込んだ時の収束時間で判断できる。理想的なメモリカードであれば、どのＬＢＡに対するアクセス時間も同じになり、１つのアクセス時間に収束する。

図５は、左から図３で示した１番目のアクセスコマンドを発行したＬＢＡから順に２５６セクタ分データを書き込だ時のアクセス時間の分布を示す第１例のグラフである。コマンド発行から応答までの時間をコマンドレスポンスタイムといい、この時間を縦軸にアクセス時間として計測する。左から図３で示すコマンド発行番号ごとのアクセス時間を示す。図５に示すグラフでは、１番目のコマンド発行から全てのＬＢＡのアクセス時間が５ミリ秒で等しく、アクセス時間が一直線に収束している。

しかしながら実際は理想的な特性にならず、アクセス時間がいくつかに分散する傾向がある。そこで、最初にアクセス時間の集計表により、どの時間にアクセスが収束するかを特定し、時間分布の数値を特定する。その上で、一番収束するアクセス時間の帯がどこにあるか、その他に収束する帯が何本出るかを特定する。

図６は、左から図３で示した１番目のアクセスコマンドを発行したＬＢＡから順に２５６セクタ分データを書き込だ時のアクセス時間の分布を示す第２例のグラフである。左から図３で示すコマンド発行番号ごとのアクセス時間を示す。図６に示すグラフからは、主にアクセス時間が５ミリ秒に収束する帯と１０ミリ秒に収束する２つの帯が存在し、最大で１５ミリ秒のアクセス時間を要するＬＢＡが存在することが分かる。帯の配列は、不揮発性メモリの最大容量と、不揮発性メモリに書き込んでいるコントロールチップの性能に依存する。アクセス時間の最大値は、コントロールチップによる不揮発性メモリへの通常アクセスにおける処理の最大値を示す。このようにメモリカードは、アクセス時間の収束の仕方に特徴があり、この特徴を利用してメモリカードを相対的にグループ分けすることができる。

次に比較評価におけるカテゴリ判別の別の方法として、指定されたアクセスパターンによるアクセス試験時間を使用する例を説明する。アクセス性能はメモリカードのカテゴリにより異なることから、アクセス時間の総計である、試験開始から終了までに要するアクセス試験時間はカテゴリごとに異なる。しかしながら、同じ不揮発性メモリとコントロールチップを使用しているメモリカードはアクセスパターンが近似していることからアクセス試験時間も近似する。従って、カテゴリごとのアクセス試験時間を比較評価に使用できる。

これまで説明してきたカテゴリ分類は、容量違いのメモリカードにも適用できる。メモリカードの場合、同じパッケージで８ＧＢｙｔｅ、１６ＧＢｙｔｅ、３２ＧＢｙｔｅのように容量違いが存在する。この容量違いの中で、同じ不揮発性メモリとコントロールチップを使用しているものは、単位ＬＢＡ当たりのアクセス時間が近似的な値を示す。従って比較評価でのアクセス分布が同一特徴を有しながら、評価終了時間が容量に比例する物は、同一カテゴリの容量違いのメモリカードと判断できる。

例えば、同じアクセスパターンを使用した試験で、試験に６０秒かかった８ＧＢｙｔｅのメモリカードと、試験に１２０秒かかった１６ＧＢｙｔｅのメモリカードは、同じ不揮発性メモリとコントロールチップを持ち、容量が異なるものであると判断できる。ウェアレベリングの作用により、寿命は容量の大きさに比例する。例えば、８ＧＢｙｔｅで連続書き込みを行って３０日で寿命に達するメモリカードと同一カテゴリに属する１６ＧＢｙｔｅのメモリカードは同じ速度で連続書き込みを行った場合、６０日で寿命に達すると予想できる。

次にカテゴリ分類のためのデータ比較の具体例を説明する。実施の形態１では、評価対象のメモリカードのアクセスパターンデータと、比較対象のメモリカードのアクセスパターンデータが一致または近似するかをユーザに評価させる。

図７は、評価対象のメモリカードのアクセスパターンデータと、比較対象のメモリカードのアクセスパターンデータを重ねた図である。いずれも４ＧＢｙｔｅのメモリカードを対象としている。丸印のデータは、評価対象のメモリカードのアクセスパターンである。アクセス試験時間は１分２３秒である。三角印のデータは、比較対象のメモリカードのアクセスパターンデータである。アクセス試験時間は１分３５秒である。

データ比較は以下の順番で行われる。まず同じ容量のメモリカードであるか確認する。同じ容量である場合、２つのアクセス試験時間の差が所定値以下であるか確認する。図７に示す例では同じ容量のメモリカードである。この所定値としては、例えば、１分といった値を用いることができる。あるいは、メモリカードの容量が４ＧＢ以下の場合は３０秒、４ＧＢ〜８ＧＢの場合は１分などのように、メモリカードの容量別に所定値を定めておいてもよい。異なる種類のメモリカードの場合、アクセス試験時間が分単位で大きくずれる傾向がある。図７に示す例では、２つのアクセス時間の差は１２秒であるため、上記の所定値を１分とすると、所定値以下であると判定される。

次にアクセス時間が収束する帯に注目する。図７に示す例では、丸印と三角印のほとんどが２つの帯のいずれかに収束していることが分かる。帯から飛び出しているプロットデータは、イレギュラーアクセスがあったことを示しており誤差成分である。２つのメモリカードの多くのプロットデータが重なるため、２つのメモリカードは同じ種類であると推測できる。異なる種類のメモリカードの場合、帯に収束しないプロットデータが多くなり、図７のように帯に収束することはない。以上の評価から、丸印のアクセスパターンデータを持つメモリカードは、データベース上の三角印のアクセスパターンデータを持つメモリカードと同じカテゴリであると判断できる。

図８は、評価対象のメモリカードをカテゴリ分類するための操作画面例を示す。この操作画面１３ａではグラフ領域１３ｂが設けられ、グラフ領域１３ｂには、評価対象の丸印のアクセスパターンデータと、評価データ保持部１２１から呼び出した比較対象の三角印のアクセスパターンデータが重ねて表示される。また操作画面１３ａには、グラフ領域１３ｂに表示される評価対象のメモリカードと評価対象のメモリカードの、それぞれのアクセス試験時間が表示される。

ユーザは、グラフ領域１３ｂに表示される２種類のアクセスパターンデータを異なるカテゴリのデータと判断した場合、戻るボタン１３ｄまたは進むボタン１３ｅを押下して、比較対象のアクセスパターンデータをデータベース内の他のアクセスパターンデータに切り替える。なお、現在選択されている比較対象のデータ名がデータ名ウインドウ１３ｃに表示される。

ユーザは、切り替えられた比較対象のアクセスパターンデータと、評価対象のアクセスパターンデータを見て、同じカテゴリのデータと判断したとき、「同じカテゴリに登録する」ボタン１３ｆを押下する。この場合、評価対象のメモリカードの寿命評価は、当該カテゴリに属するメモリカードの寿命評価を流用できるため、新たな寿命評価試験を行う必要がない。データベース内の全てのメモリカードのアクセスパターンデータと比較して、近似するアクセスパターンデータが存在しないと判断したとき、ユーザは「新規カテゴリに登録する」ボタン１３ｇを押下する。この場合、新規に登録した後、評価対象のメモリカードの寿命試験を行う。

ユーザが「同じカテゴリに登録する」ボタン１３ｆを押下した場合、寿命評価部１１６は、評価データ保持部１２１から当該カテゴリに属する不揮発性半導体記憶装置３０の寿命評価データを読み出し、これを用いて寿命予測を行う。具体的には、寿命評価データとして、後述する限界書き込み回数と、メモリカードの容量を読み出し、これらを用いて評価対象のメモリカードの寿命を予測する。評価対象のメモリカードの容量と、寿命評価データのメモリカードの容量が同じ場合は、評価対象のメモリカードの限界書き込み回数は、読み出した限界書き込み回数と同じであると予測する。また、評価対象のメモリカードの容量と、寿命評価データのメモリカードの容量が異なる場合は、両者の単位容量あたりの限界書き込み回数が同じであるとみなして、寿命予測を行う。例えば、評価対象のメモリカードが８ＧＢであり、寿命評価データのメモリカードの容量が４ＧＢである場合、評価対象のメモリカードの容量は、寿命評価データのメモリカードの容量の２倍であるので、限界書き込み回数は容量と比例関係にあるとみなし、評価対象のメモリカードの限界書き込み回数は、寿命評価データのメモリカードの限界書き込み回数の２倍であると推定する。なおここで、寿命予測部（図１には図示せず）を別途設けた上で、寿命予測部が、上述の寿命予測処理を行ってもよい。

図９は、評価対象のメモリカードを新規カテゴリに登録する操作画面例を示す。図８の「新規カテゴリに登録する」ボタン１３ｇが押下されると、図９の新規登録画面１３ｈに遷移する。ユーザは、新規登録するデータ名、メモリカードの容量、ラベル表記のメーカ、ラベル表記のスピードをそれぞれの入力ウインドウ１３ｉ、１３ｊ、１３ｋ、１３ｌに入力し、決定ボタン１３ｍを押下する。これにより評価対象のメモリカードの評価データがデータベースに新規登録される。

メモリカードの容量、ラベル表記のメーカ、ラベル表記のスピードは、メディア本体から自動で読み取れない項目であるため、メモリカードのラベルを読んだユーザが、ラベルに表記されている内容を入力する。なお、容量は最大ＬＢＡから算出できるため、ユーザの入力がなくても演算により特定できる。データ名とともにラベル表記のメーカ、ラベル表記のスピードは、その評価したメモリカードの個別情報である。このデータ名は図８の１３ｃに示す比較対象のデータ名として使用される。

図８では、評価対象の１つのメモリカードのアクセスパターンデータと、比較対象の１つのメモリカードのアクセスパターンを重ねて表示する例を示した。この点、評価対象の１つのメモリカードのアクセスパターンデータと、比較対象の複数のメモリカードのアクセスパターンを重ねて表示してもよい。また、比較対象のメモリカードのアクセスパターンと、評価対象のメモリカードのアクセスパターンを１つのグラフに重ね合わせずに、複数の別々のグラフとして表示してもよい。操作画面１３ａ内のグラフの位置を適切に配置すること（複数のグラフのＸ座標またはＹ座標を整列させる等）により、重ね合わせする場合と比べて若干操作性は低下するものの、比較的容易に比較することができる。また図８では、アクセスパターンデータを散布図で表示する例を示したが、ヒストグラム形式などの他の形式で表示してもよい。

次に、寿命試験（寿命評価）の詳細について説明する。図１０に、寿命試験で指定されたデータ単位でＬＢＡが重複することなく、アクセス開始位置を増加させながら０ＬＢＡから最大ＬＢＡまで全面書き込みを行ったときの特定ＬＢＡの書き込み時間、読み出し時間をプロットした例を示す。

不揮発性半導体記憶装置に使用されている不揮発性メモリは、書き込み回数が増えていくに従い、電子を閉じ込めている酸化膜の劣化が進行し、電子を保持しにくくなるので、データが壊れやすくなり、その結果として読み出したデータのエラーが増え、内部でのＥＣＣ（Error Correcting Code）処理が増加し、データ読み出し時のアクセス時間が長くなる。そのため、図１０に示すように各ＬＢＡの読み出し時間は緩やかに増大する。最終的に不揮発性半導体記憶装置の動作規格が規定するアクセス時間を超えて、内部処理時間いっぱいまで読み出し処理を行っても、読み出したデータが書き込まれたデータと異なるようであれば、その不揮発性半導体記憶装置は寿命に達したと判定できる。ここで読み出したデータは、ＥＣＣによるエラー補正の限界を超えているデータといえる。

このように不揮発性半導体記憶装置が寿命回数に到達したとき、内部のエラー処理時間をすべて使って読み出しのアクセス時間が延びるので、このときの読み出しのアクセス時間は、通常の読み出しアクセス時間よりも時間を要するという特徴があることから、寿命に達する書き込み回数とそのときの読み出しのアクセス時間には関連性があり、寿命に達したときの読み出しのアクセス時間から寿命回数に到達したことを推測することができる。

不揮発性半導体記憶装置に使用されている不揮発性メモリは、書き込み回数が増えていくに従い、電子を閉じ込めている酸化膜の劣化が進行する。その結果、書き込み回数が増えるに従い電子が酸化膜を通りやすくなるので、書き込み時のアクセス時間が短くなる特徴がある。書き込み後読み出されたデータの異常が確認されるとともに、書き込みのアクセス時間が通常のアクセス時間より短く変化したとき、寿命に達する書き込み回数とそのときの書き込みのアクセス時間には関連性があり、寿命に達したときの書き込みのアクセス時間からも寿命回数に到達したことを推測することができる。

これにより、不揮発性半導体記憶装置の中には、内部のコントロールチップのウェアレベリング処理により、再度同じＬＢＡにアクセスしても異常が発生せず、性能が回復するものもあるが、寿命回数に達したときの書き込み、読み出しのアクセス時間との比較を行うことにより、より確実に不揮発性半導体記憶装置が寿命に至る回数に達したことを判断することができる。

この結果、不揮発性半導体記憶装置は、温度条件に変化がなければ、電子の動きであるアクセス回数以外、性能を変化させる要因が少ない、従ってアクセス時間をもとに同一カテゴリに分類された不揮発性半導体記憶装置は同じ不揮発性メモリとコントロールチップを使用していると推測できることから、同じ書き込み回数に対する書き込みアクセス時間のカーブ及び読み出し回数に対する読み出しアクセス時間のカーブを持ち、同じ寿命に達する回数を持つ、同じような寿命性能を持つ物と推定できる。

当然ではあるが、同じ不揮発性メモリを搭載した不揮発性半導体記憶装置でもコントロールチップが異なると、特にウェアレベリングの処理の仕方で内部の不揮発性メモリの本当の書き込み回数は異なるので、不揮発性半導体記憶装置の寿命に至る書き込み回数は異なる。

このように、寿命評価は評価した不揮発性半導体記憶装置が実際に何回書き込みができるかを評価することができ、結果として比較評価で同一カテゴリとされた不揮発性半導体記憶装置もこの回数まで書き込みができることを評価者は知ることができ、例えば不揮発性半導体記憶装置への書き込み回数がわかっている不揮発性半導体記憶装置搭載機器における不揮発性半導体記憶装置の交換時期を知ることができる。

このため、評価結果として不揮発性半導体記憶装置の寿命に至る書き込み回数（限界書き込み回数）が寿命として登録され、この寿命に達するまでの書き込みアクセス時間のプロット、読み出しアクセス時間のプロットと特にデータが異常を来したときの書き込みアクセス時間、読み出しアクセス時間がカテゴリ化された不揮発性半導体記憶装置固有の情報として登録される。

また、これらの情報から、寿命に達したときの書き込み回数に対する書き込みアクセス時間、及び読み出し回数に対する読み出しアクセス時間から逆算して、同一カテゴリに属する他の不揮発性半導体記憶装置の現在の書き込み回数を推定できる。即ち、他の不揮発性半導体記憶装置の現在の書き込みアクセス時間および読み出しアクセス時間が、何回目の書き込みに達したときの書き込みアクセス時間および読み出しアクセス時間であるかを特定することにより、現在の書き込み回数を推定できる。従って、他の不揮発性半導体記憶装置が寿命に達するまで、残りどのくらいの書き込みが可能かを予想することができる。

以上説明したように実施の形態１によれば、不揮発性半導体記憶装置３０に対して、比較評価用のアクセスパターンで外部からアクセスし、そのアクセス時間をもとに不揮発性半導体記憶装置３０をカテゴリ分類する。さらにカテゴリごとに１つの不揮発性半導体記憶装置３０に対して、寿命評価用のアクセスパターンで外部からアクセスし、書き込みデータと読み出しデータが一致しなくなるまで繰り返すことにより寿命を評価する。これにより、不揮発性半導体記憶装置３０の寿命を外部から予測できる。即ち内蔵されている不揮発性メモリとコントロールチップを特定することなく、パッケージ化された状態で寿命を予測できる。従って不揮発性メモリ及び／又はコントロールチップの製造メーカ以外の第三者でも簡単に寿命を予測できる。

カテゴリ分類をユーザの目視により決定することにより、ノイズデータに左右されずにカテゴリ分類できる。特にアクセスパターンデータのサンプル数が少ない状態では、実施の形態２で説明する自動分類よりユーザの目視による分類のほうが精度が高くなる傾向にある。ユーザにカテゴリ分類を要求する際、評価対象のデータと比較対象のデータをグラフ化して重ねて表示するグラフィックユーザインタフェースを用いることにより、ユーザが両者を比較しやすくなり、分類の精度が高まる効果が期待できる。

以上、実施の形態１では比較評価の一部をマニュアル操作で行う例を説明した。以下、実施の形態２では比較評価の全てを自動処理で行う例を説明する。

図１１は、本発明の実施の形態２に係る評価システム１の構成を示す図である。以下、図１に示した実施の形態１に係る評価システム１との相違点を説明する。実施の形態２では、情報処理装置１０の制御部１１は、特徴量抽出部１１２をさらに備える。特徴量抽出部１１２は、アクセスパターンデータから特徴量を抽出する。特徴量の抽出方法の具体例は後述する。

実施の形態２では分類部１１５は、評価対象の不揮発性半導体記憶装置３０のアクセスパターンデータから抽出された特徴量と、既にカテゴリ分類された他の不揮発性半導体記憶装置３０のアクセスパターンデータから抽出された特徴量を比較して、評価対象の不揮発性半導体記憶装置３０を分類する。具体的には、評価対象の不揮発性半導体記憶装置３０の当該特徴量と、最も差が小さい他の不揮発性半導体記憶装置３０の当該特徴量を特定する。両者の差が設定値以下の場合、評価対象の不揮発性半導体記憶装置３０を当該他の不揮発性半導体記憶装置３０が属するカテゴリに分類する。両者の差が設定値を超える場合、評価対象の不揮発性半導体記憶装置３０を新たなカテゴリに分類する。

図１２は、実施の形態２に係る比較評価処理の流れを示すフローチャートである。特徴量抽出部１１２は、評価対象の個体であるメモリカードのアクセスパターンデータから特徴量を抽出する（Ｓ２０）。特徴量として、以下に示す種々のものを用いることができるが、大きく分けると、アクセスパターンデータのセクタ（ＬＢＡ）軸の情報を用いない特徴量と、セクタ（ＬＢＡ）軸の情報を用いる特徴量の２種類がある。なお、読み出し時間のデータ、書き込み時間のデータのいずれか一方から特徴量を抽出してもよいし、両方から特徴量を抽出してもよい。また、アクセス開始位置が増加するアクセスパターンのデータ、アクセス開始位置が減少するアクセスパターンのデータのいずれか一方を用いてもよいし、両方を用いてもよい。両方を用いる場合、より高精度に比較評価、即ちカテゴリ分類ができる。以下では、ｉ番目の特徴量をＦ［ｉ］と表すが、以下に示す特徴量を全部抽出する必要はなく、この一部を抽出して用いればよい。

まず、セクタ（ＬＢＡ）軸の情報を用いない特徴量について説明する。アクセスパターンデータを、測定した全てのセクタ（ＬＢＡ）に渡って集約したデータを作成し、そのデータに基づき特徴量を算出する。セクタ（ＬＢＡ）に関する情報は失われるが、相対的に少ないデータ数でアクセスパターンデータの特徴を数値化できる。

セクタ（ＬＢＡ）軸の情報を用いない第１の特徴量として、アクセス試験時間を使用できる。アクセス試験時間は、評価対象のメモリカードの単位容量当たりのアクセス時間の合計値である。即ち、所定のアクセスパターンを使用した比較評価における試験開始から終了までに要した総時間である。単位容量は例えば、２５６セクタの容量に設定する。メモリカードの容量が多いほど通常、アクセス試験時間が長くなる。

セクタ（ＬＢＡ）軸の情報を用いない第２の特徴量として、評価対象のメモリカードの単位容量当たりのアクセス時間の代表値を使用できる。代表値としては、平均値、中央値、最頻値のうちの１つ以上を用いればよい。以下では、簡単のため、単位容量当たりのアクセス時間を「アクセス時間」とする。

セクタ（ＬＢＡ）軸の情報を用いない第３の特徴量として、アクセス時間の分布の範囲を示す値を使用できる。例えば、アクセス時間の最大値および最小値を用いることができる。ただし、最大値および最小値は測定誤差の影響を受けやすいので、アクセス時間の小さい順に数えて「α１」％番目のデータの値であるＶα１、「α２」％番目のデータの値であるＶα２を用いるのが望ましい（α１＜α２）。例えば、α１＝５％、α２＝９５％とすればよい。

セクタ（ＬＢＡ）軸の情報を用いない第４の特徴量として、アクセス時間の分布の幅を示す値を使用できる。アクセス時間の分散、標準偏差、（最大値−最小値）、（Ｖα２−Ｖα１）のうちの１つ以上を用いればよい。

セクタ（ＬＢＡ）軸の情報を用いない第５の特徴量として、アクセス時間の分布の形状を示す値を使用できる。アクセス時間の分布の形状を示す値として例えば、（Ａ）アクセス時間のヒストグラム、（Ｂ）混合分布による近似値、（Ｃ）ピークの個数と位置を使用できる。

（Ａ）アクセス時間のヒストグラムは、アクセス時間を所定の複数の階級（ビン）に分けて、階級ごとのデータ個数をカウントして作成したヒストグラムである。例えば、０〜１０ｍｓｅｃ、１０ｍｓｅｃ〜２０ｍｓｅｃ、２０ｍｓｅｃ〜３０ｍｓｅｃ、…、８０ｍｓｅｃ〜９０ｍｓｅｃ、９０ｍｓｅｃ〜、などのように、階級幅を１０ｍｓｅｃとする１０個の階級を設定し、それぞれの階級に対応するデータ個数を集計すればよい。なお、容量の異なるメモリカードの比較を行うために、相対度数のヒストグラムを作成することが望ましい。また、階級幅は均一である必要はなく、階級ごとに異なっていてもよい。また、階級の数Ｈｎは、あらかじめ決めておけばよく、１０個に限定されないのは、もちろんのことである。このように作成したヒストグラムの各階級の値をそれぞれ特徴量とする。例えば、Ｈｎ個の階級を用いる場合、ヒストグラム関連の特徴量は、Ｆ［ｉ］〜Ｆ［ｉ＋Ｈｎ−１］となる。

図１３は、（Ｂ）混合分布による近似値を説明するための模式的なグラフである。図１３に示すように、アクセス時間の分布を複数の確率分布の混合で近似する。図１３では、アクセス時間の分布を点線で示しており、このアクセス時間の分布を近似した３個の正規分布を実線で描いている。図１３のグラフの横軸はアクセス時間に対応する階級であり、実際は離散化されているが、簡単のため連続量として示している。また、縦軸は階級ごとの相対頻度であるが、確率（確率密度）とみなして処理を行う。階級ｋの相対頻度がｈ［ｋ］である場合、階級ｋに対応するアクセス時間の中央値をｘとして、確率ｐ（ｘ）＝ｈ［ｋ］として以下の処理を行う。一般に、混合する成分の個数をＭ、ｊ番目の確率分布のパラメータをθ［ｊ］（ｊ＝１〜Ｍ）、ｊ番目の確率分布をＤ（ｘ｜θ［ｊ］）、ｊ番目の確率分布の混合係数β［ｊ］とすると、アクセス時間ｘの分布ｐ（ｘ）は下記式（１）で表される。ここで、混合係数β［ｊ］は下記式（２）の条件を満たす０以上の実数である。

確率分布としては、正規分布を用いるのがよい。１次元の正規分布の場合は、確率分布のパラメータは、平均μと標準偏差σの２つである。すなわち、ｊ番目の確率分布のパラメータは、μ［ｊ］、σ［ｊ］、β［ｊ］の３つとなる。そして、ＥＭアルゴリズム等の手法を適用することにより、ｐ（ｘ）との誤差が最も少なくなるように、μ［ｊ］、σ［ｊ］、β［ｊ］を算出することができる。すなわち、３Ｍ個の数値でアクセス時間の分布ｐ（ｘ）を表すことができる。この３Ｍ個の数値である、μ［ｊ］、σ［ｊ］、β［ｊ］（ｊ＝１〜Ｍ）を特徴量Ｆ［ｉ］〜Ｆ［ｉ＋３Ｍ−１］とする。

なおここで、特徴量の順番を決める方法としては、β［ｊ］の大きさに基づき特徴量の番号を決める方法、μ［ｊ］の大きさに基づき特徴量の番号を決める方法、σ［ｊ］の大きさに基づき特徴量の番号を決める方法のいずれを用いてもよい。例えば、β［ｊ］の大きい順に特徴量の若い番号を割り当てる場合は、β［ｊ］が最も大きい成分のパラメータを特徴量Ｆ［ｉ］〜Ｆ［ｉ＋２］とし、β［ｊ］が２番目に大きい成分のパラ−メータを特徴量Ｆ［ｉ＋３］〜Ｆ［ｉ＋５］などとすればよい。また成分の個数Ｍの値は、あらかじめ決めておいてもよいし、ＢＩＣ（Bayesian Information Criterion）などの手法を用いて最適値を決定してもよい。

事前に決めておく場合は、例えば、数個〜１０個程度の範囲の個数を用いればよい。また最適値を算出する場合は、評価試験ごとに成分の個数が変わる可能性があるため、成分の個数Ｍを特徴量の１つに入れる。また、最大Ｍｚ個までの成分のパラメータを保存できる特徴量を用意しておき、Ｍ＜Ｍｚの場合には、（Ｍｚ−Ｍ）個のパラメータに対応する特徴量を「０」にすればよい。例えば、成分の個数Ｍを特徴量Ｆ［ｉ］とし、１〜Ｍ個目の成分のパラメータを特徴量Ｆ［ｉ＋１］〜Ｆ［ｉ＋３Ｍ］に対応させる。そして、Ｆ［ｉ＋３Ｍ＋１］〜Ｆ［ｉ＋３Ｍｚ］の特徴量は「０」にする。このようにすれば、成分の個数Ｍを可変にして、特徴量を生成することができる。

図１４は、（Ｃ）アクセス時間の分布からピークの個数とピークの位置を検出する方法を説明するための模式的なグラフである。図１３と同様に、横軸はアクセス時間に対応する階級であり、実際は離散化されているが、図では簡単のため連続量として示している。縦軸は階級ごとの相対頻度ｈ［ｋ］である。

まず、相対頻度の最大値、およびその位置（１番目のピーク）を検出する。図１４においては、階級ｋ１において、最大値ｈ［ｋ１］を取る。次に、２番目に大きなピークの値とその位置を検出する。ピークの検出方法としては種々のものを用いることができるが、例えば、下記式（３）の条件を満たす階級ｋと、その相対頻度ｈ［ｋ］を検出すればよい。すなわち、ｃを正の所定数として、階級がｋ−ｃ〜ｋ＋ｃ（ただしｋを除く）の範囲の相対度数の最大値が、ｈ［ｋ］よりも小さいという条件を満たす位置を検出すればよい。

図１４の例では、２番目のピークはｋ２であり、その相対頻度はｈ［ｋ２］である。同様に、３番目に大きなピーク、４番目に大きなピーク、などを検出し、全部でＱ個のピークを検出する。Ｑの値は、あらかじめ決めておいてもよいし、所定の条件に基づき決定してもよい。例えば、あらかじめ５個と決めておき、大きい順に５個のピークを検出してもよい。あるいは、最大ピークの値に所定の割合を乗じた値以上のピーク値を持つピークのみを検出対象とし、最大Ｑｚ個のピークを検出してもよい。

例えば、図１４に示すように、最大値ｈ［ｋ１］の３０％の値（図の点線）以上のピーク値を持つｋ１、ｋ２のみを検出対象とし、このしきい値に満たないｋ３を検出対象としない等の処理を行ってもよい。１つのピークにつき、アクセス時間の階級ｋと、相対頻度ｈ［ｋ］の２つの数値が得られるので、Ｑ個のピークを検出した場合は、２Ｑ個の特徴量が得られる。また、検出するピークの個数を可変にする場合は、最大Ｑｚ個のピークの情報を保存できる２Ｑｚ個の特徴量と、ピーク個数を保存する１個の特徴量の合計（２Ｑｚ＋１）個の特徴量を用意しておく。そして、実際に検出したピークの個数ＱがＱｚに満たない（Ｑ＜Ｑｚ）場合、２（Ｑｚ−Ｑ）の特徴量は「０」に設定する。

次に、セクタ（ＬＢＡ）軸の情報を用いる特徴量について説明する。アクセスパターンデータのセクタ（ＬＢＡ）軸の情報を用いることにより、メモリカードの特徴を更に詳細に数値化することができる。

セクタ（ＬＢＡ）軸の情報を用いる第１の特徴量として、セグメントごとの特徴量を使用できる。アクセス時間からなるアクセスパターンデータをセクタ方向に複数の領域（セグメント）に分割し、セグメントごとに、上述したセクタ（ＬＢＡ）軸の情報を用いない第１〜第５の特徴量を算出する。

図１５は、セグメント分割の一例を示す図である。図１５は、所定のＬＢＡを境界として、アクセスパターンデータを３つのセグメントに分割した例である。セグメント１〜セグメント３について、それぞれ特徴量を算出する。セグメントの幅は均等であっても、均等でなくてもよい。また、ＬＢＡの絶対値を境界に用いてもよいし、そのメモリカードの最大ＬＢＡを基準とした相対値を境界に用いてもよい。例えば、最大ＬＢＡの１０％の値をセグメントの幅にした１０個のセグメントを作成してもよい。このようにＬＢＡの相対値でセグメントを作成することにより、容量の異なるメモリカードの特徴量の比較が容易になる場合がある。このように複数のセグメントを作成し、セグメントごとに特徴量を算出する方法を用いると、ＬＢＡが小さい領域では、アクセス時間が長いが、ＬＢＡが大きい領域では、アクセス時間が短いといったメモリカードの特性を精度よく特徴量に反映することができる。

セクタ（ＬＢＡ）軸の情報を用いる第２の特徴量として、局所特徴量を使用できる。アクセスパターンデータにおいて、ＬＢＡの小さい方から数えてｕ番目のアクセス時間をＡ［ｕ］とした場合、Ａ［ｕ］とｕの近傍のアクセス時間（Ａ［ｕ−１］、Ａ［ｕ＋１］など）を用いて、局所特徴量を算出する。アクセスパターンデータで測定されたＬＢＡの個数をＵとすると、例えば、下記式（４）に従って、特徴量Ｆ［ｉ］を算出することができる。また、下記式（４）の代わりに下記式（５）を用いてもよい。

上記式（４）または上記式（５）によれば、隣接するセクタ間のアクセス時間の差が大きいアクセスパターンデータほど、特徴量Ｆ［ｉ］が大きくなる。例えば、ＬＢＡの変化に対して、アクセス時間が細かく変動するメモリカードでは、この特徴量が大きな値となる。ＬＢＡの変化によらずアクセス時間がほぼ一定のメモリカードでは、この特徴量は小さな値となる。従って、このようなメモリカードの特性を特徴量に反映させることができる。

また、下記式（６）を用いて特徴量を算出してもよい。上記式（４）との違いは、あるＬＢＡの隣のＬＢＡではなく、所定数ｓだけ離れたＬＢＡとの差を算出する点である。アクセス時間が一定の周期で変動する場合、所定数ｓをその周期に一致させると、特徴量が小さな値となる。所定数ｓが周期と一致しない場合は、特徴量が大きな値となる。従って、ｓを少しずつ変えて、複数の特徴量を算出することにより、アクセス時間の周期的な変動の情報を特徴量に反映させることができる。例えば、ｓ＝１〜１０とした１０種類の特徴量を算出してもよい。

また、下記式（７）を用いて特徴量を算出してもよい。ここでＧ（ｕ）は、下記式（８）で定義される関数である。すなわち、Ｌを所定数として、（ｕ−Ｌ）〜（ｕ＋Ｌ）の範囲の全てのデータにおいて、ＬＢＡの変化に対してアクセス時間が単調増加する場合は「１」、それ以外の場合に「０」となる関数である。このような式を用いることにより、局所的な単調増加パターンの多い／少ないを特徴量に反映させることができる。また、関数Ｇ（ｕ）の設定を変更することにより、単調増加パターンだけでなく、単調減少パターン、Ｖ字変化パターン、逆Ｖ字変化パターンを検出してもよい。

以上詳述した処理により種々の特徴量を抽出することができる。なお上述した方法では、評価対象の個体の１回の測定データに基づいて特徴量を算出するが、複数回の測定データに基づいて特徴量を算出してもよい。例えば、１つの個体についてアクセスパターンデータを３回測定し、３回分のアクセスパターンデータを全て用いて特徴量を算出してもよい。図１３および図１４に示すような、アクセス時間の分布を扱う場合においても、３回分のアクセスパターンデータを合わせた分布を作成した上で特徴量を抽出すればよい。このように、複数回の測定データに基づいて特徴量を抽出すると、測定誤差の影響を軽減することができ、分類精度を向上させることができる。以下では図１２のステップＳ２０において、Ｎ個の特徴量ｉ＝１〜Ｎを算出したものとする。

以下、図１２のフローチャートに戻る。分類部１１５は、評価対象のメモリカードの特徴量と、各比較対象のメモリカードの特徴量との距離を算出する（Ｓ２１）。評価対象のメモリカードの特徴量をＦｅ［ｉ］（ｉ＝１〜Ｎ）とする。

図１６は、評価データ保持部１２１のデータ形式の一例を示す図である。評価データ保持部１２１は、過去に評価した個体のデータを基準データとして、データベース化して格納している。図１６に示す基準データのデータベースには、基準データ番号と、記憶容量と、カテゴリ番号と、特徴量と、寿命データとが関連づけて格納されている。この寿命データは、上述した寿命試験の結果得られるデータであり、少なくとも限界書き込み回数を含む。また、これ以外に、寿命に達するまでの書き込みアクセス時間のプロットデータ、読み出しアクセス時間のプロットデータ、寿命に達したときの書き込みアクセス時間および読み出しアクセス時間などのデータを含めてもよい。

カテゴリ番号は、カテゴリを識別する番号であり、同じカテゴリのメモリカードは、基本的に同じ寿命特性を持つとみなす。ただし、後述するように、寿命予測の際に記憶容量の違いを考慮する。図１６に示す例では、記憶容量４ＧＢのメモリカードは、Ｒ１個登録されており、Ｃ１種類のカテゴリが存在する。また記憶容量８ＧＢのメモリカードは、Ｒ２個登録されており、Ｃ２種類のカテゴリが存在する。全体としては、Ｒ個のデータが登録されており、Ｃ種類のカテゴリが存在する状態である。なお、図１６には示していないが、図９に示したように、「データ名」、「ラベル表記のメーカ」、「ラベル表記のスピード」等の情報をデータベースに格納してもよい。

記憶容量が異なるメモリカードには、基本的には異なるカテゴリ番号が付与されているが、１つのカテゴリ番号に記憶容量の異なる複数のメモリカードを対応させておくことも可能である。また図１６に示すように、１つのカテゴリに対して、複数の基準データを登録してもよい（カテゴリ「１」が３個存在する）。１つのカテゴリに対して最低１つの基準データが必要である。また寿命データは、寿命評価試験により得られた数値である。図１６に示す基準データのデータベースには、Ｒ個の基準データが存在するものとし、基準データ番号ｒ（ｒ＝１〜Ｒ）の特徴量をＦ［ｒ］［ｉ］（ｉ＝１〜Ｎ）とする。評価対象の個体のデータと、基準データｒとの間の距離ｄ［ｒ］は、下記式（９）により算出することができる。

ここで、ｗ［ｉ］（ｉ＝１〜Ｎ）は、重み係数であり、特徴量ごとに所定の正の値を設定しておく。この重み係数を使用しないことも可能であるが、重み係数を用いると、スケール（値の範囲）の大きく異なる特徴量が存在しても、精度よく距離を算出することができる。また、データベース内の基準データの特徴量それぞれを、最大値が「１」、最小値が「０」になるように正規化しておき、評価対象の個体の特徴量も同じ方法で正規化した上で、距離を算出してもよい。また、データベース内の基準データの特徴量それぞれを、平均値が「０」、標準偏差「１」になるように正規化しておき、評価対象の個体の特徴量も同じ方法で正規化した上で、距離を算出してもよい。そのような正規化を行う場合は、重み係数ｗ［ｉ］を省略してもよい。

図１２のフローチャートに戻る。次に分類部１１５は、距離ｄ［ｒ］（ｒ＝１〜Ｒ）の中から最短距離を持つ基準データを特定する（Ｓ２２）。

図１７は、最短距離を持つ基準データを特定する処理を説明するための模式図である。図１７では、特徴量の数が３個の場合を示しており、評価対象の個体、および基準データはこの３次元空間内の点として表される。図１７内の黒丸は、評価対象の個体を示しており、番号の付いた白丸は、基準データを示しており、番号は基準データのカテゴリを示している。図１７の例では、カテゴリ２の基準データとの距離が最短であると特定できる。

図１２のフローチャートに戻る。次に分類部１１５は、特定した最短距離が所定の設定値ε以下であるか否か判定する（Ｓ２３）。設定値εを決める方法の１つとして、以下の方法を用いることができる。まず、予備実験として、同一カテゴリに属する複数のメモリカードを用意し、それぞれのアクセスパターンを測定し、それぞれの特徴量を算出する。次に、同一カテゴリに属する個体間の距離を算出し、その距離の最大値（同一カテゴリの最大距離）を算出する。例えば、同一カテゴリに属する５個のメモリカードを用意し、それぞれの個体間の１０個の距離を算出し、その最大値を算出すればよい。そして、同一カテゴリの最大距離の定数倍を設定値εとする。例えば、同一カテゴリの最大距離の２倍を設定値εとする。

ステップＳ２３において最短距離が設定値ε以下である場合（Ｓ２３のＹ）、分類部１１５は、評価対象の個体のカテゴリを、最短距離を持つ基準データのカテゴリと同じと判定する（Ｓ２４）。そして、評価対象の個体の寿命（限界書き込み回数）を、最短距離を持つ基準データの寿命（限界書き込み回数）から推定する。なお、この場合は、寿命試験は不要である。具体的には、評価対象の個体の単位容量あたりの寿命が、最短距離を持つ基準データの単位容量あたりの寿命と同じであると推定する。例えば、評価対象の記憶容量と、最短距離を持つ基準データの記憶容量が同じ場合、評価対象の個体の寿命は、基準データの寿命と同じと推定する。また例えば、評価対象の個体が８ＧＢであり、最短距離を持つ基準データが４ＧＢの場合は、評価対象の個体は、その基準データの２倍の寿命を持つと推定する。

なお、最短距離を持つ基準データと同じカテゴリ番号を持つ基準データを更に用いて、寿命予測を行ってもよい。例えば、図１６に示す例において、最短距離を持つ基準データの番号が「３」である場合、そのカテゴリ番号「１」と同じカテゴリ番号を持つ基準データ（「１」〜「３」）を用いて寿命予測をしてもよい。具体的には、基準データ「１」〜「３」の寿命データＬｉｆｅ１〜Ｌｉｆｅ３の平均値または中央値等の代表値を用いて寿命を予測する。

ステップＳ２３において最短距離が設定値εより大きい場合（Ｓ２３のＮ）、分類部１１５は、評価対象の個体を、基準データのデータベースに登録されているカテゴリのどれにも該当しないと判定し、新規カテゴリとして基準データに登録する（Ｓ２５）。例えば、図１６に示す例の場合、データベースに（Ｒ＋１）行目を追加し、既に登録されているカテゴリ番号の最大値（最大カテゴリ番号）に１を加えた番号を新規カテゴリとして登録し、特徴量の項目に抽出した特徴量Ｆｅ［ｉ］（ｉ＝１〜Ｎ）を登録する。寿命データの項目（限界書き込み回数）は一先ず空欄として登録され、寿命試験が実施された後に、限界書き込み回数が登録される。

なお、上述の説明では、評価対象の個体と全ての基準データとの距離を算出したが、評価対象の個体の記憶容量と同じ記憶容量を持つ基準データに限定して距離を算出してもよい。すなわち、評価対象の個体と同じ記憶容量を持つ基準データを用いて寿命予測を行う。基準データの個数がある程度多い場合には、このようにした方が、寿命予測の精度が高くなる。

また、基準データが非常に少ない場合は、全ての基準データを比較対象とし、基準データが比較的多い場合には、記憶容量が所定の範囲にある基準データを比較対象としてもよい。基準データが非常に多い場合には、評価対象と記憶容量が同じ基準データのみを比較対象とする等の制御を行ってもよい。所定の範囲としては、例えば、評価対象のメモリカードの記憶容量の１／２倍〜２倍の範囲を用いることができる。

また、上述の説明では、特徴量を用いて、評価対象の個体と基準データとの距離を算出したが、距離の代わりに類似度を算出してもよい。例えば、下記式（１０）に従って、類似度Ｓ［ｒ］（ｒ＝１〜Ｒ）を算出してもよい。この場合は、図１２のステップＳ２２において、最大類似度を特定し、ステップＳ２３において、最大類似度が設定値以上であるか否かを判定すればよい。

また、１つのカテゴリについて複数（例えば、１０個程度）の基準データをデータベースに登録した上で、評価対象の個体と距離の小さい順にγ個（γ≧２）の評価データを特定し、それらを用いて評価対象の個体のカテゴリを決定してもよい。例えば、距離の小さい順に３個の基準データを特定してカテゴリの判定を行うことができる。距離が１番小さい基準データのカテゴリが「１」、２番目に小さい基準データのカテゴリが「３」、３番目に小さい基準データのカテゴリが「１」であった場合、多数決により、最も数の多いカテゴリ「１」を評価対象の個体のカテゴリとする。また、距離が１番小さい基準データのカテゴリが「２」、２番目に小さい基準データのカテゴリが「３」、３番目に小さい基準データのカテゴリが「１」であった場合、多数決では決まらないため、最短距離のカテゴリ「２」を評価対象の個体のカテゴリとする。また、距離の小さい順に所定数の基準データを特定し、それぞれの距離が小さいほど大きな値となる重み付けを行って多数決処理を行ってもよい。

このように、最短距離の基準データのカテゴリだけでなく、距離の短い順に所定数の基準データを特定し、それらのカテゴリを用いて評価対象の個体のカテゴリを判定することにより、アクセス時間測定の誤差の影響を軽減し、精度よく分類を行うことができる。

また、距離の短い順に所定数（複数）の基準データを特定し、それらの複数の寿命データの代表値（平均値、中央値など）を用いて寿命予測を行ってもよい。この寿命予測方法は、評価対象の個体のカテゴリを１つに決定せずに、複数のカテゴリと関連があると見なして、寿命予測をすることに相当する。また、距離の小さい順に所定数の基準データを特定し、それぞれの距離が小さいほど大きな値となる重み付けを複数の寿命データに対して行って、加重平均値を算出し、それを用いて寿命予測を行ってもよい。

以上説明したように実施の形態２によれば、実施の形態１と同様に不揮発性半導体記憶装置３０の寿命を外部から予測できる。即ち内蔵されている不揮発性メモリとコントロールチップを特定することなく、パッケージ化された状態で不揮発性半導体記憶装置３０の寿命を予測できる。

実施の形態１のようにカテゴリ分類をユーザの目視により決定するのではなく、統計的処理にもとづき抽出される特徴量にもとづき決定することにより、より客観的なカテゴリ分類ができる。特にアクセスパターンデータのサンプル数が多く揃った後は、高精度に分類できる。また不揮発性半導体記憶装置は、ハードディスクと比較してアクセスパターンデータが安定しており、異常値が少なく統計処理に馴染みやすい。

以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

例えば実施の形態１で説明したグラフィックユーザインタフェースと、実施の形態２で説明した特徴量にもとづく自動分類を組み合わせてもよい。例えば図８に示した操作画面に自動分類ボタンを追加してもよい。ユーザは、自動分類ボタンを押下することにより、情報処理装置１０により評価対象と最も差分が小さいと判断された比較対象のアクセスパターンデータのグラフを表示させることができる。これにより、ユーザは自己の判断と、試験装置２０により算出された判断が一致しているか確認できる。また、自動分類されたカテゴリを参考にして、ユーザが最終的なカテゴリを判定してもよい。

１ 評価システム、 １０ 情報処理装置、 １１ 制御部、 １１１ 試験実行部、 １１２ 特徴量抽出部、 １１３ 表示制御部、 １１４ 操作受付部、 １１５ 分類部、 １１６ 寿命評価部、 １２ 記憶部、 １２１ 評価データ保持部、 １３ 表示部、 １４ 操作部、 ２０ 試験装置、 ３０ 不揮発性半導体記憶装置、 ３１ 不揮発性メモリ、 ３２ コントローラ。

Claims (10)

1. 不揮発性半導体メモリと、コントローラを含む不揮発性半導体記憶装置の評価方法であって、
   不揮発性半導体記憶装置に、所定のアクセスパターンでデータの書き込み又は読み出しを行い、単位記憶領域ごとのアクセス時間を測定する測定ステップと、
   測定した単位記憶領域ごとのアクセス時間から特徴量を抽出する抽出ステップと、
   評価対象の不揮発性半導体記憶装置の前記特徴量と、既にカテゴリ分類された他の不揮発性半導体記憶装置の前記特徴量を比較して、前記評価対象の不揮発性半導体記憶装置を分類する分類ステップと、
   を備えることを特徴とする評価方法。
2. 前記分類ステップは、
   前記評価対象の不揮発性半導体記憶装置の前記特徴量と、最も差が小さい他の不揮発性半導体記憶装置の前記特徴量を特定し、両者の差が所定値以下の場合、前記評価対象の不揮発性半導体記憶装置を前記他の不揮発性半導体記憶装置が属するカテゴリに分類し、前記両者の差が前記所定値を超える場合、前記評価対象の不揮発性半導体記憶装置を新たなカテゴリに分類することを特徴とする請求項１に記載の評価方法。
3. 前記抽出ステップは、前記単位記憶領域ごとのアクセス時間の平均値、中央値、最頻値、又は合計値で規定される特徴量を抽出することを特徴とする請求項１または２に記載の評価方法。
4. 前記抽出ステップは、前記単位記憶領域ごとのアクセス時間の分布の範囲を示す値、当該分布の幅を示す値、又は当該分布の形状を示す値で規定される特徴量を抽出することを特徴とする請求項１から３のいずれかに記載の評価方法。
5. 前記抽出ステップは、前記単位記憶領域ごとのアクセス時間をアクセスアドレスに応じて複数のセグメントに分割し、セグメントごとに特徴量を抽出することを特徴とする請求項１から４のいずれかに記載の評価方法。
6. 前記抽出ステップは、前記単位記憶領域ごとのアクセス時間とアクセスアドレスとの関係から局所特徴量を抽出することを特徴とする請求項１から５のいずれかに記載の評価方法。
7. 前記評価方法は、
   前記分類ステップによって分類された前記評価対象の不揮発性半導体記憶装置のカテゴリと同じカテゴリに属する他の不揮発性半導体記憶装置の寿命に係るデータに基づいて、前記評価対象の不揮発性半導体記憶装置の寿命を予測する寿命予測ステップをさらに備える、
   ことを特徴とする請求項１から６のいずれかに記載の評価方法。
8. 前記評価方法は、
   当該不揮発性半導体記憶装置に対して書き込んだデータと、当該不揮発性半導体記憶装置から読み出したデータを比較して当該不揮発性半導体記憶装置の寿命を評価する寿命評価ステップをさらに備え、
   前記寿命評価ステップは、不揮発性半導体記憶装を分類するカテゴリごとに少なくとも１つの不揮発性半導体記憶装置の寿命を評価することを特徴とする請求項１から７のいずれかに記載の評価方法。
9. 不揮発性半導体メモリと、コントローラを含む不揮発性半導体記憶装置の評価システムであって、
   不揮発性半導体記憶装置に、所定のアクセスパターンでデータの書き込み又は読み出しを行い、単位記憶領域ごとのアクセス時間を測定する試験装置と、
   前記試験装置から単位記憶領域ごとのアクセス時間を取得する情報処理装置と、を備え、
   前記情報処理装置は、
   取得した単位記憶領域ごとのアクセス時間から特徴量を抽出する特徴量抽出部と、
   評価対象の不揮発性半導体記憶装置の前記特徴量と、既にカテゴリ分類された他の不揮発性半導体記憶装置の前記特徴量を比較して、前記評価対象の不揮発性半導体記憶装置を分類する分類部と、
   を備えることを特徴とする評価システム。
10. 不揮発性半導体メモリと、コントローラを含む不揮発性半導体記憶装置の評価プログラムであって、
    不揮発性半導体記憶装置に、所定のアクセスパターンでデータの書き込み又は読み出しを行い、単位記憶領域ごとのアクセス時間を測定する試験装置から単位記憶領域ごとのアクセス時間を取得する処理と、
    取得した単位記憶領域ごとアクセス時間から特徴量を抽出する抽出処理と、
    評価対象の不揮発性半導体記憶装置の前記特徴量と、既にカテゴリ分類された他の不揮発性半導体記憶装置の前記特徴量を比較して、前記評価対象の不揮発性半導体記憶装置を分類する分類処理と、
    をコンピュータに実行させることを特徴とする評価プログラム。

Images