JP2023520791A - ソフトウェア設計管理および品質保証のためのシステムおよび方法 - Google Patents

Abstract

ユーザー活動データ内の刺激反応パターンを分析するための設計管理アーキテクチャおよびソフトウェア品質保証システム。設計管理アーキテクチャおよびソフトウェア品質保証システムは、ユーザー活動データを分類器モデルに従って処理して、ソフトウェア製品の１つ以上の品質尺度に対する漸進的設計変更の影響を評価し得る。ある実施形態によれば、１つ以上の品質尺度は、ソフトウェア製品の１つ以上の特徴と関連付けられた１つ以上の有効性、安全性、および／または性能測定基準を含み得る。ある実施形態では、ソフトウェア製品は、デジタルヘルス介入または医療機器製品としてのソフトウェアを含み得る。【選択図】図１

Description

関連出願の相互参照
本出願は、２０２０年１２月９日に出願された米国出願第１７／１１７，０５０号および２０２０年４月１日に出願された米国仮出願第６３／００３，６７３号の優先権利益を主張し、それら各々の全体は少なくとも参照により本明細書に組み込まれる。

本開示は、ソフトウェア品質保証システムの分野、具体的には、プログラムコードビルドと関連付けられた１つ以上の性能測定基準を評価、測定および／または検証するためにユーザー検査データにおける刺激入力パターンの手続き的分析のためのシステムおよび方法に関する。

品質保証は多くの場合、ソフトウェアの開発で不可欠な部分である。例えば、品質保証要員は、新しく開発されたソフトウェアを検査し、ソフトウェア内に含まれている欠陥を識別して、そのソフトウェアがエンドユーザーにリリースされるために十分に高い品質であるかどうかを判断し得る。ソフトウェア品質保証は、要件定義、ソフトウェア設計、コーディング、コードレビュー、ソースコード管理、ソフトウェア構成管理、検査、リリース管理および製品統合を含む、ソフトウェア開発プロセス全体を包含し得る。ソフトウェア品質保証プロセスは、目標、コミットメント、能力、活動、測定および検証にまとめられ得る。

ソフトウェアはヘルスケア製品開発のますます重要な領域である。ヘルスケア製品開発の拡大している領域は、デジタルヘルス介入（すなわち、スマートフォン、モバイルコンピューティング装置、ウェアラブル電子機器、および同様のものなどのデジタル技術を介して提供される介入）の領域であり、健康およびヘルスケアを改善するために効果的で、費用効率が高く、安全で拡張性のある介入を提供する。デジタルヘルス介入（ＤＨＩ）および医療機器としてのソフトウェア（ＳａＭＤ）は、循環器疾患、糖尿病およびメンタルヘルス状態などの長期にわたる状態をもつ人々において、健康的な挙動を促進し、結果を改善して、効果的な治療法、例えば、メンタルヘルスおよび身体的問題に対するコンピュータ制御された認知行動療法、へのリモートアクセスを提供するために使用できる。医療機器としてのソフトウェア（ＳａＭＤ）は、国際医療機器規制当局フォーラム（ＩＭＤＲＦ）により「１つ以上の医療目的のために使用されることを意図し、ハードウェア医療機器の一部であることなくこれらの目的を実行するソフトウェア」として定義される。ＤＨＩは多くの場合、複数の構成要素を備えた複雑な介入であり、多くは、ユーザーが、自分の健康についてより良く情報が与えられて、似通った立場にある他者と経験を共有し、健康に関する認識および認知を変え、指定された健康状態または健康挙動を評価および監視して、薬物を滴定し、健康の優先事項を明確にして、これらと合致する治療法の決定に至り、患者と医療専門家（ＨＣＰ）との間のコミュニケーションを改善するのを可能にすることを含む、複数の目的を有する。有効な構成要素は、情報、心理教育、個人的な話、正式決定支援、挙動変化サポート、ＨＣＰおよび他の患者とのやり取り、自己評価または監視ツール（認知行動療法またはマインドフルネス訓練などの対面送達のために開発されたアンケート、ウェアラブル、モニター、および有効な理論に基づいた心理学的介入）を含み得る。あるＤＨＩおよびＳａＭＤ製品は、単に治療全体の一構成要素ではなく、１つ以上の神経学的、心理学的および／もしくは身体的状態、疾病、ならびに／または障害に関連した１つ以上の神経回路の治療および／または標的化においてそれ自体直接的に治療効果のあるソフトウェアを含み得る。

ＳａＭＤおよびＤＨＩソフトウェア製品の特有の性質は、ビジネスまたは消費者向けソフトウェア製品と比較して、ソフトウェア開発およびソフトウェア品質保証ポリシー、プロセスならびに標準に関して特定の難題をもたらす。払われた努力、工夫、および革新を通して、出願人は従来技術のソリューションの欠陥を識別し、以下で詳細に説明される、本開示によって具現化されるソリューションを開発した。

本発明の基本的な理解を提供するために、以下は、本発明のある実施形態の簡略化された概要である。本概要は、広範ではなく、本発明の鍵となる／重要な要素を識別することも、本発明の範囲を線引きすることも意図していない。その唯一の目的は、本発明の実施形態を、更に以下のより詳細な記述への序曲として簡略化された形式で提示することである。

本開示の目的は、ソフトウェア製品の１つ以上の特徴の有効性、安全性、および／または性能を評価するためにユーザー活動データにおける刺激反応パターンを分析するための設計管理アーキテクチャおよび品質保証システムを含む。更なる目的は、ソフトウェア製品の有効性、安全性、および／または性能への漸進的設計変更の影響を評価するための設計管理アーキテクチャおよび品質保証システムを含む。本開示のある態様は、ソフトウェア設計、コーディング、コードレビュー、ソースコード管理、ソフトウェア構成管理、検査、リリース管理および製品統合を含む、ＤＨＩまたはＳａＭＤのための１つ以上のソフトウェア開発プロセスを監視および構成するための設計管理アーキテクチャおよび品質保証システム／方法を提供する。

本開示の目的は、ＤＨＩまたはＳａＭＤの性能を測定するためのシステムおよび方法を含む。更なる目的は、ＤＨＩまたはＳａＭＤの治療活動および／もしくは有効性の量を測定ならびに／または定量化するためのシステムおよび方法を含む。本開示のある態様は、ユーザーの１つ以上の神経学的、心理学的および／もしくは身体的状態、疾病、ならびに／または障害に関連した１つ以上の神経回路を治療および／または標的にするためにＤＨＩまたはＳａＭＤの有効性を測定および／または検証するためのシステムおよび方法を含み得る。更なる目的は、ＤＨＩまたはＳａＭＤの１つ以上の個々の特徴または態様の治療活動および／もしくは有効性の量を測定ならびに／または定量化するためのシステムおよび方法を含む。更なる目的は、ユーザーの１つ以上の神経学的、心理学的および／もしくは身体的状態、疾病、ならびに／または障害に関連した１つ以上の神経回路を治療および／または標的にするためのＤＨＩまたはＳａＭＤの有効性への漸進的設計変更の影響を評価するためのシステムおよび方法を含む。

本開示の目的は、ＤＨＩまたはＳａＭＤ製品の１つ以上のインスタンスもしくはセッションから生じたユーザー活動データにおける１つ以上のパターンを分析するためのシステムおよび方法を含む。ある実施形態によれば、１つ以上のパターンは、１つ以上の臨床的に検証された刺激反応パターンを含み得る。本開示のある実施形態は、ユーザー入力を１つ以上のカテゴリに分類および／またはマッピングするための機械学習フレームワーク、分類器モデル、および／または分類アルゴリズムを含み得る。ある実施形態では、１つ以上のカテゴリは、ＤＨＩまたはＳａＭＤ製品の１つ以上の安全性、有効性、または性能態様に対応し得る。

本開示のある態様は、ソフトウェア品質保証のためのプロセッサ実装方法を提供し、コンピューティング装置を用いて、ソフトウェアビルドの検査インスタンスをユーザーに提示することであって、ソフトウェアビルドは、１つ以上のコンピュータ制御刺激または相互作用をグラフィカルユーザーインタフェースを介してユーザーに提示するように構成された少なくとも１つのテスト特徴を含むこと；コンピューティング装置を用いて、１つ以上のコンピュータ制御刺激または相互作用に応答して１つ以上のユーザー入力を受信することであって、１つ以上のユーザー入力はユーザー活動データを含むこと；コンピューティング装置と通信可能に係合されたプロセッサを用いて、ユーザー活動データを受信すること；プロセッサを用いて、活動データを分類するための少なくとも１つの分類モデルに従ってユーザー活動データを処理することであって、少なくとも１つの分類モデルは、標的とされた刺激反応パターンと関連付けられた１つ以上の変数を分類するように構成されていること；ユーザー活動データと１つ以上のコンピュータ制御刺激または相互作用との間で刺激入力パターンを分析してソフトウェアビルドに対する１つ以上の性能測定基準を決定することであって、１つ以上の性能測定基準は、少なくとも１つのテスト特徴の有効性の尺度を含むこと；ならびに、１つ以上の性能測定基準に従ってソフトウェアビルドを評価してソフトウェアビルドの合格／不合格状態を最小性能閾値に従って判断すること、を含む。

本開示の前記態様によれば、ソフトウェア品質保証のための前記方法は、１つ以上の性能測定基準に従ってソフトウェアビルドを評価して、少なくとも１つのテスト特徴の合格／不合格状態を最小性能閾値に従って判断することを更に含み得る。本方法は、ソフトウェアビルドに対する１つ以上の性能測定基準を以前の、または後続のソフトウェアビルドからの１つ以上の性能測定基準と比較して、１つ以上の性能測定基準における変化の量を判断することを更に含み得る。ある実施形態では、１つ以上の性能測定基準は、ソフトウェアビルドの検査インスタンスに応答してユーザーによって受け取られる有効な治療送達の量を含む。

本開示の前記態様によれば、ソフトウェア品質保証のための方法は、ユーザー活動データおよび１つ以上の性能測定基準をグラフィカルユーザーインタフェースを介して管理者ユーザーに提示することを更に含み得、グラフィカルユーザーインタフェースは、少なくとも１つのテスト特徴の評価のために１つ以上のユーザークエリーを受信するように構成される。ある実施形態では、１つ以上の性能測定基準は、少なくとも１つのテスト特徴および／またはソフトウェアビルドの安全性の尺度を含む。ある実施形態では、１つ以上のコンピュータ制御刺激または相互作用は、ユーザーの１つ以上の神経学的、心理学的または身体的状態を有効に治療または標的にするように構成され得る。前記実施形態によれば、有効性の尺度は、ユーザーの１つ以上の神経学的、心理学的または身体的状態に対する治療処置の程度に対応し得る。前記実施形態に更によれば、少なくとも１つの分類モデルは、ユーザーの１つ以上の神経学的、心理学的および／もしくは身体的状態の治療または標的設定と関連付けられた１つ以上の変数を分類するように構成され得る。

本開示の更なる態様は、ソフトウェア品質保証のためのプロセッサ実装システムを提供し、少なくとも１つのプロセッサを含む少なくとも１つのサーバーであって、少なくとも１つのサーバーは、ソフトウェアビルドの検査インスタンス内で提示されている１つ以上のコンピュータ制御刺激または相互作用に応答して複数のユーザー生成入力を受信するために１つ以上のコンピューティング装置と通信可能に係合されており、複数のユーザー生成入力は、ユーザー活動データを含むこと、ならびに少なくとも１つのプロセッサと作動可能に係合されて、コンピュータ実行可能命令で符号化された持続性コンピュータ可読記憶媒体であって、コンピュータ実行可能命令は、少なくとも１つのプロセッサによって実行される場合に：ユーザー活動データを受信すること；ユーザー活動データを分類するための少なくとも１つの分類モデルに従ってユーザー活動データを処理することであって、少なくとも１つの分類モデルは、標的とされた刺激反応パターンと関連付けられた１つ以上の変数を分類するように構成されていること；ユーザー活動データと１つ以上のコンピュータ制御刺激または相互作用との間で少なくとも１つの刺激入力パターンを分析してソフトウェアビルドに対する１つ以上の性能測定基準を決定することであって、１つ以上の性能測定基準は、少なくとも１つのテスト特徴の安全性、性能または有効性の尺度を含むこと；および、１つ以上の性能測定基準に従ってソフトウェアビルドを評価してソフトウェアビルドの合格／不合格状態を最小性能閾値に従って判断すること、のために１つ以上の動作を実行すること、を含む。

本開示の前記態様によれば、ソフトウェア品質保証のためのシステムは、分類モデルが、アンサンブル学習モデルおよび／または教師あり学習モデルを含む少なくとも１つの機械学習フレームワークを含むように更に構成され得る。ある実施形態によれば、本システムは、分類モデルがランダムフォレストアルゴリズムまたはランダム決定フォレストアルゴリズムを含むように更に構成され得る。本システムは、少なくとも１つのサーバーが、複数のユーザー生成入力を受信するためにアプリケーションプログラムインタフェースを介して少なくとも１つの外部サーバーと通信可能に係合されるように更に構成され得る。

ある実施形態によれば、ソフトウェア品質保証のためのシステムは、コンピュータ実行可能命令が、ユーザー活動データおよび１つ以上の性能測定基準をグラフィカルユーザーインタフェースを介して管理者ユーザーに提示するための動作を更に含むように更に構成され得る。本システムは、コンピュータ実行可能命令が、ソフトウェアビルドに対する１つ以上の性能測定基準を、以前の、または後続のソフトウェアビルドと比較して、１つ以上の性能測定基準における変化の量を判断するための動作を更に含むように更に構成され得る。本システムは、コンピュータ実行可能命令が、１つ以上のコンピュータ制御刺激または相互作用に応答してユーザーによって受け取られる有効な治療送達の量を決定するための動作を更に含むように更に構成され得る。

ある実施形態によれば、ソフトウェア品質保証のためのシステムは、コンピュータ実行可能命令が、ソフトウェアビルドに対する１つ以上の性能測定基準を、以前の、または後続のソフトウェアビルドからの１つ以上の性能測定基準と比較して、少なくとも１つのテスト特徴と１つ以上の性能測定基準との間の因果関係を分析するための動作を更に含むように更に構成され得る。本システムは、少なくとも１つのテスト特徴が、少なくとも１つのテスト特徴の以前のバージョンからの設計変更または変動を更に含むように更に構成され得る。ある実施形態によれば、コンピュータ実行可能命令は、設計変更または変動と１つ以上の性能測定基準との間の因果関係を分析するための動作を更に含み得る。

本開示のなお更なる態様は、１つ以上のプロセッサにソフトウェア品質保証のための動作を実行するように指示するための命令で符号化された持続性コンピュータ可読記憶媒体を提供し、動作は、ソフトウェアビルドの検査インスタンス内で提示されている１つ以上のコンピュータ制御刺激または相互作用に応答して複数のユーザー生成入力を受信することであって、複数のユーザー生成入力はユーザー活動データを含むこと；ユーザー活動データを分類するための少なくとも１つの分類モデルに従ってユーザー活動データを処理することであって、少なくとも１つの分類モデルは標的とされた刺激反応パターンと関連付けられた１つ以上の変数を分類するように構成されていること；ユーザー活動データと１つ以上のコンピュータ制御刺激または相互作用との間で少なくとも１つの刺激反応パターンを分析してソフトウェアビルドに対する１つ以上の性能測定基準を決定することであって、１つ以上の性能測定基準は、少なくとも１つのテスト特徴の安全性、性能または有効性の尺度を含むこと；および、１つ以上の性能測定基準に従ってソフトウェアビルドを評価してソフトウェアビルドの合格／不合格状態を最小性能閾値に従って判断すること、を含む。

本開示のなお更なる態様は、ソフトウェア品質保証のための方法を提供し、ユーザーコンピューティング装置を用いてグラフィカルユーザーインタフェースを介して、ソフトウェアビルドのインスタンスをユーザーに提示することであって、ソフトウェアビルドは、１つ以上のコンピュータ制御刺激または相互作用に応答して予期された刺激入力パターンをユーザーから引き出すように構成された１つ以上のコンピュータ制御刺激または相互作用を含む少なくとも１つの特徴を含むこと；ユーザーコンピューティング装置と通信可能に係合された少なくとも１つのセンサーを用いて、ソフトウェアビルドのインスタンス内での１つ以上のコンピュータ制御刺激または相互作用の提示に応答して複数のユーザー入力を受信することであって、複数のユーザー入力は、ソフトウェアビルドのセッションに対するユーザー活動データを含むこと；コンピューティング装置と通信可能に係合されたプロセッサを用いて、ユーザー活動データを受信すること；プロセッサを用いて、ユーザー活動データを少なくとも１つのデータモデルに従って処理して、複数のユーザー入力内の各ユーザー入力に対する１つ以上の実際の刺激入力パターンを判断すること；複数のユーザー入力内の各ユーザー入力に対する１つ以上の実際の刺激入力パターンを少なくとも１つの特徴に対する予期された刺激入力パターンと比較して、１つ以上の実際の刺激入力パターンが、ソフトウェアビルドのセッション内の予期された刺激入力パターンを反映していたインスタンスの総数を決定すること；プロセッサを用いて、ユーザー活動データに対する少なくとも１つの出力値を少なくとも１つのデータモデルに従って計算することであって、少なくとも１つの出力値は、少なくとも１つの特徴に適したモデルの定性的または定量的程度を含むこと；およびソフトウェアビルドに対する合格／不合格状態を少なくとも１つの出力値に従って判断すること、を含む。

本開示の前記態様によれば、ソフトウェア品質保証のための前記方法は、ソフトウェアビルドのセッション内の正味治療活動の量を、１つ以上の実際の刺激入力パターンが予期された刺激入力パターンを反映していたインスタンスの総数に従って計算することを更に含み得る。本方法は、ソフトウェアビルドのセッション内の少なくとも１つの特徴に対する有効な治療送達の量を、１つ以上の実際の刺激入力パターンが予期された刺激入力パターンを反映していたインスタンスの総数に従って計算することを更に含み得る。ある実施形態によれば、少なくとも１つのデータモデルは、１つ以上の性能、安全性または有効性パラメータと関連付けられた１つ以上の変数を分類するように構成された分類モデルを含み得る。ある実施形態によれば、本方法は、少なくとも１つの特徴に対する合格／不合格状態を少なくとも１つの出力値に従って判断することをさらに含み得る。本方法は、少なくとも１つの出力値を、ソフトウェアビルドの少なくとも１つの以前のバージョンと関連付けられた少なくとも１つの以前の出力値と比較して、少なくとも１つの特徴に起因する変化の量を判断することを更に含み得る。本方法は、ソフトウェアビルドのセッション内の正味治療活動の量を、ソフトウェアビルドの少なくとも１つの以前のバージョンと関連付けられた正味治療活動の少なくとも１つの以前の量と比較して、少なくとも１つの特徴に起因する変化の量を判断することを更に含み得る。本方法は、ソフトウェアビルドに対する合格／不合格状態をソフトウェアビルドのセッション内の正味治療活動の量に従って判断することを更に含み得る。本方法は、ソフトウェアビルドに対する合格／不合格状態をソフトウェアビルドのセッション内の少なくとも１つの特徴に対する有効な治療送達の量に従って判断することを更に含み得る。

本開示のなお更なる態様は、ソフトウェア品質保証のためのシステムを提供し、プロセッサ；ならびにプロセッサと通信可能に係合されて、プロセッサ実行可能命令で符号化された、持続性コンピュータ可読記憶媒体であって、プロセッサ実行可能命令は、実行される場合に、プロセッサに、ソフトウェアビルドのインスタンスを含むグラフィカルユーザーインタフェースを提示することであって、ソフトウェアビルドは、１つ以上のコンピュータ制御刺激または相互作用に応答して予期された刺激入力パターンをユーザーからから引き出すように構成された１つ以上のコンピュータ制御刺激または相互作用を含む少なくとも１つの特徴を含むこと；ソフトウェアビルドのセッションに対する複数のユーザー活動データを受信することであって、複数のユーザー活動データは、１つ以上のコンピュータ制御刺激または相互作用に応答して複数のユーザー入力を含むこと；複数のユーザー活動データを少なくとも１つデータモデルに従って処理して、複数のユーザー入力内の各ユーザー入力に対して１つ以上の実際の刺激入力パターンを判断すること；複数のユーザー入力内の各ユーザー入力に対する１つ以上の実際の刺激入力パターンを少なくとも１つの特徴に対する予期された刺激入力パターンと比較して、１つ以上の実際の刺激入力パターンが、ソフトウェアビルドのセッション内の予期された刺激入力パターンを反映していたインスタンスの総数を決定すること；複数のユーザー活動データに対する少なくとも１つの出力値を少なくとも１つのデータモデルに従って計算することであって、少なくとも１つの出力値は、少なくとも１つの特徴に適したモデルの定性的または定量的程度を含むこと；およびソフトウェアビルドに対する合格／不合格状態を少なくとも１つの出力値に従って判断すること、を含む１つ以上の動作を実行させること、を含む。

本開示の前記態様によれば、ソフトウェア品質保証のためのシステムは、１つ以上の動作が、ソフトウェアビルドのセッション内の正味治療活動の量を、１つ以上の実際の刺激入力パターンが予期された刺激入力パターンを反映していたインスタンスの総数に従って計算することを更に含むように更に構成され得る。ある実施形態では、１つ以上の動作は、ソフトウェアビルドのセッション内の少なくとも１つ特徴に対する有効な治療送達の量を、１つ以上の実際の刺激入力パターンが予期された刺激入力パターンを反映していたインスタンスの総数に従って計算することを更に含み得る。ある実施形態では、少なくとも１つデータモデルは、１つ以上の性能、安全性または有効性パラメータと関連付けられた１つ以上の変数を分類するように構成された分類モデルを含み得る。ある実施形態では、１つ以上の動作は、少なくとも１つ特徴に対する合格／不合格状態を少なくとも１つの出力値に従って判断することを更に含み得る。ある実施形態では、１つ以上の動作は、少なくとも１つの出力値を、ソフトウェアビルドの少なくとも１つの以前のバージョンと関連付けられた少なくとも１つの以前の出力値と比較して、少なくとも１つの特徴に起因する変化の量を判断することを更に含み得る。

ある実施形態では、１つ以上の動作は、ソフトウェアビルドのセッション内の正味治療活動の量を、ソフトウェアビルドの少なくとも１つの以前のバージョンと関連付けられた正味治療活動の少なくとも１つの以前の量と比較して、少なくとも１つの特徴に起因する変化の量を判断することを更に含み得る。ある実施形態では、１つ以上の動作は、ソフトウェアビルドに対する合格／不合格状態をソフトウェアビルドのセッション内の正味治療活動の量に従って判断することを更に含み得る。ある実施形態では、１つ以上の動作は、ソフトウェアビルドに対する合格／不合格状態をソフトウェアビルドのセッション内の少なくとも１つの特徴に対する有効な治療送達の量に従って判断することを更に含み得る。ある実施形態では、１つ以上の動作は、ソフトウェアビルドに対する合格／不合格状態を１つ以上のコンピュータ制御刺激または相互作用と関連付けられた少なくとも１つの安全性パラメータに従って判断することを更に含み得る。

本開示のなお更なる態様は、１つ以上のプロセッサにソフトウェア品質保証のための動作を実行するように指示するための命令で符号化された持続性コンピュータ可読記憶媒体を提供し、動作は、ソフトウェアビルドのインスタンスを含むグラフィカルユーザーインタフェースを提示することであって、ソフトウェアビルドは、１つ以上のコンピュータ制御刺激または相互作用に応答して予期された刺激入力パターンをユーザーからから引き出すように構成された１つ以上のコンピュータ制御刺激または相互作用を含む少なくとも１つの特徴を含むこと；ソフトウェアビルドのセッションに対する複数のユーザー活動データを受信することであって、複数のユーザー活動データは、１つ以上のコンピュータ制御刺激または相互作用に応答して複数のユーザー入力を含むこと；複数のユーザー活動データを少なくとも１つのデータモデルに従って処理して、複数のユーザー入力内の各ユーザー入力に対して１つ以上の実際の刺激入力パターンを判断すること；複数のユーザー入力内の各ユーザー入力に対する１つ以上の実際の刺激入力パターンを少なくとも１つの特徴に対する予期された刺激入力パターンと比較して、１つ以上の実際の刺激入力パターンが、ソフトウェアビルドのセッション内の予期された刺激入力パターンを反映していたインスタンスの総数を決定すること；複数のユーザー活動データに対する少なくとも１つの出力値を少なくとも１つのデータモデルに従って計算することであって、少なくとも１つの出力値は、少なくとも１つの特徴に適したモデルの定性的または定量的程度を含むこと；およびソフトウェアビルドに対する合格／不合格状態を少なくとも１つの出力値に従って判断すること、を含む。

前述は、以下に続く本発明の詳細な説明がより良く理解され得るように本発明のより関連があって重要な特徴をかなり広範に概説しており、そのため、当技術分野に対する本寄与がより完全に理解できる。本発明の追加の特徴は以下で説明されて、本発明のクレームの主題を形成する。概念ならびに開示される特定の方法および構造は、本発明の同じ目的を実行するための他の構造を変更または設計するための基礎として容易に利用され得ることが当業者によって理解されよう。かかる等価構成は本発明の精神および範囲から逸脱しないことが当業者によって認識されよう。

当業者は、本明細書で説明される図は、説明のためだけであることを理解するであろう。いくつかの場合、説明される実施態様の様々な態様は、説明される実施態様の理解を促進するために誇張して、または拡大して示され得ることが理解されるはずである。図面では、同様の参照文字は一般に、様々な図面を通して、同様の特徴、機能的に類似した、および／または構造的に類似した要素を指す。図面は必ずしも原寸に比例しておらず、代わりに、教示の原理の説明に重点が置かれている。図面は、本教示の範囲をいかなる方法によっても制限することを意図していない。本システムおよび方法は、以下の図面を参照して、以下の典型的な説明からより良く理解され得る。

本開示のある態様が実装され得る典型的なコンピューティングシステムの機能ブロック図である。 本開示のある態様に従った、ソフトウェア設計管理システムのアーキテクチャ図である。 本開示のある態様に従った、ソフトウェア設計管理システムの機能ブロック図である。 本開示のある態様に従った、ソフトウェア設計管理システムの機能ブロック図である。 本開示のある態様に従った、ソフトウェア設計管理システムの機能ブロック図である。 本開示のある態様に従った、ソフトウェア設計管理および品質保証のためのシステムおよび方法のプロセスフロー図である。 本開示のある態様に従った、ソフトウェア設計管理システムの機能ブロック図である。 本開示のある態様に従った、ソフトウェア設計管理システム内のユーザー活動データを分類するためのルーチンの機能ブロック図である。 本開示のある態様に従った、ソフトウェア設計管理システム内のソフトウェアビルドの合格／不合格状態を判断するためのルーチンの機能ブロック図である。 本開示のある態様に従った、ソフトウェア設計管理システム内の設計変更の影響を判断するためのルーチンの機能ブロック図である。 本開示のある態様に従った、ソフトウェア設計管理および品質保証のための方法のプロセスフロー図である。 本開示のある態様に従った、ソフトウェア設計管理および品質保証のための方法のプロセスフロー図である。 本開示のある態様に従った、ソフトウェア設計管理および品質保証のための方法のプロセスフロー図である。

以下で更に詳細に説明される概念の全ての組合せは（かかる概念が矛盾しないという条件で）、本明細書で開示される発明の主題の部分として企図されることが理解されよう。
参照により組み込まれる任意の開示にも出現し得る本明細書で明示的に採用された用語は、本明細書で開示される特定の概念と最も一致する意味を与えられるべきであることも理解されよう。

以下は、発明の方法、装置、システムおよびその上に格納された命令を有する持続性コンピュータ可読記憶媒体に関連する様々な概念、およびそれらの実施形態のより詳細な記述であり、持続性コンピュータ可読記憶媒体上に格納された命令は、１つ以上の前記方法、装置、ならびにシステムが、コンピューティング装置を用いて、ソフトウェアビルドの検査インスタンスをユーザーに提示することであって、ソフトウェアビルドは、１つ以上のコンピュータ制御刺激または相互作用をグラフィカルユーザーインタフェースを介してユーザーに提示するように構成された少なくとも１つのテスト特徴を含むこと；コンピューティング装置を用いて、１つ以上のコンピュータ制御刺激または相互作用に応答して１つ以上のユーザー入力を受信することであって、１つ以上のユーザー入力はユーザー活動データを含むこと；コンピューティング装置と通信可能に係合されたプロセッサを用いて、ユーザー活動データを受信すること；プロセッサを用いて、活動データを分類するための少なくとも１つの分類モデルに従ってユーザー活動データを処理することであって、少なくとも１つの分類モデルは、標的とされた刺激反応パターンと関連付けられた１つ以上の変数を分類するように構成されていること；ユーザー活動データと１つ以上のコンピュータ制御刺激または相互作用との間で刺激入力パターンを分析してソフトウェアビルドに対する１つ以上の性能測定基準を決定することであって、１つ以上の性能測定基準は、少なくとも１つのテスト特徴の有効性の尺度を含むこと；および、１つ以上の性能測定基準に従ってソフトウェアビルドを評価してソフトウェアビルドの合格／不合格状態を最小性能閾値に従って判断すること、を行うのを可能にする。

開示される概念は実施態様の任意の特定の方法に制限されないので、上で紹介されて、以下で更に詳細に説明される様々な概念は、多数の方法のいずれでも実装され得ることが理解されよう。特定の実施態様および用途の例は主に例示目的のために提供される。本開示は、図面で図解されて以下で説明される典型的な実施態様および技術に決して制限されるべきでない。

値の範囲が提供される場合、その内容について別段の明確な指示がない限り、その範囲の上限と下限との間の、下限の単位の１０分の１までの、各中間値および言及された範囲内の任意の他の明記される値または中間値が、本発明によって包含されることが理解される。これらのより小さい範囲の上限および下限は、より小さい範囲内に無関係に含まれ得、明記された範囲内の任意の明確に除外される制限を条件として、本発明によっても包含される。明記される範囲が端点境界の一方または両方を含む場合、これらの含まれる端点の一方または両方を除く範囲も本発明の範囲に含まれる。

本明細書では、「典型的な（ｅｘｅｍｐｌａｒｙ）」は例または例示としての役割を果たすことを意味し、必ずしも理想的または最善を示さない。

本明細書では、用語「含む（ｉｎｃｌｕｄｅ）」は、含むがこれに限定されるものではないことを意味し、用語「含む（ｉｎｃｌｕｄｉｎｇ）」は、含むがこれに限定されるものではないことを意味する。用語「～に基づく（ｂａｓｅｄ ｏｎ）」は、少なくとも部分的に基づくことを意味する。

本明細書では、用語「ソフトウェアビルド（ｓｏｆｔｗａｒｅ ｂｕｉｌｄ）」はソフトウェアプログラムもしくは製品および／またはソフトウェアプログラムもしくは製品の１つ以上の構成要素（複数可）もしくは下位構成要素（複数可）を含むプログラムコードのバージョン、中間生成物および／またはコンパイルを指す。ある実施形態では、「ソフトウェアビルド」は、ソフトウェアプログラムと関連して１つ以上のソフトウェア品質保証プロセスの主題であるプログラムコードのバージョン、中間生成物および／またはコンパイルを指す。ある実施形態では、「ソフトウェアビルド」は、ソフトウェア製品と関連して保留中のリリースまたは公開であるプログラムコードのバージョン、中間生成物および／またはコンパイルを指す。

本明細書では、用語「ツールチェーン（ｔｏｏｌｃｈａｉｎ）」は、１つ以上のソフトウェア開発タスク（複数可）を実行するため、ならびに／または、別のコンピュータプログラムおよび／もしくは関連プログラムのセットを含み得る、ソフトウェア製品を作成するために使用されるプログラミングツールの任意のセットを指す。ある実施形態では、ツールチェーンを含むプログラミングツールは、各ツールの出力または結果として生じる環境状態が次のツールの入力または開始環境状態となるように、連続して実行され得る。ある実施形態では、ツールチェーンを含むプログラミングツールは、連続して実行されることもあれば、実行されないこともある関連プログラミングツールのセットを含み得る。

本明細書では、用語「刺激（ｓｔｉｍｕｌｕｓ）」は、指定された機能的反応を個人から誘発するように構成された感覚事象を指す。反応の程度およびタイプは、測定構成要素との個人のやり取り（センサー装置または他の測定構成要素の使用を含む）に基づいて定量化できる。

本明細書では、用語「ユーザー活動データ（ｕｓｅｒ ａｃｔｉｖｉｔｙ ｄａｔａ）」は、ソフトウェアプログラム、製品および／またはプラットフォームとのユーザーのやり取りの測定から収集されたデータを指す。

本明細書では、用語「コンピュータ制御刺激または相互作用（ｃｏｍｐｕｔｅｒｉｚｅｄ ｓｔｉｍｕｌｉ ｏｒ ｉｎｔｅｒａｃｔｉｏｎ）」または「ＣＳＩ」は、ユーザーの刺激との相互作用または他の相互作用を促進するためにユーザーに提示されるコンピュータ化要素を指す。非限定的例として、コンピューティング装置は、聴覚刺激を提示する（例えば、聴覚性コンピュータ化調整可能要素またはコンピュータ化聴覚タスクの要素として提示される）か、もしくはユーザーとの他の聴覚ベースのやり取りを開始し、かつ／または振動刺激を提示する（例えば、振動性コンピュータ化調整可能要素またはコンピュータ化振動タスクの要素として提示される）か、もしくはユーザーとの他の刺激ベースのやり取りを開始し、かつ／または触覚刺激を提示する（例えば、触覚性コンピュータ化調整可能要素またはコンピュータ化触覚タスクの要素として提示される）か、もしくはユーザーとの他の触覚ベースのやり取りを開始し、かつ／または視覚刺激を提示するか、もしくはユーザーとの他の視覚ベースのやり取りを開始するように構成できる。

コンピューティング装置が視覚ＣＳＩを提示するように構成される例では、ＣＳＩは、ユーザーに提示される少なくとも１つのユーザーインタフェースとして提供される。いくつかの例では、少なくとも１つのユーザーインタフェースは、少なくとも１つのユーザーインタフェースで提供されたＣＳＩコンピュータ化要素とのユーザーやり取りとして応答を測定するために構成される。非限定的例では、ユーザーインタフェースは、ＣＳＩコンピュータ化要素（複数可）が能動的であるように構成でき、ユーザーからの少なくとも１つの応答を要求し得、そのためユーザーインタフェースは、プラットフォーム製品とのユーザーのやり取りのタイプまたは程度を示すデータを測定するように構成される。別の例では、ユーザーインタフェースは、ＣＳＩコンピュータ化要素（複数可）が受動的であって、少なくとも１つのユーザーインタフェースを使用してユーザーに提示されるように構成できるが、ユーザーからの応答は要求しない可能性がある。この例では、少なくとも１つのユーザーインタフェースは、ユーザーのやり取りの記録された応答を除外して、応答を示すデータに重み付け係数を適用する（例えば、より低い値または高い値に対する応答に重みをつける）か、またはユーザーのプラットフォーム製品との応答を示すデータを、ユーザーの誤った応答（例えば、誤った応答のユーザーに対して通知または他のフィードバックを発行するため）の尺度として測定するように構成できる。

本明細書のある例で使用されるように、用語「ユーザー」は、ソフトウェアプログラム、製品ならびに／またはプラットフォームのエンドユーザーおよび／もしくはテストユーザーの１人以上を包含し、更に、標的とされる医療もしくは個人のウェルネスの目的のためにソフトウェアプログラム、製品またはプラットフォームと係合されている患者；ソフトウェアプログラム、製品またはプラットフォームの臨床試験、調査もしくは評価への参加者；デジタルヘルス介入および／または医療機器プログラム、製品もしくはプラットフォームとしてのソフトウェアの１つ以上の技術的、臨床的、および／もしくは機能的態様を評価または開発する目的で、ソフトウェアプログラム、製品もしくはプラットフォームと係合されているユーザーを含み得る。

本明細書では、用語「デジタルヘルス介入（ｄｉｇｉｔａｌ ｈｅａｌｔｈ ｉｎｔｅｒｖｅｎｔｉｏｎ）（ＤＨＩ）」および「医療機器としてのソフトウェア（ＳａＭＤ）」は、区別しないで使用されて、１つ以上の医療、健康または個人のウェルネス目的のための１人以上のユーザーに対する処置、診断、管理、予防、治療、または臨床／健康／ウェルネス洞察もしくは推奨の生成／提供を含むがそれらに制限されない、任意の汎用または標的とされる医療もしくは個人のウェルネス目的のために設計および／または利用されている、任意のソフトウェア／ハードウェアの組合せを含む、任意のソフトウェアプログラム、製品、またはプラットフォームを包含し得；循環器疾患、糖尿病およびメンタルヘルス状態などの長期にわたる状態をもつ人々において健康な挙動を促進し、成果を改善して、効果的な処置；例えば、メンタルヘルスおよび身体的問題のためのコンピュータ制御された認知行動療法、へのリモートアクセスを提供するために設計および／または利用されている、任意のソフトウェア／ハードウェアの組合せを含む、任意のソフトウェアプログラム、製品、またはプラットフォームを含み； 単に治療全体の一構成要素ではなく、１つ以上の神経学的、心理学的および／もしくは身体的状態、疾病、ならびに／または障害に関連した１つ以上の神経回路の治療および／または標的化において直接的に治療効果のあるハードウェアおよびソフトウェアの任意の組合せを統合する任意の製品（複数可）、プログラム（複数可）および／またはプラットフォーム（複数可）を含む、１つ以上のソフトウェアプログラム、製品またはプラットフォームを更に包含し得る。

全ての定義は、本明細書で定義されて使用されるように、辞書的定義、参照によって組み込まれる文書における定義、および／または定義される用語の通常の意味にわたって制御すると理解されるべきである。別に定義されていない限り、本明細書で使用される全ての専門用語および科学用語は、本発明が属する技術分野における当業者によって一般に理解されるのと同じ意味を有する。本明細書で説明されるものと類似または同等な任意の方法および材料も本発明の実施またはテストにおいて使用できるが、典型的な方法および材料がここで説明される。本明細書で言及される全ての公表文献は、方法および／または材料をその公表文献が引用されるものと関連して開示および説明するために参照により本明細書に組み込まれる。

本明細書の原理に従った典型的なシステム、方法、および持続性コンピュータ可読記憶媒体は、ユーザー活動データ内の刺激反応パターンを分析してソフトウェア製品の１つ以上の特徴の有効性、安全性、および／または性能を評価するための設計管理アーキテクチャおよび品質保証システムを提供する。ある実施形態では、ソフトウェア製品はＤＨＩまたはＳａＭＤとして構成される。ある実施形態によれば、設計管理アーキテクチャおよび品質保証システムは、漸進的設計変更の、ソフトウェア製品の有効性、安全性、および／または性能に対する影響を評価するために、ユーザー活動データを分類器モデルに従って処理するように構成される。典型的なシステムおよび方法は、ソフトウェアプログラム、プラットフォームおよび／または製品と関連付けられた1つ以上のソフトウェア開発プロセスを制御または通知するように構成され得る。1つ以上のソフトウェア開発プロセスは、ソフトウェア設計、要件分析、特徴検査、ビルド検査、コードレビュー、ソースコード管理、品質管理／保証、ソフトウェア構成管理、検査、リリース管理および／または製品統合の1つ以上を含み得る。

本明細書の原理に従った典型的なシステム、方法、および持続性コンピュータ可読記憶媒体は、ＤＨＩまたはＳａＭＤの１つ以上のインスタンスもしくはセッションからのユーザー活動データにおける１つ以上のパターンを分析することを提供する。ある実施形態によれば、１つ以上のパターンは、１つ以上の臨床的に検証された刺激反応パターンとの一致の程度を判断するための手続き的分析を含み得る。本開示のある実施形態は、ユーザー入力を１つ以上のカテゴリに分類および／またはマッピングするための機械学習フレームワーク、分類器モデル、および／または分類アルゴリズムを含み得る。ある実施形態では、１つ以上のカテゴリは、ＤＨＩまたはＳａＭＤ製品の１つ以上の安全性、有効性、および／または性能態様に対応し得る。

本明細書の原理に従った典型的なシステム、方法、および持続性コンピュータ可読記憶媒体は、ＤＨＩまたはＳａＭＤの性能を測定するためのシステムおよび方法を含む。ある実施形態によれば、本開示のシステムおよび方法は、ユーザー活動データを分類器モデルに従って処理して、ＤＨＩまたはＳａＭＤの治療活動および／もしくは有効性の量を測定ならびに／または定量化するように構成される。本明細書の例では、システム、方法、および持続性コンピュータ可読記憶媒体は、ユーザーの１つ以上の神経学的、心理学的および／もしくは身体的状態、疾病、ならびに／または障害に関連した１つ以上の神経回路を治療および／または標的にするためにＤＨＩまたはＳａＭＤの有効性を測定および／または検証することを提供する。かかる例（複数可）によれば、ＤＨＩまたはＳａＭＤの有効性を測定および／または検証することは、ＤＨＩまたはＳａＭＤの１つ以上の個々の特徴もしくは態様の治療活動および／もしくは有効性の量を測定ならびに／または定量化することを更に含み得る。本明細書の例では、システム、方法、および持続性コンピュータ可読記憶媒体は、ユーザーの１つ以上の神経学的、心理学的および／もしくは身体的状態、疾病、ならびに／または障害に関連した１つ以上の神経回路を治療および／または標的にするためにＤＨＩもしくはＳａＭＤの有効性に対する漸進的設計変更の影響を評価することを提供する。

本明細書の原理に従ったシステム、方法、およびコンピュータプラットフォーム製品は、ソフトウェア製品の製造業者がソフトウェア製品の１つ以上のインスタンスまたはセッションからのユーザー活動データを、ユーザー活動データ内の１つ以上のパターンを分析するように構成されたクラウドサーバーに提供するのを可能にする。本システムは、ユーザー活動データを処理して１つ以上の臨床的に検証された刺激反応パターンとの一致の程度を判断して、ソフトウェア製品の１つ以上の安全性、有効性、または性能態様の定量分析を提供するように構成される。ある実施形態によれば、ソフトウェア製品の製造業者は結果として生じる分析を利用して、ソフトウェア設計、要件分析、特徴検査、ビルド検査、コードレビュー、ソースコード管理、品質管理／保証、ソフトウェア構成管理、検査、リリース管理および／または製品統合を含むが、それらに制限されない、ソフトウェア製品に対する１つ以上のソフトウェア開発プロセスを通知または制御し得る。

本開示の態様は、ユーザー活動データ内の刺激反応パターンを分析するための設計管理アーキテクチャおよびソフトウェア品質保証システムを提供する。本開示の典型的な実施形態は、ソフトウェアビルドのインスタンスを実行するユーザー装置から受信したユーザー活動データを処理し、分類器モデルに従ってユーザー活動データを処理して、開発者ユーザーがソフトウェア製品の１つ以上の品質尺度に対する漸進的設計変更の影響を評価するのを可能にするためにフレームワークを処理するように構成された設計管理アーキテクチャおよびソフトウェア品質保証システムを提供する。ある実施形態によれば、１つ以上の品質尺度は、ソフトウェア製品の１つ以上の特長と関連付けられた１つ以上の有効性、安全性、および／または性能測定基準を含み得る。様々な実施形態によれば、設計管理アーキテクチャおよびソフトウェア品質保証システムは、デジタルヘルス介入または医療機器製品としてのソフトウェアを含むソフトウェア製品の開発者が、ソフトウェア製品およびその特定の特徴の１つ以上の安全性、有効性および／または性能測定基準の定性および／または定量分析を実行するのを可能にする。

ここで、同様の参照文字がいくつかの図を通して同様の要素を示す、図面を記述的に参照すると、図１は、本開示のある例示的な実施形態が実装され得るコンピューティングシステムを示す。

ここで図１を参照すると、本開示の１つ以上の態様が実装され得るプロセッサ実装コンピューティング装置が示されている。一実施形態によれば、処理システム１００は一般に、少なくとも１つプロセッサ１０２、メモリ１０４、入力データ１１８を受信するための入力装置１０６および出力データ１２０を生成する出力装置１０８を、少なくとも１つのバス１１０に一緒に結合されて含む。ある実施形態では、入力装置１０６および出力装置１０８は同じ装置であり得る。インタフェース１１２が、処理システム１００を１つ以上の周辺機器に結合するためにも提供でき、例えば、インタフェース１１２は、ＰＣＩカードまたはＰＣカードであり得る。少なくとも１つのデータベース１１６を収容する少なくとも１つのデータベース記憶装置１１４も提供できる。メモリ１０４は、任意の形式のメモリ装置、例えば、揮発性または不揮発性メモリ、固体記憶装置、磁気装置など、であり得る。プロセッサ１０２は、例えば、処理システム１００内の異なる機能を処理するために、２つ以上の別個の処理装置を含み得る。入力装置１０６は、入力データ１１８を受信し、例えば、キーボード、ペン状デバイスまたはマウスなどのポインタデバイス、マイクロホンなどの音声制御有効化のための音声受信装置、モデムまたは無線データアダプタ、データ取得カードなどのデータ受信装置またはアンテナなど、を含み得る。入力データ１１８は、異なるソース、例えば、ネットワークを経由して受信されたデータと共にキーボード命令、から来得る。出力装置１０８は、出力データ１２０を作成または生成し、例えば、出力データ１２０が可視である場合にはディスプレイ装置またはモニター、出力データ１２０が印刷される場合にはプリンタ、ポート、例えばＵＳＢポート、周辺構成要素アダプタ、モデムまたは無線ネットワークアダプタなどのデータ送信機またはアンテナなどを含むことができる。出力データ１２０は別個であり、異なる出力装置、例えば、ネットワークに送信されたデータと共にモニター上のビジュアル表示、に由来し得る。ユーザーはデータ出力、もしくはデータ出力の解釈を、例えば、モニター上に、またはプリンタを使用して表示し得る。記憶装置１１４は、任意の形のデータまたは情報記憶手段、例えば、揮発性もしくは不揮発性メモリ、固体記憶装置、磁気装置、および同様のものであり得る。

使用中、処理システム１００は、データまたは情報が、有線もしくは無線通信手段を介して、少なくとも１つのデータベース１１６内に格納され、かつ／または少なくとも１つのデータベース１１６から取得されるのを可能にするように適合される。インタフェース１１２は、処理ユニット１０２と、特殊な目的を果たし得る周辺構成要素との間の有線および／または無線通信を可能にし得る。一般に、プロセッサ１０２は、命令を入力データ１１８として入力装置１０６を介して受信でき、処理結果または他の出力を出力装置１０８を利用することによってユーザーに表示できる。２つ以上の入力装置１０６および／または出力装置１０８が提供できる。処理システム１００は任意の形の端末、サーバー、専用ハードウェア、または同様のものであり得ることが理解されよう。

処理システム１００は、ネットワーク化通信システムの一部であり得ることが理解されよう。処理システム１００は、ネットワーク、例えば、インターネットまたはＷＡＮに接続し得る。入力データ１１８および出力データ１２０は、ネットワークを経由して他の装置に伝達され得る。ネットワークを経由した情報および／またはデータの転送は、有線通信手段または無線通信手段を使用して達成できる。サーバーは、ネットワークと１つ以上のデータベースとの間でのデータの転送を容易にできる。サーバーおよび１つ以上のデータベースは情報源の例を提供する。

従って、図１に例示される処理コンピューティングシステム環境１００は、１つ以上のリモートコンピュータへの論理接続を使用してネットワーク化環境内で動作し得る。リモートコンピュータは、パーソナルコンピュータ、サーバー、ルーター、ネットワークＰＣ、ピア装置、または他の一般的なネットワークノードであり得、典型的には前述の要素の多数または全部を含む。

図１に示される論理接続はローカルエリアネットワーク（ＬＡＮ）およびワイドエリアネットワーク（ＷＡＮ）を含むが、パーソナルエリアネットワーク（ＰＡＮ）などの他のネットワークも含み得ることが更に理解されよう。かかるネットワーク環境は、オフィス内で一般的で、企業規模のコンピュータネットワーク、イントラネット、およびインターネットである。例えば、ＬＡＮネットワーク環境内で使用される場合、コンピューティングシステム環境１００は、ネットワークインタフェースまたはアダプタを通してＬＡＮに接続される。ＷＡＮネットワーク環境内で使用される場合、コンピューティングシステム環境は典型的には、インターネットなどの、ＷＡＮを通した通信を確立するために、モデムまたは他の手段を含む。内部または外部であり得る、モデムは、ユーザー入力インタフェースを介して、または別の適切な機構を介して、システムバスに接続され得る。ネットワーク化環境では、コンピューティングシステム環境１００、またはその部分に関連して示されているプログラムモジュールは、リモートメモリ記憶装置内に格納され得る。図１の例示されたネットワーク接続は典型であり、複数のコンピュータ間で通信リンクを確立する他の手段が使用され得ることが理解されよう。

図１は、本発明の様々な実施形態が実装され得る例示的および／または適切な典型的環境の簡潔な概要を提供することを意図する。図１は、適切な環境の一例であり、本発明の一実施形態の構造、使用の範囲、または機能に関して、いかなる制限も提案することは意図していない。特定の環境は、典型的な動作環境内に例示される任意の１つの構成要素または構成要素の組合せに関していかなる依存または要件も有すると解釈されるべきではない。例えば、ある事例では、環境の１つ以上の要素は、必要とみなされず、省略され得る。他の事例では、１つ以上の他の要素が必要とみなされて、追加され得る。

以下の説明では、ある実施形態は、図１のコンピューティングシステム１００などの、１つ以上のコンピューティング装置によって実行される動作および操作のシンボル表現を参照して説明され得る。そのため、時々、コンピュータ実行されると呼ばれる、かかる動作および操作は、データを構造化形式で表す電気信号のコンピュータのプロセッサによる操作を含むことが理解されるであろう。この操作は、データを変換するか、またはそれらをコンピュータのメモリシステム内の記憶位置に維持し、それは、当業者によって理解される方法でコンピュータの操作を再構成するか、またはそうでなければ変更する。データが維持されるデータ構造は、データのフォーマットによって定義された特定の特性を有するメモリの物理的位置である。しかし、一実施形態が前述の文脈で説明されているが、当業者は以下で説明される動作および操作がハードウェアでも実装され得ることを理解しているので、制限することを意図していない。

本発明の実施形態は、多数の他の汎用または専用コンピューティング装置、システムもしくは構成で実装できる。本発明の実施形態での使用に適した周知のコンピューティングシステム、環境、および構成の例は、パーソナルコンピュータ、ハンドヘルドまたはラップトップ装置、携帯情報端末、マルチプロセッサシステム、マイクロプロセッサベースシステム、セットトップボックス、プログラム可能な家庭用電化製品、ネットワーク、ミニコンピュータ、サーバーコンピュータ、ゲームサーバーコンピュータ、ウェブサーバーコンピュータ、メインフレームコンピュータ、および前述のシステムまたは装置のいずれかを含む分散コンピューティング環境を含む。

本発明の様々な実施形態は本明細書では、コンピュータによって実行される、プログラムモジュールなどの、コンピュータ実行可能命令の一般的な文脈で説明される。一般に、プログラムモジュールは、特定のタスクを実行するか、または特定の抽象データ型を実装する、ルーチン、プログラム、オブジェクト、構成要素、データ構造などを含む。ある実施形態では、通信ネットワークを通してリンクされているリモート処理装置によってタスクが実行される分散コンピューティング環境も採用され得る。分散コンピューティング環境では、プログラムモジュールは、メモリ記憶装置を含む、ローカルおよびリモートの両方のコンピュータ記憶媒体内に配置され得る。

上で示されて説明される図１の汎用コンピューティングシステム環境１００と共に、以下の説明および残りの図は、プログラムコードビルドと関連付けられた１つ以上の性能測定基準を評価して検証するためにユーザー検査データ内の刺激入力パターンの手続き的分析のためのシステムおよび方法のための方法に概ね関する本発明の様々な典型的な実施形態に関する。一般に、本明細書で説明される方法は、コンピューティング装置を用いて、ソフトウェアビルドの検査インスタンスをユーザーに提示することであって、ソフトウェアビルドは、１つ以上のコンピュータ制御刺激または相互作用をグラフィカルユーザーインタフェースを介してユーザーに提示するように構成された少なくとも１つのテスト特徴を含むこと；コンピューティング装置を用いて、１つ以上のコンピュータ制御刺激または相互作用に応答して１つ以上のユーザー入力を受信することであって、１つ以上のユーザー入力はユーザー活動データを含むこと；コンピューティング装置と通信可能に係合されたプロセッサを用いて、ユーザー活動データを受信すること；プロセッサを用いて、活動データを分類するための少なくとも１つの分類モデルに従ってユーザー活動データを処理することであって、少なくとも１つの分類モデルは、標的とされた刺激反応パターンと関連付けられた１つ以上の変数を分類するように構成されていること；ユーザー活動データと１つ以上のコンピュータ制御刺激または相互作用との間で刺激入力パターンを分析してソフトウェアビルドに対する１つ以上の性能測定基準を決定することであって、１つ以上の性能測定基準は、少なくとも１つのテスト特徴の有効性の尺度を含むこと；および、１つ以上の性能測定基準に従ってソフトウェアビルドを評価してソフトウェアビルドの合格／不合格状態を最小性能閾値に従って判断すること、を伴う。

ここで図２を参照すると、ソフトウェア設計管理システム２００のアーキテクチャ図が示されている。本開示のある態様によれば、システム２００は、ソフトウェア開発サブシステム２０２および設計管理サブシステム２０４を含む。ソフトウェア開発サブシステム２０２および設計管理サブシステム２０４は、通信ネットワーク２１６（例えば、インターネット）を通して通信可能に係合され得る。ある実施形態では、ソフトウェア開発サブシステム２０２および設計管理サブシステム２０４は、アプリケーションプログラミングインタフェースまたは他のデータ転送プロトコルを通して通信可能に係合されている独立したシステムとして構成され得る。他の実施形態では、ソフトウェア開発サブシステム２０２および設計管理サブシステム２０４は、より大きな統合システム内の関連サブシステムであり得る。例えば、ソフトウェア開発サブシステム２０２および設計管理サブシステム２０４は、開発操作（ＤｅｖＯｐｓ）ツールチェーンの（連続または非連続の）関連構成要素であり得る。本開示の様々な態様によれば、ソフトウェア開発サブシステム２０２および設計管理サブシステム２０４は、同じサーバー上で実行する別個のソフトウェアモジュールとして構成され得るか；またはソフトウェア開発サブシステム２０２および設計管理サブシステム２０４は、ローカルコンピューティング環境（すなわち、ＬＡＮ）内の異なるサーバー上で実行する別個のソフトウェアモジュールとして構成され得るか；またはソフトウェア開発サブシステム２０２および設計管理サブシステム２０４は、分散コンピューティング環境（すなわち、ＷＡＮ）にわたる異なるサーバー上で実行する別個のソフトウェアモジュールとして構成され得る。ある実施形態では、ソフトウェア開発サブシステム２０２および設計管理サブシステム２０４は、１つ以上の第三者サーバー２１８を介して動作可能に係合され得る。例えば、第三者サーバー２１８は、ソフトウェアプログラムと関連付けられたプログラムコードがソフトウェア開発環境内にリモートに格納され得るクラウドリポジトリを含み得る。クラウドリポジトリは、ＧＩＴＨＵＢ（登録商標）またはＢＩＴＢＵＣＫＥＴ（登録商標）などの、バージョニングプラットフォームを含み得；ＡＭＡＺＯＮ ＷＥＢ ＳＥＲＶＩＣＥＳ（登録商標）から入手可能なものなど、クラウドストレージおよび／またはコンピューティング環境を更に含み得る。ある実施形態では、第三者サーバー２１８は、１つ以上のサービス、データ、および／または処理機能をソフトウェア開発サブシステム２０２および／または設計管理サブシステム２０４に提供し得る（例えば、設計管理モジュール２０８および／またはソフトウェア開発モジュール２２２は、全体または一部において、第三者サーバー２１８上で実行され得る）。

ある実施形態によれば、ソフトウェア開発サブシステム２０２は、少なくとも１つのソフトウェアプログラム２２８を開発するためのソフトウェア開発環境として定義され得る。ある実施形態では、ソフトウェアプログラム２２８は、ＤＨＩまたはＳａＭＤ製品として構成される。ソフトウェア開発サブシステム２０２は、１つ以上のワークステーションアプリケーション２２８を実行するように構成された少なくとも１つの開発者ワークステーション２２４、１つ以上のソフトウェア開発モジュール２２２を含む少なくとも１つのローカルおよび／またはリモートサーバー２２０、ならびにサーバー２２０および１つ以上のソフトウェア開発モジュール２２２と通信可能に係合された少なくとも１つのデータベース２２６を含み得る。設計管理サブシステム２０４は、設計管理サーバー２０６、設計管理サーバー２０６上で実行する設計管理モジュール２０８、設計管理サーバー２０６および設計管理モジュール２０８と通信可能に係合された設計管理データベース２１０、ならびに設計管理ワークステーション２１４から構成され得る。ある実施形態では、設計管理ワークステーション２１４は、設計管理アプリケーション２１４のインスタンスを実行するように構成され得；開発者ワークステーション２２４は設計管理アプリケーション２１４´のインスタンスを実行するように構成され得る。

ある実施形態によれば、ソフトウェア開発サブシステム２０２および設計管理サブシステム２０４は、ソフトウェアプログラム２２８と関連付けられた１つ以上の配備環境または層を定義するために動作可能に係合され得る。ソフトウェア開発サブシステム２０２および設計管理サブシステム２０４がソフトウェアプログラム２２８の１つ以上の態様を開発、配備、および／または実行するために動作可能に係合され得る、ある典型的な配備環境または層は、表１に示されて説明される環境または層の任意の組合せを含み得る。

ある実施形態によれば、システム２００は、ソフトウェアプログラム２２８のインスタンス２２８´を実行するためにサーバー２２０と通信可能に係合されているユーザー装置２１８を更に含み得る。インスタンス２２８´は、表１に示されて説明されているように、１つ以上の開発層と関連付けられているソフトウェアプログラム２２８のインスタンスを含み得る。例えば、インスタンス２２８´は、ソフトウェアプログラム２２８の検査インスタンスとして構成され得る。ある実施形態では、ユーザー装置２１８はエンドユーザー装置（すなわち、外部ユーザー）として構成され得、他の実施形態では、ユーザー装置２１８は開発者ユーザー装置（すなわち、内部ユーザー）として構成され得る。ユーザー装置２１８は、スマートフォン、タブレットコンピュータ、ウェアラブル電子装置（例えば、スマートウォッチ）、ラップトップコンピュータ、および同様のものを含むが、それらに制限されない、ソフトウェアプログラムを実行するために動作可能である１つ以上のコンピューティング装置を含み得る。ユーザー装置２１８は、サーバー２２０、第三者サーバー２１８および／または設計管理サーバー２０６の１つ以上と通信ネットワーク２１６を介して通信可能に係合され得る。

ここで図３を参照すると、ソフトウェア設計管理システム３００の機能ブロック図が示されている。本開示のある態様によれば、システム３００は、開発サブシステム３０２および設計管理サブシステム３０４を含み得る。ある実施形態では、開発サブシステム３０２および設計管理サブシステム３０４は、図２に示されて説明されているように、ソフトウェア開発サブシステム２０２および設計管理サブシステム２０４として構成され得る。ある実施形態によれば、システム３００は、ユーザー活動データ内の刺激反応パターンを受信、処理および分析して、ソフトウェア製品の１つ以上の特徴の有効性、安全性、および／または性能を評価するように動作可能に構成される。ある実施形態では、ソフトウェア製品はＤＨＩまたはＳａＭＤとして構成される。

ある実施形態によれば、開発サブシステム３０２は、１つ以上の開発層内でソフトウェアプログラム３０６のインスタンス３０８を実行するように構成され得る。ある実施形態では、開発層は、検査層または生産前層である。他の実施形態では、開発層は生産層またはライブ層（ｌｉｖｅ ｔｉｅｒ）である。開発層が検査層または生産前層である実施形態では、ソフトウェアプログラム３０６は、生産層またはライブ層にまだ配備されていないソフトウェア製品のバージョンまたはサブバージョンのビルドを含み得る。開発サブシステム３０２は、ソフトウェアプログラム３０６の１つ以上のインスタンス３０８と関連付けられたユーザー活動データを受信するように構成され得る。ある実施形態では、ソフトウェアプログラム３０６は、少なくとも１つの臨床的に検証された刺激反応パターンに従って構成されている少なくとも１つのエンジン／アルゴリズムを含む。ある実施形態では、少なくとも１つの臨床的に検証された刺激反応パターンは、１つ以上の神経学的、心理学的および／もしくは身体的状態を治療または標的にするための動作の治療機構を含み得る。ソフトウェアプログラム３０６は、ユーザー装置上で実行するソフトウェアプログラム３０６のインスタンス３０８内に１つ以上のＣＳＩを含む刺激３１６を提供するように構成され得る。ある実施形態によれば、刺激３１６は、１つ以上のＣＳＩおよび／またはインスタンス３０８の１つ以上のグラフィカルユーザーインタフェース要素内に具現化されている１つ以上のテスト特徴（複数可）または漸進的設計変更（複数可）を含み得る。インスタンス３０８は、刺激３１６に応答して１つ以上のユーザー入力３１８を受信し、入力をソフトウェアプログラム３０６に提供するように構成され得る。ソフトウェアプログラム３０６は、１つ以上の開発層内にソフトウェアプログラム３０６の少なくとも１つのセッションを含むためにインスタンス３０８を介して、１つ以上の刺激３１６を提供して、１つ以上の入力３１８を受信し得る。一実施形態では、少なくとも１つのセッションは、検査セッションを含み得る。ソフトウェアプログラム３０６の少なくとも１つのセッション内で提示および受信された１つ以上の刺激３１６および入力３１８は、複数のユーザー活動データを含み得る。

引き続き図３を参照すると、設計管理サブシステム３０４からのユーザー活動データは、リアルタイムで、またはバッチ処理プロトコルにより、データ転送インタフェース３２０を介して設計管理サブシステム３０４に伝達され得る。データ転送インタフェース３２０は、アプリケーションプログラミングインタフェース（ＡＰＩ）３１０に対するネットワーク通信プロトコルを含み得る。ある実施形態では、データ転送インタフェース３２０は、１つ以上のデータベース（例えば、図２に示されているような設計管理データベース２１０）内のユーザー活動データのクラウド保存３１０のためのサーバープッシュも含み得る。設計管理サブシステム３０４は、ユーザー活動データを処理のために分類モジュール３１２に伝達するように構成され得る。ある実施形態では、分類モジュール３１２は、任意選択で、簡易通知サービス／簡易キュー登録サービス３２４を通したクラウド保存３１０によってユーザー活動データを保存するように構成されている１つ以上のデータベースと通信可能に係合され得る。簡易通知サービス／簡易キュー登録サービス３２４は、分類モジュール３１２と、クラウド保存３１０によってユーザー活動データを格納するように構成されている１つ以上のデータベースとの間で出版／購読型モデル（ｐｕｂｌｉｓｈ／ｓｕｂｓｃｒｉｂｅ ｍｏｄｅｌ）として構成され得る。分類モジュール３１２は、少なくとも１つの分類器モデルに従ってユーザー活動データを処理および分類するように構成された１つ以上の分類アルゴリズムを実行するように構成され得る。ある実施形態では、分類モジュール３１２は、ソフトウェアプログラム３０６の少なくとも１つのエンジン／アルゴリズムの手続き的リフレクションとして構成され得る。分類モジュール３１２の少なくとも１つの分類器モデルは、少なくとも１つの臨床的に検証された刺激反応パターンと関連付けられた１つ以上の変数を分類するように構成され得る。ある実施形態では、分類モジュール３１２の少なくとも１つの分類器モデルは、１つ以上の神経学的、心理学的および／もしくは身体的状態を治療または標的にするために、臨床的に検証された刺激反応パターンと関連付けられた１つ以上の変数を分類するように構成され得る。分類モデルは、アンサンブル学習モデルおよび／または教師あり学習モデルを含む機械学習フレームワークとして構成され得る。アンサンブル学習モデルは、インスタンス３０８内で、２つ以上のそれぞれの変数、または測定基準を分析するように構成された２つ以上のアルゴリズムを含み得る。例えば、アンサンブル学習フレームワークは、ユーザーデータ内で安全性測定基準を分析する（例えば、ユーザーが移動している車中にいるかどうか）手続き的アルゴリズム、および有効性測定基準を分析する（例えば、１つ以上の刺激入力パターンが予期された結果を反映しているかどうか）分類器アルゴリズムを含み得る。ある実施形態では、分類モデルは、ランダムフォレストアルゴリズムおよび／またはランダム決定フォレストアルゴリズムを含み得る。前記実施形態では、ソフトウェアプログラム３０６の１つ以上の特徴は、ランダムフォレストアルゴリズムまたはランダム決定フォレストアルゴリズムにおいてノード（複数可）として表され得る。分類モジュール３１２は、ユーザー活動データを分類モデルに従って処理して、ユーザー活動データ内の１つ以上の変数を分類する（３２２）ように構成され得る。ある実施形態によれば、１つ以上の変数は、ユーザー活動データと、１つ以上のコンピュータ制御刺激または相互作用との間に１つ以上の刺激入力パターンを含み得る。例えば、ソフトウェアプログラム３０６の特徴は、標的識別刺激または視覚運動追跡タスクなどの、ＣＳＩのあるタイプまたはカテゴリを含み得る。かかる実施形態によれば、インスタンス３０８内で、標的識別刺激（すなわち、特徴Ａ）は、ユーザー応答の第１のタイプ（すなわち、入力タイプＡ）を引き起こすように構成され得、視覚運動追跡タスク（すなわち、特徴Ｂ）は、ユーザー応答の第２のタイプ（すなわち、入力タイプＢ）を引き起こすように構成され得る。分類モジュール３１２は、開発者ユーザーが、特徴Ａおよび特徴Ｂを分類モデル内のノードとして、かつ入力タイプＡおよび入力タイプＢを標的とされた（すなわち、予期された）刺激反応パターンと関連付けられた変数として構成するのを可能にするように構成され得る。分類モジュール３１２は、ソフトウェアプログラム３０６の１つ以上の以前のインスタンスからユーザー活動データを受信し、そのデータを処理して分類モデルに対する１つの訓練データセットを生成するように更に構成され得る。

ある実施形態によれば、設計管理サブシステム３０４は、分類モジュール３１２の出力を報告モジュール３１４に提供し得る。報告／レビューモジュール３１４は、分類モジュール３１２の出力を処理して、ソフトウェアプログラム３０６に対する１つ以上の性能測定基準を生成するように構成され得る。ある実施形態では、報告／レビューモジュール３１４は、ユーザー活動データと、１つ以上のコンピュータ制御刺激または相互作用との間で刺激入力パターンを分析して、ソフトウェアプログラム３０６に対する１つ以上の性能測定基準を決定するように構成され得る。１つ以上の性能測定基準は、ユーザーにおける１つ以上の神経学的、心理学的および／もしくは身体的状態を治療または標的にするために、臨床的に検証された刺激反応パターンと関連付けられた１つ以上の変数の定量化尺度を含み得る。ある実施形態では、１つ以上の性能測定基準は、ソフトウェアプログラム３０６に対する少なくとも１つのテスト特徴または漸進的設計変更の安全性、有効性、および／または性能の定性的または定量的尺度を含み得る。報告モジュール３１４は、分類モジュール３１２の出力を処理して、ソフトウェアプログラム３０６の性能測定基準を分析し、かつ／または合格／不合格状態を最小性能閾値に従って判断するように更に構成され得る。ある実施形態では、最小性能閾値は、１つ以上の神経学的、心理学的および／もしくは身体的状態を治療または標的にするための、ユーザー活動データ内に表された実際の刺激反応パターン（複数可）と予期された（例えば、臨床的に検証された）刺激反応パターン（複数可）との間で一致するモデルの最小限度である。最小性能閾値は、ソフトウェアプログラム３０６のインスタンス３０８に応答してユーザーに送達される治療活動の最小量および／または特徴当たり（例えば、ＣＳＩ当たり）ベースでユーザーに送達される治療活動の最小量を更に含み得る。報告モジュール３１４は、開発者ユーザーが、ソフトウェアプログラム３０６に対してレビュー３２４を実行するのを可能にするように構成された１つ以上のデータ可視化および／またはデータ照会機能を含むグラフィカルユーザーインタフェースを提供するように更に構成され得る。レビュー３２４は、ソフトウェア／特徴設計、要件分析、特徴検査、ビルド検査、コードレビュー（複数可）、ソースコード管理、品質管理／保証、ソフトウェア構成管理、検査、リリース管理、製品統合、および同様のものを含むが、それらに制限されない、１つ以上のソフトウェア開発プロセスと関連付けられ得る。ある実施形態によれば、開発者ユーザーは、インスタンス３０８に対する１つ以上のテスト特徴（複数可）または漸進的設計変更（複数可）に対して合格／不合格状態を評価するためにソフトウェアプログラム３０６に対する１つ以上の安全性、有効性および／または性能測定基準を分析し得る。ある実施形態によれば、合格／不合格状態は、最小正味治療効果閾値を含み得る。最小正味治療効果閾値は、インスタンス３０８内でユーザーに送達される治療活動の最少量を定義し得る。報告／レビューモジュール３１４は、実際の刺激入力パターンが、ＣＳＩ当たりベース、およびインスタンス３０８に対する総計で、予期された刺激入力パターンを反映していたユーザー活動データ内のインスタンスの総数に基づき、最小正味治療効果を計算するように構成され得る。

ここで図４を参照すると、ソフトウェア設計管理システム４００の機能ブロック図が示されている。本開示のある態様によれば、ソフトウェア設計管理モジュール４０２は、ＤｅｖＯｐｓツールチェーンの構成要素を含み得る。ソフトウェア設計管理システム４００は、図２のシステム２００および／または図３のシステム３００の１つ以上の態様内に組み込まれ得る。システム４００は、開発者ユーザー４１６が、ソフトウェアプログラム／製品４０４の１つ以上の設計変更および／またはテスト特徴に対する１つ以上の安全性、有効性、および性能態様を分析ならびに検証するのを可能にするように構成された設計管理モジュール４０２を含み得る。ある実施形態では、ソフトウェアプログラム／製品は、ＤＨＩまたはＳａＭＤ製品を含む。設計管理モジュール４０２は、分類エンジン４０６および／または分類エンジン４０６からの入力を含み得る。分類エンジン４０６は、少なくとも１つのアルゴリズム４１２の手続き的リフレクションを表す分類モデル４０８を含み得る。分類エンジン４０６は、アルゴリズム４１２に応答して分類モデル４０８を構成または選択し得る。アルゴリズム４１２は、少なくとも１つの臨床的に検証された刺激反応パターンに対応し得る。アルゴリズム４１２は、ソフトウェアプログラム４０４に対する少なくとも１つの処理エンジンの基礎を提供し得る。設計管理モジュール４０２は、１つ以上の設計変更またはテスト特徴を有するソフトウェアプログラム４０４のインスタンス４１４に応答してユーザー活動データ４１０を受信し得る。ある実施形態では、インスタンス４１４は、生産／ライブ層以外の開発層（例えば、検査層または生産前層）内で実行されているソフトウェアプログラム４０４のバージョンを含む。一実施形態によれば、設計管理モジュール４０２は、ユーザー活動データ４１０を受信して、それを分類エンジン４０６に提供する。分類エンジン４０６は、ユーザー活動データ４１０を処理して、アルゴリズム４１２の臨床的に検証された刺激反応パターンを反映している１つ以上の変数を判断および識別する。設計管理モジュール４０２は、分類エンジン４０６の出力を処理して、設計変更（複数可）および／またはテスト特徴（複数可）４１４に対して１つ以上の性能測定基準を決定する。設計管理モジュール４０２は、性能測定基準、ならびにユーザー活動データおよび／または分類モデルに対応する他のデータ可視化を、開発者ユーザー４１６に提供し得る。開発者ユーザー４１６は、性能測定基準をレビューして、設計変更（複数可）および／またはテスト特徴（複数可）４１４の、ソフトウェアプログラム４０４の１つ以上の安全性、有効性および／または性能態様への影響を判断し得る。

ここで図５を参照すると、ソフトウェア設計管理プロセス５００の機能ブロック図が示されている。本開示のある態様によれば、ソフトウェア設計管理プロセス５００は、ソフトウェア設計管理システム、例えば、図２～図４の任意の１つに示されて説明されているようなソフトウェア設計管理システム内に組み込まれ得る。設計管理プロセス５００は、１つ以上の開発環境、例えば、検査環境および／または生産前環境内で、ソフトウェア製品のバージョン内の１つ以上の特徴および／または設計変更を評価ならびに検証するためのステップを含み得る。一実施形態によれば、設計管理プロセス５００は、設計管理システム内でソフトウェアバージョンＸ５０２を提示することを含み得る。ソフトウェアバージョンＸ５０２は、評価ならびに検証されるべき１つ以上の特徴および／または設計変更、例えば、特徴Ａ５０４、特徴Ｂ５０６、および特徴Ｎ５０８、を含み得る。ユーザー活動データ５２６は、特徴Ａ５０４、特徴Ｂ５０６、および特徴Ｎ５０８の各々を、ソフトウェアバージョンＸ５０２のインスタンス（例えば、検査インスタンスまたは生産前インスタンス）を介してユーザーに提示することに応答して受信され得る。設計管理プロセス５００は、特徴Ａ５０４、特徴Ｂ５０６、および特徴Ｎ５０８の各々に対して分類モデルを実行して、分類５１４、分類５１６、および分類５１８を生成することを更に含み得る。一実施形態によれば、分類５１４は、ユーザー活動データ５２６の刺激入力パターンと特徴Ａ５０４との間の手続き的リフレクションおよび臨床的に検証された刺激反応パターンを含み得る。同様に、分類５１６は、ユーザー活動データ５２６の刺激入力パターンと特徴Ｂ５０６との間の手続き的リフレクションおよび臨床的に検証された刺激反応パターンを含み得、分類５１８は、ユーザー活動データ５２６の刺激入力パターンと特徴Ｎ５０８との間の手続き的リフレクションおよび臨床的に検証された刺激反応パターンを含み得る。一実施形態によれば、設計管理プロセス５００は、特徴の成功または失敗を判断して、ユーザー活動データの分類に基づき所望の刺激反応パターンをソフトウェアバージョンＸ５０２内に送達するように構成され得る。図示例では、分類５１８は、ユーザー活動データ５２６内の所望の刺激反応パターンを送達するための特徴Ｎ５０８の失敗を示す。一実施形態によれば、設計管理プロセス５００は、所望の刺激反応パターンの送達において、ユーザー活動データの分類に基づき、総計で、ソフトウェアバージョンの成功または失敗を判断するように更に構成され得る。図示例では、分類５１８は、ユーザー活動データ５２６内の所望の刺激反応パターンの送達においてソフトウェアバージョンＸ５０２の成功を示す。設計管理プロセス５００は、分類５１４、５１６、５１８、５２０の１つ以上を処理して１つ以上の設計管理５２４を実行するように更に構成され得る。一実施形態によれば、設計管理５２４は、１つ以上のソフトウェア品質保証プロセスを通して１つ以上の不適合な特徴および／または設計変更（例えば、特徴Ｎ５０８）を拒絶することを含み得る。ある実施形態によれば、設計管理５２４は、分類５１４、５１６、５１８、５２０の１つ以上に基づいてソフトウェアバージョンＸ５０２に対する１つ以上の性能測定基準を計算することを含み得る。設計管理５２４は、任意選択で、ソフトウェアバージョンＸ５０２と関連付けられた１つ以上の性能測定基準を、１つ以上の以前のバージョンと関連付けられた性能測定基準と比較するように更に構成され得る。設計管理プロセス５００は、特徴Ａ５０４、特徴Ｂ５０６、および／または特徴Ｎ５０８の１つ以上を受理または拒絶して、ソフトウェアバージョンＸ´５１０を定義するように更に構成され得る。

ここで図６を参照すると、ソフトウェア検証プロセス６００のプロセスフロー図が示されている。本開示のある態様によれば、ソフトウェア検証プロセス６００は、ソフトウェア設計管理システム、例えば、図２～図４の任意の１つに示されて説明されているようなソフトウェア設計管理システム内に組み込まれ得る。一実施形態によれば、ソフトウェア検証プロセス６００は、開発環境６０６内に配備（６１０）されている少なくとも１つの新しい特徴または設計変更６０４を含むソフトウェアプログラム６０２を含む。１人以上のユーザー６０８は、少なくとも１つの新しい特徴または設計変更６０４を含むソフトウェアプログラム６０２のインスタンス６１２を実行し得る。ユーザー活動データ６２２は、分類モデル６１４に従って処理され得る。分類モデル６１４は、臨床的に検証された刺激反応パターンと関連付けられた１つ以上の変数を分類するように構成され得る。ソフトウェア検証プロセス６００は、ユーザー活動データ６２２が所望の刺激反応パターンを反映する（６１８）か、または所望の刺激反応パターンを反映しない（６２０）かを評価する（６１６）ように更に構成され得る。ユーザー活動データ６２２が分類６１４に従って所望の刺激反応パターンを反映しない場合（６２０）、ソフトウェア検証プロセス６００は、不合格（ＦＡＩＬ）状態を特徴または設計変更６０４に割り当てるように構成され得る。ユーザー活動データ６２２が分類６１４に従って所望の刺激反応パターンを反映する場合（６１８）、ソフトウェア検証プロセス６００は、合格（ＰＡＳＳ）状態を特徴または設計変更６０４に割り当てるように構成され得る。

ここで図７を参照すると、ソフトウェア設計管理システム７００の機能ブロック図が示されている。本開示のある態様によれば、開発プラットフォーム７０２は開発環境７０４および第三者環境７０６と１つ以上のＡＰＩを介して通信可能に係合され得る。ある実施形態によれば、開発環境７０４は、アプリケーションＡ７１６およびアプリケーションＢ７１８に対するソースコードを含み得る。ある実施形態では、第三者環境７０６はアプリケーションＣ７２０に対するソースコードを含み得る。ある実施形態では、アプリケーションＡ７１６はエンジンＡ ＡＰＩ７０８と通信可能に係合されてアプリケーションＡ７１６内の１つ以上のＣＳＩを構成し得る。同様に、アプリケーションＢ７１８はエンジンＢ ＡＰＩ７１０と通信可能に係合されてアプリケーションＢ７１８内の１つ以上のＣＳＩを構成し得、アプリケーションＣ７２０はエンジンＣ ＡＰＩ７１４と通信可能に係合されてアプリケーションＣ７２０内の１つ以上のＣＳＩを構成し得る。アプリケーションＡ７１６、アプリケーションＢ７１８および／またはアプリケーションＣ７２０は、設計管理ＡＰＩ７１２と通信可能に係合されてユーザー活動データおよびアプリケーションデータを設計管理サブシステム７２８に提供し得る。設計管理サブシステム７２８は、１つ以上の分類モデル（複数可）に従ってユーザー活動データおよびアプリケーションデータを処理するように構成され得る。図示例によれば、設計管理サブシステム７２８は、分類モデルＡ７２２を実行して、アプリケーションＡ７１６と関連付けられたユーザー活動データを分類し、分類モデルＢ７２４を実行して、アプリケーションＢ７１８と関連付けられたユーザー活動データを分類し、分類モデルＣ７２６を実行して、アプリケーションＣ７２０と関連付けられたユーザー活動データを分類するように構成される。ある実施形態によれば、設計管理サブシステム７２８は、開発環境７０４および／または第三者環境７０６内にＤｅｖＯｐｓツールキット内のツールを含む。

ここで図８を参照すると、ソフトウェア設計管理システム内のユーザー活動データを分類するためのルーチン８００の機能ブロック図が示されている。本開示のある態様によれば、ルーチン８００は、図２～図４の任意の１つに示されて説明されているようなソフトウェア設計管理システム内に組み込まれ得る。ルーチン８００は、開発サブシステムと設計管理サブシステム、例えば、開発サブシステム２０２および／または３０２と設計管理サブシステム２０４および／または３０４（それぞれ、図２～図３に示されて説明されているような）との間で実行されている１つ以上のステップを含み得る。一実施形態によれば、ルーチン８００は、開発サブシステムと設計管理サブシステムとの間に通信インタフェースを確立する（８０２）ことによって開始され得る。設計管理サブシステムは、開発サブシステムからの１つ以上のアプリケーションデータに応答して１つ以上の分類モデル（複数可）を構成する（８０４）ように構成され得る。１つ以上の分類モデル（複数可）８０４を構成することは、１つ以上の性能測定基準を含む１つ以上のモデル変数を決定する（８２４）ことを更に含み得る。ルーチン８００は、１つ以上の新しい特徴および／または漸進的設計変更を含む更新されたプログラムコードをコンパイルする（８０６）ことによって継続し得る。ルーチン８００は、更新されたプログラムコードの検査または生産前インスタンスを実行する（８０８）ことによって継続し得る。検査または生産前インスタンス８０８は、１つ以上の刺激８１２を１つ以上のユーザー装置８１０に提供すること、および１つ以上の刺激８１２に応答して１つ以上の入力８１４を受信することを含み得る。ある実施形態によれば、１つ以上の刺激は、１つ以上のＣＳＩを含み得る。ルーチン８００は、ユーザー活動データを処理し（８１６）、ユーザー活動データを設計管理サブシステムに伝達することによって継続し得る。ルーチン８００は、ユーザー活動データを受信し、任意選択で格納する（８１８）ことにより、設計管理サブシステムで継続し得る。ルーチン８００は、分類モデル（ステップ８０４で構成されたような）を実行（８２０）してユーザー活動データを分類する（８２２）ことによって継続し得る。ルーチン８００は、分類されたユーザー活動データを処理し、更新されたプログラムコードと関連付けられた１つ以上の性能測定基準を計算する（８２４）ことによって終了し得る。ある実施形態によれば、１つ以上の性能測定基準は、更新されたプログラムコードと関連付けられた少なくとも１つの安全性、有効性、または性能変数の１つ以上の定量化尺度を含み得る。

ここで図９を参照すると、ソフトウェア設計管理システム内のソフトウェアビルドの合格／不合格状態を判断するためのルーチン９００の機能ブロック図が示されている。本開示のある態様によれば、ルーチン９００は、図２～図４の任意の１つに示されて説明されているようなソフトウェア設計管理システム内に組み込まれ得る。ルーチン９００は、開発サブシステムと設計管理サブシステム、例えば、開発サブシステム２０２および／または３０２と設計管理サブシステム２０４および／または３０４（それぞれ、図２～図３に示されて説明されているような）との間で実行される１つ以上のステップを含み得る。ある実施形態では、ルーチン９００は、ルーチン８００（図８に示されて説明されている）の１つ以上のステップの継続を含み得る。

ルーチン９００は、ソフトウェアプログラムのインスタンスと関連付けられたユーザー活動データに対する１つ以上のデータモデルの実行に対応するデータ分類（複数可）を分析する（９０２）ことを含み得る。ある実施形態によれば、ステップ９０２は、１つ以上のサブステップ９０４～９１０および／または９１２～９１８を含み得る。ある実施形態では、サブステップ９０４～９１０は、分類モデルに適合するモデルを評価する（特徴当たりベースで）こと（９０４）；ソフトウェアプログラムのバージョンに対する１つ以上の性能測定基準を評価する（特徴当たりベースで）こと（９０６）；ソフトウェアプログラムのバージョンに対する１つ以上の性能測定基準を定量化する（特徴当たりベースで）こと（９０８）；およびソフトウェアプログラムのバージョンに対する少なくとも１つの合格／不合格状態を判断する（特徴当たりベースで）こと（９１０）のステップを含み得る。ある実施形態では、サブステップ９１２～９１８は、分類モデルに適合するモデルを評価する（現在のビルド／バージョンに対して）こと（９１２）；ソフトウェアプログラムのバージョンに対する１つ以上の性能測定基準を評価する（現在のビルド／バージョンに対して）こと（９１４）；ソフトウェアプログラムのバージョンに対する１つ以上の性能測定基準を定量化する（現在のビルド／バージョンに対して）こと（９１６）；およびソフトウェアプログラムのバージョンに対する少なくとも１つの合格／不合格状態を判断する（現在のビルド／バージョンに対して）こと（９１８）のステップを含み得る。

ここで図１０を参照すると、ソフトウェア設計管理システム内の設計変更の影響を判断するためのルーチン１０００の機能ブロック図が示されている。本開示のある態様によれば、ルーチン１０００は、図２～図４の任意の１つに示されて説明されているようなソフトウェア設計管理システム内に組み込まれ得る。ルーチン１０００は、開発サブシステムと設計管理サブシステム、例えば、開発サブシステム２０２および／または３０２と設計管理サブシステム２０４および／または３０４（それぞれ、図２～図３に示されて説明されている）との間で実行される１つ以上のステップを含み得る。ある実施形態では、ルーチン１０００は、ルーチン８００および／またはルーチン９００（図８～図９に示されて説明されている）の１つ以上のステップの継続を含み得る。

ルーチン１０００は、ソフトウェアプログラムの現在のバージョンと、ソフトウェアプログラムの少なくとも１つの以前のバージョンとの間で少なくとも１つの性能測定基準を比較する（１００２）ことを含み得る。ある実施形態によれば、ステップ１００２は、１つ以上のサブステップ１００４～１００８および／または１０１０～１０１４を含み得る。ある実施形態では、サブステップ１００４～１００８は、ソフトウェアプログラムの現在のバージョンと、ソフトウェアプログラムの少なくとも１つの以前のバージョンとの間で分類モデルに適合するモデルを比較する（特徴当たりベースで）こと（１００４）；ソフトウェアプログラムの現在のバージョンと、ソフトウェアプログラムの少なくとも１つの以前のバージョンとの間で１つ以上の性能測定基準を比較する（特徴当たりベースで）こと（１００６）；およびソフトウェアプログラムの現在のバージョンと、ソフトウェアプログラムの少なくとも１つの以前のバージョンとの間で性能における１つ以上の変化を判断する（特徴当たりベースで）こと（１００８）のステップを含み得る。ある実施形態では、サブステップ１０１０～１０１４は、ソフトウェアプログラムの現在のバージョンと、ソフトウェアプログラムの少なくとも１つの以前のバージョンとの間で分類モデルに適合するモデルを比較する（現在のビルド／バージョンに対して）こと（１０１０）；ソフトウェアプログラムの現在のバージョンと、ソフトウェアプログラムの少なくとも１つの以前のバージョンとの間で１つ以上の性能測定基準を比較する（現在のビルド／バージョンに対して）こと（１０１２）；およびソフトウェアプログラムの現在のバージョンと、ソフトウェアプログラムの少なくとも１つの以前のバージョンとの間で性能における１つ以上の変化を判断する（現在のビルド／バージョンに対して）こと（１０１４）のステップを含み得る。ある実施形態によれば、ルーチン１０００は、ソフトウェアプログラムの現在のバージョンと、ソフトウェアプログラムの１つ以上の以前のバージョンとの間で比較されて、新しい特徴および／または設計変更のソフトウェアプログラムへの影響の定性的および／または定量的尺度を判断すること（１０１６）によって終了し得る。

ここで図１１を参照すると、ソフトウェア設計管理および品質保証のための方法１１００のプロセスフロー図が示されている。ある実施形態によれば、ソフトウェアプログラムはＤＨＩまたはＳａＭＤ製品として構成される。本開示のある態様によれば、方法１１００の１つ以上のステップは、図１～図１０に示されて説明されている、１つ以上のシステム、プロセスおよび／もしくはルーチン内に組み込まれ、かつ／またはそれらによって具現化され得る。方法１１００は、開発サブシステムと設計管理サブシステム、例えば、開発サブシステム２０２および／または３０２と設計管理サブシステム２０４および／または３０４（それぞれ、図２～図３に示されて説明されている）との間で実行される１つ以上のステップを含み得る。一実施形態によれば、方法１１００は、少なくとも１つのテスト特徴または設計変更を含むソフトウェアビルドの検査インスタンスをグラフィカルユーザーインタフェースを介してユーザーに提示する（１１０２）ことを含み得る。方法１１００は、検査インスタンスをグラフィカルユーザーインタフェースを介して提示することに応答してユーザー活動データを１人以上のユーザーから受信する（１１０４）ことを更に含み得る。方法１１００は、ユーザー活動データを少なくとも１つの分類モデルに従って処理してユーザー活動データを分類する（１１０６）ことを更に含み得る。方法１１００は、ユーザー活動データを分析してソフトウェアビルドに対する１つ以上の性能測定基準を決定する（１１０８）ことを更に含み得る。ある実施形態では、方法１１００は、ユーザー活動データを分析して１つ以上の特徴（複数可）に対する性能測定基準を決定する（１１１２）ことを更に含み得る。方法１１００は、性能測定基準を分析してソフトウェアビルドの合格／不合格状態を判断する（１１１０）ことを更に含み得る。ある実施形態では、方法１１００は、性能測定基準を分析して１つ以上の特徴（複数可）の合格／不合格状態を判断する（１１１４）ことを更に含み得る。

ここで図１２を参照すると、ソフトウェアプログラムに対するソフトウェア設計管理および品質保証のための方法１２００のプロセスフロー図が示されている。ある実施形態によれば、ソフトウェアプログラムはＤＨＩまたはＳａＭＤ製品として構成される。本開示のある態様によれば、方法１２００の１つ以上のステップは、図１～図１０に示されて説明されている、１つ以上のシステム、プロセスもしくはルーチン内に組み込まれ、かつ／またはそれらによって具現化され得る。方法１２００は、開発サブシステムと設計管理サブシステム、例えば、開発サブシステム２０２および／または３０２と設計管理サブシステム２０４および／または３０４（それぞれ、図２～図３に示されて説明されている）との間で実行される１つ以上のステップを含み得る。ある実施形態によれば、方法１２００は、方法１１００（図１１に示されて説明されている）の、１つ以上のステップ、もしくはサブステップの継続を含み得るか、またはそうでなければ、それら内に組み込まれ得る。本開示のある態様によれば、方法１２００は、ＤＨＩまたはＳａＭＤ製品に対する検査および／またはソフトウェア品質保証のための１つ以上のステップもしくは操作を含み得る。方法１２００は、ユーザーコンピューティング装置を用いてグラフィカルユーザーインタフェースを介して、ソフトウェアビルドのインスタンスをユーザーに提示するための１つ以上のステップ（ステップ１２０２）を含み得る。ある実施形態では、ソフトウェアビルドは、１つ以上のコンピュータ制御刺激または相互作用をグラフィカルユーザーインタフェースにおいて提示することに応答して、予期された刺激入力パターンをユーザーから引き出すように構成された少なくとも１つの特徴を含むソフトウェア製品の検査または生産インスタンスを含み得る。方法１２００は、ソフトウェアビルドのインスタンス内での１つ以上のコンピュータ制御刺激または相互作用の提示に応答して、ユーザーコンピューティング装置の入力センサーを介して、複数のユーザー入力を受信するための１つ以上のステップを実行または遂行することによって進み得る（ステップ１２０４）。ユーザー活動データは、ユーザーコンピューティング装置の入力センサーと通信可能に係合されたローカルまたはリモートプロセッサによって伝達および受信され得（ステップ１２０６）、ローカルまたはリモートプロセッサと通信可能に係合された少なくとも１つの持続性コンピュータ可読媒体内に格納され得る。方法１２００は、ローカルまたはリモートプロセッサを用いて、ユーザー活動データを少なくとも１つのデータモデルに従って処理して、複数のユーザー入力内の各ユーザー入力に対する１つ以上の実際の刺激入力パターンを決定するための１つ以上のステップもしくはサブステップを実行または遂行することによって進み得る（ステップ１２０８）。ある実施形態によれば、少なくとも１つのデータモデルは、ソフトウェア製品（例えば、ＤＨＩまたはＳａＭＤ製品）に対する１つ以上の性能、安全性または有効性パラメータと関連付けられた１つ以上の変数を分類するように構成された分類モデルを含み得る。方法１２００は、複数のユーザー入力内の各ユーザー入力に対する１つ以上の実際の刺激入力パターンを、少なくとも１つの特徴に対する予期された刺激入力パターンと比較して、１つ以上の実際の刺激入力パターンがソフトウェアビルドのセッション内の予期された刺激入力パターンを反映していたインスタンスの総数を決定するための１つ以上のステップもしくはサブステップを実行することによって進み得る（ステップ１２１０）。ある実施形態によれば、方法１２００は、ソフトウェアビルドのセッション内の正味治療活動の量を、１つ以上の実際の刺激入力パターンが予期された刺激入力パターンを反映していたインスタンスの総数に従って計算するための１つ以上のステップを含み得る。１つ以上のステップは、ソフトウェアビルドのセッション内の少なくとも１つの特徴に対する有効な治療送達の量を、１つ以上の実際の刺激入力パターンが予期された刺激入力パターンを反映していたインスタンスの総数に従って計算するための１つ以上のサブステップを更に含み得る。方法１２００は、ローカルまたはリモートプロセッサを用いて、ユーザー活動データに対する少なくとも１つの出力を少なくとも１つデータモデルに従って計算するための、ステップもしくはサブステップの１つ以上の処理を実行または遂行することによって進み得る（ステップ１２１２）。ある典型的な実施形態によれば、少なくとも１つの出力値は、少なくとも１つの特徴に適したモデルの定性的または定量的程度を提供するように構成される。方法１２００は、ソフトウェアビルドに対する合格／不合格状態を少なくとも１つの出力値に従って判断し（ステップ１２１４）、かつ／または少なくとも１つの特徴に対する合格／不合格状態を少なくとも１つ出力値に従って判断する（ステップ１２１６）ための１つ以上のステップもしくはサブステップを実行または遂行することによって進み得る。ある実施形態では、方法１２００は、少なくとも１つの出力値を、ソフトウェアビルドの少なくとも１つの以前のバージョンと関連付けられた少なくとも１つの以前の出力値と比較して、少なくとも１つの特徴に起因する変化の量を判断するための１つ以上のステップもしくはサブステップを含み得る。

ソフトウェアビルドのセッション内で治療活動／送達の１つ以上の量が測定される、ある実施形態では、方法１２００は、ソフトウェアビルドのセッション内での正味治療活動の量を、ソフトウェアビルドの少なくとも１つの以前のセッションと関連付けられた正味治療活動の少なくとも１つの以前の量と比較して、少なくとも１つの特徴に起因する変化の量を判断するための１つ以上のステップも含み得る。かかる実施形態では、ソフトウェアビルドに対する合格／不合格状態は、ソフトウェアビルドのセッション内での正味治療活動の量および／またはソフトウェアビルドのセッション内での少なくとも１つの特徴に対する有効な治療送達の量に従って判断され得る。

ここで図１３を参照すると、ソフトウェアプログラムに対するソフトウェア設計管理および品質保証のための方法１３００のプロセスフロー図が示されている。ある実施形態によれば、ソフトウェアプログラムはＤＨＩまたはＳａＭＤ製品として構成される。本開示のある態様によれば、方法１３００は、図２～図４の任意の１つに示されて説明されているようなソフトウェア設計管理システム内に組み込まれ得る。方法１３００は、開発サブシステムと設計管理サブシステム、例えば、開発サブシステム２０２および／または３０２と設計管理サブシステム２０４および／または３０４（それぞれ、図２～図３に示されて説明されている）との間で実行される１つ以上のステップを含み得る。ある実施形態では、方法１３００は、方法１１００（図１１に示されて説明されている）および／または方法１２００（図１２に示されて説明されている）の、１つ以上のステップ、もしくはサブステップの継続を含み得るか、またはそうでなければ、それら内に組み込まれ得る。一実施形態によれば、方法１３００は、ユーザーの神経学的、心理学的もしくは身体的状態を有効に治療または標的にするようにデジタル介入を構成する（１３０２）ことを含み得る。方法１３００は、臨床的に検証された刺激反応パターンに従って分類モデルを構成する（１３０４）ことを更に含み得る。方法１３００は、デジタル介入のインスタンスをユーザーに提示する（１３０６）ことを更に含み得る。方法１３００は、デジタル介入のインスタンスに応答して刺激入力データを収集する（１３０８）ことを更に含み得る。方法１３００は、分類モデルに従って刺激入力データを処理する（１３１０）ことを更に含み得る。方法１３００は、分類モデルに従った刺激入力データの処理に応答して刺激入力データに適したモデルを決定して（１３１２）、１つ以上の性能測定基準を生成することを更に含み得る。ある実施形態によれば、１つ以上の性能測定基準は、デジタル介入に対する安全性、有効性、およびまたは性能の１つ以上の定量化尺度を含み得る。方法１３００は、デジタル介入の１つ以上の特徴に対する性能測定基準を分析する（１３１４）ことを更に含み得る。方法１３００は、デジタル介入の１つ以上の特徴の各々および／またはデジタル介入全体と関連付けられた神経学的、心理学的または身体的状態に対する治療処置の程度を判断および／または定量化する（１３１６）ことを更に含み得る。方法１３００は、デジタル介入の１つ以上の特徴の各々および／またはデジタル介入全体に対する合格／不合格状態を判断する（１３１８）ことを更に含み得る。

当業者によって理解されるとおり、本発明は、方法（例えば、コンピュータ実装プロセス、ビジネスプロセス、および／または任意の他のプロセスを含む）、装置（例えば、システム、機械、装置、コンピュータプログラム製品、および／または同様のものを含む）、または前述の組合せとして具現化され得る。それに応じて、本発明の実施形態は、完全にハードウェア実施形態、完全にソフトウェア実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）、または一般に本明細書で「システム」と呼ばれ得る、ソフトウェアとハードウェア態様を組み合わせた実施形態の形を取り得る。その上、本発明の実施形態は、媒体内に具現化されたコンピュータ実行可能プログラムコードを有するコンピュータ実行可能媒体上のコンピュータプログラム製品の形を取り得る。

任意の適切な一時的または持続性コンピュータ可読媒体が利用され得る。コンピュータ可読媒体は、例えば、電子、磁気、光学、電磁、赤外線、または半導体システム、装置、もしくはデバイスであり得るが、それらに制限されない。コンピュータ可読媒体のもっと具体的な例は、次を含むが、それらに制限されない：１本以上のワイヤーを有する電気的接続、可搬式コンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、読み取り専用コンパクトディスク（ＣＤ－ＲＯＭ）、または他の光学もしくは磁気記憶装置などの有形的記憶媒体。

本ドキュメントの文脈では、コンピュータ可読媒体は、命令実行システム、装置、もしくはデバイスによって、またはそれと接続して、使用するためのプログラムを含むか、格納するか、伝達するか、または運搬できる任意の媒体であり得る。コンピュータ利用可能プログラムコードは、インターネット、有線、光ファイバーケーブル、無線周波数（ＲＦ）信号、または他の媒体を含むがそれらに制限されない、任意の適切な媒体を使用して送信され得る。

本発明の実施形態の動作を実行するためのコンピュータ実行可能プログラムコードは、Ｊａｖａ、Ｐｅｒｌ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋、または同様のものなどの、オブジェクト指向、スクリプトまたは非スクリプト型のプログラミング言語で書かれ得る。しかし、本発明の実施形態の動作を実行するためのコンピュータプログラムコードは、「Ｃ」プログラミング言語または類似のプログラミング言語などの、従来の手続き型プログラミング言語でも書かれ得る。

本発明の実施形態は、方法、装置（システム）、ならびにコンピュータプログラム製品のフローチャート図および／またはブロック図を参照して上で説明される。フローチャート図および／もしくはブロック図の各ブロック、ならびに／またはフローチャート図および／もしくはブロック図内のブロックの組合せは、コンピュータ実行可能プログラムコード部分によって実装できることが理解されるであろう。これらのコンピュータ実行可能プログラムコード部分は、汎用コンピュータのプロセッサ、専用コンピュータ、または他のプログラム可能データ処理装置に提供されて特定の機械を作り出し、それによりコンピュータのプロセッサまたは他のプログラム可能データ処理装置を介して実行する、コード部分は、フローチャートおよび／またはブロック図ブロックもしくは複数のブロック内に指定された機能／動作を実装するための機構を作り出す。

コンピュータまたは他のプログラム可能データ処理装置が特定の方法で機能するように指示できる、これらのコンピュータ実行可能プログラムコード部分（すなわち、コンピュータ実行可能命令）もコンピュータ可読メモリ内に格納され得、そのためコンピュータ可読メモリ内に格納されたコード部分は、フローチャートおよび／またはブロック図ブロック（複数可）内に指定された機能／動作を実装する命令機構を含む製品を作り出す。コンピュータ実行可能命令は、１つ以上のコンピュータまたは他の装置によって実行される、プログラムモジュールなどの、多くの形であり得る。一般に、プログラムモジュールは、特定のタスクを実行するか、または特定の抽象データ型を実装する、ルーチン、プログラム、オブジェクト、構成要素、データ構造などを含む。典型的には、プログラムモジュールの機能は、様々な実施形態における必要に応じて組み合わされるか、または分散され得る。

コンピュータ実行可能プログラムコードは、コンピュータまたは他のプログラム可能データ処理装置上にもロードされて、一連の操作フェーズをコンピュータまたは他のプログラム可能装置上で実行させて、コンピュータまたは他のプログラム可能装置上で実行するコード部分が、フローチャートおよび／またはブロック図ブロック（複数可）内に指定された機能／動作を実装するためのフェーズを提供するように、コンピュータ実装プロセスを生成し得る。代替として、コンピュータプログラム実装フェーズまたは動作は、本発明の一実施形態を実行するために、オペレータまたは人間が実装したフェーズもしくは動作と組み合わされ得る。

句が本明細書で使用されるとおり、プロセッサは、ある機能を様々な方法で実行するように「動作可能である」か、または「構成され」得、例えば、１つ以上の汎用回路に、コンピュータ可読媒体内に具現化された特定のコンピュータ実行可能プログラムコードを実行することによって機能を実行させることにより、および／または１つ以上の特定用途向け回路に機能を実行させることによることを含む。

用語「プログラム」または「ソフトウェア」は、本明細書では一般的な意味で使用されて、コンピュータまたは他のプロセッサをプログラムして、本技術の様々な態様を前述のとおりに実装するために採用できる任意のタイプのコンピュータコードまたはコンピュータ実行可能命令のセットを指す。追加として、本実施形態の一態様によれば、実行される場合に、本技術の方法を実行する１つ以上のコンピュータプログラムは、単一のコンピュータまたはプロセッサ上に常駐している必要はなく、いくつかの異なるコンピュータまたはプロセッサ間にモジュール方式で分散されて本技術の様々な態様を実装し得ることが理解されよう。

全ての定義は、本明細書で定義されて使用されるように、辞書定義、参照によって組み込まれる文書内の定義、および／または定義された用語の通常の意味によって管理することが理解されるべきであろう。

不定冠詞「１つの（ａ）」および「１つの（ａｎ）」は、本明細書およびクレームで使用されるように、それとは反対の明確な指示がない限り、「少なくとも１つの」を意味すると理解されるべきである。本明細書では、用語「右」、「左」、「上」、「下」、「上方」、「下方」、「内側」および「外側」は、参照が行われる図面における方向を指定する。

句「および／または（ａｎｄ／ｏｒ）」は、本明細書およびクレームで使用されるように、そのように結合された要素、すなわち、いくつかの事例で結合して提示されて、他の事例では分離して提示される要素、の「どちらか、または両方」を意味すると理解されるべきである。「および／または」と共にリストされた複数の要素は、同じ方法で、すなわち、そのように結合された要素の「１つまたは複数」、と解釈されるべきである。他の要素は任意選択で、特別に識別されたそれらの要素に関連するか、無関係であるかに関わらず、「および／または」句によって特別に識別された要素以外を示し得る。従って、非限定的例として、「Ａおよび／またはＢ」への言及は、「を含む」などの無制限言語と一緒に使用される場合、一実施形態では、Ａだけ（任意選択で、Ｂ以外の要素を含む）を；別の実施形態では、Ｂだけ（任意選択で、Ａ以外の要素を含む）を；更に別の実施形態では、ＡとＢの両方（任意選択で、他の要素を含む）を指し得る。

本明細書およびクレームで使用されるように、「または（ｏｒ）」は、上で定義された「および／または」と同じ意味を有することが理解されるべきである。例えば、リスト中の項目を区切る場合、「または」または「および／または」は、包括的として解釈されるべき、すなわち、いくつかの要素または要素のリストのうちの、少なくとも１つを含むが、２つ以上、および任意選択で、追加のリストされていない項目も含む。それとは反対に明確に示された唯一の項目、例えば、「のうちの１つだけ」もしくは「のうちの正確に１つ」など、または、クレーム内で使用される場合、「から成る（ｃｏｎｓｉｓｔｉｎｇ ｏｆ）」は、いくつかの要素または要素のリストのうちの正確に１つの要素の包含を指す。一般に、本明細書で使用される用語「または」は、「いずれか」、「のうちの１つ」、「のうちの１つだけ」、または「のうちの正確に１つ」などの、排他性の用語が付く場合、排他的な代替（すなわち、「一方または他方、しかし両方ではない」）を示すとしてだけ解釈されるものとする。「本質的に～から成る」はクレーム内で使用される場合、特許法の分野で使用されるようなその通常の意味を有するものとする。

明細書およびクレームで使用されるように、句「少なくとも１つ」は、１つ以上の要素のリストに関連して、要素のリスト中の要素の任意の１つ以上から選択された少なくとも１つの要素を意味すると理解されるべきであるが、要素のリスト内に具体的にリストされた各および全ての要素の少なくとも１つを必ずしも含まず、要素のリスト中の要素の任意の組合せを除外しない。この定義は、要素が任意選択で、句「少なくとも１つ」が指す要素のリスト内で具体的に識別された要素以外を、具体的に識別されたそれらの要素に関連しているか無関係であるかにかかわらず、存在し得ることも可能にする。従って、非限定的例として、「ＡおよびＢの少なくとも１つ」（または、同等に、「ＡまたはＢの少なくとも１つ」または、同等に、「Ａおよび／またはＢの少なくとも１つ」）は、一実施形態では、Ｂが存在せず（および任意選択でＢ以外の要素を含む）、少なくとも１つ、任意選択で２つ以上を含む、Ａ；別の実施形態では、Ａが存在せず（および任意選択でＡ以外の要素を含む）、少なくとも１つ、任意選択で２つ以上を含む、Ｂ；更に別の実施形態では、少なくとも１つ、任意選択で２つ以上を含む、Ａ、および少なくとも１つ、任意選択で２つ以上を含む、Ｂ（および任意選択で他の要素を含む）；などを指し得る。

クレームで、および前述の明細書でも、「含む（ｃｏｍｐｒｉｓｉｎｇ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」、「持つ（ｃａｒｒｙｉｎｇ）」、「有する（ｈａｖｉｎｇ）」、「包含する（ｃｏｎｔａｉｎｉｎｇ）」、「伴う（ｉｎｖｏｌｖｉｎｇ）」、「保持する（ｈｏｌｄｉｎｇ）」、「で構成される（ｃｏｍｐｏｓｅｄ ｏｆ）」、および同様のものなどの、全ての移行句は、無制限と理解されるべきである、すなわち、包含するがそれらに制限されないことを意味する。移行句「～から成る（ｃｏｎｓｉｓｔｉｎｇ ｏｆ）」および「本質的に～から成る（ｃｏｎｓｉｓｔｉｎｇ ｅｓｓｅｎｔｉａｌｌｙ ｏｆ）」だけは、米国特許局審査便覧、セクション２１１１．０３に記載されているとおり、それぞれ、閉じた、または半分閉じた移行句であるとする。

本開示は、前述の記述だけでなく、添付のクレームに含まれるものを含む。本発明は、ある程度の特定性と共に、その典型的な形で記述されているが、本開示はほんの一例としてのみ作成されており、構成の詳細ならびに部分の組合せおよび配置における多数の変更が、本発明の精神および範囲から逸脱することなく採用され得ることが理解される。

Claims (42)

1. ユーザーコンピューティング装置を用いてグラフィカルユーザーインタフェースを介して、ソフトウェアビルドのインスタンスをユーザーに提示することであって、前記ソフトウェアビルドは、１つ以上のコンピュータ制御刺激または相互作用に応答して予期された刺激入力パターンを前記ユーザーから引き出すように構成された前記１つ以上のコンピュータ制御刺激または相互作用を含む少なくとも１つの特徴を含むことと、
   前記ユーザーコンピューティング装置と通信可能に係合された少なくとも１つのセンサーを用いて、前記ソフトウェアビルドの前記インスタンス内で前記１つ以上のコンピュータ制御刺激または相互作用の提示に応答して複数のユーザー入力を受信することであって、前記複数のユーザー入力は、前記ソフトウェアビルドのセッションに対するユーザー活動データを含むことと、
   前記ユーザーコンピューティング装置と通信可能に係合されたプロセッサを用いて、前記ユーザー活動データを受信することと、
   前記プロセッサを用いて、前記ユーザー活動データを少なくとも１つのデータモデルに従って処理して、前記複数のユーザー入力内の各ユーザー入力に対する１つ以上の実際の刺激入力パターンを判断することと、
   前記複数のユーザー入力内の各ユーザー入力に対する前記１つ以上の実際の刺激入力パターンを、前記少なくとも１つの特徴に対する前記予期された刺激入力パターンと比較して、前記１つ以上の実際の刺激入力パターンが、前記ソフトウェアビルドの前記セッション内の前記予期された刺激入力パターンを反映していたインスタンスの総数を決定することと、
   前記プロセッサを用いて、前記ユーザー活動データに対する少なくとも１つの出力値を前記少なくとも１つのデータモデルに従って計算することであって、前記少なくとも１つの出力値は、前記少なくとも１つの特徴に適したモデルの定性的または定量的程度を含むことと、
   前記ソフトウェアビルドに対する合格／不合格状態を前記少なくとも１つの出力値に従って判断することと
   を含む、ソフトウェア品質保証のための方法。
2. 前記プロセッサを用いて、前記ソフトウェアビルドの前記セッション内の正味治療活動の量を、前記１つ以上の実際の刺激入力パターンが前記予期された刺激入力パターンを反映していたインスタンスの前記総数に従って計算することを更に含む、請求項１に記載の方法。
3. 前記プロセッサを用いて、前記ソフトウェアビルドの前記セッション内の前記少なくとも１つ特徴に対する有効な治療送達の量を、前記１つ以上の実際の刺激入力パターンが前記予期された刺激入力パターンを反映していたインスタンスの前記総数に従って計算することを更に含む、請求項２に記載の方法。
4. 前記少なくとも１つのデータモデルは、１つ以上の性能、安全性または有効性パラメータと関連付けられた１つ以上の変数を分類するように構成された分類モデルを含む、請求項１に記載の方法。
5. 前記プロセッサを用いて、前記少なくとも１つの特徴に対する合格／不合格状態を前記少なくとも１つの出力値に従って判断することを更に含む、請求項１に記載の方法。
6. 前記プロセッサを用いて、前記少なくとも１つの出力値を、前記ソフトウェアビルドの少なくとも１つの以前のバージョンと関連付けられた少なくとも１つの以前の出力値と比較して、前記少なくとも１つの特徴に起因する変化の量を判断することを更に含む、請求項１に記載の方法。
7. 前記プロセッサを用いて、前記ソフトウェアビルドの前記セッション内の正味治療活動の前記量を、前記ソフトウェアビルドの少なくとも１つの以前のバージョンと関連付けられた正味治療活動の少なくとも１つの以前の量と比較して、前記少なくとも１つの特徴に起因する変化の量を判断することを更に含む、請求項３に記載の方法。
8. 前記プロセッサを用いて、前記ソフトウェアビルドに対する前記合格／不合格状態を前記ソフトウェアビルドの前記セッション内の正味治療活動の前記量に従って判断することを更に含む、請求項２に記載の方法。
9. 前記プロセッサを用いて、前記ソフトウェアビルドに対する前記合格／不合格状態を前記ソフトウェアビルドの前記セッション内の前記少なくとも１つの特徴に対する有効な治療送達の前記量に従って判断することを更に含む、請求項３に記載の方法。
10. プロセッサと、
    前記プロセッサと通信可能に係合されて、プロセッサ実行可能命令で符号化された持続性コンピュータ可読記憶媒体であって、前記プロセッサ実行可能命令は、実行される場合に、前記プロセッサに：
    ソフトウェアビルドのインスタンスを含むグラフィカルユーザーインタフェースを提示することであって、前記ソフトウェアビルドは、１つ以上のコンピュータ制御刺激または相互作用に応答して予期された刺激入力パターンをユーザーから引き出すように構成された前記１つ以上のコンピュータ制御刺激または相互作用を含む少なくとも１つの特徴を含むことと、
    前記ソフトウェアビルドのセッションに対する複数のユーザー活動データを受信することであって、前記複数のユーザー活動データは、前記１つ以上のコンピュータ制御刺激または相互作用に応答して複数のユーザー入力を含むことと、
    前記複数のユーザー活動データを少なくとも１つのデータモデルに従って処理して、前記複数のユーザー入力内の各ユーザー入力に対して１つ以上の実際の刺激入力パターンを判断することと、
    前記複数のユーザー入力内の各ユーザー入力に対する前記１つ以上の実際の刺激入力パターンを、前記少なくとも１つの特徴に対する前記予期された刺激入力パターンと比較して、前記１つ以上の実際の刺激入力パターンが、前記ソフトウェアビルドの前記セッション内の前記予期された刺激入力パターンを反映していたインスタンスの総数を決定することと、
    前記複数のユーザー活動データに対する少なくとも１つの出力値を前記少なくとも１つのデータモデルに従って計算することであって、前記少なくとも１つの出力値は、前記少なくとも１つの特徴に適したモデルの定性的または定量的程度を含むことと、
    前記ソフトウェアビルドに対する合格／不合格状態を前記少なくとも１つの出力値に従って判断することと
    を含む１つ以上の動作を実行させる、持続性コンピュータ可読記憶媒体と
    を備える、ソフトウェア品質保証のためのシステム。
11. 前記１つ以上の動作は、前記ソフトウェアビルドの前記セッション内の正味治療活動の量を、前記１つ以上の実際の刺激入力パターンが前記予期された刺激入力パターンを反映していたインスタンスの前記総数に従って計算することを更に含む、請求項１０に記載のシステム。
12. 前記１つ以上の動作は、前記ソフトウェアビルドの前記セッション内の前記少なくとも１つ特徴に対する有効な治療送達の量を、前記１つ以上の実際の刺激入力パターンが前記予期された刺激入力パターンを反映していたインスタンスの前記総数に従って計算することを更に含む、請求項１１に記載のシステム。
13. 前記少なくとも１つのデータモデルは、１つ以上の性能、安全性または有効性パラメータと関連付けられた１つ以上の変数を分類するように構成された分類モデルを含む、請求項１０に記載のシステム。
14. 前記１つ以上の動作は、前記少なくとも１つ特徴に対する合格／不合格状態を前記少なくとも１つの出力値に従って判断することを更に含む、請求項１０に記載のシステム。
15. 前記１つ以上の動作は、前記少なくとも１つの出力値を、前記ソフトウェアビルドの少なくとも１つの以前のバージョンと関連付けられた少なくとも１つの以前の出力値と比較して、前記少なくとも１つの特徴に起因する変化の量を判断することを更に含む、請求項１０に記載のシステム。
16. 前記１つ以上の動作は、前記ソフトウェアビルドの前記セッション内の正味治療活動の前記量を、前記ソフトウェアビルドの少なくとも１つの以前のバージョンと関連付けられた正味治療活動の少なくとも１つの以前の量と比較して、前記少なくとも１つの特徴に起因する変化の量を判断することを更に含む、請求項１２に記載のシステム。
17. 前記１つ以上の動作は、前記ソフトウェアビルドに対する前記合格／不合格状態を前記ソフトウェアビルドの前記セッション内の正味治療活動の前記量に従って判断することを更に含む、請求項１１に記載のシステム。
18. 前記１つ以上の動作は、前記ソフトウェアビルドに対する前記合格／不合格状態を前記ソフトウェアビルドの前記セッション内の前記少なくとも１つの特徴に対する有効な治療送達の前記量に従って判断することを更に含む、請求項１２に記載のシステム。
19. 前記１つ以上の動作は、前記ソフトウェアビルドに対する前記合格／不合格状態を前記１つ以上のコンピュータ制御刺激または相互作用と関連付けられた少なくとも１つの安全性パラメータに従って判断することを更に含む、請求項１０に記載のシステム。
20. １つ以上のプロセッサにソフトウェア品質保証のための動作を実行することを指示するための命令で符号化された持続性コンピュータ可読記憶媒体であって、前記動作は、
    ソフトウェアビルドのインスタンスを含むグラフィカルユーザーインタフェースを提示することであって、前記ソフトウェアビルドは、１つ以上のコンピュータ制御刺激または相互作用に応答して予期された刺激入力パターンをユーザーから引き出すように構成された前記１つ以上のコンピュータ制御刺激または相互作用を含む少なくとも１つの特徴を含むことと、
    前記ソフトウェアビルドのセッションに対する複数のユーザー活動データを受信することであって、前記複数のユーザー活動データは、前記１つ以上のコンピュータ制御刺激または相互作用に応答して複数のユーザー入力を含むことと、
    前記複数のユーザー活動データを少なくとも１つのデータモデルに従って処理して、前記複数のユーザー入力内の各ユーザー入力に対して１つ以上の実際の刺激入力パターンを判断することと、
    前記複数のユーザー入力内の各ユーザー入力に対する前記１つ以上の実際の刺激入力パターンを、前記少なくとも１つの特徴に対する前記予期された刺激入力パターンと比較して、前記１つ以上の実際の刺激入力パターンが、前記ソフトウェアビルドの前記セッション内の前記予期された刺激入力パターンを反映していたインスタンスの総数を決定することと、
    前記複数のユーザー活動データに対する少なくとも１つの出力値を前記少なくとも１つのデータモデルに従って計算することであって、前記少なくとも１つの出力値は、前記少なくとも１つの特徴に適したモデルの定性的または定量的程度を含むことと、
    前記ソフトウェアビルドに対する合格／不合格状態を前記少なくとも１つの出力値に従って判断することと
    を含む、
    持続性コンピュータ可読記憶媒体。
21. 前記動作は、前記ソフトウェアビルドの前記セッション内の正味治療活動の量を、前記１つ以上の実際の刺激入力パターンが前記予期された刺激入力パターンを反映していたインスタンスの前記総数に従って計算することを更に含む、請求項２０に記載の持続性コンピュータ可読記憶媒体。
22. 前記動作は、前記ソフトウェアビルドの前記セッション内の前記少なくとも１つ特徴に対する有効な治療送達の量を、前記１つ以上の実際の刺激入力パターンが前記予期された刺激入力パターンを反映していたインスタンスの前記総数に従って計算することを更に含む、請求項２１に記載の持続性コンピュータ可読記憶媒体。
23. 前記少なくとも１つのデータモデルは、１つ以上の性能、安全性または有効性パラメータと関連付けられた１つ以上の変数を分類するように構成された分類モデルを含む、請求項２０に記載の持続性コンピュータ可読記憶媒体。
24. 前記動作は、前記少なくとも１つの特徴に対する合格／不合格状態を前記少なくとも１つの出力値に従って判断することを更に含む、請求項２０に記載の持続性コンピュータ可読記憶媒体。
25. 前記動作は、前記少なくとも１つの出力値を、前記ソフトウェアビルドの少なくとも１つの以前のバージョンと関連付けられた少なくとも１つの以前の出力値と比較して、前記少なくとも１つの特徴に起因する変化の量を判断することを更に含む、請求項２０に記載の持続性コンピュータ可読記憶媒体。
26. 前記動作は、前記ソフトウェアビルドの前記セッション内の正味治療活動の前記量を、前記ソフトウェアビルドの少なくとも１つの以前のバージョンと関連付けられた正味治療活動の少なくとも１つの以前の量と比較して、前記少なくとも１つの特徴に起因する変化の量を判断することを更に含む、請求項２２に記載の持続性コンピュータ可読記憶媒体。
27. 前記動作は、前記ソフトウェアビルドに対する前記合格／不合格状態を前記ソフトウェアビルドの前記セッション内の正味治療活動の前記量に従って判断することを更に含む、請求項２１に記載の持続性コンピュータ可読記憶媒体。
28. 前記動作は、前記ソフトウェアビルドに対する前記合格／不合格状態を前記ソフトウェアビルドの前記セッション内の前記少なくとも１つの特徴に対する有効な治療送達の前記量に従って判断することを更に含む、請求項２２に記載の持続性コンピュータ可読記憶媒体。
29. 前記１つ以上の動作は、前記ソフトウェアビルドに対する前記合格／不合格状態を前記１つ以上のコンピュータ制御刺激または相互作用と関連付けられた少なくとも１つの安全性パラメータに従って判断することを更に含む、請求項２０に記載の持続性コンピュータ可読記憶媒体。
30. １つ以上のプロセッサに、請求項１～請求項９のいずれか１項に記載の方法を実行するための動作を実行するように指示するための命令で符号化された持続性コンピュータ可読記憶媒体。
31. ソフトウェア品質保証を実行するためのシステムであって、
    プロセッサと、
    前記プロセッサと通信可能に係合されて、プロセッサ実行可能命令で符号化された、持続性コンピュータ可読記憶媒体であって、前記プロセッサ実行可能命令は、実行される場合に、前記プロセッサに、請求項１～請求項９のいずれか１項に記載の方法を実行するための１つ以上の動作を実行させる、持続性コンピュータ可読記憶媒体と
    を備える、システム。
32. ソフトウェア品質保証を実行するための装置であって、
    プロセッサと、
    前記プロセッサと通信可能に係合されて、プロセッサ実行可能命令で符号化された、持続性コンピュータ可読記憶媒体であって、前記プロセッサ実行可能命令は、実行される場合に、前記プロセッサに、請求項１～請求項９のいずれか１項に記載の方法を実行するための１つ以上の動作を実行させる、持続性コンピュータ可読記憶媒体と
    を備える、装置。
33. 前記ソフトウェアビルドに対する前記合格／不合格状態を前記１つ以上のコンピュータ制御刺激または相互作用と関連付けられた少なくとも１つの安全性パラメータに従って判断することを更に含む、請求項１～請求項９のいずれか１項に記載の方法。
34. 前記少なくとも１つのデータモデルは、１つ以上の性能、安全性または有効性パラメータと関連付けられた１つ以上の変数を分類するように構成された分類モデルを含む、請求項１～請求項３のいずれか１項に記載の方法。
35. 前記プロセッサを用いて、前記少なくとも１つ特徴に対する合格／不合格状態を前記少なくとも１つの出力値に従って判断することを更に含む、請求項１～請求項４のいずれか１項に記載の方法。
36. 前記プロセッサを用いて、前記少なくとも１つの出力値を、前記ソフトウェアビルドの少なくとも１つの以前のバージョンと関連付けられた少なくとも１つの以前の出力値と比較して、前記少なくとも１つの特徴に起因する変化の量を判断することを更に含む、請求項１～請求項５のいずれか１項に記載の方法。
37. 前記プロセッサを用いて、前記ソフトウェアビルドの前記セッション内の正味治療活動の前記量を、前記ソフトウェアビルドの少なくとも１つの以前のバージョンと関連付けられた正味治療活動の少なくとも１つの以前の量と比較して、前記少なくとも１つの特徴に起因する変化の量を判断することを更に含む、請求項１～請求項６のいずれか１項に記載の方法。
38. 前記プロセッサを用いて、前記ソフトウェアビルドに対する前記合格／不合格状態を前記ソフトウェアビルドの前記セッション内の正味治療活動の前記量に従って判断することを更に含む、請求項１～請求項７のいずれか１項に記載の方法。
39. 前記プロセッサを用いて、前記ソフトウェアビルドに対する前記合格／不合格状態を前記ソフトウェアビルドの前記セッション内の前記少なくとも１つの特徴に対する有効な治療送達の前記量に従って判断することを更に含む、請求項１～請求項８のいずれか１項に記載の方法。
40. １つ以上のプロセッサに、請求項３２～請求項３９のいずれか１項に記載の方法を実行するための動作を実行するように指示するための命令で符号化された持続性コンピュータ可読記憶媒体。
41. ソフトウェア品質保証を実行するためのシステムであって、
    プロセッサと、
    前記プロセッサと通信可能に係合されて、プロセッサ実行可能命令で符号化された、持続性コンピュータ可読記憶媒体であって、前記プロセッサ実行可能命令は、実行される場合に、前記プロセッサに、請求項３２～請求項３９のいずれか１項に記載の方法を実行するための１つ以上の動作を実行させる、持続性コンピュータ可読記憶媒体と
    を備える、システム。
42. ソフトウェア品質保証を実行するための装置であって、
    プロセッサと、
    前記プロセッサと通信可能に係合されて、プロセッサ実行可能命令で符号化された、持続性コンピュータ可読記憶媒体であって、前記プロセッサ実行可能命令は、実行される場合に、前記プロセッサに、請求項３２～請求項３９のいずれか１項に記載の方法を実行するための１つ以上の動作を実行させる、持続性コンピュータ可読記憶媒体と
    を備える、装置。

Images