高レベルにおいて、本開示の態様は、スライドをデジタル化するシステムおよび方法に関し、システムは、少なくとも1つのイメージングデバイスと、複数のスライドを収容する少なくとも1つのスライド収納部と、イメージングデバイスに通信可能に接続されたコンピューティングデバイスとを含み、コンピューティングデバイスは、少なくとも1つのスライド収納部内の複数のスライドの各スライドについて、初期スライド画像および関連するスキャニングメタデータを生成するために、イメージングデバイスで複数のスライドの各スライドをスキャンし、複数のスライドの各スライドについて、初期スライド画像と関連するスキャニングメタデータの関数として、品質管理メトリックを決定するように構成され、品質管理メトリックを決定することは、決定された品質管理メトリックに基づいてスライドにフラグを付けることを含む。コンピューティングデバイスはさらに、品質管理メトリックに基づくスキャニングメタデータの関数として少なくとも1つのスキャニングプロファイルを生成し、少なくとも1つのスキャニングプロファイルを使用して、イメージングデバイスにおいて複数のスライド内のフラグ付きスライドを再スキャンするように構成される。本開示の態様を示す例示的な実施形態を、いくつかの具体例の文脈で以下に説明する。
ここで図1を参照すると、スライド104をデジタル化するシステム100の例示的な実施形態が図示されている。本開示における「スライド」とは、標本を保持する容器または表面である。場合によっては、標本は、限定されるものではないが、組織サンプル、細胞構造、またはその他の生物学的物質を含むことができる。一部の実施形態において、スライド104はホルマリン固定パラフィン包埋スライドを含んでもよい。一部の実施形態において、スライド104上の標本は染色されていてもよい。一部の実施形態において、スライド104は略透明であってもよい。一部の実施形態において、スライド104はスライドガラスを含んでもよい。一部の実施形態において、スライド104は、薄く、平らで略透明なスライドガラスを含んでもよい。場合によっては、標本がスライド104とカバーとの間に配置されるように、透明カバーなどのカバーがスライド104に適用されてもよい。例えば、限定するものではないが、標本はスライド104と対応するカバーとの間で圧縮されてもよい。非限定的な例において、スライド104は病理組織学的スライドを含んでもよい。
引き続き図1を参照すると、システム100は、少なくとも1つのスライド収納部108を含むことができる。本開示において使用される「スライド収納部」とは、複数のスライド112を確実に保持し、整理し、保護するように設計された特殊な格納または収容システムを指す。場合によっては、少なくとも1つのスライド収納部108は、その複数のスライド112が塵埃、損傷、および汚染のない状態に保持されるように構成され得る。場合によっては、少なくとも1つのスライド収納部108は、閲覧またはスキャンを目的として複数のスライド112を容易に取り出し、配置できるように設計され得る。非限定的な実施形態において、少なくとも1つのスライド収納部108はスライドバスケットを含んでもよく、スライドバスケットは、プラスチック、ステンレス鋼、またはこれらの組み合わせなどの耐久性のある材料で作られた、構造化された容器であってもよい。場合によっては、スライドバスケットは矩形形状を呈してもよい。場合によっては、スライドバスケットのケーシングは、化学薬品、熱、およびスライドの取り出し、処理、または保管中に存在する可能性のある他の環境要因に抵抗し得る。
なおも図1を参照すると、場合によっては、スライドバスケットなどの少なくとも1つのスライド収納部108は、各々1つのスライド104を保持するように構成された1つ以上の区画またはスロットを含んでもよい。場合によっては、1つ以上の区画は、複数のスライド112の各スライドが確実に相互に分離されて保持されるように構成されてもよく、傷、重なり、またはスライド表面やその上に取り付けられた標本を損傷し得るあらゆる物理的接触を防止する。追加的または代替的に、スライドバスケットは、ハンドル(例えば、人間工学的ハンドル)を含んでもよく、これによって、ユーザ、アクチュエータ機構および/または以下に詳細に説明されるような移送構成要素が、システム構成要素間を容易に持ち上げて搬送できるようにする。場合によっては、スライドバスケット(全体)が処理液または水浴に浸かることがある。一部の実施形態において、スライドバスケットは、コンパクトな収納のために、折り畳み可能または取り外し可能なハンドルを含んでもよい。さらに、スライドバスケットは通気性を有してもよく、例えば、限定するものではないが、スライドバスケットの1つ以上のケーシングは、洗浄または化学処理後のスライドの迅速な乾燥を容易にし、残留物がバスケット内に溜まらないように構成されたオープンメッシュまたは有孔パターンを含んでいてもよい。
引き続き図1を参照すると、一部の実施形態において、スライドバスケットの底面はわずかに高くなっていたり、小さな足を備えていたりしてもよく、例えば、スライドバスケットの底面は表面と同一平面になくてもよい。これにより、空気の循環がよくなり、少なくとも1つのスライド収納部108内に湿気がこもるのを防ぐことができる。一部の実施形態において、少なくとも1つのスライド収納部108は、ロック機構も含むことができる。非限定的な例において、ラッチまたは磁気シールを有する蓋が一体化されてもよく、蓋はスライドバスケットの上部にしっかりと嵌合し、確実に密閉するものであってもよい。追加的または代替的に、蓋は、1つ以上の透明窓または透明材料を備えてもよく、少なくとも1つのスライド収納部108を開ける必要なくして複数のスライド112の目視検査を可能にする。この場合、スライド収納部108内に収納された複数のスライド112は定位置に保持され、区画内での横方向または縦方向の移動が防止され得る。場合によっては、少なくとも1つのスライド収納部の容量は変更できる。例えば、限定するものではないが、少なくとも1つのスライド収納部は、10枚程度のスライドを収納するように設計された小型のスライドバスケット、または50枚以上のスライドを収納することができる大型のスライドバスケットを含むことができる。
なおも図1を参照すると、追加的または代替的に、少なくとも1つのスライド収納部108(例えばスライドバスケット)は、バスケットアダプタを含んでもよく、本開示の目的において、「バスケットアダプタ」は、スキャン処理を増強するように構成されたスライドバスケット内のデバイスまたは構成要素である。場合によっては、バスケットアダプタは、複数のスライド112の重量および荷重を垂直に支持する上述のような1つ以上のスロットを含んでもよい。一部の実施形態において、バスケットアダプタは、均一な傾斜角度を有して設計されてもよい。例えば、限定するものではないが、場合によっては、5°~90°の間の角度が、スライドバスケットの底部に適用されてもよい。場合によっては、傾斜角度は、複数のスライド112のうちの1つ以上のスライドがスライドバスケット内にもはや確実に固定されなくなる閾値まで、複数のスライド112に必要な支持を確実に提供するように較正され、以下に説明するように、スキャン処理中の意図しない外れまたは位置ずれを防止することができる。場合によっては、このようなバスケットアダプタは、移送構成要素へのアクセスを容易にすることがある。バスケットアダプタの傾斜角度が自然なガイドとなるため、移送構成要素はスライド104の取り出しや配置のために追加の調整または動作を行う必要がない。
なおも図1を参照すると、さらに、スライドバスケットは、内部状態(例えば複数のスライド112の存在)を検出するために、圧力センサ、近接センサなどだがこれに限定されない、複数のセンサを含んでもよい。非限定的な例において、複数のセンサの各センサは、スライドバスケット内に収納された複数のスライド112に直接または間接的に接触または近接して、各スロットまたは区画の底部に配置されてもよい。場合によっては、少なくとも1つのスライド収納部108は、システム100内の他のデバイスと通信するように構成される。例えば、限定するものではないが、複数のセンサからのフィードバック(例えば、スロットが占有されているか否か)が、以下に詳細に説明するように、イメージングデバイスまたは任意のコンピューティングデバイスに中継され、スキャン処理のリアルタイム監視を可能にし、それにより、効率的なスライドの取り出しおよび/または配置を確実にすることができる。
引き続き図1を参照すると、システム100は少なくとも1つのイメージングデバイス116を含む。本開示に記載される場合、「イメージングデバイス」とは、画像または画像のシーケンスの形で視覚情報をキャプチャするように構成された装置である。一実施形態において、イメージングデバイス116は、光学像を電子信号に変換し、この電子信号は、以下に詳細に説明するように、処理され、保存され、または表示されることができる。例えば、限定するものではないが、本明細書に記載されるイメージングデバイスは、場合によっては、臨床環境下での医療診断での使用に特化して使用され得る。例えば、正確な診断、疾患のモニタリング、およびその他の生物学的研究を可能にするために、顕微鏡被写体の詳細な高解像度画像をキャプチャするように構成された顕微鏡などである。非限定的な例において、イメージングデバイス116は、米国特許出願第18/226,058号(代理人整理番号1519-102USU1)、2023年7月25日付出願、タイトル「IMAGING DEVICE AND A METHOD FOR IMAGE GENERATION OF A SPECIMEN」(その全体が参照により本明細書に組み込まれる)に説明されているような任意のイメージングデバイスと矛盾しないものであってもよい。
引き続き図1を参照すると、一実施形態において、イメージングデバイス116は、スライド104を受けて保持するように構成された少なくとも1つのステージ120を含むことができる。本開示において使用される「ステージ」とは、検査のためにスライド104または標本が載置される平坦な台(すなわち、大きな凹凸や湾曲のない均一な表面)である。場合によっては、ステージは、1つ以上の位置合わせ特徴を有するスライドポートを含んでもよく、「位置合わせ特徴」は、本明細書に記載されるように、受け取ったスライド104を所定の位置に固定し、および/またはスライドをイメージングデバイス116の別の構成要素と位置合わせするのに役立つ物理的特徴である。一部の実施形態において、位置合わせ特徴は、クランプ、ラッチ、クリップ、凹部、または他の留め具など、スライド104を固定する構成要素を含んでもよい。一部の実施形態において、ステージ120によって、スライド104の取り外しおよび挿入が容易となり得る。一部の実施形態において、ステージ120は、光が透過する透明面を含んでもよい。一部の実施形態において、スライド104は、ステージ120のこのような透明面に載置されてもよく、および/またはこのような透明面を通って進行する光によって照明されてもよい。一部の実施形態において、ステージ120は、以下に説明するように、アクチュエータ機構124に機械的に接続されてもよい。
なおも図1を参照すると、場合によっては、イメージングデバイス116はアクチュエータ機構124を含んでもよい。本明細書において使用される「アクチュエータ機構」とは、光学系に対するスライドの位置を変更するように構成された機械的構成要素である。非限定的な例において、アクチュエータ機構124は、ステージ120をX、Y、および/またはZ方向に正確に移動させるように構成されることができ、標本の異なる部分の詳細な検査を可能にする。1つ以上の実施形態において、アクチュエータ機構124は、本開示においてさらに議論されるように、スライド104の画像がキャプチャされ得るように視線を変更するために使用されてもよい。一部の実施形態において、アクチュエータ機構124は、スライドポート内のスライド112など、スライド104に機械的に接続されてもよい。一部の実施形態において、アクチュエータ機構124はスライドポートに機械的に接続されてもよい。例えば、アクチュエータ機構124は、スライド104を動かすために、スライドポートを動かすことができる。例えば、限定するものではないが、アクチュエータ機構124は、スライド104の上面と後述の光学部品との間の距離Dが変化するようにスライドポートを動かすことができる。
引き続き図1を参照すると、一部の実施形態において、アクチュエータ機構124は、上面(例えば、光学系に向けられた、または光学系に面した、スライド104および/または標本が接触する面)と地面との間の角度を変化させることもできる。一部の実施形態において、アクチュエータ機構124は、スライド112、スライドポート、ステージ120、または以下に詳細に説明するような光学系などだがこれに限定されない、イメージングデバイス100内の可動要素(すなわち、任意の可動または可搬の物体、構成要素、およびデバイス)に機械的に接続されてもよい。一部の実施形態において、アクチュエータ機構124は、以下に詳細に説明するように、スライドスキャン処理中および/または再スキャン処理中に、ステージ120、スライド104、および/または光学系をX、Y、および/またはZ方向に移動させることによって、スライド104と光学系との相対位置を変更するように構成されてもよい。
なおも図1を参照すると、一部の実施形態において、アクチュエータ機構124は、油圧アクチュエータを含んでもよい。油圧アクチュエータは、機械的動作を容易にするために油圧力を用いるシリンダまたは流体モータで構成されてもよい。油圧アクチュエータ機構124の出力は、直線運動、回転運動、または振動運動などだがこれに限定されない、機械的運動を含んでもよい。一部の実施形態において、油圧アクチュエータは液圧流体を採用してもよい。液体は場合によっては非圧縮性であるため、油圧アクチュエータは大きな力を加え得る。さらに、力は圧力に面積を掛けたものに等しいため、油圧アクチュエータは、面積(例えば、シリンダおよび/またはピストンの断面積)の変化に伴う力の変換器として機能し得る。例示的な油圧シリンダは、その中をピストンが摺動可能な中空の円筒管で構成されてもよい。場合によっては、油圧シリンダは単動形とみなされ得る。「単動形」は、流体圧が実質的にピストンの片側のみにかかる場合に使用され得る。したがって、単動ピストンは一方向のみに動くことができる。場合によっては、単動ピストンにリターンストロークを与えるためにスプリングが使われてもよい。場合によっては、油圧シリンダは複動形であってもよい。「複動形」は、圧力が実質的にピストンの両側にかかる場合に使用され得る。ピストンの両側の間に生じる力の差によって、ピストンが動く。
なおも図1を参照すると、一部の実施形態において、アクチュエータ機構124は、空気圧アクチュエータ機構を含んでもよい。場合によっては、空気圧アクチュエータは、ガス圧の比較的小さな変化から大きな力を発生させることができる。場合によっては、空気圧アクチュエータは、例えば油圧アクチュエータなどの他のタイプのアクチュエータよりも素早く反応することができる。空気圧アクチュエータは、圧縮性流体(例えば、空気)を使用することができる。場合によっては、空気圧アクチュエータは圧縮空気で動作することができる。油圧および/または空気圧アクチュエータの操作には、1つ以上のバルブ、回路、流体ポンプ、および/または流体マニホールドの制御が含まれる。
なおも図1を参照すると、場合によっては、アクチュエータ機構124は電動アクチュエータを含んでもよい。電動アクチュエータ機構124は、電気機械式アクチュエータ、リニアモータなどのいずれかを含んでもよい。場合によっては、アクチュエータ機構124は電気機械式アクチュエータを含んでもよい。電気機械式アクチュエータは、電動回転モータの回転力を直線運動に変換し、機構を介して直線運動を発生させることができる。例示的な機構は、ベルト、スクリュー、クランク、カム、リンケージ、スコッチヨークなどだがこれに限定されない、回転運動から並進運動への変換器を含む。場合によっては、電気機械式アクチュエータの制御は、電気モータの制御を含んでもよく、例えば、制御信号は、電気機械式アクチュエータを制御するために、1つ以上の電気モータパラメータを制御してもよい。例示的な非限定電気モータパラメータは、回転位置、入力トルク、速度、電流、および電位を含む。電動アクチュエータ機構124は、リニアモータを含んでもよい。リニアモータからの動力は、回転運動として出力されて並進運動に変換されるのではなく、並進運動として直接出力されることから、リニアモータは電気機械式アクチュエータとは異なり得る。場合によっては、リニアモータは他のデバイスよりも生じる摩擦損失が少ないことがある。リニアモータは、フラットリニアモータ、U字チャネルリニアモータ、管状リニアモータなど、少なくとも3つの異なるカテゴリに指定され得る。リニアモータは、1つ以上のリニアモータパラメータを制御する制御信号によって直接制御され得る。例示的なリニアモータパラメータは、限定するものではないが、位置、力、速度、電位、および電流を含む。
なおも図1を参照すると、一部の実施形態において、アクチュエータ機構124は、機械的アクチュエータ機構124を含んでもよい。場合によっては、機械的アクチュエータ機構124は、回転運動などのある種類の運動を直線運動などの他の種類の運動に変換することによって、運動を実行するように機能し得る。例示的な機械的アクチュエータはラックとピニオンを含む。場合によっては、パワーテイクオフなどの機械的動力源が機械的アクチュエータの動力源として機能し得る。機械的アクチュエータは、例えば、限定するものではないが歯車、レール、滑車、ケーブル、リンケージなどを含む、任意の数の機構を採用してもよい。
引き続き図1を参照すると、場合によっては、システム100は移送構成要素128を含んでもよく、一部の実施形態に従って本明細書で説明する「移送構成要素」とは、物体(例えば、スライド104、または上述の少なくとも1つのスライド収納部構成要素108内の複数のスライド112の任意のスライド)を、ある場所から別の場所に移動、移送、または位置決めするように構成されたデバイスまたはシステムを指す。場合によっては、移送構成要素128は、スライドの取り出し、位置決め、および/または返却の処理を自動化するように構成された、少なくとも1つのスライド収納部108とイメージングデバイス116または任意の他の処理装置との間に配置されることができ、複数のスライド112の各スライドは、少なくとも1つのスライド収納部108とイメージングデバイス116との間で効率的に移動されることを確実とする。
なおも図1を参照すると、非限定的な例において、移送構成要素128は、スライド104をピックアップし、移動し、配置するように構成されたプログラム可能なロボットアームを含んでもよい。場合によっては、移送構成要素128は、1つ以上のジョイントを含んでもよく、各ジョイントは、移送構成要素の少なくとも一部分がX、Y、および/またはZ方向に予め定められた範囲で動くことを可能にし得る。移送構成要素128は、場合によっては、移送構成要素128の遠位端に配置された把持部品を含んでもよく、把持部品は、1つ以上のスライドを確実に保持および解放するように構成され得る。このような把持部品は、スライド移送中に保持されたスライドに損傷を与えないように、軟質で非研磨性の材料で製造され得る。場合によっては、移送構成要素128は、スライドをピックアップおよび解放するために、ピンチ機構または吸引機構を採用してもよい。別の場合には、移送構成要素128は、例えば、限定するものではないが、回転運動を直線運動に変換する機構を有する、上述のアクチュエータ機構124に統合されてもよく、直線運動は、次いで、イメージングデバイス116のステージ120上の1つ以上のスライドを正確に移動または位置決めするために利用することができる。非限定的な例において、そのような機構は、米国特許出願第18/382,386号(代理人整理番号1519-109USU1)、2023年10月20日付出願、タイトル「APPARATUS AND METHOD OF USE OF A MECHANISM THAT CONVERTS ROTARY MOTION INTO LINEAR MOTION」(その全体が参照により本明細書に組み込まれる)において説明されているような、回転運動を直線運動に変換する任意の機構を含んでもよい。
引き続き図1を参照すると、移送構成要素128は、近接センサや力センサなどだがこれに限定されない、本明細書に記載されるような1つ以上のセンサを備えることができ、これらのセンサは、移送されるスライドの正確な位置を検出するように構成され、イメージングまたは保管のためにスライドが正確に配置されるようにする。場合によっては、そのような情報は、システム100内の他のデバイスから受信されてもよく、例えば、移送構成要素128は、イメージングデバイス116と通信してもよく、イメージングデバイス116に統合された1つ以上のセンサ(例えば、1つ以上の圧力センサ)は、スライド104の位置決めを検出するように構成されてもよい。イメージングデバイス116は、スライドの位置決めが成功すると(すなわち、スライドが位置合わせ特徴内でステージ120上に正しく配置されると)、移送構成要素128に信号を送信してもよい。
なおも図1を参照すると、場合によっては、移送構成要素128および/またはアクチュエータ機構124は、スライド移送中の振動または衝撃を最小化するために、1つ以上の緩衝部品を含んでもよい。緩衝部品は、移送されるスライドが損傷なく、工程の終了時に意図した位置に保たれることが確実となるように構成され得る。以下で詳細に説明するような1つ以上のコンピューティングデバイスは、少なくとも1つのスライド収納部108とイメージングデバイス116との間でスライドを移送するための予め定義された経路に従うように、本明細書で説明するアクチュエータ機構124と同様に、移送構成要素128を制御するように構成され得る。追加的または代替的に、障害物が検出された場合に停止または後退するように、移送構成要素128に安全機能(例えば、衝突検出)が実装されてもよい。本明細書に記載される移送機構の他の例示的な実施形態として、特に限定するものではないが、ベルトコンベアシステム、リニアアクチュエータ、回転テーブル(すなわち、複数のスライドを保持する回転プラットフォーム/ステージ)などが挙げられる。
引き続き図1を参照すると、一部の実施形態において、イメージングデバイス116は光学系132を含んでもよい。本開示において使用される「光学系」とは、光(例えば、可視光、赤外光、紫外光など)などの電磁放射線に作用する、または電磁放射線を採用する1つ以上の構成要素の配置である。光学系132は、1つ以上の光学部品136を含んでもよく、本明細書で説明される各「光学部品」とは、光を操作し、光と相互作用し、または光によって影響を受ける任意のデバイスまたはデバイスの一部を指す。非限定的な例において、光学部品136は、レンズ、ミラー、窓、フィルタなどを含んでもよい。場合によっては、光学系132は、光学的物体に対応する光学像を形成することができる。例えば、限定するものではないが、光学系132は、光学センサ140においてまたは光学センサ140上に光学像を形成することができ、光学センサ140は、以下に詳細に説明するように、光学像をキャプチャする(例えば、デジタル化する)ことができる。場合によっては、光学系132は少なくとも1つの倍率を有することができる。例えば、限定するものではないが、光学系132は、対物レンズ(例えば、顕微鏡対物レンズ)と、共に以下で詳細に説明するような光学倍率を生成する1つ以上の再結像光学素子とを含んでもよい。場合によっては、光学変倍の度合いをズームと呼ぶこともある。
なおも図1を参照すると、場合によっては、光学系132光源144であってもよい。本開示において使用される「光源」とは、電磁放射線を発するように構成された任意のデバイスである。一部の実施形態において、光源は実質的に1つの波長を有する光を発してもよい。一部の実施形態において、光源144は、波長範囲を有する光を発してもよい。本明細書に記載されるように光源144によって発せられる光は、限定するものではないが、紫外線、可視光線、および/または赤外光を含むことができる。非限定的な例において、光源144は、発光ダイオード(LED)、有機LED(OLED)、および/またはその他の発光体を含んでもよい。このような光源は、スライド104および/またはスライドポートおよび/またはステージ120上の標本を照明するように構成されてもよい。非限定的な例において、光源144は、図1に図示されるように、スライド104および/またはスライドポートおよび/またはステージ120上の標本を下方から照明してもよい。別の非限定的な例において、光源144はスライド104および/または標本を上方から照明してもよい。
引き続き図1を参照すると、場合によっては、光源144は、集光レンズ(すなわち、光源144によってスライド104および/または標本上に発せられた光を集光し、集束させるために使用される光学部品)などだがこれに限定されない、本明細書に記載されるような1つ以上の光学部品136に接続され得る。場合によっては、集光レンズは、スライド104および/または標本が均一に照明されるように光を集光して均一に分布し、それによって画像の解像度とコントラストが向上するように構成されてもよい。非限定的な例において、集光レンズなどの光学部品136は、光源144から発せられた光を集光して、スライド104および/または標本を可視領域全体にわたって均一な強度で照明する円錐形の光としてもよい。場合によっては、集光レンズは、開口絞り(例えば、スライド104および/または標本に到達する光量を制御するために調整され得る可変開口)を含んでもよい。場合によっては、このような絞りを調整することで、画像のコントラストや被写界深度に影響が与えられ得る。
引き続き図1を参照すると、場合によっては、光学部品136は対物レンズをも含んでもよい。本開示において使用される「対物レンズ」とは、スライド104および/または標本からの光を集め、その光を集束させてイメージングデバイス116内に光学像を生成する光学部品である。一部の実施形態において、生成された光学像は、人間のオペレータが見るために接眼レンズによって拡大されてもよく、またはスライドスキャンおよび/またはデジタル画像化のために、以下に詳細に説明されるように光学センサ140によってキャプチャされてもよい。一部の実施形態において、光学系132は、3つの対物レンズを含んでもよく、各対物レンズは、4倍から100倍、あるいはそれ以上の範囲の様々な倍率を含んでもよい。場合によっては、光学部品のケーシングに倍率が記載されていてもよい。一部の実施形態において、光学部品136は、一定の被写体距離で光を集め、スライド104および/または標本の詳細を解像するレンズの能力を測定する異なる開口数(NA)を有することができる。例えば、限定するものではないが、NAが大きいほど解像力が高いことを示す。対物レンズの例示的なタイプとしては、限定するものではないが、乾式対物レンズ、液浸対物レンズ、水浸対物レンズなどが挙げられる。
なおも図1を参照すると、一部の実施形態において、光学系132内の1つ以上の光学部品136は、イメージングデバイス116のノーズピースに取り付けられることができる。本開示において使用される場合、「ノーズピース」とは、図1に示されるように、複数の光学部品(例えば複数の対物レンズ)を保持する、イメージングデバイス116の一部である。場合によっては、ノーズピースは、回転ノーズピース(タレットとしても知られている)を含んでもよく、回転ノーズピースは、イメージングデバイス116のヘッド部分に位置し、複数の対物レンズを保持するように構成された回転自在な部品を含んでもよい。光学部品136は、複数のスライド112のイメージング中に、回転ノーズピースを使用して、迅速かつ効率的に互いに交換され得る。一部の実施形態において、光学系132は、同焦点であってもよい。例えば、限定するものではないが、第1の対物レンズが合焦しているときに、第2の対物レンズまたは第3の対物レンズに切り替えると、最小限の再合焦が必要となり得る。場合によっては、複数の光学部品136は、回転ノーズピース上で一定の間隔で配置され、各光学部品は、ステージ120から一定の距離にあるかもしれない。
上述の光学系132内の光学部品136の数は例示であり、制限するものであってはならないことに留意すべきである。実際の光学部品の数は可変であり、光学系132は必要に応じてより多くのまたはより少ない数の光学部品を組み込むことができる。当業者は、本開示の全体を検討すれば、本明細書に記載される光学系132および光学部品136に適用可能な様々な修正、改変、および代替構成を認識するであろう。
引き続き図1を参照すると、本明細書において使用される「光学センサ」とは、光を測定し、測定された光を1つ以上の信号に変換するデバイスであり、1つ以上の信号は、限定するものではないが、1つ以上の電気信号を含んでもよい。一部の実施形態において、光学センサ140は少なくとも1つの光検出器を含んでもよい。本明細書において使用される「光検出器」とは、光に感応し、それにより光を検出することができるデバイスである。一部の実施形態において、光検出器は、フォトダイオード、フォトレジスタ、フォトセンサ、光起電力チップなどを含んでもよい。一部の実施形態において、光学センサは複数の光検出器を含んでもよい。光学センサ140は、限定するものではないが、カメラを含んでもよい。光学センサは、以下に詳細に説明するように、コンピューティングデバイス148と電子的に通信することができる。本開示において使用される「電子的通信」とは、2つ以上のデバイス間における共有データ接続である。一部の実施形態において、光学系132は、2つ以上の光学センサを含んでもよい。場合によっては、光学センサ140は光学部品136に隣接して配置されてもよい。非限定的な例において、光学センサ140は、上述のようにノーズピースに取り付けられていてもよい。別の非限定的な例において、光学センサ140は、イメージングデバイス116のヘッド部分の内部で、光学部品136の上方に設置されてもよい。
なおも図1を参照すると、一部の実施形態において、少なくとも1つの光学センサ140はカメラを含んでもよい。場合によっては、カメラは、球面レンズ、非球面レンズ、反射鏡、偏光板、フィルタ、窓、開口絞りなどだがこれに限定されない、本明細書に記載されるような1つ以上の光学系を含んでもよい。一部の実施形態において、カメラに関連する1つ以上の光学系は、非限定的な例において、カメラのズーム、被写界深度、および/または焦点距離を変更すべく調整されてもよい。一部の実施形態において、このような設定の1つ以上は、スライド104上の標本の特徴を検出するように構成されてもよい。一部の実施形態において、このような設定の1つ以上は、米国特許出願公開第18/226,058号に開示されているような任意のパラメータセット(すなわち、限定するものではないが、画像がどのようにキャプチャされるかを識別する定量値および/または数値などの値のセット)に基づいて構成され得る。一部の実施形態において、カメラは被写界深度の浅い画像をキャプチャすることができる。
引き続き図1を参照すると、システム100はコンピューティングデバイス148を含む。1つ以上の実施形態において、システム100および/またはコンピューティングデバイス148は、メモリに通信接続された特定用途向け集積回路(ASIC)を含んでもよい。メモリは、本開示でさらに説明するパラメータを記憶するために、読み出し専用メモリ(ROM)および/または書き換え可能なROM、FPGA、または他の組み合わせ型および/または同期式順序回路または非同期式デジタル回路を含むことができる。1つ以上の実施形態において、メモリは、本明細書に記載されるようなパラメータまたはメトリックなどのデータおよび情報を記憶する1つ以上のメモリデバイスを含むことができる。1つ以上のメモリデバイスは、例えば、ROM、EEPROM、ランダムアクセスメモリ(RAM)、フラッシュメモリなどの揮発性および不揮発性メモリデバイスなどを含むがこれに限定されない、様々なタイプのメモリを含むことができる。
なおも図1を参照すると、1つ以上の実施形態において、コンピューティングデバイス148は、本開示に記載されるような方法で様々な方法、処理、および動作モードを実行するために、メモリに記憶されたソフトウェアを実行するように適合されたプロセッサを含むことができる。他の実施形態では、システム100は回路を含んでもよい。例えば、限定するものではないが、システム100は、ソフトウェアおよび/またはハードウェア回路設計におけるプログラミングを含んでもよい。コンピューティングデバイス148は、本開示に記載のマイクロコントローラ、マイクロプロセッサ、デジタルシグナルプロセッサ(DSP)および/またはシステムオンチップ(SoC)を含むがこれに限定されない、本開示に記載の任意のコンピューティングデバイスを含んでもよく、またはこれらに含まれることができる。コンピューティングデバイス148は、携帯電話またはスマートフォンなどのモバイルデバイスを含み、これに含まれ、および/またはこれと通信することができる。コンピューティングデバイス148は、独立して動作する単一のコンピューティングデバイスを含んでもよく、または協働、並列、順次などで動作する2つ以上のコンピューティングデバイスを含んでもよく、2つ以上のコンピューティングデバイスは、共に単一のコンピューティングデバイスに含まれてもよく、または2つ以上のコンピューティングデバイスに含まれてもよい。
なおも図1を参照すると、コンピューティングデバイス148は、ネットワークインタフェースデバイスを介して、さらに詳細に後述するように、1つ以上の追加デバイスとインタフェースまたは通信することができる。ネットワークインタフェースデバイスは、プロセッサを様々なネットワークの1つ以上、および1つ以上のデバイスに接続するために利用され得る。ネットワークインタフェースデバイスの例として、限定するものではないが、ネットワークインタフェースカード(例えば、モバイルネットワークインタフェースカード、LANカード)、モデム、およびこれらの任意の組み合わせが挙げられる。ネットワークの例として、限定するものではないが、ワイドエリアネットワーク(例えば、インターネット、企業ネットワーク)、ローカルエリアネットワーク(例えば、オフィス、ビル、キャンパス、または他の比較的小さな地理的空間に関連するネットワーク)、電話ネットワーク、電話/音声プロバイダに関連するデータネットワーク(例えば、移動通信プロバイダのデータおよび/または音声ネットワーク)、2つのコンピューティングデバイス間の直接接続、およびこれらの任意の組み合わせが挙げられる。ネットワークは、有線および/または無線の通信モードを採用することができる。一般に、任意のネットワーク・トポロジーが使用され得る。情報(例えば、データ、ソフトウェアなど)は、コンピュータおよび/またはコンピューティングデバイスへ、および/またはコンピュータおよび/またはコンピューティングデバイスから通信され得る。
引き続き図1を参照すると、コンピューティングデバイス148は、限定するものではないが、例えば、第1の場所におけるコンピューティングデバイスまたはコンピューティングデバイスのクラスタ、および第2の場所における第2のコンピューティングデバイスまたはコンピューティングデバイスのクラスタを含んでもよい。コンピューティングデバイス148は、データストレージ、セキュリティ、負荷分散のためのトラフィック分散などに特化した1つ以上のコンピューティングデバイスを含んでもよい。コンピューティングデバイス148は、後述するような1つ以上のコンピューティングタスクを、並列、直列、冗長、またはコンピューティングデバイス間のタスクまたはメモリの分散に用いられる任意の他の方法で動作することができる、コンピューティングデバイスの複数のプロセッサに分散させてもよい。コンピューティングデバイス148は、データがワーカーでキャッシュされる「シェアードナッシング」アーキテクチャを使用して実装されてもよく、一実施形態において、これは、システム100および/またはコンピューティングデバイス148のスケーラビリティを可能にし得る。
引き続き図1を参照すると、コンピューティングデバイス148は、本開示に記載される任意の実施形態における任意の方法、方法ステップ、または方法ステップのシーケンスを、任意の順序で、任意の程度で繰り返して実行するように設計および/または構成され得る。例えば、コンピューティングデバイス148は、所望のまたは命令された結果が達成されるまで、単一のステップまたはシーケンスを繰り返し実行するように構成されてもよい。ステップまたはステップのシーケンスの繰り返しは、後続の繰り返しの入力としての以前の繰り返しの出力、集約結果を生成するための繰り返しの入力および/または出力の集約、グローバル変数などの1つ以上の変数の減少またはデクリメント、および/または大きな処理タスクの、反復的に対処される小さな処理タスクのセットへの分割を使用して反復的および/または再帰的に実行され得る。コンピューティングデバイス148は、2つ以上の並列スレッド、プロセッサコアなどを使用して、同時および/または略同時にステップを2回以上実行するなど、本開示に記載の任意のステップまたはステップのシーケンスを並列に実行することができ、並列スレッドおよび/またはプロセス間のタスクの分割は、反復間のタスクの分割に適した任意のプロトコルに従って実行され得る。当業者は、本開示の全体を検討すれば、反復、再帰、および/または並列処理を使用して、ステップ、ステップのシーケンス、処理タスク、および/またはデータが細分化、共有、または他の方法で処理され得る様々な方法を認識するであろう。
引き続き図1を参照すると、本開示において使用される「通信接続される」とは、2つ以上の関係体の間で情報の受信および/または伝送を可能にする接続、取り付け、または連結によって接続されることを意味する。例えば、限定するものではないが、この接続は、有線または無線、直接的または間接的、および2つ以上の構成要素、回路、デバイス、システム、イメージングデバイスなどの間であってもよく、データおよび/または信号の受信および/または送信を可能にする。その間のデータおよび/または信号は、限定するものではないが、特に電気、電磁、磁気、映像、音声、無線およびマイクロ波データおよび/または信号、それらの組み合わせなどを含むことができる。通信接続は、例えば、限定するものではないが、有線または無線の電子、デジタルまたはアナログ通信によって、直接または1つ以上の介在するデバイスまたは構成要素を介して達成され得る。さらに、通信接続は、あるデバイス、構成要素または回路の少なくとも1つの出力を、別のデバイス、構成要素または回路の少なくとも1つの入力に電気的に結合または接続すること、例えば、限定するものではないが、バスまたはコンピューティングデバイス要素間の相互通信のための他の設備を介するものを含むことができる。通信接続は、例えば、限定するものではないが、無線接続、無線通信、低電力広域ネットワーク、光通信、磁気結合、容量結合、光結合などを介した間接的な接続をも含むことができる。場合によっては、本開示において、通信接続される代わりに「通信結合される」という用語が使用されることがある。
なおも図1を参照すると、本開示において使用される「信号」は、例えば、あるデバイスから別のデバイスへのデータの任意の理解可能な表現である。信号は、光信号、油圧信号、空気圧信号、機械信号、電気信号、デジタル信号、アナログ信号などを含んでもよい。1つ以上の実施形態において、スライド画像の画像データは、1つ以上の信号を通じて送信され得る。他の実施形態では、イメージングデバイス116の人間のオペレータからの指示は、1つ以上の信号を通じて、光学系128および複数の光学部品132a~132dなどのイメージングデバイス116の構成要素にコマンドを送信することができる。場合によっては、信号は、例えば1つ以上のポートを介して、コンピューティングデバイス148と通信するために使用され得る。場合によっては、信号は、例えば入出力ポートを介して、コンピューティングデバイス148によって送信および/または受信されてもよい。アナログ信号は、例えばアナログデジタル変換器によってデジタル化されてもよい。場合によっては、アナログ信号は、デジタル化される前に、例えば本開示に記載されるアナログ信号処理ステップで処理されてもよい。場合によっては、イメージングデバイス116とコンピューティングデバイス148との間の通信にデジタル信号が使用されてもよい。場合によっては、キャプチャされたスライド画像の画像データを含むデジタル信号は、インターネットプロトコル(IP)、コントローラエリアネットワーク(CAN)プロトコル、シリアル通信プロトコル(例えば、ユニバーサル非同期受信送信機[UART])、パラレル通信プロトコル(例えば、IEEE[プリンタポート])などを含むがこれに限定されない、1つ以上の通信プロトコルによって通信されてもよい。
なおも図1を参照すると、一部の実施形態において、コンピューティングデバイス148は、1つ以上の信号処理ステップを信号に対して実行することができる。例えば、コンピューティングデバイス148は、例えば送信、記憶効率、または信号対雑音比を改善することによって信号を改善すべく、データを表す信号を分析、修正、および/または合成することができる。信号処理の例示的な方法は、アナログ、連続時間、離散、デジタル、非線形、統計などを含むことができる。アナログ信号処理は、非デジタル化信号またはアナログ信号に対して実行され得る。例示的なアナログ処理は、パッシブフィルタ、アクティブフィルタ、加算ミキサ、積分器、遅延線、コンパンダ、乗算器、電圧制御フィルタ、電圧制御発振器、フェーズロックループなどを含むことができる。連続時間信号処理は、場合によっては、ある領域、例えば時間領域内で連続的に変化する信号を処理するために使用され得る。例示的な非限定的連続時間プロセスは、時間領域処理、周波数領域処理(フーリエ変換)、複素周波数領域処理を含むことができる。離散時間信号処理は、信号が非連続的または離散的な時間間隔でサンプリングされる(すなわち、時間的に量子化される)場合に使用され得る。アナログ離散時間信号処理は、以下の例示的な回路サンプルおよびホールド回路、アナログ時分割マルチプレクサ、アナログ遅延線、アナログフィードバックシフトレジスタを用いて信号を処理することができる。
なおも図1を参照すると、一部の実施形態において、デジタル信号処理は、デジタル化された離散時間サンプリング信号を処理するために、コンピューティングデバイス148によって使用され得る。一般的に、デジタル信号処理は、コンピューティングデバイス148、またはASIC、FPGAもしくはDSPなどだがこれに限定されない他の特殊なデジタル回路によって実行されてもよい。デジタル信号処理は、固定小数点、浮動小数点、実数値、複素数値、乗算、加算など、典型的な算術演算の任意の組み合わせを実行するために使用され得る。デジタル信号処理はさらに、循環バッファおよびルックアップテーブルを操作することができる。デジタル信号処理技術に従って実行され得るアルゴリズムのさらなる非限定的な例は、高速フーリエ変換(FFT)、有限インパルス応答(FIR)フィルタ、無限インパルス応答(IIR)フィルタ、およびウィーナーフィルタやカルマンフィルタなどの適応フィルタを含む。統計的信号処理は、統計的特性を利用して、信号をランダム関数(すなわち、確率過程)として処理するために使用され得る。例えば、一部の実施形態において、信号はノイズを示す確率分布でモデル化されてもよく、これは処理された信号のノイズを低減するために使用され得る。
引き続き図1を参照すると、コンピューティングデバイス148は、上述のようにイメージングデバイス116を使用して複数のスライド112の各スライドをスキャンし、初期スライド画像152を生成するように構成されている。場合によっては、そのような目的のために光学センサ140が利用されてもよい。本開示において使用される「スライド画像」とは、スライド104の内容(例えば、含まれる標本)のデジタル表示または写真を指す。一実施形態において、スライドがスライドポートおよび/またはステージ120に載置されると、1つ以上の光学部品136を使用して光学系132によってビューが生成され、カメラなどの光学センサ140またはイメージングデバイス116内の他のイメージングシステムによってキャプチャされることができる。このようなビューのデジタル画像(すなわち、スライド画像)は、特定の倍率および解像度でスライド104の視覚的内容を表すことができる。場合によっては、スライド画像はスライド104のホールスライド画像(Whole Slide Image(WSI))を含んでもよい。別の場合には、スライド画像はWSIの一部のみを含んでもよい。
なおも図1を参照すると、1つ以上の実施形態において、スライド画像は画像データを含んでもよく、本明細書において使用される「画像データ」とは、少なくとも1つの物理的なシーン、空間、および/または物体を表す情報を指す。画像データは、例えば、標本、スライド104、または標本もしくはスライド104の領域すらも表す情報を含んでもよい。場合によっては、画像データは、本明細書で説明する任意のカメラなどのカメラによって生成されてもよい。「画像データ」は、本開示を通じて「画像」と互換的に使用されることがあり、画像は名詞として使用される。場合によっては、デジタル画像はビットマップとして表現され得る。別の場合には、スライド画像は、物理的なシーン、空間、物体を表現できる任意の媒体で構成され得る。あるいは、本開示において「image」が動詞として使用される場合、画像の生成および/または形成を指す。
なおも図1を参照すると、一部の実施形態において、スライド画像は、限定するものではないがJPEG、TIFF、PNG、または任意の他の特殊なデジタルフォーマットなどの形式の、1つ以上のデジタルファイルを含むことができる。一部の実施形態において、スライド画像は特定の倍率レベルでキャプチャされ得る。一部の実施形態において、スライド画像は、特定の関心領域または特徴を強調するための、限定するものではないが1つ以上のマーカー、ラベル、またはメモなどの注釈を含むことができる。一部の実施形態において、スライド画像はメタデータをも含んでもよい。場合によっては、メタデータは、限定するものではないが、1つ以上の光学部品の倍率レベル、イメージングデータ(例えば、画像解像度、画像のカラーモデル、パラメータのセットなど)、標本の詳細(例えば、患者情報)、および他の関連データに関連する情報を含んでもよい。
なおも図1を参照すると、一部の実施形態において、イメージングデバイス116は、スライド104の初期スライド画像152をZスタック(すなわち、スライド104上の標本のZ軸(垂直軸)に沿って異なる焦点面でキャプチャされた一連のスライド画像)として生成するように構成されてもよい。標本の上下の焦点面または関心の範囲であるZレンジが識別され、Zスタックの各スライド画像間の間隔すなわちステップサイズが決定されてもよい。場合によっては、Zレンジおよびステップサイズは、人間のオペレータによって手動で入力されてもよく、または上述のようにパラメータセットによって提供されてもよい。別の場合には、Zレンジおよびステップサイズは、以下で詳細に説明するように、コンピューティングデバイス148によって決定されてもよい。場合によっては、ステップサイズを小さくすると、より詳細な3D再構成が可能になるが、関心領域におけるスライド画像数が多くなる。イメージングデバイス116は、Zレンジ間の各焦点面でスライド画像をキャプチャし、標本の3D再構成を含む単一のスライド画像にコンパイルするように構成されてもよい。
なおも図1を参照すると、非限定的な例において、初期スライド画像152は、「統合画像」を含んでもよく、これは、本開示の目的において、上述のように様々な焦点深度で撮影された複数のスライド画像から構成される処理された多層スキャンである。1つ以上の実施形態において、初期スライド画像152は、複数のオーバレイされたスライド画像を有する多層スキャンを含んでもよい。例えば、限定するものではないが、ある場所xでキャプチャされた複数のスライド画像を統合して、初期スライド画像152の第1のセクションを作成することができる。1つ以上の実施形態において、統合画像は、拡張被写界深度(extended field of depth(EFOD))画像を含んでもよい。場合によっては、初期スライド画像152は、米国特許出願第18/226,058号に記載されるような標本画像生成方法を使用して、イメージングデバイス116によってキャプチャされてもよい。一部の実施形態において、少なくとも1つの光学センサ140はイメージセンサを含んでもよい。例示的な非限定的イメージセンサは、電荷結合素子(CCD)センサや相補型金属酸化膜半導体(CMOS)センサなどだがこれに限定されない、デジタルイメージセンサを含む。一部の実施形態において、光学センサ140は、赤外線などだがこれに限定されない、電磁放射の非可視範囲内で感度を有することができる。
なおも図1を参照すると、非限定的な例において、初期スライド画像152とともに、初期スライド画像152に関連する複数のスキャニングメタデータ156などのメタデータもコンピューティングデバイス148によって生成される。本開示において使用される場合、「スキャニングメタデータ」とは、上述のように複数のスライド112の各スライドのスキャン処理中に生成または記録される補足情報を指す。一部の実施形態において、スキャニングメタデータ156は、スキャン処理およびスキャンされたスライドに関連するコンテキスト、詳細、およびパラメータを提供し得る。場合によっては、初期スライド画像152に関連付けられたスキャニングメタデータ156は、1つ以上のタイムスタンプ(例えば、スライドがスキャンされた正確な日時)を含んでもよい。非限定的な例において、複数のスライド112は、スキャンされた後、少なくとも1つのスライド収納部108内に時系列順に格納されてもよい。場合によっては、スキャニングメタデータ156は、スキャナ識別子(ID)を記述する文字列を含んでもよい。例えば、限定するものではないが、型番、製造業者、および/または任意の一意の識別番号を含む、使用されるイメージングデバイスに関する詳細が符号化され、スキャニングメタデータ156に組み込まれてもよい。
なおも図1を参照すると、場合によっては、初期スライド画像152に関連付けられたスキャニングメタデータ156は、画像の解像度(すなわち、スライド画像の画素密度、ドット毎インチ[DPI]で測定)などのデータを含んでもよい。画像の解像度は、関連するスライド画像にキャプチャされた詳細のレベルを示し得る。場合によっては、スキャニングメタデータ156はビット深度(すなわち、各画素に対して記憶される情報のビット数)を含んでもよく、例えば、限定するものではないが、表現され得る色またはグレイの濃淡の範囲は、ビット深度の関数としてコンピューティングデバイス148によって決定され得る。追加的または代替的に、場合によっては、スキャニングメタデータは、限定するものではないが、sRGB、RGB、RYB、CMY、CMYK、HSL、HSVなどのカラープロファイル(すなわち、使用色空間)を含んでもよい。
引き続き図1を参照すると、初期スライド画像152に関連付けられたスキャニングメタデータ156は、圧縮の詳細に関連するデータ(例えば、圧縮アルゴリズム、圧縮率などの詳細)を含んでもよい。場合によっては、コンピューティングデバイス148は、複数のスライド112の各スライドをスキャンする間に、生成されたスライド画像を圧縮するように構成されてもよい。一実施形態において、コンピューティングデバイス148は、後述するようなさらなる処理ステップに必要な本質的な視覚情報を維持しながら、ファイルサイズおよびストレージ要件を低減するために、初期スライド画像152を符号化することができる。一実施形態において、スライド画像の圧縮および/または符号化は、画像の高速伝送を促進し得る。場合によっては、コンピューティングデバイス148は、例えば、ハフマン符号化、Lempel-Ziv-Welch(LZW)、連長圧縮(Run-Length Encoding(RLE)などの1つ以上の可逆圧縮アルゴリズムを実装して(すなわち、スライド画像の元の画質を維持し)、情報を失うことなく各スライド画像の冗長性を識別して除去することができる。一実施形態において、各スライド画像を圧縮および/または符号化することは、各スライド画像のファイル形式をPNG、GIF、可逆JPEG2000などに変換することを含むことができる。別の場合には、限定するものではないがJPEGの離散コサイン変換(DCT)またはJPEG2000のウェーブレット変換などの1つ以上の非可逆圧縮アルゴリズムが、コンピューティングデバイス148によって実装され、各スライド画像を高圧縮率だが低画質で(すなわち、各スライド画像内の重要度の低い情報を破棄して、ファイルサイズが小さくなる)圧縮および/または符号化してもよい。
なおも図1を参照すると、場合によっては、初期スライド画像152に関連付けられたスキャニングメタデータ156は、スキャンモード(例えば、グレイスケール、カラー、または他の任意のモード)を表す値を含んでもよい。場合によっては、スキャニングメタデータ156は、画像設定(例えば、生成される初期スライド画像152の明るさおよびコントラストに影響を与え得る、スキャン処理中の露光に関する詳細を含む露光設定)をも含んでもよい。場合によっては、スキャニングメタデータ156は、イメージングデバイスの設定を含んでもよい。一実施形態において、スキャニングメタデータ156は、1つ以上の焦点パラメータを含んでもよい。非限定的な例において、焦点設定に関する情報は、焦点深度、Zスタック情報、焦点オフセット、レンズ仕様、補正データなどを含んでもよい。別の実施形態では、スキャニングメタデータ156は、倍率レベル(例えば、スキャン中に使用された倍率のレベル)を含んでもよい。さらなる実施形態において、該当する場合、スキャン継続時間(すなわち、スライド104または前のスライドを完了するのに要した時間)を決定および/または記録することができる。スキャン継続時間を含むスキャニングメタデータ156は、選択されたイメージングデバイスの深度または品質を示してもよい。
引き続き図1を参照すると、一部の実施形態において、初期スライド画像152に関連付けられたスキャニングメタデータ156は、後処理情報を含んでもよい。非限定的な例において、明るさの調整、コントラスト強調、ノイズ低減など、生成後にスライド画像に任意の修正または強化が加えられ得る。場合によっては、スキャニングメタデータは、スライドラベルまたはスライド識別子を含み、例えば、スキャンされるスライド104に関連付けられる一意の識別子またはラベルは、本明細書に記載されるように、目録作成および検索を助けるスキャニングメタデータ156に組み込まれてもよい。追加的または代替的に、限定するものではないが、本明細書で説明されるような任意の処理ステップに責任を負う人間のオペレータまたはシステム管理者に関連する情報などのオペレータ詳細が、説明責任および品質管理のためにスキャニングメタデータ156に含まれてもよい。場合によっては、スキャニングメタデータ156は、較正データ(すなわち、スライドスキャンの前にイメージングデバイスで実行される較正に関する情報)を含んでもよい。別の場合には、スキャニングメタデータ156は、環境条件データ(すなわち、スキャン中の周辺環境に関する詳細)、例えば、限定するものではないが、温度レベル、湿度レベルなどをさらに含んでもよい。
なおも図1を参照すると、さらなる実施形態において、初期スライド画像152に関連付けられたスキャニングメタデータ156は、エラーログを含んでもよい。場合によっては、スキャニングメタデータ156は、スキャン処理中に遭遇したエラーや問題を、潜在的な解決策とともに含んでもよい。非限定的な例において、スキャニングメタデータ156は汚染物質存在インジケータを含んでもよく、本明細書に記載される「汚染物質存在インジケータ」は、(イメージングデバイス116の光路内に)1つ以上の汚染物質により生じる汚染の存在を示唆または確認する、生成された初期スライド画像から導出されるメトリック、信号、またはデータポイントのセットである。場合によっては、汚染物質(すなわち、初期スライド画像152の鮮明性、品質、または正確さを潜在的に妨害するあらゆる不要物、異物、粒子、または材料)には、限定されるものではないが、環境からの塵埃、クリーニング液からの残留物、人の接触による油分、またはスライド104、ステージ120、もしくはイメージングデバイス116の光学系132の任意の光学部品136に不注意に付着した細胞や組織などの標本さえも含まれる。
なおも図1を参照すると、非限定的な例において、汚染物質存在インジケータは、例えば、「汚染物質が存在する」として「TURE/POS(すなわち、陽性)」、または「汚染物質が存在しない」として「FALSE/NEG(すなわち、陰性)」の二値出力を含んでもよい。場合によっては、スキャニングメタデータ156は、汚染物質存在インジケータおよび/または汚染物質クリーニングプロトコル(すなわち、上述のように汚染物質をクリーニング、除去、または影響緩和するように設計された、予め定義された一連の手順またはアクション)を含んでもよく、ここで、汚染物質存在インジケータおよび汚染物質クリーニングプロトコルは、米国特許出願第18/382,345号(代理人整理番号1519-105USU1)、2023年10月20日付出願、タイトル「SYSTEM AND METHODS FOR DETECTING AND CLEANING CONTAMINANTS FROM AN IMAGING OPTICAL PATH」(その全体が参照により本明細書に組み込まれる)に記載されているような汚染物質存在インジケータおよび汚染物質クリーニングプロトコルと矛盾しないものであってもよい。
引き続き図1を参照すると、コンピューティングデバイス148は、初期スライド画像148と関連するスキャニングメタデータ156の関数として、複数のスライド112の各スライドについて品質管理メトリック160を決定するように構成される。本開示において使用される「品質管理メトリック」とは、生成されたスライド画像の品質を評価および保証するために使用される標準化された尺度または尺度のセットを指す。一実施形態において、品質管理メトリック160は、初期スライド画像152の鮮明性、正確性、および全体的な品質の評価を含んでもよい。当業者は、本開示の全体を検討すれば、研究、診断、アーカイブ、またはその他の意図された目的に適した、できるだけ高い品質のデジタル化スライドを確保することの重要性を認識するであろう。非限定的な例において、品質管理メトリック160は、初期スライド画像152が予め定義された基準を満たしているか否か、および以下に詳細に説明するように補正処置または調整が必要であるか否かを決定するために使用されてもよい。
なおも図1を参照すると、場合によっては、品質管理メトリック160は、初期スライド画像152の総合スコアを表す数値を含んでもよい。総合スコアは、以下に説明するように、限定するものではないが鮮鋭度、コントラスト比、ノイズレベル、色精度など、様々な個別のメトリックから導出されてもよい。場合によっては、このような数値は閾値と比較され、初期スライド画像152が所望の品質基準を満たしているか否かが決定されてもよい。別の場合には、品質管理メトリック160は、初期スライド画像152に基づいて決定され、対応するスライド104に割り当てられた、個々のメトリックの組み合わせに基づく「Excellent」、「Good」、「Fair」、または「Poor」などのカテゴリ評価を含んでもよい。
引き続き図1を参照すると、一部の実施形態において、品質管理メトリック160は、コンピューティングデバイス148によって、初期スライド画像152の画像鮮鋭度に基づいて決定されてもよく、画像鮮鋭度は、初期スライド画像152の鮮鋭度およびキレの良さを測定する。非限定的な例において、初期スライド画像152の鮮鋭度値が高いほど、細部がはっきりした鮮明な画像であることを示し、高スコアにつながる可能性がある。一部の実施形態において、品質管理メトリック160は、初期スライド画像152のコントラスト比の関数として決定されてもよい。場合によっては、コントラスト比(例えば、コントラスト対雑音比[CNR]または信号対雑音比[SNR])は、初期スライド画像152の最も明るい領域と最も暗い領域の間の輝度または色の差を評価することができる。一部の実施形態において、品質管理メトリック160は、初期スライド画像152の色精度(すなわち、初期スライド画像152が元のスライド104の色をどれだけ正確に再現しているかの評価)に基づいて決定されてもよい。スライド画像メトリックの他の例示的な実施形態は、限定するものではないが、スライド画像解像度、画像ノイズレベル、明るさ/色の均一性、ダイナミックレンジなどを含んでもよい。
なおも図1を参照すると、場合によっては、複数のスライド112の各スライドの品質管理メトリック160は、(イメージングデバイス116の)合焦の質に基づいて決定されてもよい。場合によっては、初期スライド画像152に関連付けられたスキャニングメタデータ156は、合焦の質に関連する1つ以上のデータポイントを提供し得る。一部の実施形態において、品質管理メトリック160は、被写界深度(DoF)に基づいて決定されてもよい。非限定的な例において、DoFが大きいほど、標本のより多くに同時に合焦していることを示す。場合によっては、品質管理メトリック160を決定することは、奥行きマップ(すなわち、視点からの、例えばスライド104に含まれる標本などのシーンオブジェクトまでの表面の距離に関連する情報を含む画像または画像チャネル)を生成することを含んでもよい。一部の実施形態において、光源144によって発せられる光の異なる波長がわずかに異なる位置に集光される場合の色収差に関連する情報は、本明細書に記載されるように、品質管理メトリック160を決定するために使用され得る。非限定的な例において、品質管理メトリック160は、色収差が最小化されている(すなわち、カラーフリンジが最小である)場合に、より高いスコアを含み得る。他の実施形態では、品質管理メトリック160は、平面性スコアに基づいて決定されてもよく、本開示の目的において、「平面性スコア」は、初期スライド画像152から導出された表面(例えば、スライドの104の表面、ステージ120の表面、スライドポートの表面など)の平坦度または均等度を定量化する値またはメトリックを指す。非限定的な例において、平面性スコアおよび平面性スコアを計算する方法は、上述のように、米国特許出願第18/382,345号に記載されている可能性がある。理想的には全視野に合焦していることが望ましいが、初期スライド画像152の中心部は合焦していても端の方はぼけていたり、その逆もあり得る。場合によっては、品質管理メトリック160は、初期スライド画像152が視野全域で均一な焦点を有する場合に、より高いスコアを含んでもよい。
なおも図1を参照すると、一実施形態において、品質管理メトリック160は、初期スライド画像152の関心領域の描写品質の程度に基づいて決定されてもよい。場合によっては、関心領域は、標本に関する最も詳細な内容を含むスライド画像の領域を含んでもよい。コンピューティングデバイス148は、本明細書で説明するような1つ以上の画像処理技術を使用して、画像のぼけ具合を決定することができる。非限定的な例において、コンピューティングデバイス148は、画像のフーリエ変換、または高速フーリエ変換(FFT)などの近似を取り、得られた複数のスライド画像の周波数領域の描写における低周波および高周波の分布を分析することによって、ぼけ検出を実行してもよい。閾値レベル未満の高周波値の数は、ぼけを示す可能性がある。別の非限定的な例において、ぼけの検出は、スライド画像、スライド画像のチャネルなどをラプラシアンカーネルで畳み込むことによって実行されてもよく、例えば、限定するものではないが、コンピューティングデバイス148は、高スコアは鮮明性を示し、低スコアはぼけを示すように、各スライド画像に示される強度の急激な変化の数を反映する数値スコア(すなわち、品質管理メトリック160)を生成してもよい。場合によっては、ぼけ検出は、画像の勾配または1次導関数に基づいて演算子を測定する、勾配ベースの演算子を用いて行われることができ、急激な変化は初期スライド画像152におけるシャープなエッジを示し、したがってぼけの程度が低いことを示すという仮説に基づく。場合によっては、ぼけ検出は、画像の周波数および空間コンテンツを記述するために離散ウェーブレット変換の係数の能力を利用する、ウェーブレットベースの演算子を用いて実行されてもよい。場合によっては、ぼけ検出は、焦点レベルを計算するために、テクスチャ記述子としていくつかの画像統計量を利用する、統計ベースの演算子を用いて実行されてもよい。別の場合には、ぼけ検出は、周波数コンテンツから画像の焦点レベルを計算するために、離散コサイン変換(DCT)係数を用いることで実行されてもよい。追加的または代替的に、コンピューティングデバイス148は、描写品質の程度に応じて、複数のスライド112について複数のスライド画像をランク付けするように構成され得る。
なおも図1を参照すると、追加的または代替的に、品質管理メトリック160はアーチファクト検出に基づいて決定されてもよく、例えば、限定するものではないが、コンピューティングデバイス148は、実際の標本またはスライド104の一部であるとは予測されない異常、不整合、またはパターンについて初期スライド画像152を分析するように構成されてもよい。汚染物質(例えば、不要な粒子)の量は、スコアを計算するのに使用されてもよい。場合によっては、スライドおよび/または検査面の傷もコンピューティングデバイス148によって検出され、品質管理メトリック160の決定に使用され得る。限定するものではないが、モルフォロジー操作(膨張、収縮、オープニング、またはクロージングなど)、フーリエ変換、スケール不変特徴変換(SIFT)、画像分割、エッジ検出(Sobel、Canny、またはPrewitt演算子など)などの高度な画像解析アルゴリズムが、本明細書に記載されるようなアーチファクト検出のために使用され得る。場合によっては、以下でさらに詳細に説明されるような1つ以上の機械学習プロセスが初期スライド画像152の分析処理に組み込まれてもよく、例えば、限定するものではないが、複数のスライド112の各スライドについて品質管理メトリック160を決定するために、畳み込みニューラルネットワーク(CNN)、サポートベクタマシン(SVM)、ランダムフォレストなどがコンピューティングデバイス148によって実装されてもよい。非限定的な例において、品質管理メトリック160を決定することは、米国特許出願第18/382,345号に記載されるような汚染物質存在インジケータの関数として品質管理メトリックを決定することを含んでもよい。
引き続き図1を参照すると、品質管理メトリック160を決定することは、上述のような個々のメトリックおよび/またはスコアを単一の複合スコアに結合することを含んでもよい。場合によっては、単一の複合スコアは加重平均を使用して生成されてもよく、複数の重みは、コンピューティングデバイス148によって、各メトリックの重要度に従って決定されてもよい。場合によっては、複数の重みは、例えば、人間のオペレータにより手動で予め決定されてもよい。
なおも図1を参照すると、追加的または代替的に、品質管理メトリック160を決定することは、初期スライド画像152に関連付けられたスキャニングメタデータ156を検証することを含んでもよい。複数のスライド112の各スライドがスキャンされ、スライド画像が意図された通りに生成されることを保証するために、限定するものではないが、倍率レベル、照明設定、焦点パラメータ、スキャンタイムスタンプなどのスキャニングメタデータ156が検証されてもよい。非限定的な例において、光強度と光源の種類がチェックされてもよく、標本が適切に照明され、結果的に所望の品質管理メトリックを有する鮮明で正確なスライド画像となるようにする。生細胞のように経時的に変化する標本の場合、スキャンタイムスタンプは最適なスキャン時間と照合して検証されてもよい。初期スライド画像152に関連付けられたスキャンタイムスタンプが最適なスキャン時間から著しく逸脱する場合、それに応じて品質管理メトリックが決定され、および/または調整され得る。例えば、限定するものではないが、細胞が有糸分裂期に最もよくイメージングされ、スキャンのタイムスタンプが有糸分裂後のスキャンを示す場合、品質管理メトリックは、生成されたスライド画像の生物学的関連性の低下を反映するように、下げられてもよい。
引き続き図1を参照すると、一部の実施形態において、コンピューティングデバイス148は、品質管理メトリック160の関数として品質管理メタデータを生成するように構成されてもよい。本開示において使用される「品質管理メタデータ」とは、スキャンされたスライド画像(例えば初期スライド画像152)の品質管理メトリックに関する情報を提供するデータのセットを指す。場合によっては、品質管理メタデータは、上述のように、1つ以上の品質管理メトリック160の評価から導出されてもよい。非限定的な例において、品質管理メトリック160のスコアまたは値、事前に決定された閾値からの逸脱の理由、対応する品質問題のためにフラグを付けられた初期スライド画像152の特定の領域、画質を改善するための勧告またはアクションなど品質管理メタデータは、を含んでもよい。場合によっては、品質管理メタデータは、コンピューティングデバイス148によって実行された品質評価プロセスの包括的な記録/プロファイルとして機能し、以下に詳細に説明するように、トレーサビリティ、レビュー、およびさらなる分析を可能にしてもよい。
なおも図1を参照すると、非限定的な例において、初期スライド画像152の鮮明度、合焦、色精度などを評価する品質管理メトリック160の所与のセットに対して、コンピューティングデバイス148は、これらのパラメータの各々について特定の値またはスコアを詳述する品質管理メトリック160のセットの関数として、品質管理メタデータを生成してもよい。場合によっては、期待値からの逸脱、およびそのような逸脱の潜在的な理由が、生成された品質管理メタデータに含まれてもよい。例えば、限定するものではないが、品質管理メタデータは、「スライド上の塵埃」を示す1つ以上の逸脱を含んでもよく、逸脱の対応する潜在的な原因(例えば「ステージ上のスライドの位置ずれ」)も、本明細書に記載されるように、品質管理メタデータに含まれてもよい。
引き続き図1を参照すると、一部の実施形態において、品質管理メトリック160を決定することは、コンピューティングデバイス148によって、ユーザから受信されたユーザ入力164の関数として、生成された品質管理メタデータを修正することも含んでもよい。本開示において使用される場合、「ユーザ入力」とは、品質管理メトリック160、初期スライド画像152、またはスライド104自体についてユーザによって提供されるフィードバック、修正、注釈、または任意の他の形式の入力を指す。場合によっては、ユーザには人間のオペレータが含まれてもよい。別の場合には、ユーザにはシステム管理者が含まれてもよい。一実施形態において、ユーザ入力164は、品質管理メトリック160の手動調整、初期スライド画像152の特定領域への注釈、認識された誤りについてのコメント、再較正または再スキャンの提案などの形式であってもよい。別の実施形態では、ユーザ入力164は、光学部品の選択(例えば、対物レンズ、選択された対物レンズの焦点パラメータ、ステージ120および/またはスライドポート上のスライドの位置、ステージ120の位置など)に対する調整を含んでもよい。他の実施形態では、ユーザ入力164は、システム100内のデバイスの手動クリーニングを含んでもよい。
なおも図1を参照すると、場合によっては、コンピューティングデバイス148は、フィードバック機構を含んでもよく、ユーザ入力164は、本明細書で説明するように、初期スライド画像152の品質評価プロセスに、人間の専門知識および/または人間のオペレータによって入力された判断を組み込んでもよく、品質管理メトリック160および品質管理メタデータが、自動化された評価のみに依存するのではなく、人間の知識にも依存するようにする。非限定的な例において、人間のオペレータおよび/またはコンピューティングデバイス148は、品質管理メトリック164に基づいて、初期スライド画像152のある領域が過剰露光に見える可能性があり、その領域の詳細が失われることに気付く/検出することがある。オペレータは、関連するスキャニングメタデータ156をレビューする際に、過剰露光を防止するために、イメージングデバイス116の露光時間パラメータをより短い時間に調整するユーザ入力を入力してもよい。場合によっては、コンピューティングデバイス148は、過剰露光が誤ったスキャニングパラメータによるものであり、標本固有の問題ではないことを反映するように、品質管理メタデータを修正するように構成されてもよい。場合によっては、以下に詳細に説明するように、ユーザ入力は後続のスキャンで実施されてもよい。
引き続き図1を参照すると、場合によっては、ユーザ入力164は、コンピューティングデバイス148と通信接続されたディスプレイデバイスのユーザインタフェースを介して入力されてもよい。場合によっては、コンピューティングデバイス148は、ユーザインタフェースを介して、ユーザ入力164を行うようユーザに要求、警告、または指示することがある。本開示において使用される「ディスプレイデバイス」とは、コンテンツを表示するために使用されるデバイスである。本明細書において使用される「ユーザインタフェース」とは、ユーザとコンピュータシステムが相互作用するための手段であり、例えば入力デバイスやソフトウェアを使用する。ユーザインタフェースは、グラフィカルユーザインタフェース(GUI)、コマンドラインインタフェース(CLI)、メニュー駆動型ユーザインタフェース、タッチユーザインタフェース、音声ユーザインタフェース(VUI)、フォームベースのユーザインタフェース、これらの任意の組み合わせなどを含んでもよい。ユーザインタフェースは、ユーザによって操作されるスマートフォン、スマートタブレット、デスクトップ、ラップトップを含んでもよい。一実施形態において、ユーザインタフェースはグラフィカルユーザインタフェースを含んでもよく、本明細書において使用される「グラフィカルユーザインタフェース(GUI)」とは、ユーザが電子デバイスと相互作用することを可能にするグラフィカル形式のユーザインタフェースである。ユーザインタフェースは、出力インタフェースおよび入力インタフェースを含んでもよい。一部の実施形態において、出力インタフェースは、少なくとも1つのスライド収納部108、イメージングデバイス116、および/またはコンピューティングデバイス148が人間のオペレータに情報を伝達することができる1つ以上の要素を含んでもよい。一部の実施形態において、ユーザ入力164は、限定するものではないが、マウス、キーボード、タッチスクリーンなどの入力インタフェースを通じて入力され得る。非限定的な例において、出力インタフェースは、ディスプレイ(例えば、高解像度ディスプレイ)を含んでもよい。場合によっては、ディスプレイは、スライド画像、関連するスキャニングメタデータ156、品質管理メトリック/メタデータなどをユーザに出力することができる。非限定的な例において、ディスプレイデバイスは、ユーザ入力164の必要性を示す通知をユーザインタフェース上に表示してもよく、通知は、現在処理しているスライドに対して生成された品質管理メタデータとともに、品質管理メトリックに関する詳細を提供してもよい。追加的または代替的に、コンピューティングデバイス148は、スピーカ(例えば、アラーム)、光源(例えば、視覚インジケータ)、または触覚フィードバック機構などの他の出力システムもしくはデバイスと一体化していてもよい。
引き続き図1を参照すると、品質管理メトリック160を決定することは、上述のように、品質管理メトリック160に基づいてスライドにフラグを付けることを含む。本開示において使用される「フラグを付ける」とは、品質管理メトリック160に基づき、特定の予め定義された品質基準を満たさないスライドに印を付ける、または識別することを意味する。場合によっては、コンピューティングデバイス148は、確立された品質ベンチマークまたは閾値から逸脱する可能性のあるスライドを強調表示するように構成されてもよい。一部の実施形態において、コンピューティングデバイス148は、各品質管理メトリック160および/または生成された品質管理メタデータを、予め定義された許容可能な閾値のデータベースに対してチェックするように構成されてもよい。場合によっては、このようなデータベース内の予め定義された許容可能な閾値は、経験的データ、業界標準、ユーザ入力基準などに基づいて較正されてもよい。非限定的な例において、複数のスライド112についてイメージングデバイス116を使用してスキャンされた複数のスライド画像の各スライド画像は、画素強度分布、鮮鋭度指数、カラーヒストグラムバランスなどについて評価されてもよい。場合によっては、スライドの鮮鋭度指数が指定値を下回り、合焦の潜在的な問題を示す場合、またはカラーヒストグラムが異常な分布を示し、不均一な染色もしくは照明を示唆する場合、そのスライドはコンピューティングデバイス148によってフラグが付けられてもよい。
その他の例示的な実施形態
なおも図1を参照すると、場合によっては、スライド104は、例えば、限定するものではないが、少なくとも1つのスライド収納部108、移送構成要素128、イメージングデバイス116などのハードウェアの誤動作または較正エラーに起因する可能性のあるスキャン速度のばらつきなど、予測されるスキャニングパラメータに著しい逸脱がある場合にフラグが付けてもよい。場合によっては、スライドにフラグが付けられた場合、人間のオペレータによって手作業でレビューされてもよい。別の場合には、以下にさらに詳細に説明するように、品質管理メトリック160および/または生成された品質管理メタデータに基づいて特定された問題を修正するための自動化された再スキャン手順が、フラグ付きスライドに対してコンピューティングデバイス148によって実行されてもよい。場合によっては、フラグ付きスライドに関連付けられたスキャニングメタデータ156は、別のデータベースまたはディレクトリに保存されてもよい。場合によっては、フラグ付きスライドは、移送構成要素128を使用して、イメージングデバイス116から第2のスライド収納部に移送され、保管されて、後続の介入のために容易にアクセスできるようにしてもよい。
なおも図1を参照すると、初期スライド画像152、関連するスキャニングメタデータ156、品質管理メトリック160、品質管理メタデータ、および本開示に記載される任意のデータは、例えば、コンピューティングデバイス148のメモリまたはデータベース168に格納されてもよい。データベース168は、限定するものではないが、リレーショナルデータベース、NOSQLデータベースなどのキーバリュー型データベース、または当業者が本開示の全体を検討した際に適切であると認識するであろうデータベースとして使用する任意の他の形式または構造として実装され得る。データベース168は、代替的または追加的に、分散ハッシュテーブルなどの分散データストレージプロトコルおよび/またはデータ構造を使用して実装され得る。データベース168は、上述のように、複数のデータエントリおよび/またはレコードを含むことができる。データベース内のデータエントリは、1つ以上の追加的な情報要素にフラグが付けられ、またはリンクされることができ、データエントリセル内、および/またはリレーショナルデータベース内の1つ以上のインデックスによって関連付けられたテーブルなどのリンクされたテーブルに反映されてもよい。当業者は、本開示の全体を検討すれば、データベース内のデータエントリが、本開示と矛盾なく、本明細書において使用されるデータおよび/またはレコード、ならびにデータのカテゴリおよび/または母集団を格納、検索、整理、および/または反映することができる様々な方法を認識するであろう。
引き続き図1を参照すると、場合によっては、コンピューティングデバイス148は、1つ以上の機械学習モデルを使用して品質管理メトリック160を決定してもよい。一部の実施形態において、コンピューティングデバイスは、図7を参照して以下に詳細に説明されるように、1つ以上の機械学習アルゴリズムを実装し、1つ以上の機械学習モデルを生成するために、機械学習モジュールを利用してもよい。しかしながら、機械学習モジュールは例示的なものであり、本明細書で説明するような機械学習モデルの生成や機械学習タスクの実行には必須でない場合もある。1つ以上の実施形態において、限定するものではないが、スライド画像分類器などの1つ以上の機械学習モデルが、トレーニングデータを使用して生成されてもよい。トレーニングデータは、機械学習モデルが提供された例示的な入力と出力との間の相関関係を使用して、アルゴリズムおよび/または関係を開発し、機械学習モデルが入力に対する自身の出力を決定できるように、入力および対応する所定の出力を含むことができる。トレーニングデータは、機械学習プロセスがデータ要素の2つ以上のカテゴリ間の関係をモデル化するために使用する相関関係を含んでもよい。
なおも図1を参照すると、場合によっては、トレーニングデータの例示的な入力および出力は、上述のようにデータベース168から得られるか、またはユーザ(例えば、人間のオペレータ)によって提供されてもよい。別の場合には、本明細書に記載される機械学習モジュールは、過去の入力および出力を含む通信接続されたデータベースに問い合わせることによって、トレーニングセットを取得してもよい。トレーニングデータは、機械学習モデルが出力を決定することができるように、様々なタイプのデータベース、リソース、および/またはユーザ入力からの入力と、それらの入力のそれぞれに相関する出力を含んでもよい。相関関係は、データ間の因果関係や予測関係を示してもよく、機械学習モデルによって数学的関係などの関係としてモデル化されてもよい。1つ以上の実施形態において、トレーニングデータは、例えば、データ要素をデータ要素のカテゴリに対応する1つ以上の記述子と関連付けることにより、データ要素のカテゴリごとにフォーマット化されおよび/または編成されてもよい。非限定的な例として、トレーニングデータは、フォームの所与のフィールドにおける所与のデータ要素の入力が、カテゴリの1つ以上の記述子にマッピングされるように人または処理によって標準化されたフォームに入力されたデータを含むことができる。トレーニングデータの要素は、タグ、トークン、または他のデータ要素によってカテゴリにリンクされてもよい。
なおも図1を参照すると、一部の実施形態において、品質管理メトリック160を決定することは、スライド画像トレーニングデータを使用して、スライド画像分類器をトレーニングすることを含んでもよく、スライド画像トレーニングデータは、出力としての複数の品質管理メトリックに相関された、入力としての複数のスライド画像を含んでもよく、トレーニングされたスライド画像分類器を使用して、初期スライド画像152および関連するスキャニングメタデータ156をスキャニング状態172に分類する。スライド画像分類器は、図4を参照して後述するように、1つ以上の分類アルゴリズムを使用して生成されてもよい。非限定的な例において、スライド画像分類器は、図5を参照して後述するように、CNNを含んでもよい。場合によっては、スライド画像トレーニングデータは、それぞれが出力としてのスキャニング状態172に相関された入力としての複数のスライド画像を含んでもよい。本開示において使用される場合、「スキャニング状態」とは、上述のようにイメージングデバイス116によってスキャンされた後にスライドに割り当てられる、指定されたカテゴリ化または状態を指す。場合によっては、スキャニング状態172は、スキャンされたスライド画像(例えば初期スライド画像152)の品質の簡潔な表現を提供してもよい。場合によっては、スキャニング状態172は、複数のスライド112の各スライドのスキャン処理の完了を表す値を含んでもよい。一部の実施形態において、スキャニング状態172は、スキャンされたスライドが上述のように予め定義された品質基準を満たすか否か、または再スキャンなどのさらなるアクションが必要であるか否かのインジケータを含んでもよい。一部の実施形態において、スライドはスキャニング状態172に基づいてフラグが付けられてもよい。
なおも図1を参照すると、非限定的な例において、スキャニング状態172は、バイナリスキャニング状態を含んでもよく、バイナリスキャニング状態は、第1の状態(例えば「スキャン完了(Scan Complete)」)を含んでもよく、これは、スライド104が正常にスキャンされ、結果画像すなわち初期スライド画像152の品質管理メトリック160は、限定するものではないが、最適な鮮鋭度、適切なカラーバランスなどの予め定義された品質ベンチマークをすべて満たし、初期スライド画像152の関連するメタデータ156は、スキャン処理中にハードウェアまたはソフトウェアの異常がなかったことを確認することができることを示している。一方、バイナリスキャニング状態は、スライド104の初期スライド画像152が品質基準を満たさず、再スキャンする必要があることを示唆する第2の状態、例えば「再スキャン候補(Re-scan Candidate)」を含んでもよい。場合によっては、スライドが「再スキャン候補」としてフラグ付けされる理由には、(スライド収納部108、移送構成要素128、イメージングデバイス116、および/またはコンピューティングデバイス148の)ハードウェアの不具合(例えば、デバイスの一時的な誤動作)、スライドまたはステージ120の位置ずれ、不適切なスキャニング(合焦)パラメータ、スライド上の汚れなどが含まれ得る。
なおも図1を参照すると、非限定的な例において、スライド104がスキャンされ、その結果得られた初期スライド画像152が一定の閾値以上の鮮鋭度値を示し、関連するスキャニングメタデータ156が一貫したスキャン速度と正しい照明を確認した場合、スライド104は「スキャン完了」状態にカテゴライズされ得る。逆に、初期スライド画像152が不鮮明さの兆候を示す場合、または関連するスキャニングメタデータ156が不規則なスキャン速度を示し、潜在的なハードウェアの問題を示唆する場合、そのようなスライドは、「再スキャン候補」状態のフラグを付され、より鮮明な画像を得るために続けて再スキャンを行う必要があることをコンピューティングデバイス148に知らせることができる。
引き続き図1を参照すると、スキャニング状態172は、バイナリスキャニング状態とは別に、複数のカテゴリを含んでもよく、非限定的な例において、スキャニング状態172は、スライドスキャンが識別可能な問題のない優れた品質であることを示す「最適スキャン(Optimal Scan)」状態を含んでもよいことに留意されたい。場合によっては、スキャニング状態172は、初期スライド画像に、(基本的な基準を満たしているため)再スキャンの要請にはあたらないが、参考のために記録される1つ以上の軽微な問題が含まれる可能性があることを示す「許容可能なスキャン(Acceptable Scan)」状態を含んでもよい。場合によっては、スキャニング状態172は、スライド画像の分析に影響を与える可能性があるが、本明細書で説明するような画像処理技術では修正できなかったいくつかの問題がスキャンにある可能性があることを示す「限界スキャン(Marginal Scan)」を含んでもよい。別の場合には、スキャニング状態172は、特定のスライドのスライド画像に重大な問題があり、スライド画像が分析に適さず、再スキャンが必要であることを示す「スキャン失敗(Failed Scan)」状態を含んでもよい。当業者は、本開示の全体を読めば、複数のスライド112の各スライドの品質管理メトリックを決定するためにシステム100が採用し得る様々なスキャニング状態を認識するであろう。
引き続き図1を参照すると、コンピューティングデバイス148は、品質管理メトリック160に基づくスキャニングメタデータ156の関数として、少なくとも1つのスキャニングプロファイル176を生成するように構成される。本開示において使用される「スキャニングプロファイル」とは、スライドまたは標本のスキャン処理中に使用される、予め定義されたパラメータのセット、構成、および基準を指す。コンピューティングデバイス148は、複数のスライド画像112に関連付けられた品質管理メトリックに基づいて、複数のスキャニングプロファイルを生成するように構成されてもよい。場合によっては、スキャニングプロファイル176は、本明細書で説明するように、スライド画像を生成するためにイメージングデバイス116によって利用されてもよい。一部の実施形態において、スキャニングプロファイルは、特定の要件または目的に基づいて、本明細書に記載されるスキャン処理を最適化するように設計されてもよく、結果として得られるスライド画像が所望の品質および詳細であるようにする。場合によっては、コンピューティングデバイス148は、複数のスライド112のスキャン処理中に1つ以上のスキャニングプロファイルを選択するように構成されてもよい。場合によっては、人間のオペレータが、スライドに含まれる特定の標本の性質に合わせて、特定のスライドをスキャンするための特定のスキャニングプロファイルを、所望の解像度、スキャン速度、およびその他の関連要因で手動で選択してもよい。非限定的な例において、スキャニングプロファイル176は、複数のスライド112のスキャン処理がどのように実行されるべきかを指示してもよい。
なおも図1を参照すると、一実施形態において、スキャニングプロファイル176は、デフォルトスキャニングプロファイル180を含んでもよく、本開示の目的において、「デフォルトスキャニングプロファイル」は、特定のスキャニングプロファイルが選択されない場合にシステム100によって使用される標準的または主要な構成である。場合によっては、デフォルトスキャニングプロファイル180は、スキャン速度と品質との間のバランスを提供するように設計されてもよく、例えば、限定するものではないが、デフォルトスキャニングプロファイル180は、広範囲の標本に対する広範囲の一般的なスキャン作業に適したものであり得る。このような場合、デフォルトスキャニングプロファイル180は、他の要因よりも速度を優先する高スループットスキャニングプロファイルを含んでもよく、イメージングデバイス116が短時間で多数のスライドを迅速にスキャンすることを可能にする(例えば、スライド当たり4分)。
なおも図1を参照すると、別の実施形態では、スキャニングプロファイル176は、スライド(例えば、フラグ付きスライドまたは上述のように「再スキャン候補」として分類されたスライド)の再スキャンのために特別に生成された再スキャンプロファイルを含んでもよい。場合によっては、最初のスキャンで特定された問題に対処するために、再スキャンプロファイルが設定されてもよい。非限定的な例において、再スキャンプロファイルは、初期スライド画像で特定された問題が確実に対処されるように、より高い解像度設定、より高い焦点パラメータ、より遅いスキャン速度、より強い照明などを採用してもよい。スライド104が最初に高スループットプロファイルの下でスキャンされ、生成された初期スキャン画像から得られる品質管理メトリック160に基づいてぼけのフラグを付けられた場合、より鮮明な画像を得るために、コンピューティングデバイス148によって、再スキャンプロファイルが実行されてもよい。例えば、限定するものではないが、再スキャンプロファイルは、スキャン速度を低下させ、イメージングデバイス116の合焦精度を向上させてもよい。
引き続き図1を参照すると、スキャニングプロファイル176の他の例示的な実施形態は、限定するものではないが、高解像度スキャニングプロファイル(細胞構造や複雑な組織パターンを研究する必要がある場合など、標本の詳細が最大限に必要とされる状況に合わせて調整される)、低解像度スキャニングプロファイル(光に敏感な蛍光標識標本や、最小限の露光が望ましい場合用に設計)、または品質管理メトリック160、品質管理メタデータ、ユーザ入力164などに基づいて、ユーザ(例えば人間のオペレータ)が、独自のパラメータセット、又はシステム内の既存の構成及び/又はスキャニングプロファイルを定義、選択、または修正することを可能にするカスタムスキャニングプロファイルを含んでもよい。場合によっては、スキャニングプロファイル176は、上述のようにデータベース168に格納されてもよい。場合によっては、スキャニングプロファイル176は、少なくとも1つのスキャニング状態172に相関されてもよい。例えば、限定するものではないが、「再スキャン候補」状態は、光学センサ感度および/または焦点パラメータを増加させた、標本の複雑な細部を優先する「高解像度再スキャンプロファイル」などの「再スキャンプロファイル」を自動的に起動してもよい。
引き続き図1を参照すると、上記のスキャニングプロファイルは例示であり、網羅的なものではないことに留意すべきである。当業者は、本開示の全体を検討すれば、本開示に明示的に説明されていないスキャニングプロファイルシステム100が採用し得る他の実施形態、ならびに説明された実施形態の範囲から逸脱することなく行うことができる様々な修正、改変、および代替を認識するであろう。さらに、「高い」、「低い」、「標準」、「速い」、「遅い」などの用語は相対的なものであり、特定の用途および業界における既知の標準の文脈で解釈されるべきである。本書におけるこれらの用法は説明のためのものであり、いかなる意味においても本開示の範囲を限定するものと解釈されるべきではない。
引き続き図1を参照すると、スキャニングプロファイル176は、関連するスキャニングメタデータ156に基づいて生成されてもよい。非限定的な例において、コンピューティングデバイス148は、データベース168からスキャニングメタデータ156を取得するように構成されてもよい。スキャニングプロファイル176を生成するために、限定するものではないが、「スキャン完了」、「最適スキャン」、「許容可能なスキャン」などのスキャニング状態を有するスライド画像に関連付けられたスキャニングメタデータが使用されてもよく、これらのメタデータは、スキャニングプロファイル176を生成するための参照基準または基準基準として構成されてもよい。追加的または代替的に、スキャニングプロファイル176を生成することは、関連するスキャニングメタデータ156を微調整することを含んでもよい。場合によっては、限定するものではないが、光源強度、倍率レベル、光学センサ感度などのパラメータは、コンピューティングデバイス148によって実装され得るオートフォーカス、画像スティッチング、色補正などのアルゴリズムに基づいて調整され得る。
なおも図1を参照すると、1つ以上の機械学習モデルが、コンピューティングデバイス148によって、1つ以上のスキャニングプロファイル176を生成するために採用されてもよい。非限定的な例において、コンピューティングデバイス148は、(データベース168および/または人間のオペレータから)スキャニングプロファイルトレーニングデータを受信することができ、スキャニングプロファイルトレーニングデータは、入力としての複数のスライド画像、品質管理メトリック/メタデータ(例えば標本のタイプまたは所望の結果)を含んでもよく、その各々が出力としての複数のスキャニングパラメータセットまたは構成セット(すなわち、スキャニングプロファイル)に相関され、スキャニングプロファイルトレーニングデータを使用して本明細書に記載されるように機械学習モジュールを使用して生成されたスキャニングプロファイル生成器をトレーニングしてもよく、トレーニングされたスキャニングプロファイル生成器を使用して、品質管理メトリック160に基づいて少なくとも1つのスキャニングプロファイル176を生成してもよい。
引き続き図1を参照すると、一部の実施形態において、少なくとも1つのスキャニングプロファイル176を生成することは、品質管理メトリック160の関数として、フラグ付きスライドの初期スライド画像152から少なくとも1つの欠損要素184を識別することを含んでもよい。本開示において使用される「欠損要素」とは、スライド上の標本の特徴、構造、または細部のうち、対応するスライド画像において正確にキャプチャ、表現、識別されなかったものを指す。場合によっては、欠損要素184は、最適でないスキャニングパラメータ、ハードウェア制限、ソフトウェアエラー、スライド品質の問題、異物、あるいは標本自体の固有の特性によって引き起こされる、スキャン処理の省略を含み得る。非限定的な例において、欠損要素184は、病理組織学的スライドで鮮明に画像化されなかった細胞構造または異常であり、潜在的な誤判断または誤診につながる可能性がある。別の非限定的な例において、欠損要素184は、識別されない微細構造の欠陥または特徴を含んでもよい。さらに非限定的な例において、欠損要素184は、スライド104に存在する必要なコンテンツのスキャン漏れを含んでもよい。
なおも図1を参照すると、場合によっては、欠損要素184は、複数のスライド112の各スライドの品質管理メトリック160の閾値分析に基づいて識別されてもよく、例えば、限定するものではないが、品質管理メトリック160は、様々なパラメータ(例えば、鮮明性、合焦の質、コントラストなど)についての1つ以上の予め定義された閾値と比較されてもよい。これらのパラメータのいずれかが設定された閾値を下回った場合、潜在的な欠損要素を示すインジケータが上がってもよい。非限定的な例において、許容範囲未満の鮮明度スコアを有する初期スライド画像152は、細胞構造または他の詳細が識別できない不鮮明な領域を有する可能性がある。場合によっては、欠損要素184は、初期スライド画像152を基準画像または標準画像と比較することによって識別されてもよい。欠損要素184は、そのような比較から特定された不一致の関数として特定されてもよい。非限定的な例において、初期スライド画像152に基づいて決定された品質管理メトリックが基準からの著しい乖離を示す場合、1つ以上の欠損要素184の存在を示唆していることがある。
なおも図1を参照すると、場合によっては、上述のように品質管理メトリック160から生成された品質管理メタデータ(複数のスキャニングパラメータおよびその結果の品質スコアの詳細な記録を含む)が、欠損要素184を識別するためにコンピューティングデバイス148によって分析されてもよい。非限定的な例において、品質管理メタデータが、スライド104の特定の領域が1つ以上の最適でない焦点設定でスキャンされたことを示す場合、コンピューティングデバイス148は、その特定の領域を欠損要素184として識別してもよい。追加的または代替的に、高度な画像処理アルゴリズムが使用されてもよく、および/または本明細書に記載されるように、欠損要素184に関連する共通のパターンを認識するように機械学習モデルがトレーニングされてもよい。場合によっては、トレーニングデータは、出力としての複数の欠損要素に相関された、入力としての複数のスライド画像、品質管理メトリックおよびメタデータを含んでもよい。場合によっては、欠損要素184は、各スライドのスキャン画像における欠損要素の可能性を記述する値を含んでもよい。さらに、欠損要素184は、上述のように、ユーザ入力164に基づいて手動で定義されてもよい。非限定的な例において、ユーザ(例えば病理学または人間のオペレータ)からの1つ以上のユーザフィードバックは、初期スライド画像152における欠損要素184の識別を含んでもよい。場合によっては、ユーザフィードバックは、本明細書で説明するように、欠損要素検出の精度を向上させるために、品質管理メタデータまたはトレーニングデータに追加されてもよい。
引き続き図1を参照すると、一部の実施形態において、少なくとも1つのスキャニングプロファイル176を生成することは、少なくとも1つの欠損要素184に対処するように構成された複数のスキャニングパラメータ188を選択することも含んでもよい。本開示において使用される「スキャニングパラメータ」とは、スキャン/再スキャン処理の実行方法を指示する変数または設定を指す。場合によっては、複数のスキャニングパラメータ188が、複数のスライド112のスキャン画像の品質、解像度、速度、および他の属性に影響を及ぼす可能性がある。場合によっては、スキャニングパラメータは、限定するものではないが、プレスキャンデバイス設定、解像度(DPIまたはPPI)、焦点パラメータ、倍率レベル、照明設定(例えば、光の種類、光強度、光の角度など)、スキャン速度、フィルタ設定(例えば、特定の波長の光を増強または抑制するフィルタの選択)、ポストスキャン画像処理アルゴリズム、スキャンパターン(すなわち、イメージングデバイス116が標本をキャプチャする経路または順序(例えば、直線状、蛇行状、または関心領域[ROI]に基づく))を含んでもよい。当業者は、本開示の全体を検討すれば、スライドスキャンまたは再スキャンの目的で様々なスキャニングパラメータが選択され得ることを認識するであろう。
なおも図1を参照すると、場合によっては、特定された欠損要素184に対処するために、1つ以上のスキャニングパラメータ188が選択または調整されてもよい。非限定的な例において、コンピューティングデバイス148は、合焦不良のために、初期スライド画像152のある領域を、品質管理メトリック160に基づいて欠損要素184として特定してもよく、追加の焦点パラメータが選択され、および/または既存の焦点パラメータが、後続のスキャンにおいて当該領域に対して調整されてもよい。少なくとも1つのスキャニングプロファイル176は、複数のスキャニングパラメータ188の関数として生成されてもよい。場合によっては、スキャニングプロファイル176は、調整されたスキャニングパラメータに基づいて生成または修正されてもよい。場合によっては、イメージングデバイス116は、以下で詳細に説明するように、スライドの後続のスライド画像において初期スライド画像152の欠損要素184を処理するために、少なくとも1つのスキャニングプロファイル176を採用してもよい。非限定的な例において、1つ以上の追加の照明パラメータが選択されてもよく、既存の照明パラメータは、生成された初期スライド画像の品質管理メトリック160に基づいて決定された最初のスキャン処理中の不十分な照明によって引き起こされる細胞構造の可視性の問題を修正するために微調整されてもよい。コンピューティングデバイス148は、これらの照明パラメータに基づいてスキャニングプロファイルを生成し、生成されたスキャニングプロファイルをスライドの次のスキャン中に適用してもよい。
引き続き図1を参照すると、一実施形態において、複数のスキャニングパラメータ188は、複数のイメージングデバイス構成パラメータを含んでもよく、本開示の目的のための複数の「イメージングデバイス構成パラメータ」は、本明細書で説明されるように、イメージングデバイス116に対して行われる特定の設定sを指し、スキャン/再スキャン処理中のイメージングデバイス116の動作挙動を指令する。場合によっては、システム100は複数のイメージングデバイスを含んでもよい。一部の実施形態において、システム100は複数のイメージングデバイスを含んでもよく、複数のイメージングデバイスの各イメージングデバイスは、異なる設定(すなわち、イメージングデバイス構成パラメータの異なるセット)下にある。非限定的な例において、スキャニングプロファイル176は、品質管理メトリック160および/または品質管理メタデータに基づいて、現在利用可能な複数のイメージングデバイスのうちのイメージングデバイスの選択をさらに含んでもよい。例示的なイメージングデバイス構成パラメータは、限定するものではないが、光学センサ設定(例えば、ISO、露光時間、画素ビニングなど)、絞りサイズ、焦点距離、ズームレベル、波長選択、ステージ選択などを含んでもよい。非限定的な例において、スキャニングプロファイル176は、細胞レベルでの詳細なイメージングを必要とする標本を有するスライドをスキャンするために、高倍率および光学センサ感度を有するイメージングデバイスを指定してもよい。
なおも図1を参照すると、場合によっては、上述のように複数のスキャニングパラメータ188がデータベース168に記憶されてもよい。複数のスキャニングパラメータ188の選択は、人間のオペレータが専門知識に基づいて手動で行ってもよい。別の場合には、1つ以上の機械学習モデルは、コンピューティングデバイス148によって、スキャニングパラメータトレーニングデータを使用してトレーニングされてもよく、スキャニングパラメータトレーニングデータは、出力としての複数のスキャニングパラメータセットに相関された入力としての複数の欠損要素を含んでもよく、トレーニングされたスキャニングパラメータ選択モデルを使用して、欠損要素184の関数として複数のスキャニングパラメータ188を自動的に選択する。場合によっては、スキャニングパラメータトレーニングデータはデータベース168から受信されてもよい。場合によっては、スキャニングパラメータトレーニングデータは、出力としての複数のスキャニングパラメータに相関された入力としてのスライド画像、関連するスキャニングメタデータ、品質管理メトリック、および/または品質管理メタデータをさらに含んでもよい。
引き続き図1を参照すると、コンピューティングデバイス148は、上述のように、イメージングデバイス116において、少なくとも1つのスキャニングプロファイル176を使用して、複数のスライド112内の1つ以上のフラグ付きスライド192を再スキャンするように構成される。場合によっては、フラグ付きスライド192は、「再スキャン候補」としてスキャニング状態に関連付けられたスライドを含んでもよい。非限定的な例において、フラグ付きスライド192は、最初のスキャン中に、上述したように、機械的外乱、最適でない照明条件および/または焦点パラメータ、スライドの位置ずれなどの様々な理由から、最初にアーチファクト、ぼけ、または不完全な画像キャプチャを示す生成スライド画像を有するスライドを含むことがある。場合によっては、フラグ付きスライド192の再スキャンは、スキャニングプロファイル176を使用してフラグ付きスライドをスキャンすることを含んでもよい。場合によっては、フラグ付きスライド192の再スキャンは、スキャニングプロファイル176に従ってイメージングデバイス構成パラメータを調整することを含んでもよい。場合によっては、フラグ付きスライド192を再スキャンすることは、スキャニングプロファイル176に基づいて第2のイメージングデバイスでフラグ付きスライドをスキャンすることを含んでもよい。非限定的な実施形態において、フラグ付きスライド192を再スキャンすることは、スキャニングプロファイル176をイメージングデバイス116に適用することを含んでもよく、スキャニングプロファイル176を適用することは、その中に組み込まれた複数のスキャニングパラメータに基づいてスキャニングメタデータ156を修正することを含んでもよい。各フラグ付きスライドの後続のスライド画像196は、コンピューティングデバイス148によって、イメージングデバイス116を使用して、スキャニングプロファイル176を使用してスライド104を再スキャンすることによって生成されてもよい。
引き続き図1を参照すると、一部の実施形態において、フラグ付きスライド192を再スキャンすることは、スライド画像片を生成するために、少なくとも1つのスキャニングプロファイル176を使用して、識別された欠損要素184をスキャンすることを含んでもよい。本開示において使用される「スライド画像片」とは、スライドの分割されたまたは部分的なスライド画像キャプチャを指し、特に対象としてキャプチャしようとしていた欠損要素184である。場合によっては、スライド全体の包括的なビューを提供するフルスライド画像(またはWSI)とは異なり、スライド画像片は、指定された関心領域ROIのみをキャプチャすることに集中してもよく、ROIは、1つ以上の欠損要素184を含んでもよい。フラグ付きスライド192が再スキャンされる必要はなく、以前に欠損した、または十分にキャプチャされなかった特定の領域のみがスキャンされる場合、1つ以上のスライド画像片が、スキャニングプロファイル176を使用して、各フラグ付きスライドに対して生成されてもよく、このようなスキャニングプロファイル176は、場合によっては、増加した光学ズームレベル、増加した露光、最適焦点パラメータなどを含んでもよい。
なおも図1を参照すると、追加的または代替的に、各フラグ付きスライドの後続のスライド画像は、上述のように、初期スライド画像152とスライド画像片をマージすることによって生成されてもよい。いったんスライド画像片がキャプチャされると、それは初期スライド画像152とシームレスに統合され、両方のスキャンの特徴を組み合わせた合成画像を作成してもよい。場合によっては、マージ処理は、スライド画像片を初期スライド画像152の対応する領域と位置合わせすることを含んでもよく、例えば、限定するものではないが、コンピューティングデバイス148は、1つ以上の画像位置合わせ技術(例えば、両画像の主要な特徴が識別され、位置合わせ用の基準点として使用される特徴ベースの位置合わせ)を利用するように構成されてもよい。場合によっては、スライド画像片と初期スライド画像152との境界間の移行を滑らかにするために、コンピューティングデバイス148によって重み付けブレンドアルゴリズムが採用されてもよい。場合によっては、(異なるスキャニングプロファイルでスライドをスキャンすることによって生じる)複数の解像度の画像をマージするためにマルチ解像度ブレンドまたはラプラシアンピラミッドブレンドが使用され、標本の詳細が合成画像に確実に保存されるようにしてもよい。さらに、スライド画像片と初期スライド画像152との間の輝度または色の不一致は、ヒストグラムマッチングまたは他の色補正アルゴリズムを用いて調整されることができる。
なおも図1を参照すると、非限定的な例において、コンピューティングデバイス148は、各フラグ付きスライドのスライド画像片と初期スライド画像152とを、画像融合を通じて結合してもよい。本開示において使用される「画像融合」とは、複数の画像から重要な情報をより少ない、通常は1つの画像に集める処理である。画像融合の1つの方法として、多焦点画像融合がある。本開示において、「多焦点画像融合」とは、異なる焦点深度を有する入力画像を組み合わせて、入力画像からの焦点画像データからなる少なくとも1つの出力画像を作成する画像融合処理である。一部の実施形態によれば、多焦点画像融合は、複数の入力画像からの焦点画像データの選択を含んでもよい。焦点画像データの決定は、例えば、1つ以上の画像融合メトリックに従って、画素単位で実行されてもよい。一般的に、画像融合は、変換領域と空間領域の2つのカテゴリに分類される。画像融合によく使われる変換は、離散コサイン変換(DCT)およびマルチスケール変換(MST)である。場合によっては、画像融合はMSTに基づいてもよい。例示的なMST法には、ラプラシアンピラミッド変換、勾配ピラミッドに基づく変換、モルフォロジカルピラミッド変換、およびその上位のもの、離散ウェーブレット変換、シフト不変ウェーブレット変換(SIDWT)、および離散コサイン調和ウェーブレット変換(DCHWT)が含まれる。場合によっては、DCTベースの方法は、MSTと比較して、画像の伝送やアーカイブの点で効率的であり得る。場合によっては、Joint Photographic Experts Group(JPEG)で符号化された画像にDCTが採用されてもよい。JPEGシステムは、エンコーダとデコーダのペアで構成される。エンコーダでは、画像は8×8の重複しないブロックに分割され、それぞれについてDCT係数が計算される。DCT係数の量子化は非可逆的処理であるため、小さな値のDCT係数の多くは高周波数に相当するゼロに量子化される。DCTベースの画像融合アルゴリズムは、多焦点画像融合法が圧縮領域で適用された場合に、よりよく機能する。場合によっては、DCT領域に基づく画像融合法は、連続した復号化および符号化操作を必要としない。例示的なDCT画像融合処理には、DCT+Variance、DCT+Corr_Eng、DCT+EOL、およびDCT+VOLが含まれる。
なおも図1を参照すると、場合によっては、画像融合法は、追加的または代替的に空間領域での処理を含んでもよい。画像融合は、分散(variance)、画像勾配のエネルギー(energy of image gradient (EOG))、テネンバウム(Tenenbaum)のアルゴリズム(Tenengrad)、ラプラシアンのエネルギー(EOL)、sum-modified-Laplacian(SML)、および空間周波数(SF)を含む、焦点測定値の決定および使用を採用してもよい。画像融合は、複数の入力画像から合焦領域を画像に集約することを含んでもよい。場合によっては、画像のエッジや、異なる合焦入力画像を持つ領域間の境界は、異なる方法で処理されてもよい。例えば、場合によっては、2つ(またはそれ以上)の合焦画像間の境界における画像のセクションは、2つ(またはそれ以上)の最も近い焦点画像からの値の加重平均として処理されてもよい。場合によっては、画像融合処理を支援するために、本明細書で説明するような1つ以上の機械学習プロセスを使用してもよい。
ここで図2を参照すると、スキャニングプロファイルの自動生成に関与する決定木200の例示的な実施形態が図示されている。本明細書で説明するように、「決定木」とは、いくつかのノードの入力が他のノードの出力に接続されているツリーデータ構造のノードとして、以前のそのような決定または計算と同様に、提供されたデータに基づきおよび/または提供されたデータに関して、1つ以上の決定または他の計算を表し、組み合わせるデータ構造を指す。非限定的な例において、複数の予め決定されたまたは既存のスキャニングプロファイルから少なくとも1つのスキャニングプロファイル176を選択するための決定論理は、決定木として実装されてもよい。場合によっては、スキャニングメタデータ156の機能として少なくとも1つのスキャニングプロファイル176を生成することは、図1を参照して上述のように、品質管理メトリック160および/または品質管理メタデータに基づく決定木200のトラバーサルの機能として、複数のスキャニングプロファイルから少なくとも1つのスキャニングプロファイル176を選択することを含んでもよい。
なおも図2を参照すると、本開示において使用される場合、ツリーの「ノード」とは、値またはデータを含み、オプションで他のノードへの1つ以上の接続を含むエンティティである。決定木200内の複数のノードは、少なくとも1つのルートノード204、すなわち、処理されたスキャンデータ156、品質管理メトリック160、および/または、限定するものではないが、スキャンされたスライド画像の全体的または個々の品質スコアなどの決定木200への品質管理メタデータを受信するノードを含んでもよい。決定木200内の複数のノード内の中間ノード208a~208gは、限定するものではないが、品質管理メタデータのカテゴリ(例えば、限定するものではないが、「欠損組織」、「色の問題」、「解像度の問題」、「合焦の問題」など)を含んでもよい。場合によっては、中間ノード208a~208gはまた、1つ以上の品質管理メタデータサブカテゴリ(ノード208aに接続された内部ノード208e~208g)(例えば、「かすかな組織」、「部分スキャン」、「欠損片」などを含んでもよい。
なおも図2を参照すると、決定木200内の複数のノードは、本明細書において代替的または追加的に「葉ノード」と呼ばれ得る、決定木200の実行結果に対応する複数の終端ノード212a~212fを含んでもよい。言い換えれば、決定木200によって生成された決定および/または判定は、少なくとも1つの終端ノードで出力され得る。非限定的な例において、決定木200は、複数の終末ノード212a~212fを含んでもよく、複数の終末ノード212a~212fの各終末ノードは、本明細書で説明されるような少なくとも1つのスキャニングプロファイルを含んでもよい。
なおも図2を参照すると、場合によっては、スキャニングプロファイルは「中間マグプロファイル(IMP)」を含んでもよく、IMPは、かすかな組織や欠損片に関連する問題に対処するように設計されてもよい。一実施形態において、IMPは中間レベルの倍率を使用して、かすかな組織構造の視認性を高め、スキャン処理中に組織片の欠損がないようにすることができる。非限定的な例において、イメージングデバイス116は、中間レベルに調整することによって、高倍率に伴う過剰な詳細やノイズを回避しつつ、低倍率では見落とされる可能性のある詳細をキャプチャしてもよい。
なおも図2を参照すると、場合によっては、スキャニングプロファイルは「エクストラプローブプロファイル(EPP)」を含んでもよく、EEPは、部分スキャンを行ったために欠損した組織が存在する状況に合わせて調整されてもよい。一実施形態において、EEPは、包括的なスキャンカバレッジを確保するために、追加的またはより高感度のプローブを採用してもよい。非限定的な例において、EEPは、スライドのどの部分もスキャンされずに残らないようにするために、複数回のパス、または、より広い視野や高い感度を持つプローブの使用に関与することがある。
なおも図2を参照すると、場合によっては、スキャニングプロファイルは「カスタムカラープロファイル(CCP)」を含んでもよく、CCPはスキャン画像の色の不一致や矛盾に対処するように構成されてもよい。一実施形態において、CCPは、イメージングデバイス116の色設定の較正と調整を可能にし得る。非限定的な例において、後続のスライド画像196の色は、実際のスライドの色と比較して、CCP下でイメージングデバイスによってキャプチャされた色を正確に表現され得る。場合によっては、色の区別が重要な染色された組織サンプルを分析する際に、色の問題が生じ得る。
なおも図2を参照すると、場合によっては、スキャニングプロファイルは「高倍率プロファイル(HMP)」を含んでもよく、HMPは画像解像度に関する問題を解決するために使用され得る。一実施形態において、HMPはスライドの細部をキャプチャするために、より高い倍率設定を使用してもよい。非限定的な例において、HMP下のイメージングデバイス116は、より高い倍率レベルを有することができ、より複雑な構造および詳細を有するスライド画像がキャプチャされ、より鮮明で詳細なスキャンが行えるようになる。
なおも図2を参照すると、別の場合には、スキャニングプロファイルは「より高いZスタックプロファイル(Higher Z Stack Profile(HZSP))」を含んでもよく、HZSPは、初期スライド画像152における合焦の問題に対処するように構成されてもよい。一実施形態において、HZSPは、異なる焦点面で複数の画像をキャプチャするようにイメージングデバイス116を構成すること(例えば、被写界深度を深くし、焦点面の数を増加させる)、次いで、それらを組み合わせて単一の合焦スライド画像(すなわち、Zスタック)を生成することを含んでもよい。非限定的な例として、合焦の問題が生じる可能性のある厚いサンプルや凹凸のあるサンプルの場合、サンプルの異なる部分が異なる深さで合焦することがある。HZSPを採用することで、イメージングデバイス116は、後続のスライド画像196においてサンプルのすべての部分に合焦するようにすることができる。
引き続き図2を参照すると、場合によっては、コンピューティングデバイス148は、重複する可能性のある2つ以上の決定木200を生成してもよい。非限定的な例において、決定木200は、遠隔決定モジュール、デバイス、システムなどへのリンクを確立してもよい。決定木200のルートノード204は、別の決定木(不図示)の1つ以上の終端ノードに接続し、および/またはそこから出力を受信することができる。決定木200の中間ノードなどの複数のノードの1つ以上のノードは、別の決定木などと共有されてもよい。一部の実施形態において、決定木200は、スキャニングメタデータ156を受信し、および/または複数の品質管理メトリック160もしくは品質管理メタデータを組み込むために、1つ以上のアプリケーションプログラミングインタフェース(API)を使用するように構成されてもよい。他の実施形態では、決定木200は、1つ以上のデータベースルックアップおよび/またはルックアップテーブルルックアップを実行してもよい。
なおも図2を参照すると、非限定的な例において、スキャニングメタデータ156および品質管理メトリック160またはメタデータに基づいて、1つ以上のスキャニングパラメータ188の選択は、決定木200のトラバーサルの機能として自動化することができ、再スキャンされるスライドごとのカスタムスキャニングプロファイルの作成につながるが、必要であれば、ユーザ(例えば人間のオペレータ)は、決定または選択されたスキャニングプロファイルをカスタマイズすることができる。図2に示すようなスキャニングプロファイルは、可能なプロファイルのサブセットに過ぎず、プロファイルの実際の範囲は、イメージングデバイス116で利用可能なハードウェア構成要素に基づいて変化し得ることに留意すべきである。当業者は、本開示の全体を検討すれば、記載されたシステム100は、スキャン処理および画質をさらに向上させるために、より新しいスキャン技術、高度なハードウェア構成要素、および進化するソフトウェアアルゴリズムを組み込むように拡張、修正、または改変され得ることを認識するであろう。
ここで図3Aを参照すると、第1のイメージングデバイス300aのスキャニングパラメータの例示的な実施形態が図示されている。場合によっては、第1のイメージングデバイス(例えば第1のイメージングデバイス300a)は、4倍対物レンズ304aと40倍対物レンズ304bとで部分的に構成されていてもよい。非限定的な例において、4倍対物レンズ304aは4倍スキャニングプロファイル308aに関連付けられ、40倍対物レンズ304bは40倍スキャニングプロファイル308bに関連付けられてもよい。場合によっては、4倍スキャニングプロファイル308aは、主に、標本のより広い概観的なスキャンに使用されてもよく、より小さい倍率でより広い領域を捉えることができる。別の場合には、40倍スキャニングプロファイル308bは、より高い倍率を提供し、標本内の特定のROIの詳細なクローズアップ表示を可能にし得る。
ここで図3Bを参照すると、第2のイメージングデバイス300bのスキャニングパラメータの例示的な実施形態が図示されている。場合によっては、第2のイメージングデバイス(例えば第2のイメージングデバイス300b)は、6倍対物レンズ304cと60倍対物レンズ304dとで部分的に構成されていてもよい。同様に、6倍対物レンズ304cは6倍スキャニングプロファイル308cに関連付けられ、60倍対物レンズ304dは60倍スキャニングプロファイル308dに関連付けられてもよい。場合によっては、6倍スキャニングプロファイル308cが中程度の倍率のスキャンに使用されてもよく、比較的広い範囲をキャプチャしながらも、まともなレベルの詳細を提供するバランスの取れた視野を提供する。別の場合には、60倍のスキャニングプロファイル308dは、標本内の特定部位の詳細な検査に理想的な、極めて高いレベルの倍率を提供し得る。
ここで図4を参照すると、本開示に記載されるような1つ以上の機械学習プロセスを実行し得る機械学習モジュール400の例示的な実施形態が図示されている。機械学習モジュールは、機械学習プロセスを使用して、本開示に記載されるような決定、分類、および/または分析のステップ、方法、処理などを実行し得る。本開示において使用される「機械学習プロセス」とは、データが入力412として提供された場合に出力408を生成するために、コンピューティングデバイス/モジュールによって実行されるハードウェアまたはソフトウェアロジック、データ構造、および/または関数にインスタンス化されたアルゴリズムを生成するためトレーニングデータ404を自動的に使用する処理であり、これは、実行されるコマンドがユーザによって事前に決定され、プログラミング言語で記述される非機械学習ソフトウェアプログラムとは対照をなす。
なおも図4を参照すると、本明細書において使用される「トレーニングデータ」とは、機械学習プロセスがデータ要素の2つ以上のカテゴリ間の関係をモデル化するために使用することができる相関関係を含むデータである。例えば、限定するものではないが、トレーニングデータ404は、「トレーニング例」としても知られる複数のデータエントリを含んでもよく、各エントリは、共に記録、受信、および/または生成されたデータ要素のセットを表し、データ要素は、所与のデータエントリにおける共有の存在、所与のデータエントリにおける近似性などによって相関され得る。トレーニングデータ404の複数のデータエントリは、データ要素のカテゴリ間の相関関係における1つ以上の傾向を示し得る。例えば、限定するものではないが、データ要素の第1のカテゴリに属する第1のデータ要素の高い値は、データ要素の第2のカテゴリに属する第2のデータ要素の高い値と相関する傾向があり、2つのカテゴリに属する値を結びつける比例関係またはその他の数学的関係の可能性を示している。データ要素の複数のカテゴリは、様々な相関関係に従って、トレーニングデータ404において関連付けられ得る。相関関係は、データ要素のカテゴリ間の因果関係および/または予測リンクを示し得るものであり、以下でさらに詳細に説明するように、機械学習プロセスによって数学的関係などの関係としてモデル化され得る。トレーニングデータ404は、例えば、データ要素をデータ要素のカテゴリに対応する1つ以上の記述子と関連付けることにより、データ要素のカテゴリによってフォーマット化されおよび/または編成されてもよい。非限定的な例として、トレーニングデータ404は、フォームの所与のフィールドにおける所与のデータ要素の入力が、カテゴリの1つ以上の記述子にマッピングされるように人または処理によって標準化されたフォームに入力されたデータを含むことができる。トレーニングデータ404の要素は、タグ、トークン、または他のデータ要素によってカテゴリの記述子にリンクされてもよい。例えば、限定するものではないが、トレーニングデータ404は、固定長フォーマット、カンマ区切り値(CSV)フォーマットなどのデータの位置をカテゴリにリンクするフォーマット、および/または、拡張可能マークアップ言語(XML)、JavaScript Object Notation(JSON)などの自己記述フォーマットで提供されてもよく、処理またはデバイスがデータのカテゴリを検出することを可能にする。
代替的または追加的に、引き続き図4を参照すると、トレーニングデータ404は、カテゴライズされていない1つ以上の要素を含んでもよい。すなわち、トレーニングデータ404は、データのいくつかの要素に対してフォーマットされていないか、または記述子を含んでいなくてもよい。機械学習アルゴリズムおよび/または他の処理は、例えば、自然言語処理アルゴリズム、トークン化、生データ中の相関値の検出などを使用して、1つ以上のカテゴライズに従ってトレーニングデータ404をソートし得る。カテゴリは、相関および/または他の処理アルゴリズムを使用して生成され得る。非限定的な例として、テキストのコーパスにおいて、他の名詞で修飾された名詞などの「n」個の複合語を構成するフレーズは、特定の順序でそのような単語を含むn-gramの統計的に有意な普及度に従って特定され得る。そのようなn-gramは、単一単語と同様に追跡される「単語(word)」のような言語の要素としてカテゴライズされ得、統計的分析の結果として新しいカテゴリを生成する。同様に、テキストデータを含むデータエントリにおいて、人名は、リスト、辞書、または他の用語集を参照することによって識別され得、機械学習アルゴリズムによるアドホックなカテゴライズ、および/または、データエントリ内のデータの記述子または所与のフォーマットへの自動的な関連付けを可能にする。データエントリを自動的にカテゴライズする能力により、以下にさらに詳細に説明するように、同じトレーニングデータ404が2つ以上の異なる機械学習アルゴリズムに適用できるようになる。機械学習モジュール400によって使用されるトレーニングデータ404は、本開示に記載されるような任意の入力データを、本開示に記載されるような任意の出力データと相関させ得る。非限定的な例示として、トレーニングデータは、出力として複数のスキャニング状態に相関された、入力としての複数のスライド画像を含んでもよい。
さらに図4を参照すると、トレーニングデータは、以下でさらに詳細に説明するように、1つ以上の教師ありおよび/または教師なしの機械学習プロセスおよび/またはモデルを使用して、フィルタリング、ソート、および/または選択されてもよく、そのようなモデルは、限定するものではないが、トレーニングデータ分類器416を含んでもよい。トレーニングデータ分類器416は「分類器」を含んでもよく、本開示において使用される「分類器」は、以下で定義される機械学習モデルであり、例えば、以下でさらに詳細に説明されるように、「分類アルゴリズム」として知られる機械学習アルゴリズムによって生成される数学モデル、ニューラルネット、またはプログラムを表すおよび/または使用するデータ構造であり、データのカテゴリまたはビンに入力をソートし、データのカテゴリまたはビンおよび/またはそれに関連するラベルを出力する。分類器は、クラスタ化され、後述するような距離メトリックのもとで近接していることが見出されたなどのデータのセットをラベル付けするか、さもなければ識別する少なくとも1つのデータを出力するように構成されてもよい。距離メトリックは、限定するものではないが、ピタゴラスノルムなど、任意のノルムを含むことができる。機械学習モジュール400は、コンピューティングデバイスおよび/またはコンピューティングデバイス上で動作する任意のモジュールおよび/または構成要素が、トレーニングデータ404から分類器を導出する処理として定義される分類アルゴリズムを使用して、分類器を生成し得る。分類は、限定するものではないが、ロジスティック回帰および/またはナイーブベイズ分類器などだがこれに限定されない線形分類器、k-最近傍分類器などの最近傍分類器、サポートベクタマシン、最小二乗サポートベクタマシン、フィッシャーの線形判別、二次分類器、決定木、ブースティング木、ランダムフォレスト分類器、学習ベクトル量子化、および/またはニューラルネットワークベースの分類器を使用して実行されてもよい。非限定的な例として、トレーニングデータ分類器416は、特定の人口統計学的属性および表現型属性に基づいてトレーニングデータの要素を分類し、データセット内の別個の亜集団の同定を導くことができる。これらの属性には、年齢、性別、民族性、遺伝マーカー、環境暴露、病歴、標本に関連する特定の生理学的または病理学的状態が含まれてもよい。
なおも図4を参照すると、コンピューティングデバイス148は、ナイーブベイズ分類アルゴリズムを使用して分類器を生成するように構成され得る。ナイーブベイズ分類アルゴリズムは、要素値のベクトルとして表される問題インスタンスにクラスラベルを割り当てることによって分類器を生成する。クラスラベルは有限集合から引き出される。ナイーブベイズ分類アルゴリズムは、クラス変数が与えられた場合、特定の要素の値が他の要素の値から独立していると仮定するアルゴリズムのファミリーを生成することを含むことができる。ナイーブベイズ分類アルゴリズムは、P(A/B)=P(B/A)P(A)÷P(B)で表されるベイズの定理に基づくことができ、ここでP(A/B)は事後確率としても知られているデータBが与えられたときの仮説Aの確率であり、P(B/A)は仮説Aが真であると仮定したときのデータBの確率であり、P(A)は、Aの事前確率としても知られているデータに関係なく仮説Aが真である確率であり、P(B)は、仮説に関係ないデータの確率である。ナイーブベイズアルゴリズムは、まずトレーニングデータを頻度表に変換することで生成され得る。次に、コンピューティングデバイス148は、異なるデータエントリと分類ラベルの確率を計算することによって、尤度表を計算することができる。コンピューティングデバイス148は、ナイーブベイズ方程式を利用して、各クラスの事後確率を計算することができる。最も高い事後確率を含むクラスが予測結果となる。ナイーブベイズ分類アルゴリズムは、正規分布に従うガウスモデルを含むことができる。ナイーブベイズ分類アルゴリズムは、離散カウントに使用される多項モデルを含んでもよい。ナイーブベイズ分類アルゴリズムは、ベクトルが二値である場合に利用されるベルヌーイモデルを含むことができる。
引き続き図4を参照すると、コンピューティングデバイス148は、K-最近傍(KNN)アルゴリズムを使用して分類器を生成するように構成され得る。本開示において使用される「K-最近傍アルゴリズム」とは、入力データをトレーニングデータで表現される特徴の1つ以上のクラスタおよび/またはカテゴリに分類するために特徴の類似度を利用して、サンプル外の特徴がトレーニングデータにどれだけ密接に似ているかを分析する分類方法を含み、これは、トレーニングデータと入力データの両方をベクトル形式で表現し、1つ以上のベクトル類似度の尺度を使用して、トレーニングデータ内の分類を識別し、入力データの分類を決定することによって実行され得る。K-最近傍アルゴリズムは、K値、または所定のサンプルに最も類似したk個のエントリトレーニングデータを選択するように分類器に指示する数を指定すること、データベース内のエントリの最も一般的な分類器を決定すること、および既知のサンプルを分類することを含むことができる。これは、入力データをさらにサンプルとして分類するために使用することができる分類器を生成するために、再帰的および/または反復的に実行され得る。例えば、サンプルの初期セットは、初期ヒューリスティックおよび/または出力および/または関係における「最初の推測」をカバーするために実行されてもよく、これは、限定するものではないが、本明細書に記載される任意の処理に従って受信された専門家入力を使用してシードされてもよい。非限定的な例として、初期ヒューリスティックは、入力とトレーニングデータの要素との間の関連性のランク付けを含むことができる。ヒューリスティックは、いくつかの最高ランクの関連および/またはトレーニングデータ要素を選択することを含んでもよい。
引き続き図4を参照すると、k-最近傍アルゴリズムを生成することは、データエントリクラスタを含む第1のベクトル出力を生成し、入力データを含む第2のベクトル出力を生成し、コサイン類似度、ユークリッド距離測定などの任意の適切なノルムを使用して、第1のベクトル出力と第2のベクトル出力との間の距離を計算することができる。各ベクトル出力は、限定するものではないが、n個の値のタプルとして表すことができ、nは少なくとも2つの値である。値のn-タプルの各値は、データの所与のカテゴリ、または属性に関連付けられた測定値または他の定量的な値を表す場合があり、その例は、以下でさらに詳細に提供される。ベクトルは、限定するものではないが、ベクトルが互いに比較されるn-タプル内の属性の相対量を特徴付ける幾何学的方向を有するように、値のn-タプルで表される値のカテゴリごとの軸を使用してn次元空間で表されることができる。2つのベクトルは、その方向、および/または、各ベクトル内の値の相対量が、互いに比較して同じである場合に等価とみなされ得る。したがって、非限定的な例として、[5、10、15]として表されるベクトルは、本開示の目的において、[1、2、3]として表されるベクトルと等価であると扱うことができる。ベクトルは、それらの方向がより類似している場合、より類似している可能性があり、それらの方向がより相違している場合、より異なっている可能性がある。しかし、ベクトルの類似性は、代替的または追加的に、以下にさらに詳細に説明するように、同様の属性間の類似性の平均、または任意のn-タプルの値に適した類似性の任意の他の尺度、または損失関数の目的のための数値類似性尺度の集約を使用して決定されてもよい。本明細書に記載される任意のベクトルは、各ベクトルが各属性を値の等価なスケールに沿って表すように、スケーリングされてもよい。各ベクトルは「正規化」されてもよく、または、ピタゴラスノルム:
を用いて導出される長さ属性lのような「長さ」属性によって分割されてもよい。式中、aiはベクトルの属性番号iである。スケーリングおよび/または正規化は、属性の類似性への依存性を維持しながら、属性の絶対量に依存しないベクトル比較を行うように機能し得る。これは、例えば、トレーニングデータで表されるケースが異なる量のサンプルで表される場合に有利であり、その結果、乖離した値を持つ比例的に等価なベクトルが得られる場合がある。
図4をさらに参照すると、トレーニングデータとして使用するトレーニング例は、解決すべき解析問題、分類タスクなどに関連するコホートに従って、潜在的な例の集団から選択され得る。代替的または追加的に、トレーニングデータは、機械学習モデルおよび/またはプロセスが展開時に遭遇する可能性の高い状況もしくは入力のセットにまたがるように選択され得る。例えば、限定するものではないが、画像、ユーザデータ、処理データ、物理データなどの現象の母集団における値の範囲に存在し得る機械学習プロセスまたはモデルへの入力データの各カテゴリについて、コンピューティングデバイス、プロセッサ、および/または機械学習モデルは、そのような範囲上の各可能な値を表すトレーニング例、および/またはそのような範囲上の値の代表的なサンプルを選択することができる。代表的なサンプルの選択は、例えば、分析されたデータの集団でより頻繁に遭遇する値は、より頻繁に遭遇しない値よりも多くのトレーニング例によって表されるように、相対的な頻度に従って統計的に決定および/または予測されたそのような値の分布に一致する割合でトレーニング例を選択することを含むことができる。代替的または追加的に、トレーニング例のセットは、データベース内の代表値を集めたものと比較され、および/またはユーザに提示され、処理が、自動的に、またはユーザ入力を介して、トレーニング例のセットに含まれていない1つ以上の値を検出できるようにしてもよい。コンピューティングデバイス、プロセッサ、および/またはモジュールは、欠損しているトレーニング例を自動的に生成してもよい。このことは、欠損している入力値および/または出力値を受信および/または取得し、欠損している入力値および/または出力値を、ユーザおよび/または他のデバイスなどによって提供された、取得された値とデータレコード内に併存する対応する出力値および/または入力値と関連付けることによって行われてもよい。
なおも図4を参照すると、コンピュータ、プロセッサ、および/またはモジュールは、トレーニングデータを前処理するように構成され得る。本開示において使用されるトレーニングデータを「前処理する」とは、トレーニングデータを未加工の状態から機械学習モデルのトレーニングに使用できる形式に変換することである。前処理は、サニタイズ、特徴選択、特徴スケーリング、データ増強などを含むことができる。
なおも図4を参照すると、コンピュータ、プロセッサ、および/またはモジュールは、トレーニングデータをサニタイズするように構成され得る。本開示において使用されるトレーニングデータの「サニタイズ」とは、機械学習モデルおよび/またはプロセスの有用な結果への収束を妨げるトレーニング例が除去される処理である。例えば、限定するものではないが、トレーニング例は、トレーニング例を使用する機械学習アルゴリズムが入力および/または出力としてありそうもない量に適応するように、典型的に遭遇する値から外れ値である入力および/または出力値を含むことができる。例えば、平均値(average)、平均値(mean)、または期待値から標準偏差の閾値数より大きく離れた値が除去されてもよい。代替的または追加的に、1つ以上のトレーニング例は、質の低いデータを有するものとして識別され得る。ここで、「質の低い」とは、閾値未満の信号対雑音比を有するものとして定義される。サニタイズは、重複データまたは他の冗長データの削除、欠損データの補間、データエラーの修正、データの標準化、外れ値の識別などのステップを含んでもよい。非限定的な例において、サニタイズは、重複エントリを識別するためのアルゴリズムまたはスペルチェックアルゴリズムを利用することを含んでもよい。
非限定的な例として、さらに図4を参照すると、画像分類器またはその他の機械学習モデル、および/または、画像を入力として取り込みまたは画像を出力として生成する処理のトレーニングに使用される画像は、画質が閾値未満である場合は拒否されてもよい。例えば、限定するものではないが、コンピューティングデバイス、プロセッサ、および/またはモジュールは、ぼけ検出を実行し、1つ以上のぼけを排除することができる。ぼけ検出は、非限定的な例として、画像のフーリエ変換、または高速フーリエ変換(FFT)などの近似を取り、得られた画像の周波数領域の描写における低周波および高周波の分布を分析することによって実行され得る。閾値レベル未満の高周波値の数は、ぼけを示す可能性がある。さらなる非限定的な例において、ぼけの検出は、画像、画像のチャネルなどをラプラシアンカーネルで畳み込むことによって実行されてもよく、これは、画像に示される強度の急激な変化の数を反映する数値スコアを生成してもよく、高スコアは鮮明性を示し、低スコアはぼけを示す。ぼけ検出は、画像の勾配または1次導関数に基づいて演算子を測定する、勾配ベースの演算子を用いて行われることができ、急激な変化は画像のシャープなエッジを示し、したがってぼけの程度が低いことを示すという仮説に基づく。ぼけ検出は、画像の周波数および空間コンテンツを記述するために離散ウェーブレット変換の係数の能力を利用する、ウェーブレットベースの演算子を用いて実行されてもよい。ぼけ検出は、焦点レベルを計算するために、テクスチャ記述子としていくつかの画像統計量を利用する、統計ベースの演算子を用いて実行されてもよい。ぼけ検出は、周波数コンテンツから画像の焦点レベルを計算するために、離散コサイン変換(DCT)係数を用いることで実行されてもよい。
なおも図4を参照すると、コンピューティングデバイス、プロセッサ、および/またはモジュールは、1つ以上のトレーニング例を前提条件とするように構成され得る。例えば、限定するものではないが、機械学習モデルおよび/またはプロセスが、ある一定数のビット、サンプル、もしくは他の単位のデータを必要とする、送信する、または受信する1つ以上の入力および/または出力を有する場合、入力および/または出力として使用される、または入力および/または出力と比較される1つ以上のトレーニング例の要素は、そのような単位数のデータを有するように変更され得る。例えば、コンピューティングデバイス、プロセッサ、および/またはモジュールは、例えばアップサンプリングや補間によって、低画素数の画像などのより少ないユニット数を所望のユニット数に変換することができる。非限定的な例として、低画素数の画像は100画素を有してもよいが、望ましい画素数は128画素であってもよい。プロセッサは、低画素数の画像を補間して、100画素を128画素に変換することができる。また、当業者は、本開示を読めば、サンプル、画素、ビットなどのより少ない数のデータ単位を所望の数のそのような単位に補間する様々な方法を知るであろうことに留意すべきである。一部の例では、補間ルールのセットは、高度に詳細な入力および/または出力と、より少ない数の単位にダウンサンプリングされた対応する入力および/または出力のセットと、トレーニングデータを使用して補間画素値を予測するようにトレーニングされたニューラルネットワークまたは他の機械学習モデルとによってトレーニングされ得る。非限定的な例として、サンプル拡大されたデータ単位(例えば、元の画素の間に追加された画素)を有するサンプル画像などのサンプル入力および/または出力は、ニューラルネットワークまたは機械学習モデルに入力されることができ、また、補間ルールのセットに基づいて元の画素間の画素にダミー値が割り当てられた擬似レプリカサンプル画像を出力することができる。非限定的な例として、画像分類器のコンテキストでは、機械学習モデルは、高精細画像と、より少ない画素数にダウンサンプリングされた画像のセットによってトレーニングされた補間ルールのセットと、顔画像のコンテキストで補間画素値を予測するためにそれらの例を使用してトレーニングされたニューラルネットワークまたは他の機械学習モデルと、を有していてもよい。その結果、サンプル拡張されたデータユニット(元のデータユニットの間にダミー値を追加したもの)を有する入力は、トレーニングされたニューラルネットワークおよび/またはモデルを通して実行され、ダミー値を置き換えるために値を埋めることができる。代替的または追加的に、プロセッサ、コンピューティングデバイス、および/またはモジュールは、サンプルエキスパンダ法、ローパスフィルタ、またはその両方を利用してもよい。本開示において使用される「ローパスフィルタ」とは、選択されたカットオフ周波数より低い周波数の信号を通過させ、カットオフ周波数より高い周波数の信号を減衰させるフィルタである。フィルタの正確な周波数応答は、フィルタ設計に依存する。コンピューティングデバイス、プロセッサ、および/またはモジュールは、画像におけるルマ平均化またはクロマ平均化などの平均化を使用して、元のデータユニット間のデータユニットを埋めることができる。
一部の実施形態において、引き続き図4を参照すると、コンピューティングデバイス、プロセッサ、および/またはモジュールは、トレーニング例の要素を、所望のより少ないデータ要素数へダウンサンプリングすることができる。非限定的な例として、高画素数の画像は256画素を有してもよいが、望ましい画素数は128画素であってもよい。プロセッサは、256画素を128画素に変換するために、高画素数の画像をダウンサンプリングすることができる。一部の実施形態において、プロセッサは、データに対してダウンサンプリングを実行するように構成されてもよい。デシメーションとしても知られるダウンサンプリングは、サンプルのシーケンスにおけるN番目のエントリごと、N番目のエントリごとを除くすべて、などを除去することを含んでもよく、これは「圧縮」として知られるプロセスであり、例えば、ハードウェアまたはソフトウェアを使用して実装されたNサンプル圧縮器によって実行され得る。アンチエイリアシングおよび/またはアンチイメージングフィルタ、および/またはローパスフィルタは、圧縮の副作用をクリーンアップするために使用され得る。
さらに図4を参照すると、特徴選択には、トレーニングされた機械学習モデルおよび/またはアルゴリズムがトレーニングされる目的に関連しない特徴および/または要素、またはそのような要素を含むトレーニングデータを除外するための、トレーニングデータの絞り込みおよび/またはフィルタリング、ならびに/または、トレーニングされた機械学習モデルおよび/またはアルゴリズムがトレーニングされる意図されたタスクまたは目的に対する関連性または有用性に基づく、特徴および/または要素、またはそのような要素を含むトレーニングデータの収集が含まれる。特徴選択は、限定するものではないがトレーニングデータ分類器の使用、外れ値の除外などを含む、本開示に記載される任意の処理を使用して実施することができる。
引き続き図4を参照すると、特徴スケーリングは、限定するものではないが、データエントリの正規化を含んでもよく、これは、例えばベクトル正規化で実行されるように、数値フィールドをそのノルムで除算することで達成され得る。特性スケーリングには、最大絶対値スケーリングが含まれてもよく、各定量データは、定量データのセットまたはサブセットのすべての定量データの最大絶対値で除算される。特性スケーリングは、各値Xがそこから減算された値のセットまたはサブセット内の最小値Xminを有し、その結果が値の範囲で除算され、セットまたはサブセットXmax内の最大値を与える、最小-最大スケーリングを含んでもよい:
特性スケーリングは、最大値および最小値を有する値のセットおよび/またはサブセットの平均値Xmeanを使用することを含む平均正規化を含んでもよい:
特性スケーリングには標準化が含まれてもよく、この場合XとXmeanの差は、値のセットまたはサブセットの標準偏差σで除算される:
スケーリングは、セットまたはサブセットの中央値Xmedian、および/または四分位範囲(IQR)を使用して実行することができ、四分位範囲(IQR)は、25パーセンタイル値と50パーセンタイル値(またはラウンドプロトコルによって最も近い値)の差を表す。例:
当業者は、本開示の全体を検証することにより、特徴スケーリングに使用され得る様々な代替的または追加的アプローチを認識するであろう。
さらに図4を参照すると、コンピューティングデバイス、プロセッサ、および/またはモジュールは、データ増強の1つ以上の処理を実行するように構成され得る。本開示において使用される「データ増強」とは、データセットに既に含まれる要素および/または項目を使用した、トレーニングセットへのデータの追加である。データ増強は、限定するものではないが、補間、既存のエントリおよび/または例を修正したコピーの生成、および/または、例えばディープニューラルネットワークおよび/または敵対的生成ネットワークを使用する、1つ以上の生成AIプロセスを使用して達成され得る。生成プロセスは、この文脈では代替的に「データ合成」や「合成データ」の作成と呼ばれることもある。増強は、画像の幾何学的、色空間、アフィン、明るさ、クロッピング、および/またはコントラスト変換など、データに対して1つ以上の変換を実行することを含んでもよい。
なおも図4を参照すると、機械学習モジュール400は、遅延学習プロセス420および/またはプロトコルを実行するように構成されてもよい。これは、代替的に「遅延ローディング」または「call-when-needed」プロセスおよび/またはプロトコルと呼ばれることがあり、出力に変換されるべき入力の受信時に、入力とトレーニングセットを組み合わせて、オンデマンドで出力を生成するために使用されるアルゴリズムを導出することによって機械学習が実施される。例えば、シミュレーションの初期セットは、出力および/または関係における初期のヒューリスティックおよび/または「最初の推測」をカバーするために実行され得る。非限定的な例として、初期ヒューリスティックは、入力とトレーニングデータ404の要素との間の関連性のランク付けを含むことができる。ヒューリスティックは、いくつかの最高ランクの関連および/またはトレーニングデータ404の要素を選択することを含んでもよい。遅延学習は、K-最近傍アルゴリズム、遅延ナイーブベイズアルゴリズムなどを含むがこれに限定されない、任意の適切な遅延学習アルゴリズムを実装することができ、当業者は、本開示の全体を検討すれば、限定するものではないが、以下にさらに詳細に説明するような、機械学習アルゴリズムの遅延学習アプリケーションを含む、本開示に記載されるような出力を生成するために適用され得る様々な遅延学習アルゴリズムを認識するであろう。
代替的または追加的に、引き続き図4を参照すると、機械学習モデル424を生成するために、本開示に記載されるような機械学習プロセスが使用され得る。本開示において使用される「機械学習モデル」とは、上述のような任意の処理を含むがこれに限定されない任意の機械学習プロセスを使用して生成され、メモリに格納される、入力と出力との間の関係の数学的および/またはアルゴリズム的表現を表し、および/またはインスタンス化するデータ構造であり、入力は、いったん作成されると、機械学習モデル424に提出され、機械学習モデル424は、導出された関係に基づいて出力を生成する。例えば、限定するものではないが、線形回帰アルゴリズムを使用して生成された線形回帰モデルは、機械学習プロセス中に導出された係数を使用して入力データの線形結合を計算し、出力データを計算することができる。さらなる非限定的な例として、機械学習モデル424は、ノードの入力層、1つ以上の中間層、およびノードの出力層を含む畳み込みニューラルネットワークなどの人工ニューラルネットワークを作成することによって生成されてもよい。ノード間の接続は、ネットワークを「トレーニング」するプロセスを介して作成されることがあり、このプロセスでは、トレーニングデータ404のセットからの要素が入力ノードに適用され、適切なトレーニングアルゴリズム(レーベンベルグ・マルカート、共役勾配、シミュレーテッド・アニーリング、または他のアルゴリズムなど)が、次いで、出力ノードで所望の値を生成するために、ニューラルネットワークの隣接する層のノード間の接続および重みを調整するために使用される。この処理はディープラーニングと呼ばれることもある。
なおも図4を参照すると、機械学習アルゴリズムは、少なくとも1つの教師あり機械学習プロセス428を含むことができる。少なくとも1つの教師あり機械学習プロセス428は、本明細書で定義される場合、多数の入力を多数の出力に関連付けるトレーニングセットを受信し、入力を出力に関連付ける1つ以上の数学的関係を表すおよび/またはインスタンス化する1つ以上のデータ構造を生成しようとするアルゴリズムを含み、1つ以上の数学的関係のそれぞれは、何らかのスコアリング関数を使用してアルゴリズムに指定された何らかの基準に従って最適である。例えば、教師あり学習アルゴリズムは、入力として上記のような複数のスキャニングメタデータおよび品質管理メトリックまたはメタデータ、出力として複数のスキャニングプロファイル、および入力と出力との間で検出されるべき関係の望ましい形態を表すスコアリング関数を含むことができる。スコアリング関数は、例えば、所与の入力および/または入力の要素の組み合わせが所与の出力に関連付けられる確率を最大化し、所与の入力が所与の出力に関連付けられない確率を最小化しようとすることができる。スコアリング関数は、入力を出力に関連付けるアルゴリズムの「期待損失」を表すリスク関数として表現されてもよく、損失は、トレーニングデータ404で提供された所与の入力―出力ペアと比較されたときに、関係によって生成された予測が不正確である度合いを表す誤差関数として計算される。当業者は、本開示の全体を検討する際に、入力と出力との間の関係を決定するために使用され得る、少なくとも1つの教師あり機械学習プロセス428の様々な可能なバリエーションを認識するであろう。教師あり機械学習プロセスは、上記で定義した分類アルゴリズムを含むことができる。
図4をさらに参照すると、教師あり機械学習プロセスのトレーニングは、限定するものではないが、誤差関数、期待損失、および/またはリスク関数に基づいて係数、バイアス、重みを反復的に更新することを含むことができる。例えば、トレーニング例の入力例を使用して教師あり機械学習モデルによって生成された出力は、トレーニング例からの出力例と比較されてもよく、誤差関数は、比較に基づいて生成されてもよく、これは、比較された値の1つ以上のセットの間の差の二乗などを含む、本開示に記載される任意の機械学習アルゴリズムと共に使用するために適した任意の誤差関数を含んでもよい。このような誤差関数は、勾配降下プロセス、最小二乗プロセス、および/または本開示に記載される他のプロセスを含むがこれに限定されない、任意の適切なプロセスを通じて、機械学習モデルの1つ以上の重み、バイアス、係数、または他のパラメータを更新するために順次使用され得る。これは、重み、バイアス、係数、または他のパラメータを徐々に調整するために、反復的および/または再帰的に行われてもよい。更新は、ニューラルネットワークにおいて、1つ以上のバックプロパゲーションアルゴリズムを使用して実行されてもよい。上述したような重み、バイアス、係数、または他のパラメータに対する反復的および/または再帰的な更新は、現在利用可能なトレーニングデータが枯渇するまで、および/または収束判定に合格するまで実行されてもよく、ここで「収束判定」とは、モデルおよび/またはその重み、バイアス、係数、または他のパラメータがある程度の精度に達したことを示すものとして選択された条件に対する判定である。収束判定は、例えば、2つ以上の連続する誤差または誤差関数値の差を比較することができ、閾値を下回る差は収束を示すとみなすことができる。代替的または追加的に、トレーニング反復で評価された1つ以上の誤差および/または誤差関数値が閾値と比較されてもよい。
なおも図4を参照すると、コンピューティングデバイス、プロセッサ、および/またはモジュールは、この図を参照して説明される方法、方法ステップ、方法ステップのシーケンス、および/またはアルゴリズムを、任意の順序で、任意の程度で繰り返して実行するように構成され得る。例えば、コンピューティングデバイス、プロセッサ、および/またはモジュールは、所望のまたは命令された結果が達成されるまで、単一のステップ、シーケンス、および/またはアルゴリズムを繰り返し実行するように構成され得る。ステップまたはステップのシーケンスの繰り返しは、後続の繰り返しの入力としての以前の繰り返しの出力、集約結果を生成するための繰り返しの入力および/または出力の集約、グローバル変数などの1つ以上の変数の減少またはデクリメント、および/または大きな処理タスクの、反復的に対処される小さな処理タスクのセットへの分割を使用して反復的および/または再帰的に実行され得る。コンピューティングデバイス、プロセッサ、および/またはモジュールは、2つ以上の並列スレッド、プロセッサコアなどを使用してステップを同時に、および/または略同時に2回以上実行するなど、任意のステップ、ステップのシーケンス、またはアルゴリズムを並列に実行することができ、並列スレッドおよび/またはプロセス間のタスクの分割は、反復間のタスクの分割に適した任意のプロトコルに従って実行され得る。当業者は、本開示の全体を検討すれば、反復、再帰、および/または並列処理を使用して、ステップ、ステップのシーケンス、処理タスク、および/またはデータが細分化、共有、または他の方法で処理され得る様々な方法を認識するであろう。
さらに図4を参照すると、機械学習プロセスは、少なくとも1つの教師なし機械学習プロセス432を含むことができる。教師なし機械学習プロセスは、本明細書において使用される場合、ラベルに関係なくデータセットにおける推論を導出するプロセスであり、その結果、教師なし機械学習プロセスは、データにおいて提供される任意の構造、関係、および/または相関を自由に発見することができる。教師なし機械学習プロセス432は、応答変数を必要としない場合があり、教師なし機械学習プロセス432は、変数間の興味深いパターンおよび/または推論を見つけるため、2つ以上の変数間の相関の度合いを決定するためなどに使用することができる。
なおも図4を参照すると、機械学習モジュール400は、線形回帰モデルの開発のための技術を使用して機械学習モデル424を作成するように設計および構成され得る。線形回帰モデルは、予測された結果と実際の結果との間の差の二乗を、そのような差を測定する適切なノルム(例えば、ベクトル空間距離ノルム)に従って最小化することを目的とする通常の最小二乗回帰を含んでもよい。結果として得られる線形方程式の係数は、最小化を改善するために修正されることができる。線形回帰モデルはリッジ回帰法を含んでもよく、最小化される関数は、最小二乗関数に加え、大きな係数にペナルティを加えるために各係数の二乗にスカラー量を乗じる項を含んでもよい。線形回帰モデルは、最小絶対縮小選択演算子(lasso)モデルを含んでもよく、このモデルでは、リッジ回帰が、最小二乗項にサンプル数の2倍で割った係数1を乗算することと組み合わされる。線形回帰モデルは、マルチタスクラッソモデルを含んでもよく、ラッソモデルの最小二乗項に適用されるノルムは、全項の二乗和の平方根に相当するフロベニウス・ノルムである。線形回帰モデルは、エラスティックネットモデル、マルチタスクエラスティックネットモデル、最小角回帰モデル、LARSラッソモデル、直交マッチング追求モデル、ベイズ回帰モデル、ロジスティック回帰モデル、確率的勾配降下モデル、パーセプトロンモデル、パッシブアグレッシブアルゴリズム、ロバストネス回帰モデル、ヒューバー回帰モデル、または本開示の全体を検討した際に当業者ならば想到し得る他の適切なモデルを含んでもよい。線形回帰モデルは、実施形態では多項回帰モデルに一般化されてもよく、それにより、ベストな予測出力/実際の出力の適合を提供する多項式(例えば、2次式、3次式または高次式)が求められる。本開示の全体を検討すれば当業者には明らになるように、上述したものと同様の方法が、誤差関数を最小化するために適用され得る。
なおも図4を参照すると、機械学習アルゴリズムは、限定するものではないが、線形判別分析を含んでもよい。機械学習アルゴリズムは、二次判別分析を含んでもよい。機械学習アルゴリズムは、カーネルリッジ回帰を含んでもよい。機械学習アルゴリズムは、サポートベクタ分類に基づく回帰処理を含むがこれに限定されない、サポートベクタマシンを含んでもよい。機械学習アルゴリズムは、確率的勾配降下法に基づく分類および回帰アルゴリズムを含む、確率的勾配降下アルゴリズムを含んでもよい。機械学習アルゴリズムは、最近傍アルゴリズムを含んでもよい。機械学習アルゴリズムは、変分正則化などの様々な形の潜在空間正則化を含んでもよい。機械学習アルゴリズムは、ガウス過程回帰のようなガウス過程を含んでもよい。機械学習アルゴリズムは、部分最小二乗法および/または正準相関分析を含む、交差分解アルゴリズムを含んでもよい。機械学習アルゴリズムは、ナイーブベイズ法を含んでもよい。機械学習アルゴリズムは、決定木分類や回帰アルゴリズムなどの、決定木に基づくアルゴリズムを含んでもよい。機械学習アルゴリズムは、バギングメタ推定器、ランダムツリーのフォレスト、AdaBoost、勾配木ブースティング、および/または投票分類器法などのアンサンブル法を含んでもよい。機械学習アルゴリズムは、畳み込みニューラルネット処理を含むニューラルネットアルゴリズムを含んでもよい。
なおも図4を参照すると、機械学習モデルおよび/またはプロセスは、プログラム、装置、システムおよび/またはモジュールへの組み込みによって、展開されまたはインスタンス化され得る。例えば、限定するものではないが、機械学習モデル、ニューラルネットワーク、および/またはその一部または全てのパラメータは、任意のメモリまたは回路に記憶されおよび/または展開されてもよい。係数、重み、および/またはバイアスなどのパラメータは、2進数の補数などを含む任意の適切な符号化システムに従って数を表すために、論理回路内の論理「1」および「0」電圧レベルに設定されたワイヤおよび/または2進入力および/または出力のアレイなどの回路ベースの定数として記憶されてもよく、または任意の揮発性メモリおよび/または不揮発性メモリに記憶されてもよい。同様に、数学的演算や、モデル、ニューラルネットワーク層などへの、またはそこからのデータの入力および/または出力は、ハードウェア回路において、および/または、ファームウェア、バイナリ演算コード命令などのマシンコード、アセンブリ言語、または任意の高次プログラミング言語における命令の形でインスタンス化され得る。機械学習プロセスおよび/またはモデルをインスタンス化するために、メモリ、命令、データ構造、および/またはアルゴリズムのハードウェアおよび/またはソフトウェアインスタンス化のための任意の技術が使用されてもよく、これは、限定するものではないが、ASICなどだがこれに限定されない、非再構成可能なハードウェア素子、回路、および/またはモジュールの製造および/または構成、FPGAなどだがこれに限定されない再構成可能なハードウェア素子、回路、および/またはモジュールの製造および/または構成、非書き換え可能なROMなどだがこれに限定されない、非書き換え可能なメモリ素子、回路、および/またはモジュールの製造および/または構成、書き換え可能なROMまたは本開示に記載される他のメモリ技術などだがこれに限定されない、再構成可能および/または書き換え可能なメモリ素子、回路、および/またはモジュールの製造および/または構成、および/または、本開示において説明されるような、任意のコンピューティングデバイスおよび/またはその構成要素の製造および/または構成の任意の組み合わせを含んでもよい。そのような展開および/またはインスタンス化された機械学習モデルおよび/またはアルゴリズムは、本開示に記載される任意の他の処理、モジュール、および/またはコンポーネントから入力を受け取り、本開示に記載される任意の他の処理、モジュール、および/またはコンポーネントに対する出力を生成することができる。
なおも図4を参照すると、機械学習モデルおよび/またはアルゴリズムを修正、改良、および/または改善するために、機械学習モデルおよび/またはアルゴリズムのトレーニング、再トレーニング、展開、および/またはインスタンス化の任意の処理が、最初の展開および/またはインスタンス化の後に実行および/または繰り返されてもよい。そのような再トレーニング、展開、および/またはインスタンス化は、周期的または定期的な処理として、例えば、処理されたデータのバイト数または他の尺度、本開示において説明された処理の使用回数または実行回数などの量の尺度の後、および/またはソフトウェア、ファームウェア、または他の更新スケジュールに従って、定期的な経過時間期間での再トレーニング、展開、および/またはインスタンス化として実行されてもよい。
代替的または追加的に、再トレーニング、展開、および/またはインスタンス化は、イベントベースであってもよく、および、限定するものではないが、準最適な、またはそうでなければ問題のあるパフォーマンスを示すユーザ入力によって、および/または自動化されたフィールドテストおよび/または監査処理によってトリガされてもよく、この処理は、機械学習モデルおよび/またはアルゴリズム、および/または誤差および/またはその誤差関数の出力を、任意の閾値、収束判定などと比較してもよく、および/または本明細書に記載される処理の出力を、同様の閾値、収束判定などと比較してもよい。イベントベースの再トレーニング、展開、および/またはインスタンス化は、代替的または追加的に、1つ以上の新しいトレーニング例の受信および/または生成によってトリガされてもよく、新しいトレーニング例の数は、事前に構成された閾値と比較されてもよく、事前に構成された閾値を超えると、再トレーニング、展開、および/またはインスタンス化がトリガされ得る。
なおも図4を参照すると、再トレーニングおよび/または追加のトレーニングは、現在または以前に展開された機械学習モデルおよび/またはアルゴリズムの任意のバージョンを出発点として使用して、上述のトレーニングのための任意の処理を使用して実行され得る。再トレーニングのためのトレーニングデータは、本開示において説明されている任意の処理に従って、収集、前処理、ソート、分類、サニタイズ、またはその他の方法で処理され得る。トレーニングデータは、限定するものではないが、本開示に記載される任意のシステム、モジュール、機械学習モデルまたはアルゴリズム、装置、および/または方法の任意のバージョンから使用され、受信され、および/または生成される入力および関連付けられた出力を含むトレーニング例を含んでもよく、このような例は、所望の結果を示すために、ユーザフィードバックまたは他の処理に従って修正されおよび/またはラベル付けされてもよく、および/または、上述のようなトレーニングプロセスのための出力と比較される「所望の」結果として、システム、モジュール、機械学習モデルまたはアルゴリズム、装置、および/または方法によってモデル化されおよび/または予測されているプロセスからの実際の結果または測定された結果を有してもよい。
再展開は、再構成可能および/または書換え可能な回路および/またはメモリ素子の任意の再構成および/または書換えを使用して実行されてもよく、代替的に、再展開は、新しいハードウェアおよび/またはソフトウェア構成要素、回路、命令などの製造によって実行されてもよく、これらは、既存のハードウェアおよび/またはソフトウェア構成要素、回路、命令などに追加されてもよく、および/または既存のハードウェアおよび/またはソフトウェア構成要素、回路、命令などを置き換えてもよい。
さらに図4を参照すると、上述した1つ以上の処理またはアルゴリズムは、少なくとも1つの専用ハードウェアユニット436によって実行され得る。本図の目的において、「専用ハードウェアユニット」とは、本開示に記載される方法ステップを実行する主制御回路および/またはプロセッサ以外の、例えば、トレーニングデータの事前条件付けおよび/またはサニタイズ、および/または機械学習アルゴリズムおよび/またはモデルのトレーニングなどだがこれに限定されない、本図を参照して説明する1つ以上の特定のタスクおよび/またはプロセスを実行するために特に指定されまたは選択されるハードウェア構成要素、回路などである。専用ハードウェアユニット436は、限定するものではないが、機械学習モデルおよび/またはニューラルネットワークのパラメータ、重み、係数、および/またはバイアスを更新または調整するマトリクスベースの計算などの反復計算または大量計算を、パイプライン処理、並列処理などを使用して効率的に実行することができるハードウェアユニットを含んでもよく、このようなハードウェアユニットは、例えば、例えば同時および/または並列などで動作可能な乗算器および/または加算器などの複数の算術回路ユニットおよび/または論理回路ユニットを含むマトリクス演算および/または信号処理演算のための専用回路を含むことによって、このような処理のために最適化され得る。そのような専用ハードウェアユニット436は、限定するものではないが、グラフィックプロセシングユニット(GPU)、専用信号処理モジュール、FPGA、または1つ以上の特定のタスクのための並列処理ユニットをインスタンス化するように構成された他の再構成可能ハードウェアなどを含んでもよい。コンピューティングデバイス、プロセッサ、装置、またはモジュールは、モデルおよび/またはアルゴリズム出力の評価、パラメータ、係数、重み、および/またはバイアスの1回限りまたは反復的な更新、および/または本開示に記載されるベクトルおよび/またはマトリクス演算などの任意の他の演算など、本明細書に記載される1つ以上の演算を実行するように、1つ以上の専用ハードウェアユニット436に指示するように構成されてもよい。
次に図5を参照すると、ニューラルネットワーク500の例示的な実施形態が図示されている。ニューラルネットワーク500は、人工ニューラルネットワークとしても知られ、1つ以上の入力、1つ以上の出力、および入力に基づいて出力を決定する関数を有する「ノード」またはデータ構造のネットワークである。このようなノードは、ノード504の入力層、1つ以上の中間層508、およびノード512の出力層を含む畳み込みニューラルネットワークなどだがこれに限定されないネットワークに編成され得る。ノード間の接続は、ネットワークを「トレーニング」するプロセスを介して作成されることがあり、このプロセスでは、トレーニングデータのセットからの要素が入力ノードに適用され、適切なトレーニングアルゴリズム(レーベンベルグ・マルカート、共役勾配、シミュレーテッド・アニーリング、または他のアルゴリズムなど)が、次いで、出力ノードで所望の値を生成するために、ニューラルネットワークの隣接する層のノード間の接続および重みを調整するために使用される。この処理はディープラーニングと呼ばれることもある。接続は、「フィードフォワード」ネットワークでは入力ノードから出力ノードに向かってのみ実行され、「リカレントネットワーク」では1つの層の出力を同じ層または異なる層の入力に戻すことができる。
引き続き図5を参照すると、一実施形態において、ニューラルネットワーク500は、ディープニューラルネットワーク(DNN)を含むことができる。本開示において使用される「ディープニューラルネットワーク」とは、2つ以上の隠れ層を持つニューラルネットワークとして定義される。非限定的な例において、DNNは畳み込みニューラルネットワーク(CNN)を含んでもよい。汚染物質存在インジケータを決定することは、上述のようにスライド画像トレーニングデータを使用してCNNをトレーニングすることと、トレーニングされたCNNを使用して品質管理メトリック160(例えばスキャニング状態172)を決定することを含んでもよい。本開示の目的において、「畳み込みニューラルネットワーク」とは、少なくとも1つの隠れ層が、プーリング層、全結合層などの1つ以上の追加層とともに、その層への入力を「カーネル」として知られる入力のサブセットで畳み込む畳み込み層である、ニューラルネットワークである。場合によっては、CNNは、限定するものではないが、ディープニューラルネットワーク(DNN)の拡張を含んでもよい。畳み込み層で実行される数学的(または畳み込み)演算には、2つ以上の関数の畳み込みが含まれてもよく、カーネルはスライディングウィンドウアプローチを通じて入力データ(例えばスライド画像)に適用されてもよい。場合によっては、畳み込み演算により、コンピューティングデバイスは、スライド画像内のローカル/グローバルパターン、エッジ、テクスチャ、および本明細書で説明するその他の特徴を検出することができる。特徴は、品質管理メトリック160の決定に非線形性を導入するために、限定するものではないが、正規化線形ユニット(ReLU)などの1つ以上の活性化関数に通されてもよい。追加的または代替的に、CNNは1つ以上のプーリング層を含んでもよく、各プーリング層は、入力データ内の本質的な特徴を保持しながら、入力データの次元性を低減するように構成される。非限定的な例において、CNNは、最大プーリングまたは平均プーリングなどのダウンサンプリングを、1つ以上の特徴の小さな、重複しない領域に適用することによって、特徴マップの次元を縮小するように構成された1つ以上のプーリング層を含んでもよい。
なおも図5を参照すると、CNNは、上述の畳み込み層とプーリング層によって抽出された特徴を結合するように構成された1つ以上の全結合層をさらに含むことができる。場合によっては、1つ以上の全結合層は、より高度なパターン認識を可能にし得る。非限定的な例において、1つ以上の全結合層は、入力のすべてのニューロン(すなわち、ノード)を出力のすべてのニューロンに接続し、従来のフィードフォワードニューラルネットワーク層として機能してもよい。場合によっては、1つ以上の全結合層がCNNの最後に使用されてもよく、高レベルの推論を実行し、限定するものではないがスキャニング状態172のような最終出力を生成してもよい。さらに、各全結合層には、過学習を防止するように構成された1つ以上のドロップアウト層と、本明細書で説明する学習処理を安定させるための1つ以上の正規化層が続いてもよい。
引き続き図5を参照すると、一実施形態において、CNNのトレーニングは、トレーニング処理を導くために適切な損失関数を選択することを含んでもよい。非限定的な例において、予測されたスキャニング状態172とグランドトゥルースとの間の差を測定する損失関数が使用されてもよく、例えば、限定するものではないが、平均二乗誤差(MSE)またはカスタム損失関数が、本明細書に記載される1つ以上の実施形態に対して設計されてもよい。追加的または代替的に、確率的勾配降下法(SGD)などの最適化アルゴリズムを使用して、CNNのパラメータを調整し、このような損失を最小化することもできる。さらなる非限定的な実施形態において、スキャニング状態172を直接予測する代わりに、CNNを回帰モデルとしてトレーニングし、スライドに関連する数値(例えば品質スコア)を予測してもよい。さらに、CNNは、リカレントニューラルネットワーク(RNN)やアテンションメカニズムなどの追加のディープラーニング技術で拡張され、入力データ内の追加的な特徴および/またはデータ関係をキャプチャすることができる。
次に図6を参照すると、ニューラルネットワークのノード600の例示的な実施形態が図示されている。ノードは、限定するものではないが、ノードを含むニューラルネットワークへの入力から、および/または他のノードから数値を受信することができる複数の入力xiを含むことができる。ノードは、1つ以上の入力が与えられた場合にその出力を生成するために1つ以上の活性化関数を実行することができる。活性化関数は、限定するものではないが、入力を閾値と比較し、論理1または論理0の出力または同等のものを出力するバイナリステップ関数、出力が入力に正比例する線形活性化関数、および/または出力が入力に比例しない非線形活性化関数などである。非線形活性化関数は、限定するものではないが、入力xが与えられた
の形のシグモイド関数、
の形のtanh(双曲線正接)関数、f(x)=tanh2(x)などのtanh導関数、f(x)=max(0,x)などの整流化線形ユニット関数、あるaについてf(x)=max(ax,x)などの「リーキー」および/または「パラメトリック」な整流化線形ユニット関数、あるαの値について
などの指数線形ユニット関数(一部の実施形態において、この関数は、それ自身の導関数によって置換および/または重み付けされてもよい)、インスタント層の入力がxiである、
などのソフトマックス関数、f(x)=x*sigmoid(x)などのスイッシュ関数、a、b、rのある値について
などのガウス誤差線形ユニット関数、および/または
などのスケールされた指数線形ユニット関数を含むことができる。基本的に、活性化関数として使用され得る入力xiの関数の性質に制限はない。非限定的で例示的な例として、ノードは、それぞれの入力xiによって乗算される重みwiを使用して、入力の加重和を実行してもよい。追加的または代替的に、層への入力に依存しないオフセットがニューラルネットワーク層の各ユニットに追加されるように、バイアスbが入力の加重和に追加されてもよい。次いで、加重和は関数φに入力され、1つ以上の出力yを生成してもよい。入力xiに適用される重みwiは、その入力が、例えば対応する重みが大きな数値を有することによって、1つ以上の出力yに強い影響を及ぼすことを示す「興奮性」であるか、および/または、例えば対応する重みが小さな数値を有することによって、1つのさらなる入力yに弱い影響を及ぼすことを示す「抑制性」であるかを示すことができる。重みwiの値は、トレーニングデータを用いてニューラルネットワークをトレーニングすることによって決定されてもよく、このトレーニングは、上述のような任意の適切な処理を用いて実行されてもよい。
ここで図7を参照すると、スライドをデジタル化する方法700の例示的な実施形態のフロー図が図示されている。方法700は、複数のスライドの各スライドについて、初期スライド画像および関連するスキャニングメタデータを生成するために、少なくとも1つのイメージングデバイスを使用して、複数のスライドの各スライドをスキャンするステップ705を含む。一部の実施形態において、複数のスライドの各スライドについて、初期スライド画像および関連するスキャニングメタデータを生成することは、少なくとも1つのイメージングデバイスを使用して、デフォルトスキャニングプロファイルに基づいて複数のスライドの各スライドをイメージングすることを含んでもよい。このことは、限定するものではないが、図1~図6を参照して上述したように実施され得る。
なおも図7を参照すると、方法700は、少なくとも1つのイメージングデバイスと少なくとも1つのスライド収納部との間に配置された移送構成要素を使用して、複数のスライドの各スライドを、少なくとも1つのスライド収納部と少なくとも1つのイメージングデバイスとの間で移送するステップを含むことができる。場合によっては、少なくとも1つのスライド収納部は、複数のスライドを保管するように構成されてもよい。このことは、限定するものではないが、図1~図6を参照して上述したように実施され得る。
なおも図7を参照すると、方法700は、コンピューティングデバイスによって、複数のスライドの各スライドについて、初期スライド画像と関連するスキャニングメタデータの関数として、品質管理メトリックを決定するステップ710を含み、品質管理メトリックを決定することは、決定された品質管理メトリックに基づいてスライドにフラグを付けることを含む。一部の実施形態において、スライドにフラグを付けることは、コンピューティングデバイスによって、初期スライド画像と関連するスキャニングメタデータを、スライド画像分類器を使用して、スキャニング状態に分類することと、コンピューティングデバイスにより、スキャニング状態の関数としてスライドにフラグを付けることを含んでもよい。一部の実施形態において、品質管理メトリックを決定することは、コンピューティングデバイスによって、品質管理メトリックの関数として、品質管理メタデータを生成することと、コンピューティングデバイスによって、ユーザから受信したユーザ入力の関数として、品質管理メタデータを修正することとを含んでもよい。このことは、限定するものではないが、図1~図6を参照して上述したように実施され得る。
引き続き図7を参照すると、方法700は、コンピューティングデバイスによって、品質管理メトリックに基づくスキャニングメタデータの関数として少なくとも1つのスキャニングプロファイルを生成するステップ715を含む。一部の実施形態において、少なくとも1つのスキャニングプロファイルを生成することは、コンピューティングデバイスによって、品質管理メトリックの関数として、フラグ付きスライドの初期スライド画像から、少なくとも1つの欠損要素を識別することと、コンピューティングデバイスによって、少なくとも1つの欠損要素に対処するように構成された複数のスキャニングパラメータを選択することと、コンピューティングデバイスによって、複数のスキャニングパラメータの関数として少なくとも1つのスキャニングプロファイルを生成することとを含んでもよい。場合によっては、複数のスキャニングパラメータを選択することは、コンピューティングデバイスによって、スキャニングパラメータトレーニングデータを使用してスキャニングパラメータ選択モデルをトレーニングすることを含んでもよく、スキャニングパラメータトレーニングデータは、出力としての複数のスキャニングパラメータセットに相関された入力としての複数の欠損要素を含んでもよく、コンピューティングデバイスによって、トレーニングされたスキャニングパラメータ選択モデルを使用して、少なくとも1つの欠損要素の関数として、複数のスキャニングパラメータを選択する。場合によっては、複数のスキャニングパラメータは、複数のイメージングデバイス構成パラメータを含んでもよい。このことは、限定するものではないが、図1~図6を参照して上述したように実施され得る。
引き続き図7を参照すると、方法700は、少なくとも1つのイメージングデバイスにおいて、少なくとも1つのスキャニングプロファイルを使用して、イメージングデバイスにおいて複数のスライド内のフラグ付きスライドを再スキャンするステップ720を含む。一部の実施形態において、フラグ付きスライドを再スキャンすることは、フラグ付きスライドのスライド画像片を生成するために、少なくとも1つのイメージングデバイスにおいて、少なくとも1つのスキャニングプロファイルを使用して、識別された欠損要素をスキャンすることを含んでもよい。このことは、限定するものではないが、図1~図6を参照して上述したように実施され得る。
引き続き図7を参照すると、方法700は、コンピューティングデバイスによって、少なくとも1つのスキャニングプロファイルを使用して、初期スライド画像とフラグ付きスライドのスライド画像片とをマージすることにより、各フラグ付きスライドについて後続のスライド画像を生成するステップをさらに含んでもよい。このことは、限定するものではないが、図1~図6を参照して上述したように実施され得る。
本明細書において説明された態様および実施形態のいずれか1つ以上は、コンピュータ技術分野の当業者には明らかであろうように、本明細書の教示に従ってプログラムされた1つ以上の機械(例えば、電子文書用のユーザコンピューティングデバイスとして利用される1つ以上のコンピューティングデバイス、文書サーバなどの1つ以上のサーバデバイス)を用いて適宜実施され得ることに留意されたい。適切なソフトウェア符号化は、ソフトウェア技術分野の当業者には明らかであろうように、本開示の教示に基づいて、熟練したプログラマによって容易になされ得る。ソフトウェアおよび/またはソフトウェアモジュールを採用する上述の態様および実装は、ソフトウェアおよび/またはソフトウェアモジュールの機械実行可能命令の実装を支援するための適切なハードウェアをも含むことができる。
このようなソフトウェアは、機械可読記憶媒体を採用するコンピュータプログラム製品であってもよい。機械可読記憶媒体は、機械(例えば、コンピューティングデバイス)による実行のための命令のシーケンスを記憶および/または符号化することが可能であるとともに、本明細書に記載される方法論および/または実施形態のいずれか1つを機械に実行させる、任意の媒体であってもよい。機械可読記憶媒体の例として、限定するものではないが、磁気ディスク、光ディスク(例えば、CD、CD-R、DVD、DVD-Rなど)、光磁気ディスク、読み出し専用メモリ「ROM」デバイス、ランダムアクセスメモリ「RAM」デバイス、磁気カード、光カード、ソリッドステートメモリデバイス、EPROM、EEPROM、およびこれらの任意の組み合わせが挙げられる。本明細書において使用される機械可読媒体は、単一の媒体だけでなく、例えば、コンパクトディスクのまとまり、コンピュータメモリと組み合わされた1つ以上のハードディスクドライブなど、物理的に分離した媒体のまとまりを含むことが意図されている。本明細書において使用される機械可読記憶媒体は、一時的な形態の信号伝送を含まない。
このようなソフトウェアは、搬送波などのデータキャリアでデータ信号として搬送される情報(例えば、データ)をも含むことができる。例えば、機械実行可能情報は、信号が、機械(例えば、コンピューティングデバイス)による実行のための命令のシーケンスまたはその一部と、本明細書に記載される方法論および/または実施形態のいずれか1つを機械に実行させる任意の関連情報(例えば、データ構造およびデータ)とを符号化する、データキャリアに具現化されるデータ搬送信号として含まれてもよい。
コンピューティングデバイスの例として、限定するものではないが、電子書籍閲覧デバイス、コンピュータワークステーション、ターミナルコンピュータ、サーバコンピュータ、ハンドヘルドデバイス(例えば、タブレットコンピュータ、スマートフォンなど)、ウェブアプライアンス、ネットワークルータ、ネットワークスイッチ、ネットワークブリッジ、そのマシンによって実行されるべきアクションを指定する命令のシーケンスを実行可能な任意のマシン、およびこれらの任意の組み合わせが挙げられる。一例において、コンピューティングデバイスはキオスクを含んでもよく、および/またはキオスクに含まれてもよい。
図8は、本開示の態様および/または方法論のいずれか1つ以上を制御システムに実行させる命令のセットが実行され得る、コンピュータシステム800の例示的な形態におけるコンピューティングデバイスの一実施形態の図式的表現を示す。複数のコンピューティングデバイスが、デバイスのうちの1つ以上に本開示の態様および/または方法論のいずれか1つ以上を実行させるために特別に構成された命令のセットを実施するために利用され得ることも企図されている。コンピュータシステム800は、バス812を介して相互に、および他の構成要素と通信するプロセッサ804およびメモリ808を含む。バス812は、様々なバスアーキテクチャのいずれかを使用して、メモリバス、メモリコントローラ、周辺バス、ローカルバス、およびこれらの任意の組み合わせを含むがこれに限定されない、いくつかのタイプのバス構造のいずれかを含むことができる。
プロセッサ804は、ステートマシンで制御されメモリおよび/またはセンサからの操作入力によって指示され得る、算術論理演算装置(ALU)などの算術演算および論理演算を実行する論理回路を組み込んだプロセッサなどだがこれに限定されない、任意の適切なプロセッサを含むことができる。プロセッサ804は、非限定的な例として、フォン・ノイマン・アーキテクチャおよび/またはハーバード・アーキテクチャに従って構成されてもよい。プロセッサ804は、限定するものではないが、マイクロコントローラ、マイクロプロセッサ、デジタルシグナルプロセッサ(DSP)、フィールドプログラマブルゲートアレイ(FPGA)、複合プログラマブルロジックデバイス(CPLD)、グラフィカルプロセッシングユニット(GPU)、汎用GPU、テンソルプロセッシングユニット(TPU)、アナログまたはミックスドシグナルプロセッサ、トラステッドプラットフォームモジュール(TPM)、浮動小数点ユニット(FPU)、システムオンモジュール(SOM)、および/またはシステムオンチップ(SoC)を含んでもよく、これらを組み込んでもよく、および/またはこれらに組み込まれてもよい。
メモリ808は、ランダムアクセスメモリ構成要素、読み出し専用構成要素、およびこれらの任意の組み合わせを含むがこれに限定されない、様々な構成要素(例えば、機械可読媒体)を含んでもよい。一例において、起動中など、コンピュータシステム800内の要素間で情報を伝送するために役立つ基本的なルーチンを含む基本的な入出力システム816(BIOS)が、メモリ808に格納されてもよい。メモリ808は、本開示の態様および/または方法論のいずれか1つ以上を具現化する命令(例えば、ソフトウェア)820をも含むことができる(例えば、1つ以上の機械可読媒体に格納される)。別の例において、メモリ808は、オペレーティングシステム、1つ以上のアプリケーションプログラム、他のプログラムモジュール、プログラムデータ、およびこれらの任意の組み合わせを含むがこれに限定されない、任意の数のプログラムモジュールをさらに含むことができる。
コンピュータシステム800は、ストレージデバイス824も含むことができる。ストレージデバイス(例えば、ストレージデバイス824)の例として、限定するものではないが、ハードディスクドライブ、磁気ディスクドライブ、光学媒体との組み合わせによる光ディスクドライブ、ソリッドステートメモリデバイス、およびこれらの任意の組み合わせが挙げられる。ストレージデバイス824は、適切なインタフェース(不図示)によってバス812に接続され得る。インタフェースの例として、限定するものではないが、SCSI、アドバンスド・テクノロジー・アタッチメント(ATA)、シリアルATA、ユニバーサル・シリアル・バス(USB)、IEEE1394(FIREWIRE(登録商標))、およびこれらの任意の組み合わせが挙げられる。一例において、ストレージデバイス824(またはその1つ以上の構成要素)は、コンピュータシステム800と(例えば、外部ポートコネクタ(不図示)を介して)取り外し可能にインタフェースされ得る。特に、ストレージデバイス824および関連する機械可読媒体828は、コンピュータシステム800のための機械可読命令、データ構造、プログラムモジュール、および/または他のデータの不揮発性および/または揮発性ストレージを提供し得る。一例において、ソフトウェア820は、完全にまたは部分的に機械可読媒体828内に常駐し得る。別の例において、ソフトウェア820は、完全にまたは部分的にプロセッサ804内に常駐し得る。
コンピュータシステム800は、入力デバイス832をも含むことができる。一例において、コンピュータシステム800のユーザは、入力デバイス832を介して、コマンドおよび/または他の情報をコンピュータシステム800に入力することができる。入力デバイス832の例として、限定するものではないが、英数字入力デバイス(例えば、キーボード)、ポインティングデバイス、ジョイスティック、ゲームパッド、音声入力デバイス(例えば、マイク、音声応答システムなど)、カーソル制御デバイス(例えば、マウス)、タッチパッド、光学スキャナ、ビデオキャプチャデバイス(例えば、スチルカメラ、ビデオカメラ)、タッチスクリーン、およびこれらの任意の組み合わせが挙げられる。入力デバイス832は、シリアルインタフェース、パラレルインタフェース、ゲームポート、USBインタフェース、FIREWIREインタフェース、バス812への直接インタフェース、およびこれらの任意の組み合わせを含むがこれに限定されない、様々なインタフェース(不図示)のいずれかを介してバス812にインタフェース接続され得る。入力デバイス832は、後述するディスプレイ836の一部であっても別体であってもよいタッチスクリーンインタフェースを含むことができる。入力デバイス832は、上述のように、グラフィカルインタフェースにおいて1つ以上のグラフィカル表現を選択するユーザ選択デバイスとして利用されてもよい。
ユーザは、ストレージデバイス824(例えば、リムーバブルディスクドライブ、フラッシュドライブなど)および/またはネットワークインタフェースデバイス840を介して、コマンドおよび/または他の情報をコンピュータシステム800に入力することもできる。ネットワークインタフェースデバイス840のようなネットワークインタフェースデバイスは、コンピュータシステム800を、ネットワーク844のような様々なネットワークのうちの1つ以上、およびそれに接続された1つ以上のリモートデバイス848に接続するために利用され得る。ネットワークインタフェースデバイスの例として、限定するものではないが、ネットワークインタフェースカード(例えば、モバイルネットワークインタフェースカード、LANカード)、モデム、およびこれらの任意の組み合わせが挙げられる。ネットワークの例として、限定するものではないが、ワイドエリアネットワーク(例えば、インターネット、企業ネットワーク)、ローカルエリアネットワーク(例えば、オフィス、ビル、キャンパス、または他の比較的小さな地理的空間に関連するネットワーク)、電話ネットワーク、電話/音声プロバイダに関連するデータネットワーク(例えば、移動通信プロバイダのデータおよび/または音声ネットワーク)、2つのコンピューティングデバイス間の直接接続、およびこれらの任意の組み合わせが挙げられる。ネットワーク844のようなネットワークは、有線および/または無線の通信モードを採用することができる。一般に、任意のネットワーク・トポロジーが使用され得る。情報(例えば、データ、ソフトウェア820など)は、ネットワークインタフェースデバイス840を介して、コンピュータシステム800へ、および/またはコンピュータシステム800から通信され得る。
コンピュータシステム800は、表示可能な画像をディスプレイデバイス836などのディスプレイデバイスに通信するビデオディスプレイアダプタ852をさらに含み得る。ディスプレイデバイスの例として、限定するものではないが、液晶ディスプレイ(LCD)、陰極線管(CRT)、プラズマディスプレイ、発光ダイオード(LED)ディスプレイ、およびこれらの任意の組み合わせが挙げられる。ディスプレイアダプタ852およびディスプレイデバイス836は、プロセッサ804と組み合わせて利用されることができ、本開示の態様のグラフィカル表現を提供する。ディスプレイデバイスに加えて、コンピュータシステム800は、オーディオスピーカ、プリンタ、およびこれらの任意の組み合わせを含むがこれに限定されない、1つ以上の他の周辺出力デバイスを含んでもよい。このような周辺出力デバイスは、周辺インタフェース856を介してバス812に接続され得る。周辺インタフェースの例として、限定するものではないが、シリアルポート、USB接続、FIREWIRE接続、パラレル接続、およびこれらの任意の組み合わせが挙げられる。
上記は、本発明の例示的な実施形態について詳細に説明したものである。様々な修正や追加は、本発明の精神および範囲から逸脱することなく行うことが可能である。上述した様々な実施形態のそれぞれのもつ特徴は、関連する新たな実施形態において多様な特徴の組み合わせを提供すべく、他の説明した実施形態の特徴と適宜組み合わされることができる。さらに、上記では多数の別個の実施形態について説明したが、本明細書で説明されたことは、本発明の原理の応用を単に例示するに過ぎない。さらに、本明細書における特定の方法は、特定の順序で実行されるものとして図示および/または説明されることがあるが、本開示による方法、システム、およびソフトウェアを実現するために、その順序は通常の技術の範囲内で大いに変更可能である。したがって、本明細書は例示としてのみ解釈されることが意図され、本発明の範囲を他に限定するものではない。
例示的な実施形態が上記に開示され、添付の図面に図示されている。本明細書に具体的に開示されたものに対して、本発明の精神および範囲から逸脱することなく様々な変更、省略、および追加がなされ得ることは、当業者には理解されよう。