JP2024502437A - 組織リモデリングを評価するためのシステムおよび方法 - Google Patents

Abstract

組織リモデリングリスクを評価するための方法が提供される。本方法は、（ａ）対象者の皮膚の標的領域の複数の画像を取得するステップであって、複数の画像は、（１）可視光画像のセットおよび（２）蛍光画像のセットを含む、ステップと、（ｂ）標的領域のための最適画像ペアを決定するために複数の画像を処理するステップであって、最適画像ペアは、（ｉ）（１）から選択される第１の可視光画像、および（ｉｉ）（２）から選択される第１の蛍光画像を含む、ステップと、（ｃ）最適画像ペアに少なくとも基づいて標的領域の評価を生成するステップと、（ｄ）評価、最適画像ペア、および対象者の身体上の標的領域の場所を示す概略図をグラフィックユーザインターフェース上に表示するステップであって、評価は、標的領域における組織リモデリングの確率を示すものである、ステップと、を含む。【選択図】図１

Description

相互参照
[0001]本出願は、参照によりその全体が本明細書に組み込まれる、２０２０年１２月３１日に出願された米国仮出願第６３／１３２，９７９号の利益を主張するものである。

[0002]がんは、世界中で主な死因となっている。皮膚がんは、中でも最もよく見られるがんであり、黒色腫が皮膚がんの最も侵襲性の強い形態である。黒色腫を診断するための現在の技術は、既存のほくろの視覚的外観（サイズ、形状、色）または新しいほくろの外観における変化の観察、病歴危険因子（年齢、家族歴など）の決定、生検、および組織学的分析を含む。ほくろの生検を行うかどうかの決定は、ほくろの表面外観に大きく依存する。しかしながら、標準技術を使用して表面下の特徴が見逃されることがしばしばあるため、ほくろの視覚的外観における変化は、ほくろ内の黒色腫の存在を常に結論付けるものではない。例えば、１つのそのような特徴は、新血管新生および組織リモデリングの存在である。腫瘍が成長すると、それは、拡大した腫瘍成長（例えば、組織リモデリング）および増加した栄養供給（例えば、血管新生）のための局所環境を用意するために信号を発信する。そのような信号は、腫瘍細胞から、および／または拡大中に腫瘍微小環境から放出される成長因子、サイトカイン、および他のタンパク質によってもたらされ得る。これらのプロセスは、腫瘍（例えば、マクロ環境）の周りの組織を試験することによって調査され得、診断および／または治療手順を通知するために標準診断技術と組み合わせて使用され得る。しかしながら、そのような調査のための大半の方法は、生検および組織学的分析を必要とし、これは侵襲的であり、膨大な時間がかかり、理想的とは言えない。

[0003]したがって、ユーザが臨床的に疑わしい病変における組織リモデリングの確率を視覚的に比較および評定することを可能にするために、迅速かつ使用が容易な形式での組織リモデリングリスクの改善された視覚的な生検前評価のためのシステムおよび方法を提供することが望ましい。必ずしもすべてのそのような態様および利点が任意の特定の実施形態によって達成されるわけではない。故に、様々な実施形態は、本明細書内で教示される１つの利点または利点のグループを、同じく明細書内で教示または提案され得るような他の態様または利点を必ずしも達成することなく達成または最適化する様式で実行され得る。

[0004]本開示は、概して、医療デバイスおよび方法に関し、より詳細には、皮膚内の組織リモデリングを評価するための方法および装置に関する。
[0005]第１の態様において、組織リモデリングリスクを評価するための方法が提供される。本方法は、（ａ）対象者の皮膚の標的領域の複数の画像を取得するステップであって、複数の画像は、（１）可視光画像のセットおよび（２）蛍光画像のセットを含む、ステップと、（ｂ）標的領域のための最適画像ペアを決定するために複数の画像を処理するステップであって、最適画像ペアは、（ｉ）（１）から選択される第１の可視光画像、および（ｉｉ）（２）から選択される第１の蛍光画像を含む、ステップと、（ｃ）最適画像ペアに少なくとも基づいて標的領域の評価を生成するステップと、（ｄ）評価、最適画像ペア、および対象者の身体上の標的領域の場所を示す概略図をグラフィックユーザインターフェース上に表示するステップであって、評価は、標的領域における組織リモデリングの確率を示すものである、ステップと、を含む。

[0006]いくつかの実施形態において、標的領域は、対象者の皮膚上のほくろを含み得る。いくつかの実施形態において、第１の可視光画像および第１の蛍光画像は、互いと補完または一致するように選択され得る。代替的に、または組み合わせて、第１の可視光画像は、視覚的特徴の第１のセットを含み得、第１の蛍光画像は、視覚的特徴の第２のセットを含み得る。視覚的特徴の第２のセットの少なくとも一部分は、視覚的特徴の第１のセットにおいて可視でない場合があり、視覚的特徴の第１のセットの少なくとも一部分は、視覚的特徴の第２のセットにおいて可視でない場合がある。いくつかの実施形態において、視覚的特徴の第１のセットは、標的領域を撮像するために可視光または白色光を使用することによって生成され得る。いくつかの実施形態において、視覚的特徴の第２のセットは、標的領域を撮像するために赤外光を使用することによって生成され得る。いくつかの実施形態において、視覚的特徴の第１のセットは、ほくろおよび対象者の露出した皮膚と関連付けられ得る。いくつかの実施形態において、視覚的特徴の第２のセットは、マクロ環境における皮膚の真下およびほくろの周りの下層組織（すなわち、ほくろを囲むがこれを含まない組織）と関連付けられ得る。

[0007]いくつかの実施形態において、最適画像ペアは、以下：焦点画質、コントラスト、鮮明性、輝度、色、または解像度、のうちの１つまたは複数に少なくとも基づいて、複数の画像から決定され得る。

[0008]いくつかの実施形態において、最適画像ペアは、（１）可視光画像の各々および蛍光画像の各々の中での標的領域の位置、（２）可視光画像の各々と蛍光画像の各々との間の類似性もしくは相関の度合い、ならびに／または（３）可視光画像の各々および蛍光画像の各々の焦点画質に少なくとも基づいて、複数の画像から決定され得る。

[0009]いくつかの実施形態において、複数の画像を処理するステップは、以下：サイズフィルタリング、正規化、標準化、ノイズ低減、撮像アーチファクトの除去、バックグラウンド減算、クロッピング、拡大、サイズ変更、再位置決め、輝度調整、コントラスト調整、またはオブジェクトセグメンテーション、のうちの少なくとも１つを含み得る。

[0010]いくつかの実施形態において、最適画像ペアは、第１の最適画像ペアであってもよい。いくつかの実施形態において、本方法は、（ｂ）の後、および（ｃ）の前に、グラフィックユーザインターフェース上でユーザに選択肢を表示するステップであって、該選択肢は、ユーザが第１の最適画像ペアを受容または拒否することを可能にする、ステップと、グラフィックユーザインターフェース上に表示された選択肢に応答してユーザから入力を受信するステップとを含み得る。いくつかの実施形態において、本方法は、入力が、ユーザが第１の最適画像ペアを拒否することを示すものであるとき、標的領域のための第２の最適画像ペアを決定するために複数の画像を処理するステップをさらに含み得、第２の最適画像ペアは、第１の最適画像ペアとは異なる。いくつかの実施形態において、第２の最適画像ペアおよび第１の最適画像ペアは、いかなる共通画像も共有しなくてもよい。代替的に、第２の最適画像ペアおよび第１の最適画像ペアは、共通画像を共有し得る。いくつかの実施形態において、共通画像は、第１の可視光画像または第１の蛍光画像のいずれかを含み得る。いくつかの実施形態において、本方法は、グラフィックユーザインターフェース上でユーザに選択肢を再表示するステップであって、該選択肢は、ユーザが第２の最適画像ペアを受容または拒否することを可能にする、ステップと、グラフィックユーザインターフェース上に表示された選択肢に応答してユーザから別の入力を受信するステップとを含み得る。いくつかの実施形態において、（ｃ）は、別の入力が、ユーザが第２の最適画像ペアを受容することを示すものであるとき、第１の最適画像ペアの代わりに第２の最適画像ペアに少なくとも基づいて、標的領域のための評価を生成することを含み得る。代替的に、または組み合わせて、本方法は、入力が、ユーザが第１の最適画像ペアを受容することを示すものであるとき、（ｃ）および（ｄ）を続けるステップを含み得る。いくつかの実施形態において、本方法は、入力が、ユーザが第１の最適画像ペアを拒否することを示すものであるとき、標的領域のための複数の他の最適画像ペアを決定するために複数の画像を処理するステップと、複数の他の最適画像ペアをグラフィックユーザインターフェース上に表示するステップとを含み得る。複数の他の最適画像ペアは、グラフィックユーザインターフェース上でユーザに順次に表示され得る。

[0011]いくつかの実施形態において、（ｂ）は、複数の画像ペアを決定するために複数の画像を処理することをさらに含み得、複数の画像ペアは、最適画像ペアを含み得る。いくつかの実施形態において、最適画像ペアは、他の画像ペアから視覚的に区別するために注釈が付けられ得る。いくつかの実施形態において、最適画像ペアは、最適画像ペアの周りに既定の境界を置くことによって注釈が付けられ得る。

[0012]いくつかの実施形態において、（ｂ）は、標的領域内のほくろを自動的に検出すること、およびほくろの周りにグラフィック境界線またはアウトラインを生成することをさらに含み得る。いくつかの実施形態において、グラフィック境界線またはアウトラインは、ほくろの形状または外形に沿うように自動的に生成され得る。代替的に、または組み合わせて、グラフィック境界線またはアウトラインは、グラフィックユーザインターフェースを介してユーザにより調整可能であるか、または作成され得る。

[0013]いくつかの実施形態において、評価は、最適画像ペアのための集計スコアを含み得る。集計スコアは、２つ以上の別々のスコアの複合物であってもよい。いくつかの実施形態において、２つ以上の別々のスコアは、（１）第１の可視光画像のためのスコア、および（２）第１の蛍光画像のためのスコアを含み得る。いくつかの実施形態において、２つ以上の別々のスコアの複合物は、第１の可視光画像のためのスコアおよび第１の蛍光画像のためのスコアが共に同じ重みを付与されるように、等しく重み付けされ得る。いくつかの実施形態において、２つ以上の別々のスコアの複合物は、第１の可視光画像のためのスコアおよび第１の蛍光画像のためのスコアが異なる重みを付与されるように、異なって重み付けされ得る。例えば、第１の可視光画像のためのスコアは、第１の蛍光画像のためのスコアよりも高い重みを付与され得る。代替的に、第１の可視光画像のためのスコアは、第１の蛍光画像のためのスコアよりも低い重みを付与され得る。いくつかの実施形態において、集計スコアは、ある値範囲内にあり得る。いくつかの実施形態において、２つ以上の別々のスコアは、ある値範囲内にあり得る。いくつかの実施形態において、第１の可視光画像のためのスコアおよび第１の蛍光画像のためのスコアは、標準化された値範囲に基づき得る。

[0014]いくつかの実施形態において、組織リモデリングの確率は、ほくろ内での黒色腫の発症の確率と関連付けられ得る。いくつかの実施形態において、評価は、ほくろ内での黒色腫の発症の確率に基づいて臨床診断または行動指針を決定するために使用可能であり得る。いくつかの実施形態において、本方法は、標的領域における組織リモデリングの確率または黒色腫の発症の確率が１つまたは複数のしきい値よりも大きいとき、グラフィックユーザインターフェース上に１つまたは複数の通知を生成するステップをさらに含み得る。

[0015]いくつかの実施形態において、評価は、（１）第１の可視光画像内の視覚的特徴の第１のセットと関連付けられた指標の第１のセット、および（２）第１の蛍光画像内の視覚的特徴の第２のセットと関連付けられた指標の第２のセットに少なくとも基づいて生成され得る。いくつかの実施形態において、指標の第１のセットは、以下：ほくろおよびその周りの領域のサイズ、形状、体積、色、または表面性状、のうちの１つまたは複数を含み得る。いくつかの実施形態において、指標の第２のセットは、以下：対象者の皮膚の真下およびほくろの周りの標的領域におけるサイズ、形状、組織リモデリングの面積もしくは度合い、画素強度、蛍光強度、パターン、または性状、のうちの１つまたは複数を含み得る。いくつかの実施形態において、本方法は、指標の第１のセットまたは指標の第２のセットをそれぞれ生成するために、第１の可視光画像または第１の蛍光画像をセグメント化するステップをさらに含み得る。第１の蛍光画像をセグメント化するステップは、第１の蛍光画像を、標的領域の周りの複数の区域へとセグメント化することを含み得る。いくつかの実施形態において、本方法は、複数の区域を複数の小領域へと分割するステップをさらに含み得る。

[0016]いくつかの実施形態において、第１の可視光画像および第１の蛍光画像は、調整され、最適画像ペア内の座標のセットに整列され得る。いくつかの実施形態において、第１の可視光画像および第１の蛍光画像は、第１の可視光画像および第１の蛍光画像のうちの少なくとも一方を回転、並進、クロッピング、拡大、および／または縮小することによって調整および整列され得る。いくつかの実施形態において、第１の可視光画像および第１の蛍光画像は、第１の可視光画像および第１の蛍光画像の両方に存在する１つまたは複数の基準マーカを使用して調整および整列され得る。１つまたは複数の基準マーカは、第１の可視光画像および第１の蛍光画像上で注釈が付けられ得る。代替的に、または組み合わせて、１つまたは複数の基準マーカは、第１の可視光画像および第１の蛍光画像の両方において可視であり得る。代替的に、または組み合わせて、１つまたは複数の基準マーカは、１つまたは複数の英数字を含み得る。代替的に、または組み合わせて、１つまたは複数の基準マーカは、線、縁、点、または二次元形状を含み得る。いくつかの実施形態において、１つまたは複数の基準マーカは、標的領域内の１つまたは複数の既定の場所に提供され得る。代替的に、または組み合わせて、１つまたは複数の基準マーカは、ほくろの場所に対して既定の距離および／または配向で提供され得る。

[0017]いくつかの実施形態において、本方法は、最適画像ペアを１つまたは複数の参照画像と比較するステップをさらに含み得る。いくつかの実施形態において、１つまたは複数の参照画像は、参照画像ペアを含み得る。いくつかの実施形態において、参照画像ペアは、（１）可視光画像のセットからではない可視光参照画像、および（２）蛍光画像のセットからではない蛍光参照画像を含み得る。いくつかの実施形態において、最適画像ペアは、基準を含み得、参照画像ペアは、基準を含まない。いくつかの実施形態において、最適画像ペアは、ほくろに対して既定の場所および／または配向に位置する基準の第１のセットを含み得、参照画像ペアは、参照画像ペア内の各参照画像の境界線の近くに位置する基準のセットを含み得る。

[0018]いくつかの実施形態において、グラフィックユーザインターフェースは、ユーザが最適画像ペア内の第１の可視光画像または第１の蛍光画像の間でトグルする、または切り替えることを可能にするように構成され得る。

[0019]いくつかの実施形態において、第１の可視光画像は、対象者の皮膚上のほくろに焦点を合わせ得、第１の蛍光画像は、対象者の皮膚の真下のほくろの周りの領域に焦点を合わせ得る。任意選択的に、該領域は、ほくろのサイズよりも少なくとも１．５倍大きくてもよい。

[0020]いくつかの実施形態において、標的領域の複数の画像を取得するステップは、構造化光を使用して、統合された撮像システムをオートフォーカスすること、およびオートフォーカスの後に、統合された撮像システムを用いて複数の画像を捕捉することを含み得る。
参照による組み込み
[0021]本明細書に記されるすべての刊行物、特許、および特許出願は、各々の刊行物、特許、および特許出願が参照により組み込まれるように具体的かつ個別に示される場合と同じ程度に、参照により本明細書に組み込まれる。

[0022]本開示の新規の特徴は、添付の特許請求の範囲において具体的に明記される。本開示の特徴および利点のより最良の理解は、本開示の原理が利用される例示的な実施形態を明記する以下の詳細な説明、および添付の図面への参照により得られるものとする。

実施形態による、少なくとも一対の画像を取得するための例示的なシステムの概略図である。 実施形態による、少なくとも一対の画像を取得する方法のフローチャートである。 実施形態による、一対の画像について組織リモデリングのリスクを評価するためにユーザインターフェースを動作させる方法のフローチャートである。 実施形態による、ログイン画面を描写する例示的なユーザインターフェースを示す図である。 実施形態による、初期メニューを描写する例示的なユーザインターフェースを示す図である。 実施形態による、新規患者入力画面を描写する例示的なユーザインターフェースを示す図である。 実施形態による、画像インポート前の新規患者カードを描写する例示的なユーザインターフェースを示す図である。 実施形態による、画像インポート画面を描写する例示的なユーザインターフェースを示す図である。 実施形態による、横並びの最適画像ペアおよび組織スコアを有する患者カードを描写する例示的なユーザインターフェースを示す図である。 実施形態による、可視光画像が表示された状態の患者カードを描写する例示的なユーザインターフェースを示す図である。 実施形態による、解剖学的画像が表示された状態の患者カードを描写する例示的なユーザインターフェースを示す図である。 実施形態による、患者病歴画面を描写する例示的なユーザインターフェースを示す図である。 実施形態による、レポート生成画面を描写する例示的なユーザインターフェースを示す図である。 実施形態による、病理レポート入力画面を描写する例示的なユーザインターフェースを示す図である。 実施形態による、バックアップ画面を描写する例示的なユーザインターフェースを示す図である。 実施形態による、バックアップからのリストア画面を描写する例示的なユーザインターフェースを示す図である。 実施形態による、バックアップ進行中画面を描写する例示的なユーザインターフェースを示す図である。 実施形態による、最適画像ペアを決定するための方法のフローチャートである。 実施形態による、最適画像ペアをセグメント化およびスコアリングするための方法のフローチャートである。 実施形態による、複数のセグメントへと分割されるほくろおよび周囲皮膚の画像を示す図である。 実施形態による、複数のセグメントおよび小領域へと分割されるほくろおよび周囲皮膚の画像を示す図である。 実施形態による、本明細書に提供される方法を実施するようにプログラムされる、または別途構成されるコンピュータ制御システムを示す図である。

[0045]以下の詳細な説明において、本明細書の一部を形成する添付の図面に対して参照がなされる。図では、同様の符号は、典型的には、同様の構成要素を特定するが、文脈が別のことを示す場合はその限りではない。詳細な説明、図、および特許請求の範囲において説明される例証的な実施形態は、限定であることは意味しない。本明細書に提示される主題の範囲から逸脱することなく、他の実施形態が利用され得、他の変更がなされ得る。本明細書に概して説明される、および図に例証されるような本開示の態様は、様々な異なる構成で配置、置換、結合、分離、および設計され得、それらのすべてが本明細書において明示的に企図される。

[0046]特定の実施形態および例が以下に開示されるが、本発明の主題は、具体的に開示された実施形態を超えて、他の代替の実施形態および／または使途、ならびにそれらの修正形態および等価物にまで及ぶ。故に、本明細書に添付される特許請求の範囲は、以下に説明される特定の実施形態のいずれかによって制限されない。例えば、本明細書に開示される任意の方法またはプロセスにおいて、方法またはプロセスの行為または動作は、任意の好適なシーケンスで実施され得、任意の特定の開示されたシーケンスに必ずしも限定されない。様々な動作は、特定の実施形態を理解するのに役立ち得る様式で、複数の別個の動作として順に説明され得るが、説明の順序は、これらの動作が順序依存であることを示唆するものと解釈されるべきではない。追加的に、本明細書に説明される構造、システム、および／またはデバイスは、統合された構成要素として、または別々の構成要素として具現化され得る。

[0047]様々な実施形態を比較する目的のため、これらの実施形態の特定の態様および利点が説明される。必ずしもすべてのそのような態様および利点が、任意の特定の実施形態によって達成されるわけではない。故に、例えば、様々な実施形態は、本明細書内で教示される１つの利点または利点のグループを、同じく明細書内で教示または提案され得るような他の態様または利点を必ずしも達成することなく達成または最適化する様式で実行され得る。

[0048]本開示は、患者の皮膚内の組織リモデリングを評価するためのシステム、デバイス、または方法の展開に関して説明される。しかしながら、当業者は、これが限定であることは意図されないこと、ならびに、本明細書に開示されるデバイス、システム、および方法が、他の解剖学的領域において、および／または組織の他の態様を評価するために、使用され得ることを理解するものとする。例えば、口、結腸、消化器系、頚部、膀胱、肺、リンパ節などの組織腔または表面。本明細書に開示されるデバイス、システム、および方法は、当業者により所望されるように表面および／または非表面組織を撮像するために使用され得る
[0049]図１および図２は、標的領域から一対の画像を取得するための例示的なシステム、デバイス、および方法を示す。しかしながら、これが限定であることが意図されないこと、ならびに本明細書に開示される画像分析システムおよび方法が、どんなデバイス、システム、または方法が、画像の取得のために使用されたかにかかわらず、標的領域から取得される画像の任意の好適なペアと併せて使用され得ることは、当業者には明白であるものとする。画像取得デバイスの選択は、組織の場所のアクセスしやすさ、治療現場で利用可能な施設および／または技術、運用費用などに基づいて決定され得る。

[0050]図１は、標的領域１から少なくとも一対の画像を取得するための例示的なシステム１００の概略図である。システム１００は、プロセッサによって互いに動作可能に結合される励起ユニットおよび発光収集ユニットを備え得る。システム１００は、発光収集ユニットおよび励起ユニットの構成要素を動作させるように構成されるプロセッサを備え得る。励起収集ユニットは、蛍光光源および可視光源を備え得る。可視光源は、白色光源、例えば、白色ＬＥＤであってもよい。蛍光光源は、例えば、赤外ＬＥＤを含み得る。１つまたは複数の励起フィルタが、標的領域１の方へ向けられている励起光を精緻化するために光源に結合され得る。光は、ユーザからの入力（例えば、光モードを選択すること、および捕捉ボタンを押圧すること）に応答して光源によって発光され、標的領域１へ向けられ得る。光は、標的領域１から発光収集ユニットの方へ戻るように反射、屈折、および／または発光され得る。発光収集ユニットは、カメラまたは他の撮像デバイス（例えば、ＰＭＴ、ＣＣＤなど）を備え得る。１つまたは複数の発光フィルタが、入ってくる放出光をフィルタリングするために、標的領域１とカメラとの間の光路内に配設され得る。例えば、スライドが、蛍光発光フィルタおよび可視光発光フィルタを収納し得る。蛍光発光フィルタは、蛍光光源によって励起されるとき標的領域１によって発光される波長または波長の範囲に特有であり得る。いくつかの実施形態において、可視光発光フィルタは、偏光フィルタであってもよく、可視光発光フィルタに対して９０度回転される第２の偏光フィルタ（例えば、可視光励起フィルタ）が、可視光源と標的領域１との間の光路内に配設され得る。２つの偏光フィルタの使用は、標的領域１から斑点（すなわち、皮膚上の油分からの反射）を除去し得る。システム１００は、第１の可視光画像および第１の蛍光画像を含む標的領域１の少なくとも第１の一対の画像を収集するために使用され得る。

[0051]図１に示される要素が縮尺通りではないこと、および示されるような要素の配置が単に例示であることに留意されたい。光源の数は様々であり得る。鏡、プリズム、光パイプ、光ファイバ、および／またはスプリッタなどの光指向要素が、光を指向するために使用され得る。すべての要素がすべての実施形態において必要とされるわけではない。

[0052]システム１００は、米国特許出願公開第２０１７／００４９３８０号または米国特許出願公開第２０１９／０３０７３９１号に説明されるシステムの１つまたは複数の要素を含み得、これらの開示全体があらゆる目的のために本明細書に組み込まれる。

[0053]システム１００は、以下の構成要素：ケース、電源、レンズ、画像センサ、画像記憶メモリ、ユーザ制御、ユーザディスプレイ、埋め込み型プロセッサのための格納された命令を含む内部制御電子装置、および埋め込み型プロセッサのための格納された命令を含む内部画像処理論理を有する、内蔵または非内蔵カメラを含む統合された撮像システムであってもよい。消費者またはプロ用のデジタル一眼レフ（ＤＳＬＲ）カメラは、統合された撮像システムの１つの非限定的な例である。統合された撮像システムは、交換可能なレンズを有し得るが、これは必須要件ではない。統合された撮像システムは、ミラーレスコントラスト検出オートフォーカス法、または鏡および別個のセンサを使用した位相差検出法など、オートフォーカス能力を有し得る。レンズは、マクロフォーカス能力を有し得る。統合された撮像システムは、取り外し可能な画像記憶モジュール（例えば、ＳＤカード）を有し得、ならびに／または、記憶された画像を通信するためのケーブル、および／もしくは記憶された画像を通信するためのワイヤレス通信ポートを有し得る。統合された撮像システムは、動作のために外部コンピュータへの接続を必要としないが、そのような接続は任意選択であり得る。統合された撮像システムは、必要とされる構成要素および／または機能性が２つ以上の物理的な筺体の間で分けられ、筺体のうちの１つがコンピュータであるか、またはこれを含む、産業、医療、または複合撮像システムとは異なる。

[0054]１つまたは複数のフィルタが、システム１００内に提供され得る。システム１００は、例えば、スライド内に２つの発光フィルタを有し得、該スライドは、フィルタをそれぞれカメラの光路内へ移動させるように構成される。任意の数のフィルタ（例えば、１、２、３、４、５、またはそれ以上）が提供され得る。フィルタは、互いに対して、異なる波長の電磁放射が通過するように通し得る。フィルタは、カメラの光路および／または互いに対して移動可能であり得る。フィルタは、カメラの光路に垂直に移動し得る。所望のフィルタが、適所へと滑動、旋回、または回転され得る。

[0055]いくつかの実施形態において、２つではなく、単一のフィルタが使用され得る。この単一フィルタ構成において、フィルタは、可視光および発光帯域光の両方を通過させながら、６６０ｎｍなどの励起周波数で帯域除去ノッチを有し得る。このやり方では、そのような単一のフィルタは、フィルタを変更することなく、可視および蛍光発光露出の両方のために使用され得る。

[0056]１つまたは複数の（例えば、２つの）可視励起光源は、ほくろまたは他の標的領域の均一な照明を達成するために提供され得る。１つまたは複数の（例えば、２つの）蛍光励起光源は、ほくろまたは他の標的領域の均一な照明を達成するために提供され得る。均一な照明は、較正されたまたは測定可能な応答を、この目的のためのバイオタグおよび／または基準に基づいて達成することにおいて、有利であり得る。蛍光光源は、ＬＥＤ、レーザ、蛍光エミッタ、または他の光源であってもよい。いくつかの実施形態において、蛍光光源は、蛍光励起フィルタが必要でないように、十分に狭い帯域を有し得る。

[0057]回折素子またはマスクなどの構造化光照明構成要素が提供され得、これは、対象の均一な白色光照明を達成するために、可視光源と統合され得る。構造化光照明構成要素は、光をパターン化する、拡散させる、または広げ得る光学素子であってもよい。例えば、構造化光照明構成要素は、レーザ光源と統合される回折素子、またはＬＥＤ光によって照明されるとき標的領域上に線パターンを生成するように構成されるマスクを備え得る。構造化照明は、例えば、毛髪を識別するために使用され得る。構造化照明はまた、皮膚の表面より上のほくろの高さおよび形状、ならびにほくろの性状を決定するために使用され得る。

[0058]システム１００は、可視光画像および蛍光画像が同じ焦点で撮られることを確実にするために、可視光照明および蛍光照明の両方の下でカメラの焦点を標的領域に合わせるように構成されるオートフォーカスを有し得る。いくつかの実施形態において、オートフォーカスは、構造化光を使用してカメラの焦点を標的領域に合わせるように構成され得る。少なくともいくつかの場合において、オートフォーカスのための構造化光の使用は、組織内により高い蛍光光散乱を有し得、少なくともいくつかの場合においてオートフォーカスには不適切であり得る非構造化光と比較して、蛍光照明の下でカメラのオートフォーカスを強化し得る。

[0059]システム１００は、ワイヤレスインターフェース（図示せず）、ユーザディスプレイ（図示せず）、およびユーザ制御（図示せず）を含み得る、メモリカード（図示せず）のための空洞を含み得る。ユーザディスプレイは、統合された撮像デバイスによって捕捉され得る画像を示し得る画面または他のディスプレイを含み得る。レンズが提供され得るか、システム１００に装着され得る。レンズは、統合された撮像デバイスと一体であるか、デバイスが交換可能なレンズ（マクロレンズなど）を受容するように適合されるか、のいずれかであり得る。動作ボタンもまた、システム１００内に統合され得る。タッチスクリーン、レバー、スライダ、ノブ、または特徴部などの他のユーザインターフェース機構は、ユーザが統合された撮像デバイスとインターフェースをとる、またはこれとやり取りするために使用され得る。

[0060]図２は、少なくとも一対の画像を取得する方法２００のフローチャートを示す。
[0061]ステップ２０１において、バイオタグは、患者の標的領域に位置付けられ得る。バイオタグは、検出可能に（例えば、蛍光）標識され得る。バイオタグは、目的の標的領域内に存在する標的とされる結合パートナーに選択的に結合され得る。代替的に、バイオタグは、標的領域の反応組織内で、吸収されるか、代謝されるか、内在化されるか、または別の様式で保持され得る。皮膚浸透剤もしくは促進剤を使用した皮膚の表面への適用など、適用は、局所であってもよく（例えば、ゲル、液体などを用いる）、または、皮下もしくは皮内注射によって適用され得る（例えば、極微針のアレイを用いる、または電気伝導度による）。バイオタグ製剤は、溶媒、ならびに任意選択的に、阻害薬、皮膚浸透剤および／もしくは促進薬、イオンペアリング剤、共溶媒、ならびに／または保湿剤および／もしくは増粘剤を、単独で、または様々な組み合わせで含み得る。

[0062]バイオタグは、目的の標的とされる分子に対する特異結合パートナーである。バイオタグの例としては、限定なしに、ペプチド、ペプチド模倣薬、ペプトイド、円形ペプチドなど；ＲＮＡ、ＤＮＡ、アプタマなどの核酸；または他の有機化合物が挙げられる。２、３、４、もしくはそれ以上の異なる部分のバイオタグのうちの１つまたはその混合物が、多重撮像のために本明細書に説明される方法において使用され得る。バイオタグは、表皮表面を効果的に透過するのに十分に小さい分子量のもの、例えば、通常、１０，０００ダルトン未満、５，０００ダルトン未満、２，５００ダルトン未満、１，０００ダルトン未満であり得、その浸透は、浸透剤によって促進され得る。バイオタグは、一般的に、検出可能なラベルを含む。

[0063]バイオタグに対する結合パートナーとして好適な分子は、例えば、がんもしくは前がん細胞上に、または、がんもしくは前がん細胞のマクロ環境、例えば、病変の部位における血管系内に存在する、がん関連マーカを含み得る。この目的のための目的の特定のマーカとしては、限定なしに、インテグリンａｖ、インテグリンａ５、インテグリン０３、インテグリン３１などを含む、インテグリンなど、腫瘍血管系と関連付けられた分子が挙げられる。そのようなインテグリンの検出に好適なバイオタグとしては、当該技術分野において知られており使用されるような、ＲＧＤモチーフまたはその模倣物を含むペプチドを挙げることができる。例えば、参照により本明細書に具体的に組み込まれる、Ｇａｅｒｔｎｅｒら（２０１２）Ｅｕｒ Ｊ Ｎｕｃｌ Ｍｅｄ Ｍｏｌ Ｉｍａｇｉｎｇ．３９ Ｓｕｐｐｌ １：Ｓ１ ２６－３８、Ｄａｎｈｉｅｒら（２０１２）Ｍｏ．Ｐｈａｒｍ．９（１１）：２９６１－７３を参照されたい。目的の他のバイオタグとしては、限定なしに、ホルモン、抗体の抗原結合性フラグメント、ＥＧＦ、ＩＧＦなどを挙げることができる。腫瘍関連バイオタグが本明細書に詳細に説明されるが、本明細書に説明されるシステムおよび方法は、特に、評価されるべき組織ががんではないとき、非腫瘍マーカも同様に評価するために使用され得るということが当業者により理解されるものとする。

[0064]腫瘍関連抗原としては、限定なしに、当該技術分野において知られるように、ＭＡＲＴ－１からの免疫原性シーケンス、ｇｐ１００（ｐｍｅｌ－１７）、チロシナーゼ、チロシナーゼ関連タンパク質１、チロシナーゼ関連タンパク質２、メラノサイト刺激ホルモン受容体、ＭＡＧＥ１、ＭＡＧＥ２、ＭＡＧＥ３、ＭＡＧＥ１２、ＢＡＧＥ、ＧＡＧＥ、ＮＹ－ＥＳＯ－１、β－カテニン、ＭＵＭ－１、ＣＤＫ４、カスパーゼ８、ＫＩＡ ０２０５、ＨＬＡ－Ａ２Ｒ１７０１、α－フェトプロテイン、テロメラーゼ触媒性タンパク質、Ｇ－２５０、ＭＵＣ－１、がん胎児性タンパク質、ｐ５３、Ｈｅｒ２／ｎｅｕ、ＴＥＲＴ、ＰＲＡＭＥ、ＬＩＮＣ００５１８、トリオースリン酸イソメラーゼ、ＣＤＣ－２７、ＬＤＬＲ－ＦＵＴ、テロメラーゼ逆転写酵素、ＭＵＣ１８、ＩＣＡＭ－１、ＴＮＦ α／β、プラスミノーゲン活性化因子（ｕＰＡ）、カテプシン（Ｂ、Ｄ、Ｈ、Ｌ）、ＰＳＭＡ、ＨＭＢ－４５、Ｓ－１００、メラン－Ａ（Ａ１０３）、（Ｔ３１１）、Ｍｉｔｆ（Ｄ５）、グリピカン－３、ＧＰＣ３、ＧＰＮＭＢ、ＭＩＡ（黒色腫阻害活性物質）、ＭＣＲ－１、ＥＧＦ、ＩＧＦ、ＡＲＰＣ２、ＦＮ１、ＲＧＳ１、ＳＰＰ１、ＷＮＴ２、ＰＥＣＡＭ－１、オステオポンチン、グルコース、ＭＭＰ－ｓ（ＭＭＰ－１、ＭＭＰ－２、ＭＭＰ－９、ＭＭＰ－１３、ＭＴ Ｉ－ＭＭＰ、およびその他などのマトリックスメタロプロテイナーゼの仲間）、ＦＤＧ（または他の代謝産物）、ＶＥＧＦ、および同様のものを挙げることができる。

[0065]検出可能なマーカとしての使用のための光学的に可視の部分は、蛍光染料、または可視スペクトル染料、可視粒子、および他の可視ラベル貼付部分を含み得る。フルオレセイン、クマリン、ローダミン、ボディパイテキサスレッド、およびシアニン染料などの蛍光染料は、十分な励起エネルギーが視覚的に検査されるべき部位に提供され得るときに有用であり得る。内視鏡視覚化手順は、そのようなラベルの使用との互換性が高い場合がある。受容可能な染料としては、非毒性である、ＦＤＡに認可された食用染料および色素を挙げることができるが、内服用に認可されている薬学的に受容可能な染料が好ましい。代替的に、コロイド金粒子またはラテックス粒子などの可視粒子が、好適な化学架橋剤を介してバイオタグに結合され得る。

[0066]検出可能なラベルとしての目的の蛍光染料としては、限定なしに、フルオレセイン（例えば、フルオレセインイソチオシアネート、ＦＩＴＣ）、ローダミン、インドシアニングリーン（ＩＣＧ）、テキサスレッド、フィコエリトリン、アロフィコシアニン、６－カルボキシフルオレセイン（６－ＦＡＭ）、２’，７’－ジメトキシ－４’，５’－ジクロロ－６－カルボキシフルオレセイン（ＪＯＥ）、６－カルボキシ－Ｘ－ローダミン（ＲＯＸ）、６－カルボキシ－２’，４’，７’，４，７－ヘキサクロロフルオレセイン（ＨＥＸ）、５－カルボキシフルオレセイン（５－ＦＡＭ）またはＮ，Ｎ，Ｎ’，Ｎ’－テトラメチル－６－カルボキシローダミン（ＴＡＭＲＡ）、シアニン染料、例えば、Ｃｙ３、Ｃｙ５、Ｃｙ５．５、Ａｌｅｘａ５４２、Ａｌｅｘａ６４７、Ａｌｅｘａ６８０、Ａｌｅｘａ７００、Ｂｏｄｉｐｙ６３０／６５０、蛍光粒子、蛍光半導体ナノ結晶、それらの誘導体、および同様のものを挙げることができる。

[0067]いくつかの実施形態において、ラベルからの発光のための波長は、近紫外または近赤外の範囲内にあり得る。ラベル選択のために考慮される特徴は、その光吸収、および測定されるべき身体表面からの自動蛍光の最小化を含み得る。プローブは、特定の波長の蛍光照明に応答し、次いで異なる波長で光を発光し得る。

[0068]いくつかの実施形態において、ラベルからの発光のための波長は、近赤外の範囲内にあり得る。そのようなラベルとしては、限定なしに、Ａｌｅｘａ６４７、Ａｌｅｘａ６８０、Ａｌｅｘａ７００などのアレクサ染料、ならびにＣｙ５、Ｃｙ５．５、およびＣｙ７などのシアニン染料を挙げることができる。

[0069]他の染料としては、限定なしに、食品において使用するためにＦＤＡ認可された染料のいずれか、例えば、ＦＤ＆Ｃ Ｂｌｕｅ Ｎｏ．１ Ｅ１３３、ＦＤ＆Ｃ Ｂｌｕｅ Ｎｏ．Ｅ１３２、ＦＤ＆Ｃ Ｇｒｅｅｎ Ｎｏ．３、Ｏｒａｎｇｅ Ｂ（３）、ＦＤ＆Ｃ Ｒｅｄ Ｎｏ．３ Ｅ１２７、ＦＤ＆Ｃ Ｒｅｄ Ｎｏ．４０（３）Ｅ１２９、ＦＤ＆Ｃ Ｙｅｌｌｏｗ Ｎｏ．５ Ｅ１０２、ＦＤ＆Ｃ Ｙｅｌｌｏｗ Ｎｏ．６、Ｄ＆Ｃ Ｂｌａｃｋ Ｎｏ．２＆３、Ｄ＆Ｃ Ｒｅｄ Ｎｏ．６、７、１７、２１、２２、２７、２８、３０、３１、３３、３４、３６、４０、Ｄ＆Ｃ Ｖｉｏｌｅｔ Ｎｏ．２などを挙げることができる。

[0070]代替の実施形態において、バイオタグは、限定なしに、光干渉断層計、ラマン分光器、光音響イメージング、超音波イメージング、内視鏡検査、および同様のものを含み得る１つまたは複数の撮影手段によって撮像され得る。

[0071]ステップ２０２において、バイオタグは、標的領域上でインキュベートされ得る。バイオタグは、組織と相互作用し、適切な結合パートナーに結合し得、これは典型的には数分を要するプロセスである。

[0072]ステップ２０３において、過剰な非結合バイオタグは除去され得る。いくつかの実施形態において、除去は、洗剤ありまたはなしで、水または生理食塩水による洗い流しまたは拭き取りにより発生し得る。用途および実施形態に応じて、過剰な（非結合または非保持）バイオタグは、１、２、３、４、５、６、７、８、９、１０、１１、１２、１３、１４、１５、１６、１７、１８、１８、２０分後、または２０～２５、２５～３０、３０～３５、３５～４０、４０～４５、５０～５５、５５～６０分以内、または１～２、２～３、３～４、４～５、５～６、６～７、７～８、８～９、９～１０、１０～１１、１１～１２、１２～１３、１３～１４、１４～１５、１５～１６、１６～１７、１７～１８、１８～１９、１９～２０、２０～２１、２１～２２、２２～２３、２３～２４時間以内、または１～２日以内に除去され得る。バイオタグ適用の好ましい時間は、２～１５分、および２時間未満の間である。いくつかの実施形態において、過剰なバイオタグは、除去されない場合がある（例えば、バイオタグが注射されるとき）。内腔／組織区画におけるバイオタグの保持は、適切な結合パートナーが病変マクロ環境において発見されるときに発生し得る。

[0073]ステップ２０４において、１つまたは複数の基準マーカが、標的領域に隣接して置かれ得る。標的領域を撮像する前に、基準マーカの形態にある較正マーカが、標的領域内の病変に隣接して適用され得る。基準マーカは、患者上に除去可能に提供されるか、患者上に描写されるか、（除去可能または永久的に）撮像デバイスに固着されるか、または撮像デバイスとは別個に提供され得る。画像は、カメラ、または本明細書内に説明されるデバイス、システム、および方法のうちのいずれかを使用して取得され得る。基準マーカは、プロセッサおよび／またはユーザが、可視光源を使用して捕捉される画像（本明細書では可視光画像とも称される）を、蛍光光源を使用して捕捉される画像（本明細書では蛍光画像とも称される）と比較することを可能にし得る。１つまたは複数の基準マーカは、例えば、画像整列を促進するために、可視光スペクトル内、およびバイオタグの蛍光発光帯域内の両方において可視であり得る。マーカは、両方の画像内で同一に見える必要はないが、それらは明確に整列しなければならない。カメラがハンドヘルドであり得ることが理由で、または患者が露光の合間に移動し得ることが理由で、可視および蛍光発光スペクトル光により撮られる画像は、自然には整列されない場合があり、故に、整列基準特徴部は、特に有益であり得る。

[0074]いくつかの実施形態において、１つまたは複数の基準マーカは、撮像される標的領域の識別のための固有のバーコードまたは他の識別子を含み得る。（バーコードは、概して、特定のタグに固有である情報を指す：例えば、一次元バーコード、２Ｄメトリックバーコード。）１つまたは複数の基準マーカは、視覚識別子を含み得る。基準マーカは、それがカメラ光学素子によって検出され、オートフォーカスのための標的として使用され得るように、バイオタグ上に存在する蛍光マーカと同じ蛍光化合物、またはバイオタグとして互換性スペクトル内の光を発光する化合物（例えば、ＦＤ＆Ｃ Ｇｒｅｅｎ Ｎｏ．３）のいずれかを含む蛍光マーカまたはタグを含み得る。いくつかの実施形態において、基準は、オートフォーカスのために使用されない場合があり、代わりに（または追加的に）、画像が画像処理システム内にアップロードされた後に焦点を検証するために使用され得る。互換性スペクトルは、例えば、バイオタグの励起のスペクトル内の励起光を含むスペクトルを含み得、基準マーカの光発光は、バイオタグ発光のスペクトル内のスペクトル発光を含む。場合によっては、一般的な食品着色剤が、基準マーカにおいて蛍光化合物として使用され得る。基準マーカは、組織／内腔表面に直接的に、もしくは後で表面に適用される媒体上、例えばステッカーに適用され得るか、または、一時的もしくは永久的なタトゥーなど、媒体から皮膚へ転写され得る。いくつかの実施形態において、複数の基準マーカが、例示的なステッカーまたはタトゥー上に適用され得る。

[0075]ステップ２０５において、解剖学的な参照画像が、標的領域の場所をマークするために捕捉され得る。
[0076]ステップ２０６において、本システムは、可視モードに設定され得、標的領域の可視光画像が捕捉され得る。可視光画像は、視覚的特徴の第１のセットを含み得る。視覚的特徴の第１のセットは、標的領域を撮像するために可視光または白色光を使用することによって生成され得る。いくつかの実施形態において、構造化またはパターン化光は、例えば、３Ｄおよび／または粗さ分析のために、標的領域を撮像するために使用され得る。

[0077]用途に応じて、画像は、バイオタグの適用の前、ならびに適用の後に取得され得る。
[0078]ステップ２０７において、本システムは、蛍光モードへと遷移され得、標的領域の蛍光画像が捕捉され得る。組織表面の画像（例えば、写真）が、カメラ、およびバイオタグ検出可能ラベル（例えば、蛍光ラベル）を活性化する正しい（励起）波長の光によって撮られ得る。蛍光画像は、バイオタグによって発光される光を捕捉し得る。蛍光画像は、視覚的特徴の第２のセットを含み得る。可視光画像からの視覚的特徴の第１のセットの少なくとも一部分は、蛍光画像からの視覚的特徴の第２のセットでは見えない場合がある（例えば、ほくろの色など）。視覚的特徴の第２のセットは、標的領域を撮像するために蛍光光（例えば、赤外光）を使用して生成され得る。いくつかの実施形態において、バイオタグは、蛍光によって励起されるとき蛍光信号を発し得、これは標的マーカへのバイオタグの結合を示し得る。場合によっては、標的マーカ（およびバイオタグ蛍光）の存在は、組織リモデリングおよび／または特定の病状と関連付けられ得る。いくつかの実施形態において、標的マーカ（およびバイオタグ蛍光）の不在は、組織リモデリングおよび／または特定の病状と関連付けられ得る。いくつかの実施形態において、バイオタグは、病変細胞が撮像されている領域内に明確に存在していないときにさえ、目的の病変（例えば、ほくろ、腫瘍など）に隣接するマクロ環境（本明細書ではマクロ領域とも称される）内に存在する標的マーカに結合し得る。

[0079]可視光画像は、標的領域（例えば、患者の皮膚上のほくろ）に焦点を合わせ得るが、蛍光画像は、標的領域の表面の真下（例えば、対象者の皮膚の真下）の標的領域の周りの領域（例えば、ほくろの周りのマクロ領域）に焦点を合わせ得る。視覚的特徴の第１第２は、ほくろおよび対象者の露出した皮膚と関連付けられ得る。視覚的特徴の第２のセットは、皮膚の真下およびほくろの周りの下層組織と関連付けられ得る。いくつかの実施形態において、マクロ領域は、ほくろのサイズよりも少なくとも１．５倍大きくてもよい。

[0080]同じカメラが、可視光画像および蛍光画像を捕捉するために使用され得る。あまり好ましくはないが、異なるカメラもまた、可視光画像を捕捉するために１つ、および蛍光画像を捕捉するために１つ、使用され得る。

[0081]ステップ２０８において、ステップ２０６および２０７は、複数の可視光画像および複数の蛍光画像を取得するために繰り返され得る。本システムは、交互の可視光および蛍光画像を捕捉するために、可視モードと蛍光モードとを交互にとるように構成され得る。いくつかの実施形態において、少なくとも２つの画像ペアが捕捉され得る。いくつかの実施形態において、３、４、５、６、７、８、９、１０、またはそれ以上の画像ペアが捕捉され得る。所望の数の画像ペアが捕捉されると、画像は、さらなる処理および分析（例えば、図１９に説明されるような）のためにカメラからプロセッサへ転送され得る。

[0082]上記のステップは、実施形態による一対の画像を取得する方法２００を示すが、当業者は、本明細書に説明される教示に基づいて多くの変形を認識するものとする。ステップは、異なる順序で完了され得る。ステップは、追加または削除され得る。ステップのうちのいくつかは、サブステップを含み得る。ステップの多くは、一対の画像を取得するために必要なだけ繰り返され得る。

[0083]例えば、いくつかの実施形態において、ステップ２０４は、バイオタグが適用される前に基準が標的領域に隣接して置かれるように、ステップ２０１の前に発生し得る。代替的に、または組み合わせて、ステップ２０６および／または２０７は、複数のステップにおいて発生し得、そのうちのいくつかは自動化され得る。いくつかの実施形態において、任意選択の焦点合わせステップが、オートフォーカスが使用されないときに追加され得る。

[0084]図３は、一対の画像について組織リモデリングのリスクを評価するためにユーザインターフェースを動作させる方法３００のフローチャートを示す。
[0085]ステップ３０１において、ユーザインターフェースは、ＨＩＰＰＡ対応の安全なログイン画面（例えば、図４に示されるような）を表示し得る。

[0086]ステップ３０２において、新規患者データが、ユーザインターフェース（例えば、図６に示されるような）を使用してシステム内へ入力され得る。
[0087]ステップ３０３において、固有の患者識別子が作成され得る
[0088]ステップ３０４において、患者が、（例えば、ステップ３０２～３０３を使用して以前のセッションにおいて）すでに作成されているとき、ユーザは、ステップ３０２～３０３を回避し、以前に取得したデータを読み込むために、ユーザインターフェースを使用して既存のユーザのデータを（例えば、それらの固有の患者識別子を使用して）システム内へ入力し得る。

[0089]ステップ３０５において、ユーザは、患者情報がシステム上にすでに存在するとき、任意選択的に、以前に保存したセッションへ戻り、ステップ３０２～３０４を回避することを選択し得る。

[0090]ステップ３０６において、複数の画像が、システム内へインポートされ、ユーザインターフェース（例えば、図８に示されるような）上に表示され得る。複数の画像は、複数の解剖学的画像、標的領域の複数の可視画像、および標的領域の複数の蛍光画像を含み得る。複数の画像は、ユーザが本明細書に説明されるように分析されるべき画像を選択することを可能にするために、さらなる処理の前にユーザに表示され得る。

[0091]ステップ３０７において、可視および蛍光画像の最適ペアが、各ほくろのために識別され得、固有の基準番号が、各ほくろに割り当てられ得る。可視光および蛍光画像の最適ペアは、本明細書に説明されるように、自動的に識別され得るか、またはユーザによって選択され得る。いくつかの実施形態において、可視および蛍光画像の最適ペアは、表示および基準番号割り当ての前にプログラムで識別され得る。

[0092]ステップ３０８において、ほくろ（複数可）は、解剖学的画像を使用して患者の身体の場所にマッピングされ得る（例えば、図９～図１１に示されるように）。いくつかの実施形態において、ユーザは、表示された身体の外形上に基準マーカをドラッグすることによって、ほくろを身体の場所にマッピングし得る。他の実施形態において、ほくろは、自動的にマッピングされ得る。いくつかの実施形態において、ほくろマッピングは、ユーザによって回避され、後で実施され得る。

[0093]ステップ３０９において、画像は、ほくろ境界線を識別するために処理され得る。いくつかの実施形態において、境界線は、自動的に決定され得る。いくつかの実施形態において、ユーザは、ユーザインターフェースを使用して境界線を調整し得る。

[0094]ステップ３１０において、画像は、本明細書にさらに説明されるように、ほくろ分析スコアを計算するために処理され得る。いくつかの実施形態において、可視スコアが、可視光画像のために計算される。いくつかの実施形態において、蛍光スコアが、蛍光画像のために計算される。いくつかの実施形態において、集計スコアが、可視光スコアおよび蛍光スコアから計算される。いくつかの実施形態において、集計スコアは、可視光スコアおよび蛍光スコアの最大値であり得る。

[0095]ステップ３１１において、ほくろ分析スコアは、任意選択的に、機械学習アルゴリズムに基づいて精緻化され得る。機械学習アルゴリズムは、例えば、教師なし学習アルゴリズム、教師あり学習アルゴリズム、またはそれらの組み合わせであり得る。

[0096]教師なし学習アルゴリズムとしては、例えば、クラスタリング、階層的クラスタリング、ｋ平均法、混合モデル、ＤＢＳＣＡＮ、ＯＰＴＩＣＳアルゴリズム、異常検出、局所外れ値因子法、ニューラルネットワーク、自己符号化器、Ｄｅｅｐ Ｂｅｌｉｅｆ Ｎｅｔｓ、ヘブ学習、敵対的生成ネットワーク、自己組織化マップ、期待値最大化アルゴリズム（ＥＭ）、モーメント法、ブラインド信号分離技術、主成分分析、独立成分分析、非負値行列因子分解、特異値分解、またはそれらの組み合わせを挙げることができる。

[0097]教師あり学習アルゴリズムとしては、例えば、サポートベクタマシン、線形回帰、ロジスティック回帰、線形判別分析、決定木、ｋ最近傍アルゴリズム、ニューラルネットワーク、類似度学習、またはそれらの組み合わせを挙げることができる。いくつかの実施形態において、機械学習アルゴリズムは、ディープニューラルネットワーク（ＤＮＮ）を含み得る。

[0098]ディープニューラルネットワークは、畳み込みニューラルネットワーク（ＣＮＮ）を含み得る。ＣＮＮは、例えば、Ｕ－Ｎｅｔ、ＩｍａｇｅＮｅｔ、ＬｅＮｅｔ－５、ＡｌｅｘＮｅｔ、ＺＦＮｅｔ、ＧｏｏｇｌｅＮｅｔ、ＶＧＧＮｅｔ、ＲｅｓＮｅｔ１８、またはＲｅｓＮｅｔなどであってもよい。他のニューラルネットワークとしては、例えば、ディープフォードフォワードニューラルネットワーク、リカレントニューラルネットワーク、ＬＳＴＭ（長・短期記憶）、ＧＲＵ（ゲート付き回帰型ユニット）、オートエンコーダ、変分オートエンコーダ、敵対的オートエンコーダ、ノイズ除去オートエンコーダ、スパースオートエンコーダ、ボルツマンマシン、ＲＢＭ（制限ＢＭ）、Ｄｅｅｐ Ｂｅｌｉｅｆ Ｎｅｔｗｏｒｋ、敵対的生成ネットワーク（ＧＡＮ）、深層残差ネットワーク、カプセルネットワーク、またはＡｔｔｅｎｔｉｏｎ／Ｔｒａｎｓｆｏｒｍｅｒ Ｎｅｔｗｏｒｋなどを挙げることができる。

[0099]いくつかの実施形態において、機械学習アルゴリズムは、例えば、ランダムフォレスト、ブースト決定木、分類木、回帰木、バギング木、ニューラルネットワーク、またはローテーションフォレストであってもよい。機械学習アルゴリズムは、画像から抽出される複数の特徴部に適用され得る。

[0100]いくつかの実施形態において、ニューラルネットワークは、ニューラルネットワーク層を含み得る。ニューラルネットワークは、少なくとも約２～１０００またはそれ以上のニューラルネットワーク層を有し得る。

[0101]いくつかの実施形態において、ニューラルネットワークは、連合学習技術を使用して訓練され得る。
[0102]機械学習は、黒色腫データおよび良性データの訓練例に対する患者の画像データ類似度を測定するために採用され得る。訓練見本のこれらの２つのセットに対する類似度の程度は、多くの異なる形式でレポートされ得る。例えば、いくつか挙げると、確率、特徴部設定距離、重み付けされた特徴部設定距離、優位性の統計的尺度、および／または同様のものがある。機械学習アルゴリズムによってレポートされる類似度尺度にかかわらず、本明細書に説明されるシステムは、それを一般的なスコアリング形式へと置き換えるように構成され得る。

[0103]ステップ３１２において、ほくろ分析スコアレポートが生成されて、ユーザに表示され得る（例えば、図９～図１１に示されるように）。ほくろ分析スコアレポートは、少なくとも最適画像ペアに基づいた標的領域の評価を含み得る。評価は、ほくろ分析スコア（複数可）を含み得る。評価は、標的領域における組織リモデリングの確率を示すものであってもよい。組織リモデリングの確率は、腫瘍（例えば、標的領域が対象者の皮膚上にほくろを含む場合、黒色腫）の発症の確率と関連付けられ得る。評価は、標的領域内の腫瘍（例えば、ほくろ内の黒色腫）の発症の確率に基づいて臨床診断または行動指針を決定するために使用され得る。

[0104]ステップ３１３において、ユーザは、病理レポートをインポートし、組織学的情報を組み込むためにほくろ分析レポートを更新し得る。
[0105]ステップ３１４において、データは、任意選択的に、クラウドベースの記憶装置へと自動的に更新され得る（例えば、図１７に示されるように）。

[0106]ステップ３１５において、データの一部またはすべては、任意選択的に、クラウドベースの記憶装置から自動的にリストアされ得る（例えば、図１６に示されるように）。

[0107]ステップ３１６において、データは、固有の患者識別子を使用してクラウドベースの記憶装置（ＣＬＭＳ）と同期され得る。
[0108]上記のステップは、実施形態による、一対の画像について組織リモデリングのリスクを評価するためにユーザインターフェースを動作させる方法３００を示すが、当業者は、本明細書に説明される教示に基づいて多くの変形を認識するものとする。ステップは、異なる順序で完了され得る。ステップは、追加または削除され得る。ステップのうちのいくつかは、サブステップを含み得る。ステップの多くは、ユーザインターフェースを動作させるために必要なだけ繰り返され得る。

[0109]例えば、いくつかの実施形態において、ステップ３０７は、複数の画像ペアが識別され、ユーザが最適画像ペアを識別するために画像ペアを選択または拒否する選択肢を有するように、複数のステップにおいて発生し得る。複数の画像ペアは、最適なものを上から下へ順に、選択または拒否のために、グラフィックユーザインターフェース上でユーザに表示（例えば、ユーザに順次に表示）され得る。代替的に、または組み合わせて、ステップ３０７は、任意選択的に、自動的に発生する（例えば、ユーザ入力なしに）。

[0110]図４は、ログイン画面を描写する例示的なユーザインターフェースを示す。ログイン画面の安全性は、システム管理者によって決定され得る。例えば、ユーザが臨床医であるとき、ログイン画面は、ＨＩＰＰＡ対応であり得、患者データの安全性を確実にするために強力なパスワードを必要とし得る。代替的に、ユーザが開発者または他の非臨床ユーザであるとき（非臨床データのためにポータルを使用する）、パスワード要件は、使いやすさを促進するために、低い安全性であってもよい。

[0111]図５は、初期メニューを描写する例示的なユーザインターフェースを示す。初期メニューは、ナビゲーションのための複数のタブを含み得る。タブは、患者タブ、クラウドタブ、設定タブ、およびＡｂｏｕｔタブを含み得る。初期メニューは、起動時に初期設定として患者タブを表示するように構成され得る。患者タブは、最初、セッションの始め方についての選択を有する複数のボタンを有する画面をユーザに提示し得る。ユーザは、新規患者セッションを開始すること、既存患者を新規セッションに読み込むこと、または進行中のセッションに戻ることを選択し得る。新規患者セッションボタンを選択すると、新規セッション画面を読み込み得る（例えば、図６に示されるように）。既存患者／新規セッションボタンを選択すると、患者病歴画面を読み込み得る（例えば、図１２に示されるように）。セッションに戻るボタンを選択すると、最後に保存／ログオフされた時点での現在のセッションの画面を開き得る。

[0112]図６は、新規患者入力画面を描写する例示的なユーザインターフェースを示す。ユーザは、図５に示される初期メニュー画面上で新規患者セッションを開始するための選択肢を選択し得る。次いで、新規患者入力画面が患者タブ内に表示され得る。ユーザは、患者および患者の病歴に関する情報（例えば、名前、苗字、患者ＩＤ、生年月日、性別、医師、個人または家族の病歴など）を入力し得る。患者ＩＤは、外部ソフトウェア（例えば、クリニック管理ソフトウェア）と情報を同期させるのに有用であり得、外部ソフトウェア患者ＩＤに一致するように、自動的に生成され得るか、またはユーザによって入力され得る。

[0113]図７は、画像インポート前の新規患者カードを描写する例示的なユーザインターフェースを示す。図６の新規患者入力画面上で「作成」を選択すると、新規患者カードを作成する。新規患者カードは、患者情報、ならびに表示されるべき様々な画像のための領域およびユーザによって入力されるべき注記を含み得る。それらの領域は、ユーザが記憶媒体（例えば、ＳＤカード）から画像をインポートするまで登録されなくてもよい。

[0114]図８は、画像インポート画面を描写する例示的なユーザインターフェースを示す。図７の新規患者カード画面上の「画像インポート」を選択することにより、ユーザが患者画像をシステムにインポートすることを可能にする。可視および蛍光画像の最適ペアが、各ほくろのために自動的に識別され得、固有の基準番号が、各ほくろに割り当てられ得る。画像の最適ペアは、画像インポート画面上でユーザに表示され得る。他のインポート画像および／または解剖学的画像もまた、画像インポート画面上でユーザに表示され得る。ユーザは、第１の最適画像ペアを選択または拒否するための選択肢を与えられ得る。ユーザが第１の最適画像ペアを選択する場合、本システムは、ユーザが第１の最適画像ペアを受容することを示す入力を受信し得、第１の最適画像ペアは、標的領域の評価を生成するために使用され得る。ユーザが第１の最適画像ペアを無効にする場合、本システムは、ユーザが第１の最適画像ペアを拒否することを示す入力を受信し得、インポート画像は、第１の最適画像ペアとは異なる第２の最適画像ペアを決定するために処理され得る。いくつかの実施形態において、第１および第２の最適画像ペアは、いかなる共通画像も共有しなくてもよい。代替的に、第１および第２の最適画像ペアは、共通画像（例えば、共通可視光画像および／または共通蛍光画像）を共有し得る。第２の最適画像ペアが表示され得、ユーザは、第１の最適画像ペアに関して以前に説明されたように、この画像ペアを選択または拒否することを可能にされ得る。ユーザが第２の最適画像ペアを選択する場合、本システムは、ユーザが第２の最適画像ペアを受容することを示す入力を受信し得、第２の最適画像ペアは、第１の最適画像ペアの代わりに、標的領域の評価を生成するために使用され得る。ユーザが第２の最適画像ペアを拒否する場合、このプロセスは、最適画像ペアが選択されるまで繰り返され得る。最適画像ペアは、ユーザが所望のペアを選択するまで順次に表示され得る。

[0115]いくつかの実施形態において、画像インポート画面はまた、例えば、解剖学的画像タブを選択して、図８に示される臨床画像タブから入れ替えることによって、割り当てられた解剖学的画像を表示し得る。画面は、割り当てられた解剖学的画像が、最適画像ペアがユーザによって選択された後に未選択のインポート画像に取って代わり得ることを除き、図８の画面と実質的に同様であり得る。臨床（蛍光および可視光）画像ペアの各セットについて、インポートされた複数の解剖学的画像が存在し得、これにより、ユーザが身体上の１つまたは複数の場所にほくろをマッピングするのを支援し得る。解剖学的画像は、最適画像ペアに自動的に割り当てられ得る。ユーザは、本明細書に説明されるように、自動選択を無効にし得る。１つまたは複数解剖学的画像（好ましくは２つ）が、各最適画像ペアに割り当てられ得る。解剖学的画像が第１のほくろに割り当てられると、ユーザは、「次のほくろ」ボタンを選択して次のほくろのための画像をインポートし得る、と続く。ほくろのすべてが最適画像ペアおよび解剖学的画像を割り当てられると、ユーザは、「インポートおよび計算」ボタンを選択して、本明細書に説明されるように画像および／または組織評価を処理してユーザに表示し得る。

[0116]図９は、横並びに表示された最適画像ペアおよび組織スコア（複数可）を有する患者カードを描写する例示的なユーザインターフェースを示す。各ほくろのための最適画像ペアおよび解剖学的画像がユーザによって選択および確認されると、画像は、処理されてユーザに表示され得る。いくつかの実施形態において、ほくろは、標的領域内で自動的に検出され得、グラフィック境界線またはアウトラインがほくろの周りに生成および表示され得る。グラフィック境界線またはアウトラインは、ほくろの形状または外形に沿うように自動的に生成され得る。いくつかの実施形態において、グラフィック境界線またはアウトラインは、グラフィックユーザインターフェースを介してユーザにより調整可能であるか、または作成され得る。対象者の身体上のほくろ（複数可）の場所は、概略身体図上に示され得る。ユーザは、必要に応じて、各々が固有の基準識別子を有する異なるほくろ、および対応する画像セットの間でトグルし得る。患者カードは、比較して見るため、横並びの最適画像ペアの可視光画像および蛍光画像を表示し得る。可視スコア、蛍光スコア、および集計スコアは、画像ペアが各ほくろについて選択された後に自動的に計算され得、患者カード上でユーザに表示され得る。可視光画像のためのスコアを計算するために使用される指標は、患者カード上でユーザに表示され得、例えば、非対称性（「Ａ：ａｓｙｍｍｅｔｒｙ」）、辺縁不規則性（「Ｂ：ｂｏｒｄｅｒ ｉｒｒｅｇｕｌａｒｉｔｙ」）、色のまだら度（「Ｃ：ｃｏｌｏｒ ｖａｒｉｅｇａｔｉｏｎ」）、および直径＞６ｍｍ（「Ｄ：ｄｉａｍｅｔｅｒ」）を含む、従来の「ＡＢＣＤ」ほくろ基準を含み得る。蛍光画像のためのスコアを計算するために使用される指標は、患者カード上でユーザに表示され得、例えば、蛍光強度（「Ｉ：ｉｎｔｅｎｓｉｔｙ」）および性状（「Ｔ：ｔｅｘｔｕｒｅ」）を含む、Ｉ／Ｔ測定値を含み得る。本発明者らの初期訓練データから、少なくともいくつかの場合において、黒色腫からの見本は、良性の見本とは異なるＡＢＣＤ指標のクラスタリングを呈し得る。例えば、黒色腫の見本は、良性の見本とは異なるＩ／Ｔ指標のクラスタリングを呈し得る。可視光スコアは、ＡＢＣＤ指標の黒色腫および良性クラスタを分ける表面からのユークリッド距離として計算され得る。蛍光スコアスコアは、Ｉ／Ｔ指標の黒色腫および良性クラスタを分ける表面からのユークリッド距離として計算され得る。集計スコアは、可視スコアおよび蛍光スコアの最大値として計算され得る。

[0117]可視光画像および蛍光画像は、調整され、最適画像ペア内の座標のセットに整列され得る。例えば、可視光画像および蛍光画像は、可視光画像および蛍光画像のうちの少なくとも一方を回転、並進、クロッピング、拡大、および／または縮小することによって調整および整列され得る。代替的に、または組み合わせて、画像は、可視光画像および蛍光画像の両方に存在する１つまたは複数の基準マーカを使用して整列および調整され得る。いくつかの実施形態において、１つまたは複数の基準マーカは、可視光画像および蛍光画像上で注釈が付けられ得る。代替的に、または組み合わせて、１つまたは複数の基準マーカは、可視光画像および蛍光画像の両方において可視であり得る。基準マーカは、１つまたは複数の英数字、線、縁、点、二次元形状、または同様のもの、またはそれらの任意の組み合わせを含み得る。いくつかの実施形態において、１つまたは複数の基準マーカは、標的領域内の１つまたは複数の既定の場所に提供され得る。いくつかの実施形態において、１つまたは複数の基準マーカは、ほくろの場所に対して既定の距離および／または配向で提供され得る。調整および整列された可視光画像および蛍光画像は、見やすくするため、患者カード画面上でユーザに表示され得る。

[0118]組織リモデリングの確率は、腫瘍（例えば、標的領域が対象者の皮膚上にほくろを含む場合、黒色腫）の発症の確率と関連付けられ得る。例えば、７またはそれ以上の集計スコア（ここで）は、黒色腫発症の確率を示し得る。いくつかの実施形態において、１つまたは複数の通知（例えば、ポップアップウィンドウ、ハイライト表示など）が、標的領域における組織リモデリングの確率または腫瘍発症（例えば、黒色腫発症）の確率が１つまたは複数の既定のしきい値よりも大きいとき、画面上に生成され得る。スコアの範囲（例えば、１～１０）は、非限定的であり、目的の標的組織のために対象の確率を最良に捕捉し、レポートするために、所望の通りに（例えば、恣意的に、または医療格付名称に従うなど）規定され得ることは、本明細書内の教示に基づいて当業者により理解されるものとする。

[0119]図１０は、可視光画像が表示された状態の患者カードを描写する例示的なユーザインターフェースを示す。画面は、ユーザインターフェースが、２層効果を提供するためにユーザが最適画像ペア内の可視光画像または蛍光画像の間でトグルするか、または切り替えることを可能にするように構成されることを除き、図９内の画面と実質的に同様であり得る。ユーザは、例えば、蛍光画像へと切り替えるために「蛍光」、または可視光画像へと切り替えるために「可視」という語をクリックし得る。代替的に、または組み合わせて、ユーザは、画像を切り替えるためにスライダを使用し得る。いくつかの実施形態において、スライダは、「蛍光」および「可視」の間の中間スライダ位置において様々な度合い（例えば、５０％可視および５０％蛍光）へと画像を重ね合わせるように動作可能であり得る。画像を重ね合わせることにより、どこでバイオタグの保持が、視覚的に明白である特徴部（例えば、ほくろ、病変など）に対して組織表面上で発生するのかをユーザが見ることを可能にし得る。

[0120]図１１は、解剖学的画像が表示された状態の患者カードを描写する例示的なユーザインターフェースを示す。画面は、解剖学的画像（複数可）が最適画像ペアの代わりに表示され得ることを除き、図９内の画面と実質的に同様であり得る。ユーザは、解剖学的画像を概略身体図上の場所に割り当て得る。例えば、ユーザは、基準マーカを概略身体図上に置き、基準マーカを含む標的領域の解剖学的画像を所望の場所に割り当て得る。解剖学的画像は、ユーザのための参照画像として作用し、ユーザが、セッション中にほくろを区別すること、ならびに別のセッション内で同じほくろをフォローアップすることを可能にし得る。

[0121]図１２は、患者病歴画面を描写する例示的なユーザインターフェースを示す。患者病歴画面は、例えば、新規患者カードを作成する代わりに既存患者からデータを読み込むととき、患者リスト内を検索して特定の患者を見つけるために利用され得る。患者病歴画面は、患者に関する情報（例えば、名前、苗字、患者ＩＤなど）、ならびに患者の病歴に関する他の関連情報（例えば、ファイル作成日、最終スキャン日、医師名、記録ロケータなど）を表示し得る。患者病歴画面はまた、ユーザが、任意選択的に指定の日付範囲内で、患者、医師、セッションなどを検索することを可能にし得る。

[0122]図１３は、レポート生成画面を描写する例示的なユーザインターフェースを示す。レポート生成画面は、ユーザが、印刷、および／または、例えば相談のために、他のユーザとの共有のため、レポートを（例えば、ＰＤＦ形式で）生成することを可能にするように構成され得る。レポート生成画面は、ユーザが、レポートに含まれるべき情報を選択することを可能にするように構成され得る。そのような情報は、任意選択的に、目的のほくろ（複数可）、可視光画像、蛍光画像、解剖学的画像、概略身体図、患者病歴などを含み得る。

[0123]図１４は、病理レポート入力画面を描写する例示的なユーザインターフェースを示す。ユーザは、病理レポートをＰＤＦファイルとしてユーザインターフェース内へインポートし得る。ユーザは、次いで、そのレポートからの関連情報を埋め得る。ほくろについての関連情報は、例えば、診断分類、Ｃｌａｒｋレベル、Ｂｒｅｓｌｏｗ厚さ、潰瘍の存在、有糸分裂の存在、および／または退縮の存在、または同様のもの、またはそれらの任意の組み合わせを含み得る。いくつかの実施形態において、関連情報は、病理レポートからプログラム内へ自動的に引き出され得る。場合によっては、病理学者からの診断レポートが明白ではないない場合があり、ほくろは、検査のために複数の病理学者へ送られ得る。ユーザは、次いで、様々なレポートの照合に基づいて、ドロップダウンおよび／またはラジオグループを使用して空欄を埋め得る。病理レポート結果は、検索可能であり得る。病理学的診断と組織リモデリングスコアとの相関は、スコアリング法のさらなる精緻化を（例えば、機械ベースの学習により）可能にし得る。

[0124]図１５は、バックアップ画面を描写する例示的なユーザインターフェースを示す。バックアップ画面は、クラウドタブを介してアクセスされ得る。ユーザは、クラウドからデータを安全にバックアップおよび／またはリストアし得る。患者データは、任意選択的に、いかなる患者識別情報もなしにクラウド上で抽出およびバックアップされ得る。そのようなデータは、次いで、例として機械ベースの学習のために使用され得る。

[0125]図１６は、バックアップ画面からのリストアを描写する例示的なユーザインターフェースを示す。ユーザは、図１５に示されるバックアップ画面上でバックアップから患者情報をリストアするための選択肢を選択し得る。次いで、検索可能な患者リストが、ユーザに表示され得、ユーザは、リストアすべき患者および／またはセッションを選択し得る。バックアップからのリストア画面は、患者に関する情報（例えば、名前、苗字、患者ＩＤなど）、ならびに患者の病歴に関する他の関連情報（例えば、ファイル作成日、最終スキャン日、医師名、記録ロケータなど）を表示し得る。バックアップからのリストア画面はまた、ユーザが、任意選択的に指定の日付範囲内で、患者、医師、セッションなどを検索することを可能にし得る。いくつかの場合において、ユーザは、ハードウェアまたはデータベース問題がローカルプロセッサ上で発生した場合にデータをリストアすることを選択し得る。ユーザは、患者データを選択的にリストアするか（例えば、目的の患者のみをリストアする、依然としてクリニックにいる患者のみをリストアする、その日にクリニックに到着する患者のみをリストアするなど）、またはデータベース全体をリストアし得る。

[0126]図１７は、バックアップ進行中画面を描写する例示的なユーザインターフェースを示す。ユーザは、図１５に示されるバックアップ画面上でそれらのデータをクラウドにバックアップするための選択肢を選択し得る。代替的に、または組み合わせて、クラウドバックアップが自動的に発生するようにスケジューリングされ得る。ローカルに格納されるすべての患者データは、クラウドへバックアップされ得る。

[0127]本明細書に説明されるユーザインターフェースは、データを入力し出力を読み出す方法をユーザに提供するために、多くの変形を有し得るということは当業者により理解されるものとする。例えば、タブのうちの１つまたは複数は、画面間を移動することが望まれるナビゲーションのために、ドロップダウンメニュー、トグル、または同様のものに置き換えられ得る。代替的に、または組み合わせて、ドロップダウンのうちの１つまたは複数は、ボタン、スクロールバー、ステッパ、ラジオグループ、スイッチ、スライダ、テキストボックス、または他の入力機構に置き換えられ得る。ユーザインターフェースは、単純でシームレスな体験をユーザに提供し、入力変数をシステムに提供するために、所望されるように任意の数または任意の組み合わせの組織的機構および／または入力機構を備え得る。出力は、１つもしくは複数のグラフィック、１つもしくは複数の評価、１つもしくは複数のスコア、または同様のものを含み得る。

[0128]図１８は、最適画像ペアを決定するための方法１８００のフローチャートを示す。
[0129]ステップ１８０１において、画像のセット内の各画像について、１つまたは複数の基準マーカが識別され得る。画像は、可視画像または蛍光画像であり得る。基準マーカが存在する場合、画像は、臨床画像として分類され得る。基準マーカが存在しない場合、画像は、参照画像として分類され得る。いくつかの実施形態において、標的領域は、対象者の皮膚上にほくろを含み得、複数の画像（可視および蛍光）は、ほくろの画像であり得る。いくつかの実施形態において、蛍光画像上で識別される１つまたは複数の基準マーカは、可視光画像上で識別される１つまたは複数の基準マーカと同じ、または異なり得る。

[0130]ステップ１８０２において、臨床画像のセット内の各臨床画像について、基準マーカの場所、配向、およびスケールが決定され得る。
[0131]ステップ１８０３において、各臨床画像について、基準マーカ上に印刷される数値が読み出され得る。

[0132]ステップ１８０４において、各臨床画像について、焦点スコアが、基準マーカに割り当てられ得る。
[0133]ステップ１８０５において、各臨床画像について、画像は、それが蛍光画像であるか、可視画像であるかを決定するために評価され得る。

[0134]ステップ１８０６において、リストが、ステップ１８０３において基準マーカから獲得される固有の数値を使用して生成され得る。
[0135]ステップ１８０７において、同じ数値を有する可視および蛍光画像のすべてのペアが、臨床画像のセット内で発見され得る。

[0136]ステップ１８０８において、同じ数値を有する画像の各セットについて、基準マーカの場所同士の類似度が計算され得る。類似度は、各画像の四隅の間の基準マーカの場所の総計距離を含み得る。

[0137]ステップ１８０９において、同じ数値を有する画像のセット内の各画像について、各基準マーカの焦点が、可視画像と蛍光画像との間で集計され得る。
[0138]ステップ１８１０において、同じ数値を有する画像の各セットについて、最適な可視画像および蛍光画像ペアが選択され得る。最適画像ペアは、可視光画像のセットから選択される第１の可視光画像を含み得る。最適画像ペアは、蛍光画像のセットから選択される第１の蛍光画像をさらに含み得る。最適画像ペアは、ステップ１８０８において決定されるような基準の場所において最高類似度を有し得る。２つの画像ペアが同じ類似度を有する場合、ステップ１８０９において決定されるような最良の焦点を有するペアが最適画像ペアとして選択され得る。

[0139]上記のステップは、実施形態による最適画像ペアを識別する方法１８００を示すが、当業者は、本明細書に説明される教示に基づいて多くの変形を認識するものとする。ステップは、異なる順序で完了され得る。ステップは、追加または削除され得る。ステップのうちのいくつかは、サブステップを含み得る。ステップの多くは、最適画像ペアを決定するために必要なだけ繰り返され得る。

[0140]例えば、いくつかの実施形態において、ステップ１８１０は、複数の画像ペアが識別され、ユーザが最適画像ペアを識別するために画像ペアを選択または拒否する選択肢を有するように、複数のステップにおいて発生し得る。代替的に、または組み合わせて、ステップ１８１０は、任意選択的に、自動的に発生する（例えば、ユーザ入力なしに）。

[0141]いくつかの実施形態において、複数の画像は、最適画像ペアを決定する前、その間、またはその後に処理され得る。複数の画像を処理するステップは、以下：サイズフィルタリング、正規化、標準化、ノイズ低減、撮像アーチファクトの除去、バックグラウンド減算、クロッピング、拡大、サイズ変更、再位置決め、輝度調整、コントラスト調整、またはオブジェクトセグメンテーションのうちの少なくとも１つを含み得る。

[0142]図１９は、最適画像ペアをセグメント化およびスコアリングするための方法１９００のフローチャートを示す。
[0143]ステップ１９０１において、複数の画像は、本明細書に説明されるように標的領域のための最適画像ペアを決定するために処理され得る。最適画像ペアは、可視光画像のセットから選択される第１の可視光画像を含み得る。最適画像ペアは、蛍光画像のセットから選択される第１の蛍光画像をさらに含み得る。可視光画像および蛍光画像は、本明細書に説明されるように（例えば、図２に示されるように）取得され得る。最適画像ペアは、互いと補完または一致するように選択され得る。最適画像ペアは、以下：焦点画質、コントラスト、鮮明性、輝度、色、または解像度のうちの１つまたは複数に基づいて決定され得る。代替的に、または組み合わせて、最適画像ペアは、本明細書に説明されるように、可視光画像の各々および蛍光画像の各々の中の標的領域の位置に少なくとも基づいて、ならびに／または可視光画像の各々と蛍光画像の各々との間の類似度もしくは相関の度合いに基づいて、複数の画像（可視および蛍光）から決定され得る。

[0144]いくつかの実施形態において、複数の画像を処理するステップは、以下：サイズフィルタリング、正規化、標準化、ノイズ低減、撮像アーチファクトの除去、バックグラウンド減算、クロッピング、拡大、サイズ変更、再位置決め、輝度調整、コントラスト調整、またはオブジェクトセグメンテーションのうちの少なくとも１つを含み得る。

[0145]いくつかの実施形態において、複数の画像ペアが決定され得る。複数の画像ペアは、最適画像ペアを含み得る。最適画像ペアは、任意選択的に、他の画像ペアから視覚的に区別するために注釈が付けられ得る。例えば、最適画像ペアは、（例えば、本明細書に説明されるようなユーザによる選択または拒否のため）ユーザに表示される最適画像ペアの周りに既定の境界を置くことによって注釈が付けられ得る。

[0146]いくつかの実施形態において、標的領域は、対象者の皮膚上にほくろを含み得、複数の画像（可視および蛍光）は、ほくろの画像であり得る。
[0147]ステップ１９０２において、可視光画像は、目的の領域を識別するためにセグメント化され得る。例えば、標的領域がほくろを含むとき、可視光画像は、ほくろの境界を発見するためにセグメント化され得る。いくつかの実施形態において、ほくろは、標的領域内で自動的に検出され得、グラフィック境界線またはアウトラインがほくろの周りに生成および表示され得る。グラフィック境界線またはアウトラインは、ほくろの形状または外形に沿うように自動的に生成され得る。いくつかの実施形態において、グラフィック境界線またはアウトラインは、グラフィックユーザインターフェースを介してユーザにより調整可能であるか、または作成され得る。

[0148]いくつかの実施形態において、ほくろ境界は、自動的に識別され得る。可視画像からのほくろ境界のセグメント化は、可視画像（例えば、ＲＧＢ画像）を強度画像へと変換することによって始まり得る。しきい値Ｔの各々の可能な値について、しきい値Ｔ未満である強度画像内の画素値のマスクが作成され得る。マスク内の最大連結成分が発見され得、マスク内の任意の穴は埋められ得る。ほくろの内側にあるマスク境界線上の画素が識別され得る。ほくろの外側にあるマスク境界線上の画素が識別され得る。内側境界線画素と外側境界線画素との間の平均コントラストが計算され得る。最大平均コントラストをもたらすしきい値Ｔが識別され得る。最大平均コントラストをもたらすしきい値Ｔが識別された後、そのしきい値Ｔは、強度画像をセグメント化するために使用され得る。セグメント化画像内のいかなる穴は埋められ得る。ほくろアウトラインは、局部コントラストを最大限にするために、ほくろ境界を半径方向に内向きまたは外向きに調整することによって精緻化され得る。各ほくろ境界画素を調整した後、精緻化されたほくろアウトラインは保持され得る。

[0149]いくつかの実施形態において、ほくろ境界は、最初、グラフィックユーザインターフェースを介してユーザによって識別され、次いで、自動的に精緻化され得る。ユーザ（例えば、臨床医）がほくろの手動アウトラインを作成するとき、ほくろアウトラインは、可視画像（例えば、ＲＧＢ画像）を強度画像へと変換することによって自動的に精緻化され得る。臨床医によって作成されるアウトラインは、強度画像をセグメント化するために使用され得る。セグメント化画像内のいかなる穴も埋められ得る。ほくろアウトラインは、局部コントラストを最大限にするために、ほくろ境界を半径方向に内向きまたは外向きに調整することによって精緻化され得る。各ほくろ境界画素を調整した後、精緻化されたほくろアウトラインは保持され得る。

[0150]ステップ１９０３において、基準マーカの場所（例えば、最適画像ペアの決定の間に識別される）は、ステップ１９０２において識別されるほくろ境界を最適画像ペアの可視光画像から蛍光画像へ変換するために使用され得る。いくつかの実施形態において、１つまたは複数の基準マーカは、最適画像ペアの蛍光画像上で識別され得、１つまたは複数の基準マーカは、最適画像ペアの可視光画像上で識別され得る。１つまたは複数の基準マーカは、可視光画像上で識別される１つまたは複数の基準マーカと同じ、または異なり得る。

[0151]ステップ１９０４において、指標の第１のセットが、可視光画像の可視特徴部から抽出され得る。指標の第１のセットは、以下：ほくろおよびその周りの領域のサイズ、形状、体積、色、または表面性状のうちの１つまたは複数を含み得る。可視光画像は、本明細書に説明されるようにセグメント化され得、指標の第１のセットは、本明細書に説明されるように１つまたは複数のセグメントからの指標を含み得る。例えば、ほくろの周りのマクロ領域は、本明細書に説明されるようにセグメント化され得る。

[0152]ステップ１９０５において、指標の第２のセットが、蛍光画像の可視（例えば、蛍光）特徴部から抽出され得る。指標の第２のセットは、以下：対象者の皮膚の真下およびほくろの周りの標的領域におけるサイズ、形状、組織リモデリングの面積もしくは度合い、画素強度、蛍光強度、またはパターンもしくは性状のうちの１つまたは複数を含み得る。蛍光画像は、本明細書に説明されるようにセグメント化され得、指標の第１のセットは、本明細書に説明されるように１つまたは複数のセグメントからの指標を含み得る。例えば、ほくろの周りのマクロ領域は、本明細書に説明されるようにセグメント化され得る。

[0153]ステップ１９０６において、可視画像指標が、可視スコアを生成するためにスコアリングされ得る。
[0154]ステップ１９０７において、蛍光画像指標が、蛍光スコアを生成するためにスコアリングされ得る。

[0155]ステップ１９０８において、集計スコアが、最適画像ペアのために生成され得る。集計スコアは、組織リモデリング活動を示すものであってもよい。集計スコアは、２つ以上の別々のスコアの複合物であってもよい。例えば、集計スコアは、可視光画像のための可視スコアおよび蛍光画像のための蛍光スコアの複合物であってもよい。いくつかの実施形態において、２つ以上の別々のスコアは、可視光画像のためのスコアおよび蛍光画像のためのスコアが共に同じ重みを付与されるように、等しく重み付けされ得る。代替的に、２つ以上の別々のスコアは、可視光画像のためのスコアおよび蛍光画像のためのスコアが異なる重みを付与されるように、異なって重み付けされ得る。いくつかの実施形態において、可視光画像のためのスコアは、蛍光画像のためのスコアよりも高い重みを付与され得る。代替的に、可視光画像のためのスコアは、蛍光画像のためのスコアよりも低い重みを付与され得る。

[0156]集計スコアは、組織リモデリングの可能性を提供し得るスケールに沿った数値スコアであってもよい。いくつかの実施形態において、集計スコアは、ある値範囲内にあり得る。いくつかの実施形態において、２つ以上の別々のスコアは、ある値範囲内にあり得る。いくつかの実施形態において、可視光画像のためのスコアおよび蛍光画像のためのスコアは、標準化された値範囲に基づく。

[0157]組織リモデリングの確率は、腫瘍（例えば、標的領域が対象者の皮膚上にほくろを含む場合、黒色腫）の発症の確率と関連付けられ得る。
[0158]集計スコアは、例えば、０～１０の範囲内にあり得る。低いスコアは、組織リモデリングの低い確率を示し得る。高いスコアは、組織リモデリングの高い確率を示し得る。例えば、５およびそれ以上のスコアは、おそらくは組織リモデリングを示し得る。いくつかの場合において、７またはそれ以上のスコアは、黒色腫の確率をさらに示し得る。いくつかの実施形態において、集計スコアは、可視画像から計算されるＡＢＣＤ指標から計算される可視スコア、および蛍光画像から計算されるＩ／Ｔ指標から計算される蛍光スコアの組み合わせであってもよい。

[0159]ステップ１９０９において、最適画像ペアは、１つまたは複数の参照画像、例えば、参照画像ペアと比較され得る。参照画像ペアは、可視光画像のセットからではない可視光参照画像（例えば、同じ患者による先のセッションから、または全く異なる患者からの可視光参照画像）を含み得る。参照画像ペアは、蛍光画像のセットからではない蛍光参照画像をさらに含み得る。いくつかの実施形態において、参照画像ペアは、基準マーカを含む場合とそうでない場合とがある。例えば、最適画像ペアは、１つまたは複数の基準マーカを含み得、参照画像ペアは、基準マーカを含まなくてもよい。代替的に、最適画像ペアは、標的領域に対して（例えば、ほくろに対して）既定の場所および／または配向に位置する基準マーカの第１のセットを含み得、参照画像ペアは、参照画像ペア内の各参照画像の境界線近くに位置する基準マーカのセットを含み得る。いくつかの実施形態において、参照画像ペアは、標的領域解剖学的構造（例えば、ほくろのある肩）の写真、および／または概略身体図を含み得る。参照画像ペアは、身体上のほくろの場所を発見するためにユーザによって使用され得る。

[0160]ステップ１９１０において、分析レポートが、本明細書に説明されるように生成および表示され得る。分析レポートは、本明細書に説明されるように組織リモデリングの評価および／または腫瘍発症の確率を含み得る。いくつかの実施形態において、分析レポートは、ほくろ内での黒色腫の発症の確率に基づいて臨床診断および／または行動指針を決定するために（単独で、または標準技術と組み合わせて）使用可能であり得る。

[0161]上記のステップは、実施形態による、最適画像ペアを識別、セグメント化、およびスコアリングする方法１９００を示すが、当業者は、本明細書に説明される教示に基づいて多くの変形を認識するものとする。ステップは、異なる順序で完了され得る。ステップは、追加または削除され得る。ステップのうちのいくつかは、サブステップを含み得る。ステップの多くは、最適画像ペアをスコアリングするために必要なだけ繰り返され得る。

[0162]例えば、いくつかの実施形態において、ステップ１９０１は、複数の画像ペアが識別され、ユーザが最適画像ペアを識別するために画像ペアを選択または拒否する選択肢を有するように、複数のステップにおいて発生し得る。代替的に、または組み合わせて、ステップ１９０１は、任意選択的に、自動的に発生する（例えば、ユーザ入力なしに）。

[0163]図２０は、複数のセグメントへと分割されるほくろおよび周囲皮膚の画像を示す。図２１は、複数のセグメントおよび小領域へと分割されるほくろおよび周囲皮膚の画像を示す。基準マーカが、本明細書に説明されるようにほくろに隣接して皮膚上に置かれ得る。ほくろの周りのマクロ領域のより小さい局所領域へのセグメント化は、スコアリング精度を向上させ、および／またはマクロ領域をひとまとめに分析することと比較して偽陽性を低減し得る。本明細書ではマクロ領域とも称されるほくろＭの周りの皮膚は、分析のために複数のセグメントへとセグメント化され得る。例えば、画像の第１のセグメントまたは区域Ｚ１は、ほくろＭのすぐ周りの皮膚の領域を含み得る。第２のセグメントまたは区域Ｚ２は、第１の区域Ｚ１から半径方向に外向きにあり得、ほくろに２番目に近いマクロ領域の組織を含み得る。第３のセグメントまたは区域Ｚ３は、第２の区域Ｚ２から半径方向に外向きにあり得、第４のセグメントは、第３のセグメントから半径方向に外向きにあり得る、というように続く。いくつかの実施形態において、マクロ領域は、最適画像ペアの可視光画像および蛍光画像の両方においてセグメント化され得る。いくつかの実施形態において、マクロ領域は、蛍光画像においてのみ、分析のためにセグメント化され得る。セグメント化画像は、周囲マクロ領域におけるバイオタグ保持の強度、および／もしくは標的領域（ほくろおよび／またはマクロ領域）内のその保持のパターンを識別するために、または当業者によって所望される任意の他の特徴のために、分析され得る。

[0164]例えば、蛍光画像は、標的領域およびマクロ領域におけるバイオタグ保持の強度および性状を識別するためにセグメント化および分析され得る。赤色チャネル（またはバイオタグの蛍光シグネチャに対応する任意の他のチャネル）が、蛍光画像から抽出され得る。基準マーカ２の場所は、本明細書に説明されるように、対応する可視画像から蛍光画像の赤色チャネルへほくろ境界を変換するために使用され得る。ほくろ境界は、蛍光画像内のほくろの場所を示すためにマスクを作成するために使用され得る。ほくろの周りの同心円状の領域は、図２０に示されるように、ほくろをセグメントまたは区域（例えば、区域Ｚ１、Ｚ２、Ｚ３など）へとセグメント化するために生成され得る。セグメントまたは区域Ｚ１、Ｚ２、Ｚ３などは、バイオタグによって生成される信号を含み得る。いくつかの実施形態において、同心円状の領域は、同じまたは異なる距離だけ離間した同心円状の輪であってもよい。代替的に、いくつかの実施形態において、同心円状の領域は、ほくろの境界を模倣し得、ほくろ境界からの距離を画定するために距離マップを使用して生成され得る。各セグメントまたは区域は、図２１に示されるように小領域へと分割され得る。小領域は、隣接する小領域との重複の数、サイズ、場所、および量が様々であり得る。いくつかの実施形態において、セグメントまたは区域は、ほくろの中心からの角度に基づいて小領域へと分割され得る。区域の各セグメントは、１つまたは複数の小領域、例えば、複数の小領域を含み得る。各小領域の強度は、測定され得る。最大強度を有する小領域は、強度指標値をもたらし得る。多くの実施形態において、ほくろＭに２番目に近いセグメントまたは区域Ｚ２は、均一なバイオタグ保持を確実に含み得、区域Ｚ２内の最小強度小領域が識別され得る。いくつかの実施形態において、区域Ｚ１は、ほくろ境界線に近すぎる場合があり、ほくろの内側の色素が蛍光信号を不明瞭にし得る。その一方で、区域Ｚ３は、ほくろから遠すぎる場合があり、いかなるバイオタグも受容していない可能性がある。区域Ｚ２は、ほくろから十分に離れ得るため、ほくろ色素またはバイオタグの欠損による影響を受けない。性状指標は、画像の最大強度小領域および区域Ｚ２の最小強度小領域から計算され得る。性状指標は、バイオタグを受容した小領域の間の強度における違いであり得る。
コンピュータ制御システム
[0165]本開示は、本開示の方法を実施するようにプログラムされるコンピュータ制御システムを提供する。図２２は、組織リモデリングリスクを評価するようにプログラムされるか、または別途構成されるコンピュータシステム２２０１を示す。コンピュータシステム２２０１は、例えば、最適画像ペアを決定するために複数の画像を処理すること、組織リモデリングのために画像を分析すること、画像をスコアリングすること、画像およびスコアを組織リモデリングのリスクおよび／または程度などの有形の可視出力へと変換することなど、本開示の組織リモデリングのリスクを決定するための本方法のいずれかの様々な態様を統制し得る。コンピュータシステム２２０１は、ユーザの電子デバイス、または電子デバイスに対して遠隔に位置するコンピュータシステムであってもよい。電子デバイスは、モバイル電子デバイスであってもよい。

[0166]コンピュータシステム２２０１は、シングルコアもしくはマルチコアプロセッサであり得る中央処理装置（ＣＰＵ、本明細書では「プロセッサ」および「コンピュータプロセッサ」）２２０５、または並列処理のための複数のプロセッサを含み得る。コンピュータシステム２２０１はまた、メモリもしくはメモリ位置２２１０（例えば、ランダムアクセスメモリ、リードオンリメモリ、フラッシュメモリ）、電子記憶装置２２１５（例えば、ハードディスク）、１つまたは複数の他のシステムと通信するための通信インターフェース２２２０（例えば、ネットワークアダプタ）、ならびに、キャッシュ、他のメモリ、データストレージ、および／または電子ディスプレイアダプタなどの周辺デバイス２２２５を含む。メモリ２２１０、記憶装置２２１５、インターフェース２２２０、および周辺デバイス２２２５は、マザーボードなどの通信バス（実線）を通じてＣＰＵ２２０５と通信状態にある。記憶装置２２１５は、データを格納するためのデータ記憶装置（またはデータレポジトリ）であってもよい。コンピュータシステム２２０１は、通信インターフェース２２２０の助けを借りて、コンピュータネットワーク（「ネットワーク」）２２３０に動作可能に結合され得る。ネットワーク２２３０は、インターネット、インターネットおよび／もしくはエクストラネット、または、インターネットと通信状態にあるイントラネットおよび／もしくはエクストラネットであってもよい。ネットワーク２２３０は、場合によっては、遠距離通信および／またはデータネットワークである。ネットワーク２２３０は、クラウドコンピューティングなど、分散コンピューティングを可能にし得る１つまたは複数のコンピュータサーバを含み得る。ネットワーク２２３０は、場合によってはコンピュータシステム２２０１の助けを借りて、コンピュータシステム２２０１に結合されるデバイスがクライアントまたはサーバとして挙動することを可能にし得るピアツーピアネットワークを実装し得る。

[0167]ＣＰＵ２２０５は、プログラムまたはソフトウェアにおいて具現化され得るマシン可読命令のシーケンスを実行し得る。命令は、メモリ２２１０などのメモリ位置に格納され得る。命令は、ＣＰＵ２２０５に向けられ得、これによりその後、本開示の方法を実施するようにＣＰＵ２２０５をプログラムするか、または別途構成し得る。ＣＰＵ２２０５によって実施される動作の例としては、フェッチ、復号、実行、およびライトバックを挙げることができる。

[0168]ＣＰＵ２２０５は、集積回路などの回路の一部であってもよい。システム２２０１の１つまたは複数の他の構成要素が回路に含まれ得る。場合によっては、回路は、特定用途向け集積回路（ＡＳＩＣ）である。

[0169]記憶装置２２１５は、ドライバ、ライブラリ、および保存プログラムなど、ファイルを格納し得る。記憶装置２２１５は、ユーザデータ、例えば、ユーザ嗜好およびユーザプログラムを格納し得る。コンピュータシステム２２０１は、場合によっては、イントラネットまたはインターネットを通じてコンピュータシステム２２０１と通信状態にあるリモートサーバ上に位置するなど、コンピュータシステム２２０１の外部にある１つまたは複数の追加のデータ記憶装置を含み得る。

[0170]コンピュータシステム２２０１は、ネットワーク２２３０を通じて１つまたは複数のリモートコンピュータシステムと通信し得る。例えば、コンピュータシステム２２０１は、ユーザ（例えば、オペレータ、患者など）のリモートコンピュータシステムと通信し得る。リモートコンピュータシステムの例としては、パーソナルコンピュータ（例えば、ポータブルＰＣ）、スレートもしくはタブレットＰＣ（例えば、Ａｐｐｌｅ（登録商標）ｉＰａｄ（登録商標）、Ｓａｍｓｕｎｇ（登録商標）Ｇａｌａｘｙ Ｔａｂ）、電話、スマートフォン（例えば、Ａｐｐｌｅ（登録商標）ｉＰｈｏｎｅ（登録商標）、Ａｎｄｒｏｉｄ対応デバイス、Ｂｌａｃｋｂｅｒｒｙ（登録商標））、またはパーソナルデジタルアシスタントが挙げられる。ユーザは、ネットワーク２２３０を介してコンピュータシステム２２０１にアクセスすることができる。

[0171]本明細書に説明されるような方法は、例えば、メモリ２２１０または電子記憶装置２２１５上など、コンピュータシステム２２０１の電子記憶装置に格納されるマシン（例えば、コンピュータプロセッサ）実行可能コードを用いて実施され得る。マシン実行可能またはマシン可読コードは、ソフトウェアの形態で提供され得る。使用中、コードは、プロセッサ２２０５によって実行され得る。場合によっては、コードは、記憶装置２２１５から取得され、プロセッサ２２０５による即時アクセスのためにメモリ２２１０に格納され得る。いくつかの状況において、電子記憶装置２２１５は、除外され得、マシン実行可能命令は、メモリ２２１０上に格納される。

[0172]コードは、コードを実行するように適合されるプロセッサを有するマシンとの使用のために、予めコンパイルされ、構成され得るか、またはランタイム中にコンパイルされ得る。コードは、コードが予めコンパイルされる形式またはその場でコンパイルされる形式で実行することを可能にするように選択され得るプログラミング言語で供給され得る。

[0173]コンピュータシステム２２０１など、本明細書に提供されるシステムおよび方法の態様は、プログラミングにおいて具現化され得る。本技術の様々な態様は、典型的には、マシン可読媒体のタイプで遂行または具現化されるマシン（またはプロセッサ）実行可能コードおよび／または関連データの形態にある「製品」または「製造物品」であると考えられ得る。マシン実行可能コードは、メモリ（例えば、リードオンリメモリ、ランダムアクセスメモリ、フラッシュメモリ）などの電子記憶装置、またはハードディスクに格納され得る。「ストレージ」タイプの媒体は、ソフトウェアプログラミングのためにいつでも非一時的ストレージを提供し得る、様々な半導体メモリ、テープドライブ、ディスクドライブ、および同様のものなど、コンピュータ、プロセッサ、または同様のもの、またはその関連モジュールの有形メモリのいずれかまたはすべてを含み得る。ソフトウェアのすべてまたは部分は、インターネットまたは様々な他の遠距離通信ネットワークを通じて、時として通信され得る。そのような通信は、例えば、１つのコンピュータまたはプロセッサから別のコンピュータまたはプロセッサ内への、例えば、管理サーバまたはホストコンピュータからアプリケーションサーバのコンピュータプラットフォーム内への、ソフトウェアの読み込みを可能にし得る。故に、ソフトウェア要素を有し得る別のタイプの媒体としては、ワイヤードネットワークおよび光学有線ネットワークを通じて、ならびに様々なエアリンクを介して、ローカルデバイスの間の物理インターフェースにわたって使用されるものなど、光波、電波、および電磁波が挙げられる。ワイヤードもしくはワイヤレスリンク、光学リンク、または同様のものなど、そのような波を搬送する物理的要素もまた、ソフトウェアを有する媒体として見なされ得る。本明細書で使用される場合、非一時的な有形「ストレージ」媒体に制限されない限り、コンピュータまたはマシン「可読媒体」などの用語は、実行のために命令をプロセッサに提供することに参加する任意の媒体を指す。

[0174]故に、コンピュータ実行可能コードなどのマシン可読媒体は、有形記憶媒体、搬送波媒体、または物理的な伝送媒体を含むがこれらに限定されない任意の形態をとり得る。不揮発性記憶媒体としては、例えば図に示される、データベースなどを実装するために使用され得るものなど、任意のコンピュータ（複数可）または同様のものにおけるストレージデバイスのいずれかなど、光学もしくは磁気ディスクが挙げられる。揮発性記憶媒体としては、そのようなコンピュータプラットフォームのメインメモリなど、ダイナミックメモリが挙げられる。有形伝送媒体としては、コンピュータシステム内のバスを含むワイヤなど、同軸ケーブル、銅線および光ファイバが挙げられる。搬送波伝送媒体は、電気もしくは電磁信号、または、無線周波数（ＲＦ）および赤外線（ＩＲ）データ通信の間に生成されるものなど、音光もしくは光波の形態をとり得る。したがって、コンピュータ可読媒体の共通形態としては、例えば、フロッピディスク、フレキシブルディスク、ハードディスク、磁気テープ、任意の他の磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤもしくはＤＶＤ－ＲＯＭ、任意の他の光学媒体、パンチカードペーパーテープ、穴のパターンを有する任意の他の物理記憶媒体、ＲＡＭ、ＲＯＭ、ＰＲＯＭおよびＥＰＲＯＭ、ＦＬＡＳＨ－ＥＰＲＯＭ、任意の他のメモリチップもしくはカートリッジ、データもしくは命令を輸送する搬送波、そのような搬送波を輸送するケーブルもしくはリンク、またはコンピュータがプログラミングコードおよび／もしくはデータを読み出し得る任意の他の媒体が挙げられる。これらの形態のコンピュータ可読媒体の多くは、１つまたは複数の命令の１つまたは複数のシーケンスを実行のためにプロセッサに搬送することに関与し得る。

[0175]コンピュータシステム２２０１は、例えば、本明細書に説明されるように、患者画像入力データおよび／または組織リモデリングリスク評価出力データを提供するためのユーザインターフェース（ＵＩ）２２４０を備える電子ディスプレイ２２３５を含み得るか、またはこれと通信状態にあり得る。ＵＩの例としては、限定なしに、グラフィックユーザインターフェース（ＧＵＩ）およびウェブベースのユーザインターフェースが挙げられる。図４～図１７は、ディスプレイ上でユーザに提供され得る例示的なユーザインターフェースを示す。ユーザインターフェース内へユーザによって入力されるデータ（例えば、ほくろ境界線選択など）が、プロセッサへ送信され得る。プロセッサは、１つまたは複数の出力を生成するために本明細書に説明されるような画像処理およびスコアリングアルゴリズムを実行するための命令により構成され得る。処理および／またはスコアリングアルゴリズムの出力（複数可）は、ユーザインターフェースを用いてユーザに出力を表示するディスプレイへプロセッサによって送信され得る。

[0176]本開示の方法およびシステムは、１つまたは複数のアルゴリズムを用いて実装され得る。アルゴリズムは、中央処理装置２２０５による実行の際にソフトウェアを用いて実施され得る。アルゴリズムは、例えば、本明細書に説明されるように、最適画像ペアを選択すること、分析のために１つまたは複数の画像をセグメント化すること、画像上の視覚特徴部を比較すること、画像ペアをスコアリングすることなどを行い得る。

[0177]本発明の好ましい実施形態が、本明細書に示され、説明されているが、そのような実施形態は、単に例として提供されるということは当業者には明白である。多数の変形、変更、および置き換えが、本発明から逸脱することなく、ここで当業者に想起されるものとする。本明細書に説明される本発明の実施形態に対する様々な代替案が、本発明を実践する際に用いられ得ることを理解されたい。添付の特許請求の範囲が本発明の範囲を規定すること、ならびに、これらの請求項の範囲内の方法および構造体ならびにそれらの等価物がこれにより網羅されることが意図される。

Claims (61)

1. 組織リモデリングリスクを評価するための方法であって、
   （ａ）対象者の皮膚の標的領域の複数の画像を取得するステップであって、前記複数の画像は、（１）可視光画像のセットおよび（２）蛍光画像のセットを含む、ステップと、
   （ｂ）前記標的領域のための最適画像ペアを決定するために前記複数の画像を処理するステップであって、前記最適画像ペアは、（ｉ）（１）から選択される第１の可視光画像、および（ｉｉ）（２）から選択される第１の蛍光画像を含む、ステップと、
   （ｃ）前記最適画像ペアに少なくとも基づいて前記標的領域の評価を生成するステップと、
   （ｄ）前記評価、前記最適画像ペア、および前記対象者の身体上の前記標的領域の場所を示す概略図をグラフィックユーザインターフェース上に表示するステップであって、前記評価は、前記標的領域における組織リモデリングの確率を示すものである、ステップと、を含む、方法。
2. 前記標的領域は、前記対象者の皮膚上のほくろを含む、請求項１に記載の方法。
3. 前記第１の可視光画像および前記第１の蛍光画像は、互いと補完または一致するように選択される、請求項２に記載の方法。
4. 前記第１の可視光画像は、視覚的特徴の第１のセットを含み、前記第１の蛍光画像は、視覚的特徴の第２のセットを含み、前記視覚的特徴の第２のセットの少なくとも一部分は、前記視覚的特徴の第１のセットにおいて可視ではなく、前記視覚的特徴の第１のセットの少なくとも一部分は、前記視覚的特徴の第２のセットにおいて可視ではない、請求項２に記載の方法。
5. 前記視覚的特徴の第１のセットは、前記標的領域を撮像するために可視光または白色光を使用することによって生成され、前記視覚的特徴の第２のセットは、前記標的領域を撮像するために赤外光を使用することによって生成される、請求項４に記載の方法。
6. 前記視覚的特徴の第１のセットは、前記ほくろおよび前記対象者の露出した皮膚と関連付けられ、前記視覚的特徴の第２のセットは、前記皮膚の真下および前記ほくろの周りの下層組織と関連付けられる、請求項４に記載の方法。
7. 前記最適画像ペアは、以下：焦点画質、コントラスト、鮮明性、輝度、色、または解像度、のうちの１つまたは複数に少なくとも基づいて、前記複数の画像から決定される、請求項１に記載の方法。
8. 前記最適画像ペアは、（１）前記可視光画像の各々および前記蛍光画像の各々の中での前記標的領域の位置、（２）前記可視光画像の各々と前記蛍光画像の各々との間の類似性もしくは相関の度合い、ならびに／または（３）前記可視光画像の各々および前記蛍光画像の各々の焦点画質に少なくとも基づいて、前記複数の画像から決定される、請求項１に記載の方法。
9. 前記複数の画像を処理するステップは、以下：サイズフィルタリング、正規化、標準化、ノイズ低減、撮像アーチファクトの除去、バックグラウンド減算、クロッピング、拡大、サイズ変更、再位置決め、輝度調整、コントラスト調整、またはオブジェクトセグメンテーション、のうちの少なくとも１つをさらに含む、請求項１に記載の方法。
10. 前記最適画像ペアは、第１の最適画像ペアであり、（ｂ）の後、および（ｃ）の前に、
    前記グラフィックユーザインターフェース上でユーザに選択肢を表示するステップであって、前記選択肢は、前記ユーザが前記第１の最適画像ペアを受容または拒否することを可能にする、ステップと、
    前記グラフィックユーザインターフェース上に表示された前記選択肢に応答して前記ユーザから入力を受信するステップと、請求項１に記載の方法。
11. 前記入力が、前記ユーザが前記第１の最適画像ペアを拒否することを示すものであるとき、前記標的領域のための第２の最適画像ペアを決定するために前記複数の画像を処理するステップをさらに含み、前記第２の最適画像ペアは、前記第１の最適画像ペアとは異なる、請求項１０に記載の方法。
12. 前記第２の最適画像ペアおよび前記第１の最適画像ペアは、いかなる共通画像も共有しない、請求項１１に記載の方法。
13. 前記第２の最適画像ペアおよび前記第１の最適画像ペアは、共通画像を共有し、前記共通画像は、前記第１の可視光画像または前記第１の蛍光画像のいずれかを含む、請求項１１に記載の方法。
14. 前記グラフィックユーザインターフェース上でユーザに前記選択肢を再表示するステップであって、前記選択肢は、前記ユーザが前記第２の最適画像ペアを受容または拒否することを可能にする、ステップと、
    前記グラフィックユーザインターフェース上に表示された前記選択肢に応答して前記ユーザから別の入力を受信するステップと、をさらに含む、請求項１１に記載の方法。
15. （ｃ）は、前記別の入力が、前記ユーザが前記第２の最適画像ペアを受容することを示すものであるとき、前記第１の最適画像ペアの代わりに前記第２の最適画像ペアに少なくとも基づいて、前記標的領域のための前記評価を生成することを含む、請求項１４に記載の方法。
16. 前記入力が、前記ユーザが前記第１の最適画像ペアを受容することを示すものであるとき、（ｃ）および（ｄ）を続けるステップを含む、請求項１０に記載の方法。
17. 前記入力が、前記ユーザが前記第１の最適画像ペアを拒否することを示すものであるとき、前記標的領域のための複数の他の最適画像ペアを決定するために前記複数の画像を処理するステップと、
    前記複数の他の最適画像ペアを前記グラフィックユーザインターフェース上に表示するステップと、をさらに含む、請求項１０に記載の方法。
18. 前記複数の他の最適画像ペアは、前記グラフィックユーザインターフェース上で前記ユーザに順次に表示される、請求項１７に記載の方法。
19. （ｂ）は、複数の画像ペアを決定するために前記複数の画像を処理するステップをさらに含み、前記複数の画像ペアは、前記最適画像ペアを含む、請求項１に記載の方法。
20. 前記最適画像ペアは、前記他の画像ペアから視覚的に区別するために注釈が付けられる、請求項１９に記載の方法。
21. 前記最適画像ペアは、前記最適画像ペアの周りに既定の境界を置くことによって注釈が付けられる、請求項２０に記載の方法。
22. （ｂ）は、前記標的領域内の前記ほくろを自動的に検出すること、および前記ほくろの周りにグラフィック境界線またはアウトラインを生成することをさらに含む、請求項２に記載の方法。
23. 前記グラフィック境界線またはアウトラインは、前記ほくろの形状または外形に沿うように自動的に生成される、請求項２２に記載の方法。
24. 前記グラフィック境界線またはアウトラインは、前記グラフィックユーザインターフェースを介してユーザにより調整可能である、または作成される、請求項２２に記載の方法。
25. 前記評価は、前記最適画像ペアのための集計スコアを含む、請求項１に記載の方法。
26. 前記集計スコアは、２つ以上の別々のスコアの複合物である、請求項２５に記載の方法。
27. 前記２つ以上の別々のスコアは、（１）前記第１の可視光画像のためのスコア、および（２）前記第１の蛍光画像のためのスコアを含む、請求項２６に記載の方法。
28. 前記２つ以上の別々のスコアの複合物は、前記第１の可視光画像のための前記スコアおよび前記第１の蛍光画像のための前記スコアが共に同じ重みを付与されるように、等しく重み付けされる、請求項２７に記載の方法。
29. 前記２つ以上の別々のスコアの複合物は、前記第１の可視光画像のための前記スコアおよび前記第１の蛍光画像のための前記スコアが異なる重みを付与されるように、異なって重み付けされる、請求項２７に記載の方法。
30. 前記第１の可視光画像のための前記スコアは、前記第１の蛍光画像のための前記スコアよりも高い重みを付与される、請求項２９に記載の方法。
31. 前記第１の可視光画像のための前記スコアは、前記第１の蛍光画像のための前記スコアよりも低い重みを付与される、請求項２９に記載の方法。
32. 前記集計スコアは、ある値範囲内にある、請求項２５に記載の方法。
33. 前記２つ以上の別々のスコアは、ある値範囲内にある、請求項２６に記載の方法。
34. 前記第１の可視光画像のための前記スコアおよび前記第１の蛍光画像のための前記スコアは、標準化された値範囲に基づく、請求項２７に記載の方法。
35. 前記組織リモデリングの確率は、前記ほくろ内での黒色腫の発症の確率と関連付けられる、請求項２に記載の方法。
36. 前記評価は、前記ほくろ内での前記黒色腫の発症の確率に基づいて臨床診断または行動指針を決定するために使用可能である、請求項３５に記載の方法。
37. 前記標的領域における前記組織リモデリングの確率または前記黒色腫の発症の確率が１つまたは複数のしきい値よりも大きいとき、前記グラフィックユーザインターフェース上に１つまたは複数の通知を生成するステップをさらに含む、請求項３６に記載の方法。
38. 前記評価は、（１）前記第１の可視光画像内の前記視覚的特徴の第１のセットと関連付けられた指標の第１のセット、および（２）前記第１の蛍光画像内の前記視覚的特徴の第２のセットと関連付けられた指標の第２のセットに少なくとも基づいて生成される、請求項４に記載の方法。
39. 前記指標の第１のセットは、以下：前記ほくろおよびその周りの領域のサイズ、形状、体積、色、または表面性状、のうちの１つまたは複数を含む、請求項３８に記載の方法。
40. 前記指標の第２のセットは、以下：前記対象者の皮膚の真下および前記ほくろの周りの前記標的領域におけるサイズ、形状、組織リモデリングの面積もしくは度合い、画素強度、蛍光強度、パターン、または性状のうちの１つまたは複数を含む、請求項３８に記載の方法。
41. 前記指標の第１のセットまたは前記指標の第２のセットをそれぞれ生成するために、前記第１の可視光画像または前記第１の蛍光画像をセグメント化するステップをさらに含む、請求項３８に記載の方法。
42. 前記第１の蛍光画像をセグメント化するステップは、前記第１の蛍光画像を、前記標的領域の周りの複数の区域へとセグメント化することを含む、請求項４１に記載の方法。
43. 前記複数の区域を複数の小領域へと分割するステップをさらに含む、請求項４２に記載の方法。
44. 前記第１の可視光画像および前記第１の蛍光画像は、調整され、前記最適画像ペア内の座標のセットに整列される、請求項２に記載の方法。
45. 前記第１の可視光画像および前記第１の蛍光画像は、前記第１の可視光画像および前記第１の蛍光画像のうちの少なくとも一方を回転、並進、クロッピング、拡大、および／または縮小することによって調整および整列される、請求項４４に記載の方法。
46. 前記第１の可視光画像および前記第１の蛍光画像は、前記第１の可視光画像および前記第１の蛍光画像の両方に存在する１つまたは複数の基準マーカを使用して調整および整列される、請求項４４に記載の方法。
47. 前記１つまたは複数の基準マーカは、前記第１の可視光画像および前記第１の蛍光画像上で注釈が付けられる、請求項４６に記載の方法。
48. 前記１つまたは複数の基準マーカは、前記第１の可視光画像および前記第１の蛍光画像の両方において可視である、請求項４６に記載の方法。
49. 前記１つまたは複数の基準マーカは、１つまたは複数の英数字を含む、請求項４６に記載の方法。
50. 前記１つまたは複数の基準マーカは、線、縁、点、または二次元形状を含む、請求項４６に記載の方法。
51. 前記１つまたは複数の基準マーカは、前記標的領域内の１つまたは複数の既定の場所に提供される、請求項４６に記載の方法。
52. 前記１つまたは複数の基準マーカは、前記ほくろの場所に対して既定の距離および／または配向で提供される、請求項４６に記載の方法。
53. 前記最適画像ペアを１つまたは複数の参照画像と比較するステップをさらに含む、請求項２に記載の方法。
54. 前記１つまたは複数の参照画像は、参照画像ペアを含む、請求項５３に記載の方法。
55. 参照画像ペアは、（１）前記可視光画像のセットからではない可視光参照画像、および（２）前記蛍光画像のセットからではない蛍光参照画像を含む、請求項５４に記載の方法。
56. 前記最適画像ペアは、基準を含み、前記参照画像ペアは、基準を含まない、請求項５４に記載の方法。
57. 前記最適画像ペアは、前記ほくろに対して既定の場所および／または配向に位置する基準の第１のセットを含み、前記参照画像ペアは、前記参照画像ペア内の各参照画像の境界線の近くに位置する基準のセットを含む、請求項５４に記載の方法。
58. 前記グラフィックユーザインターフェースは、ユーザが前記最適画像ペア内の前記第１の可視光画像または前記第１の蛍光画像の間でトグルする、または切り替えることを可能にするように構成される、請求項１に記載の方法。
59. 前記第１の可視光画像は、前記対象者の皮膚上の前記ほくろに焦点を合わせ、前記第１の蛍光画像は、前記対象者の皮膚の真下の前記ほくろの周りの領域に焦点を合わせる、請求項２に記載の方法。
60. 前記領域は、前記ほくろのサイズよりも少なくとも１．５倍大きい、請求項５９に記載の方法。
61. 前記標的領域の前記複数の画像を取得するステップは、構造化光を使用して、統合された撮像システムをオートフォーカスすること、およびオートフォーカスの後に前記統合された撮像システムを用いて前記複数の画像を捕捉することを含む、請求項１に記載の方法。