JP2023540579A - ポリープの画像を識別するためのシステム及び方法 - Google Patents
ポリープの画像を識別するためのシステム及び方法 Download PDFInfo
- Publication number
- JP2023540579A JP2023540579A JP2023515284A JP2023515284A JP2023540579A JP 2023540579 A JP2023540579 A JP 2023540579A JP 2023515284 A JP2023515284 A JP 2023515284A JP 2023515284 A JP2023515284 A JP 2023515284A JP 2023540579 A JP2023540579 A JP 2023540579A
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- polyp
- polyps
- seed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/041—Capsule endoscopes for imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30028—Colon; Small intestine
- G06T2207/30032—Colon polyp
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30092—Stomach; Gastric
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biomedical Technology (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Pathology (AREA)
- Endoscopes (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
ポリープを含む画像を識別するためのシステム及び方法が開示される。画像を識別する例示的な方法は、カプセル内視鏡デバイスによって捕捉された消化管(GIT)の画像にアクセスすることを含み、画像のうちの各画像は、ポリープを含むことが疑われ、ポリープを含む確率に関連付けられ、画像は、シード画像を含み、各シード画像は、画像のうちの1つ以上の画像に関連付けられる。各シード画像に関連付けられた画像は、関連付けられたシード画像と同じポリープを含む疑いがあるものとして識別される。本方法は、ポリープを含むシード画像を識別するためにシード画像にポリープ検出システムを適用することを含み、ポリープ検出システムは、シード画像に関連付けられた画像と、シード画像及び関連付けられた画像に関連付けられた確率とに基づいて、各シード画像に適用される。
Description
(関連出願の相互参照)
本出願は、2020年9月8日に出願された米国仮特許出願第63/075,795号の利益及び優先権を主張し、その全体が参照により本明細書に組み込まれる。
本出願は、2020年9月8日に出願された米国仮特許出願第63/075,795号の利益及び優先権を主張し、その全体が参照により本明細書に組み込まれる。
(発明の分野)
本開示は、消化管(GIT)の生体内画像の画像分析に関し、より詳細には、GIT内のポリープの画像を識別するためのシステム及び方法に関する。
本開示は、消化管(GIT)の生体内画像の画像分析に関し、より詳細には、GIT内のポリープの画像を識別するためのシステム及び方法に関する。
カプセル内視鏡検査(CE)は、GIT全体を内視鏡検査的に検査することを可能にする。小腸又は結腸などのGITの特定の部分を検査することを目的としたカプセル内視鏡検査システム及び方法が存在する。CEは、患者が病院に入院することを必要としない非侵襲的処置であり、患者は、カプセルが体内にある間に、たいていの日常活動を継続することができる。
典型的なCE処置では、患者は、医師によって処置を紹介される。次いで、患者は、医療施設(例えば診療所又は病院)に到着して、処置を行う。ほぼマルチビタミンのサイズであるカプセルは、医療施設において医療専門家(例えば、看護師又は医師)の監視下で患者によって嚥下され、患者には、ウェアラブルデバイス、例えば、センサベルト、並びに患者の肩の周りに配置されるパウチ及びストラップ内に配置されたレコーダが提供される。ウェアラブルデバイスは、典型的には、記憶デバイスを含む。患者は、案内及び/又は命令を与えられた後、日常活動へと解放されてもよい。
カプセルは、GITを通って自然に移動する際に画像を捕捉する。次いで、画像及び追加のデータ(例えば、メタデータ)が、患者によって装着されたレコーダに送信される。カプセルは、使い捨てであり、腸の運動で自然に進む。処置データ(例えば、捕捉された画像又はそれらの一部分及び追加のメタデータ)は、ウェアラブルデバイスの記憶デバイス上に記憶される。
ウェアラブルデバイスは、典型的には、その上に記憶された処置データと共に、患者によって医療施設に戻される。次いで、処置データは、エンジンソフトウェアが記憶された、医療施設に典型的には位置するコンピューティングデバイスにダウンロードされる。次いで、受信された処置データは、エンジンによって、コンパイルされた調査(又は「検査」)へと処理される。典型的には、調査は、数千の画像(約6,000個)を含む。典型的には、処理される画像の数は、数万個程度、平均で約90,000個である。
リーダ(処置監督医師、専門医師又は担当医師であってもよい)は、リーダアプリケーションを介して、調査にアクセスしてもよい。次いで、リーダは、調査をレビューし、処置を評価し、リーダアプリケーションを介して自身の入力を提供する。リーダは数千の画像をレビューする必要があるため、調査の読み取り時間は、通常、平均で30分~1時間を要することがあり、読み取り作業は面倒なことがある。次いで、コンパイルされた調査及びリーダの入力に基づいて、リーダアプリケーションによって報告が生成される。平均して、報告を生成するために1時間を要する。報告は、例えば、関心のある画像、例えば、リーダによって選択された病態を含むものとして識別された画像と、処置データ(すなわち、調査)並びに/又はリーダによって提供されるフォローアップ及び/若しくは治療のための推奨に基づく患者の医学的状態の評価又は診断とを含んでもよい。次いで、報告を担当医師に転送してもよい。担当医師は、報告に基づいて、必要なフォローアップ又は治療を決定することができる。
更に、矛盾しない範囲内で、本明細書で詳述される態様のいずれか又は全ては、本明細書で詳述される他の態様のいずれか又は全てと共に用いることができる。本開示の態様は、高い信頼度でポリープの画像を識別することに関する。信頼度が高いため、本開示の態様は、識別された画像を人間による促進又は介入なしに自動的に使用すること、及び/又はそのような画像が人間によるレビュー中に見落とされた可能性がある場合に識別された画像を医療専門家に提示すること、及び/又は識別された画像を誤って指定した可能性がある他のツールの決定を無効にすることに関する。
本開示の態様によれば、ポリープを含む画像を識別する本方法は、CE処置中にカプセル内視鏡デバイスによって捕捉された消化管(GIT)の複数の画像にアクセスすることであって、複数の画像の各画像は、ポリープを含む疑いがあり、ポリープを含む確率に関連付けられ、複数の画像はシード画像を含み、各シード画像は複数の画像のうちの1つ以上の画像に関連付けられ、各シード画像に関連付けられた1つ以上の画像は、関連付けられたシード画像と同じポリープを含む疑いがあるものとして識別される、ことと、ポリープを含むシード画像を識別するために、シード画像に対してポリープ検出システムを適用することであって、ポリープ検出システムは、シード画像に関連付けられた1つ以上の画像と、シード画像及び1つ以上の関連付けられた画像に関連付けられた確率とに基づいて、シード画像の各シード画像に適用される、ことと、を含む。
本方法の様々な実施形態において、本方法は、所定のサイズ以上のサイズのポリープを含む複数の画像の画像を識別することを含み、複数の画像の各画像は、各画像に含まれる疑わしいポリープの推定サイズに更に関連付けられ、ポリープ検出システムは、シード画像及びシード画像に関連付けられた1つ以上の画像に関連付けられた推定ポリープサイズに基づいて、シード画像の各シード画像に更に適用される。
本方法の様々な実施形態において、処置は不適切であると判定されて除外され、少なくとも1つのシード画像は、所定のサイズ以上のサイズのポリープを含むか、又は所定のサイズ以上のサイズの所定の数のポリープを含むと識別され、方法は、処置の除外を無効にすることを含む。
本方法の様々な実施形態において、ポリープ検出システムは、1つ以上のポジティブフィルタ、1つ以上のネガティブフィルタ、1つ以上の古典的機械学習システム、又はそれらの組み合わせのうちの少なくとも1つを含む。
本方法の様々な実施形態において、本方法では、1つ以上の古典的機械学習システム、1つ以上のポジティブフィルタ、又は1つ以上のネガティブフィルタへの入力は、ポリープを含有するシード画像確率、シード画像に関連付けられた画像の数、所定の閾値によるポリープを含有する確率を有するシード画像に関連付けられた画像の数、又はそれらの組み合わせのうちの少なくとも1つを含む。
本方法の様々な実施形態において、各シード画像に関連付けられた1つ以上の画像は、隣接する画像内の各シード画像に含まれる疑わしいポリープを追跡するトラッカを適用することによって、又はシード画像を隣接する画像と比較する分類システムを使用することによって決定される。
本方法の様々な実施形態において、本方法では、消化管(GIT)のアクセスされた複数の画像は、CE処置調査の画像である。
本方法の様々な実施形態において、本方法は、複数の画像からシード画像を選択することを含む。
本方法の様々な実施形態において、本方法は、ポリープを含むと識別されたシード画像に基づいて、大腸内視鏡検査処置を受けるCE処置を参照するようにCE処置担当医師に指示を提供することを含む。
本方法の様々な実施形態において、本方法は、複数の画像の各画像について、画像に対応する入力特徴に基づいて、画像がポリープを含む確率を提供するように構成された古典的機械学習システムを適用することと、画像に対応する古典的機械学習システムのソフトマージンにアクセスすることと、人間の介入なしに、複数の画像のソフトマージンに基づいて、大腸内視鏡検査を推奨するかどうかを決定することと、を含む。
本方法の様々な実施形態において、本方法は、ポリープを含む画像の確率に対するソフトマージンのマッピングにアクセスすることを含み、大腸内視鏡検査を推奨するか否かを決定することは、ポリープを含む画像の確率に対するソフトマージンのマッピングに更に基づく。
本方法の様々な実施形態において、本方法は、複数の画像の各画像について、画像の推定ポリープサイズにアクセスすることであって、推定ポリープサイズは、画像に基づいて生成される、ことと、少なくとも所定のサイズである実際のポリープサイズの確率に対する推定ポリープサイズのマッピングにアクセスすることと、を含み、大腸内視鏡検査を推奨するかどうかの決定は、推定ポリープサイズと、少なくとも所定のサイズである実際のポリープサイズの確率に対する推定ポリープサイズのマッピングとに更に基づく。
本方法の様々な実施形態において、本方法は、ポリープを含むと識別されたシード画像を表示することを含む。
本方法の様々な実施形態において、本方法は、ポリープを含むと識別されたシード画像に基づいて治療推奨を提供することを含む。
本方法の様々な実施形態において、本方法は、シード画像を表示し、ポリープを含むと識別されたシード画像を示すことを含む。
本方法の様々な実施形態において、本方法は、少なくともシード画像をユーザに表示することと、表示された画像の中から画像のユーザ選択を受信することと、ユーザによって選択されておらず、ポリープを含むと識別されたシード画像の中にある少なくとも1つの選択されていない画像を決定することと、少なくとも1つの選択されていない画像をユーザに提示することと、を含む。
本方法の様々な実施形態において、ユーザによって選択された画像は、CE処置報告に含まれるように選択された画像である。
本方法の様々な実施形態において、本方法では、少なくとも1つの選択されていない画像をユーザに提示することは、報告を生成する要求が受信されると実行される。
本開示の態様によれば、画像を識別するための方法は、カプセル内視鏡デバイスによって捕捉された消化管(GIT)の複数の画像にアクセスすることであって、複数の画像はポリープを含む可能性を有する、ことと、少なくとも1つのフィルタを複数の画像に適用することであって、少なくとも1つのフィルタは、ポリープを含むものとして指定する画像を識別するように構成されたポジティブフィルタ、又はポリープを含むものとして指定しない画像を識別するように構成されたネガティブフィルタのうちの少なくとも1つを含む、ことと、少なくとも1つのフィルタによって識別された複数の画像のうちの少なくとも1つの画像、又は少なくとも1つのフィルタによって識別されなかった複数の画像のうちの少なくとも1つの画像、のうちの少なくとも1つに基づいて情報を提供することと、を含む。
本方法の様々な実施形態において、ネガティブフィルタは、画像がGITの身体出口部分の画像であることに基づいて、ポリープを含むものとして指定されない画像を識別するように構成される。
本方法の様々な実施形態において、ネガティブフィルタは、回盲弁又は痔静脈叢のうちの少なくとも1つの画像であると評価される画像に基づいて、ポリープを含むものとして指定されない画像を識別するように構成される。
本方法の様々な実施形態において、ネガティブフィルタは、推定ポリープサイズが閾値サイズ未満であるポリープを含むと評価されている画像に基づいて、ポリープを含むものとして指定しない画像を識別するように構成される。
本方法の様々な実施形態において、本方法は、複数の画像の各画像に対して、画像の画像のトラックにアクセスすることを更に含む。
本方法の様々な実施形態において、ネガティブフィルタは、閾値を超えるポリープ存在確率を有する画像を1つだけ有する画像についての画像のトラックに基づいて、ポリープを含むものとして指定されない画像を識別するように構成される。
本方法の様々な実施形態において、ポジティブフィルタは、画像のトラックに基づいてポリープを含むものとして指定する画像を識別するように構成される。
本方法の様々な実施形態において、ポジティブフィルタは、閾値を上回るポリープ存在確率を有する少なくとも閾値数の画像を有する画像に対する画像のトラックに基づいて、ポリープを含むものとして指定する画像を識別するように構成される。
本開示の態様によれば、画像を識別するためのシステムは、1つ以上のプロセッサと、命令を記憶する少なくとも1つのメモリとを含む。1つ以上のプロセッサによって実行されると、命令は、システムに、カプセル内視鏡デバイスによって捕捉された消化管(GIT)の複数の画像にアクセスさせ、複数の画像はポリープを含む可能性を有し、少なくとも1つのフィルタを複数の画像に適用させ、少なくとも1つのフィルタは、ポリープを含むものとして指定する画像を識別するように構成されたポジティブフィルタ、又はポリープを含むものとして指定しない画像を識別するように構成されたネガティブフィルタのうちの少なくとも1つを含み、少なくとも1つのフィルタによって識別された複数の画像のうちの少なくとも1つの画像、又は少なくとも1つのフィルタによって識別されなかった複数の画像のうちの少なくとも1つの画像、のうちの少なくとも1つに基づいて情報を提供させる。
本システムの様々な実施形態において、ネガティブフィルタは、画像がGITの身体出口部分の画像であることに基づいて、ポリープを含むものとして指定されない画像を識別するように構成される。
本システムの様々な実施形態において、ネガティブフィルタは、回盲弁又は痔静脈叢のうちの少なくとも1つの画像であると評価される画像に基づいて、ポリープを含むものとして指定されない画像を識別するように構成される。
本システムの様々な実施形態において、ネガティブフィルタは、推定ポリープサイズが閾値サイズ未満であるポリープを含むと評価されている画像に基づいて、ポリープを含むものとして指定しない画像を識別するように構成される。
本システムの様々な実施形態において、命令は、1つ以上のプロセッサによって実行されると、システムに更に、複数の画像の各画像について、画像の画像のトラックにアクセスさせる。
本システムの様々な実施形態において、ネガティブフィルタは、閾値を超えるポリープ存在確率を有する画像を1つだけ有する画像についての画像のトラックに基づいて、ポリープを含むものとして指定されない画像を識別するように構成される。
本システムの様々な実施形態において、ポジティブフィルタは、画像のトラックに基づいてポリープを含むものとして指定する画像を識別するように構成される。
本システムの様々な実施形態において、ポジティブフィルタは、閾値を上回るポリープ存在確率を有する少なくとも閾値数の画像を有する画像に対する画像のトラックに基づいて、ポリープを含むものとして指定する画像を識別するように構成される。
本開示の態様によれば、画像を識別するための方法は、カプセル内視鏡デバイスによって捕捉された消化管(GIT)の複数の画像にアクセスすることであって、複数の画像はポリープを含む可能性を有する、ことと、複数の画像の各画像について、画像に対応する入力特徴に基づいて、画像がポリープを含むかポリープを含まないかの指示を提供するように構成された古典的機械学習システムを適用することと、信頼閾値を満たす、ポリープを含む古典的機械学習システムによって提供される指示を有する複数の画像のうちの少なくとも1つの画像に基づいて、情報を提示することと、を含む。
本方法の様々な実施形態において、本方法は、複数の画像の各画像に対して、画像の画像のトラックにアクセスすることを更に含む。
本方法の様々な実施形態において、画像に対応する入力特徴は、画像のトラックのトラック長、又は閾値を上回るポリープ存在スコアを有する画像のトラック内の画像の数のうちの少なくとも1つを含む。
本方法の様々な実施形態において、画像に対応する入力特徴は、画像のインデックスと回盲弁の画像のインデックスとの間のインデックス差を含む。
本方法の様々な実施形態において、画像に対応する入力特徴は、画像が捕捉された結腸区分の区分番号を含む。
本方法の様々な実施形態において、古典的機械学習分類器は、多項式サポートベクトルマシンである。
本開示の態様によれば、画像を識別するためのシステムは、1つ以上のプロセッサと、命令を記憶する少なくとも1つのメモリとを含む。命令は、1つ以上のプロセッサによって実行されると、システムに、カプセル内視鏡デバイスによって捕捉された消化管(GIT)の複数の画像にアクセスさせ、複数の画像はポリープを含む可能性を有し、複数の画像の各画像について、画像に対応する入力特徴に基づいて、画像がポリープを含むかポリープを含まないかの指示を提供するように構成された古典的機械学習システムを適用させ、信頼閾値を満たす、ポリープを含む古典的機械学習システムによって提供される指示を有する複数の画像のうちの少なくとも1つの画像に基づいて、情報を提示させる。
本システムの様々な実施形態において、命令は、1つ以上のプロセッサによって実行されると、システムに更に、複数の画像の各画像について、画像の画像のトラックにアクセスさせる。
本システムの様々な実施形態において、画像に対応する入力特徴は、画像のトラックのトラック長、又は閾値を上回るポリープ存在スコアを有する画像のトラック内の画像の数のうちの少なくとも1つを含む。
本システムの様々な実施形態において、画像に対応する入力特徴は、画像のインデックスと回盲弁の画像のインデックスとの間のインデックス差を含む。
本システムの様々な実施形態において、画像に対応する入力特徴は、画像が捕捉された結腸区分の区分番号を含む。
本システムの様々な実施形態において、古典的機械学習分類器は、多項式サポートベクトルマシンである。
本開示の態様によれば、画像を識別するための方法は、カプセル内視鏡デバイスによって捕捉された消化管(GIT)の複数の画像にアクセスすることであって、複数の画像はポリープを含む可能性を有する、ことと、少なくとも1つのフィルタを複数の画像に適用することであって、少なくとも1つのフィルタは、ポリープを含むものとして指定する画像を識別するように構成されたポジティブフィルタ、又はポリープを含むものとして指定しない画像を識別するように構成されたネガティブフィルタのうちの少なくとも1つを含む、ことと、少なくとも1つのフィルタによって識別されなかった少なくとも1つの画像を複数の画像から選択することによって、少なくとも1つのフィルタリングされていない画像を提供することと、少なくとも1つのフィルタリングされていない画像の各フィルタリングされていない画像について、フィルタリングされていない画像に対応する入力特徴に基づいて、フィルタリングされていない画像がポリープを含むかポリープを含まないかの指示を提供するように構成された古典的機械学習システムを適用することと、信頼閾値を満たす、ポリープを含む古典的機械学習システムによって提供される指示を有する少なくとも1つのフィルタリングされていない画像のうちの少なくとも1つの画像に基づいて、情報を提示することと、を含む。
本方法の様々な実施形態において、本方法は、人間の介入なしに、臨床医に提示するカプセル内視鏡報告を生成することを更に含み、カプセル内視鏡報告は、信頼閾値を満たす、ポリープを含む古典的機械学習システムによって提供される、指示を有する少なくとも1つのフィルタリングされていない画像のうちの少なくとも1つの画像、又はポジティブフィルタによって識別される少なくとも1つの画像のうちの少なくとも一方を含む。
本方法の様々な実施形態において、本方法は、複数の画像の中から画像のユーザ選択を受信することと、ユーザによって選択されなかった、かつ信頼閾値を満たす、ポリープを含む古典的機械学習システムによって提供される指示を有する少なくとも1つのフィルタリングされていない画像のうちの少なくとも1つの画像の中の、少なくとも1つの選択されていない画像を決定することと、少なくとも1つの選択されていない画像をユーザに提示することと、を更に含む。
本開示の態様によれば、画像を識別するためのシステムは、1つ以上のプロセッサと、命令を記憶する少なくとも1つのメモリとを含む。命令は、1つ以上のプロセッサによって実行されると、システムに、カプセル内視鏡デバイスによって捕捉された消化管(GIT)の複数の画像にアクセスさせ、複数の画像はポリープを含む可能性を有し、少なくとも1つのフィルタを複数の画像に適用させ、少なくとも1つのフィルタは、ポリープを含むものとして指定する画像を識別するように構成されたポジティブフィルタ、又はポリープを含むものとして指定しない画像を識別するように構成されたネガティブフィルタのうちの少なくとも1つを含み、少なくとも1つのフィルタによって識別されなかった少なくとも1つの画像を複数の画像から選択することによって、少なくとも1つのフィルタリングされていない画像を提供させ、少なくとも1つのフィルタリングされていない画像の各フィルタリングされていない画像について、フィルタリングされていない画像に対応する入力特徴に基づいて、フィルタリングされていない画像がポリープを含むかポリープを含まないかの指示を提供するように構成された古典的機械学習システムを適用させ、信頼閾値を満たす、ポリープを含む古典的機械学習システムによって提供される指示を有する少なくとも1つのフィルタリングされていない画像のうちの少なくとも1つの画像に基づいて、情報を提示させる。
本システムの様々な実施形態において、命令は、1つ以上のプロセッサによって実行されると、更に、システムに、人間の介入なしに、臨床医に提示するためのカプセル内視鏡報告を生成させ、カプセル内視鏡報告は、古典的機械学習システムによって提供される、ポリープを含有する指示を有する、少なくとも1つのフィルタリングされていない画像のうちの少なくとも1つの画像であって、信頼閾値を満たす、画像、又はポジティブフィルタによって識別される少なくとも1つの画像のうちの少なくとも1つを含む。
本システムの様々な実施形態において、命令は、1つ以上のプロセッサによって実行されると、更に、システムに、複数の画像のうちの画像のユーザ選択を受信させ、ユーザによって選択されなかった、かつ信頼閾値を満たす、ポリープを含む古典的機械学習システムによって提供される指示を有する少なくとも1つのフィルタリングされていない画像のうちの少なくとも1つの画像の中の、少なくとも1つの選択されていない画像を決定させ、少なくとも1つの選択されていない画像をユーザに提示させる。
本開示の態様によれば、大腸内視鏡検査を推奨するためのコンピュータ実施方法は、カプセル内視鏡デバイスによって捕捉された消化管(GIT)の複数の画像にアクセスすることであって、複数の画像はポリープを含む可能性を有する、ことと、複数の画像の各画像について、画像に対応する入力特徴に基づいて、画像がポリープを含むかポリープを含まないかの指示を提供するように構成された古典的機械学習システムを適用することと、画像に対応する古典的機械学習システムのソフトマージンにアクセスすることと、人間の介入なしに、複数の画像のソフトマージンに基づいて、大腸内視鏡検査を推奨するかどうかを決定することと、を含む。
本方法の様々な実施形態において、本方法は、ポリープを含む画像の確率に対するソフトマージンのマッピングにアクセスすることを更に含み、大腸内視鏡検査を推奨するか否かを決定することは、ポリープを含む画像の確率に対するソフトマージンのマッピングに更に基づく。
本方法の様々な実施形態において、本方法は、複数の画像の各画像について、画像の推定ポリープサイズにアクセスすることであって、推定ポリープサイズは、画像に基づいて生成される、ことと、少なくとも所定のサイズである実際のポリープサイズの確率に対する推定ポリープサイズのマッピングにアクセスすることと、を更に含み、大腸内視鏡検査を推奨するかどうかの決定は、推定ポリープサイズと、少なくとも所定のサイズである実際のポリープサイズの確率に対する推定ポリープサイズのマッピングとに更に基づく。
本開示の態様によれば、大腸内視鏡検査を推奨するためのシステムは、1つ以上のプロセッサと、命令を記憶する少なくとも1つのメモリとを含む。命令は、1つ以上のプロセッサによって実行されると、システムに、カプセル内視鏡デバイスによって捕捉された消化管(GIT)の複数の画像にアクセスさせ、複数の画像はポリープを含む可能性を有し、複数の画像の各画像について、画像に対応する入力特徴に基づいて、画像がポリープを含むかポリープを含まないかの指示を提供するように構成された古典的機械学習システムを適用させ、画像に対応する古典的機械学習システムのソフトマージンにアクセスさせ、人間の介入なしに、複数の画像のソフトマージンに基づいて、大腸内視鏡検査を推奨するかどうかを決定させる。
本システムの様々な実施形態において、命令は、1つ以上のプロセッサによって実行されると、システムに更に、ポリープを含む画像の確率に対するソフトマージンのマッピングにアクセスさせ、大腸内視鏡検査を推奨するか否かを決定することは、ポリープを含む画像の確率に対するソフトマージンのマッピングに更に基づく。
本システムの様々な実施形態において、命令は、1つ以上のプロセッサによって実行されると、システムに更に、複数の画像の各画像について、画像の推定ポリープサイズにアクセスさせ、推定ポリープサイズは、画像に基づいて生成され、少なくとも所定のサイズである実際のポリープサイズの確率に対する推定ポリープサイズのマッピングにアクセスさせ、大腸内視鏡検査を推奨するかどうかの決定は、推定ポリープサイズと、少なくとも所定のサイズである実際のポリープサイズの確率に対する推定ポリープサイズのマッピングとに更に基づく。
本開示の上述及びその他の態様並びに特徴は、添付の図面と共に以降の詳細な説明を考慮することでより明白となる。添付の図面において、同様の参照符号は類似又は同一の要素を識別する。
本開示は、カプセル内視鏡検査(CE)デバイスによって生体内で捕捉されたポリープの画像を高い信頼度で識別するためのシステム及び方法に関する。信頼度が高いため、本開示の態様は、識別された画像を人間による促進又は介入なしに自動的に使用すること、及び/又はそのような画像が人間によるレビュー中に見落とされた可能性がある場合に識別された画像を医療専門家に提示すること、及び/又は識別された画像を誤って指定した可能性がある他のツールの決定を無効にすることに関する。様々な態様では、対象画像についての決定は、画像「トラック」の情報など、対象画像に関連する画像の情報を使用し、これについては本明細書において後でより詳細に説明する。様々な態様では、対象画像についての決定は、全ての画像が等しく考慮されるわけではないような重みを使用する。本開示の態様は、比較的高い感度及び特定性を受け取るために、分類/検出における深層学習機械学習を伴い、本開示の態様は、結果を最適化し、感度及び/又は特定性を増加させるために、ヒューリスティック及び/又は「古典的」機械学習(後で定義される)を使用する。
次の詳細な説明では、本開示の完全な理解を与えるために、特定の詳細が記載される。しかしながら、当業者であれば、本開示が、これらの特定の詳細を伴わなくても実施され得ることを理解するであろう。他の例では、よく知られた方法、処置、及び構成要素は、本開示を不明瞭にしないように詳細には説明されていない。あるシステムに関して記載されるいくつかの特徴又は要素は、他のシステムに関して記載される特徴又は要素と組み合わされてもよい。明確にするために、同じ又は同様の特徴若しくは要素の説明は、繰り返さない場合がある。
本開示は、この点に関して限定されるものではないが、例えば、「処理する」、「計算する」、「算出する」、「決定する」、「確立する」、「分析する」、「確認する」などの用語を利用した説明は、コンピュータ、コンピューティングプラットフォーム、コンピューティングシステム、又は他の電子コンピューティングデバイスの動作(単数又は複数)及び/又はプロセス(単数又は複数)を指す場合があり、これらの装置は、コンピュータのレジスタ及び/又はメモリ内の物理(例えば、電子)量として表されるデータを、コンピュータのレジスタ及び/又はメモリ内の物理量として同様に表される他のデータ、若しくは動作及び/又はプロセスを行う命令を保存し得る非一時的保存媒体内の他の情報に操作及び/又は変換する。本開示は、この点に関して限定されるものではないが、本明細書で使用するとき、「複数(plurality)」及び「複数(a plurality)」は、例えば、「複数(multiple)」又は「2つ以上」を含み得る。「複数(plurality)」又は「複数(a plurality)」という用語は、2つ以上の構成要素、デバイス、要素、ユニット、パラメータなどを説明するために、本明細書全体を通して使用され得る。本明細書で使用するとき、用語セットは、1つ以上の品目を含み得る。別段の記載がない限り、本明細書に記載される方法は、特定の順番又は順序に限定されるものではない。加えて、記載される方法又はその要素のいくつかは、同時に、同じ時点において、又は共に起こるか、行うことができる。
「位置」という用語及びその派生語は、画像に関して本明細書で言及されるように、画像を捕捉している間のGIT(例えば、結腸)に沿ったカプセルの推定位置、又はGITに沿って画像に散りばめられたGITの部分の推定位置を指すことがある。
CE処置の種類は、とりわけ、関心部分であり、かつ、撮像されるGITの部分(例えば、結腸)に基づいて、又は特定の使用(例えば、クローン病などのGl疾患の状態を確認するため、あるいは結腸癌のスクリーニングのために)に基づいて決定されてもよい。
本明細書では、スクリーン(単数又は複数)、ビュー(単数又は複数)、及びディスプレイ(単数又は複数)という用語は、互換的に使用されてもよく、特定の文脈に従って理解されてもよい。
「周囲の」又は「隣接する」という用語は、本明細書では画像(例えば、別の画像(単数又は複数)を取り囲む画像、若しくは他の画像(単数又は複数)に隣接する画像)に関して言及されるように、特に指示がない限り、空間的及び/又は時間的特性に関し得る。例えば、他の画像(単数又は複数)の画像を取り囲むか又はそれらに隣接する画像は、GITに沿って他の画像(単数又は複数)の画像の付近に位置すると推定される画像、及び/若しくは特定の閾値内、例えば、1cm、又は2cm以内、若しくは1秒、5秒、あるいは10秒以内の別の画像の捕捉時間の付近で捕捉された画像であってもよい。
「GIT」及び「GITの一部分」という用語は、それらの文脈に従って、各々他方を指すか、又は他方を含んでもよい。したがって、「GITの一部分」という用語はまた、GIT全体を指してもよく、「GIT」という用語はまた、GITの一部分のみを指してもよい。
「画像」及び「フレーム」という用語は、各々他方を指すか又は含むことができ、撮像デバイスによる単一の捕捉を指すために本開示では互換的に使用され得る。便宜上、「画像」という用語は、本開示ではより頻繁に使用され得るが、画像への言及はフレームにも適用されるものと理解されるであろう。
「古典的機械学習」という用語は、機械学習の入力に対する特徴選択又は特徴エンジニアリングを伴う機械学習を指す。
「ソフトマージン」という用語は、例と分類器の分離超平面/分類境界との間の距離に関連する、分類器(例えば、古典的機械学習アルゴリズム)の連続出力を指し得る。ソフトマージンを使用して、分類器がその決定においてどれくらい確かであるかを評価することができる。ソフトマージンの絶対値が高いほど、分類境界から遠く、その決定においてより確実である。「ハードマージン」という用語は、ソフトマージンに閾値(例えば、0)を適用し、各例がどのクラスに属するかを決定することから生じる分類決定を指すことがある。
「臨床医」という用語は、消化器内科医、主治医、又は担当医師等の任意の医師を含む、任意の医療提供者又は医療専門家を指し得る。
図1を参照すると、GIT100の図が示されている。GIT100は、ヒト及び他の動物内の器官系である。GIT100は、一般に、食物を取り込むための口102、唾液を生成するための唾液腺104、収縮によって補助されて食物が通過する食道106、食物の消化を補助するための酵素及び胃酸を分泌するための胃108、肝臓110、胆嚢112、膵臓114、栄養素を吸収するための小腸(small intestine)/小腸116(「SB」)、並びに水及び排便の前に排泄物を糞便として貯蔵するための結腸400(例えば、大腸)を含む。結腸400は一般に、虫垂402、直腸428、及び肛門430を含む。口から取り込まれた食物は、GITによって消化されて栄養素を取り込み、残りの老廃物は肛門430から糞便として排出される。
GIT100の異なる部分(例えば、結腸400、食道106、及び/又は胃108)の調査は、適切なユーザインタフェースを介して提示され得る。上記のように、「調査」という用語は、特定の患者及び特定の時間に対して実行される単一のCE処置中に、CE撮像デバイス(例えば、212、図2)によって捕捉された画像から選択される画像の少なくともセットを指し、かつ含み、任意選択的に、画像以外の情報も含むことができる。実行される処置の種類は、GIT100のどの部分が関心部分であるかを決定することができる。実施される処置の種類の例としては、限定されないが、小腸処置、結腸処置、小腸及び結腸処置、小腸を特異的に呈する若しくは確認することを目的とする処置、結腸を特異的に呈する若しくは確認することを目的とする処置、結腸及び小腸を特異的に呈する若しくは確認することを目的とする処置、又はGIT全体:食道、胃、SB、及び結腸を呈する若しくは確認するための処置が挙げられる。
図2は、CE処置を介して生体内で捕捉された医用画像を分析するためのシステムのブロック図を示す。システムは、概して、GITの画像を取り込むように構成されたカプセルシステム210と、捕捉された画像を処理するように構成されたコンピューティングシステム300(例えば、ローカルシステム及び/又はクラウドシステム)とを含む。
カプセルシステム210は、CE撮像デバイス212がGITを通って移動するときにGITの画像を捕捉するように構成された嚥下式CE撮像デバイス212(例えば、カプセル)を含むことができる。画像は、CE撮像デバイス212に記憶されてもよく、及び/又は典型的にはアンテナを含む受信デバイス214に送信されてもよい。いくつかのカプセルシステム210では、受信デバイス214は、CE撮像デバイス212を飲み込んだ患者上に配置されてもよく、例えば、患者によって着用されるベルト又は患者に固定されるパッチの形態をとってもよい。
カプセルシステム210は、コンピューティングシステム300と通信可能に結合されてもよく、捕捉された画像をコンピューティングシステム300に通信することができる。コンピューティングシステム300は、他の技術の中でもとりわけ、画像処理技術、機械学習技術、及び/又は信号処理技術を使用して、受信された画像を処理し得る。コンピューティングシステム300は、患者及び/又は患者の治療施設にとってローカルなローカルコンピューティングデバイス、クラウドサービスによって提供されるクラウドコンピューティングプラットフォーム、又はローカルコンピューティングデバイスとクラウドコンピューティングプラットフォームとの組み合わせを含むことができる。
コンピューティングシステム300がクラウドコンピューティングプラットフォームを含む場合、カプセルシステム210によって捕捉された画像は、クラウドコンピューティングプラットフォームにオンラインで送信され得る。様々な実施形態では、画像は、患者によって装着又は携行される受信デバイス214を介して伝送されることができる。様々な実施形態では、画像は、患者のスマートフォンを介して、又はインターネットに接続され、CE撮像デバイス212又は受信デバイス214と結合され得る任意の他のデバイスを介して伝送されることができる。
図3は、本開示の画像分析システムと共に使用され得る例示的なコンピューティングシステム300のブロック図を示す。コンピューティングシステム300は、例えば、1つ以上の中央処理装置プロセッサ(単数又は複数)(central processing unit、CPU)、1つ以上のグラフィック処理装置(単数又は複数)(Graphics Processing Unit、GPU若しくはGPGPU)、チップあるいは任意の好適なコンピューティング又は計算デバイス、オペレーティングシステム215、メモリ320、記憶装置330、入力デバイス335、及び出力デバイス340であり得るか、若しくはこれらを含み得る、プロセッサ又はコントローラ305を含んでもよい。CE撮像デバイス212(図2)が収集した医用画像を表示するために収集又は受信(例えば、患者が装着した受信機)若しくは表示あるいは選択するモジュール又は機器(例えば、ワークステーション)は、図3に示されるコンピューティングシステム300であってもよく、若しくはそれを含んでもよく、あるいはそれによって実行されてもよい。コンピューティングシステム300の通信構成要素322は、例えば、インターネット若しくは別のネットワークを介して、無線を介して、又はファイル転送プロトコル(FTP)等の好適なネットワークプロトコルを介して、遠隔又は外部デバイスとの通信を可能にし得る。
コンピューティングシステム300は、コンピューティングシステム300の動作の調整、スケジューリング、調停、監督、制御、又は管理、例えばプログラムの実行のスケジューリングを含むタスクを実行するように設計及び/又は構成された任意のコード区分であり得る、又は含み得るオペレーティングシステム315を含む。メモリ320は、例えば、ランダムアクセスメモリ(Random Access Memory、RAM)、読み出し専用メモリ(read only memory、ROM)、ダイナミックRAM(Dynamic RAM、DRAM)、シンクロナスDRAM(Synchronous DRAM、SD-RAM)、ダブルデータレート(double data rate、DDR)メモリチップ、フラッシュメモリ、揮発性メモリ、不揮発性メモリ、キャッシュメモリ、バッファ、短期メモリ装置、長期メモリ装置、又は他の好適なメモリ装置若しくは記憶装置であってもよいし、あるいはそれらを含んでもよい。メモリ320は、複数のメモリ装置、場合によっては異なるメモリ装置であってもよいし、又はそれらを含んでもよい。メモリ320は、例えば、方法(例えば、実行可能コード325)を実行するための命令、及び/又はユーザ応答、割り込みなどのデータを保存してもよい。
実行可能コード325は、任意の実行可能コード、例えば、アプリケーション、プログラム、プロセス、タスク、又はスクリプトであってもよい。実行可能コード325は、場合によってはオペレーティングシステム315の制御下で、コントローラ305によって実行されてもよい。例えば、実行可能コード325が実行されると、本明細書に記載されるような医用画像の表示のために表示又は選択させてもよい。いくつかのシステムでは、2つ以上の計算システム300又はコンピューティングシステム300の構成要素は、本明細書に記載される複数の機能に使用されてもよい。本明細書に記載される様々なモジュール及び機能のために、1つ以上のコンピューティングシステム300又はコンピューティングシステム300の構成要素を使用してもよい。コンピューティングシステム300に含まれる構成要素と同様又は異なる構成要素を含むデバイスを使用してもよく、ネットワークに接続され、システムとして使用されてもよい。1つ以上のプロセッサ(単数又は複数)305は、例えば、ソフトウェア又はコードを実行することによって、本発明の実施形態を実行するように構成されてもよい。記憶装置330は、例えば、ハードディスクドライブ、フロッピー(登録商標)ディスクドライブ、コンパクトディスク(Compact Disk、CD)ドライブ、書き込み可能なCD(CD-Recordable、CD-R)ドライブ、ユニバーサルシリアルバス(universal serial bus、USB)デバイス、又は他の好適な取り外し可能及び/若しくは固定記憶装置であってもよいし、あるいはそれらを含んでもよい。命令、コード、医用画像、画像ストリームなどのデータは、記憶装置330に保存されてもよく、記憶装置330からメモリ320にロードされてもよく、コントローラ305によって処理されてもよい。いくつかの実施形態では、図3に示す構成要素のいくつかを省略してもよい。
入力デバイス335は、例えば、マウス、キーボード、タッチスクリーン若しくはパッド、又は任意の好適な入力デバイスであってもよいし、あるいはそれらを含んでもよい。任意の好適な数の入力デバイスがコンピューティングシステム300に動作可能に接続され得ることが認識されるであろう。出力デバイス340は、1つ以上のモニタ、スクリーン、表示装置、スピーカ、及び/又は任意の他の好適な出力デバイスを含んでもよい。ブロック340で示すように、任意の好適な数の出力デバイスがコンピューティングシステム300に動作可能に接続され得ることが認識されるであろう。任意の適用可能な入力/出力(I/O)デバイスは、コンピューティングシステム300、例えば、有線又は無線ネットワークインタフェースカード(network interface card、NIC)、モデム、プリンタ、若しくはファクシミリ装置に接続されてもよく、ユニバーサルシリアルバス(USB)デバイス、あるいは外部ハードドライブは、入力デバイス335及び/又は出力デバイス340に含まれてもよい。
図3に示される構成要素の一部又は全部を含む複数のコンピュータシステム300が、説明されるシステム及び方法と共に使用され得る。例えば、CE撮像デバイス212、受信機、クラウドベースのシステム、及び/又は画像を表示するためのワークステーション若しくはポータブルコンピューティングデバイスは、図3のコンピュータシステムの構成要素の一部又は全てを含むことができる。図3のコンピューティングシステム300のような構成要素を含むクラウドプラットフォーム(例えば、リモートサーバ)は、画像及びメタデータなどの処置データを受信し、調査を処理並びに生成してもよく、また、医者のレビューのために(例えば、ワークステーション又は携帯コンピュータ上で実行されるウェブブラウザ上に)表示してもよい。「オンプレミス」オプションでは、画像及び/又は調査を保存、処理、及び表示するために、医療施設のワークステーション又はローカルサーバを使用してもよい。
本開示のいくつかの実施形態によれば、ユーザ、例えば、医師は、対象となり得る画像として、例えば、自動的に選択された(例えば、CE撮像デバイス212が捕捉した)調査、例えば画像の表示をレビューすることによって、症例の理解を構築してもよい。本開示のいくつかのシステムによれば、捕捉した画像からの比較的少数枚の画像が、ユーザのレビューのために、症例ごとに表示される。「比較的少数枚」とは、典型的には、症例ごとに数千枚もの画像(例えば、約6,000枚の画像)を含む画像の映像ストリームを表示する現在の方法とは対照的に、多くても又は少なくとも平均でおよそ数百枚であることを意味する。いくつかのシステムでは、ユーザのレビューのために、数百枚までの画像のみが表示される。いくつかのシステムでは、ユーザのレビューのために表示される画像の枚数は、およそ1,000枚までである。数千枚の画像の映像ストリームをブラウジング又はレビューすることとは対照的に、比較的少量の静止画像をブラウジングすることにより、ユーザのレビュープロセスが大幅に容易になり、症例ごとの読み取り時間が短縮され、より良好な診断がもたらされ得る。調査を表示するための例示的ユーザインタフェースの態様は、参照することによってその全体として本明細書に組み込まれる、「Systems and Methods for Generating and Displaying a Study of a Stream of In-Vivo Images」と題された同時係属の国際特許出願公開第WO/2020/079696号に説明されている。コンピューティングシステム300及びカプセルシステム(210、図2)の他の態様は、「Systems and Methods For Capsule Endoscopy Procedure」と題された同時係属中の米国仮特許出願第62/867,050号に記載されており、その全体が参照により本明細書に組み込まれる。
図4を参照すると、結腸400の図が示されている。結腸400は水を吸収し、残りの老廃物は排便によって除去される前に糞便として貯蔵される。結腸400は、例えば、5つの解剖学的区分:盲腸404、右又は上行結腸410、横行結腸416、左又は下行結腸422(例えば、左結腸-S字結腸424)、及び直腸428に分割され得る。
回腸408は、小腸の最後の部分であり、盲腸404に通じており、回盲弁(ICV)406と呼ばれる筋弁によって盲腸404から分離されている。盲腸404は、結腸400の最初の部分である。盲腸404は、虫垂402を含む。結腸400の次の部分は上行結腸410である。上行結腸410は、盲腸404によって小腸に接続されている。上行結腸410は、腹腔を通って横行結腸416に向かって上方に延びる。
横行結腸416は、右結腸曲414(肝臓による結腸400の曲がり)としても知られる肝湾曲部から、左結腸曲418(脾臓による結腸400の曲がり)としても知られる脾湾曲部までの結腸400の一部である。横行結腸416は胃から垂れ下がり、大網と呼ばれる腹膜の大きなひだによって胃に付着している。後側では、横行結腸416は、横行結腸間膜として知られる腸間膜によって後腹壁に接続される。
下行結腸422は、左結腸曲418からs字結腸426の始まりまでの結腸400の部分である。消化器系における下行結腸422の1つの機能は、直腸に排出される糞便を貯蔵することである。下行結腸422は、近位腸よりも消化管に沿って遠くにあるので、遠位腸とも呼ばれる。腸管内菌叢は、一般に、この領域において非常に密である。S字結腸426は、下行結腸422の後で直腸428の前の結腸400の部分である。sigmoidという名称はS字型を意味する。S字結腸426の壁は筋肉であり、収縮して結腸400内の圧力を増加させ、大便を直腸428内に移動させる。S字結腸426には、S字動脈のいくつかの枝(通常2~6本)から血液が供給される。
直腸428は結腸400の最後の部分である。直腸428は、形成された糞便を保持し、排便による排除を待つ。
CE撮像デバイス212(図2)は、結腸400の内部を撮像するために使用されてもよい。小腸から結腸400への進入は、ICV 406を通して起こる。通常、CE撮像デバイス212は、ICV 406を介して結腸400に入った後、盲腸404に入る。しかしながら、場合によっては、CE撮像デバイス212は、盲腸404を見失って上行結腸410に直進する。結腸400は、ほとんど制限されないCE撮像デバイス212の移動を可能にするのに十分な幅であってもよい。CE撮像デバイス212は、回転及びロールすることができる。CE撮像デバイス212は、長時間にわたって1つの場所に静止してもよく、又は結腸400を通って非常に速く移動してもよい。
一般に、GITの解剖学的区分への分割は、例えば、異なる解剖学的区分間を通るCE撮像デバイス212の特定に基づいて行われてもよい。このような特定は、例えば、機械学習技術に基づいて行われてもよい。画像が捕捉されたGIT部分によるGIT画像の分割は、同時係属中の米国仮特許出願第63/018,890号で扱われており、画像が捕捉された結腸部分による結腸画像の分割は、同時係属中の米国仮特許出願第63/018,878号で扱われている。上記各出願の全内容は、参照により本明細書に組み込まれる。画像が捕捉されたGIT部分又は結腸部分によってGIT画像を分割するための他の技法は、当業者によって理解されるであろう。
以下の説明は、カプセル内視鏡デバイスによって捕捉された結腸の画像に関する。そのような結腸画像は、GITの画像のストリームの一部であってもよく、同時係属出願の技術を使用して、又は当業者が理解するであろう他の方法論を使用して、GIT画像のストリームから取り出されてもよい。
図5を参照すると、画像の分類スコアを提供するための深層学習ニューラルネットワーク500のブロック図が示されている。画像502は結腸画像である。本開示では、「分類スコア」又は「スコア」という用語は、画像/フレームに適用可能なカテゴリ又はカテゴリのセットについて機械学習システム/モデルによって生成された値又は値のベクトルを説明するために使用され得る。「分類確率」又は「確率」という用語は、分類スコアの、カテゴリのセットの各カテゴリが画像/フレームに適用される確率を反映する値への変換を説明するために使用され得る。
いくつかのシステムでは、深層学習ニューラルネットワーク500は、畳み込みニューラルネットワーク(CNN)及び/又は「長・短期記憶」(LSTM)を有するリカレントニューラルネットワークを含むことができ、これについては本明細書で後により詳細に説明する。機械学習において、CNNは、画像を分析するために最も一般的に使用される人工ニューラルネットワークのクラスである。CNNの畳み込みの態様は、行列処理演算(「カーネル」又は「フィルタ」と呼ばれる)を画像の局所部分に適用することに関する。カーネル/フィルタは、画像を分類するために使用することができる入力画像の特性を識別するために、CNNの教師あり訓練中に計算的に調整される。CNNは、典型的には、あまりに多くの情報を失うことなく次元を低減するために、畳み込み層、活性化関数層、及びプーリング(典型的には最大プーリング)層を含む。
深層学習ニューラルネットワーク500は、1つ以上のCNNを使用して、CE撮像デバイス212(図2参照)によって撮影された1つ以上の結腸画像に対して、1つ以上の目印、結腸特性、結腸病態、又は結腸内容(例えば、気泡等)の存在に関する分類スコアを提供することができる。例えば、深層学習ニューラルネットワーク500は、結腸ポリープ510の存在、回盲弁512の存在、痔静脈叢514の存在、又は他の目印、特徴、病態、若しくは内容516(例えば、結腸出血)の存在について、画像の分類スコアを生成することができる。深層学習ニューラルネットワーク500は、コンピューティングシステム300(図3)上で実行され得る。当業者は、深層学習ニューラルネットワーク500及びそれをどのように実装するかを理解するであろう。限定はしないが、MobileNet又はInceptionを含む様々な深層学習ニューラルネットワークを使用することができる。
深層学習ニューラルネットワーク500は、ラベル付けされた訓練画像に基づいて訓練され得る。例えば、画像は、とりわけ、結腸ポリープ、回盲弁、又は痔静脈叢の存在等の、目印、病態、特徴、又は内容の存在を示すラベル504を有し得る。ラベル504は、深層学習ニューラルネットワーク500を訓練するためだけに使用され、推論のために訓練の外で、すなわち深層学習ニューラルネットワーク500を動作させるときには使用されないことを示すために破線で示されている。訓練は、ノイズを追加すること、色を変更すること、訓練画像の部分を隠すこと、訓練画像のスケーリング、訓練画像を回転させること、訓練画像のミラーフリップ、及び/又は訓練画像を伸張することを含むように訓練画像を拡張することを含み得る。当業者は、深層学習ニューラルネットワーク500の訓練及び訓練をどのように実施するかを理解するであろう。
分類スコアを提供するための図5の例示的な実施形態は例示的なものであり、分類スコアを提供する他の方法も本開示の範囲内であると考えられる。例えば、2つ以上の深層学習ニューラルネットワーク(図示せず)は、結腸画像502の分類スコア510~516を提供するように動作することができる。例えば、1つの深層学習ニューラルネットワークは、ポリープ510の存在に関する分類スコアを提供するように構成されてもよく、別の深層学習ニューラルネットワークは、回盲弁512の存在に関する分類スコアを提供するように構成されてもよく、第3の深層学習ニューラルネットワークは、痔静脈叢514の存在に関する分類スコアを提供するように構成されてもよい。分類スコア510~516は、異なる構成の2つ以上の深層学習ニューラルネットワークによって提供され得る。
別の例として、様々な実施形態では、教師なし学習又は別のタイプの学習が使用され得る。様々な実施形態では、分類スコアは、ニューラルネットワークの様々な構成によって、ニューラルネットワークではない機械学習システム(例えば、特徴選択を伴う古典的機械学習システム)によって、及び/又は当業者が認識するであろう分類技法によって提供されることができる。様々な実施形態では、機械学習システム又は分類システムは、分類スコアではなく、又はそれに加えて、分類確率を提供することができる。様々な実施形態では、分類スコアは、Plattスケーリング、SoftMax、又は当業者によって認識されるであろう他の技法等の技法を使用して、分類確率に変換されることができる。このような変形形態は、本開示の範囲内にあることが企図されている。
図6を参照すると、ポリープを含む画像を識別するための例示的な動作の流れ図が示されている。図6の動作は、図2及び図3のコンピューティングシステムなどのコンピューティングシステムによって実行することができる。図6のいくつか又は全てのブロックは、ポリープ検出システムと称され得る。ブロック610において、動作は、図2のCE撮像デバイス212などのカプセル内視鏡デバイスによって捕捉された様々な結腸画像にアクセスする。ブロック620において、初期画像選択プロセスが結腸画像に適用され、シード画像として様々な画像が選択される。選択プロセスは、図5の深層学習ニューラルネットワークによって提供されるスコア/確率等のポリープ存在スコア又は確率622にアクセスする。
一般に、シード画像選択プロセス620は、最も高いポリープ存在スコアを有する画像を選択し、この選択は様々な方法で実行することができる。例示的な選択プロセスは、国際出願公開第WO2017199258号及び米国仮特許出願第63/018,870号に記載されており、これらは参照によりその全体が本明細書に組み込まれ、ブロック620の初期選択プロセスに適用することができる。例えば、簡単な説明として、初期選択プロセスは反復プロセスとすることができる。各反復において、プロセスは、ポリープの存在について最も高いスコア/確率を有する画像を選択し、選択された画像は、本明細書では「シード画像」と呼ばれる。シード画像の周囲にある画像のスコア/確率は、同じポリープの画像が後続の反復において選択される可能性を低減するために減少される。このプロセスは、1つ以上の停止基準が満たされるまで繰り返される。例えば、反復画像選択プロセスは、残りの画像スコアがスコア/確率閾値を満たさないときに終了することができる。別の例として、反復画像選択プロセスは、例えば、60個のシード画像又は100個のシード画像など、特定の数のシード画像が選択されたときに終了することができる。図7は、x軸が画像のインデックス/ID番号を表し、y軸が画像のポリープ存在スコアを表すグラフにおける反復選択プロセスの結果を示す。反復プロセスによって選択された画像は、グラフの上部に円で示されている。初期画像選択プロセス620の結果は、高いポリープ存在スコア又は確率を有するシード画像のセットである。上述したように、説明された画像選択プロセスは例示的なものであり、他の画像選択方法及び技術が本開示の範囲内にあると考えられる。
ブロック620の結果は、高いポリープ存在スコア又は確率を有するシード画像である。ブロック630~650の動作は以下で説明され、そのようなブロックは、当業者が理解するであろう感度と特定性との間のトレードオフに基づいて動作し得る。ブロック620の動作において、たとえ特定性を低下させる必要があっても、感度に重点を置くことができる。ブロック630~650の動作では、感度を下げる必要がある場合であっても、特定性に重点を置くことができる。
引き続き図6を参照すると、ブロック630において、初期画像選択プロセスから得られたシード画像は、ネガティブフィルタ及び/又はポジティブフィルタによって処理される。本明細書で使用される場合、ポジティブフィルタは、ポリープを含むシード画像として1つ以上の基準を満たすシード画像をポジティブに指定する動作である。一方、ネガティブフィルタは、1つ以上の基準を満たすシード画像を、ポリープを含むものとして積極的に指定されるべきではないシード画像として識別する動作である。様々な実施形態において、ネガティブフィルタは、シード画像をポリープを含まないものとして指定しない。様々な実施形態では、ネガティブフィルタは、ポリープを含有しないものとしてシード画像を指定してもよい。ブロック630は、1つ以上のポジティブフィルタ及び/又は1つ以上のネガティブフィルタを適用することができ、これについては、本明細書において後でより詳細に説明する。ここでは、様々なフィルタが、図5の深層学習ニューラルネットワークによって提供される分類スコア又は確率などのスコア又は確率632を使用し得ることに留意することで十分である。更に、様々なフィルタは、図10及び図11に関連して説明される画像トラック634を使用することができる。フィルタは、特に、ヒューリスティックを使用して、又は深層学習ニューラルネットワーク若しくは古典的機械学習システムなどの機械学習システムを使用して実装され得る。ブロック630の結果は、ポリープを含むシード画像としてポジティブフィルタによって指定されたシード画像、ネガティブフィルタによって識別されたシード画像、及びポジティブフィルタによって指定されずネガティブフィルタによっても識別されないシード画像を含むことができる。ポジティブフィルタによって指定されておらず、ネガティブフィルタによって識別されてもいないシード画像の最後のグループは、本明細書では「フィルタリングされていない」シード画像と呼ばれる。フィルタリングされていないシード画像は、ブロック640によって処理される。
ブロック640において、ブロック630から得られたフィルタリングされていないシード画像は、フィルタリングされていないシード画像がポリープを含むか又はポリープを含まないかを示す分類スコア又は確率を提供するように動作する機械学習システムによって処理される。機械学習システムは、フィルタリングされていないシード画像に関連付けられた入力特徴642にアクセスし、これについては、本明細書において後でより詳細に説明する。様々な実施形態では、機械学習システムは、古典的機械学習システムであってもよく、教師あり学習、教師なし学習、又は別のタイプの学習によって訓練されることができる。様々な実施形態において、機械学習システムは、次数nを有するソフトマージン多項式サポートベクトルマシンであってもよく、次数は、2次、3次、又は別の次数であってもよい。上述したように、機械学習システムの出力は、フィルタリングされていないシード画像がポリープを含むか、又はポリープを含まないかを示す分類スコア又は確率である。当業者は、そのような機械学習システムをどのように実装し、入力特徴に基づいてそのような機械学習システムをどのように訓練するかを理解するであろう。
ブロック650において、プロセスは、機械学習システムによって提供される分類スコア又は確率に基づいて、ポリープを含む高い信頼度を有する画像を識別する。様々な閾値を分類スコア又は確率に適用することができる。例えば、様々な実施形態では、ポリープを含有する99%を上回る分類確率を有する画像が、ブロック650において選択されることができる。ブロック650の結果は、ポリープを含む画像としてポジティブフィルタによって指定されなかったが、機械学習分類スコア又は確率に基づいてポリープを含む高い信頼度を有した画像である。ブロック650によって選択されたそのような画像は、本明細書で後述する様々な方法で使用することができる。様々な実施形態では、ブロック630でポジティブフィルタによってポリープを含むものとして指定された画像は、本明細書で後述するように、様々な方法で使用することもできる。
図6の動作は例示であり、変形形態は、本開示の範囲内にあることが企図されている。例えば、様々な実施形態において、プロセスは、ブロック640及び650を実行する必要はなく、代わりに、図8に示されるように、ブロック630で終了することができる。図8の実施形態では、ブロック630の結果は、ポリープを含むものとしてポジティブフィルタによって指定されたシード画像及び/又はフィルタリングされていないシード画像であり得る。図6の別の変形例として、様々な実施形態では、図9に示すように、ブロック630を実行しなくてもよい。図9の実施形態では、機械学習システムは、全てのシード画像640に適用され、シード画像642に関連付けられた入力特徴にアクセスする。そのような及び他の変形形態は、本開示の範囲内にあることが企図されている。
以下は、図6及び図8のブロック630において適用され得る様々なポジティブフィルタ及びネガティブフィルタを説明する。
図6及び図8に示されるように、様々なフィルタがシード画像632の画像トラックにアクセスして使用する。本明細書で使用される場合、「トラック」は、シード画像内のポリープが連続画像トラッカによって追跡された連続画像の集合を指す。上述したように、「連続画像」という語句は、シーケンスで順序付けられたときに、シーケンス内で互いに隣接する画像を意味する。「連続画像トラッカ」は、連続画像/フレーム間の物体の小さな変化を識別するように設計され、互いに近いシード画像が同じポリープを含み得るかどうかを識別することができる物体追跡技法を指す。そのような追跡技術は、例えば、オプティカルフロー技術を含む。当業者は、オプティカルフロー技術をどのように実装するかを理解するであろう。連続画像中のオブジェクトを追跡するための他の技術は、本開示の範囲内であると考えられる。
図10は、シード画像に対するトラックを識別するためにシード画像に連続画像トラッカを適用する例を示す。シード画像1010から開始して、連続画像トラッカは、ポリープ1012を追跡するために隣接画像を処理する。図示の例では、ポリープ1012は、シード画像1010の前の5つのフレームにわたって追跡され、シード画像1010の後の3つのフレームにわたって追跡される。シード画像1010の後の第4のフレーム1020において、追跡技術の動作によって追跡が終了する。追跡技術のグラフィック表現1030は、ポリープの予想位置1032がポリープの実際の位置1034からずれていることを示す。したがって、ポリープ1012はそのフレーム1020に追跡されなかった。シード画像1010のトラックは、シード画像1010内のポリープ1012が連続画像トラッカによって追跡された、図10の連続フレーム(フレーム1020なし)の集合である。トラックはシード画像1010を含む。したがって、図6及び図8では、各シード画像632についてトラックがアクセスされ、トラックは、様々なポジティブ及び/又はネガティブフィルタによって使用することができる。図10の実施形態は例示的なものである。様々な実施形態では、「トラック」は、2020年9月2日に出願された同時係属中の米国仮特許出願第63/073,544号に記載されている分類システムを使用して2つの画像を比較するための技術など、2つの画像を比較するための他の技術を使用して識別することができる。このような仮出願は、その全体が参照により本明細書に組み込まれる。
上述したように、ポジティブフィルタは、ポリープを含むシード画像として1つ以上の基準を満たすシード画像をポジティブに指定する動作である。本開示の態様によれば、ポジティブフィルタは、閾値以上であるポリープ存在スコア又は確率622を有するシード画像が、ポリープを含むシード画像として指定されるという基準を有し得る。様々な実施形態では、ポリープ存在スコアは、0と1との間の値に正規化されてもよい。ポリープ存在確率は、当然0と1の間である。様々な実施形態において、閾値は、0.999999若しくは0.9999999、又はシード画像がポリープを含む高い確度を提供する別の値であってもよい。
様々な実施形態において、ポジティブフィルタは、シード画像のトラックが、ポリープ存在スコア又は確率が閾値以上である少なくとも特定の数の連続画像を含むという更なる基準を有し得る。様々な実施形態において、シード画像及びトラック内の画像に対する閾値は、同じ値であってもよい。様々な実施形態において、シード画像及びトラック内の画像に対する閾値は、異なる値であってもよい。一例として、ポジティブフィルタは、シード画像が少なくとも0.99999のポリープ存在スコア/確率を有し、シード画像に隣接する少なくとも5つの連続フレームも少なくとも0.9999のポリープ存在スコア/確率を有する場合に、シード画像をポリープを含むものとして指定することができる。図11は、そのようなシード画像及びトラックの例を示し、シード画像はフレーム番号171571によって識別される。シード画像は、0.99999のポリープ存在スコアを有し、シード画像に隣接する5つの連続フレームは、少なくとも0.9999のポリープ存在スコアを有する。したがって、図11のシード画像は、ポリープを含むものとしてポジティブフィルタによって指定される。
上述のポジティブフィルタは例示的なものである。画像をポリープを含むものとして積極的に指定するための他のポジティブフィルタは、本開示の範囲内であると考えられる。例えば、トラック情報は、ポジティブフィルタを形成するために他の方法で使用されてもよい。上述したように、トラックは画像の集まりを含み、そのような画像は、カプセル内視鏡デバイス(例えば、図2の212)によって経時的に捕捉される。時間的性質の情報は、長・短期記憶(LSTM)を用いて処理することができる。図5の深層学習ニューラルネットワーク500などの深層学習ニューラルネットワークは、画像のトラックを入力として受信するように構成され得る。深層学習ニューラルネットワークは、深層学習ニューラルネットワークによって受信された画像トラックに基づいてシード画像のための分類スコア又は確率を与えるように訓練され得る。分類スコア又は確率は、例えば、シード画像がポリープを含む確率のスコアであり得る。
上述したように、ネガティブフィルタは、1つ以上の基準を満たすシード画像を、ポリープを含むものとして積極的に指定されるべきではないシード画像として識別する動作である。様々な実施形態において、ネガティブフィルタは、シード画像をポリープを含まないものとして指定しない。様々な実施形態では、ネガティブフィルタは、ポリープを含有しないものとしてシード画像を指定してもよい。
図6及び図8に示すように、ネガティブフィルタは、図5の機械学習システムによって提供される分類スコア又は確率などの分類スコア又は確率632にアクセスすることができる。本開示の態様によれば、ネガティブフィルタは、回盲弁(ICV)存在スコア又は確率にアクセスすることができ(例えば、512、図5)、例えば0.99999を上回る、又は別の閾値を上回るICV確率など、閾値を上回るICVスコア又は確率を有するシード画像を識別するように動作することができる。回盲弁は、小腸から結腸への移行部における解剖学上の目印であり、シード画像がシード画像であるために十分に高いポリープ存在スコア又は確率を有し得る一方で、所定の閾値を上回るICV存在スコアも有し得るように、外観が大きな結腸ポリープに類似し得る。そのようなシード画像は、基準を満たすものとしてネガティブフィルタによって識別することができる。ネガティブフィルタは、シード画像をポリープを含まないものとして指定することができる。
本開示の態様によれば、ネガティブフィルタは、痔静脈叢の存在スコア又は確率にアクセスすることができる(例えば、514、図5)。痔静脈叢は、大腸の末端で直腸を取り囲む解剖学上の目印であり、結腸ポリープと外観が類似していることがある。様々な実施形態では、ネガティブフィルタは、例えば、0.99999を上回る、又は別の閾値を上回る痔静脈確率等、閾値を上回る痔腸静脈スコア又は確率を有するシード画像を識別するように動作することができる。シード画像は、シード画像であるのに十分に高いポリープ存在スコア又は確率を有し得る一方で、所定の閾値を上回る痔静脈叢存在スコアも有し得る。そのようなシード画像は、基準を満たすものとしてネガティブフィルタによって識別することができる。ネガティブフィルタは、シード画像をポリープを含まないものとして指定することができる。
様々な実施形態では、痔静脈叢存在スコア又は確率にアクセスするのではなく、代わりに、ネガティブフィルタが、身体出口/消化管の出口へのシード画像の近接度を判定するように動作することができる。シード画像の身体出口への近接度は、様々な方法で決定することができる。例えば、ネガティブフィルタは、結腸画像(例えば、図6のブロック610においてアクセスされた結腸画像)にアクセスすることができ、シード画像が結腸画像の最終部分内にあるかどうか、例えば、シード画像が結腸画像の最終0.5%内にあるか、又は結腸画像の別の最終パーセンテージ内にあるかどうかによって、シード画像の身体出口への近接性を判定することができる。シード画像が結腸画像の最終部分内にある場合、ネガティブフィルタは、基準を満たすものとしてシード画像を識別することができる。様々な実施形態では、ネガティブフィルタは、ポリープを含有しないものとしてシード画像を指定してもよい。様々な実施形態において、ネガティブフィルタは、基準を満たすものとしてシード画像を識別してもよいが、ポリープを含まないものとしてシード画像を指定しなくてもよい。
本開示の態様によれば、ネガティブフィルタは、図10に関連して説明した画像トラックなど、シード画像のための画像トラックにアクセスすることができる。ネガティブフィルタは、シード画像が、閾値を上回るポリープ存在スコア又は確率を有するトラック内の唯一の画像であるときに、シード画像を識別する基準を有することができる。例えば、画像トラックのシード画像が少なくとも0.998のポリープ存在確率を有し、画像トラック内の他の全ての画像が0.998未満のポリープ存在確率を有する場合、シード画像は基準を満たすものとして識別することができる。他の閾値を使用することもできる。様々な実施形態では、ネガティブフィルタは、ポリープを含有しないものとしてシード画像を指定してもよい。様々な実施形態において、ネガティブフィルタは、基準を満たすものとしてシード画像を識別してもよいが、ポリープを含まないものとしてシード画像を指定しなくてもよい。
本開示の態様によれば、ネガティブフィルタは、シード画像の推定ポリープサイズにアクセスすることができる。ネガティブフィルタは、推定ポリープサイズが3.5mm未満又は別の閾値未満であるときなど、シード画像の推定されたポリープサイズが閾値未満であるときにシード画像を識別する基準を有することができる。ネガティブフィルタによってアクセスされる推定ポリープサイズを生成するために、様々な技法を使用することができる。技術の例は、整理番号A0004997US01(2851-17 PRO)を有する同時係属中の米国特許出願に開示されており、その全体が参照により本明細書に組み込まれる。画像内のポリープのポリープサイズを推定するための他の技法は、当業者によって理解されるであろう。そのような及び他の変形形態は、本開示の範囲内にあることが企図されている。
したがって、様々なポジティブフィルタ及びネガティブフィルタが上述された。そのようなフィルタは、図6及び図8のブロック630において適用され得る。図6の動作において、ポジティブフィルタによって指定されず、ネガティブフィルタによっても識別されないシード画像(すなわち、フィルタリングされていないシード画像)は、上述のように、ブロック640の機械学習システムによって処理することができる。図8の動作において、ブロック630は動作の終わりであり、ポジティブフィルタによって指定されるシード画像を提供することができ、いくつかの実施形態では、フィルタリングされていないシード画像もまた提供することができる。
以下は、図6及び図9のブロック642においてアクセスされる、機械学習システムのための例示的な入力特徴を説明する。上述したように、機械学習システムは、入力特徴に基づいて動作して、フィルタリングされていないシード画像がポリープを含むか、又はポリープを含まないかを示す分類スコア又は確率を提供する。様々な実施形態において、機械学習システムは、次数nを有するソフトマージン多項式サポートベクトルマシンであってもよい。様々な実施形態では、機械学習システムは、当業者が認識するであろう、とりわけ、決定木、ナイーブベイズ、又はロジスティック回帰などの別の古典的機械学習モデルに基づき得る。以下で説明するように、いくつかの入力特徴は、図10及び図11に示すような画像トラックなど、シード画像の画像トラックに基づくことができる。
本開示の態様によれば、機械学習システムへの入力特徴のうちの1つは、図5に示される検出器などのポリープ検出器によって提供されるシードポリープスコア/確率であり得る。
本開示の態様によれば、機械学習システムへの入力特徴のうちの1つは、入力が画像であり、出力が画像がポリープを含む確率であるポリープ検出器(例えば、図5)のアンサンブルによって提供されるポリープスコア/確率に対する票決又は演算に基づいて決定されるシードポリープスコア/確率であり得る。例えば、シードポリープスコアは、ポリープ検出器のアンサンブルによって提供されるポリープスコア/確率の平均であってもよく、又はとりわけ中央値などの別の演算によって提供されてもよい。
本開示の態様によれば、機械学習システムへの入力特徴のうちの1つは、トラック長と呼ばれ得る、シード画像のための画像トラック中の画像の数であり得る。
本開示の態様によれば、機械学習システムへの入力特徴のうちの1つは、0.998より大きい、又は別の閾値より大きいポリープ存在確率など、閾値より大きいポリープ存在スコア又は確率を有するシード画像の画像トラック内の画像の数であり得る。
本開示の態様によれば、機械学習システムへの入力特徴のうちの1つは、シード画像のインデックス/ID番号と結腸の始まりの画像のインデックス/ID番号との間の画像インデックス/ID番号の差であり得る。様々な実施形態では、結腸の始まりの画像は、ICVの画像であり得る。結腸の始まりの画像は、様々な方法で決定することができる。例えば、ICV存在スコア又は確率(例えば、512、図5)を使用して、ICVの画像を決定することができる。別の例として、上述したように、画像が捕捉されたGIT部分によるGIT画像の分割は、同時係属中の米国仮特許出願第63/018,890号で扱われており、画像が捕捉された結腸部分による結腸画像の分割は、同時係属中の米国仮特許出願第63/018,878号で扱われている。GIT画像を部分に分割するためのそのような技術は、結腸の始まりの画像を識別するために使用することができる。結腸の始まりの画像を識別するための他の技法は、本開示の範囲内であると考えられる。
本開示の態様によれば、機械学習システムへの入力特徴のうちの1つは、シード画像が捕捉された結腸区分に関する位置特定情報(数字として表される)であり得る。図4に関連して説明したように、結腸400は、盲腸、右又は上行結腸、横行結腸、左又は下行結腸、及び直腸の5つの解剖学的区分を含む。これらの5つの区分には、それぞれ1から5の番号を付けることができる。シード画像が捕捉された結腸区分の区分番号は、機械学習システムへの入力特徴であり得る。上述したように、画像が捕捉された結腸部分による結腸画像の分割は、同時係属中の米国仮特許出願第63/018,878号において扱われている。画像が捕捉された結腸部分によって結腸画像を分割するためのそのような技術は、シード画像が捕捉された結腸区分の番号を識別するために使用することができる。シード画像が捕捉された結腸区分の番号を識別するための他の技法は、当業者によって理解され、本開示の範囲内であることが企図される。
したがって、機械学習システムへの入力のための様々な入力特徴が説明された。当業者であれば、そのような入力特徴に基づいて機械学習システムを訓練及び実装する方法を理解するであろう。様々な実施形態では、説明される入力特徴の全てが使用される必要はなく、入力特徴の様々な組み合わせが使用されてもよい。様々な実施形態では、説明される入力特徴の全てが使用されてもよい。入力特徴の一部又は全部は、様々な方法で正規化され得る。記載された入力特徴は例示的なものであり、他の入力特徴も本開示の範囲内にあると考えられる。
再び図6及び図8を参照すると、ブロック640の機械学習システムは、入力特徴を処理し、シード画像の各々がポリープを含むか又はポリープを含まないかを示す分類スコア又は確率を提供する。どのシード画像がポリープを含むシード画像として選択される十分に高い確率を有するかを判定するために、分類確率を直接使用することができる。分類スコアは、Plattスケーリング、SoftMax、又は当業者が認識する他の技法など、様々な方法で分類確率に変換することができる。ポリープを含むものとして指定されたシード画像は、図12に関連して以下に説明するように、様々な方法で使用することができる。
本開示の態様によれば、図6、図8、及び図9の動作は、様々な方法で拡張され得る。例えば、ポリープサイズに関連するローカル医療ガイドライン/診療/方針に準拠するために、ポリープサイズ推定に基づく追加の規則(例えば、調整されたポリープ検出器スコア閾値)が追加されてもよい。例えば、米国の医療行為は、特定のサイズ以上の少なくとも1つのポリープに基づくことが多いのに対し、欧州の医療行為は、任意のサイズの複数のポリープに基づくことが多い。他の国は異なる医療行為を有してもよく、追加の規則が特定の国の医療行為に合わせて調整されてもよい。
したがって、上記の説明は、ポリープを含む画像を高い信頼度で識別するためのシステム及び方法を提供する。以下では、識別された画像の例示的な使用について説明する。
ここで図12を参照すると、ポリープの画像を臨床医に提示するための例示的なディスプレイ画面が示されている。GUI(又は調査閲覧アプリケーション)を使用して、ユーザのレビューに関する調査を表示し、かつ調査報告(又はCE処置報告)を生成することができる。図12の画面は、調査に含まれる静止画像のセットを表示する。画像は、例えば、図6、図8、又は図9のブロック620で選択されたシード画像であってもよい。ユーザは、画像をレビューし、関心のある1つ以上の画像を選択することができ、例えば、1つ以上のポリープを表示することができる。調査画像は、結腸におけるそれらの位置に従って表示される。この位置は、以下の5つの解剖学的結腸区分、盲腸、上行、横行、下行のS字結腸、及び直腸のうちのいずれか1つであり得る。画面は、下行-S字結腸に位置すると識別された調査画像を示す。ユーザは、異なる区分に位置する画像の表示を切り替えることができる。図示されたディスプレイ画面は、調査報告に含まれる画像を選択するために、ユーザ、例えば臨床医によって使用されてもよい。いくつかの実施形態では、調査は、シード画像(すなわち調査シード画像)に関連付けられたトラックを含むこともできる。そのような場合、ユーザは、表示された画像(図示せず)に関連するトラックを表示することを(ユーザ入力を介して)要求することができる。関連するトラックをレビューすることにより、臨床医は、シード画像(又は任意選択的に任意の他のトラック画像)が関心のあるものであるかどうかを判定する際に臨床医を支援することができるシード画像に関する更なる情報を受信することができる。
引き続き図12を参照すると、臨床医は、画像内で観察されたポリープの周りに境界ボックスを追加することができる。ユーザによって追加される境界ボックス1210は、緑色又は別の色などの特定の色で表示することができる。本開示の態様によれば、本開示のシステム及び方法によって識別されたポリープを含む画像を臨床医に提示することができ、境界ボックス1220をそのような画像に自動的に追加してポリープの位置を表示することができる。本開示のシステム及び方法によって追加された境界ボックス1220は、赤色又は別の色など、ユーザによって追加された境界ボックスとは異なる色で表示することができる。このようにして、ユーザは、どの境界ボックスがユーザによって追加されたか、及びどの境界ボックスが自動的に追加されたかを容易に見ることができる。
ここで図13を参照すると、ポリープの画像を臨床医に提案するための例示的なディスプレイ画面が示されている。ディスプレイ画面は、ポリープを含むものとして臨床医によって選択され、臨床医が最終的なカプセル内視鏡検査処置報告に含めたい画像1310、1312を示す。臨床医が選択を確定する前に、本開示のシステム及び方法は、臨床医が選択し損なった又は選択しなかった可能性があるポリープ1320の提案画像を表示することができる。提案画像1320は、ポリープを含む画像としてポジティブフィルタによって指定された画像(例えば、ブロック630、図6及び図8)、又はポリープを含むための十分に高い分類スコア又は確率を有するものとしてブロック650(図6及び図9)で選択された画像であってもよい。様々な実施形態では、提案画像1320は、フィルタリングされていないシード画像も含むことができる。様々な実施形態において、提案されるポリープ1320の画像は、臨床医によって選択されたポリープのフレームを含まないGIT区分に限定されてもよく、又は臨床医が識別したより小さいサイズのポリープ(例えば、6mm未満)のみのGIT区分に限定されてもよい。様々な実施形態では、GIT区分が臨床医によって選択されたポリープの画像(例えば、6mm)を含み、本開示のシステムがより小さいポリープの画像(例えば、5mm)を識別する場合、本開示のシステムは、より小さいポリープを臨床医に提案しないこともある。したがって、様々な実施形態では、追加の臨床的価値(例えば、医療行為ガイドラインに従って)を提供する画像を提案することができるが、追加の臨床的価値を提供しない画像は提案されないことがある。
図14を参照すると、人間の介入又は入力なしに本開示のシステム及び方法によって自動的に生成され得る例示的なディスプレイ画面が示されている。ユーザによって選択された画像1310、1312を含む図13のディスプレイ画面とは対照的に、図14のポリープの画像は、人間の入力なしに自動的に選択することができる。自動的に選択された画像は、ポリープを含む画像としてポジティブフィルタによって指定された画像(例えば、ブロック630、図6及び図8)、又はポリープを含むための十分に高い分類スコア又は確率を有するものとしてブロック650(図6及び図9)で選択された画像であってもよい。様々な実施形態では、ディスプレイ画面は、任意の臨床医の選択又は決定にかかわらず、全ての提案されたポリープのページを常に表示してもよく、そのようなディスプレイ画面は、臨床医が任意の画像をレビューする前又は後に、ユーザ又は臨床医に利用可能であってもよい。様々な実施形態では、図14の自動選択は、フィルタリングされていないシード画像を選択しなくてもよい。様々な実施形態では、本開示のシステム及び方法は、図14のディスプレイ画面をスキップしてもよく、臨床医によるいかなる入力又は介入も伴わずに、カプセル内視鏡検査処置報告を自動的に生成及び確定してもよい。
図12~図14は、図6、図8、及び図9のプロセスによって選択された画像の可能な使用法を示す。図12~図14の実施形態は例示的なものであり、そのようなディスプレイ画面は本開示の範囲を限定しない。他の使用も企図される。様々な実施形態では、本開示のシステム及び方法は、参照することによってその全体として本明細書に組み込まれる、整理番号A0003746US01(2851-7 PRO)を有する同時係属中の米国仮特許出願に説明されるツール等のCE処置を除外するために、他のツールによる決定を無効にするために使用されることができる。このようなツールは、複数の画像内の所定の事象を捕捉する際のCE処置の有効性の測定値を示す妥当性尺度を提供する。様々な実施形態では、処置の妥当性尺度は、特徴尺度に基づいて決定され、特徴尺度は、所定の事象を捕捉するか又は捕捉しないかのうちの少なくとも1つの確率を示す複数の尺度を含むことができる。複数の尺度は、(i)運動スコア、区分ごとの洗浄レベル、又は通過時間のうちの少なくとも2つを乗算することに基づく区分妥当性確率、(ii)区分の全てにわたる平均洗浄スコア、患者の人口統計、CEデバイスが到達したGITの最後の区分、又はGITの部分においてCEデバイスが費やした絶対時間のうちの少なくとも1つに基づく全体的妥当性尺度、及び/又は(iii)画像に関連付けられた解剖学的結腸区分、CEデバイスの通過パターン、CEデバイス通信エラー、複数の画像内の解剖学的目印、又は複数の画像内のGIT組織のカバレージのうちの少なくとも1つを含むことができる。そのような使用及び他の使用は、本開示の範囲内であると考えられる。
本開示は、高い信頼度でポリープの画像を識別するためのシステム及び方法を提供するが、ポリープの全ての発生がフォローアップ処置を必要とし得るわけではない。特に、ポリープのサイズは、フォローアップ処置が必要であるかどうかを決定する際に重要である。ポリープが十分に大きい、例えば少なくとも6mmのサイズである場合、臨床医は一般に、大腸内視鏡検査処置によってポリープを検査したいと考える。本開示の態様によれば、本開示のシステム及び方法は、大腸内視鏡検査を推奨するか否か、又は特定の月数又は年数のフォローアップ処置を推奨するか否かを決定することができる。そのような決定は、図3のコンピューティングシステムなどのコンピューティングシステムによって実行することができる。
図15及び図16を参照すると、サイズが6mm以上のポリープが少なくとも1つ存在する確率に基づいて、決定を行うことができる。この決定は、図6、図8、及び図9のプロセスによって識別された画像を使用し、これらの画像は、ポリープを含むものとしてポジティブフィルタによって指定されたシード画像(ブロック630)、又はポリープを含む十分に高い分類スコア又は確率を有するシード画像(ブロック640、650)であり得る。このような画像がn個あると仮定すると、Pi(TP &サイズ≧6[mm])は、画像iがポリープを含み、ポリープのサイズが少なくとも6mmである確率を表す。この確率は、画像がポリープを含むかどうか、及びポリープが少なくとも6mmのサイズであるかどうかという2つの要素を含む。これら2つの要素が独立していると仮定すると、確率は次のように表すことができる。
Pi(TP &サイズ≧6[mm])=Pi(TP)Pi(サイズ≧6[mm])。
Pi(TP)は、画像iがポリープを含む確率を表す。Pi(サイズ≧6[mm])は、画像iにおいて、ポリープの大きさが6mm以上である確率を表す。大腸内視鏡検査処置を推奨するかどうかを決定するために、1つの候補画像のみが、少なくとも6mmのサイズであるポリープを含む十分に高い確率を有する必要がある。
Pi(TP &サイズ≧6[mm])=Pi(TP)Pi(サイズ≧6[mm])。
Pi(TP)は、画像iがポリープを含む確率を表す。Pi(サイズ≧6[mm])は、画像iにおいて、ポリープの大きさが6mm以上である確率を表す。大腸内視鏡検査処置を推奨するかどうかを決定するために、1つの候補画像のみが、少なくとも6mmのサイズであるポリープを含む十分に高い確率を有する必要がある。
図15は、Pi(TP)の決定に用いることができるグラフを示す。x軸は、図6、図8、及び図9のブロック640における機械学習システムなどの機械学習システムのためのソフトマージンを表す。当業者が理解するように、「ソフトマージン」という用語は、例と分類器の分離超平面/分類境界との間の距離に関連する、分類器(例えば、古典的機械学習アルゴリズム)の連続出力を指し得る。ソフトマージンは、機械学習システムが、画像をポリープを含むものとして正しく分類したことの確かさを示すことができる。ソフトマージンの絶対値が高いほど、分類境界から遠く、その決定においてより確実である。ラベル付けされた訓練セットに関連するソフトマージンにアクセスすることによって、図15のグラフを経験的に導出することができる。
一例として、図15のx軸は、0.1の間隔又は別のサイズの間隔に分割され得る。各ソフトマージン間隔について、ポリープの存在に対応し、その間隔内にソフトマージンを有する訓練入力の数をカウントすることができ、ポリープの不在に対応し、その間隔内にソフトマージンを有する訓練入力の数をカウントすることができる。2つのカウントを使用して、ポリープを有し、その間隔内にソフトマージンを有する入力のパーセンテージを経験的に計算することができる。パーセンテージは、そのソフトマージンが間隔内に入る場合、入力がポリープを有する確率の代用として使用することができる。その結果の一例を図15に示す。確率は経験的に決定されるので、かなり雑音が多い。回帰分析を実行して、曲線1502を経験的確率に当てはめて、ソフトマージンに基づいてPi(TP)を決定するための平滑推定器1502を提供することができる。図15に関して上述された実施形態は例示的なものであり、他の方法がPi(TP)を決定するために企図される。
図16は、Pi(サイズ≧6[mm])の決定に用いることができるグラフを示す。x軸は、カプセル内視鏡検査(CE)画像について決定されたポリープサイズ推定値を表す。上記のように、ポリープサイズは、整理番号A0004997US01(2851-17 PRO)を有する同時係属中の米国特許出願に記載される様式で、又は当業者によって理解される他の技術によって推定され得る。実際のポリープサイズが既知である(例えば、少なくとも6mm又は6mm未満)各訓練CE画像を処理して、その推定ポリープサイズを判定することができる。x軸は、0.1mmの間隔又は別のサイズの間隔等の推定ポリープサイズの間隔に分割することができる。間隔に入る推定ポリープサイズを有する訓練入力をカウントすることができる。間隔におけるカウントは、間隔について、6mm以上の実際のポリープサイズを有する訓練入力のパーセンテージを計算するために使用されることができ、経験的パーセンテージは、入力がその間隔において6mm以上のポリープを有する確率の代用として使用されることができる。その結果の一例を図16に示す。確率は経験的に決定されるので、かなり雑音が多い。回帰分析を実行して、曲線1602を経験的確率に当てはめて、推定ポリープサイズに基づいてPi(サイズ≧6[mm])を決定するための平滑推定器1602を提供することができる。図16に関して上述した実施形態は例示的なものであり、他の方法がPi(サイズ≧6[mm])を決定するために企図される。
上述したように、シード画像がポリープを有し、ポリープが少なくとも6mmである確率は、Pi(TP)Pi(サイズ≧6[mm])によって決定することができる。計算から生じる任意の確率が、0.999又は別の閾値等の閾値を上回る場合、計算は、6mm以上であるポリープの画像が存在すると判定することができ、大腸内視鏡検査が、これに基づいて推奨されることができる。
ポリープサイズ境界として6mmを使用するために説明される実施形態は、5mm若しくは7mm又は別のポリープサイズ境界等の別のポリープサイズ境界に適用されることができる。
図15及び図16に関して上述した実施形態は例示的なものである。大腸内視鏡検査を推奨するかどうかを決定するための他の方法が企図される。このような変形形態及び他の変形形態は、本開示の範囲内にあることが企図されている。
図17を参照すると、図15及び図16のシステム及び方法を使用することができる例示的な動作が示されている。ブロック1710において、動作は、CE処置中にカプセル内視鏡デバイスによって捕捉された消化管(GIT)の複数の画像にアクセスすることを含む。複数の画像の各画像は、ポリープを含む疑いがあり、ポリープを含む確率に関連付けられる。加えて、複数の画像はシード画像を含み、各シード画像は複数の画像のうちの1つ以上の画像に関連付けられ、各シード画像に関連付けられた1つ以上の画像は、関連付けられたシード画像と同じポリープを含む疑いがあるものとして識別される。ブロック1720において、動作は、ポリープを含むシード画像を識別するためにシード画像にポリープ検出システムを適用することを含む。ポリープ検出システムは、シード画像に関連付けられた1つ以上の画像と、シード画像及び1つ以上の関連付けられた画像に関連付けられた確率とに基づいて、シード画像の各シード画像に適用される。ブロック1730において、動作は、所定のサイズ以上のサイズのポリープを含む複数の画像の画像を識別することを含む。複数の画像の各画像は、各画像に含まれる疑わしいポリープの推定サイズに更に関連付けられ、ポリープ検出システムは、シード画像及びシード画像に関連付けられた1つ以上の画像に関連付けられた推定ポリープサイズに基づいて、シード画像の各シード画像に更に適用される。ブロック1740において、少なくとも1つのシード画像が、所定のサイズ以上のサイズのポリープを含むか、又は所定のサイズ以上のサイズの所定の数のポリープを含むと識別される場合に、処置は不適切であると判定されて除外される場合、動作は処置の除外を無効にすることを含む。
ブロック1740に関して、上述したように、処置が不適切であることを決定するための技術は、整理番号A0003746US01(2851-7 PRO)を有する同時係属中の米国仮特許出願に開示されている。そのようなツールは、上記で説明したように、複数の画像内の所定の事象を捕捉する際のCE処置の有効性の測定値を示す妥当性尺度を提供し、処置の妥当性尺度は、所定の事象を捕捉するか又は捕捉しないかのうちの少なくとも1つの確率を示す複数の尺度を含むことができる、特徴尺度に基づいて決定することができる。
引き続きブロック1740を参照すると、処置の除外を無効にするための動作は、とりわけ、ポリープ検出確率及び/又は任意選択でポリープサイズ又は画像の最小数の閾値などのヒューリスティックに基づくことができる。様々な実施形態では、無効にするための動作は、シード画像のセット(例えば、図15及び図16)に基づいて、例えば、少なくとも所定のサイズのポリープを含む画像の処置ごとの確率に基づくことができる。図17の動作は例示であり、変形形態は、本開示の範囲内にあることが企図されている。
したがって、上記の説明は、ポリープを含む画像を高い信頼度で識別するためのシステム及び方法を提供し、そのような識別された画像の様々な用途を提供した。上述の図及び実施形態は例示であり、本開示の範囲を限定するものではない。
本開示のいくつかの実施形態が図面に示されているが、本開示は当該技術分野が許容するのと同程度に広い範囲であるとされるべきであり、本明細書が同様に読み取られるべきであると意図されているので、本開示はこれらの実施形態に限定されることを意図していない。したがって、上記の説明は、限定として解釈されるべきではなく、特定の実施形態の単なる例示として解釈されるべきである。本明細書に添付の請求項の範囲及び趣旨を逸脱しない他の修正は、当業者ならば想到するであろう。
本システムの様々な実施形態において、命令は、1つ以上のプロセッサによって実行されると、システムに更に、複数の画像の各画像について、画像の推定ポリープサイズにアクセスさせ、推定ポリープサイズは、画像に基づいて生成され、少なくとも所定のサイズである実際のポリープサイズの確率に対する推定ポリープサイズのマッピングにアクセスさせ、大腸内視鏡検査を推奨するかどうかの決定は、推定ポリープサイズと、少なくとも所定のサイズである実際のポリープサイズの確率に対する推定ポリープサイズのマッピングとに更に基づく。
本発明は、例えば、以下の項目を提供する。
(項目1)
ポリープを含む画像を識別する方法であって、
CE処置中にカプセル内視鏡デバイスによって捕捉された消化管(GIT)の複数の画像にアクセスすることであって、
前記複数の画像の各画像は、ポリープを含む疑いがあり、前記ポリープを含む確率に関連付けられ、
前記複数の画像はシード画像を含み、各シード画像は前記複数の画像のうちの1つ以上の画像に関連付けられ、各シード画像に関連付けられた前記1つ以上の画像は、前記関連付けられたシード画像と同じポリープを含む疑いがあるものとして識別される、ことと、
ポリープを含むシード画像を識別するために、前記シード画像に対してポリープ検出システムを適用することであって、前記ポリープ検出システムは、前記シード画像に関連付けられた前記1つ以上の画像と、前記シード画像及び前記1つ以上の関連付けられた画像に関連付けられた前記確率とに基づいて、前記シード画像の各シード画像に適用される、ことと、
を含む、方法。
(項目2)
所定のサイズ以上のサイズのポリープを含む前記複数の画像の画像を識別することを更に含み、前記複数の画像の各画像は、前記各画像に含まれる前記疑わしいポリープの推定サイズに更に関連付けられ、前記ポリープ検出システムは、前記シード画像及び前記シード画像に関連付けられた前記1つ以上の画像に関連付けられた前記推定ポリープサイズに基づいて、前記シード画像の各シード画像に更に適用される、項目1に記載の方法。
(項目3)
前記処置は不適切であると判定されて除外され、少なくとも1つのシード画像は、前記所定のサイズ以上のサイズのポリープを含むか、又は前記所定のサイズ以上のサイズの所定の数のポリープを含むと識別され、前記方法は、前記処置の前記除外を無効にすることを更に含む、項目2に記載の方法。
(項目4)
前記ポリープ検出システムは、1つ以上のポジティブフィルタ、1つ以上のネガティブフィルタ、1つ以上の古典的機械学習システム、又はそれらの組み合わせのうちの少なくとも1つを備える、項目1に記載の方法。
(項目5)
前記1つ以上の古典的機械学習システム、前記1つ以上のポジティブフィルタ、又は前記1つ以上のネガティブフィルタへの入力は、ポリープを含むシード画像確率、シード画像に関連付けられた画像の数、所定の閾値に従ってポリープを含む確率を有するシード画像に関連付けられた画像の数、又はそれらの組み合わせのうちの少なくとも1つを含む、項目4に記載の方法。
(項目6)
各シード画像に関連付けられた前記1つ以上の画像は、隣接する画像内の各シード画像に含まれる前記疑わしいポリープを追跡するトラッカを適用することによって、又は前記シード画像を隣接する画像と比較する分類システムを使用することによって決定される、項目1に記載の方法。
(項目7)
前記消化管(GIT)の前記アクセスされた複数の画像は、CE処置調査の画像である、項目1に記載の方法。
(項目8)
前記複数の画像から前記シード画像を選択することを更に含む、項目1に記載の方法。
(項目9)
ポリープを含むと識別された前記シード画像に基づいて、前記CE処置の担当医師に、前記CE処置の対象を大腸内視鏡検査処置に向ける指示を提供することを更に含む、項目1に記載の方法。
(項目10)
前記複数の画像の各画像について、
前記画像に対応する入力特徴に基づいて、前記画像が前記ポリープを含む前記確率を提供するように構成された古典的機械学習システムを適用することと、
前記画像に対応する前記古典的機械学習システムのソフトマージンにアクセスすることと、
人間の介入なしに、前記複数の画像の前記ソフトマージンに基づいて、大腸内視鏡検査を推奨するかどうかを決定することと、を更に含む、項目9に記載の方法。
(項目11)
ポリープを含む画像の確率に対するソフトマージンのマッピングにアクセスすることを更に含み、
大腸内視鏡検査を推奨するか否かの前記決定は、ポリープを含む画像の確率に対するソフトマージンの前記マッピングに更に基づく、項目10に記載の方法。
(項目12)
前記複数の画像の各画像について、前記画像の推定ポリープサイズにアクセスすることであって、前記推定ポリープサイズは、前記画像に基づいて生成される、ことと、
少なくとも所定のサイズである実際のポリープサイズの確率に対する推定ポリープサイズのマッピングにアクセスすることと、を更に含み、
大腸内視鏡検査を推奨するかどうかの前記決定は、前記推定ポリープサイズと、少なくとも所定のサイズである実際のポリープサイズの確率に対する前記推定ポリープサイズのマッピングとに更に基づく、項目10に記載の方法。
(項目13)
ポリープを含むと識別された前記シード画像を表示することを更に含む、項目1に記載の方法。
(項目14)
ポリープを含むと識別された前記シード画像に基づいて治療推奨を提供することを更に含む、項目1に記載の方法。
(項目15)
前記シード画像を表示し、ポリープを含むと識別された前記シード画像を示すことを更に含む、項目1に記載の方法。
(項目16)
少なくとも前記シード画像をユーザに表示することと、
前記表示された画像の中から画像のユーザ選択を受信することと、
前記ユーザによって選択されておらず、ポリープを含むと識別された前記シード画像の中にある少なくとも1つの選択されていない画像を決定することと、
前記少なくとも1つの選択されていない画像を前記ユーザに提示することと、を更に含む、項目1に記載の方法。
(項目17)
前記ユーザによって選択された前記画像は、前記CE処置報告に含まれるように選択された画像である、項目16に記載の方法。
(項目18)
前記少なくとも1つの選択されていない画像を前記ユーザに前記提示することは、報告を生成する要求が受信されると実行される、項目17に記載の方法。
(項目19)
画像を識別するための方法であって、
カプセル内視鏡デバイスによって捕捉された消化管(GIT)の複数の画像にアクセスすることであって、前記複数の画像はポリープを含む可能性を有する、ことと、
少なくとも1つのフィルタを前記複数の画像に適用することであって、前記少なくとも1つのフィルタは、ポリープを含むものとして指定する画像を識別するように構成されたポジティブフィルタ、又はポリープを含むものとして指定しない画像を識別するように構成されたネガティブフィルタのうちの少なくとも1つを含む、ことと、
前記少なくとも1つのフィルタによって識別された前記複数の画像のうちの少なくとも1つの画像、又は前記少なくとも1つのフィルタによって識別されなかった前記複数の画像のうちの少なくとも1つの画像、のうちの少なくとも1つに基づいて情報を提供することと、
を含む、方法。
(項目20)
前記ネガティブフィルタは、前記画像が前記GITの身体出口部分の画像であることに基づいて、ポリープを含むものとして指定されない画像を識別するように構成される、項目19に記載の方法。
(項目21)
前記ネガティブフィルタは、回盲弁又は痔静脈叢のうちの少なくとも1つの画像であると評価される前記画像に基づいて、ポリープを含むものとして指定されない画像を識別するように構成される、項目19に記載の方法。
(項目22)
前記ネガティブフィルタは、推定ポリープサイズが閾値サイズ未満であるポリープを含むと評価されている前記画像に基づいて、ポリープを含むものとして指定しない画像を識別するように構成される、項目19に記載の方法。
(項目23)
前記複数の画像の各画像に対して、前記画像の画像のトラックにアクセスすることを更に含む、項目19に記載の方法。
(項目24)
前記ネガティブフィルタは、閾値を超えるポリープ存在確率を有する画像を1つだけ有する画像についての前記画像のトラックに基づいて、ポリープを含むものとして指定されない画像を識別するように構成される、項目23に記載の方法。
(項目25)
前記ポジティブフィルタは、前記画像のトラックに基づいてポリープを含むものとして指定する画像を識別するように構成される、項目23に記載の方法。
(項目26)
前記ポジティブフィルタは、閾値を上回るポリープ存在確率を有する少なくとも閾値数の画像を有する画像に対する前記画像のトラックに基づいて、ポリープを含むものとして指定する画像を識別するように構成される、項目25に記載の方法。
(項目27)
画像を識別するためのシステムであって、
1つ以上のプロセッサと、
命令を記憶する少なくとも1つのメモリと、を備え、前記命令は、前記1つ以上のプロセッサによって実行されると、前記システムに、
カプセル内視鏡デバイスによって捕捉された消化管(GIT)の複数の画像にアクセスさせ、前記複数の画像はポリープを含む可能性を有し、
少なくとも1つのフィルタを前記複数の画像に適用させ、前記少なくとも1つのフィルタは、ポリープを含むものとして指定する画像を識別するように構成されたポジティブフィルタ、又はポリープを含むものとして指定しない画像を識別するように構成されたネガティブフィルタのうちの少なくとも1つを含み、
前記少なくとも1つのフィルタによって識別された前記複数の画像のうちの少なくとも1つの画像、又は前記少なくとも1つのフィルタによって識別されなかった前記複数の画像のうちの少なくとも1つの画像、のうちの少なくとも1つに基づいて情報を提供させる、システム。
(項目28)
前記ネガティブフィルタは、前記画像が前記GITの身体出口部分の画像であることに基づいて、ポリープを含むものとして指定されない画像を識別するように構成される、項目27に記載のシステム。
(項目29)
前記ネガティブフィルタは、回盲弁又は痔静脈叢のうちの少なくとも1つの画像であると評価される前記画像に基づいて、ポリープを含むものとして指定されない画像を識別するように構成される、項目27に記載のシステム。
(項目30)
前記ネガティブフィルタは、推定ポリープサイズが閾値サイズ未満であるポリープを含むと評価されている前記画像に基づいて、ポリープを含むものとして指定しない画像を識別するように構成される、項目27に記載のシステム。
(項目31)
前記命令は、前記1つ以上のプロセッサによって実行されると、前記システムに更に、前記複数の画像の各画像について、前記画像の画像のトラックにアクセスさせる、項目27に記載のシステム。
(項目32)
前記ネガティブフィルタは、閾値を超えるポリープ存在確率を有する画像を1つだけ有する画像についての前記画像のトラックに基づいて、ポリープを含むものとして指定されない画像を識別するように構成される、項目31に記載の方法。
(項目33)
前記ポジティブフィルタは、前記画像のトラックに基づいてポリープを含むものとして指定する画像を識別するように構成される、項目31に記載のシステム。
(項目34)
前記ポジティブフィルタは、閾値を上回るポリープ存在確率を有する少なくとも閾値数の画像を有する画像に対する前記画像のトラックに基づいて、ポリープを含むものとして指定する画像を識別するように構成される、項目33に記載のシステム。
(項目35)
画像を識別するための方法であって、
カプセル内視鏡デバイスによって捕捉された消化管(GIT)の複数の画像にアクセスすることであって、前記複数の画像はポリープを含む可能性を有する、ことと、
前記複数の画像の各画像について、前記画像に対応する入力特徴に基づいて、前記画像がポリープを含むかポリープを含まないかの指示を提供するように構成された古典的機械学習システムを適用することと、
信頼閾値を満たす、ポリープを含む前記古典的機械学習システムによって提供される指示を有する前記複数の画像のうちの少なくとも1つの画像に基づいて、情報を提示することと、
を含む、方法。
(項目36)
前記複数の画像の各画像に対して、前記画像の画像のトラックにアクセスすることを更に含む、項目35に記載の方法。
(項目37)
前記画像に対応する前記入力特徴は、前記画像のトラックのトラック長、又は閾値を上回るポリープ存在スコアを有する前記画像のトラック内の画像の数のうちの少なくとも1つを含む、項目36に記載の方法。
(項目38)
前記画像に対応する前記入力特徴は、前記画像のインデックスと回盲弁の画像のインデックスとの間のインデックス差を含む、項目35に記載の方法。
(項目39)
前記画像に対応する前記入力特徴は、前記画像が捕捉された結腸区分の区分番号を含む、項目35に記載の方法。
(項目40)
前記古典的機械学習分類器は、多項式サポートベクトルマシンである、項目35に記載の方法。
(項目41)
画像を識別するためのシステムであって、
1つ以上のプロセッサと、
命令を記憶する少なくとも1つのメモリと、を備え、前記命令は、前記1つ以上のプロセッサによって実行されると、前記システムに、
カプセル内視鏡デバイスによって捕捉された消化管(GIT)の複数の画像にアクセスさせ、前記複数の画像はポリープを含む可能性を有し、
前記複数の画像の各画像について、前記画像に対応する入力特徴に基づいて、前記画像がポリープを含むかポリープを含まないかの指示を提供するように構成された古典的機械学習システムを適用させ、
信頼閾値を満たす、ポリープを含む前記古典的機械学習システムによって提供される指示を有する前記複数の画像のうちの少なくとも1つの画像に基づいて、情報を提示させる、システム。
(項目42)
前記命令は、前記1つ以上のプロセッサによって実行されると、前記システムに更に、前記複数の画像の各画像について、前記画像の画像のトラックにアクセスさせる、項目41に記載のシステム。
(項目43)
前記画像に対応する前記入力特徴は、前記画像のトラックのトラック長、又は閾値を上回るポリープ存在スコアを有する前記画像のトラック内の画像の数のうちの少なくとも1つを含む、項目42に記載のシステム。
(項目44)
前記画像に対応する前記入力特徴は、前記画像のインデックスと回盲弁の画像のインデックスとの間のインデックス差を含む、項目41に記載のシステム。
(項目45)
前記画像に対応する前記入力特徴は、前記画像が捕捉された結腸区分の区分番号を含む、項目41に記載のシステム。
(項目46)
前記古典的機械学習分類器は、多項式サポートベクトルマシンである、項目41に記載のシステム。
(項目47)
画像を識別するための方法であって、
カプセル内視鏡デバイスによって捕捉された消化管(GIT)の複数の画像にアクセスすることであって、前記複数の画像はポリープを含む可能性を有する、ことと、
少なくとも1つのフィルタを前記複数の画像に適用することであって、前記少なくとも1つのフィルタは、ポリープを含むものとして指定する画像を識別するように構成されたポジティブフィルタ、又はポリープを含むものとして指定しない画像を識別するように構成されたネガティブフィルタのうちの少なくとも1つを含む、ことと、
前記少なくとも1つのフィルタによって識別されなかった少なくとも1つの画像を前記複数の画像から選択することによって、少なくとも1つのフィルタリングされていない画像を提供することと、
前記少なくとも1つのフィルタリングされていない画像の各フィルタリングされていない画像について、前記フィルタリングされていない画像に対応する入力特徴に基づいて、前記フィルタリングされていない画像がポリープを含むかポリープを含まないかの指示を提供するように構成された古典的機械学習システムを適用することと、
信頼閾値を満たす、ポリープを含む前記古典的機械学習システムによって提供される指示を有する前記少なくとも1つのフィルタリングされていない画像のうちの少なくとも1つの画像に基づいて、情報を提示することと、
を含む、方法。
(項目48)
人間の介入なしに、臨床医に提示するカプセル内視鏡報告を生成することを更に含み、前記カプセル内視鏡報告は、信頼閾値を満たす、ポリープを含む前記古典的機械学習システムによって提供される、指示を有する前記少なくとも1つのフィルタリングされていない画像のうちの前記少なくとも1つの画像、又はポジティブフィルタによって識別される少なくとも1つの画像のうちの少なくとも一方を含む、項目47に記載の方法。
(項目49)
前記複数の画像の中から画像のユーザ選択を受信することと、
ユーザによって選択されなかった、かつ信頼閾値を満たす、ポリープを含む前記古典的機械学習システムによって提供される指示を有する前記少なくとも1つのフィルタリングされていない画像のうちの前記少なくとも1つの画像の中の、少なくとも1つの選択されていない画像を決定することと、
前記少なくとも1つの選択されていない画像を前記ユーザに提示することと、を更に含む、項目47に記載の方法。
(項目50)
信頼閾値を満たす、ポリープを含む前記古典的機械学習システムによって提供される指示を有する前記少なくとも1つのフィルタリングされていない画像のうちの前記少なくとも1つの画像の各画像にアクセスすることによって、少なくとも1つのポリープ画像を提供することと、
別のコンピュータ実施ツールによってポリープを含むと指定されなかった前記少なくとも1つのポリープ画像の中からポリープ画像を識別することと、
前記ポリープ画像をポリープを含むものとして指定するために、前記別のコンピュータ実施ツールを無効にすることと、を更に含む、項目47に記載の方法。
(項目51)
画像を識別するためのシステムであって、
1つ以上のプロセッサと、
命令を記憶する少なくとも1つのメモリと、を備え、前記命令は、前記1つ以上のプロセッサによって実行されると、前記システムに、
カプセル内視鏡デバイスによって捕捉された消化管(GIT)の複数の画像にアクセスさせ、前記複数の画像はポリープを含む可能性を有し、
少なくとも1つのフィルタを前記複数の画像に適用させ、前記少なくとも1つのフィルタは、ポリープを含むものとして指定する画像を識別するように構成されたポジティブフィルタ、又はポリープを含むものとして指定しない画像を識別するように構成されたネガティブフィルタのうちの少なくとも1つを含み、
前記少なくとも1つのフィルタによって識別されなかった少なくとも1つの画像を前記複数の画像から選択することによって、少なくとも1つのフィルタリングされていない画像を提供させ、
前記少なくとも1つのフィルタリングされていない画像の各フィルタリングされていない画像について、前記フィルタリングされていない画像に対応する入力特徴に基づいて、前記フィルタリングされていない画像がポリープを含むかポリープを含まないかの指示を提供するように構成された古典的機械学習システムを適用させ、
信頼閾値を満たす、ポリープを含む前記古典的機械学習システムによって提供される指示を有する前記少なくとも1つのフィルタリングされていない画像のうちの少なくとも1つの画像に基づいて、情報を提示させる、システム。
(項目52)
前記命令は、前記1つ以上のプロセッサによって実行されると、前記システムに更に、
人間の介入なしに、臨床医に提示するカプセル内視鏡報告を生成させ、前記カプセル内視鏡報告は、信頼閾値を満たす、ポリープを含む前記古典的機械学習システムによって提供される、指示を有する前記少なくとも1つのフィルタリングされていない画像のうちの前記少なくとも1つの画像、又はポジティブフィルタによって識別される少なくとも1つの画像のうちの少なくとも一方を含む、項目51に記載のシステム。
(項目53)
前記命令は、前記1つ以上のプロセッサによって実行されると、前記システムに更に、
前記複数の画像の中から画像のユーザ選択を受信させ、
ユーザによって選択されなかった、かつ信頼閾値を満たす、ポリープを含む前記古典的機械学習システムによって提供される指示を有する前記少なくとも1つのフィルタリングされていない画像のうちの前記少なくとも1つの画像の中の、少なくとも1つの選択されていない画像を決定させ、
前記少なくとも1つの選択されていない画像を前記ユーザに提示させる、項目51に記載のシステム。
(項目54)
大腸内視鏡検査を推奨するためのコンピュータ実施方法であって、
カプセル内視鏡デバイスによって捕捉された消化管(GIT)の複数の画像にアクセスすることであって、前記複数の画像はポリープを含む可能性を有する、ことと、
前記複数の画像の各画像について、
前記画像に対応する入力特徴に基づいて、前記画像がポリープを含むかポリープを含まないかの指示を提供するように構成された古典的機械学習システムを適用することと、
前記画像に対応する前記古典的機械学習システムのソフトマージンにアクセスすることと、
人間の介入なしに、前記複数の画像の前記ソフトマージンに基づいて、大腸内視鏡検査を推奨するかどうかを決定することと、
を含むコンピュータ実施方法。
(項目55)
ポリープを含む画像の確率に対するソフトマージンのマッピングにアクセスすることを更に含み、
大腸内視鏡検査を推奨するか否かの前記決定は、ポリープを含む画像の確率に対するソフトマージンの前記マッピングに更に基づく、項目54に記載のコンピュータ実施方法。
(項目56)
前記複数の画像の各画像について、前記画像の推定ポリープサイズにアクセスすることであって、前記推定ポリープサイズは、前記画像に基づいて生成される、ことと、
少なくとも所定のサイズである実際のポリープサイズの確率に対する推定ポリープサイズのマッピングにアクセスすることと、を更に含み、
大腸内視鏡検査を推奨するかどうかの前記決定は、前記推定ポリープサイズと、少なくとも所定のサイズである実際のポリープサイズの確率に対する前記推定ポリープサイズのマッピングとに更に基づく、項目54に記載のコンピュータ実施方法。
(項目57)
大腸内視鏡検査を推奨するためのシステムであって、
1つ以上のプロセッサと、
命令を記憶する少なくとも1つのメモリと、を備え、前記命令は、前記1つ以上のプロセッサによって実行されると、前記システムに、
カプセル内視鏡デバイスによって捕捉された消化管(GIT)の複数の画像にアクセスさせ、前記複数の画像はポリープを含む可能性を有し、
前記複数の画像の各画像について、
前記画像に対応する入力特徴に基づいて、前記画像がポリープを含むかポリープを含まないかの指示を提供するように構成された古典的機械学習システムを適用させ、
前記画像に対応する前記古典的機械学習システムのソフトマージンにアクセスさせ、
人間の介入なしに、前記複数の画像の前記ソフトマージンに基づいて、大腸内視鏡検査を推奨するかどうかを決定させる、システム。
(項目58)
前記命令は、前記1つ以上のプロセッサによって実行されると、前記システムに更に、ポリープを含む画像の確率に対するソフトマージンのマッピングにアクセスさせ、
大腸内視鏡検査を推奨するか否かの前記決定は、ポリープを含む画像の確率に対するソフトマージンの前記マッピングに更に基づく、項目57に記載のシステム。
(項目59)
前記命令は、前記1つ以上のプロセッサによって実行されると、前記システムに更に、
前記複数の画像の各画像について、前記画像の推定ポリープサイズにアクセスさせ、前記推定ポリープサイズは、前記画像に基づいて生成され、
少なくとも所定のサイズである実際のポリープサイズの確率に対する推定ポリープサイズのマッピングにアクセスさせ、
大腸内視鏡検査を推奨するかどうかの前記決定は、前記推定ポリープサイズと、少なくとも所定のサイズである実際のポリープサイズの確率に対する前記推定ポリープサイズのマッピングとに更に基づく、項目57に記載のシステム。
本発明は、例えば、以下の項目を提供する。
(項目1)
ポリープを含む画像を識別する方法であって、
CE処置中にカプセル内視鏡デバイスによって捕捉された消化管(GIT)の複数の画像にアクセスすることであって、
前記複数の画像の各画像は、ポリープを含む疑いがあり、前記ポリープを含む確率に関連付けられ、
前記複数の画像はシード画像を含み、各シード画像は前記複数の画像のうちの1つ以上の画像に関連付けられ、各シード画像に関連付けられた前記1つ以上の画像は、前記関連付けられたシード画像と同じポリープを含む疑いがあるものとして識別される、ことと、
ポリープを含むシード画像を識別するために、前記シード画像に対してポリープ検出システムを適用することであって、前記ポリープ検出システムは、前記シード画像に関連付けられた前記1つ以上の画像と、前記シード画像及び前記1つ以上の関連付けられた画像に関連付けられた前記確率とに基づいて、前記シード画像の各シード画像に適用される、ことと、
を含む、方法。
(項目2)
所定のサイズ以上のサイズのポリープを含む前記複数の画像の画像を識別することを更に含み、前記複数の画像の各画像は、前記各画像に含まれる前記疑わしいポリープの推定サイズに更に関連付けられ、前記ポリープ検出システムは、前記シード画像及び前記シード画像に関連付けられた前記1つ以上の画像に関連付けられた前記推定ポリープサイズに基づいて、前記シード画像の各シード画像に更に適用される、項目1に記載の方法。
(項目3)
前記処置は不適切であると判定されて除外され、少なくとも1つのシード画像は、前記所定のサイズ以上のサイズのポリープを含むか、又は前記所定のサイズ以上のサイズの所定の数のポリープを含むと識別され、前記方法は、前記処置の前記除外を無効にすることを更に含む、項目2に記載の方法。
(項目4)
前記ポリープ検出システムは、1つ以上のポジティブフィルタ、1つ以上のネガティブフィルタ、1つ以上の古典的機械学習システム、又はそれらの組み合わせのうちの少なくとも1つを備える、項目1に記載の方法。
(項目5)
前記1つ以上の古典的機械学習システム、前記1つ以上のポジティブフィルタ、又は前記1つ以上のネガティブフィルタへの入力は、ポリープを含むシード画像確率、シード画像に関連付けられた画像の数、所定の閾値に従ってポリープを含む確率を有するシード画像に関連付けられた画像の数、又はそれらの組み合わせのうちの少なくとも1つを含む、項目4に記載の方法。
(項目6)
各シード画像に関連付けられた前記1つ以上の画像は、隣接する画像内の各シード画像に含まれる前記疑わしいポリープを追跡するトラッカを適用することによって、又は前記シード画像を隣接する画像と比較する分類システムを使用することによって決定される、項目1に記載の方法。
(項目7)
前記消化管(GIT)の前記アクセスされた複数の画像は、CE処置調査の画像である、項目1に記載の方法。
(項目8)
前記複数の画像から前記シード画像を選択することを更に含む、項目1に記載の方法。
(項目9)
ポリープを含むと識別された前記シード画像に基づいて、前記CE処置の担当医師に、前記CE処置の対象を大腸内視鏡検査処置に向ける指示を提供することを更に含む、項目1に記載の方法。
(項目10)
前記複数の画像の各画像について、
前記画像に対応する入力特徴に基づいて、前記画像が前記ポリープを含む前記確率を提供するように構成された古典的機械学習システムを適用することと、
前記画像に対応する前記古典的機械学習システムのソフトマージンにアクセスすることと、
人間の介入なしに、前記複数の画像の前記ソフトマージンに基づいて、大腸内視鏡検査を推奨するかどうかを決定することと、を更に含む、項目9に記載の方法。
(項目11)
ポリープを含む画像の確率に対するソフトマージンのマッピングにアクセスすることを更に含み、
大腸内視鏡検査を推奨するか否かの前記決定は、ポリープを含む画像の確率に対するソフトマージンの前記マッピングに更に基づく、項目10に記載の方法。
(項目12)
前記複数の画像の各画像について、前記画像の推定ポリープサイズにアクセスすることであって、前記推定ポリープサイズは、前記画像に基づいて生成される、ことと、
少なくとも所定のサイズである実際のポリープサイズの確率に対する推定ポリープサイズのマッピングにアクセスすることと、を更に含み、
大腸内視鏡検査を推奨するかどうかの前記決定は、前記推定ポリープサイズと、少なくとも所定のサイズである実際のポリープサイズの確率に対する前記推定ポリープサイズのマッピングとに更に基づく、項目10に記載の方法。
(項目13)
ポリープを含むと識別された前記シード画像を表示することを更に含む、項目1に記載の方法。
(項目14)
ポリープを含むと識別された前記シード画像に基づいて治療推奨を提供することを更に含む、項目1に記載の方法。
(項目15)
前記シード画像を表示し、ポリープを含むと識別された前記シード画像を示すことを更に含む、項目1に記載の方法。
(項目16)
少なくとも前記シード画像をユーザに表示することと、
前記表示された画像の中から画像のユーザ選択を受信することと、
前記ユーザによって選択されておらず、ポリープを含むと識別された前記シード画像の中にある少なくとも1つの選択されていない画像を決定することと、
前記少なくとも1つの選択されていない画像を前記ユーザに提示することと、を更に含む、項目1に記載の方法。
(項目17)
前記ユーザによって選択された前記画像は、前記CE処置報告に含まれるように選択された画像である、項目16に記載の方法。
(項目18)
前記少なくとも1つの選択されていない画像を前記ユーザに前記提示することは、報告を生成する要求が受信されると実行される、項目17に記載の方法。
(項目19)
画像を識別するための方法であって、
カプセル内視鏡デバイスによって捕捉された消化管(GIT)の複数の画像にアクセスすることであって、前記複数の画像はポリープを含む可能性を有する、ことと、
少なくとも1つのフィルタを前記複数の画像に適用することであって、前記少なくとも1つのフィルタは、ポリープを含むものとして指定する画像を識別するように構成されたポジティブフィルタ、又はポリープを含むものとして指定しない画像を識別するように構成されたネガティブフィルタのうちの少なくとも1つを含む、ことと、
前記少なくとも1つのフィルタによって識別された前記複数の画像のうちの少なくとも1つの画像、又は前記少なくとも1つのフィルタによって識別されなかった前記複数の画像のうちの少なくとも1つの画像、のうちの少なくとも1つに基づいて情報を提供することと、
を含む、方法。
(項目20)
前記ネガティブフィルタは、前記画像が前記GITの身体出口部分の画像であることに基づいて、ポリープを含むものとして指定されない画像を識別するように構成される、項目19に記載の方法。
(項目21)
前記ネガティブフィルタは、回盲弁又は痔静脈叢のうちの少なくとも1つの画像であると評価される前記画像に基づいて、ポリープを含むものとして指定されない画像を識別するように構成される、項目19に記載の方法。
(項目22)
前記ネガティブフィルタは、推定ポリープサイズが閾値サイズ未満であるポリープを含むと評価されている前記画像に基づいて、ポリープを含むものとして指定しない画像を識別するように構成される、項目19に記載の方法。
(項目23)
前記複数の画像の各画像に対して、前記画像の画像のトラックにアクセスすることを更に含む、項目19に記載の方法。
(項目24)
前記ネガティブフィルタは、閾値を超えるポリープ存在確率を有する画像を1つだけ有する画像についての前記画像のトラックに基づいて、ポリープを含むものとして指定されない画像を識別するように構成される、項目23に記載の方法。
(項目25)
前記ポジティブフィルタは、前記画像のトラックに基づいてポリープを含むものとして指定する画像を識別するように構成される、項目23に記載の方法。
(項目26)
前記ポジティブフィルタは、閾値を上回るポリープ存在確率を有する少なくとも閾値数の画像を有する画像に対する前記画像のトラックに基づいて、ポリープを含むものとして指定する画像を識別するように構成される、項目25に記載の方法。
(項目27)
画像を識別するためのシステムであって、
1つ以上のプロセッサと、
命令を記憶する少なくとも1つのメモリと、を備え、前記命令は、前記1つ以上のプロセッサによって実行されると、前記システムに、
カプセル内視鏡デバイスによって捕捉された消化管(GIT)の複数の画像にアクセスさせ、前記複数の画像はポリープを含む可能性を有し、
少なくとも1つのフィルタを前記複数の画像に適用させ、前記少なくとも1つのフィルタは、ポリープを含むものとして指定する画像を識別するように構成されたポジティブフィルタ、又はポリープを含むものとして指定しない画像を識別するように構成されたネガティブフィルタのうちの少なくとも1つを含み、
前記少なくとも1つのフィルタによって識別された前記複数の画像のうちの少なくとも1つの画像、又は前記少なくとも1つのフィルタによって識別されなかった前記複数の画像のうちの少なくとも1つの画像、のうちの少なくとも1つに基づいて情報を提供させる、システム。
(項目28)
前記ネガティブフィルタは、前記画像が前記GITの身体出口部分の画像であることに基づいて、ポリープを含むものとして指定されない画像を識別するように構成される、項目27に記載のシステム。
(項目29)
前記ネガティブフィルタは、回盲弁又は痔静脈叢のうちの少なくとも1つの画像であると評価される前記画像に基づいて、ポリープを含むものとして指定されない画像を識別するように構成される、項目27に記載のシステム。
(項目30)
前記ネガティブフィルタは、推定ポリープサイズが閾値サイズ未満であるポリープを含むと評価されている前記画像に基づいて、ポリープを含むものとして指定しない画像を識別するように構成される、項目27に記載のシステム。
(項目31)
前記命令は、前記1つ以上のプロセッサによって実行されると、前記システムに更に、前記複数の画像の各画像について、前記画像の画像のトラックにアクセスさせる、項目27に記載のシステム。
(項目32)
前記ネガティブフィルタは、閾値を超えるポリープ存在確率を有する画像を1つだけ有する画像についての前記画像のトラックに基づいて、ポリープを含むものとして指定されない画像を識別するように構成される、項目31に記載の方法。
(項目33)
前記ポジティブフィルタは、前記画像のトラックに基づいてポリープを含むものとして指定する画像を識別するように構成される、項目31に記載のシステム。
(項目34)
前記ポジティブフィルタは、閾値を上回るポリープ存在確率を有する少なくとも閾値数の画像を有する画像に対する前記画像のトラックに基づいて、ポリープを含むものとして指定する画像を識別するように構成される、項目33に記載のシステム。
(項目35)
画像を識別するための方法であって、
カプセル内視鏡デバイスによって捕捉された消化管(GIT)の複数の画像にアクセスすることであって、前記複数の画像はポリープを含む可能性を有する、ことと、
前記複数の画像の各画像について、前記画像に対応する入力特徴に基づいて、前記画像がポリープを含むかポリープを含まないかの指示を提供するように構成された古典的機械学習システムを適用することと、
信頼閾値を満たす、ポリープを含む前記古典的機械学習システムによって提供される指示を有する前記複数の画像のうちの少なくとも1つの画像に基づいて、情報を提示することと、
を含む、方法。
(項目36)
前記複数の画像の各画像に対して、前記画像の画像のトラックにアクセスすることを更に含む、項目35に記載の方法。
(項目37)
前記画像に対応する前記入力特徴は、前記画像のトラックのトラック長、又は閾値を上回るポリープ存在スコアを有する前記画像のトラック内の画像の数のうちの少なくとも1つを含む、項目36に記載の方法。
(項目38)
前記画像に対応する前記入力特徴は、前記画像のインデックスと回盲弁の画像のインデックスとの間のインデックス差を含む、項目35に記載の方法。
(項目39)
前記画像に対応する前記入力特徴は、前記画像が捕捉された結腸区分の区分番号を含む、項目35に記載の方法。
(項目40)
前記古典的機械学習分類器は、多項式サポートベクトルマシンである、項目35に記載の方法。
(項目41)
画像を識別するためのシステムであって、
1つ以上のプロセッサと、
命令を記憶する少なくとも1つのメモリと、を備え、前記命令は、前記1つ以上のプロセッサによって実行されると、前記システムに、
カプセル内視鏡デバイスによって捕捉された消化管(GIT)の複数の画像にアクセスさせ、前記複数の画像はポリープを含む可能性を有し、
前記複数の画像の各画像について、前記画像に対応する入力特徴に基づいて、前記画像がポリープを含むかポリープを含まないかの指示を提供するように構成された古典的機械学習システムを適用させ、
信頼閾値を満たす、ポリープを含む前記古典的機械学習システムによって提供される指示を有する前記複数の画像のうちの少なくとも1つの画像に基づいて、情報を提示させる、システム。
(項目42)
前記命令は、前記1つ以上のプロセッサによって実行されると、前記システムに更に、前記複数の画像の各画像について、前記画像の画像のトラックにアクセスさせる、項目41に記載のシステム。
(項目43)
前記画像に対応する前記入力特徴は、前記画像のトラックのトラック長、又は閾値を上回るポリープ存在スコアを有する前記画像のトラック内の画像の数のうちの少なくとも1つを含む、項目42に記載のシステム。
(項目44)
前記画像に対応する前記入力特徴は、前記画像のインデックスと回盲弁の画像のインデックスとの間のインデックス差を含む、項目41に記載のシステム。
(項目45)
前記画像に対応する前記入力特徴は、前記画像が捕捉された結腸区分の区分番号を含む、項目41に記載のシステム。
(項目46)
前記古典的機械学習分類器は、多項式サポートベクトルマシンである、項目41に記載のシステム。
(項目47)
画像を識別するための方法であって、
カプセル内視鏡デバイスによって捕捉された消化管(GIT)の複数の画像にアクセスすることであって、前記複数の画像はポリープを含む可能性を有する、ことと、
少なくとも1つのフィルタを前記複数の画像に適用することであって、前記少なくとも1つのフィルタは、ポリープを含むものとして指定する画像を識別するように構成されたポジティブフィルタ、又はポリープを含むものとして指定しない画像を識別するように構成されたネガティブフィルタのうちの少なくとも1つを含む、ことと、
前記少なくとも1つのフィルタによって識別されなかった少なくとも1つの画像を前記複数の画像から選択することによって、少なくとも1つのフィルタリングされていない画像を提供することと、
前記少なくとも1つのフィルタリングされていない画像の各フィルタリングされていない画像について、前記フィルタリングされていない画像に対応する入力特徴に基づいて、前記フィルタリングされていない画像がポリープを含むかポリープを含まないかの指示を提供するように構成された古典的機械学習システムを適用することと、
信頼閾値を満たす、ポリープを含む前記古典的機械学習システムによって提供される指示を有する前記少なくとも1つのフィルタリングされていない画像のうちの少なくとも1つの画像に基づいて、情報を提示することと、
を含む、方法。
(項目48)
人間の介入なしに、臨床医に提示するカプセル内視鏡報告を生成することを更に含み、前記カプセル内視鏡報告は、信頼閾値を満たす、ポリープを含む前記古典的機械学習システムによって提供される、指示を有する前記少なくとも1つのフィルタリングされていない画像のうちの前記少なくとも1つの画像、又はポジティブフィルタによって識別される少なくとも1つの画像のうちの少なくとも一方を含む、項目47に記載の方法。
(項目49)
前記複数の画像の中から画像のユーザ選択を受信することと、
ユーザによって選択されなかった、かつ信頼閾値を満たす、ポリープを含む前記古典的機械学習システムによって提供される指示を有する前記少なくとも1つのフィルタリングされていない画像のうちの前記少なくとも1つの画像の中の、少なくとも1つの選択されていない画像を決定することと、
前記少なくとも1つの選択されていない画像を前記ユーザに提示することと、を更に含む、項目47に記載の方法。
(項目50)
信頼閾値を満たす、ポリープを含む前記古典的機械学習システムによって提供される指示を有する前記少なくとも1つのフィルタリングされていない画像のうちの前記少なくとも1つの画像の各画像にアクセスすることによって、少なくとも1つのポリープ画像を提供することと、
別のコンピュータ実施ツールによってポリープを含むと指定されなかった前記少なくとも1つのポリープ画像の中からポリープ画像を識別することと、
前記ポリープ画像をポリープを含むものとして指定するために、前記別のコンピュータ実施ツールを無効にすることと、を更に含む、項目47に記載の方法。
(項目51)
画像を識別するためのシステムであって、
1つ以上のプロセッサと、
命令を記憶する少なくとも1つのメモリと、を備え、前記命令は、前記1つ以上のプロセッサによって実行されると、前記システムに、
カプセル内視鏡デバイスによって捕捉された消化管(GIT)の複数の画像にアクセスさせ、前記複数の画像はポリープを含む可能性を有し、
少なくとも1つのフィルタを前記複数の画像に適用させ、前記少なくとも1つのフィルタは、ポリープを含むものとして指定する画像を識別するように構成されたポジティブフィルタ、又はポリープを含むものとして指定しない画像を識別するように構成されたネガティブフィルタのうちの少なくとも1つを含み、
前記少なくとも1つのフィルタによって識別されなかった少なくとも1つの画像を前記複数の画像から選択することによって、少なくとも1つのフィルタリングされていない画像を提供させ、
前記少なくとも1つのフィルタリングされていない画像の各フィルタリングされていない画像について、前記フィルタリングされていない画像に対応する入力特徴に基づいて、前記フィルタリングされていない画像がポリープを含むかポリープを含まないかの指示を提供するように構成された古典的機械学習システムを適用させ、
信頼閾値を満たす、ポリープを含む前記古典的機械学習システムによって提供される指示を有する前記少なくとも1つのフィルタリングされていない画像のうちの少なくとも1つの画像に基づいて、情報を提示させる、システム。
(項目52)
前記命令は、前記1つ以上のプロセッサによって実行されると、前記システムに更に、
人間の介入なしに、臨床医に提示するカプセル内視鏡報告を生成させ、前記カプセル内視鏡報告は、信頼閾値を満たす、ポリープを含む前記古典的機械学習システムによって提供される、指示を有する前記少なくとも1つのフィルタリングされていない画像のうちの前記少なくとも1つの画像、又はポジティブフィルタによって識別される少なくとも1つの画像のうちの少なくとも一方を含む、項目51に記載のシステム。
(項目53)
前記命令は、前記1つ以上のプロセッサによって実行されると、前記システムに更に、
前記複数の画像の中から画像のユーザ選択を受信させ、
ユーザによって選択されなかった、かつ信頼閾値を満たす、ポリープを含む前記古典的機械学習システムによって提供される指示を有する前記少なくとも1つのフィルタリングされていない画像のうちの前記少なくとも1つの画像の中の、少なくとも1つの選択されていない画像を決定させ、
前記少なくとも1つの選択されていない画像を前記ユーザに提示させる、項目51に記載のシステム。
(項目54)
大腸内視鏡検査を推奨するためのコンピュータ実施方法であって、
カプセル内視鏡デバイスによって捕捉された消化管(GIT)の複数の画像にアクセスすることであって、前記複数の画像はポリープを含む可能性を有する、ことと、
前記複数の画像の各画像について、
前記画像に対応する入力特徴に基づいて、前記画像がポリープを含むかポリープを含まないかの指示を提供するように構成された古典的機械学習システムを適用することと、
前記画像に対応する前記古典的機械学習システムのソフトマージンにアクセスすることと、
人間の介入なしに、前記複数の画像の前記ソフトマージンに基づいて、大腸内視鏡検査を推奨するかどうかを決定することと、
を含むコンピュータ実施方法。
(項目55)
ポリープを含む画像の確率に対するソフトマージンのマッピングにアクセスすることを更に含み、
大腸内視鏡検査を推奨するか否かの前記決定は、ポリープを含む画像の確率に対するソフトマージンの前記マッピングに更に基づく、項目54に記載のコンピュータ実施方法。
(項目56)
前記複数の画像の各画像について、前記画像の推定ポリープサイズにアクセスすることであって、前記推定ポリープサイズは、前記画像に基づいて生成される、ことと、
少なくとも所定のサイズである実際のポリープサイズの確率に対する推定ポリープサイズのマッピングにアクセスすることと、を更に含み、
大腸内視鏡検査を推奨するかどうかの前記決定は、前記推定ポリープサイズと、少なくとも所定のサイズである実際のポリープサイズの確率に対する前記推定ポリープサイズのマッピングとに更に基づく、項目54に記載のコンピュータ実施方法。
(項目57)
大腸内視鏡検査を推奨するためのシステムであって、
1つ以上のプロセッサと、
命令を記憶する少なくとも1つのメモリと、を備え、前記命令は、前記1つ以上のプロセッサによって実行されると、前記システムに、
カプセル内視鏡デバイスによって捕捉された消化管(GIT)の複数の画像にアクセスさせ、前記複数の画像はポリープを含む可能性を有し、
前記複数の画像の各画像について、
前記画像に対応する入力特徴に基づいて、前記画像がポリープを含むかポリープを含まないかの指示を提供するように構成された古典的機械学習システムを適用させ、
前記画像に対応する前記古典的機械学習システムのソフトマージンにアクセスさせ、
人間の介入なしに、前記複数の画像の前記ソフトマージンに基づいて、大腸内視鏡検査を推奨するかどうかを決定させる、システム。
(項目58)
前記命令は、前記1つ以上のプロセッサによって実行されると、前記システムに更に、ポリープを含む画像の確率に対するソフトマージンのマッピングにアクセスさせ、
大腸内視鏡検査を推奨するか否かの前記決定は、ポリープを含む画像の確率に対するソフトマージンの前記マッピングに更に基づく、項目57に記載のシステム。
(項目59)
前記命令は、前記1つ以上のプロセッサによって実行されると、前記システムに更に、
前記複数の画像の各画像について、前記画像の推定ポリープサイズにアクセスさせ、前記推定ポリープサイズは、前記画像に基づいて生成され、
少なくとも所定のサイズである実際のポリープサイズの確率に対する推定ポリープサイズのマッピングにアクセスさせ、
大腸内視鏡検査を推奨するかどうかの前記決定は、前記推定ポリープサイズと、少なくとも所定のサイズである実際のポリープサイズの確率に対する前記推定ポリープサイズのマッピングとに更に基づく、項目57に記載のシステム。
Claims (59)
- ポリープを含む画像を識別する方法であって、
CE処置中にカプセル内視鏡デバイスによって捕捉された消化管(GIT)の複数の画像にアクセスすることであって、
前記複数の画像の各画像は、ポリープを含む疑いがあり、前記ポリープを含む確率に関連付けられ、
前記複数の画像はシード画像を含み、各シード画像は前記複数の画像のうちの1つ以上の画像に関連付けられ、各シード画像に関連付けられた前記1つ以上の画像は、前記関連付けられたシード画像と同じポリープを含む疑いがあるものとして識別される、ことと、
ポリープを含むシード画像を識別するために、前記シード画像に対してポリープ検出システムを適用することであって、前記ポリープ検出システムは、前記シード画像に関連付けられた前記1つ以上の画像と、前記シード画像及び前記1つ以上の関連付けられた画像に関連付けられた前記確率とに基づいて、前記シード画像の各シード画像に適用される、ことと、
を含む、方法。 - 所定のサイズ以上のサイズのポリープを含む前記複数の画像の画像を識別することを更に含み、前記複数の画像の各画像は、前記各画像に含まれる前記疑わしいポリープの推定サイズに更に関連付けられ、前記ポリープ検出システムは、前記シード画像及び前記シード画像に関連付けられた前記1つ以上の画像に関連付けられた前記推定ポリープサイズに基づいて、前記シード画像の各シード画像に更に適用される、請求項1に記載の方法。
- 前記処置は不適切であると判定されて除外され、少なくとも1つのシード画像は、前記所定のサイズ以上のサイズのポリープを含むか、又は前記所定のサイズ以上のサイズの所定の数のポリープを含むと識別され、前記方法は、前記処置の前記除外を無効にすることを更に含む、請求項2に記載の方法。
- 前記ポリープ検出システムは、1つ以上のポジティブフィルタ、1つ以上のネガティブフィルタ、1つ以上の古典的機械学習システム、又はそれらの組み合わせのうちの少なくとも1つを備える、請求項1に記載の方法。
- 前記1つ以上の古典的機械学習システム、前記1つ以上のポジティブフィルタ、又は前記1つ以上のネガティブフィルタへの入力は、ポリープを含むシード画像確率、シード画像に関連付けられた画像の数、所定の閾値に従ってポリープを含む確率を有するシード画像に関連付けられた画像の数、又はそれらの組み合わせのうちの少なくとも1つを含む、請求項4に記載の方法。
- 各シード画像に関連付けられた前記1つ以上の画像は、隣接する画像内の各シード画像に含まれる前記疑わしいポリープを追跡するトラッカを適用することによって、又は前記シード画像を隣接する画像と比較する分類システムを使用することによって決定される、請求項1に記載の方法。
- 前記消化管(GIT)の前記アクセスされた複数の画像は、CE処置調査の画像である、請求項1に記載の方法。
- 前記複数の画像から前記シード画像を選択することを更に含む、請求項1に記載の方法。
- ポリープを含むと識別された前記シード画像に基づいて、前記CE処置の担当医師に、前記CE処置の対象を大腸内視鏡検査処置に向ける指示を提供することを更に含む、請求項1に記載の方法。
- 前記複数の画像の各画像について、
前記画像に対応する入力特徴に基づいて、前記画像が前記ポリープを含む前記確率を提供するように構成された古典的機械学習システムを適用することと、
前記画像に対応する前記古典的機械学習システムのソフトマージンにアクセスすることと、
人間の介入なしに、前記複数の画像の前記ソフトマージンに基づいて、大腸内視鏡検査を推奨するかどうかを決定することと、を更に含む、請求項9に記載の方法。 - ポリープを含む画像の確率に対するソフトマージンのマッピングにアクセスすることを更に含み、
大腸内視鏡検査を推奨するか否かの前記決定は、ポリープを含む画像の確率に対するソフトマージンの前記マッピングに更に基づく、請求項10に記載の方法。 - 前記複数の画像の各画像について、前記画像の推定ポリープサイズにアクセスすることであって、前記推定ポリープサイズは、前記画像に基づいて生成される、ことと、
少なくとも所定のサイズである実際のポリープサイズの確率に対する推定ポリープサイズのマッピングにアクセスすることと、を更に含み、
大腸内視鏡検査を推奨するかどうかの前記決定は、前記推定ポリープサイズと、少なくとも所定のサイズである実際のポリープサイズの確率に対する前記推定ポリープサイズのマッピングとに更に基づく、請求項10に記載の方法。 - ポリープを含むと識別された前記シード画像を表示することを更に含む、請求項1に記載の方法。
- ポリープを含むと識別された前記シード画像に基づいて治療推奨を提供することを更に含む、請求項1に記載の方法。
- 前記シード画像を表示し、ポリープを含むと識別された前記シード画像を示すことを更に含む、請求項1に記載の方法。
- 少なくとも前記シード画像をユーザに表示することと、
前記表示された画像の中から画像のユーザ選択を受信することと、
前記ユーザによって選択されておらず、ポリープを含むと識別された前記シード画像の中にある少なくとも1つの選択されていない画像を決定することと、
前記少なくとも1つの選択されていない画像を前記ユーザに提示することと、を更に含む、請求項1に記載の方法。 - 前記ユーザによって選択された前記画像は、前記CE処置報告に含まれるように選択された画像である、請求項16に記載の方法。
- 前記少なくとも1つの選択されていない画像を前記ユーザに前記提示することは、報告を生成する要求が受信されると実行される、請求項17に記載の方法。
- 画像を識別するための方法であって、
カプセル内視鏡デバイスによって捕捉された消化管(GIT)の複数の画像にアクセスすることであって、前記複数の画像はポリープを含む可能性を有する、ことと、
少なくとも1つのフィルタを前記複数の画像に適用することであって、前記少なくとも1つのフィルタは、ポリープを含むものとして指定する画像を識別するように構成されたポジティブフィルタ、又はポリープを含むものとして指定しない画像を識別するように構成されたネガティブフィルタのうちの少なくとも1つを含む、ことと、
前記少なくとも1つのフィルタによって識別された前記複数の画像のうちの少なくとも1つの画像、又は前記少なくとも1つのフィルタによって識別されなかった前記複数の画像のうちの少なくとも1つの画像、のうちの少なくとも1つに基づいて情報を提供することと、
を含む、方法。 - 前記ネガティブフィルタは、前記画像が前記GITの身体出口部分の画像であることに基づいて、ポリープを含むものとして指定されない画像を識別するように構成される、請求項19に記載の方法。
- 前記ネガティブフィルタは、回盲弁又は痔静脈叢のうちの少なくとも1つの画像であると評価される前記画像に基づいて、ポリープを含むものとして指定されない画像を識別するように構成される、請求項19に記載の方法。
- 前記ネガティブフィルタは、推定ポリープサイズが閾値サイズ未満であるポリープを含むと評価されている前記画像に基づいて、ポリープを含むものとして指定しない画像を識別するように構成される、請求項19に記載の方法。
- 前記複数の画像の各画像に対して、前記画像の画像のトラックにアクセスすることを更に含む、請求項19に記載の方法。
- 前記ネガティブフィルタは、閾値を超えるポリープ存在確率を有する画像を1つだけ有する画像についての前記画像のトラックに基づいて、ポリープを含むものとして指定されない画像を識別するように構成される、請求項23に記載の方法。
- 前記ポジティブフィルタは、前記画像のトラックに基づいてポリープを含むものとして指定する画像を識別するように構成される、請求項23に記載の方法。
- 前記ポジティブフィルタは、閾値を上回るポリープ存在確率を有する少なくとも閾値数の画像を有する画像に対する前記画像のトラックに基づいて、ポリープを含むものとして指定する画像を識別するように構成される、請求項25に記載の方法。
- 画像を識別するためのシステムであって、
1つ以上のプロセッサと、
命令を記憶する少なくとも1つのメモリと、を備え、前記命令は、前記1つ以上のプロセッサによって実行されると、前記システムに、
カプセル内視鏡デバイスによって捕捉された消化管(GIT)の複数の画像にアクセスさせ、前記複数の画像はポリープを含む可能性を有し、
少なくとも1つのフィルタを前記複数の画像に適用させ、前記少なくとも1つのフィルタは、ポリープを含むものとして指定する画像を識別するように構成されたポジティブフィルタ、又はポリープを含むものとして指定しない画像を識別するように構成されたネガティブフィルタのうちの少なくとも1つを含み、
前記少なくとも1つのフィルタによって識別された前記複数の画像のうちの少なくとも1つの画像、又は前記少なくとも1つのフィルタによって識別されなかった前記複数の画像のうちの少なくとも1つの画像、のうちの少なくとも1つに基づいて情報を提供させる、システム。 - 前記ネガティブフィルタは、前記画像が前記GITの身体出口部分の画像であることに基づいて、ポリープを含むものとして指定されない画像を識別するように構成される、請求項27に記載のシステム。
- 前記ネガティブフィルタは、回盲弁又は痔静脈叢のうちの少なくとも1つの画像であると評価される前記画像に基づいて、ポリープを含むものとして指定されない画像を識別するように構成される、請求項27に記載のシステム。
- 前記ネガティブフィルタは、推定ポリープサイズが閾値サイズ未満であるポリープを含むと評価されている前記画像に基づいて、ポリープを含むものとして指定しない画像を識別するように構成される、請求項27に記載のシステム。
- 前記命令は、前記1つ以上のプロセッサによって実行されると、前記システムに更に、前記複数の画像の各画像について、前記画像の画像のトラックにアクセスさせる、請求項27に記載のシステム。
- 前記ネガティブフィルタは、閾値を超えるポリープ存在確率を有する画像を1つだけ有する画像についての前記画像のトラックに基づいて、ポリープを含むものとして指定されない画像を識別するように構成される、請求項31に記載の方法。
- 前記ポジティブフィルタは、前記画像のトラックに基づいてポリープを含むものとして指定する画像を識別するように構成される、請求項31に記載のシステム。
- 前記ポジティブフィルタは、閾値を上回るポリープ存在確率を有する少なくとも閾値数の画像を有する画像に対する前記画像のトラックに基づいて、ポリープを含むものとして指定する画像を識別するように構成される、請求項33に記載のシステム。
- 画像を識別するための方法であって、
カプセル内視鏡デバイスによって捕捉された消化管(GIT)の複数の画像にアクセスすることであって、前記複数の画像はポリープを含む可能性を有する、ことと、
前記複数の画像の各画像について、前記画像に対応する入力特徴に基づいて、前記画像がポリープを含むかポリープを含まないかの指示を提供するように構成された古典的機械学習システムを適用することと、
信頼閾値を満たす、ポリープを含む前記古典的機械学習システムによって提供される指示を有する前記複数の画像のうちの少なくとも1つの画像に基づいて、情報を提示することと、
を含む、方法。 - 前記複数の画像の各画像に対して、前記画像の画像のトラックにアクセスすることを更に含む、請求項35に記載の方法。
- 前記画像に対応する前記入力特徴は、前記画像のトラックのトラック長、又は閾値を上回るポリープ存在スコアを有する前記画像のトラック内の画像の数のうちの少なくとも1つを含む、請求項36に記載の方法。
- 前記画像に対応する前記入力特徴は、前記画像のインデックスと回盲弁の画像のインデックスとの間のインデックス差を含む、請求項35に記載の方法。
- 前記画像に対応する前記入力特徴は、前記画像が捕捉された結腸区分の区分番号を含む、請求項35に記載の方法。
- 前記古典的機械学習分類器は、多項式サポートベクトルマシンである、請求項35に記載の方法。
- 画像を識別するためのシステムであって、
1つ以上のプロセッサと、
命令を記憶する少なくとも1つのメモリと、を備え、前記命令は、前記1つ以上のプロセッサによって実行されると、前記システムに、
カプセル内視鏡デバイスによって捕捉された消化管(GIT)の複数の画像にアクセスさせ、前記複数の画像はポリープを含む可能性を有し、
前記複数の画像の各画像について、前記画像に対応する入力特徴に基づいて、前記画像がポリープを含むかポリープを含まないかの指示を提供するように構成された古典的機械学習システムを適用させ、
信頼閾値を満たす、ポリープを含む前記古典的機械学習システムによって提供される指示を有する前記複数の画像のうちの少なくとも1つの画像に基づいて、情報を提示させる、システム。 - 前記命令は、前記1つ以上のプロセッサによって実行されると、前記システムに更に、前記複数の画像の各画像について、前記画像の画像のトラックにアクセスさせる、請求項41に記載のシステム。
- 前記画像に対応する前記入力特徴は、前記画像のトラックのトラック長、又は閾値を上回るポリープ存在スコアを有する前記画像のトラック内の画像の数のうちの少なくとも1つを含む、請求項42に記載のシステム。
- 前記画像に対応する前記入力特徴は、前記画像のインデックスと回盲弁の画像のインデックスとの間のインデックス差を含む、請求項41に記載のシステム。
- 前記画像に対応する前記入力特徴は、前記画像が捕捉された結腸区分の区分番号を含む、請求項41に記載のシステム。
- 前記古典的機械学習分類器は、多項式サポートベクトルマシンである、請求項41に記載のシステム。
- 画像を識別するための方法であって、
カプセル内視鏡デバイスによって捕捉された消化管(GIT)の複数の画像にアクセスすることであって、前記複数の画像はポリープを含む可能性を有する、ことと、
少なくとも1つのフィルタを前記複数の画像に適用することであって、前記少なくとも1つのフィルタは、ポリープを含むものとして指定する画像を識別するように構成されたポジティブフィルタ、又はポリープを含むものとして指定しない画像を識別するように構成されたネガティブフィルタのうちの少なくとも1つを含む、ことと、
前記少なくとも1つのフィルタによって識別されなかった少なくとも1つの画像を前記複数の画像から選択することによって、少なくとも1つのフィルタリングされていない画像を提供することと、
前記少なくとも1つのフィルタリングされていない画像の各フィルタリングされていない画像について、前記フィルタリングされていない画像に対応する入力特徴に基づいて、前記フィルタリングされていない画像がポリープを含むかポリープを含まないかの指示を提供するように構成された古典的機械学習システムを適用することと、
信頼閾値を満たす、ポリープを含む前記古典的機械学習システムによって提供される指示を有する前記少なくとも1つのフィルタリングされていない画像のうちの少なくとも1つの画像に基づいて、情報を提示することと、
を含む、方法。 - 人間の介入なしに、臨床医に提示するカプセル内視鏡報告を生成することを更に含み、前記カプセル内視鏡報告は、信頼閾値を満たす、ポリープを含む前記古典的機械学習システムによって提供される、指示を有する前記少なくとも1つのフィルタリングされていない画像のうちの前記少なくとも1つの画像、又はポジティブフィルタによって識別される少なくとも1つの画像のうちの少なくとも一方を含む、請求項47に記載の方法。
- 前記複数の画像の中から画像のユーザ選択を受信することと、
ユーザによって選択されなかった、かつ信頼閾値を満たす、ポリープを含む前記古典的機械学習システムによって提供される指示を有する前記少なくとも1つのフィルタリングされていない画像のうちの前記少なくとも1つの画像の中の、少なくとも1つの選択されていない画像を決定することと、
前記少なくとも1つの選択されていない画像を前記ユーザに提示することと、を更に含む、請求項47に記載の方法。 - 信頼閾値を満たす、ポリープを含む前記古典的機械学習システムによって提供される指示を有する前記少なくとも1つのフィルタリングされていない画像のうちの前記少なくとも1つの画像の各画像にアクセスすることによって、少なくとも1つのポリープ画像を提供することと、
別のコンピュータ実施ツールによってポリープを含むと指定されなかった前記少なくとも1つのポリープ画像の中からポリープ画像を識別することと、
前記ポリープ画像をポリープを含むものとして指定するために、前記別のコンピュータ実施ツールを無効にすることと、を更に含む、請求項47に記載の方法。 - 画像を識別するためのシステムであって、
1つ以上のプロセッサと、
命令を記憶する少なくとも1つのメモリと、を備え、前記命令は、前記1つ以上のプロセッサによって実行されると、前記システムに、
カプセル内視鏡デバイスによって捕捉された消化管(GIT)の複数の画像にアクセスさせ、前記複数の画像はポリープを含む可能性を有し、
少なくとも1つのフィルタを前記複数の画像に適用させ、前記少なくとも1つのフィルタは、ポリープを含むものとして指定する画像を識別するように構成されたポジティブフィルタ、又はポリープを含むものとして指定しない画像を識別するように構成されたネガティブフィルタのうちの少なくとも1つを含み、
前記少なくとも1つのフィルタによって識別されなかった少なくとも1つの画像を前記複数の画像から選択することによって、少なくとも1つのフィルタリングされていない画像を提供させ、
前記少なくとも1つのフィルタリングされていない画像の各フィルタリングされていない画像について、前記フィルタリングされていない画像に対応する入力特徴に基づいて、前記フィルタリングされていない画像がポリープを含むかポリープを含まないかの指示を提供するように構成された古典的機械学習システムを適用させ、
信頼閾値を満たす、ポリープを含む前記古典的機械学習システムによって提供される指示を有する前記少なくとも1つのフィルタリングされていない画像のうちの少なくとも1つの画像に基づいて、情報を提示させる、システム。 - 前記命令は、前記1つ以上のプロセッサによって実行されると、前記システムに更に、
人間の介入なしに、臨床医に提示するカプセル内視鏡報告を生成させ、前記カプセル内視鏡報告は、信頼閾値を満たす、ポリープを含む前記古典的機械学習システムによって提供される、指示を有する前記少なくとも1つのフィルタリングされていない画像のうちの前記少なくとも1つの画像、又はポジティブフィルタによって識別される少なくとも1つの画像のうちの少なくとも一方を含む、請求項51に記載のシステム。 - 前記命令は、前記1つ以上のプロセッサによって実行されると、前記システムに更に、
前記複数の画像の中から画像のユーザ選択を受信させ、
ユーザによって選択されなかった、かつ信頼閾値を満たす、ポリープを含む前記古典的機械学習システムによって提供される指示を有する前記少なくとも1つのフィルタリングされていない画像のうちの前記少なくとも1つの画像の中の、少なくとも1つの選択されていない画像を決定させ、
前記少なくとも1つの選択されていない画像を前記ユーザに提示させる、請求項51に記載のシステム。 - 大腸内視鏡検査を推奨するためのコンピュータ実施方法であって、
カプセル内視鏡デバイスによって捕捉された消化管(GIT)の複数の画像にアクセスすることであって、前記複数の画像はポリープを含む可能性を有する、ことと、
前記複数の画像の各画像について、
前記画像に対応する入力特徴に基づいて、前記画像がポリープを含むかポリープを含まないかの指示を提供するように構成された古典的機械学習システムを適用することと、
前記画像に対応する前記古典的機械学習システムのソフトマージンにアクセスすることと、
人間の介入なしに、前記複数の画像の前記ソフトマージンに基づいて、大腸内視鏡検査を推奨するかどうかを決定することと、
を含むコンピュータ実施方法。 - ポリープを含む画像の確率に対するソフトマージンのマッピングにアクセスすることを更に含み、
大腸内視鏡検査を推奨するか否かの前記決定は、ポリープを含む画像の確率に対するソフトマージンの前記マッピングに更に基づく、請求項54に記載のコンピュータ実施方法。 - 前記複数の画像の各画像について、前記画像の推定ポリープサイズにアクセスすることであって、前記推定ポリープサイズは、前記画像に基づいて生成される、ことと、
少なくとも所定のサイズである実際のポリープサイズの確率に対する推定ポリープサイズのマッピングにアクセスすることと、を更に含み、
大腸内視鏡検査を推奨するかどうかの前記決定は、前記推定ポリープサイズと、少なくとも所定のサイズである実際のポリープサイズの確率に対する前記推定ポリープサイズのマッピングとに更に基づく、請求項54に記載のコンピュータ実施方法。 - 大腸内視鏡検査を推奨するためのシステムであって、
1つ以上のプロセッサと、
命令を記憶する少なくとも1つのメモリと、を備え、前記命令は、前記1つ以上のプロセッサによって実行されると、前記システムに、
カプセル内視鏡デバイスによって捕捉された消化管(GIT)の複数の画像にアクセスさせ、前記複数の画像はポリープを含む可能性を有し、
前記複数の画像の各画像について、
前記画像に対応する入力特徴に基づいて、前記画像がポリープを含むかポリープを含まないかの指示を提供するように構成された古典的機械学習システムを適用させ、
前記画像に対応する前記古典的機械学習システムのソフトマージンにアクセスさせ、
人間の介入なしに、前記複数の画像の前記ソフトマージンに基づいて、大腸内視鏡検査を推奨するかどうかを決定させる、システム。 - 前記命令は、前記1つ以上のプロセッサによって実行されると、前記システムに更に、ポリープを含む画像の確率に対するソフトマージンのマッピングにアクセスさせ、
大腸内視鏡検査を推奨するか否かの前記決定は、ポリープを含む画像の確率に対するソフトマージンの前記マッピングに更に基づく、請求項57に記載のシステム。 - 前記命令は、前記1つ以上のプロセッサによって実行されると、前記システムに更に、
前記複数の画像の各画像について、前記画像の推定ポリープサイズにアクセスさせ、前記推定ポリープサイズは、前記画像に基づいて生成され、
少なくとも所定のサイズである実際のポリープサイズの確率に対する推定ポリープサイズのマッピングにアクセスさせ、
大腸内視鏡検査を推奨するかどうかの前記決定は、前記推定ポリープサイズと、少なくとも所定のサイズである実際のポリープサイズの確率に対する前記推定ポリープサイズのマッピングとに更に基づく、請求項57に記載のシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063075795P | 2020-09-08 | 2020-09-08 | |
US63/075,795 | 2020-09-08 | ||
PCT/IL2021/051083 WO2022054046A2 (en) | 2020-09-08 | 2021-09-03 | Systems and methods for identifying images of polyps |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023540579A true JP2023540579A (ja) | 2023-09-25 |
Family
ID=78078319
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023515284A Pending JP2023540579A (ja) | 2020-09-08 | 2021-09-03 | ポリープの画像を識別するためのシステム及び方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230274422A1 (ja) |
EP (1) | EP4211649A2 (ja) |
JP (1) | JP2023540579A (ja) |
CN (1) | CN116547701A (ja) |
WO (1) | WO2022054046A2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4064214B1 (en) * | 2021-03-26 | 2024-04-10 | Tata Consultancy Services Limited | Integrated deep learning model for co-operative and cascaded inference on edge |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9430706B1 (en) * | 2013-10-02 | 2016-08-30 | Given Imaging Ltd. | System and method for detection of in-vivo pathology sequences |
CN109328028B (zh) * | 2016-05-18 | 2021-11-23 | 基文影像公司 | 用于选择体内捕获到的图像以用于显示的系统和方法 |
EP3649917A4 (en) * | 2017-07-03 | 2020-07-08 | Fujifilm Corporation | MEDICAL IMAGE PROCESSING DEVICE, ENDOSCOPE SYSTEM, DIAGNOSTIC SUPPORT DEVICE, MEDICAL SERVICE SUPPORT DEVICE, AND REPORT GENERATION SUPPORT DEVICE |
WO2020079696A1 (en) * | 2018-10-19 | 2020-04-23 | Given Imaging Ltd. | Systems and methods for generating and displaying a study of a stream of in vivo images |
-
2021
- 2021-09-03 CN CN202180070844.1A patent/CN116547701A/zh active Pending
- 2021-09-03 US US18/020,291 patent/US20230274422A1/en active Pending
- 2021-09-03 EP EP21786601.1A patent/EP4211649A2/en active Pending
- 2021-09-03 WO PCT/IL2021/051083 patent/WO2022054046A2/en active Application Filing
- 2021-09-03 JP JP2023515284A patent/JP2023540579A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2022054046A3 (en) | 2022-06-23 |
US20230274422A1 (en) | 2023-08-31 |
WO2022054046A2 (en) | 2022-03-17 |
CN116547701A (zh) | 2023-08-04 |
EP4211649A2 (en) | 2023-07-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210345865A1 (en) | Systems and methods for generating and displaying a study of a stream of in-vivo images | |
Goel et al. | Dilated CNN for abnormality detection in wireless capsule endoscopy images | |
JP2015509026A5 (ja) | ||
JP2015509026A (ja) | 生体内画像ストリーム中の運動性事象を表示するためのシステムおよび方法 | |
Bejakovic et al. | Analysis of Crohn's disease lesions in capsule endoscopy images | |
Sharma et al. | Deep learning-based prediction model for diagnosing gastrointestinal diseases using endoscopy images | |
JP2023540579A (ja) | ポリープの画像を識別するためのシステム及び方法 | |
Sharma et al. | A comprehensive review for classification and segmentation of gastro intestine tract | |
US20230298306A1 (en) | Systems and methods for comparing images of event indicators | |
US20230148834A1 (en) | Systems and methods for analyzing a stream of images | |
US20230134603A1 (en) | Systems and methods for selecting images of event indicators | |
Srinivasan et al. | Real-time Feedback Improves the Quality of Colonoscopy by Trainees: A Controlled Clinical Trial: ACG/AstraZeneca Fellow Award: 1492 | |
US11934491B1 (en) | Systems and methods for image classification and stream of images segmentation | |
Gatoula et al. | Enhanced CNN-Based Gaze Estimation on Wireless Capsule Endoscopy Images | |
CN116547703A (zh) | 用于测量led面板的设备、系统和控制方法 | |
US20230397794A1 (en) | Analysis of in-vivo images using connected graph components | |
US20230320562A1 (en) | Estimating the adequacy of a procedure | |
KR20210113084A (ko) | 의료 영상으로부터 바이오마커 발현을 예측하는 방법 및 시스템 | |
US20230401700A1 (en) | Systems and methods for identifying images containing indicators of a celiac-like disease | |
Dimas et al. | Co-operative cnn for visual saliency prediction on wce images | |
US20240013375A1 (en) | Systems and methods for polyp size estimation | |
Yao | Machine Learning and Image Processing for Clinical Outcome Prediction: Applications in Medical Data from Patients with Traumatic Brain Injury, Ulcerative Colitis, and Heart Failure | |
Banik et al. | Recent advances in intelligent imaging systems for early prediction of colorectal cancer: a perspective | |
US20230122280A1 (en) | Systems and methods for providing visual indicators during colonoscopy | |
EP4360102A1 (en) | Systems and methods for assessing gastrointestinal cleansing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230509 |