JP2023536717A - 視線ベースの追跡を使用するアノテーションデータ収集 - Google Patents

視線ベースの追跡を使用するアノテーションデータ収集 Download PDF

Info

Publication number
JP2023536717A
JP2023536717A JP2023506110A JP2023506110A JP2023536717A JP 2023536717 A JP2023536717 A JP 2023536717A JP 2023506110 A JP2023506110 A JP 2023506110A JP 2023506110 A JP2023506110 A JP 2023506110A JP 2023536717 A JP2023536717 A JP 2023536717A
Authority
JP
Japan
Prior art keywords
sample
user
image
sight
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023506110A
Other languages
English (en)
Inventor
アーベル，エラッド
リメール，イタイ
ベン・ドール，アミール
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Agilent Technologies Inc
Original Assignee
Agilent Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Agilent Technologies Inc filed Critical Agilent Technologies Inc
Publication of JP2023536717A publication Critical patent/JP2023536717A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Image Analysis (AREA)
  • Eye Examination Apparatus (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Microscoopes, Condenser (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

複数の記録を含むトレーニングデータセットを自動的に作成するコンピュータにより実施される方法であって、ここで、１つの記録は、物体のサンプルの画像と、サンプルを提示したもののユーザによる被監視操作の表示と、サンプルの画像のピクセルにマッピングされた、ディスプレイ上で又は光学デバイスを介してサンプルを観察するユーザの被監視視線のグラウンドトゥルース表示であって、被監視視線は、ユーザが観察しているサンプルの少なくとも１つのロケーションと、ここで、該少なくとも１つのロケーションを観察することに費やされた時間とを含む、グラウンドトゥルース表示とを含むコンピュータにより実施される方法が提供される。【選択図】図８

Description

本開示は、包括的には、アノテーションデータ収集（annotation data collection）を実施する方法、システム、及び装置に関し、より詳細には、いくつかの場合において人工知能（「ＡＩ」：artificial intelligence）システム（限定ではなく、ニューラルネットワーク、畳み込みニューラルネットワーク（「ＣＮＮ」：convolutional neural network）、学習アルゴリズムベースのシステム（learning algorithm-based system）、又は機械学習システム等のうちの少なくとも１つを含みうる）をトレーニングするための、視線ベースの追跡（gaze-based tracking）を使用するアノテーションデータ収集を実施する方法、システム、及び装置に関する。
［関連案件］
この出願は、２０２０年７月２７日に出願された米国仮特許出願第６３／０５７，１０５号の優先権を主張するものである。この米国出願の開示全体を引用することにより本明細書の一部をなすものとする。
［著作権表示］
本特許文献の開示の一部には、著作権保護の対象である題材が含まれている。著作権所有者は、米国特許商標庁の特許ファイル又は記録に記載されている本特許文献又は特許開示の何人による複製にも異論はないが、それ以外の場合は全ていかなる著作権も留保する。
数千もの染色組織病理スライドが、毎日、臨床検査室及び研究所において観察及びスコアリング（score）されている。これまで、このようなスライドは、顕微鏡下でスコアリングされているが、最近になって、スライドは、表示画面上でスキャン及びスコアリングされる。病理学者を支援するスキャンされたスライドのデジタル解析方法の開発には、大量の病理学者のアノテーションにアクセスして、深層学習、機械学習、又は他のアルゴリズム等を含むアルゴリズム（例えば、関心領域、診断、処置等を識別するアルゴリズム）をトレーニングする（train）ことが必要となる。しかしながら、現在のスライドスコアリングプロトコル（顕微鏡下又は画面上のいずれかにおけるもの）は、明確なアノテーション要件も、作業の邪魔にならない程度の（non-obtrusive）アノテーション能力も有していない。その結果、場合によっては莫大な量のエキスパートアノテーション（すなわち、スライド上のどの正確な領域が病理学者の決断を導いたのか）が記録されておらず、失われている。いくつかの従来の技法では、病理学者のスライド検査中に視野（「ＦＯＶ」：field of view）を追跡及び記録するビデオカメラを顕微鏡に取り付けることによって、スライドガラスにおける病理学者の関心領域（「ＲＯＩ」：region of interest）を収集することによってこの問題に取り組んでいる。この情報は、後に、ホールスライド画像（「ＷＳＩ」：whole slide image）デジタルスライドと位置合わせすることができ、ＷＳＩにおける診断該当領域又は処置該当領域に対して畳み込みニューラルネットワーク（「ＣＮＮ」）をトレーニングするのに使用することができる。この方法は、病理学者の日常業務の間に非侵入型の方法でアノテーションを収集するが、それでも、病理学者がＦＯＶ内でフォーカス（focus；焦点を合わせる）していた特定の細胞又は構造についての価値のある情報を欠いている。
さらに、現在のスライドは、病理学者の決定をサポートするローカルな情報を何ら提供することなく日常的に診断及びスコアリングされる。他方、ＡＩベースのアルゴリズムを開発するのに必要とされる詳しい空間的なアノテーションを収集することは、多くのコスト及び時間を要する。
したがって、アノテーションデータ収集を実施する、よりロバストでスケーラブルな解決策が必要とされ、より詳細には、いくつかの場合においてＡＩシステムをトレーニングするための、視線ベースの追跡を使用するアノテーションデータ収集を実施する方法、システム、及び装置が必要とされている。
第１の態様によれば、コンピュータにより実施される方法は、複数の記録を含むトレーニングデータセットを自動的に作成することを含み、ここで、１つの記録は、物体のサンプル（sample）の画像と、前記サンプルを提示（indication）したもののユーザによる被監視操作の表示と、前記サンプルの前記画像のピクセルにマッピングされた、ディスプレイ上で又は光学デバイスを介して前記サンプルを観察する前記ユーザの被監視視線（monitored gaze）のグラウンドトゥルース表示であって、前記被監視視線は、前記ユーザが観察している前記サンプルの少なくとも１つのロケーションと、該少なくとも１つのロケーションを観察することに費やされた時間とを含む、グラウンドトゥルース表示（ground truth indication）とを含む。
第１の態様の更なる実施の形態において、前記物体のサンプルは、生体サンプル、マイクロウェルプレート内の生細胞培養物、病理学的報告を生成するための病理組織サンプルのスライド、３Ｄ放射線医学画像、及び製造欠陥の識別のための製造されたマイクロアレイからなる群から選択される。
第１の態様の更なる実施の形態において、ターゲット物体のターゲットサンプルのターゲット画像の入力に応じてターゲットの予測視線の結果を生成するように前記トレーニングデータセットに関して機械学習モデルをトレーニングすることを更に含む。
第１の態様の更なる実施の形態において、前記被監視視線のグラウンドトゥルース表示は、前記被監視視線が観察時間間隔にわたって前記画像の各特定のピクセルにマッピングされる合計時間を含む。
第１の態様の更なる実施の形態において、前記被監視視線のグラウンドトゥルース表示は、（ｉ）前記サンプルの前記画像に対応するヒートマップであって、該ヒートマップのそれぞれのピクセルのそれぞれの強度は、前記被監視視線がそれぞれの各ピクセルにマッピングされる前記合計時間と相関し、前記ヒートマップのピクセルは、前記被監視操作によって定められる複数のズームレベルにおける前記サンプルの異なる実際のサイズを示すピクセル、及び／又は、前記被監視操作のパン操作（panning operation）によって得られるディスプレイ上で非同時的に可視である前記サンプルの異なる部分に位置するピクセル（すなわち、前記被監視操作によって定められる複数のズームレベルにおける前記サンプルの異なる実際のサイズを示すピクセル、又は前記被監視操作のパン操作によって得られるディスプレイ上で非同時的に可視である前記サンプルの異なる部分に位置するピクセル、あるいはそれらの両方）に正規化される、ヒートマップと、（ｉｉ）前記サンプルの前記画像におけるオーバレイであって、該オーバレイの特徴部は、前記視線の広がりに対応し及び／又は前記合計時間を示す（すなわち、前記視線の広がりに対応し、又は前記合計時間を示す、あるいはそれらの両方）、オーバレイと、のうちの少なくとも一方を含む。
第１の態様の更なる実施の形態において、前記被監視視線の前記グラウンドトゥルース表示は、観察されている異なる視野の前記被監視視線の適応を、観察時間間隔にわたって異なる特定のピクセルに動的にマッピングする順序付けられた時間シーケンスを含む。
第１の態様の更なる実施の形態において、前記被監視視線のグラウンドトゥルース表示は、（ｉ）前記被監視視線の動的な適応を示す前記サンプルの前記画像のピクセル上にオーバレイされる有向直線（directed line）と、（ｉｉ）前記順序付けられた時間シーケンスを、各視野に費やされた時間の表示（indication）とともに提示する（present）こととのうちの少なくとも一方として示される。
第１の態様の更なる実施の形態において、前記トレーニングデータセットの前記記録は、前記被監視視線のグラウンドトゥルース表示と前記画像の前記ピクセルとにマッピングされる、前記サンプルの前記視野を調整するために行われる前記ユーザによる操作のグラウンドトゥルース表示を更に含む。
第１の態様の更なる実施の形態において、前記サンプルは、その拡大像として観察され、前記画像の特定のピクセルへの前記被監視視線の前記マッピングに関連付けられる前記ユーザ操作は、前記画像のズームイン、ズームアウト、左パン、右パン、パンアップ、パンダウン、光の調整、焦点の調整、及び拡大縮小の調整を含む群から選択される。
第１の態様の更なる実施の形態において、前記サンプルは、顕微鏡を介して観察され、視線を監視することは、前記ユーザが前記顕微鏡下で前記サンプルを観察している間、前記ユーザの瞳に追従する少なくとも１つの第１のカメラから視線データを取得することを含み、操作されている前記サンプルの前記画像は、前記ユーザが前記顕微鏡下で前記サンプルを観察している間、第２のカメラによってキャプチャされ、前記コンピュータにより実施される方法は、前記サンプルのスキャンされた画像を取得することと、前記サンプルの前記スキャンされた画像を前記第２のカメラによってキャプチャされた前記サンプルの前記画像と位置合わせすることとを更に含み、マッピングすることは、前記第２のカメラによってキャプチャされた前記画像への前記位置合わせを使用して、前記被監視視線を前記スキャンされた画像のピクセルにマッピングすることを含む。
第１の態様の更なる実施の形態において、前記被監視視線は、弱アノテーション（weak annotation）として表され、前記トレーニングデータセットの前記記録は、前記サンプルの前記画像の以下の追加のグラウンドトゥルースラベル、すなわち、前記サンプルが被検者（subject）の組織のサンプルを含むときには、前記サンプルを観察する前記ユーザによって作成される病理学報告、前記サンプルを観察する前記ユーザによって作成される病理学的診断、前記サンプルを観察する前記ユーザによって作成される前記サンプルの病理学的評価を示すサンプルスコア、サンプルが前記サンプルに示される前記被検者の少なくとも１つの臨床パラメータ、前記被検者の履歴パラメータ、及び前記被検者に施された処置の結果と、前記サンプルが製造されたマイクロアレイを含むときには、少なくとも１つの製造欠陥のユーザによって提供される表示、品質保証テストの合格／不合格表示と、前記サンプルが生細胞培養物を含むときには、細胞成長速度、細胞密度、細胞均質性、及び細胞異質性と、１つ以上の他のユーザによって提供されるデータアイテムと、のうちの少なくとも１つを更に含む。
第１の態様の更なる実施の形態において、前記サンプルが前記被検者の組織のサンプルを含むときには、ターゲットの個人の病理組織のターゲット生体サンプルのターゲット画像及びターゲットユーザのターゲット視線の入力に応じたターゲットの予測される病理学報告及び／又は病理学的診断及び／又はサンプルスコアの結果を生成するように、、前記サンプルが前記製造されたマイクロアレイを含むときには、ターゲットの製造されたマイクロアレイのターゲット画像の入力に応じたターゲット製造欠陥及び／又は品質チェックの合格／不合格表示の結果を生成するように、、前記サンプルが生細胞培養物を含むときには、ターゲット細胞成長速度、ターゲット細胞密度、ターゲット細胞均質性、及びターゲット細胞異質性と、の結果を生成するように、前記トレーニングデータセットに関して機械学習モデルをトレーニングすることを更に含む。
第２の態様によれば、物体のサンプルの視覚的解析を支援するコンピュータにより実施される方法は、前記物体の前記サンプルのターゲット画像を、複数の記録を含むトレーニングデータセットに関してトレーニングされる機械学習モデルに供給することであって、記録は、物体のサンプルの画像と、前記サンプルを提示したもののユーザによる被監視操作の表示と、前記サンプルの前記画像のピクセルにマッピングされた、ディスプレイ上で又は光学デバイスを介して前記サンプルを観察する前記ユーザの被監視視線のグラウンドトゥルース表示であって、前記被監視視線は、前記ユーザが観察している前記サンプルの少なくとも１つのロケーションと、該少なくとも１つのロケーションを観察することに費やされた時間とを含む、グラウンドトゥルース表示とを含むことと、前記機械学習モデルの結果として、前記ターゲット画像のピクセルの予測された被監視視線の表示を取得することとを含む。
第２の態様の更なる実施の形態において、前記結果は、前記ターゲット画像のピクセルにマッピングされる複数のピクセルのヒートマップを含み、前記ヒートマップのピクセルの強度は、注視する予測時間に相関し、前記ヒートマップのピクセルは、前記被監視操作によって定められる複数のズームレベルにおける前記サンプルの異なる実際のサイズを示すピクセル、及び／又は、前記被監視操作のパン操作によって得られるディスプレイ上で非同時的に可視である前記サンプルの異なる部分に位置するピクセルに正規化される。
第２の態様の更なる実施の形態において、前記結果は、時間間隔にわたって前記ターゲット画像のピクセルにマッピングされる動的な視線を示す時系列を含み、前記コンピュータにより実施される方法は、前記ターゲット画像を観察するユーザの視線をリアルタイムで監視することと、前記リアルタイムの監視と前記時系列との間の差を比較することと、前記差が閾値を越えているときにアラートを生成することとを更に含む。
第２の態様の更なる実施の形態において、前記トレーニングデータセットの前記記録は、前記被監視視線のグラウンドトゥルース表示と前記画像の前記ピクセルとにマッピングされる前記ユーザによる操作のグラウンドトゥルース表示を更に含み、前記結果は、前記ターゲット画像を提示したものに対する操作の予測を含む。
第２の態様の更なる実施の形態において、ユーザによる前記サンプルを提示したものの操作をリアルタイムで監視することと、前記操作のリアルタイムの監視と前記操作の予測との間の差を比較することと、前記差が閾値を越えているときにアラートを生成することとを更に含む。
第３の態様によれば、物体のサンプルの視覚的解析を支援するコンピュータにより実施される方法は、前記サンプルのターゲット画像を機械学習モデルに供給することと、前記機械学習モデルの結果として、前記サンプルの視覚的評価を示すサンプルスコアを取得することとを含み、前記機械学習モデルは、複数の記録を含むトレーニングデータセットに関してトレーニングされ、記録は、物体のサンプルの画像と、前記サンプルを提示したもののユーザによる被監視操作の表示と、前記サンプルの前記画像のピクセルにマッピングされた、ディスプレイ上で又は光学デバイスを介して前記サンプルを観察する前記ユーザの被監視視線のグラウンドトゥルース表示であって、前記被監視視線は、前記ユーザが観察している前記サンプルの少なくとも１つのロケーションと、該少なくとも１つのロケーションを観察することに費やされた時間とを含む、グラウンドトゥルース表示と、前記サンプルに割り当てられたサンプル視覚的評価スコアのグラウンドトゥルース表示とを含む。
第４の態様によれば、対物レンズとアイピースとの間で顕微鏡と統合される視線追跡の構成要素は、顕微鏡下でサンプルを観察するユーザの各眼から後方反射された第１の組の電磁周波数を、前記ユーザの追跡される視線の表示を生成するそれぞれの第１のカメラに誘導すると同時に、前記顕微鏡下にある前記サンプルからの第２の組の電磁周波数を、前記ユーザが観察している視野を示す画像をキャプチャする第２のカメラに誘導する光学装置を備える。
第４の態様の更なる実施の形態において、前記第１の組の電磁周波数は、赤外線（ＩＲ）源によって生成されるＩＲ周波数であり、前記第１のカメラは、近ＩＲカメラ（near IR camera）を含み、前記第２の組の電磁周波数は、可視光スペクトルを含み、前記第２のカメラは、赤緑青（ＲＧＢ）カメラを含み、前記光学装置は、前記ＩＲ源からの前記第１の組の電磁周波数を、前記ユーザの前記眼が位置するアイピースに誘導し、前記ユーザの前記眼からの前記後方反射された第１の組を、前記アイピースを介して前記ＮＩＲカメラに誘導し、前記サンプルからの前記第２の組の電磁周波数を前記第２のカメラ及び前記アイピースに誘導するビームスプリッタを含み、２つの眼からの反射後の単一の光路からの前記電磁光波を前記第１のカメラのうちの２つへの２つの光路に分離する前記光学装置は、異なる偏光を異なる光路に誘導する偏光子及び／又は波長板（つまり、偏光子又は波長板あるいはそれらの両方）、及び／又はダイクロイックミラー及びスペクトルフィルタとともに赤外スペクトル光源を使用すること、及び／又はヘテロダイン検出のために各光路の異なる周波数において振幅変調を加えること、からなる群から選択される。
特定の実施の形態の本質及び利点の更なる理解は、本明細書の残りの部分及び図面を参照することによって実現することができる。図面では、同様の参照符号が、同様の構成要素を参照するのに使用される。いくつかの場合には、サブラベルが、複数の同様の構成要素のうちの１つを表すために参照符号に関連付けられる。存在するサブラベルを明記することなく参照符号が引用されるとき、それは、そのような複数の同様の構成要素の全てを参照することを意図するものである。なお、ここで、「及び／又は」は、その句によってつながれる二以上の要素の一要素、それらの任意の組み合わせ、あるいはそれらの総体をカバーする意味で使われる。
様々な実施形態による、視線ベースの追跡を使用するアノテーションデータ収集を実施するシステムを示す概略図である。 様々な実施形態による、視線ベースの追跡を使用するアノテーションデータ収集の非限定的な例を示す概略図である。 様々な実施形態による、視線ベースの追跡を使用するアノテーションデータ収集の非限定的な例を示す概略図である。 様々な実施形態による、視線ベースの追跡を使用するアノテーションデータ収集の様々な他の非限定的な例を示す概略図である。 様々な実施形態による、視線ベースの追跡を使用するアノテーションデータ収集の様々な他の非限定的な例を示す概略図である。 様々な実施形態による、視線ベースの追跡を使用するアノテーションデータ収集の様々な他の非限定的な例を示す概略図である。 様々な実施形態による、視線ベースの追跡を使用するアノテーションデータ収集の様々な他の非限定的な例を示す概略図である。 様々な実施形態による、視線ベースの追跡を使用するアノテーションデータ収集を実施する方法を示すフロー図である。 様々な実施形態による、視線ベースの追跡を使用するアノテーションデータ収集を実施する方法を示すフロー図である。 様々な実施形態による、視線ベースの追跡を使用するアノテーションデータ収集を実施する方法を示すフロー図である。 様々な実施形態による、視線ベースの追跡を使用するアノテーションデータ収集を実施する方法を示すフロー図である。 様々な実施形態による、視線ベースの追跡を使用して収集されたアノテーションデータに基づいてＡＩシステムのトレーニングを実施する方法を示すフロー図である。 様々な実施形態による、視線ベースの追跡を使用して収集されたアノテーションデータに基づいてＡＩシステムのトレーニングを実施する方法を示すフロー図である。 様々な実施形態による、視線ベースの追跡を使用して収集されたアノテーションデータに基づいてＡＩシステムのトレーニングを実施する方法を示すフロー図である。 様々な実施形態による、視線ベースの追跡を使用して収集されたアノテーションデータに基づいてＡＩシステムのトレーニングを実施する方法を示すフロー図である。 様々な実施形態による、一例示的なコンピュータ又はシステムハードウェアアーキテクチャを示すブロック図である。 様々な実施形態に従って使用することができるコンピュータ、コンピューティングシステム、又はシステムハードウェアアーキテクチャのネットワークシステムを示すブロック図である。 様々な実施形態による、被監視視線及び／又は被監視操作（つまり、被監視視線又は被監視操作あるいはそれらの両方）の表示を用いてアノテートされた画像のトレーニングデータセットを作成し、及び／又は、このトレーニングデータセットに関して機械学習モデル（複数の場合もある）をトレーニングするシステムの構成要素のブロック図である。 様々な実施形態による、ＭＬモデルのトレーニング用の、被監視視線を用いてアノテートされた物体のサンプルの画像を含むアノテーション付きトレーニングデータセットを自動的に作成する方法のフローチャートである。 様々な実施形態による、被監視視線及び／又は被監視操作の表示を用いてアノテートされた画像のトレーニングデータセットに関してトレーニングされた機械学習モデルによる推論の方法のフローチャートである。 様々な実施形態による、物体のサンプルの観察された視野の画像にオーバレイされたヒートマップを示す概略図である。 様々な実施形態による、顕微鏡下でサンプルを観察するユーザの視線を監視するための顕微鏡に設置する構成要素の概略図である。
本発明のいくつかの実施形態の一態様は、機械学習モデルをトレーニングするためのアノテーション付きトレーニングデータセットを自動的に作成するシステム、方法、コンピューティングデバイス、及び／又はコード命令（メモリに記憶され、１つ以上のハードウェアプロセッサによって実行可能なもの）（つまり、システム、方法、コンピューティングデバイス、又はコード命令（メモリに記憶され、１つ以上のハードウェアプロセッサによって実行可能なもの）、あるいはそれらの全て）に関する。アノテーション付きトレーニングデータセットは、複数の記録を含む。各記録は、本明細書では第１のサンプルとも呼ばれる物体のサンプルの画像（例えば、病理組織のスライドの画像、任意選択的にホールスライド画像（ＷＳＩ）、又はマイクロアレイ等の製造物の画像）と、それぞれのユーザがサンプルを観察している観察セッション（例えば、ユーザが、顕微鏡のアイピース内に見える現在の視野（ＦＯＶ）及び／又はディスプレイに提示される現在の視野（つまり、顕微鏡のアイピース内に見える現在の視野（ＦＯＶ）、又はディスプレイに提示される現在の視野、あるいはそれらの両方）を見ている場合）の間に取得されるそれぞれのユーザの被監視視線の表示（本明細書ではアテンションデータと呼ばれることもある）と、任意選択的に、観察セッションの間にサンプルの提示を調整するためにそれぞれのユーザによって行われる被監視操作の表示とを含む。被監視視線は、グラウンドトゥルースを表す。被監視視線は、画像の弱アノテーションとして表すことができる。グラウンドトゥルースの被監視視線は、それぞれのサンプルの画像のピクセルにマッピングされる。被監視視線は、ユーザが観察しているサンプルの１つ以上のロケーション（例えば、領域）、及び／又は各ロケーションの観察に費やす時間を含む。サンプルの倍率は非常に大きい場合があり、ＦＯＶがサンプル全体の一部分を表している場合には、ディスプレイ上でその全体を適切に検査することができないので、ユーザは、サンプルを可視化するために異なるＦＯＶを選択及び／又はＦＯＶの提示を調整（つまり、異なるＦＯＶを選択、又はＦＯＶの提示を調整、あるいはそれらの両方を）する操作、例えば、ズームイン、ズームアウト、パン、焦点調整、光調整、及び画像の拡大縮小の調整を行うことができる。被監視視線は、例えばヒートマップとして表すことができ、この場合に、ヒートマップのピクセルは、ユーザがヒートマップのそれぞれのピクセルに対応するサンプルの部分を注視した観察セッション中の合計観察時間を示すことができる。ヒートマップのピクセルは、被監視操作によって定められる異なるズームレベルにおけるサンプルの異なる実際のサイズを示すピクセル、及び／又は、被監視操作のパン操作によって得られるディスプレイ上で非同時的に可視であるサンプルの異なる部分に位置するピクセルに正規化することができる。記録は、追加のデータを含むことができる。この追加のデータは、被監視視線とともにグラウンドトゥルースを表す追加ラベルとすることができる。追加のデータの例には、サンプルの視覚的評価スコアが含まれ、このスコアは、ユーザがサンプルを見直すことによって提供される結果とすることができる。サンプルが、被検者から得られる組織サンプルであるとき、視覚的評価スコアは、例えば臨床スコア及び／又は病理学的（つまり、臨床スコア又は病理学的あるいはそれらの両方の）診断、例えば病理学的報告とすることができる。サンプルが、製造されたマイクロアレイ等の製造物であるとき、視覚的評価スコアは、製造物に見られる１つ以上の欠陥の表示とすることができる。
サンプルは、それらの全体がユーザによって観察することができない物体のサンプルである場合があり、例えば、ディスプレイ上及び／又は顕微鏡下（つまり、ディスプレイ上又は顕微鏡下、あるいはそれらの両方）での目視検査に適したサイズで提示することができない物体のサンプルである場合がある。サンプルが目視検査に適したズームインレベルで提示されるとき、サンプルの一部分は、ディスプレイ上に提示され及び／又は顕微鏡下に示される一方、サンプルの他の部分は提示されない。ユーザは、サンプルの残りを視覚的に調べる操作、例えば、他の領域におけるズームアウト、パン、及び／又はズームインを行う。
物体のサンプルの例には、以下のものが含まれる。
＊例えばバイオプシ（biopsy）として得られる病理組織のサンプル等の組織サンプル。組織サンプルは、全体画像スライド等の準備されたスライドとして観察することができる。そのようなスライドが、顕微鏡下及び／又は画面上において、細部（例えば、単一の細胞、細胞の内部、細胞群）を調べるのに十分なズームインレベルで観察されるときには、画像の一部分は可視であるが、画像の残りの部分の多くは非可視である。サンプルを視覚的に調べる病理学者（又は他のユーザ）は、異なる視野を異なる拡大レベルで観察するためにパン操作を行うことによってＷＳＩ又はスライドを観察する。病理学者は、組織サンプルを調べて、例えば、病理学的報告を作成し、臨床診断を提供し、及び／又は化学療法を施す（つまり、病理学的報告を作成し、臨床診断を提供し、又は化学療法を施す、あるいはそれらの全てを行う）のか若しくは他の治療薬を投与するのかを判断するために使用されるような臨床スコアを計算する。
＊例えばマイクロウェルプレート内の生細胞培養物。
＊他の生体サンプル。
＊放射線画像、例えば、３次元のＣＴ画像及び／又はＭＲＩ画像（つまり、ＣＴ画像又はＭＲＩ画像あるいはそれらの両方）。そのような３Ｄ画像を観察する放射線科医は、一度に単一の２Ｄスライスを観察することができるとともに、ｚ軸に沿って前後にスクロールして上側及び下側の２Ｄスライスを観察することができる。放射線科医は、画像の或る特定の部分にズームインすることができる。放射線科医は、異なる器官に向けた上下へのスクロールを繰り返して、個々の器官を一度に１つずつ検査することができる。複数の器官を評価することができ、例えば、転移性疾患を探すときには、放射線科医は、腫瘍の存在について各器官を検査することができる。放射線科医は、３Ｄ画像を調べて、例えば、放射線科医報告の作成、臨床診断の提供、及び／又は臨床スコアの計算を行う。
＊物体は、製造物、例えばマイクロアレイ（例えば、約１００万個のＤＮＡ分子が規則的なパターンで付着されたスライドガラス）、細胞培養物、シリコンチップ、微小電子機械システム（ＭＥＭＳ：micro-electromechanical system）等とすることができる。ユーザは、製造物又はそれらの画像を品質保証プロセスの一部として観察し、製造欠陥を識別し、及び／又は製造物の品質保証検査の合否を示す。
任意選択的に、ユーザが注視しているものを示すサンプルのＦＯＶの画像は、被監視視線を用いてキャプチャされる。ＦＯＶの画像は、組織のサンプルのスライドをスキャンすることによって得られるＷＳＩ等のサンプルの画像、及び／又は、カメラによってキャプチャされた製造物（例えば、ハイブリダイゼーションしたＤＮＡマイクロアレイ）の画像に位置合わせすることができる。被監視視線がＦＯＶの画像にマッピングされるとき、ＦＯＶの画像とサンプルの画像との間の位置合わせによって、被監視視線をサンプルの画像にマッピングすることが可能になる。任意選択的に、被監視視線をサンプルの画像にマッピングすることを可能にするために、（例えば、異なるズームレベルにおける）異なるＦＯＶに対応する被監視視線の表示（例えば、ヒートマップ）が、操作（例えば、ズームレベル操作、パン操作、画像拡大縮小）からのデータを使用して正規化される。換言すれば、拡大されたサンプルは、通常、非常に大きいので、ユーザは、通常、サンプルの異なる視野を観察する。各視野は、顕微鏡の接眼レンズ内に現在示され及び／又はディスプレイ上に提示されるサンプルの部分を表すことができる。ＦＯＶは、或る特定の倍率に関連付けることができる。サンプルの同じ領域を、異なる倍率の下で異なるＦＯＶとして観察することができる。各ＦＯＶは、スライド上の病理組織のサンプルのホールスライド画像等のサンプルの画像、及び／又は、ハイブリダイゼーションしたＤＮＡマイクロアレイ等の製造物の大きな画像にマッピングされる。マッピングは、ピクセルレベルにおけるもの及び／又はピクセル群レベルにおけるものとすることができ、ユーザの（例えば、瞳孔運動を追跡することによる）観察ロケーションをＦＯＶの単一のピクセル及び／又はピクセル群及び／又はサンプルの画像（例えば、ＷＳＩ）にマッピングすることを可能にする。
トレーニングデータセットの記録のデータ構造に従って、トレーニングデータセットに関して種々の機械学習モデルをトレーニングすることができる。１つの例では、ＭＬモデルが、ターゲットサンプルのターゲット画像の入力に応じて、ターゲットの予測視線の結果を生成する。別の例では、ＭＬモデルは、ターゲットサンプルのターゲット画像及び／又は被監視視線の入力に応じてターゲットの予測操作の結果を生成する。ターゲットの予測視線及び／又は操作は、例えば、新たなサンプルの調査及び／又は操作の方法の学習において新人のユーザ（例えば、病理学者）をトレーニングするのに使用することもできるし、及び／又は新たなサンプルの見るべき箇所をユーザにガイドするのに使用することもできるし、及び／又はユーザが標準的技法に従ってサンプルを見たこと及び／又は操作したことを検証するための、新たなサンプルを観察するユーザの品質保証の一形態として使用することもできる。更に別の例では、ＭＬモデルは、ターゲット画像及び／又はターゲット視線及び／又はターゲット操作の入力に応答して、目視検査の結果、例えば、臨床スコア、臨床診断（例えば、病理学的スライド及び／又は３Ｄ放射線医学画像等の医療画像の臨床診断）、及び／又は製造物における欠陥の表示（例えば、合格／不合格品質チェック、欠陥が位置する箇所）を生成する。更に別の例では、ＭＬモデルは、目視検査の原因となった特徴部がサンプルに見つかった箇所の表示を生成することによって、ターゲット視線及び目視検査を組み合わせたものを生成する。例えば、マイクロアレイのどの領域（複数の場合もある）が、品質保証テストの不合格をもたらした欠陥を有するのかについて。又、例えば、病理学的スライドのどの領域（複数の場合もある）が、患者が化学療法又は別の治療薬を用いて処置されるべきであることを示す臨床スコアを計算するのに使用されたのかについて。
ユーザによって行われる被監視視線及び／又は被監視操作は、バックグラウンドにおいて収集することができ、積極的なユーザ入力を必ずしも必要としない。被監視視線及び／又は被監視操作は、ユーザが当該ユーザの標準的技法のワークフローに基づいてサンプルを観察している間に収集され、標準的技法のワークフローを妨げず、及び／又は標準的技法のワークフローを改変することはない。
本明細書に説明される少なくともいくつかの実施態様は、機械学習モデルをトレーニングするための物体のサンプルの画像のアノテーションを作成するという技術的問題に対処する。物体のサンプルのアノテーションは、いくつかの理由から技術的に困難である。
第１に、物体の各サンプルは、検査のための多数の細部を含む場合がある。例えば、組織のサンプルは、サンプル内に示される細胞、血管、及び細胞間物体（inter-cell object）（例えば、核）等の非常に多数の生体を有する。別の例では、製造されたマイクロアレイは、約１００万個（又は他の値）といった非常に多数のＤＮＡ分子クラスタを有する。機械学習モデルをトレーニングするには、多数のアノテーションが必要とされる。従来から、ラベル付けは手動で行われている。難題は、この手作業を行う資格を有する人が、一般に、トレーニングを受けた特定分野の専門家（例えば、病理学者、品質保証技術者）であり、これらの専門家は不足しており、多数のラベル付き画像を作成するために見つけるのが困難であるということである。そのようなトレーニングを受けた特定分野の専門家が特定されても、各サンプル画像は、種々のタイプ及び／又は種々の状態の数千もの特徴部を含む場合があるので、手動のラベル付けには多くの時間を要する。物体のいくつかのタイプの特徴部は、画像を使用して区別するのが困難であり、これによって、正しくアノテートするには、より一層多くの時間が必要となる。その上、手動のラベル付けは、誤りを起こしがちであり、例えば、異なるタイプの細胞状物体を区別する際に誤りを起こしがちである。
第２に、各サンプルは、全体の目視検査を必要とし、重要な特徴部を検査するのに追加の時間を費やす。時間効率を良くするには、特定分野の専門家が、全体の目視検査を行うのにどれくらいの時間を費やすのか、及び、特定の特徴部を見るのにいつ追加の時間を費やすのかを知っている必要がある。したがって、本明細書に説明されるように、観察されている各ロケーションにおいて費やした時間をキャプチャしたものが収集され、トレーニングデータセットを作成する記録において使用される。組織サンプル等のいくつかの物体の場合に、各サンプルは固有であり、異なる構造及び／又は細胞は、異なるロケーションに位置し、及び／又は異なる配置を有する。特定分野の専門家は、そのようなサンプルをどのように検査して、例えば病理学的報告を作成するための重要不可欠な特徴部を逃すことなく必要とされる視覚データを得るのかの知識を有する。ＤＮＡの配置が規則的であるマイクロアレイ等の物体の場合には、特定分野の専門家は、規則的なパターンを有する大きな視野をどのように検査して異常を識別し、例えば、品質保証検査を合格／不合格にするのかの知識を有する。更に別の例では、ほとんどの人は非常に類似した解剖学的構造を有するので、解剖学的画像（例えば、３Ｄ ＣＴスキャン、ＭＲＩ）において、心臓、肺、胃、肝臓、及び他の器官は、ほぼ常に同じ相対ロケーションに位置する。しかしながら、ほとんどの場合に、器官の全てを目視検査して、各器官に固有でありうる臨床特徴部を識別する必要がある。いくつかの全身性疾患では、異なる器官が、同じ基礎疾患の異なる病理学的発現の一部として、異なる影響を受ける。この診断は、種々の視覚的発見を検討することによって行われる。
第３に、個々の特徴部の全体的理解及び／又は局所的理解、及び／又は特徴部間の相互作用を得るために、サンプルのアノテーションは、種々のズームレベル、種々の光量、焦点、種々の画像スキャン、及び／又はサンプルにわたるパン等の種々の観察パラメータを使用して得られる種々の視野におけるサンプルの観察を必要とする。例えば、マイクロアレイの場合に、目視検査者は、特徴部抽出を使用して品質管理画像を開き、いくつかの倍率でその画像を見る。加えて、検査者は、標準スケール及び対数スケールの双方で画像を観察する。標準スケールは、一般に、画像の上部における明るい特徴部を観察するのに使用される。対数スケールは、一般に、画像の下部における薄暗い特徴部を観察するのに使用される。検査者は、自身が識別する欠陥のタイプ及び深刻度に基づいてスライドを主観ベースで合格又は不合格にする。不合格をもたらす異常の例には、ドラッガ（dragger）、スクラッチ（scratch）、エンプティポケット（empty pocket）、マージング（merging）、ノズル問題（nozzle issue）、及びハニカム（honeycomb）が含まれる。本明細書において説明される少なくともいくつかの実施態様は、機械学習モデルをトレーニングするためのサンプルの画像（例えば、病理組織のスライド、３Ｄ放射線画像、マイクロアレイ等の製造物）のアノテーションを自動的に生成することによって、機械学習の技術を改良する。
標準的な手法を使用すると、物体（例えば、細胞）の個々のサンプルが、ユーザ（例えば、病理学者）によって手動でアノテートされる。ユーザは、サンプルの結果、例えば、報告（例えば、組織サンプル及び／又は放射線医学画像の報告）、製造物の品質保証の合格／不合格を作成する。この結果は、グラウンドトゥルースアノテーションとしての機能を果たすことができるサンプルの特徴部に基づいている。
少なくともいくつかの実施態様において、上記改良は、物体のサンプル（例えば、病理組織のサンプル、放射線医学画像、顕微鏡下での及び／又はディスプレイ上に画像として提示されたＤＮＡマイクロアレイ等の製造物の観察）を読み取る標準的技法の作業中のユーザ（例えば、病理学者、放射線科医、品質保証技術者）の視線の監視と、任意選択的にユーザによるサンプルの操作（例えば、パン、ズームレベル、焦点、拡大縮小、光）の監視とにある。サンプルの視線の監視及び／又は操作の監視は、ユーザからの積極的な入力を必ずしも必要とすることなく行うこともできるし、及び／又は、ユーザが標準的技法のワークフローに基づいて自身の作業を行っている間、ワークフローの中断及び／又は変更を必ずしも必要とすることなく、バックグラウンドにおいて行うこともできる。ユーザの視線は監視され、ユーザが見ている箇所を示すサンプルのロケーション（例えば、ピクセル）、及び／又は各観察ロケーションにおいて費やす時間を考慮することによる、ユーザがどのように見ているのかのパターン、例えば、最初はサンプル全体のクイックスキャン、次に或る特定の領域へのズームイン、より大きな組織構造のビューを得るためのズームアウト、次に再びズームイン等にマッピングされる。サンプルの画像は、被監視視線及び／又は被監視操作、例えばヒートマップの作成の表示を用いてアノテートされる。このヒートマップでは、ピクセルの強度が、ヒートマップのピクセルに対応するサンプルのロケーションにおける総合計観察時間を示す。ヒートマップのピクセルは、被監視操作によって定められる種々のズームレベルにおけるサンプルの種々の実際のサイズを示すピクセル、及び／又は、被監視操作のパン操作によって得られる、ディスプレイ上で非同時的に可視であるサンプルの種々の部分に位置するピクセルに正規化することができる。視覚表示（例えば、臨床スコア、病理学的スコア、病理学的報告、臨床診断、物体の品質保証の合格／不合格の表示、物体に見つかった欠陥の表示）の形態の弱ラベル（weak label）は、ユーザによって手動で作成される結果に基づいてサンプルに割り当てることができる。他のデータは、この弱ラベルに含めることができ、例えば、本明細書に説明されるように、例えば、サンプルの観察中にユーザによって行われる短い音声メモ（verbal note）を記録する、例えば、オーディオセンサによって記録されるオーディオメッセージから作成されるオーディオラベルは、この弱ラベルに含めることができる。
本発明の少なくとも１つの実施形態を詳細に説明する前に、本発明は、そのアプリケーションにおいて、以下の説明に述べられ及び／又は図面及び／又は例に示される構成の詳細及び構成要素の配置及び／又は方法に必ずしも限定されないことを理解されたい。本発明は、他の実施形態も可能であるし、様々な方法で実施又は実行することも可能である。
本発明は、システム、方法、及び／又はコンピュータプログラム製品とすることができる。このコンピュータプログラム製品は、プロセッサに本発明の態様を実行させるコンピュータ可読プログラム命令を有するコンピュータ可読記憶媒体（複数の場合もある）を含むことができる。
コンピュータ可読記憶媒体は、命令実行デバイスによって使用される命令を保持及び記憶することができる有形のデバイスとすることができる。コンピュータ可読記憶媒体は、例えば、電子記憶デバイス、磁気記憶デバイス、光記憶デバイス、電磁記憶デバイス、半導体記憶デバイス、又はこれらの任意の適した組み合わせとすることができるが、これらに限定されるものではない。コンピュータ可読記憶媒体のより具体的な例を非網羅的に列挙すると、次のもの、すなわち、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ：random access memory）、リードオンリーメモリ（ＲＯＭ：read-only memory）、消去可能プログラマブルリードオンリーメモリ（ＥＰＲＯＭ（erasable programmable read-only memory）又はフラッシュメモリ）、スタティックランダムアクセスメモリ（ＳＲＡＭ：static random access memory）、ポータブルコンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ：compact disc read-only memory）、デジタル多用途ディスク（ＤＶＤ：digital versatile disk）、メモリスティック、フロッピーディスク、及びそれらの任意の適した組み合わせが含まれる。本明細書に使用されるコンピュータ可読記憶媒体は、無線波若しくは他の自由伝播電磁波、導波路若しくは他の伝送媒体を通って伝播する電磁波（例えば、光ファイバケーブルを通過する光パルス）、又は有線を通って伝送される電気信号等の、それ自体が一時的信号であると解釈されるものではない。
本明細書に説明されるコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれのコンピューティングデバイス／処理デバイスにダウンロードすることもできるし、ネットワーク、例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク及び／又は無線ネットワークを介して外部コンピュータ又は外部記憶デバイスにダウンロードすることもできる。ネットワークは、銅製伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ及び／又はエッジサーバを備えることができる。各コンピューティングデバイス／処理デバイスにおけるネットワークアダプタカード又はネットワークインタフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、それぞれのコンピューティングデバイス／処理デバイス内のコンピュータ可読記憶媒体に記憶するためにこれらのコンピュータ可読プログラム命令を転送する。
本発明の動作を実行するコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ：instruction-set-architecture）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、又は１つ以上のプログラミング言語の任意の組み合わせで記述されたソースコード若しくはオブジェクトコードとすることができる。プログラミング言語は、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋等のオブジェクト指向型プログラミング言語と、「Ｃ」プログラミング言語又は類似のプログラミング言語等の従来の手続き型プログラミング言語とを含む。コンピュータ可読プログラム命令は、スタンドアローンソフトウェアパッケージとして全体をユーザのコンピュータ上で実行することもできるし、一部分をユーザのコンピュータ上で実行することもできるし、一部分をユーザのコンピュータ上で実行するとともに一部分をリモートコンピュータ上で実行することもできるし、全体をリモートコンピュータ又はサーバ上で実行することもできる。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ：local area network）又はワイドエリアネットワーク（ＷＡＮ：wide area network）を含む任意のタイプのネットワークを通じてユーザのコンピュータに接続することもできるし、その接続は、（例えば、インターネットサービスプロバイダを使用してインターネットを通じて）外部コンピュータに対して行うこともできる。いくつかの実施形態において、例えば、プログラマブルロジック回路類、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：field-programmable gate array）、又はプログラマブルロジックアレイ（ＰＬＡ：programmable logic array）を含む電子回路類が、本発明の態様を実行するために、コンピュータ可読プログラム命令の状態情報を利用して当該電子回路類を個人専用にすることによって、コンピュータ可読プログラム命令を実行することができる。
本発明の態様は、本発明の実施形態による方法、装置（システム）、及びコンピュータプログラム製品のフローチャート説明図及び／又はブロック図を参照して本明細書で説明される。フローチャート説明図及び／又はブロック図の各ブロック、並びにフローチャート説明図及び／又はブロック図におけるブロックの組み合わせは、コンピュータ可読プログラム命令によって実施できることが理解されるであろう。
これらのコンピュータ可読プログラム命令を汎用コンピュータ、専用コンピュータ、又は他のプログラマブルデータ処理装置のプロセッサに提供して、コンピュータ又は他のプログラマブルデータ処理装置のプロセッサを介して実行される命令が、フローチャート及び／又はブロック図の単数又は複数のブロックにおいて指定された機能／動作を実施する手段を生み出すような機械を作り出すことができる。これらのコンピュータ可読プログラム命令は、コンピュータ、プログラマブルデータ処理装置、及び／又は他のデバイスに特定の方法で機能するように指示することができるコンピュータ可読記憶媒体に記憶することもでき、そのため、命令が記憶されたコンピュータ可読記憶媒体は、フローチャート及び／又はブロック図の単数又は複数のブロックにおいて指定された機能／動作の態様を実施する命令を含む製造品を含む。
コンピュータ可読プログラム命令は、コンピュータ、他のプログラマブルデータ処理装置、又は他のデバイス上にロードされ、一連の動作ステップをコンピュータ、他のプログラマブル装置又は他のデバイス上で実行させ、コンピュータにより実施されるプロセスを生み出すこともでき、そのため、コンピュータ、他のプログラマブル装置、又は他のデバイス上で実行される命令は、フローチャート及び／又はブロック図の単数又は複数のブロックにおいて指定される機能／動作を実施する。
図におけるフローチャート及びブロック図は、本発明の様々な実施形態によるシステム、方法、及びコンピュータプログラム製品の可能な実施態様のアーキテクチャ、機能、及び動作を示している。この点に関して、フローチャート又はブロック図における各ブロックは、指定された論理機能（複数の場合もある）を実施する１つ以上の実行可能命令を含む命令モジュール、命令セグメント、又は命令部分を表すことができる。いくつかの代替の実施態様において、ブロックに示された機能は、図に示された順序以外の順序で行うことができる。例えば、連続して示された２つのブロックは、関与する機能に応じて、実際には、実質的に同時に実行することもできるし、時に逆の順序で実行することもできる。ブロック図及び／又はフローチャート説明図の各ブロック、並びにブロック図及び／又はフローチャート説明図におけるブロックの組み合わせは、指定された機能若しくは動作を実行するか、又は、専用ハードウェア及びコンピュータ命令を組み合わせたものを実行する専用ハードウェアベースのシステムによって実施できることにも留意されたい。
次に図８を参照する。図８は、本発明のいくつかの実施形態による、被監視視線及び／又は被監視操作の表示を用いてアノテートされた画像のトレーニングデータセットを作成し、及び／又は、このトレーニングデータセットに関して機械学習モデル（複数の場合もある）をトレーニングするシステム８００の構成要素のブロック図である。システム８００は、図１、図２Ａ及び図２Ｂ、図３Ａ～図３Ｄ、図６、図７並びに図１２を参照して説明されるシステムの代替形態とすることもできるし、及び／又は、（例えば、１つ以上の構成要素を使用して）このシステムと組み合わせることもできる。
システム８００は、図４Ａ～図４Ｄ、図５Ａ～図５Ｄ、図９、図１０、及び図１１を参照して説明される方法の動作を、任意選択的に、メモリ８０６に記憶されたコード命令８０６Ａ及び／又は８０６Ｂを実行するコンピューティングデバイス８０４のハードウェアプロセッサ（複数の場合もある）８０２によって実施することができる。
コンピューティングデバイス８０４は、例えば、クライアント端末、サーバ、仮想サーバ、ラボラトリワークステーション（例えば、病理学ワークステーション）、品質保証ワークステーション、製造ワークステーション、処置室（例えば、手術室）コンピュータ及び／又はサーバ、仮想機械、コンピューティングクラウド、モバイルデバイス、デスクトップコンピュータ、シンクライアント、スマートフォン、タブレットコンピュータ、ラップトップコンピュータ、ウェアラブルコンピュータ、メガネコンピュータ、並びにウォッチコンピュータとして実施することができる。コンピューティングデバイス８０４は、物体のサンプルの画像をユーザ（例えば、特定分野の専門家）に提示するラボラトリワークステーション及び／又は品質保証ワークステーション及び／又は他のデバイスへのアドオンとして実施されることがある高度視覚化ワークステーションを含むことができる。
コンピューティングデバイス８０４に基づくシステム８００の異なるアーキテクチャ、例えば、中央サーバベースの実施態様、及び／又は局所化ベースの実施態様を実施することができる。
中央サーバベースの実施態様の一例では、コンピューティングデバイス８０４は、図４Ａ～図４Ｄ、図５Ａ～図５Ｄ、図９、図１０、及び図１１を参照して説明される動作のうちの１つ以上を実行するローカルに記憶されたソフトウェアを含むことができ、及び／又は、サービス（例えば、図４Ａ～図４Ｄ、図５Ａ～図５Ｄ、図９、図１０、及び図１１を参照して説明される動作のうちの１つ以上）を１つ以上のクライアント端末８０８（例えば、リモート配置されたラボラトリワークステーション、リモート配置された品質保証ワークステーション、リモート配置された製造ワークステーション、リモート画像保存通信システム（ＰＡＣＳ：picture archiving and communication system）サーバ、リモート電子医療記録（ＥＭＲ：electronic medical record）サーバ、リモートサンプル画像記憶サーバ、リモート配置された病理学コンピューティングデバイス、デスクトップコンピュータ等のユーザのクライアント端末）にネットワーク８１０を介して提供する１つ以上のサーバ（例えば、ネットワークサーバ、ウェブサーバ、コンピューティングクラウド、仮想サーバ）として動作することができる。コンピューティングデバイス８０４は、例えば、ソフトウェアアズアサービス（ＳａａＳ：software as a service）をクライアント端末（複数の場合もある）８０８に提供し、ローカルダウンロード用のアプリケーションをクライアント端末（複数の場合もある）８０８にウェブブラウザ、組織サンプル画像ビューアアプリケーション、品質保証画像観察アプリケーションへのアドオンとして提供し、及び／又はリモートアクセスセッションを使用する機能をクライアント端末８０８にウェブブラウザ等を通じて提供する。
１つの実施態様において、複数の視線監視デバイス８２６が、イメージングデバイス８１２（例えば、顕微鏡及び／又はディスプレイ）上でサンプルを観察するそれぞれのユーザの視線を監視し、任意選択的に、複数の操作監視デバイス８５０が、それぞれのユーザによるそれぞれのサンプルの操作（例えば、パン、ズームイン／アウト、光調整、焦点調整、スケール調整）を監視する。例示的な視線監視デバイス８２６は、例えば、図２Ａ及び図２Ｂ、図３Ａ～図３Ｄ並びに図１２を参照して説明される。それぞれのサンプルの画像は、（例えば、イメージングデバイス８１２及び／又は別のデバイスによって）キャプチャされる。被監視視線データ及び／又は被監視操作データ及び／又はサンプルの画像は、それぞれのクライアント端末８０８に提供することができる。複数のクライアント端末８０８のそれぞれは、被監視視線データ及び／又は被監視操作データ及び／又は画像をコンピューティングデバイス８０４に、任意選択的にネットワーク８１０を介して提供する。コンピューティングデバイスは、本明細書に説明されるように、被監視視線データ及び／又は被監視操作データ及び／又は他のデータ（例えば、臨床スコア）の対応するグラウンドトゥルースを用いてサンプルの画像をアノテートすることによって、それぞれのアノテーション付きデータセット８２２Ａを作成することができる。１つ以上のトレーニングデータセット８２２Ｃは、本明細書に説明されるように、アノテーション付きデータセット（複数の場合もある）８２２Ａから作成することができる。１つ以上の機械学習モデル８２２Ｂは、本明細書に説明されるように、トレーニングデータセット（複数の場合もある）８２２Ｃに関してトレーニングすることができる。ＭＬモデル（複数の場合もある）８２２Ｂのトレーニングは、コンピューティングデバイス８０４によってローカルに実行することもできるし、及び／又は、トレーニングされたＭＬモデル（複数の場合もある）８２２Ｂをコンピューティングデバイス８０４に提供することができ及び／又はコンピューティングデバイス８０４によってリモートアクセスすることができる別のデバイス（例えば、サーバ）によってリモートに実行することもできる。別の実施態様において、コンピューティングデバイス８０４は、それぞれのサンプルのそれぞれの画像を複数のクライアント端末８０８のそれぞれから取得し、それぞれの画像をトレーニングされたＭＬモデル８２２Ｂ内に供給し、ユーザが見るべき領域を示すヒートマップ等のそれぞれの結果を取得する。それぞれの結果は、ローカル提示及び／又はユーザ（例えば、本明細書に説明されるように、ユーザをトレーニングし、監視する）用に、対応するクライアント端末８０８に提供される。
ローカルベースの実施態様において、それぞれの各コンピューティングデバイス８０４は、病院及び／又は病理学研究所及び／又は製造施設等の施設において、特定のユーザ、例えば、特定の病理学者及び／又は特定の品質保証技術者、及び／又はユーザグループによって使用される。コンピューティングデバイス８０４は、被監視視線データ及び／又は被監視操作データ及び／又は視覚的評価及び／又は他のデータ（例えば、オーディオタグ）及び／又はサンプルの画像を、例えば、直接、及び／又はサーバ８１８（例えば、ＰＡＣＳサーバ、クラウドストレージ、ハードディスク）等の画像レポジトリを介して受信する。コンピューティングデバイス８０４は、本明細書に説明されるように、アノテーション付きデータセット（複数の場合もある）８２２Ａの生成、トレーニングデータセット（複数の場合もある）８２２Ｃの作成、及び／又はＭＬモデル（複数の場合もある）８２２Ｂのトレーニングをローカルに行うことができる。コンピューティングデバイス８０４は、本明細書に説明されるように、トレーニングされたＭＬモデル（複数の場合もある）８２２Ｂにサンプルの画像をローカルに供給して結果を取得することができ、この結果は、ローカルな使用（例えば、ディスプレイ上への提示、ユーザをトレーニングするための使用、ユーザをガイドするための使用）に用いることができる。
サンプル画像を１つ以上の機械学習モデル８２２Ｂ内にローカルに供給して、結果を取得することができる。この結果は、例えば、ディスプレイ８２６上に提示することができ、コンピューティングデバイス８０４のデータ記憶デバイス８２２にローカルに記憶することもできるし、及び／又はデータ記憶デバイス８２２にローカルに記憶することができる別のアプリケーション内に供給することもできる。結果は、本明細書に説明されるように、例えば、ユーザのトレーニング、品質保証等のためのユーザの作業の監視、及び／又はユーザの支援に使用することができる。機械学習モデル（複数の場合もある）８２２Ｂのトレーニングは、サンプルの画像及び／又は視線データに基づいてそれぞれの各コンピューティングデバイス８０４によってローカルに実行することができ、例えば、種々の病理学的研究所が、それら自身の病理学者からのそれら自身のサンプル及び視線データを使用して、それら自身の機械学習モデルのセットをそれぞれトレーニングすることができる。別の例では、種々の製造施設が、それら自身の品質保証技術者からのそれら自身のサンプル及び視線データを使用して、それら自身の機械学習モデルのセットをそれぞれトレーニングすることができる。別の例では、トレーニングされた機械学習モデル（複数の場合もある）８２２Ｂは、中央サーバ等の別のデバイスから取得される。
コンピューティングデバイス８０４は、１つ以上のイメージングデバイス８１２によってキャプチャされた物体のサンプルの画像を受信する。例示的なイメージングデバイス（複数の場合もある）８１２は、スキャナ及びカメラを含む。サンプルの画像は、イメージングデバイス（複数の場合もある）８１２のディスプレイ実施物上に提示することができる。別の例では、イメージングデバイス８１２は、顕微鏡として実施され、サンプルの画像は、この顕微鏡を介してユーザによって観察される。
イメージングデバイス（複数の場合もある）８１２は、物体のサンプルの２次元（２Ｄ）画像、例えば、組織サンプルの場合にはスライド全体の画像等のサンプル全体画像、及び／又は、製造欠陥について評価されている製造されたマイクロアレイの場合にはマイクロアレイ全体の画像を生成及び／又は提示することができる。サンプルは、異なる深さにある物体の特徴部が焦点を調整することによって示される３Ｄデータを表すことができることに留意されたい。
イメージング機械８１２によってキャプチャされたサンプル画像は、サーバ（複数の場合もある）８１８、例えば、ストレージサーバ（例えば、ＰＡＣＳ、ＥＨＲサーバ、製造サーバ及び／又は品質保証サーバ）、コンピューティングクラウド、仮想メモリ、及びハードディスクといった画像レポジトリに記憶することができる。
アノテーション付きデータセット（複数の場合もある）８２２Ａは、本明細書に説明されるように、視線のグラウンドトゥルース表示、及び／又は操作データ、及び／又は他のデータを用いてサンプル（複数の場合もある）の画像（複数の場合もある）をアノテートすることによって作成される。
トレーニングデータセット（複数の場合もある）８２２Ｃは、本明細書に説明されるように、アノテーション付きデータセット（複数の場合もある）８２２Ａに基づいて作成することができる。
機械学習モデル（複数の場合もある）８２２Ｂは、本明細書に説明されるように、トレーニングデータセット（複数の場合もある）８２２Ｃに関してトレーニングすることができる。
コンピューティングデバイス８０４は、１つ以上のデータインタフェース８２０、例えば、有線接続（例えば、物理ポート）、無線接続（例えば、アンテナ）、ローカルバス、データ記憶デバイスの接続用ポート、ネットワークインタフェースカード、他の物理インタフェース実施物、及び／又は仮想インタフェース（例えば、ソフトウェアインタフェース、仮想プライベートネットワーク（ＶＰＮ：virtual private network）接続、アプリケーションプログラミングインタフェース（ＡＰＩ：application programming interface）、ソフトウェア開発キット（ＳＤＫ：software development kit））を使用して、イメージングデバイス８１２及び／又は視線監視デバイス８２６及び／又は操作監視デバイス（複数の場合もある）８１４から、サンプル画像及び／又は被監視視線データ及び／又は被監視操作及び／又は他のデータを受信することができる。代替又は追加として、コンピューティングデバイス８０４は、クライアント端末（複数の場合もある）８０８及び／又はサーバ（複数の場合もある）８１８から、サンプル画像及び／又は被監視視線データ及び／又は被監視操作を受信することができる。
ハードウェアプロセッサ（複数の場合もある）８０２は、例えば、中央処理ユニット（複数の場合もある）（ＣＰＵ：central processing unit）、グラフィックス処理ユニット（複数の場合もある）（ＧＰＵ：graphics processing unit）、フィールドプログラマブルゲートアレイ（複数の場合もある）（ＦＰＧＡ）、デジタル信号プロセッサ（複数の場合もある）（ＤＳＰ：digital signal processor）、及び特定用途向け集積回路（複数の場合もある）（ＡＳＩＣ：application specific integrated circuit）として実施することができる。プロセッサ（複数の場合もある）８０２は、１つ以上のプロセッサ（同種又は異種）を含むことができ、これらのプロセッサは、クラスタとして及び／又は１つ以上のマルチコア処理ユニットとして並列処理向けに配置することができる。
メモリ８０６（本明細書では、プログラムストア、及び／又はデータ記憶デバイスとも呼ばれる）、例えば、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、及び／又は記憶デバイス、例えば、不揮発性メモリ、磁気媒体、半導体メモリデバイス、ハードドライブ、着脱可能記憶装置、及び光媒体（例えば、ＤＶＤ、ＣＤ－ＲＯＭ）は、ハードウェアプロセッサ（複数の場合もある）８０２によって実行されるコード命令を記憶する。メモリ８０６は、図４Ａ～図４Ｄ、図５Ａ～図５Ｄ、図９、図１０、及び図１１を参照して説明される方法の１つ以上の動作及び／又は特徴を実施するコード８０６Ａ及び／又はトレーニングコード８０６Ｂを記憶する。
コンピューティングデバイス８０４は、データ、例えば、被監視視線データ及び／又は被監視操作データを用いてアノテートされたサンプル画像のアノテーション付きデータセット（複数の場合もある）８２２Ａ、本明細書に説明されるような機械学習モデル（複数の場合もある）８２２Ｂ及び／又は本明細書に説明されるような機械学習モデル（複数の場合もある）８２２Ｂをトレーニングするトレーニングデータセット８２２Ｃを記憶するデータ記憶デバイス８２２を含むことができる。データ記憶デバイス８２２は、例えば、メモリ、ローカルハードドライブ、着脱可能記憶デバイス、光ディスク、記憶デバイスとして、及び／又は、リモートサーバ及び／又はコンピューティングクラウド（例えば、ネットワーク８１０を介してアクセスされる）として実施することができる。データ記憶デバイス８２２に記憶されるデータの実行コード部分は、プロセッサ（複数の場合もある）８０２による実行用にメモリ８０６内にロードすることができることに留意されたい。
コンピューティングデバイス８０４は、データインタフェース８２４、任意選択的に、ネットワーク８１０に接続するためのネットワークインタフェース、例えば、ネットワークインタフェースカード、無線ネットワークに接続する無線インタフェース、ネットワーク接続用のケーブルに接続する物理インタフェース、ソフトウェアで実施される仮想インタフェース、ネットワーク接続の上位レイヤを提供するネットワーク通信ソフトウェア、及び／又は他の実施態様のうちの１つ以上を含むことができる。コンピューティングデバイス８０４は、ネットワーク８１０を使用して１つ以上のリモートサーバ８１８にアクセスし、例えば、機械学習モデル（複数の場合もある）８２２Ｂ、コード８０６Ａ、トレーニングコード８０６Ｂ、及び／又はトレーニングデータセット（複数の場合もある）８２２Ｃの更新バージョンをダウンロードすることができる。
コンピューティングデバイス８０４は、ネットワーク８１０（又は、直接リンク（例えば、ケーブル、無線）及び／又は間接リンク（例えば、サーバ等の中間コンピューティングデバイス、及び／又は記憶デバイスを介する）等を通じた別の通信チャネル）を使用して、以下のものの１つ以上と通信することができる。
＊本明細書に説明されるように、例えば、コンピューティングデバイス８０４が、画像解析サービス（例えば、ＳａａＳ）をリモート端末に提供するサーバとして動作するときのクライアント端末（複数の場合もある）８０８。
＊例えば、種々のユーザの、イメージングデバイス８１２によってキャプチャされたサンプル画像及び／又は視線監視デバイス８２６によってキャプチャされた視線監視データ及び／又は操作監視デバイス８１４によってキャプチャされた操作データを記憶することができる、ＰＡＣＳ及び／又は電子医療記録サーバ及び／又は製造サーバ／品質保証サーバと関連して実施されるサーバ８１８。
イメージングインタフェース８２０及びデータインタフェース８２４は、２つの独立したインタフェース（例えば、２つのネットワークポート）として存在することもできるし、共通の物理インタフェース上の２つの仮想インタフェース（例えば、共通のネットワークポート上の仮想ネットワーク）として存在することもできるし、及び／又は単一のインタフェース（例えば、ネットワークインタフェース）に統合することもできることに留意されたい。
コンピューティングデバイス８０４は、ユーザインタフェース８２６を含むか、又は、ユーザインタフェース８２６と通信する。ユーザインタフェース８２６は、ユーザがデータの入力（例えば、報告の作成）及び／又はデータの観察（例えば、サンプルの観察）を行うように設計されたメカニズムを含む。例示的なユーザインタフェース８２６は、例えば、タッチ画面、顕微鏡、ディスプレイ、キーボード、マウス、並びにスピーカ及びマイクを使用する音声起動型ソフトウェアのうちの１つ以上を含む。
次に図９も参照する。図９は、本発明のいくつかの実施形態による、ＭＬモデルのトレーニング用の、被監視視線を用いてアノテートされた物体のサンプルの画像を含むアノテーション付きトレーニングデータセットを自動的に作成する方法のフローチャートである。
次に図９を再び参照すると、９０２において、物体のサンプルが提供される。サンプルは、例えば、生体サンプル、化学サンプル、及び／又は製造されたサンプル（例えば、電気的構成要素及び／又は機械的構成要素）とすることができる。
サンプルの例には、病理組織及び生細胞培養物とすることができる組織の顕微鏡スライド（例えば、凍結切片をスライスすることによって作成されたもの、及び／又はホルマリン固定パラフィン包埋（ＦＦＰＥ：formalin-fixed paraffin embedded）スライド）が含まれる。サンプルは、他の方法で含めることができ、例えば、透明なサンプルカートリッジ、バイアル、チューブ、カプセル、フラスコ、ベッセル、レセプタクル、マイクロアレイ、又はマイクロ流体チップのうちの少なくとも１つの中に含めることができる。組織のサンプルは、例えば、生検手技、ＦＮＡ手技、コア生検手技、結腸ポリープ除去のための結腸内視鏡検査、未知質量体除去のための手術、良性癌除去のための手術、及び／又は悪性癌除去のための手術、病状の処置のための手術を行っている手術中に取得することができる。組織は、体液、例えば、尿、滑液、血液、及び脳脊髄液から取得することができる。組織は、結合した細胞群の形態のもの、例えば、組織学的スライドの形態のものとすることができる。組織は、体液内に浮遊する個々の細胞又は細胞塊の形態のもの、例えば、細胞学的サンプルの形態のものとすることができる。
別の例では、サンプルは、製造欠陥の特定及び／又は合格／不合格の判断等を行うために品質保証評価用に選択することができるマイクロアレイ（例えば、ＤＮＡのマイクロアレイ）、シリコンチップ、及び／又は電気回路等の製造物の統計的に選択されたサンプルとすることができる。
９０４において、サンプルを観察するユーザの視線が監視される。サンプルは、顕微鏡及び／又は他の光学デバイスの下で観察することもできるし、及び／又は、サンプルの画像は、ユーザによって観察されるディスプレイ上に提示することもできる。画像及び／又はビューは、任意の倍率のものとすることができる。
被監視視線は、例えば、ユーザが、顕微鏡を使用して及び／又はディスプレイを観察することによってサンプルを観察及び／又は解析しながら結果データを提供しているときに、ユーザに割り込むことも、ユーザの進行を遅らせることも、ユーザを妨害することもなく、収集することができる。
ユーザの視線は、ユーザが顕微鏡下のサンプル及び／又はディスプレイ上に提示されたサンプルを観察しているときのユーザの瞳孔運動を、例えば、図２Ａ及び図２Ｂ、図３Ａ～図３Ｄ、並びに図１２を参照して説明されるデバイスを使用して追跡することによって監視することができる。ユーザの瞳孔運動は、本明細書に説明されるように、例えば、カメラによって追跡することができる。
瞳孔運動は、ユーザが見ているサンプルの視野内の領域にマッピングされる。瞳孔運動は、組織の場合には領域内の単一の細胞若しくは細胞群等、及び／又は、製造物の場合にはＤＮＡストランド等の微視的な特徴部及び／又は微視的な電気的構成要素及び／又は機械的構成要素といった、ユーザが実際に見ているものにおける種々の精度レベルを示す種々の分解能レベルで追跡することができる。瞳孔運動は、種々のサイズの領域にマッピングすることができ、例えば、ＦＯＶ及び／又はサンプルの画像の単一のピクセルにマッピングすることもできるし、及び／又は、ピクセル群にマッピングすることもできるし、及び／又は、全体としてＦＯＶにマッピングすることもできる。本明細書に説明されるように、より広い及び／又はより低い分解能追跡を、トレーニングデータセットにおけるＦＯＶ及び／又はサンプルの画像の弱アノテーションに使用することができる。トレーニングデータセットにおけるＦＯＶ及び／又はサンプルの画像の弱アノテーションは、任意の分解能における任意の視線座標からのものとすることができる。
任意選択的に、ユーザの視線は、時間の関数として追跡される。被監視視線が或る時間間隔にわたってサンプルの各特定の領域にマッピングされる時間の表示を求めることができる。費やされる時間は、例えば、（例えば、本明細書に説明されるように）ＦＯＶごとに、ユーザが観察しているサンプルのＦＯＶにマッピングされる画像のピクセル及び／又はピクセル群ごとに規定することができる。例えば、１０分の観察セッションの間、ユーザは、１つのＦＯＶを見るのに１分を費やし、別のＦＯＶを見るのに５分を費やす。代替又は追加として、被監視視線は、観察されている異なる視野の被監視視線の適応を観察時間間隔にわたって異なる特定のピクセルに動的にマッピングする順序付けられた時間シーケンスで表され、及び／又は、この順序付けられた時間シーケンスを含む。例えば、ユーザは、観察セッションの最初の１分を、サンプルの中心付近に位置する第１のＦＯＶを見るのに費やし、その後、第１の視野の右に位置する第２のＦＯＶを見るのに５分を費やし、その後、第１のＦＯＶに再び戻って更に２分を見るのに費やした。
被監視視線は、サンプルの画像に対応するデータ構造、任意選択的にヒートマップとして可視化及び／又は実施することができる。ヒートマップのピクセルは、サンプルの画像のピクセル及び／又はピクセル群に対応する。被監視視線の表示と相関するヒートマップのそれぞれのピクセルのそれぞれの強度は、それぞれの各ピクセルにマッピングされ、例えば、ヒートマップのピクセル強度値は、ユーザがそれらのピクセルの観察に費やした合計時間を表す。ヒートマップは、サンプルの画像上にオーバレイとして提示することができる。ピクセル強度値への時間のマッピングは、例えば、設定された閾値（例えば、１分未満、１分～３分の間、及び３分よりも長い）、及び／又は費やした相対的な時間（例えば、総時間の５０％よりも多い、総時間の２０％～５０％、及び総時間の２０％未満）、又は他の手法に基づくことができる。
ヒートマップは、ＦＯＶの各ピクセル及び／又は各領域に費やした合計時間を表すことができる。被監視視線の動的な適応を示す時間シーケンスの表示（すなわち、ユーザが時間の関数として見た場合）を、ヒートマップに加えて及び／又はヒートマップに代えて計算することができる。時間の関数として視線を示す被監視視線は、例えば、サンプルの画像のピクセル上にオーバレイされ及び／又はヒートマップ上にオーバレイされる有向直線として表すことができる。別の例では、被監視視線は、それぞれのＦＯＶに費やされた時間の表示を用いてラベル付けされた各ＦＯＶの順序付けられた時間シーケンスとして表すことができる。各ＦＯＶは、サンプルの画像（ＷＳＩ）にマッピングすることができ、例えば、サンプルの画像上にオーバレイされたＦＯＶを表す境界として示すことができる。
被監視視線は、他のデータ構造、例えば、ユーザが見ている箇所を示すＦＯＶの座標系内の座標のベクトルを使用して表すことができる。ベクトルは、ユーザが或る時間にわたって見たＦＯＶ内のロケーションを示す時間シーケンスとすることができる。更に別の例では、被監視視線は、１つ以上の連続するオーバレイを使用して表すことができ、各オーバレイは、ユーザが注視しているＦＯＶの領域にわたるマーキング（例えば、色、形状、強調表示、輪郭、陰影、パターン、ジェットカラーマップ等）を含み、小さな時間間隔（例えば、１秒、１０秒、３０秒等）の間の被監視視線を表すことができる。更に別の例では、被監視視線は、各ＦＯＶの領域を注視することに費やされた時間を示すことによって表すことができ、ＦＯＶの画像は、ＦＯＶのユーザの観察に従って連続的に配列することができる。例えば、ＦＯＶに示される領域の注視に費やされた時間を示す輪郭（又は陰影付け、強調表示等の他のマーキング）をＦＯＶにわたって使用して表すことができる。時間は、例えば、メタデータ、輪郭の厚さ、及び／又はマーキングの色及び／又は強度によって表すことができる。複数の輪郭を提示することができ、各輪郭は異なる視線を示す。例えば、３つの円がＦＯＶ上に示され、１つの赤色の円は３分の注視を示し、２つの青色の円は、３０秒未満の注視を示す。
次に図１１を参照する。図１１は、本発明のいくつかの実施形態による、物体のサンプルの観察された視野の画像１１０２上にオーバレイされたヒートマップ（ジェットカラーマップとして表されている）を示す概略図である。この図示されたケースでは、サンプルは、被検者から得られた組織のスライドである。高強度のピクセル値１１０４は、ユーザがその領域の観察にかなりの時間を費やした領域を表し、中強度のピクセル値１１０６は、ユーザがその領域の観察に中程度の時間を費やした領域を表し、低強度のピクセル値１１０８は、ユーザがその領域の観察に僅かな時間を費やした領域を表す。次に図９の９０６を再び参照すると、ユーザによって観察されているサンプルのＦＯＶはキャプチャされる。ＦＯＶは、任意選択的に時間の関数として動的にキャプチャすることができる。ユーザによって観察されたＦＯＶの時間シーケンスを生成することができる。
ＦＯＶは、顕微鏡を使用して観察されているとき、ユーザがサンプルを顕微鏡下で観察している間、顕微鏡下で見えるサンプルの画像をキャプチャするカメラ（任意選択的に、サンプルを顕微鏡下で観察しているユーザの眼の運動を追跡するのに使用されるカメラと異なるカメラ）によってキャプチャすることができる。
ＦＯＶがディスプレイ上に提示されるとき、ディスプレイ上に提示されるＦＯＶは、例えば、画面キャプチャ操作を実行することによってキャプチャすることができる。
９０８において、それぞれのユーザによって行われるサンプルのＦＯＶ提示の操作（複数の場合もある）を監視することができる。サンプルは、拡大されているとき、非常に大きい場合があり、適切な解析を可能にするためにユーザが同時に観察することができない場合がある。したがって、ユーザは、ディスプレイ上で観察されているサンプルの画像を操作することもできるし、及び／又は、スライド及び／又は顕微鏡を操作して異なるＦＯＶを生成することもできる。
操作の例には、軸方向軸（ｚ軸）スキャン（axial axis (z-axis) scanning）を使用するズームイン、ズームアウト、左パン、右パン、パンアップ、パンダウン、光の調整、拡大縮小の調整、及び焦点の調整（例えば、インフォーカス、アウトオブフォーカス）がある。サンプルが組織のスライドである場合には、顕微鏡下で組織の種々の深さを観察するために、スライドを、ｚ軸ノブを使用してｚ軸に沿って調整することができる。サンプルが３Ｄ（３次元）画像である場合には、２Ｄ（２次元）平面を得るために行われる前後のスクロールを用いて、３Ｄ画像を２Ｄ平面にスライスすることができる。
サンプルの画像がディスプレイ上に提示されているとき、ディスプレイに関連したユーザインタフェース、例えば、アイコン、キーボード、マウス、及びタッチ画面とのユーザインタラクションを監視することによって、操作を監視することができる。サンプルが顕微鏡下で観察されているとき、例えば、どのズームレンズが使用されているのかを検出する顕微鏡の種々の構成要素に関連したセンサ、及び／又は、サンプルの位置及び／又は光量を調整する構成要素に関連したセンサによって操作を監視することができる。
操作は、時間の関数として、例えば、どの操作が観察時間間隔にわたって行われたのかを示す時間シーケンスとして監視することができる。
被監視操作は、被監視視線と相関させることができ、例えば、同じタイムラインに対応するように相関させることができる。例えば、観察セッションの開始から１分で、ユーザはズームを５０倍から１００倍に切り替え、ＦＯＶはＦＯＶ＿１からＦＯＶ＿２に変わる。
操作（グラウンドトゥルースラベルとして使用することができる）は、合計時間及び／又はシーケンスを示すサンプルの画像（例えば、９１０において取得される）上のオーバレイとして表すことができる。例えば、ヒートマップのそれぞれのピクセルのそれぞれの強度が合計時間と相関するサンプルの画像に対応するヒートマップのとき、被監視視線は、それぞれの各ピクセルにマッピングされる。別の例では、１つ以上の境界（例えば、円、方形、不規則形状）が、サンプルの画像上にオーバレイされ、各境界の寸法は、視線の広がりに対応し、各境界のマーキングは、合計時間（例えば、境界の厚さ及び／又は色）を示す。
９１０において、サンプルの画像を取得することができる。この画像は、ホールスライド画像といったホールサンプル画像等のサンプル全体の画像及び／又は製造物全体の高解像度画像とすることができる。サンプルの画像は、例えば、スキャナを用いて及び／又は高解像度カメラを使用してスライドをスキャンすることによって取得することができる。代替又は追加として、サンプルの画像は、サンプルのＦＯＶの画像を結合したものとして作成することができる。
９１２において、サンプルの画像は、サンプルのＦＯＶの画像と位置合わせすることができる。ＦＯＶの画像は、ユーザがサンプルを顕微鏡下で観察している間にキャプチャされ、ユーザが顕微鏡を使用して観察しているものを描く。ユーザがサンプルをディスプレイ上で観察しているときには、ユーザはサンプルの画像のＦＯＶを直接観察しているので、サンプルの画像への位置合わせは必ずしも必要とされないことに留意されたい。
位置合わせは、位置合わせプロセスによって、例えば、ＦＯＶの画像の特徴部をサンプルの画像と照合することによって行うことができる。位置合わせは、厳密なものとすることもできるし、及び／又は、組織サンプルを処理中に物理的に移動させる場合があるとき等は柔軟なものとすることもできる。
９１４において、被監視視線は、サンプルの画像、任意選択的にスキャンされた画像及び／又はＷＳＩのピクセルにマッピングされる。
マッピングは、サンプルの画像（例えば、ＷＳＩ及び／又はスキャンされた画像）に位置合わせされたＦＯＶを使用して行うことができる。すなわち、被監視視線は、サンプルの画像に位置合わせされるＦＯＶにマッピングされ、これによって、被監視視線をサンプルの画像のピクセルに直接マッピングすることが可能になる。
被監視視線のマッピングは、サンプルの画像のピクセルごとに、及び／又はサンプルの画像のピクセル群ごとに及び／又はサンプルの画像の領域ごとに行うことができる。
被監視視線を表すもの、任意選択的にヒートマップは、サンプルの画像のピクセルに正規化することができる。被監視視線は、最初に、種々のズームレベルにおいて取得されたＦＯＶに相関させることができ、及び／又は、被監視視線は、最初に、サンプルの種々のロケーション（ディスプレイ上で同時に見えない）において取得されたＦＯＶに相関させることができるので、被監視視線は、サンプルの画像のピクセルにマッピングするために正規化を必要とする場合がある。
９１６において、サンプルに関連した追加のデータ、任意選択でメタデータを取得することができる。追加のデータは、弱ラベルとしてサンプルの画像全体、例えば、スキャンされた画像及び／又はＷＳＩに割り当てることができる。
追加のデータの例には、以下のものがある。
＊サンプルが被検者の組織及び／又は被検者の放射線医学画像であるときは、サンプルを観察しているユーザによって作成される病理学／放射線医学報告、サンプルを観察しているユーザによって作成される病理学／放射線医学診断（例えば、癌の種類）、サンプルを観察しているユーザによって作成されるサンプルの病理学／放射線医学評価を示すサンプルスコア（例えば、腫瘍細胞のパーセンテージ、グリソンスコア）、組織がサンプルに示される被検者の少なくとも１つの臨床パラメータ（例えば、癌のステージ）、被検者の履歴パラメータ（例えば、喫煙者）、及び被検者に施された処置の結果（例えば、化学療法の反応結果）。
＊サンプルが製造されたマイクロアレイのときには、製造されたマイクロアレイに見られる少なくとも１つの製造欠陥のユーザによって提供される表示、及び／又は、製造されたマイクロアレイの品質保証テストの合格又は不合格を示す表示。
＊サンプルが生細胞培養物を含むときには、細胞成長速度、細胞密度、細胞均質性、及び細胞異質性。
＊他のユーザ提供データ。
追加のデータは、例えば、ユーザによって提供される手動入力から取得することもできるし、病理学的報告から自動的に抽出することもできるし、及び／又は被検者の電子健康状態記録（例えば、医療履歴、診断コード）から自動的に抽出することもできる。
９１８において、各ユーザが異なる組織のサンプルを観察している場合があるとき、９０２～９１６に関して説明された１つ以上の特徴が複数の異なるユーザについて反復される。
９２０において、複数の記録のトレーニングデータセットを作成することができる。各記録は、サンプルの画像（例えば、スキャンされた画像、ＷＳＩ）と、ターゲット入力及び／又はグラウンドトゥルースとしての機能を果たすことができる、サンプルの画像のピクセルにマッピングされる被監視視線、サンプルの視野を調整するために行われるそれぞれのユーザによる操作、及び追加のデータのうちの１つ以上とを含むことができる。
ターゲット入力及びグラウンドトゥルースの指定は、本明細書に説明されるように、トレーニングされているＭＬモデルの所望の出力に従って行うことができる。
９２２において、１つ以上の機械学習モデルがトレーニングデータセットに関してトレーニングされる。
１つの例では、ＭＬモデルは、ターゲットサンプルのターゲット画像の入力に応じてターゲットの予測視線の結果を生成するようにトレーニングされる。そのようなモデルは、例えば、サンプルをどのように注視するのかについて新人の病理学者／放射線科医をトレーニングするのに使用することもできるし、及び／又は、病理学者／放射線科医がサンプルを適切に注視していることを検証する品質管理尺度として使用することもできる。別の例では、製造物をどのように注視して製造欠陥の評価及び／又は品質保証を行うのかについて新人の品質保証技術者をトレーニングするために、及び／又は、品質保証技術者を監視するために、そのようなモデルを使用することができる。別の例では、生細胞培養物をどのように注視するのかについて新人の特定分野の専門家をトレーニングするために、そのようなモデルを使用することができる。そのようなＭＬモデルは、複数の記録を含むトレーニングデータセットに関してトレーニングすることができ、各記録は、サンプルの画像と、サンプルを観察しているユーザの被監視視線のグラウンドトゥルース表示とを含む。トレーニングデータセットの記録が、記録のサンプルを観察しているユーザによって行われた操作も含むときは、ターゲット画像を観察しているターゲットユーザによって行われた操作をＭＬモデルへの入力として供給することができる。
別の例では、ＭＬモデルは、ターゲット視覚的評価等の追加のデータの結果、例えば、品質保証結果（例えば、合格／不合格、識別された製造欠陥）、サンプルのスコア臨床スコア（score clinical score）、病理学／放射線医学診断及び／又はターゲットの予測病理学／放射線医学報告を生成するようにトレーニングされる。別の例では、サンプルが生細胞培養物であるとき、ＭＬモデルは、ターゲット細胞成長速度、ターゲット細胞密度、ターゲット細胞均質性、及び／又はターゲット細胞異質性の結果を生成するようにトレーニングされる。そのようなモデルは、例えば、ターゲットサンプルの追加のデータを判断するのに使用することができる。ＭＬモデルは、ターゲットサンプルのターゲット画像と、ターゲットサンプルを観察しているターゲットユーザの被監視視線と、ターゲットユーザによって行われたターゲットサンプルの提示操作とのうちの１つ以上の入力を供給される。そのようなＭＬモデルは、複数の記録を含むトレーニングデータセットに関してトレーニングすることができ、各記録は、サンプルの画像と、サンプルの追加のデータのグラウンドトゥルース表示と、記録のサンプルを観察しているそれぞれのユーザの被監視視線及び任意選択で被監視操作とを含む。
更に別の例では、ＭＬモデルは、ターゲットサンプルのターゲット画像の入力に応じて行われるサンプルの提示のターゲットの予測操作の結果を生成するようにトレーニングされる。そのようなモデルは、例えば、サンプルの適切な観察を可能にするＦＯＶを取得するためにサンプルをどのように操作するのかについて新人の特定分野の専門家をトレーニングするのに使用することもできるし、及び／又は、既存の特定分野の専門家がサンプルの適切な観察を可能にするＦＯＶを取得するためにサンプルを適切に操作していることを検証する品質管理尺度として使用することもできる。そのようなＭＬモデルは、複数の記録を含むトレーニングデータセットに関してトレーニングすることができ、各記録は、サンプルの画像と、サンプルを観察しているユーザによって行われる操作のグラウンドトゥルース表示とを含む。トレーニングデータセットの記録が、記録のサンプルを観察しているユーザの視線も含むときは、ターゲット画像を観察しているターゲットユーザの視線は、ＭＬモデルへの入力として供給することができる。
本明細書に説明される機械学習モデルの例示的なアーキテクチャは、例えば、統計分類器及び／又は他の統計モデル、様々なアーキテクチャのニューラルネットワーク（例えば、畳み込み、全結合、深層、エンコーダデコーダ、再帰、グラフ）、サポートベクタマシン（ＳＶＭ：support vector machine）、ロジスティック回帰、ｋ近傍、決定木、ブースティング、ランダムフォレスト、リグレッサ、及び／又は回帰、分類、次元縮小、教師あり、教師なし、半教師あり若しくは強化学習を可能にする他の任意の商用若しくはオープンソースのパッケージを含む。機械学習モデルは、教師あり手法及び／又は教師なし手法を使用してトレーニングすることができる。
次に図１０を参照する。図１０は、本発明のいくつかの実施形態による、被監視視線及び／又は被監視操作の表示を用いてアノテートされた画像のトレーニングデータセットに関してトレーニングされた機械学習モデルによる推論の方法のフローチャートである。１００２において、１つ以上の機械学習モデルが提供される。機械学習モデルは、例えば、図９の９２２に関して説明されているように、図９に関して説明された手法を使用してトレーニングされる。
１００４において、サンプルのターゲット画像を観察しているユーザの視線がリアルタイムに監視される。視線を監視する手法の例は、例えば、図９の９０４を参照して説明されている。
１００６において、ユーザによるサンプルの提示の操作をリアルタイムに監視することができる。操作は、ユーザが顕微鏡の設定を調整する操作、及び／又は、ディスプレイ上のサンプルの画像の提示を調整する操作とすることができる。サンプルの例は、例えば、図９の９０２を参照して説明されている。サンプルは、ユーザによる観察のために顕微鏡下に配置することができる。操作を監視する手法の例及び／又は例示的な操作は、例えば、図９の９０８を参照して説明されている。
１００８において、サンプルのターゲット画像が、機械学習モデル（複数の場合もある）に供給される。任意選択的に、サンプルを観察しているユーザの被監視視線が、ターゲット画像に加えて機械学習モデルに供給される。代替又は追加として、ユーザによって行われた被監視操作が、ターゲット画像に加えて機械学習モデルに供給される。代替又は追加として、例えば、図９の９１６を参照して説明されているような組織タイプ及び／又は医療履歴等の１つ以上の他のデータアイテムが、ターゲット画像に加えて機械学習モデルに供給される。
サンプルの画像は、例えば、病理組織のスライドをスキャンしてＷＳＩを作成することによって、及び／又は、製造物の高解像度画像をキャプチャすることによって取得することができる。サンプルが生細胞培養物であるとき、画像は、例えば、高解像度カメラ及び／又は顕微鏡に接続されたカメラによって取得することができる。ユーザは、ディスプレイ上でサンプルの画像を観察することができる。サンプルの画像を取得する追加の例示的な詳細は、例えば、図９の９１０を参照して説明されている。
例えば、図９の９２２を参照して説明されているように、機械学習モデル（複数の場合もある）をトレーニングするのに使用されるトレーニングデータセットに従って、及び／又は、機械学習モデルに供給される入力に従って、異なる結果が生成される場合がある。機械学習モデルの結果に基づくプロセスの例は、被検者の診断及び／又は処置に関する１０１０及び１０１２と、新人のユーザのトレーニング及び／又はユーザの品質管理に関する１０１４～１０１８とを参照して説明される。
１０１０において、例えば、サンプル（例えば、生体サンプル、組織サンプル、放射線医学画像及び／又は生細胞培養物）の病理学的／放射線医学的評価を示すサンプルスコア（例えば、視覚的評価スコア）、及び／又は、（例えば、製造物の）品質保証テストの合格／不合格結果、及び／又は、図９の９１６を参照して説明されたデータの他の例を機械学習モデルの結果として取得することができる。
１０１２において、医療サンプル（例えば、生体サンプル、組織サンプル、放射線医学画像及び／又は生細胞培養物）の場合には、被検者は、サンプルスコアに従って処置及び／又は評価を受けることができる。例えば、サンプルスコアが閾値を越えているときは、被検者に化学療法を施すことができ、病理学的診断が或る特定のタイプの癌を示しているときは、被検者は手術を受けることができる等である。製造物（例えば、マイクロアレイ）の場合には、サンプルスコアが、品質保証テストの合格及び／又は大きな製造欠陥がないことを示しているときは、物体を更に処理することができ、及び／又は、サンプルスコアが、品質保証テストの不合格及び／又は大きな製造欠陥があることを示しているときは、物体を拒否することができる。
１０１０～１０１２の代替又は追加として、１０１４において、予測視線及び／又は予測操作の表示が、機械学習モデルの結果として取得される。予測被監視視線は、例えば、ターゲット画像のピクセルごと及び／又はピクセル群ごと及び／又は領域ごとのものとすることができる。予測操作は、画像全体の操作及び／又は現在のＦＯＶの操作、例えば、視野をズームイン及び／又はパンする操作とすることができる。
被監視視線は、ヒートマップとして表すことができる。ヒートマップは、ターゲット画像のピクセルにマッピングされる複数のピクセルを含むことができる。ヒートマップのピクセルの強度は、注視する予測時間に相関する。ヒートマップの追加の例示的な詳細は、例えば、図９の９０８を参照して説明されている。
予測視線は、例えば、サンプルの画像上のオーバレイとして、ディスプレイ上に提示することができる。
予測された被監視視線及び／又は予測操作は、或る時間間隔にわたってターゲット画像のピクセルにマッピングされる動的な視線及び／又は上記時間間隔の異なる時間中に行われた操作を示す時系列として表すことができる。
１０１６において、操作のリアルタイム監視が操作の予測と比較され、及び／又は、視線のリアルタイム監視が視線の予測と比較される。
例えば、この比較は、例えば、類似性及び／又は非類似性の量を示す差を計算することによって行うことができる。例えば、予測視線と実際の視線との間のピクセル数の数である。別の例では、リアルタイム監視と時系列との間の差が比較され、差が閾値を越えているときは、アラートが生成される。
１０１８において、１つ以上の動作を行うことができる。動作は、差が閾値を越えているとき及び／又は差が統計的に非類似であることを示すときに取ることができる。例えば、アラートを生成することができ、及び／又は、指示を生成し、例えば、ディスプレイ上に提示する、ビデオとして再生する、画像として提示する、テキストとして提示する、及び／又はスピーカにおいてオーディオファイルとして再生することができる。指示は、ユーザの操作及び／又は視線が予想と異なることをユーザに示すことができる。そのような指示は、例えば、新人の特定分野の専門家をトレーニングするために、及び／又は、特定分野の専門家が標準的技法に従っていることの確認を助ける等の品質管理の形態として、トレーニングされた特定分野の専門家を監視するために提供することができる。指示は、ユーザが指示に従うことができるように、予測視線及び／又は予測操作が何であるかを示すことができる。
別の例では、予測視線及び／又は予測操作を示す指示は、例えば、サンプルを評価している最中にユーザをガイドするために、ユーザの現在の視線及び／又は操作を必ずしも監視することなく提供される。
１０２０において、１００４～１００８及び／又は１０１４～１０１８を参照して説明された１つ以上の特徴は、例えば、ユーザの視線及び／又は操作をサンプル評価に動的にガイドするために、及び／又は、連続的なリアルタイムトレーニング及び／又は品質管理のために、観察セッションの間反復される。
次に図１２を参照する。図１２は、本発明のいくつかの実施形態による、サンプル（例えば、生体サンプル、生細胞サンプル、組織サンプル、又はマイクロアレイ等の製造物）を顕微鏡下で観察するユーザの視線を監視するための、顕微鏡１２０４上に設置される構成要素１２０２の概略図である。構成要素１２０２は、顕微鏡１２０４と統合することもできるし、及び／又は、顕微鏡１２０４に対して接続及び／又は接続解除されるように設計することもできる。
構成要素１２０２は、顕微鏡１２０４の対物レンズ１２１２とアイピース１２２４との間に設置される。
構成要素１２０２は、構成要素１２０２を追加することによって、顕微鏡を使用するユーザの光路及び／又はユーザの観察体験及び／又はユーザのワークフローに影響を与えない（又は大きな影響を与えない）ように設計される。無限遠補正方式は、光路及び／又は体験及び／又はワークフローに影響を与えないものもある。
構成要素１２０２は、光学装置１２０６を含むことができる。光学装置１２０６は、顕微鏡の対物レンズ１２１２下でサンプル１２１０を観察しているユーザの眼１２０８から後方反射された第１の組の電磁周波数をカメラ１２１４に誘導する。カメラ１２１４は、ユーザの追跡された視線の表示を生成する。第１の組の電磁周波数は、ＩＲ源１２１６によって生成される赤外線（ＩＲ：infrared）周波数とすることができる。カメラ１２１４は、近ＩＲ（ＮＩＲ：near IR）カメラとすることができる。光学装置１２０６は、サンプル１２１０からの第２の組の電磁周波数をカメラ１２２０に同時に誘導し、カメラ１２２０は、ユーザが観察している視野を示す画像をキャプチャする。
第１の組の電磁周波数及び第２の組の電磁周波数は、可視光スペクトルを含むことができる。カメラ１２２０は、赤緑青（ＲＧＢ：red-green-blue）カメラとすることができる。
光学装置１２０６は、ビームスプリッタ１２２２を含むことができる。ビームスプリッタ１２２２は、ＩＲ源１２１６からの第１の組の電磁周波数を、ユーザの眼１２０８が位置するアイピース１２２４に誘導する。ビームスプリッタ１２２２は、ユーザの眼１２０８から後方反射された第１の組の電磁周波数を、アイピース１２２４を介してＮＩＲカメラ１２１４に同時に誘導するとともに、サンプル１２１０からの第２の組の電磁周波数をカメラ１２２０及びアイピース１２２４に誘導する。
ＩＲ源１２１６からの経路の途中で、ＩＲ周波数は、入射面に沿って配置された直線偏光子（linear polarizer）（Ｐ）１２２６、偏光ビーム分割器（ＰＢＳ：polarized beam splitting）１２２８、及びλ／４ １２３０を通過する。ＰＢＳ１２２８は、ＩＲエネルギーがＩＲ源１２１６からビームスプリッタ１２２２に進むことを可能にするが、ＩＲエネルギーがＩＲ源１２１６に戻ることを防止し、代わりにＩＲエネルギーをＮＩＲカメラ１２１４に反射する。ＮＩＲフィルタ１２３２は、ビームスプリッタ１２２２からＲＧＢカメラ１２２０への光路上に配置され、反射されたＩＲエネルギーがＲＧＢカメラ１２２０に達するのを防止する。光学装置は、入射面に沿って配置された直線偏光子であるＰ、４分の１波長板であるλ／４を含むことができる。これらは、直線偏光を円偏光に変換し、λ／４を通って戻った後の入射面に垂直なＩＲ後方反射光セットがＩＲ光源に入るのを防止し、ＩＲカメラに誘導する光アイソレータとしての機能を果たす。
単一の眼１２０８及び単一のアイピース１２２４が示されているが、実際には、ユーザは、両眼及び２つのアイピースを使用することに留意されたい。光学装置１２０６は、２つの眼から反射後の単一の光路からの電磁光波をＩＲカメラ１２１６のうちの２つに向かう２つの光路に分離する。この分離は、例えば、異なる偏光を異なる経路に誘導する偏光子及び／又は波長板、及び／又はダイクロイックミラー及びスペクトルフィルタを用いて或る特定の波長においてシフトされた赤外スペクトル光源を使用すること、及び／又はヘテロダイン検出用に光路ごとに異なる周波数における振幅変調を追加することのうちの１つ以上として実施することができる。
様々な実施形態が、アノテーションデータ収集を実施するツール及び技法を提供し、より詳細には、いくつかの場合において人工知能（「ＡＩ」）システム（限定ではなく、ニューラルネットワーク、畳み込みニューラルネットワーク（「ＣＮＮ」）、学習アルゴリズムベースのシステム、又は機械学習システム等のうちの少なくとも１つを含むことができる）をトレーニングするための、視線ベースの追跡を使用するアノテーションデータ収集を実施する方法、システム、及び装置を提供する。
様々な実施形態において、第１のカメラが、ユーザが第１のサンプルの光学ビューを見ているときに、ユーザの少なくとも一方の眼の少なくとも１つの第１の画像をキャプチャすることができる。コンピューティングシステムは、ユーザの少なくとも一方の眼のキャプチャされた少なくとも１つの第１の画像と、第１のサンプルの光学ビューの少なくとも１つの第２の画像とを解析して、ユーザの少なくとも一方の眼が第１のサンプルの光学ビューの特定の領域にフォーカス（focus：焦点を合わせる）しているか否かを判断することができる。ユーザの少なくとも一方の眼が第１のサンプルの光学ビューの特定の領域にフォーカスしているとの判断に基づいて、コンピューティングシステムは、第１のサンプルの光学ビューの特定の領域に対応する少なくとも１つの第２の画像の少なくとも１つの特定の部分を識別することができる。コンピューティングシステムは、少なくとも１つの第２の画像の識別された少なくとも１つの特定の部分を含むアテンションデータを収集することができ、収集されたアテンションデータをデータベース１１０ａ又は１１０ｂに記憶することができる。いくつかの実施形態によれば、アテンションデータの収集は、ユーザが、顕微鏡１１５を使用して第１のサンプルを診断している間、又は、表示画面１２０上に表示されている第１のサンプルの画像を診断している間のいずれかにおいて結果データを提供しているときに、ユーザに割り込むことも、ユーザの進行を遅らせることも、ユーザを妨害することもなく行うことができる。いくつかの場合には、収集されたアテンションデータは、第１のサンプルの光学ビューの少なくとも１つの特定の部分の１つ以上の座標ロケーション、ユーザが第１のサンプルの光学ビューの少なくとも１つの特定の部分にフォーカスしているアテンション継続時間、又はユーザが第１のサンプルの光学ビューの少なくとも１つの特定の部分にフォーカスしている間の第１のサンプルの光学ビューのズームレベル等のうちの少なくとも１つを含むことができるが、これらに限定されるものではない。いくつかの場合には、第１のサンプルの光学ビューの特定の領域に対応する少なくとも１つの第２の画像の識別された少なくとも１つの特定の部分は、限定ではなく、１つ以上の特定の細胞、１つ以上の特定の組織、１つ以上の特定の構造、又は１つ以上の分子等のうちの少なくとも１つを含むことができる。
いくつかの実施形態において、コンピューティングシステムは、第１のサンプルの光学ビューの特定の領域に対応する少なくとも１つの第２の画像の識別された少なくとも１つの特定の部分を覆う、少なくとも１つの第２の画像における少なくとも１つの強調表示フィールドを生成することができる。いくつかの場合には、少なくとも１つの強調表示フィールドはそれぞれ、限定ではなく、色、形状、又は強調表示効果等のうちの少なくとも１つを含むことができ、強調表示効果は、輪郭描写効果、シャドーイング効果、パターニング効果、ヒートマップ効果、又はジェットカラーマップ効果等のうちの少なくとも１つを含むことができるが、これらに限定されるものではない。
いくつかの実施形態によれば、少なくとも１つの第２の画像は、表示画面上に表示することができる。ユーザの少なくとも一方の眼の少なくとも１つの第１の画像をキャプチャすることは、ユーザが、ディスプレイデバイスの表示画面上に少なくとも１つの第２の画像として表示された第１のサンプルの光学ビューの画像（複数の場合もある）又はビデオ（複数の場合もある）を見ているときに、ユーザの少なくとも一方の眼の少なくとも１つの第１の画像をカメラでキャプチャすることを含むことができる。ユーザがディスプレイデバイスの表示画面上に表示された第１のサンプルの画像又はビデオを見ているときにアテンションデータを収集するために、カメラに代えて視線追跡デバイスを使用することができる。第１のサンプルの光学ビューの特定の領域に対応する少なくとも１つの第２の画像の少なくとも１つの特定の部分を識別することは、コンピューティングシステムを用いて、第１のサンプルの光学ビューの特定の領域に対応する表示画面上に表示された少なくとも１つの第２の画像の少なくとも１つの特定の部分を識別することを含むことができる。コンピューティングシステムは、第１のサンプルの光学ビューの特定の領域に対応する少なくとも１つの第２の画像の識別された少なくとも１つの特定の部分を覆う、生成された少なくとも１つの強調表示フィールドとともに、少なくとも１つの第２の画像を表示画面上に表示することができる。
いくつかの実施形態において、表示画面上の少なくとも１つの第２の画像の表示は、ユーザによるコマンドに応答してシフトすることができる。いくつかの場合には、少なくとも１つの第２の画像のシフト表示は、表示画面上の少なくとも１つの第２の画像の水平シフト、垂直シフト、パン、チルト、ズームイン、又はズームアウト等のうちの少なくとも１つを含むことができる。第１のカメラは、ユーザが表示画面上で少なくとも１つの第２の画像のシフト表示を見ているときに、ユーザの少なくとも一方の眼の運動を追跡することができる。コンピューティングシステムは、ユーザの少なくとも一方の眼の追跡された運動、第１のサンプルの光学ビューの特定の領域に対応する少なくとも１つの第２の画像の識別された少なくとも１つの特定の部分、又は表示画面上の少なくとも１つの第２の画像の水平シフト、垂直シフト、パン、チルト、ズームイン、若しくはズームアウト等のうちの少なくとも１つのうちの１つ以上に少なくとも部分的に基づいて、ユーザの少なくとも一方の眼の追跡された運動を表示画面上の少なくとも１つの第２の画像のシフト表示と照合することができる。ユーザがディスプレイデバイスの表示画面上の少なくとも１つの第２の画像のシフト表示を見ているときに、追加のアテンションデータを収集するために、カメラを使用する代わりに、視線追跡デバイスを使用することができる。
或いは、顕微鏡は、ユーザの少なくとも一方の眼が観察しているときに介する接眼レンズに第１のサンプルの光学ビューを投影することができる。第２のカメラは、第１のサンプルの光学ビューの少なくとも１つの第２の画像をキャプチャすることができる。いくつかの場合には、ユーザの少なくとも一方の眼の少なくとも１つの第１の画像をキャプチャすることは、ユーザが接眼レンズを通して第１のサンプルの光学ビューを見ているときに、第１のカメラを用いて、ユーザの少なくとも一方の眼の少なくとも１つの第１の画像をキャプチャすることを含むことができる。第１のサンプルの光学ビューの特定の領域に対応する少なくとも１つの第２の画像の少なくとも１つの特定の部分を識別することは、コンピューティングシステムを用いて、第１のサンプルの光学ビューの特定の領域に対応する、接眼レンズを通して観察されている少なくとも１つの第２の画像の少なくとも１つの特定の部分を識別することを含むことができる。いくつかの場合には、コンピューティングシステムは、第１のサンプルの光学ビューの特定の領域に対応する少なくとも１つの第２の画像の識別された少なくとも１つの特定の部分を覆う生成された少なくとも１つの強調表示フィールドとともに、少なくとも１つの第２の画像を表示画面上に表示することができる。
いくつかの場合には、第１のカメラは、赤外線（「ＩＲ」）カメラ、後方反射型（back-reflected）ＩＲカメラ、可視色カメラ、光源、又はロケーションフォトダイオード等のうちの１つとすることができる。いくつかの場合には、顕微鏡は、限定ではなく、接眼レンズを通して観察される第１のサンプルの光学ビュー、接眼レンズを通して観察されるとともに、第１のカメラによって少なくとも１つの第１の画像としてキャプチャされるユーザの少なくとも一方の眼の光学ビュー、又は生成された少なくとも１つの強調表示フィールドをユーザの少なくとも一方の眼に接眼レンズを通して投影したもの等のうちの少なくとも１つを反射するか又は通過させる複数のミラー、複数のダイクロイックミラー、又は複数のハーフミラーのうちの２つ以上を備えることができる。
いくつかの実施形態によれば、接眼レンズへの第１のサンプルの光学ビューの投影は、第１のサンプルを含む顕微鏡スライドを載置したＸＹステージの調整、対物レンズ若しくはズームレンズの交換、又は接眼レンズの焦点の調整等のうちの少なくとも１つによってシフトすることができる。第１のカメラは、ユーザが接眼レンズへの第１のサンプルの光学ビューのシフト投影を見ているときに、ユーザの少なくとも一方の眼の運動を追跡することができる。コンピューティングシステムは、ユーザの少なくとも一方の眼の追跡された運動、第１のサンプルの光学ビューの特定の領域に対応する少なくとも１つの第２の画像の識別された少なくとも１つの特定の部分、又は第１のサンプルを含む顕微鏡スライドを載置したＸＹステージの調整、対物レンズ若しくはズームレンズの交換、若しくは接眼レンズの焦点の調整等のうちの少なくとも１つのうちの１つ以上に少なくとも部分的に基づいて、ユーザの少なくとも一方の眼の追跡された運動を、接眼レンズへの第１のサンプルの光学ビューのシフト投影と照合することができる。
代替又は追加として、１つ以上のオーディオセンサが、ユーザが第１のサンプルの光学ビューを見ているときに、ユーザからの１つ以上の音声メモをキャプチャすることができる。コンピューティングシステムは、ユーザからキャプチャされた１つ以上の音声メモを、第１のサンプルの光学ビューの少なくとも１つの第２の画像とともにマッピングして、キャプチャされた１つ以上の音声メモを第１のサンプルの光学ビューの少なくとも１つの第２の画像と照合することができる。
いくつかの実施形態によれば、コンピューティングシステムは、ユーザによって提供される結果データを受信することができる。この結果データは、第１のサンプルの診断、第１のサンプルの病理学スコア、又は第１のサンプルの少なくとも複数の部分に対応する識別データのセットのうちの少なくとも１つを含む。コンピューティングシステムは、ユーザの少なくとも一方の眼のキャプチャされた少なくとも１つの第１の画像及び第１のサンプルの光学ビューの少なくとも１つの第２の画像の解析、又は、収集されたアテンションデータと受信された結果データとの共同解析のうちの少なくとも一方に少なくとも部分的に基づいて、ＡＩシステム（一般に、限定ではなく、ニューラルネットワーク、畳み込みニューラルネットワーク（「ＣＮＮ」）、学習アルゴリズムベースのシステム、又は機械学習システム等のうちの少なくとも１つを含むことができる）をトレーニングして、予測値を生成するのに使用されるモデルを生成することができる。いくつかの実施形態において、予測値は、予測臨床結果又は予測アテンションデータ等のうちの少なくとも１つを含むことができるが、これらに限定されるものではない。
本明細書に説明される様々な実施形態によれば、本明細書に説明されるアノテーションデータ収集システムは、スコアリングプロセス中の顕微鏡ＦＯＶの追跡に加えて、ユーザ（例えば、病理学者）の視覚的アテンションの記録を可能にし、したがって、スライドの全体的なスコアをサポートする高度に局在した空間情報を提供する。この情報は、ＷＳＩにおける腫瘍の位置特定、分類、及びデジタルスコアリング等のアルゴリズムを開発するのに使用される。腫瘍以外のＷＳＩにおけるＲＯＩの位置特定、分類、及びデジタルスコアリングのアルゴリズムも開発することができる。
視線ベースの追跡を使用するアノテーションデータ収集システム、及び／又は、視線ベースの追跡を使用して収集されたアノテーションデータに基づくＡＩシステムのトレーニング（つまり、視線ベースの追跡を使用するアノテーションデータ収集システム、又は、視線ベースの追跡を使用して収集されたアノテーションデータに基づくＡＩシステムのトレーニング、あるいはそれらの両方）のこれらの態様及び他の態様は、図に関してより詳細に説明される。
以下の詳細な説明は、少数の例示的な実施形態を更に詳細に示して当業者がそのような実施形態を実施することを可能にする。説明される例は、例示を目的として提供され、本発明の範囲の限定を意図するものではない。
以下の説明では、説明される実施形態の十分な理解を提供するために、説明を目的として、非常に多くの具体的な詳細が述べられる。しかしながら、これらの具体的な詳細のいくつかのものがなくても、本発明の他の実施形態を実施できることが当業者には明らかであろう。それ以外の場合には、或る特定の構造及びデバイスは、ブロック図の形態で示される。いくつかの実施形態が本明細書に説明され、様々な特徴が異なる実施形態に帰属するが、１つの実施形態に関して説明される特徴は、他の実施形態と併合することもできることが理解されるであろう。一方で、同様に、説明されるいずれかの実施形態の単数又は複数の個々の特徴は、本発明の他の実施形態が、そのような特徴を省略することができるので、本発明のあらゆる実施形態に必須であるとみなされるべきではない。
別段の指定がない限り、使用される数量、寸法等を表すために本明細書に使用される全ての数は、全ての場合において「約」という用語によって修飾されているものと理解されるべきである。本出願では、個数について指定がないものの使用は、特に別段の記載がない限り、複数のものを含み、「及び／並びに」及び「又は／若しくは」という用語の使用は、別段の指定がない限り「及び／又は」を意味する。その上、「含む」という用語及び「含まれる」等の他の形態の使用は、非排他的とみなされるべきである。また、「要素」又は「構成要素」等の用語は、特に別段の記載がない限り、１つのユニットを備える要素及び構成要素と、２つ以上のユニットを備える要素及び構成要素との双方を包含する。
本明細書に説明される様々な実施形態は、（いくつかの場合には）ソフトウェア製品、コンピュータによって実行される方法、及び／又はコンピュータシステム（つまり、ソフトウェア製品、コンピュータによって実行される方法、又はコンピュータシステム、あるいはそれらの全て）を具現化するものであるが、限定ではなく、アノテーション収集技術、アノテーションデータ収集技術等を含む既存の技術エリアの有形の具体的な改良形態を表す。他の態様において、或る特定の実施形態は、例えば、第１のカメラを用いて、ユーザが第１のサンプルの光学ビューを見ているときにユーザの少なくとも一方の眼の少なくとも１つの第１の画像をキャプチャすることと、第２のカメラを用いて、第１のサンプルの光学ビューの少なくとも１つの第２の画像をキャプチャすることと、コンピューティングシステムを用いて、ユーザの少なくとも一方の眼のキャプチャされた少なくとも１つの第１の画像と、第１のサンプルの光学ビューのキャプチャされた少なくとも１つの第２の画像とを解析して、ユーザの少なくとも一方の眼が第１のサンプルの光学ビューの特定の領域にフォーカスしているか否かを判断することと、ユーザの少なくとも一方の眼が第１のサンプルの光学ビューの特定の領域にフォーカスしているとの判断に基づいて、コンピューティングシステムを用いて、第１のサンプルの光学ビューの特定の領域に対応する少なくとも１つの第２の画像の少なくとも１つの特定の部分を識別することと、コンピューティングシステムを用いて、少なくとも１つの第２の画像の識別された少なくとも１つの特定の部分を含むアテンションデータを収集することと、収集されたアテンションデータをデータベースに記憶することと、コンピューティングシステムを用いて、ユーザによって提供される結果データであって、第１のサンプルの診断、第１のサンプルの病理学スコア、又は第１のサンプルの少なくとも複数の部分に対応する識別データのセットのうちの少なくとも１つを含む、結果データを受信することと、ユーザの少なくとも一方の眼のキャプチャされた少なくとも１つの第１の画像及び第１のサンプルの光学ビューのキャプチャされた少なくとも１つの第２の画像の解析、又は、収集されたアテンションデータと受信された結果データとの共同解析のうちの少なくとも一方に少なくとも部分的に基づいて、ニューラルネットワーク、畳み込みニューラルネットワーク（「ＣＮＮ」）、人工知能（「ＡＩ」）システム、又は機械学習システムのうちの少なくとも１つをトレーニングし、予測値（例えば、予測臨床結果又は予測アテンションデータ等のうちの少なくとも１つ）を生成するのに使用されるモデルを生成すること等によって、ユーザ機器又はシステム自体（例えば、アノテーション収集システム、アノテーションデータ収集システム等）の機能を改良することができる。
特に、様々な実施形態には、或る程度の何らかの抽象的な概念が存在し、それらの概念は、単なる従来のコンピュータ処理動作を越えて拡張するいくつかの例を挙げると、第１のカメラを用いて、ユーザが第１のサンプルの光学ビューを見ているときにユーザの少なくとも一方の眼の少なくとも１つの第１の画像をキャプチャすることと、第２のカメラを用いて、第１のサンプルの光学ビューの少なくとも１つの第２の画像をキャプチャすることと、コンピューティングシステムを用いて、ユーザの少なくとも一方の眼のキャプチャされた少なくとも１つの第１の画像と、第１のサンプルの光学ビューのキャプチャされた少なくとも１つの第２の画像とを解析して、ユーザの少なくとも一方の眼が第１のサンプルの光学ビューの特定の領域にフォーカスしているか否かを判断することと、ユーザの少なくとも一方の眼が第１のサンプルの光学ビューの特定の領域にフォーカスしているとの判断に基づいて、コンピューティングシステムを用いて、第１のサンプルの光学ビューの特定の領域に対応する少なくとも１つの第２の画像の少なくとも１つの特定の部分を識別することと、コンピューティングシステムを用いて、少なくとも１つの第２の画像の識別された少なくとも１つの特定の部分を含むアテンションデータを収集することと、収集されたアテンションデータをデータベースに記憶することと、コンピューティングシステムを用いて、ユーザによって提供される結果データであって、第１のサンプルの診断、第１のサンプルの病理学スコア、又は第１のサンプルの少なくとも複数の部分に対応する識別データのセットのうちの少なくとも１つを含む、結果データを受信することと、ユーザの少なくとも一方の眼のキャプチャされた少なくとも１つの第１の画像及び第１のサンプルの光学ビューのキャプチャされた少なくとも１つの第２の画像の解析、又は、収集されたアテンションデータと受信された結果データとの共同解析のうちの少なくとも一方に少なくとも部分的に基づいて、ニューラルネットワーク、畳み込みニューラルネットワーク（「ＣＮＮ」）、人工知能（「ＡＩ」）システム、又は機械学習システムのうちの少なくとも１つをトレーニングし、予測値（例えば、予測臨床結果又は予測アテンションデータ等のうちの少なくとも１つ）を生成するのに使用されるモデルを生成すること等の特定の新規の機能（例えば、ステップ又は動作）を伴うデバイス、ソフトウェア、システム、及び方法によって本明細書に説明されるように実施することができる。これらの機能は、実施するコンピュータシステムの外部で有形の結果を生み出すことができ、単なる例として、ユーザによる視覚的解析中のサンプルのＦＯＶの追跡に加えてユーザの視覚的アテンションの記録を可能にし、したがって、ユーザによって解析されたサンプルの全体的なアノテーションをサポートする高度に局在した空間情報を提供することを含み、いくつかの場合には、この情報は、サンプルのサンプル関心領域（「ＲＯＩ」）の位置特定、分類、及びデジタルスコアリング等のためのアルゴリズムを開発するために使用され、それらのうちの少なくともいくつかは、ユーザ及び／又はサービスプロバイダ（つまり、ユーザ又はサービスプロバイダあるいはそれらの両方）によって観察又は測定することができる。
一態様において、方法が、顕微鏡を用いて、ユーザの少なくとも一方の眼が観察しているときに介する接眼レンズに第１のサンプルの光学ビューを投影することと、第１のカメラを用いて、ユーザが接眼レンズを通して第１のサンプルの光学ビューを見ているときにユーザの少なくとも一方の眼の少なくとも１つの第１の画像をキャプチャすることと、第２のカメラを用いて、第１のサンプルの光学ビューの少なくとも１つの第２の画像をキャプチャすることと、コンピューティングシステムを用いて、ユーザの少なくとも一方の眼のキャプチャされた少なくとも１つの第１の画像及び第１のサンプルの光学ビューのキャプチャされた少なくとも１つの第２の画像を解析して、ユーザの少なくとも一方の眼が第１のサンプルの光学ビューの特定の領域にフォーカスしているか否かを判断することと、ユーザの少なくとも一方の眼が第１のサンプルの光学ビューの特定の領域にフォーカスしているとの判断に基づいて、コンピューティングシステムを用いて、第１のサンプルの光学ビューの特定の領域に対応する接眼レンズを通して観察されている少なくとも１つの第２の画像の少なくとも１つの特定の部分を識別することと、コンピューティングシステムを用いて、少なくとも１つの第２の画像の識別された少なくとも１つの特定の部分を含むアテンションデータを収集することと、収集されたアテンションデータをデータベースに記憶することとを含むことができる。
いくつかの実施形態において、第１のサンプルは、顕微鏡スライド、透明なサンプルカートリッジ、バイアル、チューブ、カプセル、フラスコ、ベッセル、レセプタクル、マイクロアレイ、又はマイクロ流体チップ等のうちの少なくとも１つの中に含めることができる。いくつかの場合には、第１のカメラは、赤外線（「ＩＲ」）カメラ、後方反射型ＩＲカメラ、可視色カメラ、光源、又はロケーションフォトダイオード等のうちの１つとすることができる。いくつかの場合には、顕微鏡は、接眼レンズを通して観察される第１のサンプルの光学ビュー、又は、接眼レンズを通して観察されるとともに、第１のカメラによって少なくとも１つの第１の画像としてキャプチャされるユーザの少なくとも一方の眼の光学ビューのうちの少なくとも一方を反射するか又は通過させる複数のミラー、複数のダイクロイックミラー、又は複数のハーフミラーのうちの２つ以上を備えることができる。
いくつかの実施形態によれば、第１のサンプルの光学ビューの特定の領域に対応する少なくとも１つの第２の画像の識別された少なくとも１つの特定の部分は、１つ以上の特定の細胞、１つ以上の特定の組織、１つ以上の特定の構造、又は１つ以上の分子等のうちの少なくとも１つを含むことができる。いくつかの場合には、少なくとも１つの第２の画像の少なくとも１つの特定の部分を識別することは、コンピューティングシステムを用いて、少なくとも１つの第２の画像の識別された少なくとも１つの特定の部分に対応する光学ビューの少なくとも１つの第２の画像内の座標ロケーションを求めることを含むことができる。
いくつかの実施形態において、上記方法は、コンピューティングシステムを用いて、ユーザによって提供される結果データを受信することであって、この結果データは、第１のサンプルの診断、第１のサンプルの病理学スコア、又は第１のサンプルの少なくとも複数の部分に対応する識別データのセットのうちの少なくとも１つを含むことと、ユーザの少なくとも一方の眼のキャプチャされた少なくとも１つの第１の画像及び第１のサンプルの光学ビューのキャプチャされた少なくとも１つの第２の画像の解析、又は、収集されたアテンションデータと受信された結果データとの共同解析のうちの少なくとも一方に少なくとも部分的に基づいて、ニューラルネットワーク、畳み込みニューラルネットワーク（「ＣＮＮ」）、人工知能（「ＡＩ」）システム、又は機械学習システムのうちの少なくとも１つをトレーニングし、予測値を生成するのに使用されるモデルを生成することとを更に含むことができる。いくつかの場合には、予測値は、予測臨床結果又は予測アテンションデータ等のうちの少なくとも１つを含むことができる。いくつかの場合には、アテンションデータを収集することは、ユーザが、顕微鏡を使用して第１のサンプルを診断している間において結果データを提供しているときに、ユーザに割り込むことも、ユーザの進行を遅らせることも、ユーザを妨害することもなく行うことができる。
いくつかの実施形態によれば、上記方法は、第１のカメラを用いて、ユーザの少なくとも一方の眼の運動を追跡することと、コンピューティングシステムを用いて、少なくとも１つの第２の画像の識別された少なくとも１つの特定の部分の１つ以上の座標ロケーション、ユーザが光学ビューの特定の領域にフォーカスしているアテンション継続時間（attention duration）、又はユーザが、光学ビューの特定の領域にフォーカスしている間の第１のサンプルの光学ビューのズームレベルのうちの少なくとも１つを同時に追跡することとを更に含むことができる。いくつかの場合には、ユーザの少なくとも一方の眼が第１のサンプルの光学ビューの特定の領域にフォーカスしているか否かを判断することは、少なくとも１つの第２の画像の識別された少なくとも１つの特定の部分の１つ以上の座標ロケーション、ユーザが光学ビューの特定の領域にフォーカスしているアテンション継続時間、又はユーザが光学ビューの特定の領域にフォーカスしている間の第１のサンプルの光学ビューのズームレベルのうちの少なくとも１つに少なくとも部分的に基づいて、ユーザの少なくとも一方の眼が第１のサンプルの光学ビューの特定の領域にフォーカスしているか否かを判断することを含むことができる。
いくつかの実施形態において、上記方法は、ユーザが第１のサンプルの光学ビューを見ているときに、オーディオセンサを用いて、ユーザからの１つ以上の音声メモをキャプチャすることと、コンピューティングシステムを用いて、ユーザからキャプチャされた１つ以上の音声メモを第１のサンプルの光学ビューの少なくとも１つの第２の画像とともにマッピングして、キャプチャされた１つ以上の音声メモを第１のサンプルの光学ビューの少なくとも１つの第２の画像と照合することとを更に含むことができる。
別の態様において、システムが、顕微鏡と、第１のカメラと、第２のカメラと、コンピューティングシステムとを備えることができる。顕微鏡は、ユーザの少なくとも一方の眼が観察しているときに介する接眼レンズに第１のサンプルの光学ビューを投影するように構成することができる。第１のカメラは、ユーザが接眼レンズを通して第１のサンプルの光学ビューを見ているときに、ユーザの少なくとも一方の眼の少なくとも１つの第１の画像をキャプチャするように構成することができる。第２のカメラは、第１のサンプルの光学ビューの少なくとも１つの第２の画像をキャプチャするように構成することができる。コンピューティングシステムは、少なくとも１つの第１のプロセッサと、この少なくとも１つの第１のプロセッサに通信結合される第１の非一時的コンピュータ可読媒体とを備えることができる。第１の非一時的コンピュータ可読媒体には、第１の命令セットを含むコンピュータソフトウェアを記憶しておくことができ、第１の命令セットは、少なくとも１つの第１のプロセッサによって実行されると、ユーザの少なくとも一方の眼のキャプチャされた少なくとも１つの第１の画像と第１のサンプルの光学ビューのキャプチャされた少なくとも１つの第２の画像とを解析して、ユーザの少なくとも一方の眼が第１のサンプルの光学ビューの特定の領域にフォーカスしているか否かを判断することと、ユーザの少なくとも一方の眼が第１のサンプルの光学ビューの特定の領域にフォーカスしているとの判断に基づいて、第１のサンプルの光学ビューの特定の領域に対応する、接眼レンズを通して観察されている少なくとも１つの第２の画像の少なくとも１つの特定の部分を識別することと、少なくとも１つの第２の画像の識別された少なくとも１つの特定の部分を含むアテンションデータを収集することと、収集されたアテンションデータをデータベースに記憶することとをコンピューティングシステムに行わせる。
いくつかの実施形態において、第１の命令セットは、少なくとも１つの第１のプロセッサによって実行されると、ユーザによって提供される結果データであって、第１のサンプルの診断、第１のサンプルの病理学スコア、又は第１のサンプルの少なくとも複数の部分に対応する識別データのセットのうちの少なくとも１つを含む、結果データを受信することと、ユーザの少なくとも一方の眼のキャプチャされた少なくとも１つの第１の画像及び第１のサンプルの光学ビューのキャプチャされた少なくとも１つの第２の画像の解析、又は、収集されたアテンションデータと受信された結果データとの共同解析のうちの少なくとも一方に少なくとも部分的に基づいて、ニューラルネットワーク、畳み込みニューラルネットワーク（「ＣＮＮ」）、人工知能（「ＡＩ」）システム、又は機械学習システムのうちの少なくとも１つをトレーニングし、予測値（例えば、予測臨床結果又は予測アテンションデータ等のうちの少なくとも１つ）を生成するのに使用されるモデルを生成することとをコンピューティングシステムに更に行わせる。いくつかの場合には、予測値は、予測臨床結果又は予測アテンションデータ等のうちの少なくとも１つを含むことができる。いくつかの場合には、第１のカメラは、ユーザの少なくとも一方の眼の運動を追跡するように更に構成することができる。いくつかの場合には、コンピューティングシステムは、第１のサンプルの光学ビューの１つ以上の座標ロケーション、アテンション継続時間、又はズームレベルのうちの少なくとも１つを同時に追跡するように更に構成することができる。
いくつかの実施形態によれば、ユーザの少なくとも一方の眼が第１のサンプルの光学ビューの特定の領域にフォーカスしているか否かを判断することは、アテンション視線（attention gaze）の１つ以上の座標ロケーションの追跡、運動及び第１のサンプルの光学ビューのズームレベルのうちの少なくとも一方の追跡、又はユーザの少なくとも一方の眼が第１のサンプルの光学ビューの一部分を見続けているとの判断のうちの１つ以上に少なくとも部分的に基づいて、ユーザの少なくとも一方の眼が第１のサンプルの光学ビューの特定の領域にフォーカスしているか否かを判断することを含むことができる。
いくつかの実施形態において、上記システムは、ユーザが第１のサンプルの光学ビューを見ているときに、ユーザからの１つ以上の音声メモをキャプチャするように構成されるオーディオセンサを更に備えることができる。第１の命令セットは、少なくとも１つの第１のプロセッサによって実行されると、ユーザからキャプチャされた１つ以上の音声メモを第１のサンプルの光学ビューの少なくとも１つの第２の画像とともにマッピングして、キャプチャされた１つ以上の音声メモを第１のサンプルの光学ビューの少なくとも１つの第２の画像と照合することをコンピューティングシステムに行わせることができる。
更に別の態様において、方法が、ユーザが顕微鏡の接眼レンズを通して第１のサンプルの光学ビューを見ているときに、第１のカメラによってキャプチャされるユーザの少なくとも一方の眼の少なくとも１つの第１の画像を受信することと、第２のカメラによってキャプチャされる第１のサンプルの光学ビューの少なくとも１つの第２の画像を受信することと、コンピューティングシステムを用いて、少なくとも１つの第１の画像及び少なくとも１つの第２の画像を解析して、ユーザの少なくとも一方の眼が第１のサンプルの光学ビューの特定の領域にフォーカスしているか否かを判断することと、コンピューティングシステムを用いて、上記解析に基づいてユーザのアテンションを追跡することと、コンピューティングシステムを用いて、上記追跡に基づいてアテンションデータ（attention data）を収集することとを含むことができる。
一態様において、方法が、コンピューティングシステムを用いて、第１のサンプルの光学ビューを見ているユーザに対応する収集されたアテンションデータを受信することと、コンピューティングシステムを用いて、ユーザによって提供される結果データであって、第１のサンプルの診断、第１のサンプルの病理学スコア、又は第１のサンプルの少なくとも複数の部分に対応する識別データのセットのうちの少なくとも１つを含む、結果データを受信することと、収集されたアテンションデータと受信された結果データとの共同解析に少なくとも部分的に基づいて、ニューラルネットワーク、畳み込みニューラルネットワーク（「ＣＮＮ」）、人工知能（「ＡＩ」）システム、又は機械学習システムのうちの少なくとも１つをトレーニングし、予測値を生成するのに使用されるモデルを生成することとを含むことができる。
いくつかの実施形態において、第１のサンプルは、顕微鏡スライド、透明なサンプルカートリッジ、バイアル、チューブ、カプセル、フラスコ、ベッセル、レセプタクル、マイクロアレイ、又はマイクロ流体チップ等のうちの少なくとも１つの中に含めることができる。いくつかの場合には、予測値は、予測臨床結果又は予測アテンションデータ等のうちの少なくとも１つを含むことができる。
いくつかの実施形態によれば、アテンションデータの収集は、ユーザが、顕微鏡を使用して第１のサンプルを診断している間、又は、表示画面上に表示されている第１のサンプルの画像を診断している間のいずれかにおいて結果データを提供しているときに、ユーザに割り込むことも、ユーザの進行を遅らせることも、ユーザを妨害することもなく行うことができる。いくつかの場合には、収集されたアテンションデータは、第１のサンプルの光学ビューの少なくとも１つの特定の部分の１つ以上の座標ロケーション、ユーザが第１のサンプルの光学ビューの少なくとも１つの特定の部分にフォーカスしているアテンション継続時間、又はユーザが第１のサンプルの光学ビューの少なくとも１つの特定の部分にフォーカスしている間の第１のサンプルの光学ビューのズームレベル等のうちの少なくとも１つを含むことができる。
いくつかの実施形態において、アテンションデータは、ユーザが顕微鏡の接眼レンズを通して第１のサンプルの光学ビューを見ているときに第１のカメラによってキャプチャされるユーザの少なくとも一方の眼の少なくとも１つの第１の画像に基づいて収集することができる。いくつかの場合には、顕微鏡は、接眼レンズを通して観察される第１のサンプルの光学ビュー、又は、接眼レンズを通して観察されるとともに第１のカメラによって少なくとも１つの第１の画像としてキャプチャされるユーザの少なくとも一方の眼の光学ビューのうちの少なくとも一方を反射するか又は通過させる複数のミラー、複数のダイクロイックミラー（dichroic mirror）、又は複数のハーフミラーのうちの２つ以上を備えることができる。
或いは、アテンションデータは、ユーザが、表示画面上に表示される第１のサンプルの光学ビューの第１の画像を見ているときに、視線追跡デバイスを使用して収集することができる。いくつかの実施形態において、上記方法は、コンピューティングシステムを用いて、第１のサンプルの光学ビューの特定の領域に対応する、表示画面上に表示された少なくとも１つの第１の画像の識別された少なくとも１つの特定の部分と重なる少なくとも１つの強調表示フィールドを生成することを更に含むことができる。いくつかの場合には、上記方法は、コンピューティングシステムを用いて、収集されたアテンションデータに対応する表示画面上に表示された少なくとも１つの第１の画像の識別された少なくとも１つの特定の部分と重なるように、生成された少なくとも１つの強調表示フィールドを表示画面上に表示することと、視線追跡デバイスを用いて、ユーザが表示画面上に表示された第１のサンプルの光学ビューの第１の画像を見ているときにアテンションデータを追跡することと、コンピューティングシステムを用いて、第１のサンプルの光学ビューの少なくとも１つの特定の部分の１つ以上の座標ロケーション、ユーザが第１のサンプルの光学ビューの少なくとも１つの特定の部分にフォーカスしているアテンション継続時間、又はユーザが第１のサンプルの光学ビューの少なくとも１つの特定の部分にフォーカスしている間の第１のサンプルの光学ビューのズームレベルのうちの少なくとも１つに少なくとも部分的に基づいて、追跡されたアテンションデータを、表示画面上に表示された第１のサンプルの光学ビューの少なくとも１つの第１の画像の表示と照合することとを更に含むことができる。いくつかの場合には、少なくとも１つの強調表示フィールドはそれぞれ、色、形状、又は強調表示効果等のうちの少なくとも１つを含むことができる。強調表示効果は、輪郭描写効果（outlining effect）、シャドーイング効果、パターニング効果、ヒートマップ効果、又はジェットカラーマップ効果（jet color map effect）等のうちの少なくとも１つを含むことができる。
いくつかの実施形態によれば、上記方法は、視線追跡デバイスを用いて、アテンションデータを追跡することと、コンピューティングシステムを用いて、第１のサンプルの光学ビューの少なくとも１つの第２の画像の識別された少なくとも１つの特定の部分の１つ以上の座標ロケーション、ユーザが光学ビューの特定の領域にフォーカスしているアテンション継続時間、又はユーザが光学ビューの特定の領域にフォーカスしている間の第１のサンプルの光学ビューのズームレベルのうちの少なくとも１つを同時に追跡することとを更に含むことができる。
いくつかの実施形態において、上記方法は、ユーザが第１のサンプルの光学ビューを見ているときに、オーディオセンサを用いて、ユーザからの１つ以上の音声メモをキャプチャすることと、コンピューティングシステムを用いて、ユーザからキャプチャされた１つ以上の音声メモを第１のサンプルの光学ビューの少なくとも１つの第３の画像とともにマッピングして、キャプチャされた１つ以上の音声メモを第１のサンプルの光学ビューの少なくとも１つの第３の画像と照合することとを更に含むことができる。
別の態様において、装置が、少なくとも１つのプロセッサと、この少なくとも１つのプロセッサに通信結合された非一時的コンピュータ可読媒体とを備えることができる。非一時的コンピュータ可読媒体には、命令セットを含むコンピュータソフトウェアを記憶しておくことができ、この命令セットは、少なくとも１つの第１のプロセッサによって実行されると、第１のサンプルの光学ビューを見ているユーザに対応する収集されたアテンションデータを受信することと、ユーザによって提供される結果データであって、第１のサンプルの診断、第１のサンプルの病理学スコア、又は第１のサンプルの少なくとも複数の部分に対応する識別データのセットのうちの少なくとも１つを含む、結果データを受信することと、収集されたアテンションデータと受信された結果データとの共同解析に少なくとも部分的に基づいて、ニューラルネットワーク、畳み込みニューラルネットワーク（「ＣＮＮ」）、人工知能（「ＡＩ」）システム、又は機械学習システムのうちの少なくとも１つをトレーニングし、予測値を生成するのに使用されるモデルを生成することとをこの装置に行わせる。
更に別の態様において、システムが、第１のカメラと、第２のカメラと、コンピューティングシステムとを備えることができる。第１のカメラは、ユーザが第１のサンプルの光学ビューを見ているときに、ユーザの少なくとも一方の眼の少なくとも１つの第１の画像をキャプチャするように構成することができる。第２のカメラは、第１のサンプルの光学ビューの少なくとも１つの第２の画像をキャプチャするように構成することができる。コンピューティングシステムは、少なくとも１つの第１のプロセッサと、この少なくとも１つの第１のプロセッサに通信結合された第１の非一時的コンピュータ可読媒体とを備えることができる。第１の非一時的コンピュータ可読媒体には、第１の命令セットを含むコンピュータソフトウェアを記憶しておくことができ、第１の命令セットは、少なくとも１つの第１のプロセッサによって実行されると、第１のサンプルの光学ビューを見ているユーザに対応する収集されたアテンションデータを受信することと、ユーザによって提供される結果データであって、第１のサンプルの診断、第１のサンプルの病理学スコア、又は第１のサンプルの少なくとも複数の部分に対応する識別データのセットのうちの少なくとも１つを含む、結果データを受信することと、収集されたアテンションデータと受信された結果データとの共同解析に少なくとも部分的に基づいて、ニューラルネットワーク、畳み込みニューラルネットワーク（「ＣＮＮ」）、人工知能（「ＡＩ」）システム、又は機械学習システムのうちの少なくとも１つをトレーニングし、予測値を生成するのに使用されるモデルを生成することとをコンピューティングシステムに行わせる。
本発明の範囲から逸脱することなく、論述されている実施形態に様々な変更及び追加を行うことができる。例えば、上述した実施形態は、特定の特徴に言及しているが、本発明の範囲は、特徴の異なる組み合わせを有する実施形態及び上述した特徴の全てを含むとは限らない実施形態も含む。
次に、図面によって示される実施形態を参照する。図１～図１２は、アノテーションデータ収集を実施する方法、システム、及び装置の特徴のうちのいくつか、より詳細には、上述したように、視線ベースの追跡を使用するアノテーションデータ収集を実施する方法、システム、及び装置、及び／又は、視線ベースの追跡を使用して収集されたアノテーションデータに基づいて人工知能（「ＡＩ」）システムをトレーニングする方法、システム、及び装置の特徴のうちのいくつかを示している。図１～図７によって示される方法、システム、及び装置は、様々な実施形態において選択肢と考えることができるか又は互いに併せて使用することができる様々な構成要素及びステップを含む異なる実施形態の例を指す。図１～図１２に図示する例示された方法、システム、及び装置の説明は、例示を目的として提供されたものであり、種々の実施形態の範囲を限定するものとみなされるべきでない。
図を参照すると、図１は、様々な実施形態による、視線ベースの追跡を使用するアノテーションデータ収集を実施するシステム１００を示す概略図である。
図１の非限定的な実施形態において、システム１００は、コンピューティングシステム１０５ａと、コンピューティングシステム１０５ａにローカルなデータストア又はデータベース１１０ａとを備えることができる。いくつかの場合には、データベース１１０ａは、コンピューティングシステム１０５ａの外部のものとすることができるが、コンピューティングシステム１０５ａに通信結合することができる。他の場合には、データベース１１０ａは、コンピューティングシステム１０５ａ内に統合することができる。システム１００は、いくつかの実施形態によれば、ユーザ１２５がサンプル（例えば、サンプル１７０等）又はサンプルの画像（複数の場合もある）若しくはビデオ（複数の場合もある）を観察することを可能にすることができる顕微鏡１１５及び／又はディスプレイデバイス１２０を更に備えることができる。システム１００は、カメラ（複数の場合もある）１３０、１つ以上のオーディオセンサ１３５（任意選択）、及び１つ以上のユーザデバイス１４０（任意選択）を更に備えることができる。カメラ１３０は、ユーザ１２５がカメラ１３０の視野（「ＦＯＶ」）１３０ａ内にいる間、ユーザ１２５の画像又はビデオをキャプチャ（いくつかの場合には、ユーザ１２５の少なくとも一方の眼の画像又はビデオをキャプチャ）することができる。いくつかの場合には、カメラ１３０は、限定ではなく、１つ以上のアイトラッキングセンサ、１つ以上のモーションセンサ、又は１つ以上の追跡センサ等を含むことができる。ユーザが顕微鏡１１５の接眼レンズを通して第１のサンプルの光学ビューを見ているとき、又は、ディスプレイデバイス１２０の表示画面上に表示された第１のサンプルの画像若しくはビデオを見ているときに、カメラ１３０に代えて、視線追跡デバイス（図１に図示せず）を使用して、アテンションデータを収集することができる。いくつかの場合には、１つ以上のオーディオセンサ１３５は、１つ以上のマイク、１つ以上のボイスレコーダ、又は１つ以上のオーディオレコーダ等を含むことができるが、これらに限定されるものではない。いくつかの場合には、１つ以上のユーザデバイス１４０は、限定ではなく、スマートフォン、モバイルフォン、タブレットコンピュータ、ラップトップコンピュータ、デスクトップコンピュータ、又はモニタ等を含むことができる。コンピューティングシステム１０５ａは、顕微鏡１１５、ディスプレイデバイス１２０、カメラ１３０（又は視線追跡デバイス）、１つ以上のオーディオセンサ１３５、及び／又は１つ以上のユーザデバイス１４０のうちの１つ以上と（無線（稲妻記号等によって描かれている）又は有線接続（接続線によって描かれている）のいずれかを介して）通信結合することができる。コンピューティングシステム１０５ａ、データベース（複数の場合もある）１１０ａ、顕微鏡１１５、ディスプレイデバイス１２０、ユーザ１２５、カメラ１３０（又は視線追跡デバイス）、オーディオセンサ１３５、及び／又はユーザデバイス１４０は、作業環境１４５内に配置又は設置することができる。作業環境１４５は、研究所、診療所、医療施設、研究施設、又は研究室等のうちの１つを含むことができるが、これらに限定されるものではない。
システム１００は、ネットワーク（複数の場合もある）１５０を介してコンピューティングシステム１０５ａと通信結合することができるリモートコンピューティングシステム１０５ｂ（任意選択）及び対応するデータベース（複数の場合もある）１１０ｂ（任意選択）を更に備えることができる。いくつかの場合には、システム１００は、ネットワーク（複数の場合もある）１５０を介してコンピューティングシステム１０５ａ又はリモートコンピューティングシステム１０５ｂと通信結合することができる人工知能（「ＡＩ」）システム１０５ｃを更に備えることができる。いくつかの実施形態において、ＡＩシステム１０５ｃは、機械学習システム（複数の場合もある）、学習アルゴリズムベースのシステム（複数の場合もある）、又はニューラルネットワークシステム（複数の場合もある）等のうちの少なくとも１つ含むことができるが、これらに限定されるものではない。
単なる例として、ネットワーク（複数の場合もある）１５０はそれぞれ、限定ではなく、ファイバネットワーク、イーサネットネットワーク、Ｔｏｋｅｎ－Ｒｉｎｇ（商標）ネットワーク等を含むローカルエリアネットワーク（「ＬＡＮ」）；ワイドエリアネットワーク（「ＷＡＮ」）；無線ワイドエリアネットワーク（「ＷＷＡＮ」：wireless wide area network）；仮想プライベートネットワーク（「ＶＰＮ」）等の仮想ネットワーク；インターネット；イントラネット；エキストラネット；公衆交換電話ネットワーク（「ＰＳＴＮ」：public switched telephone network）；赤外線ネットワーク；限定ではなく、当該技術において知られているＩＥＥＥ８０２．１１スイートのプロトコル、Ｂｌｕｅｔｏｏｔｈ（登録商標）プロトコル、及び／又は他の任意の無線プロトコルのうちのいずれかの下で動作するネットワークを含む無線ネットワーク；及び／又はこれらのネットワーク及び／又は他のネットワークの任意の組み合わせを含むことができる。特定の実施形態において、ネットワーク（複数の場合もある）１５０はそれぞれ、インターネットサービスプロバイダ（「ＩＳＰ」：Internet service provider）のアクセスネットワークを含むことができる。別の実施形態において、ネットワーク（複数の場合もある）１５０はそれぞれ、ＩＳＰ及び／又はインターネットのコアネットワークを含むことができる。
いくつかの実施形態によれば、顕微鏡１１５は、限定ではなく、プロセッサ１５５、データストア１６０ａ、ユーザインタフェースデバイス（複数の場合もある）１６０ｂ（例えば、タッチ画面（複数の場合もある）、ボタン、キー、スイッチトグル、ノブ、ダイヤル等）、顕微鏡ステージ１６５ａ（例えば、ＸＹステージ又はＸＹＺステージ等）、第１のモータ１６５ｂ（顕微鏡ステージのＸ方向運動を自律制御する）、第２のモータ１６５ｃ（顕微鏡ステージのＹ方向運動を自律制御する）、第３のモータ１６５ｄ（任意選択的に；顕微鏡ステージのＺ方向運動を自律制御する）、光源１６５ｅ（例えば、顕微鏡ステージ等に載置された顕微鏡スライドに含まれるサンプルを背面照明するランプ）、１つ以上の対物レンズ又はズームレンズ１６５ｆ、サンプル１７０（存在する場合には、顕微鏡ステージ１６５ａ上に取り付けられた顕微鏡スライド内又は顕微鏡スライド上に含めることができる）、ＦＯＶカメラ１７５、接眼レンズ（複数の場合もある）１８０、視線カメラ１８５、投影デバイス１９０（任意選択的に）、有線通信システム１９５ａ、及び送受信機１９５ｂのうちの少なくとも１つを含むことができる。プロセッサ１５５は、データストア１６０ａ、ユーザインタフェースデバイス（複数の場合もある）１６０ｂ、第１のモータ１６５ｂ、第２のモータ１６５ｃ、第３のモータ１６５ｄ、ＦＯＶカメラ１７５、視線カメラ１８５、投影デバイス１９０、有線通信システム１９５ａ、又は送受信機１９５等のうちの少なくとも１つと通信結合することができる。
動作中、顕微鏡１１５は、ユーザ１２５の少なくとも一方の眼が観察しているときに介する接眼レンズ（複数の場合もある）１８０に第１のサンプル１７０の光学ビューを投影することができる。カメラ１３０（又は視線追跡デバイス）又は視線カメラ１８５は、ユーザ１２５が第１のサンプルの光学ビュー（顕微鏡１１５の接眼レンズ（複数の場合もある）１８０を通して投影されているか又はディスプレイデバイス１２０等の表示画面上に表示されているかを問わない）を見ているときに、ユーザ１２５の少なくとも一方の眼の少なくとも１つの第１の画像をキャプチャすることができる。コンピューティングシステム１０５ａ、ユーザデバイス（複数の場合もある）１４０、リモートコンピューティングシステム（複数の場合もある）１０５ｂ、及び／又はプロセッサ１５５（顕微鏡が使用されている場合）（集合的に「コンピューティングシステム」等）は、ユーザ１２５の少なくとも一方の眼のキャプチャされた少なくとも１つの第１の画像と、第１のサンプルの光学ビューのキャプチャされた少なくとも１つの第２の画像とを解析して、ユーザ１２５の少なくとも一方の眼が、第１のサンプルの光学ビューの特定の領域にフォーカスしているか否かを判断することができる。ユーザ１２５の少なくとも一方の眼が第１のサンプルの光学ビューの特定の領域にフォーカスしているとの判断に基づいて、コンピューティングシステムは、第１のサンプルの光学ビューの特定の領域に対応する少なくとも１つの第２の画像の少なくとも１つの特定の部分を識別することができる。コンピューティングシステムは、少なくとも１つの第２の画像の識別された少なくとも１つの特定の部分を含むアテンションデータを収集することができ、収集されたアテンションデータをデータベース１１０ａ又は１１０ｂに記憶することができる。いくつかの実施形態によれば、アテンションデータの収集は、ユーザが、顕微鏡１１５を使用して第１のサンプルを診断している間、又は、表示画面１２０上に表示されている第１のサンプルの画像を診断している間のいずれかにおいて結果データを提供しているときに、ユーザに割り込むことも、ユーザの進行を遅らせることも、ユーザを妨害することもなく行うことができる。いくつかの場合には、収集されたアテンションデータは、第１のサンプルの光学ビューの少なくとも１つの特定の部分の１つ以上の座標ロケーション、ユーザが第１のサンプルの光学ビューの少なくとも１つの特定の部分にフォーカスしているアテンション継続時間、又はユーザが第１のサンプルの光学ビューの少なくとも１つの特定の部分にフォーカスしている間の第１のサンプルの光学ビューのズームレベル等のうちの少なくとも１つを含むことができるが、これらに限定されるものではない。いくつかの場合には、第１のサンプルの光学ビューの特定の領域に対応する少なくとも１つの第２の画像の識別された少なくとも１つの特定の部分は、限定ではなく、１つ以上の特定の細胞、１つ以上の特定の組織、１つ以上の特定の構造、又は１つ以上の分子等のうちの少なくとも１つを含むことができる。
いくつかの実施形態において、コンピューティングシステムは、第１のサンプルの光学ビューの特定の領域に対応する少なくとも１つの第２の画像の識別された少なくとも１つの特定の部分を覆う、少なくとも１つの第２の画像における少なくとも１つの強調表示フィールドを生成することができる。いくつかの場合には、少なくとも１つの強調表示フィールドはそれぞれ、限定ではなく、色、形状、又は強調表示効果等のうちの少なくとも１つを含むことができ、強調表示効果は、輪郭描写効果、シャドーイング効果、パターニング効果、ヒートマップ効果、又はジェットカラーマップ効果等のうちの少なくとも１つを含むことができるが、これらに限定されるものではない。
いくつかの実施形態によれば、少なくとも１つの第２の画像は、表示画面（例えば、ディスプレイデバイス１２０の表示画面等）上に表示することができる。ユーザ１２５の少なくとも一方の眼の少なくとも１つの第１の画像をキャプチャすることは、ユーザ１２５が、ディスプレイデバイス１２０の表示画面上に少なくとも１つの第２の画像として表示された第１のサンプルの光学ビューの画像（複数の場合もある）又はビデオ（複数の場合もある）を見ているときに、ユーザ１２５の少なくとも一方の眼の少なくとも１つの第１の画像をカメラ１３０でキャプチャすることを含むことができる。ユーザがディスプレイデバイス１２０の表示画面上に表示された第１のサンプルの画像又はビデオを見ているときにアテンションデータを収集するために、カメラ１３０に代えて視線追跡デバイスを使用することができる。第１のサンプルの光学ビューの特定の領域に対応する少なくとも１つの第２の画像の少なくとも１つの特定の部分を識別することは、コンピューティングシステムを用いて、第１のサンプルの光学ビューの特定の領域に対応する表示画面上に表示された少なくとも１つの第２の画像の少なくとも１つの特定の部分を識別することを含むことができる。コンピューティングシステムは、第１のサンプルの光学ビューの特定の領域に対応する少なくとも１つの第２の画像の識別された少なくとも１つの特定の部分を覆う生成された少なくとも１つの強調表示フィールドとともに、少なくとも１つの第２の画像を表示画面（例えば、ディスプレイデバイス１２０の表示画面等）上に表示することができる。
いくつかの実施形態において、表示画面上の少なくとも１つの第２の画像の表示は、ユーザによるコマンドに応答してシフトすることができる。いくつかの場合には、少なくとも１つの第２の画像のシフト表示は、表示画面上の少なくとも１つの第２の画像の水平シフト、垂直シフト、パン、チルト、ズームイン、又はズームアウト等のうちの少なくとも１つを含むことができる。カメラ１３０は、ユーザ１２５が表示画面上で少なくとも１つの第２の画像のシフト表示を見ているときに、ユーザ１２５の少なくとも一方の眼の運動を追跡することができる。コンピューティングシステムは、ユーザ１２５の少なくとも一方の眼の追跡された運動、第１のサンプルの光学ビューの特定の領域に対応する少なくとも１つの第２の画像の識別された少なくとも１つの特定の部分、又は表示画面上の少なくとも１つの第２の画像の水平シフト、垂直シフト、パン、チルト、ズームイン、若しくはズームアウト等のうちの少なくとも１つのうちの１つ以上に少なくとも部分的に基づいて、ユーザ１２５の少なくとも一方の眼の追跡された運動を表示画面上の少なくとも１つの第２の画像のシフト表示と照合することができる。ユーザがディスプレイデバイス１２０の表示画面上の少なくとも１つの第２の画像のシフト表示を見ているときに、カメラ１３０を使用する代わりに視線追跡デバイスを使用して、追加のアテンションデータを収集することができる。
或いは、顕微鏡１１５は、ユーザ１２５の少なくとも一方の眼が観察しているときに介する接眼レンズ１８０に第１のサンプル（例えば、サンプル１７０等）の光学ビューを投影することができる。ＦＯＶカメラ１７５は、第１のサンプルの光学ビューの少なくとも１つの第２の画像をキャプチャすることができる。いくつかの場合には、ユーザ１２５の少なくとも一方の眼の少なくとも１つの第１の画像をキャプチャすることは、ユーザ１２５が接眼レンズ１８０を通して第１のサンプルの光学ビューを見ているときに、視線カメラ（gaze camera）１８５を用いて、ユーザ１２５の少なくとも一方の眼の少なくとも１つの第１の画像をキャプチャすることを含むことができる。第１のサンプルの光学ビューの特定の領域に対応する少なくとも１つの第２の画像の少なくとも１つの特定の部分を識別することは、コンピューティングシステムを用いて、第１のサンプルの光学ビューの特定の領域に対応する、接眼レンズ１８０を通して観察されている少なくとも１つの第２の画像の少なくとも１つの特定の部分を識別することを含むことができる。第１のサンプルの光学ビューの特定の領域に対応する少なくとも１つの第２の画像の識別された少なくとも１つの特定の部分を覆う、少なくとも１つの第２の画像における少なくとも１つの強調表示フィールドを生成することは、コンピューティングシステムを用いて、第１のサンプルの光学ビューの特定の領域に対応する、接眼レンズ１８０を通して観察されている少なくとも１つの第２の画像の識別された少なくとも１つの特定の部分と重なる少なくとも１つの強調表示フィールドを生成することを含むことができる。コンピューティングシステムは、投影デバイス１９０を使用して、生成された少なくとも１つの強調表示フィールドを、第１のサンプルの光学ビューの特定の領域に対応する、接眼レンズ１８０を通して観察されている少なくとも１つの第２の画像の識別された少なくとも１つの特定の部分と重なるように投影することができる。代替又は追加として、コンピューティングシステムは、第１のサンプルの光学ビューの特定の領域に対応する少なくとも１つの第２の画像の識別された少なくとも１つの特定の部分を覆う、生成された少なくとも１つの強調表示フィールドとともに、少なくとも１つの第２の画像を表示画面（例えば、ディスプレイデバイス１２０の表示画面等）上に表示することができる。
いくつかの場合には、ＦＯＶカメラ１７５は、赤外線（「ＩＲ」）カメラ、後方反射型ＩＲカメラ、可視色カメラ、光源、又はロケーションフォトダイオード等のうちの１つとすることができる。いくつかの場合には、顕微鏡は、限定ではなく、接眼レンズ１８０を通して観察される第１のサンプルの光学ビュー、接眼レンズ１８０を通して観察されるとともに、ＦＯＶカメラ１７５によって少なくとも１つの第１の画像としてキャプチャされるユーザ１２５の少なくとも一方の眼の光学ビュー、又は生成された少なくとも１つの強調表示フィールドをユーザ１２５の少なくとも一方の眼に接眼レンズ１８０を通して投影したもの（投影デバイス１９０が使用されるか又は存在する場合）等のうちの少なくとも１つを反射するか又は通過させる複数のミラー、複数のダイクロイックミラー、又は複数のハーフミラーのうちの２つ以上を備えることができる。
いくつかの実施形態によれば、接眼レンズ１８０への第１のサンプルの光学ビューの投影は、第１のサンプルを含む顕微鏡スライドを載置した顕微鏡ステージ１６５ａの調整、対物レンズ若しくはズームレンズ１６５ｆの交換、又は接眼レンズ１８０の焦点の調整等のうちの少なくとも１つによってシフトすることができる。カメラ１３０又は１８５は、ユーザ１２５が接眼レンズ１８０への第１のサンプルの光学ビューのシフト投影を見ているときに、ユーザ１２５の少なくとも一方の眼の運動を追跡することができる。コンピューティングシステムは、ユーザ１２５の少なくとも一方の眼の追跡された運動、第１のサンプルの光学ビューの特定の領域に対応する少なくとも１つの第２の画像の識別された少なくとも１つの特定の部分、又は第１のサンプルを含む顕微鏡スライドを載置した顕微鏡ステージ１６５ａの調整、対物レンズ若しくはズームレンズ１６５ｆの交換、若しくは接眼レンズ１８０の焦点の調整等のうちの少なくとも１つのうちの１つ以上に少なくとも部分的に基づいて、ユーザ１２５の少なくとも一方の眼の追跡された運動を、接眼レンズ１８０への第１のサンプルの光学ビューのシフト投影と照合することができる。
代替又は追加として、１つ以上のオーディオセンサ１３５は、ユーザ１２５が第１のサンプルの光学ビューを見ているときに、ユーザ１２５からの１つ以上の音声メモをキャプチャすることができる。コンピューティングシステムは、ユーザ１２５からキャプチャされた１つ以上の音声メモを、第１のサンプルの光学ビューの少なくとも１つの第２の画像とともにマッピングして、キャプチャされた１つ以上の音声メモを第１のサンプルの光学ビューの少なくとも１つの第２の画像と照合することができる。
いくつかの実施形態によれば、コンピューティングシステムは、ユーザによって提供される結果データを受信することができる。この結果データは、第１のサンプルの診断、第１のサンプルの病理学スコア、又は第１のサンプルの少なくとも複数の部分に対応する識別データのセットのうちの少なくとも１つを含む。コンピューティングシステムは、ユーザの少なくとも一方の眼のキャプチャされた少なくとも１つの第１の画像及び第１のサンプルの光学ビューのキャプチャされた少なくとも１つの第２の画像の解析、又は、収集されたアテンションデータと受信された結果データとの共同解析のうちの少なくとも一方に少なくとも部分的に基づいて、ＡＩシステム１０５ｃ（一般に、限定ではなく、ニューラルネットワーク、畳み込みニューラルネットワーク（「ＣＮＮ」）、学習アルゴリズムベースのシステム、又は機械学習システム等のうちの少なくとも１つを含むことができる）をトレーニングして、予測値を生成するのに使用されるモデルを生成することができる。いくつかの実施形態において、予測値は、予測臨床結果又は予測アテンションデータ等のうちの少なくとも１つを含むことができるが、これらに限定されるものではない。
一態様において、コンピューティングシステムは、ユーザが顕微鏡の接眼レンズを通して第１のサンプルの光学ビューを見ているときに、第１のカメラによってキャプチャされたユーザの少なくとも一方の眼の少なくとも１つの第１の画像を受信することができ、第２のカメラによってキャプチャされた第１のサンプルの光学ビューの少なくとも１つの第２の画像を受信することができ、少なくとも１つの第１の画像及び少なくとも１つの第２の画像を解析して、ユーザの少なくとも一方の眼が第１のサンプルの光学ビューの特定の領域にフォーカスしているか否かを判断することができ、この解析に基づいてユーザのアテンションを追跡することでき、この追跡に基づいてアテンションデータを収集することができる。
いくつかの態様において、準弱（semi-weak）アノテーションデータ収集システム（システム１００等）は、病理学者のルーチンワークフロー中に、ワークフローを中断することも変更することもなく、病理学者の視覚的アテンションに関する情報を集めることができる。ここで、アノテーションは、各ロケーションについての具体的な決定ではなく或る決定を行っている間の病理学者のアテンションしか指定しないという意味で「弱（weak）」と呼ばれる。弱教師あり方法（weakly supervised method）（１つ以上のスコア又は分類が、空間情報を伴わずに顕微鏡スライドに割り当てられる）は、完全教師あり方法（fully supervised method）（全てのピクセルが画像においてアノテートされる）の現行技術水準の性能に匹敵する精度を提供することが示されている。病理学者が臨床例を調査及び類別している間、病理学者の視覚的アテンションを追跡することによって、システムは、様々な実施形態によれば、例えば、腫瘍の位置特定及び分類のアルゴリズムの開発に使用することができる莫大な量の価値のあるアノテーションデータを収集することができる。
いくつかの実施形態において、類別プラットフォームに応じて、病理学スライドスコアリング中に病理学者の関心領域（「ＲＯＩ」（region of interests））をトレース（trace）及び収集する２つのモダリティ、すなわち、（１）ディスプレイデバイスモダリティ（display device modality）；及び／又は（２）顕微鏡モダリティ（microscope modality）（つまり、（１）ディスプレイデバイスモダリティ、又は（２）顕微鏡モダリティ、あるいはそれらの両方）を提供することができる。ディスプレイデバイスモダリティに関して、すなわち、病理学者がデジタルスライドを観察している間、顕微鏡スライドをスコアリングする場合に、デジタル病理学の弱アノテーション収集システムは、画面上のホールスライド画像（「ＷＳＩ」（whole slide image））を見ている間の病理学者の視線を追跡するアイトラッキングシステム（又は視線追跡カメラ等）を使用して実施することができる。加えて、ユーザがズームインする視野（「ＦＯＶ」）の座標（及びいくつかの場合にはサイズ及び倍率）及び継続時間が記憶される。視線追跡システムは、視線追跡カメラ（ジェットカラーマップ等によってアノテートされる）及びＷＳＩ ＦＯＶ（ＲＧＢ画像等として表示される）（図２Ｂ等に示されているようなもの）の双方からの情報を統合することができる。
顕微鏡モダリティに関して、すなわち、病理学者が顕微鏡を用いてスライドをスコアリングする場合に、デジタル病理学の弱アノテーション収集システムは、顕微鏡内に統合されたカスタムアイトラッキングシステムを使用して実施することができ、これは、病理学者の継続したワークフローを妨げることなく実施される（例えば、図３Ａ又は図３Ｃ等に図示）。視線システムは、病理学者が顕微鏡アイピース（又は接眼レンズ）を通してサンプルを連続して観察している間、デジタルカメラによって病理学者の眼からの後方反射された赤外線（「ＩＲ」）光源等を検出することによる病理学者の眼の動きの光追跡に基づくことができる。加えて、別のデジタルカメラを使用して、ユーザが病理学スライドを現在観察している視野（「ＦＯＶ」）をキャプチャすることができる。視線カメラ及びＦＯＶカメラの双方からの情報を統合する視線追跡ソフトウェアは、類別プロセスの間、ユーザによって観察されたＲＯＩを照合されたＦＯＶの上にオーバレイする。最後に、記録されたＦＯＶは、類別プロセス後にスキャンされるＷＳＩに位置合わせされ、視線ベースのインタラクションを通じてＷＳＩ上で類別している病理学者の位置特定を提供する。
いくつかの実施形態において、「弱」アノテーションをより一層強くするために、音声記録／認識能力を含めることができる。
システム１００（及びその構成要素）のこれらの機能及び他の機能が、図２～図５に関して以下でより詳細に説明される。さらに、様々な実施形態が、顕微鏡関連アプリケーションに関して本明細書で説明されるが、これらの様々な実施形態は、限定されるものではなく、「弱」アノテーションを使用することができる他の分野又は技術に適用可能でありえる。これらの他の分野又は技術には、オペレータが解決している間又は既定のタスク等を実行している間、視線を追跡して、製造プロセスにおける欠陥を位置特定すること、機能不良の機械又はシステムにおける欠陥を位置特定することが含まれるが、これらに限定されるものではない。
図２Ａ及び図２Ｂ（集合的に「図２」）は、様々な実施形態による、視線ベースの追跡を使用するアノテーションデータ収集の非限定的な例２００を示す概略図である。図２Ａは、ユーザの眼（複数の場合もある）が追跡及び画像キャプチャされている間、表示画面上に表示されているサンプルの画像を観察しているユーザの側面図を示している一方、図２Ｂは、図２ＡのＡ－Ａ方向に示されるように、表示画面上に表示されているサンプルの画像を示している。
図２Ａの非限定的な例２００を参照すると、コンピューティングシステム２０５（図１のコンピューティングシステム１０５ａ、リモートコンピューティングシステム１０５ｂ、及び／又はユーザデバイス（複数の場合もある）１４０等と同様のもの）は、第１のサンプルの画像又はビデオをディスプレイデバイス２１０（図１のディスプレイデバイス１２０等と同様のもの）の表示画面上に表示することができる。いくつかの場合には、第１のサンプルは、限定ではなく、１つ以上の特定の細胞、１つ以上の特定の組織、１つ以上の特定の構造、又は１つ以上の分子等のうちの少なくとも１つを含むことができる。いくつかの場合には、その画像又はビデオがディスプレイデバイス２１０の表示画面上に表示される第１のサンプルは、顕微鏡スライド、透明なサンプルカートリッジ、バイアル、チューブ、カプセル、フラスコ、ベッセル、レセプタクル、マイクロアレイ、又はマイクロ流体チップ等のうちの少なくとも１つの中に含めることができる。ユーザ２１５（図１のユーザ１２５等と同様の者）は、カメラ又は視線カメラ２２０（図１のカメラ１３０等と同様のもの）がユーザ２１５又はユーザ２１５の少なくとも一方の眼２３０の画像又はビデオをキャプチャしているとき、ディスプレイデバイス２１０の表示画面上に表示された第１のサンプルの画像又はビデオを観察することができる。いくつかの場合には、カメラ２２０は、視野（「ＦＯＶ」）２２５を有することができる一方、少なくとも一方の眼２３０は、ユーザの眼（複数の場合もある）２３０のレンズに垂直な軸の周りに約３６０度方向回転される角度２３５ａを規定する視野２３５を有することができる。ユーザが、ディスプレイデバイス２１０の表示画面上に表示された第１のサンプルの画像又はビデオを見ているとき、カメラ２２０の代わりに視線追跡デバイスを使用して、アテンションデータを収集することができる。
図２ＡにおけるＡ－Ａ方向で観察された図２Ｂを参照すると、ディスプレイデバイス２１０の表示画面２１０ａは、アノテーションデータ収集ユーザインタフェース（「ＵＩ」（user interface））２４０を表示することができる。このユーザインタフェースは、第１のサンプルの画像（複数の場合もある）又はビデオ（複数の場合もある）２４５を表示することができ、ユーザインタフェース入力又はアイコン（表示制御入力又はアイコン２４０ａ、オーディオアノテーション制御入力又はアイコン２４０ｂ等を含むが、これらに限定されるものではない）を提供することができる。いくつかの場合には、表示制御入力又はアイコン２４０ａは、限定ではなく、ズームイン、ズームアウト、ズームスクロールバー、フォーカスイン、フォーカスアウト、方向シフト制御（例えば、上方シフト、下方シフト、右方シフト、左方シフト、右上方シフト、左上方シフト、右下方シフト、左下方シフト等）、オートフォーカス、センタアウト若しくはセンタフォーカスアウト、カラーマップ効果オプション若しくは強調表示効果オプション、単一のスクリーンショット、又は複数のスクリーンショット等のうちの少なくとも１つを含むことができる。いくつかの場合には、オーディオアノテーション制御入力又はアイコン２４０ｂは、録音、再生若しくは一時停止、停止、ミュート、オーディオオン（audio on）、又はオーディオスクロールバー等のうちの少なくとも１つを含むことができるが、これらに限定されるものではない。図２Ｂにも、図２Ａのカメラ２２０が示されている。
動作中、カメラ２２０は、ユーザ２１５が、ディスプレイデバイス２１０等の表示画面２１０ａ上に表示された第１のサンプルの光学ビュー２４５を見ているときに、ユーザ２１５の少なくとも一方の眼２３０の少なくとも１つの第１の画像をキャプチャすることができる。コンピューティングシステム２０５は、ユーザ２１５の少なくとも一方の眼２３０のキャプチャされた少なくとも１つの第１の画像と、第１のサンプルの光学ビュー２４５の少なくとも１つの第２の画像とを解析して、ユーザ２１５の少なくとも一方の眼２３０が、ディスプレイデバイス２１０の表示画面２１０ａ上に表示された第１のサンプルの光学ビュー２４５の特定の領域にフォーカスしているか否かを判断することができる。ユーザが、ディスプレイデバイス２１０の表示画面上に表示された第１のサンプルの画像又はビデオを見ているときに、カメラ２２０の代わりに視線追跡デバイスを使用して、アテンションデータを収集することができる。ユーザ２１５の少なくとも一方の眼２３０がディスプレイデバイス２１０の表示画面２１０ａ上に表示された第１のサンプルの光学ビュー２４５の特定の領域にフォーカスしているとの判断に基づいて、又は、収集されたアテンションデータに基づいて、コンピューティングシステム２０５は、第１のサンプルの光学ビュー２４５の特定の領域に対応する、ディスプレイデバイス２１０の表示画面２１０ａ上に表示さる少なくとも１つの第２の画像の少なくとも１つの特定の部分を識別することができる。コンピューティングシステム２０５は、第１のサンプルの光学ビュー２４５の特定の領域に対応する少なくとも１つの第２の画像の識別された少なくとも１つの特定の部分を覆う、少なくとも１つの第２の画像における少なくとも１つの強調表示フィールド２５０を生成することができる。コンピューティングシステム２０５は、第１のサンプルの光学ビュー２４５の特定の領域に対応する少なくとも１つの第２の画像の識別された少なくとも１つの特定の部分を覆う生成された少なくとも１つの強調表示フィールド２５０とともに、少なくとも１つの第２の画像をディスプレイデバイス２１０の表示画面２１０ａ上に表示することができる。
いくつかの実施形態において、少なくとも１つの強調表示フィールド２５０はそれぞれ、限定ではなく、色、形状、又は強調表示効果等のうちの少なくとも１つを含むことができ、強調表示効果は、輪郭描写効果、シャドーイング効果、パターニング効果、ヒートマップ効果、又はジェットカラーマップ効果等のうちの少なくとも１つを含むことができるが、これらに限定されるものではない。いくつかの場合には、第１のサンプルの光学ビュー２４５の特定の領域に対応する少なくとも１つの第２の画像の識別された少なくとも１つの特定の部分は、限定ではなく、１つ以上の特定の細胞、１つ以上の特定の組織、１つ以上の特定の構造、又は１つ以上の分子等のうちの少なくとも１つを含むことができる。
いくつかの実施形態において、ディスプレイデバイス２１０の表示画面２１０ａ上の少なくとも１つの第２の画像の表示は、ユーザ２１５によるコマンド（口頭コマンド、キーストロークコマンド、ユーザインタフェースコマンド等であるか否かを問わない）に応答してシフトすることができる。いくつかの場合には、少なくとも１つの第２の画像のシフト表示は、限定ではなく、ディスプレイデバイス２１０の表示画面２１０ａ上の少なくとも１つの第２の画像の水平シフト、垂直シフト、パン、チルト、ズームイン、又はズームアウト等のうちの少なくとも１つを含むことができる。カメラ２２０は、ユーザ２１５がディスプレイデバイス２１０の表示画面２１０ａ上で少なくとも１つの第２の画像のシフト表示を見ているときに、ユーザ２１５の少なくとも一方の眼２３０の運動を追跡することができる。コンピューティングシステム２０５は、ユーザ２１５の少なくとも一方の眼２３０の追跡された運動、第１のサンプルの光学ビューの特定の領域に対応する少なくとも１つの第２の画像の識別された少なくとも１つの特定の部分、又は表示画面上の少なくとも１つの第２の画像の水平シフト、垂直シフト、パン、チルト、ズームイン、若しくはズームアウト等のうちの少なくとも１つのうちの１つ以上に少なくとも部分的に基づいて、ユーザ２１５の少なくとも一方の眼２３０の追跡された運動をディスプレイデバイス２１０の表示画面２１０ａ上の少なくとも１つの第２の画像のシフト表示と照合することができる。ユーザがディスプレイデバイス２１０の表示画面２１０ａ上の少なくとも１つの第２の画像のシフト表示を見ているときに、カメラ２２０を使用する代わりに視線追跡デバイスを使用して、追加のアテンションデータを収集することができる。
図３Ａ～図３Ｄ（集合的に「図３」）は、様々な実施形態による、視線ベースの追跡を使用するアノテーションデータ収集の様々な他の非限定的な例３００及び３００’を示す概略図である。図３Ａは、その接眼レンズが、ユーザがサンプルの画像を観察しているときに介する接眼レンズである顕微鏡の側面図を示している一方、図３Ｂは、図３ＡのＢ－Ｂ方向に示される、接眼レンズを通して投影されているサンプルの画像を示している。図３Ｃは、図３Ａに示される例３００の代替例である例３００’を示している一方、図３Ｄは、サンプルのアノテーション付き画像（複数の場合もある）又はアノテーション付きビデオ（複数の場合もある）が表示された表示画面を示している。
図３Ａの非限定的な例３００を参照すると、コンピューティングシステム３０５（図１のコンピューティングシステム１０５ａ、リモートコンピューティングシステム１０５ｂ、ユーザデバイス（複数の場合もある）１４０、及び／又はプロセッサ１５５等と同様のもの）は、顕微鏡３１０内に統合することもできるし（図示せず）、外部に存在するが顕微鏡３１０に通信結合することもでき（図３Ａに図示）、顕微鏡３１０の様々な動作を制御することができる。図３Ａに示すように、第１のサンプルを含む顕微鏡スライド３１５は、調整可能な顕微鏡ステージ３２０（例えば、図１の顕微鏡ステージ１６５ａ等と同様のＸＹステージ又はＸＹＺステージ等）上に位置決めすることができ、光源３２５（図１の光源１６５等と同様のもの）からの光は、ステージ３２０を通過し、顕微鏡スライド３１５を通過し、少なくとも１つの対物レンズ又はズームレンズ３３０（図１の対物レンズ又はズームレンズ（複数の場合もある）１６５ｆ等と同様のもの）のうちの１つを通過し、複数のミラー、ダイクロイックミラー、及び／又はハーフミラー３３５から反射されるか又はこれらのミラーを通過し、接眼レンズ３４０（図１の接眼レンズ１８０等と同様のもの）を通過して、ユーザの少なくとも一方の眼３４５に投影される。
顕微鏡３１０は、顕微鏡スライド３１５に含まれる第１のサンプルの画像（複数の場合もある）又はビデオ（複数の場合もある）を光ビーム３５５（中程度の濃さの網掛け太線３５５等として図３Ａに示されている）に沿ってキャプチャするのに使用することができる視野（「ＦＯＶ」）カメラ３５０（図１のＦＯＶカメラ１７５等と同様のもの）を備えることができる。光ビーム３５５は、光源３２５からステージ３２０を通過し、顕微鏡スライド３１５に含まれる第１のサンプルを通過し、少なくとも１つの対物レンズ又はズームレンズ３３０のうちの１つを通過し、ミラー、ダイクロイックミラー、及び／又はハーフミラー３３５ｂ及び３３５ｃから反射されてＦＯＶカメラ３５０に達することができる。換言すれば、ＦＯＶカメラ３５０は、光源３２５によって背面照明（backlit）される顕微鏡スライド３１５に含まれる第１のサンプルの画像（複数の場合もある）又はビデオ（複数の場合もある）を（光ビーム３５５に沿って）キャプチャすることができる。接眼レンズ３４０は、光源３２５によって投影される顕微鏡スライド３１５に含まれる第１のサンプルの投影画像（複数の場合もある）又は投影ビデオ（複数の場合もある）の光を収集することができる。光ビーム３５５は、光源３２５からステージ３２０を通過し、顕微鏡スライド３１５に含まれる第１のサンプルを通過し、少なくとも１つの対物レンズ又はズームレンズ３３０のうちの１つを通過し、ミラー３３５ｃから反射され、ハーフミラー３３５ｂを通過し、ミラー３３５ａから反射され、接眼レンズ３４０を通過してユーザの少なくとも一方の眼３４５に達することができる。換言すれば、ユーザは、光源３２５によって背面照明される顕微鏡スライド３１５に含まれる第１のサンプルの（光ビーム３５５に沿った）画像（複数の場合もある）又はビデオ（複数の場合もある）を観察することができる。
顕微鏡３１０は、光ビーム３６５（濃い網掛け太線３６５等として図３Ａに示されている）に沿ってユーザの少なくとも一方の眼３４５の画像（複数の場合もある）又はビデオ（複数の場合もある）をキャプチャするのに使用することができる視線カメラ３６０（図１の視線カメラ１８５等と同様のもの）を更に備えることができる。光ビーム３６５は、ユーザの少なくとも一方の眼３４５から接眼レンズ３４０を通過し、ミラー３３５ａ、ダイクロイックミラー３３５ｂ、及び／又はハーフミラー３３５ｄから反射されて視線カメラ３６０に達することができる。いくつかの実施形態によれば、視線カメラ３６０は、赤外線（「ＩＲ」）カメラ、後方反射型ＩＲカメラ、可視色カメラ、光源、又はロケーションフォトダイオード等のうちの１つを含むことができるが、これらに限定されるものではない。
動作中、顕微鏡３１０は、ユーザの少なくとも一方の眼３４５が観察しているときに介する接眼レンズ３４０に第１のサンプルの光学ビューを投影することができる。視線カメラ３６０は、ユーザが顕微鏡３１０の接眼レンズ３４０を通して観察される第１のサンプルの光学ビューを見ているときに、ユーザの少なくとも一方の眼３４５の少なくとも１つの第１の画像をキャプチャすることができる。ＦＯＶカメラ３５０は、第１のサンプルの光学ビューの少なくとも１つの第２の画像をキャプチャすることができる。コンピューティングシステム３０５は、ユーザの少なくとも一方の眼３４５のキャプチャされた少なくとも１つの第１の画像と、第１のサンプルの光学ビューのキャプチャされた少なくとも１つの第２の画像とを解析して、ユーザの少なくとも一方の眼３４５が第１のサンプルの光学ビューの特定の領域にフォーカスしているか否かを判断することができる。ユーザの少なくとも一方の眼３４５が第１のサンプルの光学ビューの特定の領域にフォーカスしているとの判断に基づいて、コンピューティングシステム３０５は、第１のサンプルの光学ビューの特定の領域に対応する少なくとも１つの第２の画像の少なくとも１つの特定の部分を識別することができる。コンピューティングシステム３０５は、少なくとも１つの第２の画像の識別された少なくとも１つの特定の部分を含むアテンションデータを収集することができ、収集されたアテンションデータをデータベース（例えば、図１のデータベース（複数の場合もある）１１０ａ又は１１０ｂ等）に記憶することができる。いくつかの実施形態によれば、アテンションデータの収集は、ユーザが、顕微鏡を使用して第１のサンプルを診断している間において結果データを提供しているときに、ユーザに割り込むことも、ユーザの進行を遅らせることも、ユーザを妨害することもなく行うことができる。いくつかの場合には、収集されたアテンションデータは、第１のサンプルの光学ビューの少なくとも１つの特定の部分の１つ以上の座標ロケーション、ユーザが第１のサンプルの光学ビューの少なくとも１つの特定の部分にフォーカスしているアテンション継続時間、又はユーザが第１のサンプルの光学ビューの少なくとも１つの特定の部分にフォーカスしている間の第１のサンプルの光学ビューのズームレベル等のうちの少なくとも１つを含むことができるが、これらに限定されるものではない。いくつかの場合には、第１のサンプルの光学ビューの特定の領域に対応する少なくとも１つの第２の画像の識別された少なくとも１つの特定の部分は、限定ではなく、１つ以上の特定の細胞、１つ以上の特定の組織、１つ以上の特定の構造、又は１つ以上の分子等のうちの少なくとも１つを含むことができる。
いくつかの実施形態において、コンピューティングシステム３０５は、第１のサンプルの光学ビューの特定の領域に対応する少なくとも１つの第２の画像の識別された少なくとも１つの特定の部分と重なる、少なくとも１つの第２の画像における少なくとも１つの強調表示フィールドを生成することができる。いくつかの場合には、少なくとも１つの強調表示フィールドはそれぞれ、限定ではなく、色、形状、又は強調表示効果等のうちの少なくとも１つを含むことができ、強調表示効果は、輪郭描写効果、シャドーイング効果、パターニング効果、ヒートマップ効果、又はジェットカラーマップ効果等のうちの少なくとも１つを含むことができるが、これらに限定されるものではない。
いくつかの実施形態によれば、顕微鏡３１０は、生成された少なくとも１つの強調表示フィールドを、光ビーム３７５（薄い網掛け太線３７５等として図３Ａに示されている）に沿って接眼レンズ３４０を通してユーザの少なくとも一方の眼３４５に投影するのに使用することができる投影デバイス３７０（図１の投影デバイス１９０等と同様のもの）を更に備えることができる。光ビーム３７５は、投影デバイス３７０から進み、ミラー３３５ｅから反射され、ハーフミラー３３５ｄを通過し、ハーフミラー３３５ｂから反射され、ミラー３３５ａから反射され、接眼レンズ３４０を通過してユーザの少なくとも一方の眼３４５に達することができる。
図３Ｂは、図３ＡのＢ－Ｂ方向に沿って顕微鏡３１０の接眼レンズ３４０を通して観察される第１のサンプルの光学ビュー３８０を示している。光学ビュー３８０は、第１のサンプル３８５の少なくとも１つの第２の画像を含む。図３Ｂに示すように、光学ビュー３８０は、いくつかの実施形態において、ユーザの眼（複数の場合もある）がフォーカスしている第１のサンプル３８５の部分を強調表示する１つ以上の生成された強調表示フィールド３９０（この場合には、ジェットカラーマップ等によって描写又は具現化されている）を更に含むことができる。例えば、ジェットカラーマップの実施形態に関して、カラーマップの赤色領域は、眼のフォーカス又はアテンションの最も高い出現率又は最も長い継続時間を表すことができる一方、カラーマップの黄色領域又はオレンジ色領域は、眼のフォーカス又はアテンションの次に最も高い出現率又は次に最も長い継続時間を表すことができ、カラーマップの緑色領域は、眼のフォーカス又はアテンションのそれよりも低い出現率又は短い継続時間を表すことができ、カラーマップの青色領域又は紫色領域は、眼のフォーカス又はアテンションの最も低い出現率又は最も短い継続時間であるが、フォーカス又はアテンションが定まらないか又は走り読み状態等にある場合よりも統計的に高いものを表すことができる。
図３Ｃを参照すると、図３Ａの非限定的な例３００の顕微鏡３１０の代わりに、図３Ｃの非限定的な例３００’の顕微鏡３１０’は、投影デバイス３７０及びミラー３３５ｅを除外することができるが、それ以外は図３Ａの顕微鏡３１０と同様でありえる。
特に、コンピューティングシステム３０５（図１のコンピューティングシステム１０５ａ、リモートコンピューティングシステム１０５ｂ、ユーザデバイス（複数の場合もある）１４０、及び／又はプロセッサ１５５等と同様のもの）は、顕微鏡３１０’内に統合することもできるし（図示せず）、外部に存在するが顕微鏡３１０’に通信結合することもでき（図３Ｃに図示）、顕微鏡３１０’の様々な動作を制御することができる。図３Ｃに示すように、第１のサンプルを含む顕微鏡スライド３１５は、調整可能な顕微鏡ステージ３２０（例えば、図１の顕微鏡ステージ１６５ａ等と同様のＸＹステージ又はＸＹＺステージ等）上に位置決めすることができ、光源３２５（図１の光源１６５等と同様のもの）からの光は、ステージ３２０を通過し、顕微鏡スライド３１５を通過し、少なくとも１つの対物レンズ又はズームレンズ３３０（図１の対物レンズ又はズームレンズ（複数の場合もある）１６５ｆ等と同様のもの）のうちの１つを通過し、複数のミラー、ダイクロイックミラー、及び／又はハーフミラー３３５から反射されるか又はこれらのミラーを通過し、接眼レンズ３４０（図１の接眼レンズ１８０等と同様のもの）を通過して、ユーザの少なくとも一方の眼３４５に投影される。
顕微鏡３１０’は、顕微鏡スライド３１５に含まれる第１のサンプルの画像（複数の場合もある）又はビデオ（複数の場合もある）を光ビーム３５５（中程度の濃さの網掛け太線３５５等として図３Ｃに示されている）に沿ってキャプチャするのに使用することができるＦＯＶカメラ３５０（図１のＦＯＶカメラ１７５等と同様のもの）を備えることができる。光ビーム３５５は、光源３２５からステージ３２０を通過し、顕微鏡スライド３１５に含まれる第１のサンプルを通過し、少なくとも１つの対物レンズ又はズームレンズ３３０のうちの１つを通過し、ミラー、ダイクロイックミラー、及び／又はハーフミラー３３５ｂ及び３３５ｃから反射されてＦＯＶカメラ３５０に達することができる。換言すれば、ＦＯＶカメラ３５０は、光源３２５によって背面照明される顕微鏡スライド３１５に含まれる第１のサンプルの画像（複数の場合もある）又はビデオ（複数の場合もある）を（光ビーム３５５に沿って）キャプチャすることができる。接眼レンズ３４０は、光源３２５によって投影される顕微鏡スライド３１５に含まれる第１のサンプルの投影画像（複数の場合もある）又は投影ビデオ（複数の場合もある）の光を収集することができる。光ビーム３５５は、光源３２５からステージ３２０を通過し、顕微鏡スライド３１５に含まれる第１のサンプルを通過し、少なくとも１つの対物レンズ又はズームレンズ３３０のうちの１つを通過し、ミラー３３５ｃから反射され、ハーフミラー３３５ｂを通過し、ミラー３３５ａから反射され、接眼レンズ３４０を通過してユーザの少なくとも一方の眼３４５に達することができる。換言すれば、ユーザは、光源３２５によって背面照明される顕微鏡スライド３１５に含まれる第１のサンプルの（光ビーム３５５に沿った）画像（複数の場合もある）又はビデオ（複数の場合もある）を観察することができる。
顕微鏡３１０’は、光ビーム３６５（濃い網掛け太線３６５等として図３Ｃに示されている）に沿ってユーザの少なくとも一方の眼３４５の画像（複数の場合もある）又はビデオ（複数の場合もある）をキャプチャするのに使用することができる視線カメラ３６０（図１の視線カメラ１８５等と同様のもの）を更に備えることができる。光ビーム３６５は、ユーザの少なくとも一方の眼３４５から接眼レンズ３４０を通過し、ミラー３３５ａ、ダイクロイックミラー３３５ｂ、及び／又はハーフミラー３３５ｄ（つまり、ミラー３３５ａ、ダイクロイックミラー３３５ｂ、又はハーフミラー３３５ｄ、あるいはそれらの全て）から反射されて視線カメラ３６０に達することができる。いくつかの実施形態によれば、視線カメラ３６０は、赤外線（「ＩＲ」）カメラ、後方反射型ＩＲカメラ、可視色カメラ、光源、又はロケーションフォトダイオード等のうちの１つを含むことができるが、これらに限定されるものではない。
動作中、図３Ａの例３００と同様に、顕微鏡３１０は、ユーザの少なくとも一方の眼３４５が観察しているときに介する接眼レンズ３４０に第１のサンプルの光学ビューを投影することができる。視線カメラ３６０は、ユーザが顕微鏡３１０’の接眼レンズ３４０を通して観察される第１のサンプルの光学ビューを見ているときに、ユーザの少なくとも一方の眼３４５の少なくとも１つの第１の画像をキャプチャすることができる。ＦＯＶカメラ３５０は、第１のサンプルの光学ビューの少なくとも１つの第２の画像をキャプチャすることができる。コンピューティングシステム３０５は、ユーザの少なくとも一方の眼３４５のキャプチャされた少なくとも１つの第１の画像と、第１のサンプルの光学ビューのキャプチャされた少なくとも１つの第２の画像とを解析して、ユーザの少なくとも一方の眼３４５が第１のサンプルの光学ビューの特定の領域にフォーカスしているか否かを判断することができる。ユーザの少なくとも一方の眼３４５が第１のサンプルの光学ビューの特定の領域にフォーカスしているとの判断に基づいて、コンピューティングシステム３０５は、第１のサンプルの光学ビューの特定の領域に対応する少なくとも１つの第２の画像の少なくとも１つの特定の部分を識別することができる。コンピューティングシステム３０５は、少なくとも１つの第２の画像の識別された少なくとも１つの特定の部分を含むアテンションデータを収集することができ、収集されたアテンションデータをデータベース（例えば、図１のデータベース（複数の場合もある）１１０ａ又は１１０ｂ等）に記憶することができる。いくつかの実施形態によれば、アテンションデータの収集は、ユーザが、顕微鏡を使用して第１のサンプルを診断している間において結果データを提供しているときに、ユーザに割り込むことも、ユーザの進行を遅らせることも、ユーザを妨害することもなく行うことができる。いくつかの場合には、収集されたアテンションデータは、第１のサンプルの光学ビューの少なくとも１つの特定の部分の１つ以上の座標ロケーション、ユーザが第１のサンプルの光学ビューの少なくとも１つの特定の部分にフォーカスしているアテンション継続時間、又はユーザが第１のサンプルの光学ビューの少なくとも１つの特定の部分にフォーカスしている間の第１のサンプルの光学ビューのズームレベル等のうちの少なくとも１つを含むことができるが、これらに限定されるものではない。いくつかの場合には、第１のサンプルの光学ビューの特定の領域に対応する少なくとも１つの第２の画像の識別された少なくとも１つの特定の部分は、限定ではなく、１つ以上の特定の細胞、１つ以上の特定の組織、１つ以上の特定の構造、又は１つ以上の分子等のうちの少なくとも１つを含むことができる。
いくつかの実施形態において、コンピューティングシステム３０５は、第１のサンプルの光学ビューの特定の領域に対応する少なくとも１つの第２の画像の識別された少なくとも１つの特定の部分と重なる、少なくとも１つの第２の画像における少なくとも１つの強調表示フィールドを生成することができる。いくつかの場合には、少なくとも１つの強調表示フィールドはそれぞれ、限定ではなく、色、形状、又は強調表示効果等のうちの少なくとも１つを含むことができ、強調表示効果は、輪郭描写効果、シャドーイング効果、パターニング効果、ヒートマップ効果、又はジェットカラーマップ効果等のうちの少なくとも１つを含むことができるが、これらに限定されるものではない。
生成された少なくとも１つの強調表示フィールドが、ミラー、ダイクロイックミラー、及び／又はハーフミラー３３５を介してユーザの少なくとも一方の眼３４５に接眼レンズ３４０を通して投影される図３Ａの例３００と異なり、図３Ｃの例３００’のコンピューティングシステム３０５は、第１のサンプル３８５の画像（複数の場合もある）又はビデオ（複数の場合もある）（図３Ｄに図示）をディスプレイデバイス３９５の表示画面３９５ａ上に表示することができる。図３Ｂの例３００と同様に、図３Ｄの例３００’の光学ビューは、ユーザの眼（複数の場合もある）がフォーカスしている第１のサンプル３８５の部分を強調表示する１つ以上の生成された強調表示フィールド３９０（この場合には、ジェットカラーマップ等によって描写又は具現化されている）を更に含むことができる。例えば、ジェットカラーマップの実施形態に関して、カラーマップの赤色領域は、眼のフォーカス又はアテンションの最も高い出現率又は最も長い継続時間を表すことができる一方、カラーマップの黄色領域又はオレンジ色領域は、眼のフォーカス又はアテンションの次に最も高い出現率又は次に最も長い継続時間を表すことができ、カラーマップの緑色領域は、眼のフォーカス又はアテンションのそれよりも低い出現率又は短い継続時間を表すことができ、カラーマップの青色領域又は紫色領域は、眼のフォーカス又はアテンションの最も低い出現率又は最も短い継続時間であるが、フォーカス又はアテンションが定まらないか又は走り読み状態等にある場合よりも統計的に高いものを表すことができる。
図２Ｂのディスプレイデバイス２１０の表示画面２１０ａ上の第１のサンプル２４５の画像（複数の場合もある）又はビデオ（複数の場合もある）の表示と同様に、第１のサンプル３８５の画像（複数の場合もある）又はビデオ（複数の場合もある）は、ディスプレイデバイス３９５の表示画面３９５ａ上に表示されるアノテーションデータ収集ユーザインタフェース（「ＵＩ」）３８０’内に表示することができる。図２Ｂの例と同様に、図３Ｄのアノテーションデータ収集ＵＩ３８０’は、ユーザインタフェース入力又はアイコン（表示制御入力又はアイコン３８０ａ’、オーディオアノテーション制御入力又はアイコン３８０ｂ’等を含むが、これらに限定されるものではない）を提供することができる。いくつかの場合には、表示制御入力又はアイコン３８０ａ’は、限定ではなく、ズームイン、ズームアウト、ズームスクロールバー、フォーカスイン、フォーカスアウト、方向シフト制御（例えば、上方シフト、下方シフト、右方シフト、左方シフト、右上方シフト、左上方シフト、右下方シフト、左下方シフト等）、オートフォーカス、センタアウト若しくはセンタフォーカスアウト、カラーマップ効果オプション若しくは強調表示効果オプション、単一のスクリーンショット、又は複数のスクリーンショット等のうちの少なくとも１つを含むことができる。いくつかの場合には、オーディオアノテーション制御入力又はアイコン３８０ｂ’は、録音、再生若しくは一時停止、停止、ミュート、オーディオオン、又はオーディオスクロールバー等のうちの少なくとも１つを含むことができるが、これらに限定されるものではない。
いくつかの実施形態において、図３Ｄのディスプレイデバイス３９５の表示画面３９５ａ上の第１のサンプル３８５の画像（複数の場合もある）又はビデオ（複数の場合もある）の表示は、図３Ｂの顕微鏡３１０の接眼レンズ３４０を通して観察される第１のサンプル３８５の光学ビュー３８０に加えることができる。
図４Ａ～図４Ｄ（集合的に「図４」）は、様々な実施形態による、視線ベースの追跡を使用するアノテーションデータ収集を実施する方法４００を示すフロー図である。図４Ａの方法４００は、円形マーカ「Ａ」の後に続く図４Ｂに継続し、図４Ａから、円形マーカ「Ｂ」の後に続く図４Ｃに継続する。図４Ｂの方法４００は、円形マーカ「Ｃ」の後に続く図４Ｃに継続する。
これらの技法及び手順は、例示を目的として或る特定の順序で図示及び／又は説明されるが、或る特定の手順は、様々な実施形態の範囲内で並べ替えることができ及び／又は省略することができることが理解されるべきである。その上、図４によって示される方法４００は、図１、図２、及び図３のそれぞれのシステム、例、又は実施形態１００、２００、及び３００（又はそれらの構成要素）によって又はそれらを用いて実施することができるが（いくつかの場合には、システム、例、又は実施形態１００、２００、及び３００について以下で説明される）、そのような方法は、任意の適したハードウェア（又はソフトウェア）の実施態様を使用して実施することもできる。同様に、図１、図２、及び図３のそれぞれのシステム、例、又は実施形態１００、２００、及び３００（又はそれらの構成要素）のそれぞれは、（例えば、コンピュータ可読媒体上で具現化された命令を実行することによって）図４によって示される方法４００に従って動作することができるが、図１、図２、及び図３のシステム、例、又は実施形態１００、２００、及び３００はそれぞれ、他の動作モードに従って動作することもでき及び／又は他の適した手順を実行することもできる。
図４Ａの非限定的な実施形態において、方法４００は、ブロック４０５において、顕微鏡を用いて、ユーザの少なくとも一方の眼が観察しているときに介する接眼レンズに第１のサンプルの光学ビューを投影することを含むことができる。いくつかの実施形態において、第１のサンプルは、顕微鏡スライド、透明なサンプルカートリッジ、バイアル、チューブ、カプセル、フラスコ、ベッセル、レセプタクル、マイクロアレイ、又はマイクロ流体チップ等のうちの少なくとも１つの中に含めることができる。いくつかの実施形態によれば、顕微鏡は、限定ではなく、接眼レンズを通して観察される第１のサンプルの光学ビュー、又は、接眼レンズを通して観察されるとともに第１のカメラによって少なくとも１つの第１の画像としてキャプチャされるユーザの少なくとも一方の眼の光学ビューのうちの少なくとも一方を反射するか又は通過させる複数のミラー、複数のダイクロイックミラー、又は複数のハーフミラー等のうちの２つ以上を備えることができる。
方法４００は、ユーザが接眼レンズを通して第１のサンプルの光学ビューを見ているときに、第１のカメラを用いて、ユーザの少なくとも一方の眼の少なくとも１つの第１の画像をキャプチャする（ブロック４１０）ことと、第２のカメラを用いて、第１のサンプルの光学ビューの少なくとも１つの第２の画像をキャプチャする（ブロック４１５）こととを更に含むことができる。
任意選択のブロック４２０において、方法４００は、第１のカメラを用いて、ユーザの少なくとも一方の眼の運動を追跡することを含むことができる。方法４００は、任意選択のブロック４２５において、コンピューティングシステムを用いて、少なくとも１つの第２の画像の識別された少なくとも１つの特定の部分の１つ以上の座標ロケーション、ユーザが光学ビューの特定の領域にフォーカスしているアテンション継続時間、又はユーザが光学ビューの特定の領域にフォーカスしている間の第１のサンプルの光学ビューのズームレベル等のうちの少なくとも１つを同時に追跡することを更に含むことができる。いくつかの場合には、第１のカメラは、赤外線（「ＩＲ」）カメラ、後方反射型ＩＲカメラ、可視色カメラ、光源、又はロケーションフォトダイオード等のうちの１つを含むことができるが、これらに限定されるものではない。
方法４００は、コンピューティングシステムを用いて、ユーザの少なくとも一方の眼のキャプチャされた少なくとも１つの第１の画像と、第１のサンプルの光学ビューのキャプチャされた少なくとも１つの第２の画像とを解析して、ユーザの少なくとも一方の眼が第１のサンプルの光学ビューの特定の領域にフォーカスしているか否かを判断する（ブロック４３０）ことと、ユーザの少なくとも一方の眼が第１のサンプルの光学ビューの特定の領域にフォーカスしているとの判断に基づいて、コンピューティングシステムを用いて、第１のサンプルの光学ビューの特定の領域に対応する、接眼レンズを通して観察される少なくとも１つの第２の画像の少なくとも１つの特定の部分を識別する（ブロック４３５）こととを更に含むことができる。いくつかの実施形態によれば、第１のサンプルの光学ビューの特定の領域に対応する少なくとも１つの第２の画像の識別された少なくとも１つの特定の部分は、限定ではなく、１つ以上の特定の細胞、１つ以上の特定の組織、１つ以上の特定の構造、又は１つ以上の分子等のうちの少なくとも１つを含むことができる。いくつかの実施形態において、少なくとも１つの第２の画像の少なくとも１つの特定の部分を識別することは、コンピューティングシステムを用いて、少なくとも１つの第２の画像の識別された少なくとも１つの特定の部分に対応する光学ビューの少なくとも１つの第２の画像内の座標ロケーションを求めることを含むことができる。
方法４００は、ブロック４４０において、コンピューティングシステムを用いて、少なくとも１つの第２の画像の識別された少なくとも１つの特定の部分を含むアテンションデータを収集することを含むことができる。ブロック４４５において、方法４００は、収集されたアテンションデータをデータベースに記憶することを含むことができる。方法４００は、円形マーカ「Ａ」の後に続く図４Ｂの任意選択のブロック４５０におけるプロセスを継続することもできるし、円形マーカ「Ｂ」の後に続く図４Ｃのブロック４６０におけるプロセスを継続することができる。
図４Ｂ（円形マーカ「Ａ」の後に続く）の任意選択のブロック４５０において、方法４００は、ユーザが第１のサンプルの光学ビューを見ているときに、オーディオセンサを用いて、ユーザからの１つ以上の音声メモをキャプチャすることを含むことができる。方法４００は、コンピューティングシステムを用いて、ユーザからキャプチャされた１つ以上の音声メモを第１のサンプルの光学ビューの少なくとも１つの第２の画像とともにマッピングして、キャプチャされた１つ以上の音声メモを第１のサンプルの光学ビューの少なくとも１つの第２の画像と照合する（任意選択のブロック４５５）ことを更に含むことができる。方法４００は、円形マーカ「Ｃ」の後に続く図４Ｃのブロック４６５におけるプロセスを継続することができる。
代替又は追加として、図４Ｃ（円形マーカ「Ｂ」の後に続く）のブロック４６０において、方法４００は、コンピューティングシステムを用いて、ユーザによって提供される結果データを受信することを含むことができ、この結果データは、第１のサンプルの診断、第１のサンプルの病理学スコア、又は第１のサンプルの少なくとも複数の部分に対応する識別データのセットのうちの少なくとも１つを含む。方法４００は、ブロック４６５において、ユーザの少なくとも一方の眼のキャプチャされた少なくとも１つの第１の画像及び第１のサンプルの光学ビューのキャプチャされた少なくとも１つの第２の画像（及び、いくつかの場合には、キャプチャされた少なくとも１つの第２の画像にマッピングされるキャプチャされた音声メモ）の解析、又は、収集されたアテンションデータと受信された結果データとの共同解析のうちの少なくとも一方に少なくとも部分的に基づいて、ニューラルネットワーク、畳み込みニューラルネットワーク（「ＣＮＮ」）、人工知能（「ＡＩ」）システム、又は機械学習システムのうちの少なくとも１つをトレーニングして、予測値を生成するのに使用されるモデルを生成することを更に含むことができる。いくつかの実施形態において、予測値は、限定ではなく、予測臨床結果又は予測アテンションデータ等のうちの少なくとも１つを含むことができる。いくつかの実施形態によれば、アテンションデータの収集は、ユーザが、顕微鏡を使用して第１のサンプルを診断している間において結果データを提供しているときに、ユーザに割り込むことも、ユーザの進行を遅らせることも、ユーザを妨害することもなく行うことができる。
図４Ｄを参照すると、ユーザの少なくとも一方の眼が第１のサンプルの光学ビューの特定の領域にフォーカスしているか否かを判断する（ブロック４３０）ことは、ブロック４７０において、少なくとも１つの第２の画像の識別された少なくとも１つの特定の部分の１つ以上の座標ロケーション（ブロック４７０ａ）、ユーザが光学ビューの特定の領域にフォーカスしているアテンション継続時間（ブロック４７０ｂ）、又はユーザが光学ビューの特定の領域にフォーカスしている間の第１のサンプルの光学ビューのズームレベル（ブロック４７０ｃ）のうちの少なくとも１つに少なくとも部分的に基づいて、ユーザの少なくとも一方の眼が第１のサンプルの光学ビューの特定の領域にフォーカスしているか否かを判断することを含むことができる。
図５Ａ～図５Ｄ（集合的に「図５」）は、様々な実施形態による、視線ベースの追跡を使用するアノテーションデータ収集を実施する方法５００を示すフロー図である。図５Ｂの方法５００は、円形マーカ「Ａ」の後に続く図５Ｃ又は図５Ｄに継続し、図５Ｃ又は図５Ｄから、円形マーカ「Ｂ」の後に続く図５Ａに戻る。
これらの技法及び手順は、例示を目的として或る特定の順序で図示及び／又は説明されるが、或る特定の手順は、様々な実施形態の範囲内で並べ替えることができ及び／又は省略することができることが理解されるべきである。その上、図５によって示される方法５００は、図１、図２、及び図３のそれぞれのシステム、例、又は実施形態１００、２００、及び３００（又はそれらの構成要素）によって又はそれらを用いて実施することができるが（いくつかの場合には、システム、例、又は実施形態１００、２００、及び３００について以下で説明される）、そのような方法は、任意の適したハードウェア（又はソフトウェア）の実施態様を使用して実施することもできる。同様に、図１、図２、及び図３のそれぞれのシステム、例、又は実施形態１００、２００、及び３００（又はそれらの構成要素）のそれぞれは、（例えば、コンピュータ可読媒体上で具現化された命令を実行することによって）図５によって示される方法５００に従って動作することができるが、図１、図２、及び図３のシステム、例、又は実施形態１００、２００、及び３００はそれぞれ、他の動作モードに従って動作することもでき及び／又は他の適した手順を実行することもできる。
図５Ａの非限定的な実施形態を参照すると、方法５００は、ブロック５０５において、コンピューティングシステムを用いて、第１のサンプルの光学ビューを見ているユーザに対応する収集されたアテンションデータを受信することを含むことができる。ブロック５１０において、方法５００は、コンピューティングシステムを用いて、ユーザによって提供される結果データを受信することを含むことができ、この結果データは、第１のサンプルの診断、第１のサンプルの病理学スコア、又は第１のサンプルの少なくとも複数の部分に対応する識別データのセットのうちの少なくとも１つを含む。方法５００は、ブロック５１５において、収集されたアテンションデータと受信された結果データとの共同解析に少なくとも部分的に基づいて、ニューラルネットワーク、畳み込みニューラルネットワーク（「ＣＮＮ」）、人工知能（「ＡＩ」）システム、又は機械学習システムのうちの少なくとも１つをトレーニングして、予測値を生成するのに使用されるモデルを生成することを更に含むことができる。
いくつかの実施形態において、第１のサンプルは、顕微鏡スライド、透明なサンプルカートリッジ、バイアル、チューブ、カプセル、フラスコ、ベッセル、レセプタクル、マイクロアレイ、又はマイクロ流体チップ等のうちの少なくとも１つの中に含めることができる。いくつかの実施形態によれば、予測値は、限定ではなく、予測臨床結果又は予測アテンションデータ等のうちの少なくとも１つを含むことができる。
図５Ｂを参照すると、方法５００は、視線追跡デバイスを用いて、アテンションデータを追跡する（ブロック５２０）ことと、コンピューティングシステムを用いて、第１のサンプルの光学ビューの少なくとも１つの第２の画像の識別された少なくとも１つの特定の部分の１つ以上の座標ロケーション、ユーザが光学ビューの特定の領域にフォーカスしているアテンション継続時間、又はユーザが光学ビューの特定の領域にフォーカスしている間の第１のサンプルの光学ビューのズームレベルのうちの少なくとも１つを同時に追跡する（ブロック５２５）こととを更に含むことができる。
いくつかの場合には、方法５００は、ユーザが第１のサンプルの光学ビューを見ているときに、オーディオセンサを用いて、ユーザからの１つ以上の音声メモをキャプチャする（任意選択のブロック５３０）ことと、コンピューティングシステムを用いて、ユーザからキャプチャされた１つ以上の音声メモを第１のサンプルの光学ビューの少なくとも１つの第３の画像とともにマッピングして、キャプチャされた１つ以上の音声メモを第１のサンプルの光学ビューの少なくとも１つの第３の画像と照合する（任意選択のブロック５３５）こととを更に含むことができる。方法５００は、円形マーカ「Ａ」の後に続く図５Ｃのブロック５４０におけるプロセ又は図５Ｄのブロック５４５におけるプロセスを継続することができる。
図５Ｃ（円形マーカ「Ａ」の後に続く）のブロック５４０において、方法５００は、ユーザが顕微鏡の接眼レンズを通して第１のサンプルの光学ビューを見ているときに、第１のカメラによってキャプチャされるユーザの少なくとも一方の眼の少なくとも１つの第１の画像に基づいて、アテンションデータを収集することを含むことができる。いくつかの実施形態において、顕微鏡は、限定ではなく、接眼レンズを通して観察される第１のサンプルの光学ビュー、又は、接眼レンズを通して観察されるとともに第１のカメラによって少なくとも１つの第１の画像としてキャプチャされるユーザの少なくとも一方の眼の光学ビューのうちの少なくとも一方を反射するか又は通過させる複数のミラー、複数のダイクロイックミラー、又は複数のハーフミラー等のうちの２つ以上を備えることができる。方法５００は、円形マーカ「Ｂ」の後に続く図５Ａのブロック５０５におけるプロセスに戻ることができる。
或いは、図５Ｄ（円形マーカ「Ａ」の後に続く）のブロック５４５において、方法５００は、ユーザが、表示画面上に表示された第１のサンプルの光学ビューの第１の画像を見ているときに、視線追跡デバイスを使用してアテンションデータを収集することを含むことができる。
いくつかの実施形態によれば、アテンションデータの収集は、ユーザが、顕微鏡を使用して第１のサンプルを診断している間、又は、表示画面上に表示されている第１のサンプルの画像を診断している間のいずれかにおいて結果データを提供しているときに、ユーザに割り込むことも、ユーザの進行を遅らせることも、ユーザを妨害することもなく行うことができる。いくつかの実施形態において、収集されたアテンションデータは、第１のサンプルの光学ビューの少なくとも１つの特定の部分の１つ以上の座標ロケーション、ユーザが第１のサンプルの光学ビューの少なくとも１つの特定の部分にフォーカスしているアテンション継続時間、又はユーザが第１のサンプルの光学ビューの少なくとも１つの特定の部分にフォーカスしている間の第１のサンプルの光学ビューのズームレベル等のうちの少なくとも１つを含むことができるが、これらに限定されるものではない。
単なる例として、いくつかの場合には、方法５００は、コンピューティングシステムを用いて、第１のサンプルの光学ビューの特定の領域に対応する表示画面上に表示された少なくとも１つの第１の画像の識別された少なくとも１つの特定の部分と重なる少なくとも１つの強調表示フィールドを生成する（任意選択のブロック５５０）ことと、コンピューティングシステムを用いて、収集されたアテンションデータに対応する表示画面上に表示される少なくとも１つの第１の画像の識別された少なくとも１つの特定の部分と重なるように、生成された少なくとも１つの強調表示フィールドを表示画面上に表示する（任意選択のブロック５５５）ことと、ユーザが表示画面上に表示された第１のサンプルの光学ビューの第１の画像を見ているときに、視線追跡デバイスを用いて、アテンションデータを追跡する（任意選択のブロック５６０）ことと、コンピューティングシステムを用いて、第１のサンプルの光学ビューの少なくとも１つの特定の部分の１つ以上の座標ロケーション、ユーザが第１のサンプルの光学ビューの少なくとも１つの特定の部分にフォーカスしているアテンション継続時間、又はユーザが第１のサンプルの光学ビューの少なくとも１つの特定の部分にフォーカスしている間の第１のサンプルの光学ビューのズームレベルのうちの少なくとも１つに少なくとも部分的に基づいて、追跡されたアテンションデータを、表示画面上に表示された第１のサンプルの光学ビューの少なくとも１つの第１の画像の表示と照合する（任意選択のブロック５６５）こととを更に含むことができる。いくつかの場合には、少なくとも１つの強調表示フィールドはそれぞれ、色、形状、又は強調表示効果等のうちの少なくとも１つを含むことができるが、これらに限定されるものではない。いくつかの場合には、強調表示効果は、限定ではなく、輪郭描写効果、シャドーイング効果、パターニング効果、ヒートマップ効果、又はジェットカラーマップ効果等のうちの少なくとも１つを含むことができる。
方法５００は、円形マーカ「Ｂ」の後に続く図５Ａのブロック５０５におけるプロセスに戻ることができる。
図６は、様々な実施形態による、一例示的なコンピュータ又はシステムハードウェアのアーキテクチャを示すブロック図である。図６は、本明細書に説明されるような様々な他の実施形態によって提供される方法を実行することができ、及び／又は、上記で説明したようなコンピュータ又はハードウェアシステム（すなわち、コンピューティングシステム１０５ａ、１０５ｂ、２０５、及び３０５、顕微鏡１１５、３１０、及び３１０’、ディスプレイデバイス１２０、２１０、及び３９５、並びにユーザデバイス（複数の場合もある）１４０等）の機能を実行することができるサービスプロバイダシステムハードウェアのコンピュータシステム６００の１つの実施形態の概略説明図を提供する。図６は、様々な構成要素の一般化された説明図の提供を意味するものにすぎず、各構成要素の１つ以上が適宜利用される場合がある（又はいずれも利用されない場合がある）ことに留意されたい。したがって、図６は、個々のシステム要素を相対的に分離された形式又は相対的により統合された形式でどのように実施することができるのかを広く示している。
コンピュータ又はハードウェアシステム６００は、図１～図５に関して上記で説明したコンピュータ又はハードウェアシステム（すなわち、コンピューティングシステム１０５ａ、１０５ｂ、２０５、及び３０５、顕微鏡１１５、３１０、及び３１０’、ディスプレイデバイス１２０、２１０、及び３９５、並びにユーザデバイス（複数の場合もある）１４０等）の一実施形態を表すことができ、バス６０５を介して電気的に結合することができる（又はそれ以外に適宜通信することができる）ハードウェア要素を備えるものが示されている。ハードウェア要素は、限定ではなく、１つ以上の汎用プロセッサ及び／又は１つ以上の専用プロセッサ（マイクロプロセッサ、デジタル信号処理チップ、グラフィックス加速プロセッサ等）を含む１つ以上のプロセッサ６１０と、限定ではなく、マウス、キーボード等を含むことができる１つ以上の入力デバイス６１５と、限定ではなく、ディスプレイデバイス、プリンタ等を含むことができる１つ以上の出力デバイス６２０とを含むことができる。
コンピュータ又はハードウェアシステム６００は、１つ以上の記憶デバイス６２５を更に含むことができる（及び／又はそれらと通信することができる）。記憶デバイス６２５は、限定ではなく、ローカル記憶装置及び／又はネットワークアクセス可能記憶装置を含むことができ、及び／又は、限定ではなく、ディスクドライブ、ドライブアレイ、光記憶デバイス、プログラマブルなもの、フラッシュ更新可能なもの等とすることができるランダムアクセスメモリ（「ＲＡＭ」）及び／又はリードオンリーメモリ（「ＲＯＭ」）等の固体記憶デバイスを含むことができる。そのような記憶デバイスは、限定ではなく、様々なファイルシステム、データベース構造等を含む任意の適切なデータストアを実施するように構成することができる。
コンピュータ又はハードウェアシステム６００は、通信サブシステム６３０も含むことができる。通信サブシステム６３０は、限定ではなく、モデム、ネットワークカード（無線又は有線）、赤外線通信デバイス、無線通信デバイス及び／又はチップセット（Ｂｌｕｅｔｏｏｔｈ（登録商標）デバイス、８０２．１１デバイス、ＷｉＦｉデバイス、ＷｉＭａｘデバイス、ＷＷＡＮデバイス、セルラ通信設備等）等を含むことができる。通信サブシステム６３０は、ネットワーク（１つ例を挙げると、以下で説明されるネットワーク等）、他のコンピュータ若しくはハードウェアシステム、及び／又は本明細書に説明される他の任意のデバイスとのデータの交換を可能にすることができる。多くの実施形態において、コンピュータ又はハードウェアシステム６００は、上記で説明したようなＲＡＭデバイス又はＲＯＭデバイスを含むことができるワーキングメモリ６３５を更に備える。
コンピュータ又はハードウェアシステム６００は、ワーキングメモリ６３５内に現在存在するものとして示されるソフトウェア要素も備えることができ、及び／又は、本明細書に説明されるように、他の実施形態によって提供される方法を実施し及び／又はシステムを構成するように設計することができる。これらのソフトウェア要素は、オペレーティングシステム６４０、デバイスドライバ、実行可能ライブラリ、及び／又は様々な実施形態によって提供されるコンピュータプログラム（限定ではなく、ハイパーバイザ、ＶＭ等を含む）を含むことができる１つ以上のアプリケーションプログラム６４５等の他のコードを含む。単なる例として、上述した方法（複数の場合もある）に関して説明される１つ以上の手順は、コンピュータ（及び／又はコンピュータ内のプロセッサ）によって実行可能なコード及び／又は命令として実施することができ、一態様において、その場合に、そのようなコード及び／又は命令は、説明される方法に従って１つ以上の動作を実行するように汎用コンピュータ（又は他のデバイス）を構成し及び／又は適合させるのに使用することができる。
これらの命令及び／又はコード（つまり、命令又はコードあるいはそれらの両方）のセットは、コード化することができ、及び／又は、上記で説明した記憶デバイス（複数の場合もある）６２５等の非一時的コンピュータ可読記憶媒体に記憶することができる。いくつかの場合には、記憶媒体は、システム６００等のコンピュータシステム内に組み込むことができる。他の実施形態において、記憶媒体は、コンピュータシステムから分離されたもの（すなわち、コンパクトディスク等の着脱可能媒体）とすることができ、及び／又は、記憶媒体を使用して、記憶された命令／コードで汎用コンピュータを構成し及び／又は適合させるようにプログラミングすることができるようなインストールパッケージで提供することができる。これらの命令は、コンピュータ又はハードウェアシステム６００によって実行可能な実行可能コードの形態を取ることができ、及び／又は、（例えば、様々な一般利用可能なコンパイラ、インストールプログラム、圧縮／解凍ユーティリティ等のうちのいずれかを使用して）コンピュータ又はハードウェアシステム６００においてコンパイル及び／又はインストールされると実行可能コードの形態を取るソースコード及び／又はインストール可能コードの形態を取ることができる。
特定の要件に従って大幅な変更を行うことができることが、当業者には明らかであろう。例えば、カスタマイズされたハードウェア（プログラマブルロジックコントローラ、フィールドプログラマブルゲートアレイ、特定用途向け集積回路等）も使用することができ、及び／又は、特定の要素をハードウェア、ソフトウェア（アプレット等のポータブルソフトウェアを含む）、又はそれらの双方で実施することができる。さらに、ネットワーク入力／出力デバイス等の他のコンピューティングデバイスへの接続を用いることができる。
上述したように、１つの態様において、いくつかの実施形態は、コンピュータ又はハードウェアシステム（コンピュータ又はハードウェアシステム６００等）を用いて、本発明の様々な実施形態による方法を実行することができる。一組の実施形態によれば、そのような方法の手順のいくつか又は全ては、プロセッサ６１０が、ワーキングメモリ６３５に含まれる１つ以上の命令（オペレーティングシステム６４０及び／又はアプリケーションプログラム６４５等の他のコードに組み込むことができる）の１つ以上のシーケンスを実行することに応じて、コンピュータ又はハードウェアシステム６００によって実行される。そのような命令は、記憶デバイス（複数の場合もある）６２５のうちの１つ以上等の別のコンピュータ可読媒体からワーキングメモリ６３５に読み込むことができる。単なる例として、ワーキングメモリ６３５に含まれる命令のシーケンスの実行は、本明細書に説明される方法の１つ以上の手順をプロセッサ（複数の場合もある）６１０に実行させることができる。
本明細書に使用される「機械可読媒体」及び「コンピュータ可読媒体」という用語は、機械を特定の方法で動作させるデータの提供に関与する任意の媒体を指す。コンピュータ又はハードウェアシステム６００を使用して実施される一実施形態において、様々なコンピュータ可読媒体が、命令／コードを実行のためにプロセッサ（複数の場合もある）６１０に提供することに関与する場合があり、及び／又は、そのような命令／コード（例えば、信号として）記憶及び／又は搬送するのに使用することができる。多くの実施態様において、コンピュータ可読媒体は、非一時的記憶媒体、物理記憶媒体、及び／又は有形記憶媒体である。いくつかの実施形態において、コンピュータ可読媒体は、多くの形態を取ることができ、不揮発性媒体、揮発性媒体等を含むが、これらに限定されるものではない。不揮発性媒体は、記憶デバイス（複数の場合もある）６２５等の例えば、光ディスク及び／又は磁気ディスクを含む。揮発性媒体は、限定ではなく、ワーキングメモリ６３５等のダイナミックメモリを含む。いくつかの代替の実施形態において、コンピュータ可読媒体は、伝送媒体の形態を取ることができ、伝送媒体は、限定ではなく、バス６０５に加えて、通信サブシステム６３０の様々な構成要素（及び／又は通信サブシステム６３０が他のデバイスとの通信を提供する媒体）を構成するワイヤを含めて、同軸ケーブル、銅製ワイヤ、及び光ファイバを含む。代替の一組の実施形態において、伝送媒体は、波（限定ではなく、無線波データ通信及び赤外線データ通信中に生成されるような無線波、音響波、及び／又は光波（つまり、無線波、音響波、又は光波、あるいはそれらの全て）を含む）の形態も取ることができる。
共通の形態の物理コンピュータ可読媒体及び／又は有形コンピュータ可読媒体は、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、若しくは他の任意の磁気媒体、ＣＤ－ＲＯＭ、他の任意の光媒体、パンチカード、紙テープ、孔のパターンを有する他の任意の物理媒体、ＲＡＭ、ＰＲＯＭ、及びＥＰＲＯＭ、フラッシュＥＰＲＯＭ、他の任意のメモリチップ若しくはカートリッジ、以下で説明するような搬送波、又はコンピュータが命令及び／又はコードを読み取ることができる他の任意の媒体を含む。
様々な形態のコンピュータ可読媒体は、１つ以上の命令の１つ以上のシーケンスを実行のためにプロセッサ（複数の場合もある）６１０に搬送することに関与しうる。単なる例として、命令は、最初は、リモートコンピュータの磁気ディスク及び／又は光ディスク上に保持することができる。リモートコンピュータは、そのダイナミックメモリ内に命令をロードし、コンピュータ又はハードウェアシステム６００によって受信及び／又は実行されるように伝送媒体を介して命令を信号として送信することができる。電磁信号、音響信号、光信号等の形態とすることができるこれらの信号は全て、本発明の様々な実施形態による、命令をコード化することができる搬送波の例である。
通信サブシステム６３０（及び／又はその構成要素）は、一般に信号を受信し、バス６０５は、その後、信号（及び／又は信号によって保持されるデータ、命令等）をワーキングメモリ６３５に搬送することができ、このワーキングメモリから、プロセッサ（複数の場合もある）６０５は、命令を取り出して実行する。ワーキングメモリ６３５によって受信された命令は、任意選択的に、プロセッサ（複数の場合もある）６１０による実行の前又は後のいずれかにおいて記憶デバイス６２５に記憶することができる。
上述したように、一組の実施形態は、アノテーションデータ収集を実施する方法及びシステムを含み、より詳細には、視線ベースの追跡を使用するアノテーションデータ収集を実施し、及び／又は、視線ベースの追跡を使用して収集されたアノテーションデータに基づいて、人工知能（「ＡＩ」）システム（限定ではなく、ニューラルネットワーク、畳み込みニューラルネットワーク（「ＣＮＮ」）、学習アルゴリズムベースのシステム、又は機械学習システム等のうちの少なくとも１つを含むことができる）をトレーニングする方法、システム、及び装置を含む。図７は、一組の実施形態に従って使用することができるシステム７００の概略図を示している。システム７００は、１つ以上のユーザコンピュータ、ユーザデバイス、又は顧客デバイス７０５を含むことができる。ユーザコンピュータ、ユーザデバイス、又は顧客デバイス７０５は、汎用パーソナルコンピュータ（単なる例として、任意の適切なオペレーティングシステムを実行するデスクトップコンピュータ、タブレットコンピュータ、ラップトップコンピュータ、ハンドヘルドコンピュータ等を含む。オペレーティングシステムのうちのいくつかは、Apple社、Microsoft Corp.社等のベンダから入手可能である）、クラウドコンピューティングデバイス、サーバ（複数の場合もある）、及び／又は様々な市販のＵＮＩＸ（登録商標）又はＵＮＩＸ類似のオペレーティングシステムのうちの任意のものを実行するワークステーションコンピュータ（複数の場合もある）とすることができる。ユーザコンピュータ、ユーザデバイス、又は顧客デバイス７０５は、様々な実施形態（例えば、上記で説明したようなもの）によって提供される方法を実行するように構成された１つ以上のアプリケーション、並びに、１つ以上のオフィスアプリケーション、データベースクライアントアプリケーション及び／又はサーバアプリケーション、及び／又はウェブブラウザアプリケーションを含む様々なアプリケーションのうちのいずれかも有することができる。或いは、ユーザコンピュータ、ユーザデバイス、又は顧客デバイス７０５は、ネットワーク（例えば、以下で説明するネットワーク（複数の場合もある）７１０）を介して通信すること及び／又はウェブページ若しくは他のタイプの電子文書を表示及びナビゲーションすることが可能なシンクライアントコンピュータ、インターネット対応モバイル電話、及び／又はパーソナルデジタルアシスタント等の他の任意の電子デバイスとすることができる。２つのユーザコンピュータ、ユーザデバイス、又は顧客デバイス７０５を有する例示的なシステム７００が示されているが、任意の数のユーザコンピュータ、ユーザデバイス、又は顧客デバイスをサポートすることができる。
或る特定の実施形態は、ネットワーク（複数の場合もある）７１０を含むことができるネットワーク環境において動作する。ネットワーク（複数の場合もある）７１０は、様々な商用（及び／又はフリー又は独自開発）のプロトコルのうちのいずれかを使用してデータ通信をサポートすることができる当業者によく知られている任意のタイプのネットワークとすることができる。これらのプロトコルは、限定ではなく、ＴＣＰ／ＩＰ、ＳＮＡ（登録商標）、ＩＰＸ（登録商標）、ＡｐｐｌｅＴａｌｋ（登録商標）等を含む。単なる例として、ネットワーク（複数の場合もある）７１０（図１のネットワーク（複数の場合もある）１５０等と同様のもの）はそれぞれ、限定ではなく、ファイバネットワーク、イーサネットネットワーク、Ｔｏｋｅｎ－Ｒｉｎｇ（商標）ネットワーク等を含むローカルエリアネットワーク（「ＬＡＮ」）；ワイドエリアネットワーク（「ＷＡＮ」）；無線ワイドエリアネットワーク（「ＷＷＡＮ」）；仮想プライベートネットワーク（「ＶＰＮ」）等の仮想ネットワーク；インターネット；イントラネット；エキストラネット；公衆交換電話ネットワーク（「ＰＳＴＮ」）；赤外線ネットワーク；限定ではなく、ＩＥＥＥ８０２．１１プロトコルスイート、当該技術において知られているＢｌｕｅｔｏｏｔｈ（登録商標）プロトコル、及び／又は他の任意の無線プロトコルのうちのいずれかの下で動作するネットワークを含む無線ネットワーク；及び／又はこれらのネットワーク及び／又は他のネットワークの任意の組み合わせを含むことができる。特定の実施形態において、ネットワークは、サービスプロバイダ（例えば、インターネットサービスプロバイダ（「ＩＳＰ」））のアクセスネットワークを含むことができる。別の実施形態において、ネットワークは、サービスプロバイダ及び／又はインターネットのコアネットワークを含むことができる。
実施形態は、１つ以上のサーバコンピュータ７１５も含むことができる。サーバコンピュータ７１５のそれぞれは、オペレーティングシステムを用いて構成することができる。オペレーティングシステムは、限定ではなく、上述したもの、及び、任意の商用の（又は自由に利用可能な）サーバオペレーティングシステムのうちの任意のものを含む。サーバ７１５のそれぞれは、サービスを１つ以上のクライアント７０５及び／又は他のサーバ７１５に提供するように構成することができる１つ以上のアプリケーションも実行することができる。
単なる例として、サーバ７１５のうちの１つは、上記で説明したようなデータサーバ、ウェブサーバ、クラウドコンピューティングデバイス（複数の場合もある）等とすることができる。データサーバは、単なる例として、ユーザコンピュータ７０５からのウェブページ又は他の電子文書の要求を処理するのに使用することができるウェブサーバを含む（又はウェブサーバと通信する）ことができる。ウェブサーバは、ＨＴＴＰサーバ、ＦＴＰサーバ、ＣＧＩサーバ、データベースサーバ、Ｊａｖａサーバ等を含み、様々なサーバアプリケーションを実行することもできる。本発明のいくつかの実施形態において、ウェブサーバは、本発明の方法を実行するためにユーザコンピュータ７０５のうちの１つ以上におけるウェブブラウザ内で動作させることができるウェブページを供給するように構成することができる。
サーバコンピュータ７１５は、いくつかの実施形態において、クライアントコンピュータ７０５のうちの１つ以上において動作するクライアント及び／又は他のサーバ７１５によってアクセス可能な１つ以上のアプリケーションを用いて構成することができる１つ以上のアプリケーションサーバを含むことができる。単なる例として、サーバ（複数の場合もある）７１５は、ユーザコンピュータ７０５及び／又は他のサーバ７１５に応答して、限定ではなく、ウェブアプリケーション（いくつかの場合には、様々な実施形態によって提供される方法を実行するように構成することができる）を含むプログラム又はスクリプトを実行することが可能な１つ以上の汎用コンピュータとすることができる。単なる例として、ウェブアプリケーションは、Ｊａｖａ（登録商標）、Ｃ、Ｃ＃（商標）若しくはＣ＋＋等の任意の適したプログラミング言語、及び／又はＰｅｒｌ、Ｐｙｔｈｏｎ（登録商標）、若しくはＴＣＬ等の任意のスクリプト言語、並びに任意のプログラミング言語及び／又はスクリプト言語の組み合わせで記述された１つ以上のスクリプト又はプログラムとして実施することができる。アプリケーションサーバ（複数の場合もある）は、ユーザコンピュータ、ユーザデバイス、若しくは顧客デバイス７０５及び／又は別のサーバ７１５上で動作するクライアント（構成に応じて、専用データベースクライアント、ＡＰＩクライアント、ウェブブラウザ等を含む）からの要求を処理することができるデータベースサーバも含むことができ、データベースサーバは、限定ではなく、Ｏｒａｃｌｅ（登録商標）、Ｍｉｃｒｏｓｏｆｔ（登録商標）、Ｓｙｂａｓｅ（登録商標）、ＩＢＭ（登録商標）等から市販されているものを含む。いくつかの実施形態において、アプリケーションサーバは、アノテーションデータ収集を実施するプロセスのうちの１つ以上を実行することができ、より詳細には、上記で詳細に説明したように、視線ベースの追跡を使用するアノテーションデータ収集を実施し、及び／又は、視線ベースの追跡を使用して収集されたアノテーションデータに基づいてＡＩシステムのトレーニングを行う方法、システム、及び装置を実施することができる。アプリケーションサーバによって提供されるデータは、１つ以上のウェブページ（例えば、ＨＴＭＬ、Ｊａｖａスクリプト等を含む）としてフォーマットすることができ、及び／又は、ウェブサーバ（例えば、上記で説明したようなもの）を介してユーザコンピュータ７０５に転送することができる。同様に、ウェブサーバは、ユーザコンピュータ７０５からウェブページ要求及び／又は入力データを受信し、及び／又は、ウェブページ要求及び／又は入力データをアプリケーションサーバに転送することができる。いくつかの場合には、ウェブサーバは、アプリケーションサーバと統合することができる。
更なる実施形態によれば、１つ以上のサーバ７１５は、ファイルサーバとして機能することができ、及び／又は、ユーザコンピュータ７０５及び／又は別のサーバ７１５において動作するアプリケーションによって組み込まれた様々な開示された方法を実施するのに必要なファイル（例えば、アプリケーションコード、データファイル等）のうちの１つ以上を含むことができる。或いは、当業者には理解されるように、ファイルサーバは、そのようなアプリケーションをユーザコンピュータ、ユーザデバイス、若しくは顧客デバイス７０５及び／又はサーバ７１５によってリモートで起動することを可能にする全ての必要なファイルを含むことができる。
本明細書において様々なサーバ（例えば、アプリケーションサーバ、データベースサーバ、ウェブサーバ、ファイルサーバ等）に関して説明される機能は、実施態様固有のニーズ及びパラメータに応じて、単一のサーバ及び／又は複数の特殊サーバによって実行できることに留意すべきである。
或る特定の実施形態において、システムは、１つ以上のデータベース７２０ａ～７２０ｎ（集合的に「データベース７２０」）を含むことができる。データベース７２０のそれぞれのロケーションは、任意に定めることができ、単なる例として、データベース７２０ａは、サーバ７１５ａ（及び／又はユーザコンピュータ、ユーザデバイス、若しくは顧客デバイス７０５）にローカルな記憶媒体に存在することができる（及び／又はサーバ７１５ａ（及び／又はユーザコンピュータ、ユーザデバイス、若しくは顧客デバイス７０５）に常駐することができる）。或いは、データベース７２０ｎは、コンピュータ７０５、７１５のうちの１つ以上と（例えば、ネットワーク７１０を介して）通信することができる限り、これらのいずれか又は全てからリモート配置することができる。特定の一組の実施形態において、データベース７２０は、当業者によく知られているストレージエリアネットワーク（「ＳＡＮ」：storage-area network）に存在することができる。（同様に、コンピュータ７０５、７１５に属する機能を実行するのに必要ないずれのファイルも、適宜、それぞれのコンピュータにローカルに及び／又はリモートに記憶することができる。）一組の実施形態において、データベース７２０は、ＳＱＬフォーマットコマンドに応答してデータの記憶、更新、及び取り出しを行うように適合されたＯｒａｃｌｅデータベース等のリレーショナルデータベースとすることができる。このデータベースは、例えば、上記で説明したようなデータベースサーバによって制御及び／又は保守（つまり、制御又は保守あるいはそれらの両方を）することができる。
いくつかの実施形態によれば、システム７００は、コンピューティングシステム７２５（図１、図２Ａ、及び図３Ａのコンピューティングシステム１０５ａ、２０５、及び３０５等と同様のもの）と、対応するデータベース（複数の場合もある）７３０（図１のデータベース（複数の場合もある）１１０ａ等と同様のもの）とを更に備えることができる。システム７００は、ユーザ７４５が（例えば、図２Ｂ及び図３Ｂ等に示すような）第１のサンプルの光学ビューを見ることを可能にするのに使用される顕微鏡７３５（図１及び図３の顕微鏡１１５及び３１０等と同様のもの）及びディスプレイデバイス７４０（図１及び図２のディスプレイデバイス１２０及び２１０等と同様のもの）を更に備えることができるとともに、カメラ７５０は、ユーザ７４５がカメラ７５０の視野（「ＦＯＶ」）７５０ａ内に存在する間、ユーザ７４５の画像をキャプチャする（いくつかの場合には、ユーザ７４５の少なくとも一方の眼の画像をキャプチャする）ことができる。いくつかの場合には、カメラ７５０は、限定ではなく、１つ以上のアイトラッキングセンサ、１つ以上のモーションセンサ、又は１つ以上の追跡センサ等を含むことができる。システム７００は、１つ以上のオーディオセンサ７５５（任意選択的に；図１のオーディオセンサ（複数の場合もある）１３５等と同様のもの；１つ以上のマイク、１つ以上のボイスレコーダ、又は１つ以上のオーディオレコーダ等を含むが、これらに限定されるものではない）と、１つ以上のユーザデバイス７６０（任意選択的に；図１のユーザデバイス（複数の場合もある）１４０等と同様のもの；限定ではなく、スマートフォン、モバイルフォン、タブレットコンピュータ、ラップトップコンピュータ、デスクトップコンピュータ、又はモニタ等を含む）とを更に備えることができる。コンピューティングシステム７２５及び対応するデータベース（複数の場合もある）の代替又は追加として、システム７００は、リモートコンピューティングシステム７７０（図１のリモートコンピューティングシステム１０５ｂ等と同様のもの）と、対応するデータベース（複数の場合もある）７７５（図１のデータベース（複数の場合もある）１１０ｂ等と同様のもの）とを更に備えることができる。いくつかの実施形態において、システム７００は、人工知能（「ＡＩ」）システム７８０を更に備えることができる。
動作中、顕微鏡７３５は、ユーザ７４５の少なくとも一方の眼が観察しているときに介する接眼レンズ（複数の場合もある）に第１のサンプルの光学ビューを投影することができる。カメラ７５０（又は視線追跡デバイス）は、ユーザ７４５が第１のサンプルの光学ビューを見ているときに、ユーザ７４５の少なくとも一方の眼の少なくとも１つの第１の画像をキャプチャすることができる。コンピューティングシステム７２５、ユーザデバイス７０５ａ、ユーザデバイス７０５ｂ、ユーザデバイス（複数の場合もある）７６０、サーバ７１５ａ若しくは７１５ｂ、及び／又はリモートコンピューティングシステム（複数の場合もある）７７０（集合的に「コンピューティングシステム」等）は、ユーザ７４５の少なくとも一方の眼のキャプチャされた少なくとも１つの第１の画像と、第１のサンプルの光学ビューのキャプチャされた少なくとも１つの第２の画像とを解析して、ユーザ７４５の少なくとも一方の眼が第１のサンプルの光学ビューの特定の領域にフォーカスしているか否かを判断することができる。ユーザ７４５の少なくとも一方の眼が第１のサンプルの光学ビューの特定の領域にフォーカスしているとの判断に基づいて、コンピューティングシステムは、第１のサンプルの光学ビューの特定の領域に対応する少なくとも１つの第２の画像の少なくとも１つの特定の部分を識別することができる。コンピューティングシステムは、少なくとも１つの第２の画像の識別された少なくとも１つの特定の部分を含むアテンションデータを収集することができ、収集されたアテンションデータをデータベース７２０ａ～７２０ｎ、７３０、又は７７５に記憶することができる。いくつかの実施形態によれば、アテンションデータの収集は、ユーザが、顕微鏡７３５を使用して第１のサンプルを診断している間、又は、表示画面７４０上に表示されている第１のサンプルの画像を診断している間のいずれかにおいて結果データを提供しているときに、ユーザに割り込むことも、ユーザの進行を遅らせることも、ユーザを妨害することもなく行うことができる。いくつかの場合には、収集されたアテンションデータは、第１のサンプルの光学ビューの少なくとも１つの特定の部分の１つ以上の座標ロケーション、ユーザが第１のサンプルの光学ビューの少なくとも１つの特定の部分にフォーカスしているアテンション継続時間、又はユーザが第１のサンプルの光学ビューの少なくとも１つの特定の部分にフォーカスしている間の第１のサンプルの光学ビューのズームレベル等のうちの少なくとも１つを含むことができるが、これらに限定されるものではない。いくつかの場合には、第１のサンプルの光学ビューの特定の領域に対応する少なくとも１つの第２の画像の識別された少なくとも１つの特定の部分は、限定ではなく、１つ以上の特定の細胞、１つ以上の特定の組織、１つ以上の特定の構造、又は１つ以上の分子等のうちの少なくとも１つを含むことができる。
いくつかの実施形態において、コンピューティングシステムは、第１のサンプルの光学ビューの特定の領域に対応する少なくとも１つの第２の画像の識別された少なくとも１つの特定の部分を覆う、少なくとも１つの第２の画像における少なくとも１つの強調表示フィールドを生成することができる。いくつかの場合には、少なくとも１つの強調表示フィールドはそれぞれ、限定ではなく、色、形状、又は強調表示効果等のうちの少なくとも１つを含むことができ、強調表示効果は、輪郭描写効果、シャドーイング効果、パターニング効果、ヒートマップ効果、又はジェットカラーマップ効果等のうちの少なくとも１つを含むことができるが、これらに限定されるものではない。
いくつかの実施形態によれば、少なくとも１つの第２の画像は、表示画面（例えば、ディスプレイデバイス７４０の表示画面等）に表示することができる。ユーザ７４５の少なくとも一方の眼の少なくとも１つの第１の画像をキャプチャすることは、ユーザ７４５が、ディスプレイデバイス７４０の表示画面上に少なくとも１つの第２の画像として表示された第１のサンプルの光学ビューの画像（複数の場合もある）又はビデオ（複数の場合もある）を見ているときに、カメラ７５０を用いて、ユーザ７４５の少なくとも一方の眼の少なくとも１つの第１の画像をキャプチャすることを含むことができる。ユーザが、ディスプレイデバイス７４０の表示画面上に表示された第１のサンプルの画像又はビデオを見ているとき、カメラ７５０の代わりに視線追跡デバイスを使用して、アテンションデータを収集することができる。第１のサンプルの光学ビューの特定の領域に対応する少なくとも１つの第２の画像の少なくとも１つの特定の部分を識別することは、コンピューティングシステムを用いて、第１のサンプルの光学ビューの特定の領域に対応する表示画面上に表示された少なくとも１つの第２の画像の少なくとも１つの特定の部分を識別することを含むことができる。コンピューティングシステムは、第１のサンプルの光学ビューの特定の領域に対応する少なくとも１つの第２の画像の識別された少なくとも１つの特定の部分を覆う、生成された少なくとも１つの強調表示フィールドとともに、少なくとも１つの第２の画像を表示画面（例えば、ディスプレイデバイス７４０の表示画面等）上に表示することができる。
いくつかの実施形態において、表示画面上の少なくとも１つの第２の画像の表示は、ユーザによるコマンドに応答してシフトすることができる。いくつかの場合には、少なくとも１つの第２の画像のシフト表示は、表示画面上の少なくとも１つの第２の画像の水平シフト、垂直シフト、パン、チルト、ズームイン、又はズームアウト等のうちの少なくとも１つを含むことができる。カメラ７５０は、ユーザ７４５が表示画面上で少なくとも１つの第２の画像のシフト表示を見ているときに、ユーザ７４５の少なくとも一方の眼の運動を追跡することができる。コンピューティングシステムは、ユーザ７４５の少なくとも一方の眼の追跡された運動、第１のサンプルの光学ビューの特定の領域に対応する少なくとも１つの第２の画像の識別された少なくとも１つの特定の部分、又は表示画面上の少なくとも１つの第２の画像の水平シフト、垂直シフト、パン、チルト、ズームイン、若しくはズームアウト等のうちの少なくとも１つのうちの１つ以上に少なくとも部分的に基づいて、ユーザ７４５の少なくとも一方の眼の追跡された運動を表示画面上の少なくとも１つの第２の画像のシフト表示と照合することができる。ユーザがディスプレイデバイス７４０の表示画面上の少なくとも１つの第２の画像のシフト表示を見ているときに、追加のアテンションデータを収集するために、カメラ７５０を使用する代わりに、視線追跡デバイスを使用することができる。
或いは、顕微鏡７３５は、ユーザ７４５の少なくとも一方の眼が観察しているときに介する接眼レンズに第１のサンプルの光学ビューを投影することができる。第２のカメラは、第１のサンプルの光学ビューの少なくとも１つの第２の画像をキャプチャすることができる。いくつかの場合には、ユーザ７４５の少なくとも一方の眼の少なくとも１つの第１の画像をキャプチャすることは、ユーザ７４５が接眼レンズを通して第１のサンプルの光学ビューを見ているときに、第１のカメラを用いて、ユーザ７４５の少なくとも一方の眼の少なくとも１つの第１の画像をキャプチャすることを含むことができる。第１のサンプルの光学ビューの特定の領域に対応する少なくとも１つの第２の画像の少なくとも１つの特定の部分を識別することは、コンピューティングシステムを用いて、第１のサンプルの光学ビューの特定の領域に対応する、接眼レンズを通して観察されている少なくとも１つの第２の画像の少なくとも１つの特定の部分を識別することを含むことができる。第１のサンプルの光学ビューの特定の領域に対応する少なくとも１つの第２の画像の識別された少なくとも１つの特定の部分を覆う、少なくとも１つの第２の画像における少なくとも１つの強調表示フィールドを生成することは、コンピューティングシステムを用いて、第１のサンプルの光学ビューの特定の領域に対応する、接眼レンズを通して観察されている少なくとも１つの第２の画像の識別された少なくとも１つの特定の部分と重なる少なくとも１つの強調表示フィールドを生成することを含むことができる。コンピューティングシステムは、投影デバイスを使用して、生成された少なくとも１つの強調表示フィールドを、第１のサンプルの光学ビューの特定の領域に対応する、接眼レンズを通して観察されている少なくとも１つの第２の画像の識別された少なくとも１つの特定の部分と重なるように投影することができる。代替又は追加として、コンピューティングシステムは、第１のサンプルの光学ビューの特定の領域に対応する少なくとも１つの第２の画像の識別された少なくとも１つの特定の部分を覆う、生成された少なくとも１つの強調表示フィールドとともに、少なくとも１つの第２の画像を表示画面（例えば、ディスプレイデバイス７４０の表示画面等）上に表示することができる。
いくつかの場合には、第１のカメラは、赤外線（「ＩＲ」）カメラ、後方反射型ＩＲカメラ、可視色カメラ、光源、又はロケーションフォトダイオード等のうちの１つとすることができる。いくつかの場合には、顕微鏡は、限定ではなく、接眼レンズを通して観察される第１のサンプルの光学ビュー、接眼レンズを通して観察されるとともに、第１のカメラによって少なくとも１つの第１の画像としてキャプチャされるユーザの少なくとも一方の眼の光学ビュー、又は生成された少なくとも１つの強調表示フィールドをユーザの少なくとも一方の眼に接眼レンズを通して投影したもの等のうちの少なくとも１つを反射するか又は通過させる複数のミラー、複数のダイクロイックミラー、又は複数のハーフミラーのうちの２つ以上を備えることができる。
いくつかの実施形態によれば、接眼レンズへの第１のサンプルの光学ビューの投影は、第１のサンプルを含む顕微鏡スライドを載置したＸＹステージの調整、対物レンズ若しくはズームレンズの交換、又は接眼レンズの焦点の調整等のうちの少なくとも１つによってシフトすることができる。カメラ７５０は、ユーザ７４５が接眼レンズへの第１のサンプルの光学ビューのシフト投影を見ているときに、ユーザ７４５の少なくとも一方の眼の運動を追跡することができる。コンピューティングシステムは、ユーザ７４５の少なくとも一方の眼の追跡された運動、第１のサンプルの光学ビューの特定の領域に対応する少なくとも１つの第２の画像の識別された少なくとも１つの特定の部分、又は第１のサンプルを含む顕微鏡スライドを載置したＸＹステージの調整、対物レンズ若しくはズームレンズの交換、若しくは接眼レンズの焦点の調整等のうちの少なくとも１つのうちの１つ以上に少なくとも部分的に基づいて、ユーザ７４５の少なくとも一方の眼の追跡された運動を、接眼レンズへの第１のサンプルの光学ビューのシフト投影と照合することができる。
代替又は追加として、１つ以上のオーディオセンサ７５５は、ユーザ７４５が第１のサンプルの光学ビューを見ているときに、ユーザ７４５からの１つ以上の音声メモをキャプチャすることができる。コンピューティングシステムは、ユーザ７４５からキャプチャされた１つ以上の音声メモを、第１のサンプルの光学ビューの少なくとも１つの第２の画像とともにマッピングして、キャプチャされた１つ以上の音声メモを第１のサンプルの光学ビューの少なくとも１つの第２の画像と照合することができる。
いくつかの実施形態によれば、コンピューティングシステムは、ユーザによって提供される結果データを受信することができる。この結果データは、第１のサンプルの診断、第１のサンプルの病理学スコア、又は第１のサンプルの少なくとも複数の部分に対応する識別データのセットのうちの少なくとも１つを含む。コンピューティングシステムは、ユーザの少なくとも一方の眼のキャプチャされた少なくとも１つの第１の画像及び第１のサンプルの光学ビューのキャプチャされた少なくとも１つの第２の画像の解析、又は、収集されたアテンションデータと受信された結果データとの共同解析のうちの少なくとも一方に少なくとも部分的に基づいて、ＡＩシステム７８０（一般に、限定ではなく、ニューラルネットワーク、畳み込みニューラルネットワーク（「ＣＮＮ」）、学習アルゴリズムベースのシステム、又は機械学習システム等のうちの少なくとも１つを含むことができる）をトレーニングして、予測値を生成するのに使用されるモデルを生成することができる。いくつかの実施形態において、予測値は、予測臨床結果又は予測アテンションデータ等のうちの少なくとも１つを含むことができるが、これらに限定されるものではない。
システム７００（及びその構成要素）のこれらの機能及び他の機能は、図１～図４に関して上記でより詳細に説明されている。
次に、追加の例示的な実施形態を説明する。
本発明のいくつかの実施形態の一態様によれば、
顕微鏡を用いて、ユーザの少なくとも一方の眼が観察しているときに介する接眼レンズに第１のサンプルの光学ビューを投影することと、
第１のカメラを用いて、上記ユーザが上記接眼レンズを通して上記第１のサンプルの上記光学ビューを見ているときに、上記ユーザの上記少なくとも一方の眼の少なくとも１つの第１の画像をキャプチャすることと、
第２のカメラを用いて、上記第１のサンプルの上記光学ビューの少なくとも１つの第２の画像をキャプチャすることと、
コンピューティングシステムを用いて、上記ユーザの上記少なくとも一方の眼の上記キャプチャされた少なくとも１つの第１の画像と、上記第１のサンプルの上記光学ビューの上記キャプチャされた少なくとも１つの第２の画像とを解析して、上記ユーザの上記少なくとも一方の眼が上記第１のサンプルの上記光学ビューの特定の領域にフォーカスしているか否かを判断することと、
上記ユーザの上記少なくとも一方の眼が上記第１のサンプルの上記光学ビューの特定の領域にフォーカスしているとの判断に基づいて、上記コンピューティングシステムを用いて、上記第１のサンプルの上記光学ビューの上記特定の領域に対応する上記接眼レンズを通して観察される上記少なくとも１つの第２の画像の少なくとも１つの特定の部分を識別することと、
上記コンピューティングシステムを用いて、上記少なくとも１つの第２の画像の上記識別された少なくとも１つの特定の部分を含むアテンションデータを収集することと、
上記収集されたアテンションデータをデータベースに記憶することと
を含む、方法が提供される。
任意選択的に、上記第１のサンプルは、顕微鏡スライド、透明なサンプルカートリッジ、バイアル、チューブ、カプセル、フラスコ、ベッセル、レセプタクル、マイクロアレイ、又はマイクロ流体チップのうちの少なくとも１つの中に含まれる。
任意選択的に、上記第１のカメラは、赤外線（「ＩＲ」）カメラ、後方反射型ＩＲカメラ、可視色カメラ、光源、又はロケーションフォトダイオードのうちの１つである。
任意選択的に、上記顕微鏡は、上記接眼レンズを通して観察される上記第１のサンプルの上記光学ビュー、又は、上記接眼レンズを通して観察されるとともに、上記第１のカメラによって上記少なくとも１つの第１の画像としてキャプチャされる上記ユーザの上記少なくとも一方の眼の光学ビューのうちの少なくとも一方を反射するか又は通過させる複数のミラー、複数のダイクロイックミラー、又は複数のハーフミラーのうちの２つ以上を備える。
任意選択的に、上記第１のサンプルの上記光学ビューの上記特定の領域に対応する上記少なくとも１つの第２の画像の上記識別された少なくとも１つの特定の部分は、１つ以上の特定の細胞、１つ以上の特定の組織、１つ以上の特定の構造、又は１つ以上の分子のうちの少なくとも１つを含む。
任意選択的に、上記少なくとも１つの第２の画像の上記少なくとも１つの特定の部分を識別することは、上記コンピューティングシステムを用いて、上記少なくとも１つの第２の画像の上記識別された少なくとも１つの特定の部分に対応する上記光学ビューの上記少なくとも１つの第２の画像内の座標ロケーションを求めることを含む。
任意選択的に、
上記コンピューティングシステムを用いて、上記ユーザによって提供される結果データであって、第１のサンプルの診断、第１のサンプルの病理学スコア、又は第１のサンプルの少なくとも複数の部分に対応する識別データのセットのうちの少なくとも１つを含む、結果データを受信することと、
上記ユーザの上記少なくとも一方の眼の上記キャプチャされた少なくとも１つの第１の画像及び上記第１のサンプルの上記光学ビューの上記キャプチャされた少なくとも１つの第２の画像の解析、又は、上記収集されたアテンションデータと上記受信された結果データとの共同解析のうちの少なくとも一方に少なくとも部分的に基づいて、ニューラルネットワーク、畳み込みニューラルネットワーク（「ＣＮＮ」）、人工知能（「ＡＩ」）システム、又は機械学習システムのうちの少なくとも１つをトレーニングし、予測値を生成するのに使用されるモデルを生成することと
を更に含む。
任意選択的に、上記予測値は、予測臨床結果又は予測アテンションデータのうちの少なくとも一方を含む。
任意選択的に、上記アテンションデータを収集することは、上記ユーザが、上記顕微鏡を使用して上記第１のサンプルを診断している間において上記結果データを提供しているときに、上記ユーザに割り込むことも、上記ユーザの進行を遅らせることも、上記ユーザを妨害することもなく行われる。
任意選択的に、
上記第１のカメラを用いて、上記ユーザの上記少なくとも一方の眼の運動を追跡することと、
上記コンピューティングシステムを用いて、上記少なくとも１つの第２の画像の上記識別された少なくとも１つの特定の部分の１つ以上の座標ロケーション、上記ユーザが上記光学ビューの上記特定の領域にフォーカスしているアテンション継続時間、又は上記ユーザが上記光学ビューの上記特定の領域にフォーカスしている間の上記第１のサンプルの上記光学ビューのズームレベルのうちの少なくとも１つを同時に追跡することと
を更に含む。
任意選択的に、上記ユーザの上記少なくとも一方の眼が上記第１のサンプルの上記光学ビューの特定の領域にフォーカスしているか否かを判断することは、上記少なくとも１つの第２の画像の上記識別された少なくとも１つの特定の部分の上記１つ以上の座標ロケーション、上記ユーザが上記光学ビューの上記特定の領域にフォーカスしている上記アテンション継続時間、又は上記ユーザが上記光学ビューの上記特定の領域にフォーカスしている間の上記第１のサンプルの上記光学ビューの上記ズームレベルのうちの少なくとも１つに少なくとも部分的に基づいて、上記ユーザの上記少なくとも一方の眼が上記第１のサンプルの上記光学ビューの特定の領域にフォーカスしているか否かを判断することを含む。
任意選択的に、
上記ユーザが上記第１のサンプルの上記光学ビューを見ているときに、オーディオセンサを用いて、上記ユーザからの１つ以上の音声メモをキャプチャすることと、
上記コンピューティングシステムを用いて、上記ユーザからキャプチャされた上記１つ以上の音声メモを上記第１のサンプルの上記光学ビューの上記少なくとも１つの第２の画像とともにマッピングして、上記キャプチャされた１つ以上の音声メモを上記第１のサンプルの上記光学ビューの上記少なくとも１つの第２の画像と照合することと
を更に含む。
本発明のいくつかの実施形態の一態様によれば、
ユーザの少なくとも一方の眼が観察しているときに介する接眼レンズに第１のサンプルの光学ビューを投影するように構成される顕微鏡と、
上記ユーザが上記接眼レンズを通して上記第１のサンプルの上記光学ビューを見ているときに、上記ユーザの上記少なくとも一方の眼の少なくとも１つの第１の画像をキャプチャするように構成される第１のカメラと、
上記第１のサンプルの上記光学ビューの少なくとも１つの第２の画像をキャプチャするように構成される第２のカメラと、
少なくとも１つの第１のプロセッサと、上記少なくとも１つの第１のプロセッサと通信結合された第１の非一時的コンピュータ可読媒体とを備える、コンピューティングシステムと
を備え、
上記第１の非一時的コンピュータ可読媒体には、第１の命令セットを含むコンピュータソフトウェアが記憶されており、該第１の命令セットは、上記少なくとも１つの第１のプロセッサによって実行されると、上記ユーザの上記少なくとも一方の眼の上記キャプチャされた少なくとも１つの第１の画像と上記第１のサンプルの上記光学ビューの上記キャプチャされた少なくとも１つの第２の画像とを解析して、上記ユーザの上記少なくとも一方の眼が上記第１のサンプルの上記光学ビューの特定の領域にフォーカスしているか否かを判断することと、上記ユーザの上記少なくとも一方の眼が上記第１のサンプルの上記光学ビューの特定の領域にフォーカスしているとの判断に基づいて、上記第１のサンプルの上記光学ビューの上記特定の領域に対応する、上記接眼レンズを通して観察されている上記少なくとも１つの第２の画像の少なくとも１つの特定の部分を識別することと、上記少なくとも１つの第２の画像の上記識別された少なくとも１つの特定の部分を含むアテンションデータを収集することと、上記収集されたアテンションデータをデータベースに記憶することとをコンピューティングシステムに行わせる、
システムが提供される。
任意選択的に、上記第１の命令セットは、上記少なくとも１つの第１のプロセッサによって実行されると、
上記ユーザによって提供される結果データであって、上記第１のサンプルの診断、上記第１のサンプルの病理学スコア、又は上記第１のサンプルの少なくとも複数の部分に対応する識別データのセットのうちの少なくとも１つを含む、結果データを受信することと、
上記ユーザの上記少なくとも一方の眼の上記キャプチャされた少なくとも１つの第１の画像及び上記第１のサンプルの上記光学ビューの上記キャプチャされた少なくとも１つの第２の画像の解析、又は、上記収集されたアテンションデータと上記受信された結果データとの共同解析のうちの少なくとも一方に少なくとも部分的に基づいて、ニューラルネットワーク、畳み込みニューラルネットワーク（「ＣＮＮ」）、人工知能（「ＡＩ」）システム、又は機械学習システムのうちの少なくとも１つをトレーニングし、予測値を生成するのに使用されるモデルを生成することと
を上記コンピューティングシステムに更に行わせる。
任意選択的に、上記予測値は、予測臨床結果又は予測アテンションデータのうちの少なくとも一方を含む。
任意選択的に、
上記第１のカメラは、上記ユーザの上記少なくとも一方の眼の運動を追跡するように更に構成され、
上記コンピューティングシステムは、上記第１のサンプルの上記光学ビューの１つ以上の座標ロケーション、アテンション継続時間、又はズームレベルのうちの少なくとも１つを同時に追跡するように更に構成され、
上記ユーザの上記少なくとも一方の眼が上記第１のサンプルの上記光学ビューの特定の領域にフォーカスしているか否かを判断することは、アテンション視線の上記１つ以上の座標ロケーションの追跡、運動及び上記第１のサンプルの上記光学ビューのズームレベルのうちの上記少なくとも一方の追跡、又は上記ユーザの上記少なくとも一方の眼が上記第１のサンプルの上記光学ビューの一部分を見続けているとの判断のうちの１つ以上に少なくとも部分的に基づいて、上記ユーザの上記少なくとも一方の眼が上記第１のサンプルの上記光学ビューの特定の領域にフォーカスしているか否かを判断することを含む。
任意選択的に、
上記ユーザが上記第１のサンプルの上記光学ビューを見ているときに、上記ユーザからの１つ以上の音声メモをキャプチャするように構成されるオーディオセンサを更に備え、
上記第１の命令セットは、上記少なくとも１つの第１のプロセッサによって実行されると、上記ユーザからの上記キャプチャされた１つ以上の音声メモを上記第１のサンプルの上記光学ビューの上記少なくとも１つの第２の画像とともにマッピングして、上記キャプチャされた１つ以上の音声メモを上記第１のサンプルの上記光学ビューの上記少なくとも１つの第２の画像と照合することを上記コンピューティングシステムに更に行わせる。
本発明のいくつかの実施形態の一態様によれば、
ユーザが顕微鏡の接眼レンズを通して第１のサンプルの光学ビューを見ているときに、第１のカメラによってキャプチャされる上記ユーザの少なくとも一方の眼の少なくとも１つの第１の画像を受信することと、
第２のカメラによってキャプチャされる上記第１のサンプルの上記光学ビューの少なくとも１つの第２の画像を受信することと、
コンピューティングシステムを用いて、上記少なくとも１つの第１の画像及び上記少なくとも１つの第２の画像を解析して、上記ユーザの上記少なくとも一方の眼が上記第１のサンプルの上記光学ビューの特定の領域にフォーカスしているか否かを判断することと、
上記コンピューティングシステムを用いて、上記解析に基づいて上記ユーザのアテンションを追跡することと、
上記コンピューティングシステムを用いて、上記追跡に基づいてアテンションデータを収集することと
を含む方法が提供される。
本発明のいくつかの実施形態の一態様によれば、
コンピューティングシステムを用いて、第１のサンプルの光学ビューを見ているユーザに対応する収集されたアテンションデータを受信することと、
上記コンピューティングシステムを用いて、上記ユーザによって提供される結果データであって、上記第１のサンプルの診断、上記第１のサンプルの病理学スコア、又は上記第１のサンプルの少なくとも複数の部分に対応する識別データのセットのうちの少なくとも１つを含む、結果データを受信することと、
上記収集されたアテンションデータと上記受信された結果データとの共同解析に少なくとも部分的に基づいて、ニューラルネットワーク、畳み込みニューラルネットワーク（「ＣＮＮ」）、人工知能（「ＡＩ」）システム、又は機械学習システムのうちの少なくとも１つをトレーニングし、予測値を生成するのに使用されるモデルを生成することと
を含む方法が提供される。
任意選択的に、上記第１のサンプルは、顕微鏡スライド、透明なサンプルカートリッジ、バイアル、チューブ、カプセル、フラスコ、ベッセル、レセプタクル、マイクロアレイ、又はマイクロ流体チップ等のうちの少なくとも１つの中に含まれる。
任意選択的に、上記予測値は、予測臨床結果又は予測アテンションデータのうちの少なくとも一方を含む。
任意選択的に、上記アテンションデータを収集することは、上記ユーザが、顕微鏡を使用して上記第１のサンプルを診断している間、又は、表示画面上に表示されている上記第１のサンプルの画像を診断している間のいずれかにおいて上記結果データを提供しているときに、上記ユーザに割り込むことも、上記ユーザの進行を遅らせることも、上記ユーザを妨害することもなく行われる。
任意選択的に、上記収集されたアテンションデータは、上記第１のサンプルの上記光学ビューの少なくとも１つの特定の部分の１つ以上の座標ロケーション、上記ユーザが上記第１のサンプルの上記光学ビューの上記少なくとも１つの特定の部分にフォーカスしているアテンション継続時間、又は上記ユーザが上記第１のサンプルの上記光学ビューの上記少なくとも１つの特定の部分にフォーカスしている間の上記第１のサンプルの上記光学ビューのズームレベルのうちの少なくとも１つを含む。
任意選択的にで、上記アテンションデータは、上記ユーザが顕微鏡の接眼レンズを通して上記第１のサンプルの光学ビューを見ているときに第１のカメラによってキャプチャされる上記ユーザの上記少なくとも一方の眼の少なくとも１つの第１の画像に基づいて収集される。
任意選択的に、上記顕微鏡は、上記接眼レンズを通して観察される上記第１のサンプルの上記光学ビュー、又は、上記接眼レンズを通して観察されるとともに上記第１のカメラによって上記少なくとも１つの第１の画像としてキャプチャされる上記ユーザの上記少なくとも一方の眼の光学ビューのうちの少なくとも一方を反射するか又は通過させる複数のミラー、複数のダイクロイックミラー、又は複数のハーフミラーのうちの２つ以上を備える。
任意選択的に、上記アテンションデータは、上記ユーザが、表示画面上に表示される上記第１のサンプルの上記光学ビューの第１の画像を見ているときに、視線追跡デバイスを使用して収集される。
任意選択的に、
上記コンピューティングシステムを用いて、上記第１のサンプルの上記光学ビューの特定の領域に対応する、上記表示画面上に表示された上記少なくとも１つの第１の画像の識別された少なくとも１つの特定の部分と重なる少なくとも１つの強調表示フィールドを生成すること
を更に含む。
任意選択的にで、
上記コンピューティングシステムを用いて、上記収集されたアテンションデータに対応する上記表示画面上に表示された上記少なくとも１つの第１の画像の上記識別された少なくとも１つの特定の部分と重なるように、上記生成された少なくとも１つの強調表示フィールドを上記表示画面上に表示することと、
上記視線追跡デバイスを用いて、上記ユーザが上記表示画面上に表示された上記第１のサンプルの上記光学ビューの上記第１の画像を見ているときに上記アテンションデータを追跡することと、
上記コンピューティングシステムを用いて、上記第１のサンプルの上記光学ビューの少なくとも１つの特定の部分の１つ以上の座標ロケーション、上記ユーザが上記第１のサンプルの上記光学ビューの上記少なくとも１つの特定の部分にフォーカスしているアテンション継続時間、又は上記ユーザが上記第１のサンプルの上記光学ビューの上記少なくとも１つの特定の部分にフォーカスしている間の上記第１のサンプルの上記光学ビューのズームレベルのうちの少なくとも１つに少なくとも部分的に基づいて、上記追跡されたアテンションデータを、上記表示画面上に表示された上記第１のサンプルの上記光学ビューの上記少なくとも１つの第１の画像の上記表示と照合することと
を更に含む。
任意選択的に、上記少なくとも１つの強調表示フィールドはそれぞれ、色、形状、又は強調表示効果のうちの少なくとも１つを含み、上記強調表示効果は、輪郭描写効果、シャドーイング効果、パターニング効果、ヒートマップ効果、又はジェットカラーマップ効果のうちの少なくとも１つを含む。
任意選択的に、
視線追跡デバイスを用いて、アテンションデータを追跡することと、
上記コンピューティングシステムを用いて、上記第１のサンプルの上記光学ビューの少なくとも１つの第２の画像の識別された少なくとも１つの特定の部分の１つ以上の座標ロケーション、上記ユーザが上記光学ビューの特定の領域にフォーカスしているアテンション継続時間、又は上記ユーザが上記光学ビューの上記特定の領域にフォーカスしている間の上記第１のサンプルの上記光学ビューのズームレベルのうちの少なくとも１つを同時に追跡することと
を更に含む。
任意選択的に、
上記ユーザが上記第１のサンプルの上記光学ビューを見ているときに、オーディオセンサを用いて、上記ユーザからの１つ以上の音声メモをキャプチャすることと、
上記コンピューティングシステムを用いて、上記ユーザからキャプチャされた上記１つ以上の音声メモを上記第１のサンプルの上記光学ビューの上記少なくとも１つの第３の画像とともにマッピングして、上記キャプチャされた１つ以上の音声メモを上記第１のサンプルの上記光学ビューの上記少なくとも１つの第３の画像と照合することと
を更に含む。
本発明のいくつかの実施形態の一態様によれば、
装置であって、
少なくとも１つのプロセッサと、
上記少なくとも１つのプロセッサに通信結合された非一時的コンピュータ可読媒体と
を備え、
上記非一時的コンピュータ可読媒体には、命令セットを含むコンピュータソフトウェアが記憶されており、該命令セットは、上記少なくとも１つのプロセッサによって実行されると、
第１のサンプルの光学ビューを見ているユーザに対応する収集されたアテンションデータを受信することと、
上記ユーザによって提供される結果データであって、上記第１のサンプルの診断、上記第１のサンプルの病理学スコア、又は上記第１のサンプルの少なくとも複数の部分に対応する識別データのセットのうちの少なくとも１つを含む、結果データを受信することと、
上記収集されたアテンションデータと上記受信された結果データとの共同解析に少なくとも部分的に基づいて、ニューラルネットワーク、畳み込みニューラルネットワーク（「ＣＮＮ」）、人工知能（「ＡＩ」）システム、又は機械学習システムのうちの少なくとも１つをトレーニングし、予測値を生成するのに使用されるモデルを生成することと
を該装置に行わせる、装置が提供される。
本発明のいくつかの実施形態の一態様によれば、
上記ユーザが上記第１のサンプルの上記光学ビューを見ているときに、上記ユーザの上記少なくとも一方の眼の少なくとも１つの第１の画像をキャプチャするように構成される第１のカメラと、
上記第１のサンプルの上記光学ビューの少なくとも１つの第２の画像をキャプチャするように構成される第２のカメラと、
少なくとも１つの第１のプロセッサと、上記少なくとも１つの第１のプロセッサに通信結合された第１の非一時的コンピュータ可読媒体とを備える、コンピューティングシステムと
を備え、
上記第１の非一時的コンピュータ可読媒体には、第１の命令セットを含むコンピュータソフトウェアが記憶されており、該第１の命令セットは、上記少なくとも１つの第１のプロセッサによって実行されると、
上記第１のサンプルの上記光学ビューを見ているユーザに対応する収集されたアテンションデータを受信することと、
上記ユーザによって提供される結果データであって、上記第１のサンプルの診断、上記第１のサンプルの病理学スコア、又は上記第１のサンプルの少なくとも複数の部分に対応する識別データのセットのうちの少なくとも１つを含む、結果データを受信することと、
上記収集されたアテンションデータと上記受信された結果データとの共同解析に少なくとも部分的に基づいて、ニューラルネットワーク、畳み込みニューラルネットワーク（「ＣＮＮ」）、人工知能（「ＡＩ」）システム、又は機械学習システムのうちの少なくとも１つをトレーニングし、予測値を生成するのに使用されるモデルを生成することと
を上記コンピューティングシステムに行わせる、システムが提供される。
例示的な実施形態に関して或る特定の特徴及び態様が説明されてきたが、当業者であれば、非常に多くの変更が可能であることを認識するであろう。例えば、本明細書に説明されている方法及びプロセスは、ハードウェア構成要素、ソフトウェア構成要素、及び／又はそれらの任意の組み合わせ（つまり、ハードウェア構成要素、ソフトウェア構成要素、又はそれらの任意の組み合わせ、あるいはそれらの全て）を使用して実施することができる。さらに、本明細書に説明されている様々な方法及びプロセスは、説明を簡単にするために、特定の構造的構成要素及び／又は機能的構成要素に関して説明される場合があるが、様々な実施形態によって提供される方法は、どの構造的アーキテクチャ及び／又は機能的アーキテクチャ（つまり、構造的アーキテクチャ又は機能的アーキテクチャあるいはそれらの両方）にも限定されるものではなく、むしろ、任意の適したハードウェア構成、ファームウェア構成及び／又はソフトウェア構成において実施することができる。同様に、或る特定の機能は、いくつかのシステム構成要素に帰属するが、文脈上別段の指定がない限り、この機能は、いくつかの実施形態による様々な他のシステム構成要素間に分散させることができる。
その上、本明細書に説明されている方法及びプロセスの手順は、説明を簡単にするために特定の順序で説明されているが、文脈上別段の指定がない限り、様々な手順は、様々な実施形態に従って並べ替え、追加、及び／又は省略することができる。その上、１つの方法又はプロセスに関して説明されている手順は、他の説明されている方法又はプロセス内に組み込むことができ、同様に、特定の構造的アーキテクチャに従って及び／又は１つのシステムに関して説明されるシステム構成要素は、代替の構造的アーキテクチャに編成することもできるし、及び／又は、他の説明されるシステム内に組み込むこともできる。したがって、様々な実施形態が、説明を簡単にするとともにそれらの実施形態の例示的な態様を示すために或る特定の特徴の有無を問わずに説明されるが、特定の実施形態に関して本明細書に説明される様々な構成要素及び／又は特徴は、文脈上別段の指定がない限り、他の説明される実施形態間で代用、追加及び／又は控除することができる。その結果、いくつかの例示的な実施形態が上記で説明されているが、本発明は、以下の特許請求の範囲内に含まれる全ての変更形態及び均等形態を包含することを意図していることが理解されるであろう。
本発明の様々な実施形態の説明は、例示を目的として提示されたものであり、網羅的であることも、開示された実施形態に限定されることも意図していない。説明された実施形態の範囲及び趣旨から逸脱しない多くの変更形態及び変化形態が当業者に明らかであろう。本明細書に使用される術語は、実施形態の原理、実際的な応用又は市場に見られる技術を上回る技術的改良を最もよく説明するために、又は、他の当業者が本明細書に開示された実施形態を理解することを可能にするために選ばれたものである。
本出願日から満期になるまでの特許権の存続期間中に、多くの関連のある機械学習モデルが開発され、機械学習モデルの用語の範囲は全てのそのような新たな技術をアプリオリに含むものとなることが予想される。
本明細書に使用される場合、「約」（about）という用語は±１０％を指す。
「～を備える」、「～を含む」、「～を有する」という用語及びそれらの活用変化形は、「～を含むが、それらに限定されるものではない」ことを意味する。この用語は、用語「～からなる」及び「～から本質的になる」を包含する。
「～から本質的になる」という文言は、構成又は方法が追加の構成要素及び／又はステップ（つまり、構成要素又はステップあるいはそれらの両方）を含むことができることを意味するが、追加の構成要素及び／又はステップが特許請求される構成又は方法の基本的な特徴及び新規の特徴を実質的に変更しない場合に限られる。
本明細書に使用される場合、単数形「a」、「an」及び「the」は、文脈上別段の指定が明確にない限り、複数のものを含む。例えば、「複合物」又は「少なくとも１つの複合物」という文言は、複数の複合物を混合したものを含めて、複数の複合物を含むことができる。
「例示的な」という言葉は、「一例、一実例又は一説明例としての役割を果たす」ことを意味するものとして本明細書に使用される。「例示的」として説明されるいずれの実施形態も、必ずしも他の実施形態よりも好ましいもの又は有利なものと解釈されるものではなく、及び／又は、他の実施形態からの特徴の組み込みを除外するように解釈されるものではない。
「任意選択的に」という言葉は、「提供される実施形態もあれば、提供されない実施形態もある」ことを意味するために本明細書に使用される。本発明のいずれの特定の実施形態も、複数の「任意選択」の特徴が矛盾しない限り、そのような特徴を含むことができる。
本出願の全体を通して、本発明の様々な実施形態を範囲形式で提示することができる。範囲形式の記載は、単なる便宜及び簡潔さのためのものであり、本発明の範囲に対する柔軟性のない限定と解釈されるべきではないことが理解されたい。したがって、範囲の記載は、全ての可能な部分範囲及びその範囲内の個々の数値を具体的に開示しているものとみなされるべきである。例えば、１～６といった範囲の記載は、１～３、１～４、１～５、２～４、２～６、３～６等の部分範囲、並びに、その範囲内の個々の数値、例えば、１、２、３、４、５、及び６を具体的に開示しているものとみなされるべきである。これは、範囲の幅に関係なく適用される。
数値範囲が本明細書に示されているときは常に、これは、示された範囲内にある引用されるあらゆる数値（分数又は整数）を含むことが意図されている。「第１の指示数と第２の指示数との間の範囲」及び「第１の指示数から第２の指示数までの範囲」という文言は、本明細書では区別なく使用され、第１の指示数及び第２の指示数並びにその範囲の間にある全ての分数及び整数を含むことが意図されている。
明確にするために別々の実施形態の状況で説明されている本発明の或る特定の特徴は、単一の実施形態に組み合わせて提供することもできることが分かる。逆に、簡潔にするために単一の実施形態の状況で説明されている本発明の様々な特徴は、別々に又は任意の適した部分的組み合わせで提供することもできるし、本発明の他の任意の説明されている実施形態に適するように提供することもできる。様々な実施形態の状況で説明される或る特定の特徴は、その実施形態が、それらの要素がなければ動作しない場合を除いて、それらの実施形態の必須の特徴とみなされるべきではない。
本発明をその特定の実施形態とともに説明してきたが、当業者には、多くの代替形態、変更形態及び変化形態が明らかである。したがって、添付の特許請求の範囲の趣旨及び広い範囲に含まれるそのような全ての代替形態、変更形態及び変化形態を包含することが意図されている。
本明細書において参照される全ての刊行物、特許及び特許出願は、引用することによって本明細書の一部をなすものとするとして参照されているときは、当該個々の各刊行物、各特許及び各特許出願が具体的かつ個別に言及されているかのように、引用によって全体として本明細書の一部をなすものとすることが、本出願人（複数の場合もある）の意図である。加えて、本出願におけるいずれの参照文献の引用又は特定も、そのような参照文献が本発明の従来技術として利用可能であることを認めているものとして解釈されるべきではない。セクションの表題が使用される限りにおいて、それらの表題は、必ずしも限定として解釈されるべきでない。加えて、本出願のいずれの優先権書類も、引用することによって全体として本明細書の一部をなすものとする。

Claims (20)

  1. 複数の記録を含むトレーニングデータセットを自動的に作成するコンピュータにより実施される方法であって、
    ここで、１つの記録は、
    物体のサンプルの画像と、
    前記サンプルを提示したもののユーザによる被監視操作の表示と、
    前記サンプルの前記画像のピクセルにマッピングされた、ディスプレイ上で又は光学デバイスを介して前記サンプルを観察する前記ユーザの被監視視線のグラウンドトゥルース表示であって、ここで、前記被監視視線は、前記ユーザが観察している前記サンプルの少なくとも１つのロケーションと、該少なくとも１つのロケーションを観察することに費やされた時間とを含むものであるグラウンドトゥルース表示と
    を含むものである、コンピュータにより実施される方法。
  2. 前記物体のサンプルは、生体サンプル、マイクロウェルプレート内の生細胞培養物、病理学的報告を生成するための病理組織サンプルのスライド、３Ｄ放射線医学画像、及び製造欠陥の識別のための製造されたマイクロアレイからなる群から選択される、請求項１に記載のコンピュータにより実施される方法。
  3. あるターゲット物体のターゲットサンプルのターゲット画像の入力に応じてターゲットの予測視線の結果を生成するように前記トレーニングデータセットに関して機械学習モデルをトレーニングすることを更に含む、請求項１又は２に記載のコンピュータにより実施される方法。
  4. 前記被監視視線のグラウンドトゥルース表示は、前記被監視視線が観察時間間隔にわたって前記画像の各特定のピクセルにマッピングされる合計時間を含む、請求項１～３のいずれか１項に記載のコンピュータにより実施される方法。
  5. 前記被監視視線のグラウンドトゥルース表示は、（ｉ）前記サンプルの前記画像に対応するヒートマップであって、該ヒートマップのそれぞれのピクセルのそれぞれの強度は、前記被監視視線がそれぞれの各ピクセルにマッピングされる前記合計時間と相関し、前記ヒートマップのピクセルは、前記被監視操作によって定められる複数のズームレベルにおける前記サンプルの異なる実際のサイズを示すピクセル、及び／又は、前記被監視操作のパン操作によって得られるディスプレイ上で非同時的に可視である前記サンプルの異なる部分に位置するピクセルに正規化されるヒートマップと、（ｉｉ）前記サンプルの前記画像におけるオーバレイであって、該オーバレイの特徴部は、前記視線の広がりに対応し及び／又は前記合計時間を示すオーバレイとのうちの少なくとも一方を含む、請求項４に記載のコンピュータにより実施される方法。
  6. 前記被監視視線の前記グラウンドトゥルース表示は、観察されている異なる視野の前記被監視視線の適応を、観察時間間隔にわたって異なる特定のピクセルに動的にマッピングする順序付けられた時間シーケンスを含む、請求項１～５のいずれか１項に記載のコンピュータにより実施される方法。
  7. 前記被監視視線のグラウンドトゥルース表示は、（ｉ）前記被監視視線の動的な適応を示す前記サンプルの前記画像のピクセル上にオーバレイされる有向直線と、（ｉｉ）前記順序付けられた時間シーケンスを、各視野に費やされた時間の表示とともに提示することとのうちの少なくとも一方として示される、請求項６に記載のコンピュータにより実施される方法。
  8. 前記トレーニングデータセットの前記記録は、前記被監視視線のグラウンドトゥルース表示と前記画像の前記ピクセルとにマッピングされる、前記サンプルの前記視野を調整するために行われる前記ユーザによる操作のグラウンドトゥルース表示を更に含む、請求項１～７のいずれか１項に記載のコンピュータにより実施される方法。
  9. 前記サンプルは、その拡大像として観察され、前記画像の特定のピクセルへの前記被監視視線の前記マッピングに関連付けられる前記ユーザ操作は、前記画像のズームイン、ズームアウト、左パン、右パン、パンアップ、パンダウン、光の調整、焦点の調整、及び拡大縮小の調整を含む群から選択される、請求項１～８のいずれか１項に記載のコンピュータにより実施される方法。
  10. 前記サンプルは、顕微鏡を介して観察され、
    視線を監視することは、前記ユーザが前記顕微鏡下で前記サンプルを観察している間に、前記ユーザの瞳に追従する少なくとも１つの第１のカメラから視線データを取得することを含み、
    操作されている前記サンプルの前記画像は、前記ユーザが前記顕微鏡下で前記サンプルを観察している間に、第２のカメラによってキャプチャされ、
    前記コンピュータにより実施される方法は、
    前記サンプルのスキャンされた画像を取得することと、
    前記サンプルの前記スキャンされた画像を前記第２のカメラによってキャプチャされた前記サンプルの前記画像と位置合わせすることと
    を更に含み、
    マッピングすることは、前記第２のカメラによってキャプチャされた前記画像への前記位置合わせを使用して、前記被監視視線を前記スキャンされた画像のピクセルにマッピングすることを含む、請求項１～９のいずれか１項に記載のコンピュータにより実施される方法。
  11. 前記被監視視線は、弱アノテーションとして表され、
    前記トレーニングデータセットの前記記録は、前記サンプルの前記画像の以下の追加のグラウンドトゥルースラベル、すなわち、
    前記サンプルが被検者の組織のサンプルを含むときには、前記サンプルを観察する前記ユーザによって作成される病理学報告、前記サンプルを観察する前記ユーザによって作成される病理学的診断、前記サンプルを観察する前記ユーザによって作成される前記サンプルの病理学的評価を示すサンプルスコア、サンプルが前記サンプルに示される前記被検者の少なくとも１つの臨床パラメータ、前記被検者の履歴パラメータ、及び前記被検者に施された処置の結果と、
    前記サンプルが製造されたマイクロアレイを含むときには、少なくとも１つの製造欠陥のユーザによって提供される表示、及び品質保証テストの合格／不合格表示と、
    前記サンプルが生細胞培養物を含むときには、細胞成長速度、細胞密度、細胞均質性、及び細胞異質性と、
    １つ以上の他のユーザによって提供されるデータアイテムと
    のうちの少なくとも１つを更に含む、請求項１～１０のいずれか１項に記載のコンピュータにより実施される方法。
  12. 前記サンプルが前記被検者の組織のサンプルを含むときには、ターゲットの個人の病理組織のターゲット生体サンプルのターゲット画像及びターゲットユーザのターゲット視線の入力に応じたターゲットの予測される病理学報告及び／又は病理学的診断及び／又はサンプルスコアと、
    前記サンプルが前記製造されたマイクロアレイを含むときには、ターゲットの製造されたマイクロアレイのターゲット画像の入力に応じたターゲット製造欠陥及び／又は品質チェックの合格／不合格表示と、
    前記サンプルが生細胞培養物を含むときには、ターゲット細胞成長速度、ターゲット細胞密度、ターゲット細胞均質性、及びターゲット細胞異質性と
    の結果を生成するように、前記トレーニングデータセットに関して機械学習モデルをトレーニングすることを更に含む、請求項１１に記載のコンピュータにより実施される方法。
  13. 物体のサンプルの視覚的解析を支援するコンピュータにより実施される方法であって、
    前記物体の前記サンプルのターゲット画像を、複数の記録を含むトレーニングデータセットに関してトレーニングされる機械学習モデルに供給することであって、
    ここで、１つの記録は、
    物体のサンプルの画像と、
    前記サンプルを提示したもののユーザによる被監視操作の表示と、
    前記サンプルの前記画像のピクセルにマッピングされた、ディスプレイ上で又は光学デバイスを介して前記サンプルを観察する前記ユーザの被監視視線のグラウンドトゥルース表示であって、ここで、前記被監視視線は、前記ユーザが観察している前記サンプルの少なくとも１つのロケーションと、該少なくとも１つのロケーションを観察することに費やされた時間とを含む、グラウンドトゥルース表示と
    を含むことと、
    前記機械学習モデルの結果として、前記ターゲット画像のピクセルの予測された被監視視線の表示を取得することと
    を含むコンピュータにより実施される方法。
  14. 前記結果は、前記ターゲット画像のピクセルにマッピングされる複数のピクセルのヒートマップを含み、前記ヒートマップのピクセルの強度は、注視する予測時間に相関し、前記ヒートマップのピクセルは、前記被監視操作によって定められる複数のズームレベルにおける前記サンプルの異なる実際のサイズを示すピクセル、及び／又は、前記被監視操作のパン操作によって得られるディスプレイ上で非同時的に可視である前記サンプルの異なる部分に位置するピクセルに正規化される、請求項１３に記載のコンピュータにより実施される方法。
  15. 前記結果は、時間間隔にわたって前記ターゲット画像のピクセルにマッピングされる動的な視線を示す時系列を含み、前記コンピュータにより実施される方法は、前記ターゲット画像を観察するユーザの視線をリアルタイムで監視することと、前記リアルタイムの監視と前記時系列との間の差を比較することと、前記差が閾値を越えているときにアラートを生成することとを更に含む、請求項１３又は１４に記載のコンピュータにより実施される方法。
  16. 前記トレーニングデータセットの前記記録は、前記被監視視線のグラウンドトゥルース表示と前記画像の前記ピクセルとにマッピングされる前記ユーザによる操作のグラウンドトゥルース表示を更に含み、前記結果は、前記ターゲット画像を提示したものに対する操作の予測を含む、請求項１３～１５のいずれか１項に記載のコンピュータにより実施される方法。
  17. ユーザによる前記サンプルを提示したものの操作をリアルタイムで監視することと、前記操作のリアルタイムの監視と前記操作の予測との間の差を比較することと、前記差が閾値を越えているときにアラートを生成することとを更に含む、請求項１５に記載のコンピュータにより実施される方法。
  18. 物体のサンプルの視覚的解析を支援するコンピュータにより実施される方法であって、
    前記サンプルのターゲット画像を機械学習モデルに供給することと、
    前記機械学習モデルの結果として、前記サンプルの視覚的評価を示すサンプルスコアを取得することと
    を含み、
    前記機械学習モデルは、複数の記録を含むトレーニングデータセットに関してトレーニングされ、ここで、１つの記録は、物体のサンプルの画像と、前記サンプルを提示したもののユーザによる被監視操作の表示と、前記サンプルの前記画像のピクセルにマッピングされた、ディスプレイ上で又は光学デバイスを介して前記サンプルを観察する前記ユーザの被監視視線のグラウンドトゥルース表示であって、ここで、前記被監視視線は、前記ユーザが観察している前記サンプルの少なくとも１つのロケーションと、該少なくとも１つのロケーションを観察することに費やされた時間とを含むグラウンドトゥルース表示と、前記サンプルに割り当てられたサンプル視覚的評価スコアのグラウンドトゥルース表示とを含む、
    コンピュータにより実施される方法。
  19. 対物レンズとアイピースとの間で顕微鏡と統合される視線追跡の構成要素であって、
    顕微鏡下でサンプルを観察するユーザの各眼から後方反射された第１の組の電磁周波数を、前記ユーザの追跡される視線の表示を生成するそれぞれの第１のカメラに誘導すると同時に、前記顕微鏡下にある前記サンプルからの第２の組の電磁周波数を、前記ユーザが観察している視野を示す画像をキャプチャする第２のカメラに誘導する光学装置、
    を備える、構成要素。
  20. 前記第１の組の電磁周波数は、赤外線（ＩＲ）源によって生成されるＩＲ周波数であり、前記第１のカメラは、近ＩＲカメラを含み、前記第２の組の電磁周波数は、可視光スペクトルを含み、前記第２のカメラは、赤緑青（ＲＧＢ）カメラを含み、前記光学装置は、前記ＩＲ源からの前記第１の組の電磁周波数を前記ユーザの前記眼が位置するアイピースに誘導し、前記ユーザの前記眼からの前記後方反射された第１の組のを前記アイピースを介して前記ＮＩＲカメラに誘導し、前記サンプルからの前記第２の組の電磁周波数を前記第２のカメラ及び前記アイピースに誘導するビームスプリッタを含み、２つの眼からの反射後の単一の光路からの前記電磁光波を前記第１のカメラのうちの２つへの２つの光路に分離する前記光学装置は、異なる偏光を異なる光路に誘導する偏光子及び／又は波長板、及び／又はダイクロイックミラー及びスペクトルフィルタとともに赤外スペクトル光源を使用することと、及び／又はヘテロダイン検出のために各光路の異なる周波数において振幅変調を加えることとからなる群から選択される、請求項１９に記載の構成要素。
JP2023506110A 2020-07-27 2021-07-20 視線ベースの追跡を使用するアノテーションデータ収集 Pending JP2023536717A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063057105P 2020-07-27 2020-07-27
US63/057,105 2020-07-27
PCT/IB2021/056548 WO2022023881A1 (en) 2020-07-27 2021-07-20 Annotation data collection using gaze-based tracking

Publications (1)

Publication Number Publication Date
JP2023536717A true JP2023536717A (ja) 2023-08-29

Family

ID=80037721

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023506110A Pending JP2023536717A (ja) 2020-07-27 2021-07-20 視線ベースの追跡を使用するアノテーションデータ収集

Country Status (7)

Country Link
US (1) US20230266819A1 (ja)
EP (1) EP4189597A1 (ja)
JP (1) JP2023536717A (ja)
CN (1) CN116235223A (ja)
AU (1) AU2021316902A1 (ja)
CA (1) CA3188627A1 (ja)
WO (1) WO2022023881A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115562490B (zh) * 2022-10-12 2024-01-09 西北工业大学太仓长三角研究院 一种基于深度学习的飞机驾驶舱跨屏眼动交互方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3839812A3 (en) * 2014-09-03 2021-09-01 Ventana Medical Systems, Inc. Systems and methods for generating regions in an image encompassing tumor cells
US10203491B2 (en) * 2016-08-01 2019-02-12 Verily Life Sciences Llc Pathology data capture
WO2018042413A1 (en) * 2016-08-28 2018-03-08 Siegel Gabriel A system for histological examination of tissue specimens
US10657838B2 (en) * 2017-03-15 2020-05-19 International Business Machines Corporation System and method to teach and evaluate image grading performance using prior learned expert knowledge base
CN110441901A (zh) * 2019-08-14 2019-11-12 东北大学 一种可实时追踪注视位置的光学显微镜系统及方法

Also Published As

Publication number Publication date
CA3188627A1 (en) 2022-02-03
CN116235223A (zh) 2023-06-06
US20230266819A1 (en) 2023-08-24
EP4189597A1 (en) 2023-06-07
WO2022023881A1 (en) 2022-02-03
AU2021316902A1 (en) 2023-03-23

Similar Documents

Publication Publication Date Title
EP3776458B1 (en) Augmented reality microscope for pathology with overlay of quantitative biomarker data
US11636627B2 (en) System for histological examination of tissue specimens
US11594024B2 (en) Augmented reality microscope for pathology
Chen et al. An augmented reality microscope with real-time artificial intelligence integration for cancer diagnosis
JP6811837B2 (ja) 病理データ捕捉
US9891804B2 (en) Selection and display of biomarker expressions
US9836865B2 (en) Systems and methods for split screen display of biological specimen and for capturing records thereof
JP5490568B2 (ja) 顕微鏡システム、標本観察方法およびプログラム
JP2021047911A (ja) 高度な病理診断
JP6134315B2 (ja) 画像データにおける所見の解剖学的タグ付けの方法
US20210082570A1 (en) Artificial intelligence (ai) powered analysis of objects observable through a microscope
US20230266819A1 (en) Annotation data collection using gaze-based tracking
US20200074628A1 (en) Image processing apparatus, imaging system, image processing method and computer readable recoding medium
CA3216927A1 (en) Systems and methods to process electronic images to identify attributes