JP6373359B2 - 赤血球の分析のためのグラフィカル・ユーザ・インターフェース - Google Patents

赤血球の分析のためのグラフィカル・ユーザ・インターフェース Download PDF

Info

Publication number
JP6373359B2
JP6373359B2 JP2016512305A JP2016512305A JP6373359B2 JP 6373359 B2 JP6373359 B2 JP 6373359B2 JP 2016512305 A JP2016512305 A JP 2016512305A JP 2016512305 A JP2016512305 A JP 2016512305A JP 6373359 B2 JP6373359 B2 JP 6373359B2
Authority
JP
Japan
Prior art keywords
red blood
blood cells
image
group
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016512305A
Other languages
English (en)
Other versions
JP2016517989A5 (ja
JP2016517989A (ja
Inventor
ハンス−インゲ ベントソン
ハンス−インゲ ベントソン
リスベツ パルム
リスベツ パルム
マッツ エリクソン
マッツ エリクソン
ケント ストラーレン
ケント ストラーレン
マルティン アルメルス
マルティン アルメルス
アンナ カプフェラー
アンナ カプフェラー
マティアス ニルソン
マティアス ニルソン
ベニー クレイン
ベニー クレイン
イエルト−オーラ カールソン
イエルト−オーラ カールソン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cellavision AB
Original Assignee
Cellavision AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cellavision AB filed Critical Cellavision AB
Publication of JP2016517989A publication Critical patent/JP2016517989A/ja
Publication of JP2016517989A5 publication Critical patent/JP2016517989A5/ja
Application granted granted Critical
Publication of JP6373359B2 publication Critical patent/JP6373359B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/94Hardware or software architectures specially adapted for image or video understanding
    • G06V10/945User interactive design; Environments; Toolboxes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/40Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695Preprocessing, e.g. image segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698Matching; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00Image generation
    • G06T2211/40Computed tomography

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Processing (AREA)

Description

本発明は、赤血球の分析の分野に関する。特に、それを介して、赤血球のサンプルが分析されてもよい、グラフィカル・ユーザ・インタフェースに関する。
ヘルスケア分野の増大する要求に応えるため、赤血球のサンプルを効率的に高精度に分析することの重要性が高まっている。赤血球のサンプルを描いた画像を分析するためのグラフィカル・ユーザ・インタフェースがある。
例えば、赤血球のサンプルの画像をスクリーン上に示すグラフィカル・ユーザ・インタフェースがある。そして、ユーザは、そのサンプルを分析するために、その画像を、目視検査により走査してもよい。そのようなグラフィカル・ユーザ・インタフェースにより、サンプル中の赤血球の良好な空間的な概観が得られる。しかしながら、色、サイズ、形及び含有物などの赤血球の異なる特性に関して、個々の赤血球を分析するのは難しい。
他のグラフィカル・ユーザ・インタフェースは別のアプローチをとり、画像から赤血球を抽出し、抽出された赤血球をスクリーン上に並べて表示する。また、抽出された赤血球を異なる特性に基づいて分類してもよい。このように、サンプル中の赤血球の異なる特性に関して個々の赤血球を分析することは可能である。しかしながら、赤血球は、画像から抽出されるため、サンプル中の赤血球の空間情報が失われる。従って、改良の余地がある。
上記の事情を考慮すると、空間及び状況環境の両方における赤血球を示すグラフィカル・ユーザ・インタフェースを有することは、有益である。従って、本発明の目的は、赤血球の分析のための改善されたグラフィカル・ユーザ・インタフェースを提供することである。特に、異なる特性に関しての個々の赤血球の分析を可能とするのと同時に、異なる特性に関してのサンプル中の赤血球の空間的な概観を提示するグラフィカル・ユーザ・インタフェースを提供することが目的である。
本発明の第1の態様によれば、上記の目的は、赤血球の分析用のグラフィカル・ユーザ・インタフェースを生成する方法によって達成される。その方法は、赤血球のサンプルが描かれた画像を受け取り、前記画像中の各赤血球について、前記画像中の前記赤血球のセグメンテーション及び位置と、赤血球の少なくとも1つの特性に関する少なくとも1つのグループへの前記赤血球の分類と、を含む赤血球データを受け取り、前記画像中の前記赤血球が分類された少なくとも1つの前記グループを指定する第1のユーザ入力を受け取り、前記グラフィカル・ユーザ・インタフェースの第1のビューを、前記第1のユーザ入力により指定された前記少なくとも1つのグループに分類された全ての赤血球を前記赤血球データの中で検出し、前記検出した赤血球を前記画像の中で強調表示し、前記第1のビューに、赤血球が強調表示された前記画像を表示する、ことにより生成し、前記グラフィカル・ユーザ・インタフェースの第2のビューを、前記第1のユーザ入力により示された前記少なくとも1つのグループ各々について、前記グループに分類された全ての赤血球を前記赤血球データ内で検出し、前記グループに分類された前記赤血球各々のセグメンテーションに属する画像データを前記画像から抽出することによって、グループに分類された前記赤血球各々を前記画像から抽出し、前記抽出された赤血球を、前記第2のビュー内の、前記グループに対応するサブビューに表示する、ことにより生成することを含む。
赤血球のセグメンテーションによりは、赤血球の広がりを定義することを意図するデータである。例えば、セグメンテーションは、赤血球に属する画像内の画素を定義してもよい。セグメンテーションは、例えば、赤血球の輪郭を定義してもよいし、または、赤血球に属する画素の指示を提供するマスクの形状でもよい。
上述の方法で生成されたグラフィカル・ユーザ・インタフェースは、このように、第1のビュー及び第2のビューを備える。グラフィカル・ユーザ・インタフェースのユーザは、赤血球の特定のグループまたはグループ群を選択する入力を行ってもよい。第1のビューでは、選択されたグループまたはグループ群の赤血球が、選択されていないグループと比べて容易に識別可能になることを意図して、選択されたグループまたはグループ群に属する赤血球が、赤血球のサンプル画像の中で強調表示される。第1のビューでは、ユーザは、このようにして、選択されたグループまたはグループ群の赤血球または空間的な分布の概要を得てもよい。ユーザは、例えば、選択されたグループまたはグループ群の赤血球が、診断すべき医学的状態であるか、または、サンプルの準備にエラーがあることを示すクラスタを形成する傾向があるかどうかを知ることができても良い。第2のビューでは、選択されたグループまたはグループ群の赤血球が、画像から個々に抽出され、グループ毎に編成される。第2のビューでは、ユーザは、このようにして、赤血球を個々に、異なる特性に関して調査してもよい。
赤血球は、色、サイズ、形状、及び含有物等の異なる特性に関連付けられてもよい。各特性は、異なるグループに関連付けられてもよい。例えば、「形状」特性は、第1の形状のセル、第2の形状のセル、及び第3の形状のセルに関連するグループに関連付けられても良い。本発明によれば、第1のユーザ入力は、1つ以上のそのようなグループを指定しても良い。その代わりに、または、追加して、第1のユーザ入力は、赤血球の特性を指定しても良く、それにより、その特性に関連付けられた全てのグループが指定されたことになる。上記の例では、第1のユーザ入力が「形状」特性を指定した場合、第1、第2、及び第3の形状のセルに関連するグループが、自動的に指定される。これにより、ユーザは、赤血球の分析を、特性レベルと同様にグループレベルで行うことができる。
第1のユーザ入力が1つ以上のグループを指定する場合、上記方法は、前記第1のまたは前記第2のビューを介して、第1のユーザ入力により指定された少なくとも1つのグループの中の選択されたグループを指定する第2のユーザ入力を受け取り、それに応じて、前記選択されたグループの赤血球のみを強調表示するよう前記第1のビューの前記サブビューに表示された前記画像を更新する、ことをさらに含んでもよい。このようにして、ユーザは、第1のユーザ入力によるグループの指定を、1つのグループの指定に絞りこんでもよい。
第2のビューを利用するユーザは、1つ以上の特定の赤血球のサンプル内での空間的な位置に興味があってもよい。この目的のため、上記方法は、前記第2のビューを介して、1つ以上の選択された赤血球を指定する第3のユーザ入力を受け取り、それに応じて、前記選択された1つ以上の赤血球のみを強調表示するよう前記第1のビューの前記サブビューに表示された前記画像を更新する、ことをさらに含んでもよい。
代替の実施形態では、上記方法は、前記第1のビューを介して、1つ以上の選択された赤血球を指定するユーザ入力を受け取り、それに応じて、第2のビューのサブビュー内で、選択された赤血球にグラフィカルマーキングを付け加えることを含んでもよい。
第2のビューを利用するユーザは、サンプル内の特定の赤血球の空間情報に興味があっても良い。例えば、ユーザは、特定の赤血球とその周囲とを、より間近で見ることに興味があってもよい。この目的のため、上記方法は、前記第2のビューを介して、選択された赤血球を指定する第3のユーザ入力を受け取り、前記赤血球データの中で、前記選択された赤血球の位置を検出し、前記選択された赤血球を含む領域に対応する画像データを前記画像から抽出し、前記抽出された画像データの拡大率を増加し、前記第2のビューの第2のサブビューにそれを表示する、ことを含んでもよい。
第1のビュー内に表示される画像中の強調表示から、順次、分析が完了したグループを取り除くことは、赤血球の分析を行うユーザにとって、便利な方法である。第1のビューに表示される画像中に、強調表示されるグループがなくなった時点で、ユーザは、全ての分析が完了したことが分かる。これを実現するため、上記方法は、分析が完了したと第1のユーザ入力によって指定された、少なくとも1つのグループの中の選択されたグループを指定する第4のユーザ入力を受け取り、それに応じて、選択されたグループ内の赤血球の強調表示を解除して、第1のビューの中のサブビューに表示される画像を更新する、ことを含んでもよい。
上述したように、赤血球データは、特性に関する少なくとも1つのグループへのそのセルの分類を備える。典型的には、赤血球の分類は、機械的に行われ、例えば、ニューラル・ネットワーク、サポート・ベクタ・マシン、ファジー論理アルゴリズム、または、k近傍法などを用いて行う。第2のビューのサブビューで個々の赤血球を分析するユーザは、特定のセルの分類は誤りが多いと気づき、セルを手作業で再分類したいと望むかもしれない。手作業の分類を可能とするため、上記方法は、前記第1のユーザ入力により指定された第1のグループから前記第1のユーザ入力により指定された第2のグループに赤血球を再分類する指示を、第4のユーザ入力として、前記第2のビューを介してを受け取り、前記赤血球に対し、前記赤血球データの分類を、前記第1のグループから前記第2のグループに更新し、前記抽出した赤血球を、前記第1のグループに対応する前記サブビューの代わりに、前記第2のグループに対応する前記サブビューに表示するよう前記第2のビューを更新する、ことを含んでもよい。例えば、第4のユーザ入力は、ドラッグ・アンド・ドロップ操作の形であってもよく、ユーザは、例えば、コンピュータマウスを用いて、前記分類するセルを、第1のグループに対応するサブビューからドラッグし、第2のグループに対応するサブビューにドロップする。
一般に、赤血球は、画像中の背景に対するそれのコントラストが、強調表示されない他の赤血球の背景に対するコントラストよりも大きい場合、強調表示されている。コントラストに関するそのような違いを実現するため、前記検出した赤血球を前記画像内で強調表示するステップは、前記第1のユーザ入力によって指定された前記少なくとも1つのグループに分類されない各赤血球について、前記画像の背景に対する前記赤血球のセグメンテーション内の部分の前記画像のコントラストを低減することを含み、前記画像の前記背景は、前記画像中の、前記赤血球が描かれていない部分で形成されてもよい。このように、第1のユーザ入力により指定された少なくとも1つのグループに分類されていない赤血球は、第1のユーザ入力によって指定された赤血球に比べて淡色化される。
前記赤血球のセグメンテーション内の部分の前記画像のコントラストを低減するステップは、前記画像内の前記赤血球の前記セグメンテーション内の前記部分の強度を、前記画像内の前記赤血球の前記セグメンテーション内の前記部分の元の強度と前記画像の前記背景の強度との組み合わせに設定することを含んでもよい。これは、セルを淡色化する効果的な方法である。さらに、強調表示されていない赤血球は、依然として背景から識別可能である。組み合わせは、例えば、平均値及び加重平均値でもよい。
本発明のグラフィカル・ユーザ・インタフェースでは、第2のビューのサブビュー内の赤血球をソートすることができる。1つの実施形態では、分類の信頼度に基づいてソートしてもよい。この目的のため、前記赤血球データは、前記画像内の各赤血球について、少なくとも1つのグループへの前記赤血球の分類の信頼性をさらに含み、前記グラフィカル・ユーザ・インタフェースの第2のビューを生成するステップは、前記第1のユーザ入力によって指定される、前記少なくとも1つのグループ各々について、前記グループへの前記赤血球の分類の信頼性に応じて前記抽出した赤血球をソートすることをさらに含んでいてもよい。これにより、入力するユーザは、自動的な分類が不確かで、手作業で再分類した方が良い赤血球を、容易に発見できてもよい。
サンプルの赤血球が描かれた画像が、複数のサブ画像で構成されている場合がある。サブ画像には、少し重複している部分があってもよい。このような場合、赤血球のサンプルが描かれた画像を受け取るステップは、結合されると赤血球のサンプルを描く複数の画像を受け取ることを含み、前記赤血球データは、前記画像内の各赤血球について、前記複数の画像の中の前記赤血球が描かれている画像の識別コードをさらに含み、赤血球が強調表示された前記画像を表示するステップは、赤血球が強調表示された前記結合された複数の画像を表示することを含んでもよい。複数のサブ画像を有することにより、合成された画像において、よりよい解像度を得ることができる。より具体的には、画像の解像度は、画像の画素数により制限されるだけではなく、画像を取得する際に適用された拡大率によっても制限される。このため、解像度を向上させるために拡大率を増大させることは有効である。このようにするため、サンプルの全領域をカバーするために、複数のサブビューを取得することが必要であってもよい。
上述したように、赤血球は、異なる特性に関して、異なるグループに分類される。これは、特定の赤血球は、異なる特性に関して、いくつかのグループに分類されてもよいことを意味する。第2のビューにおいては、赤血球は、グループ毎に表示される。しかしながら、2つの異なるグループに分類されたセルについて、同時に表示されるビューを得ることに興味があってもよい。この目的のため、上記方法は、前記第2のビューの、第3のグループに対応するサブビューにおいて、第4のグループにも分類される前記抽出された赤血球にグラフィカルマーキングを付け加えることをさらに含み、前記第3及び前記第4のグループは、赤血球の異なる特性に関連づけられてもよい。
本発明の第2の態様によれば、上記の目的は、赤血球のサンプルが描かれた画像と、赤血球データとを受け取るよう構成され、赤血球データが、前記画像内の各赤血球について、前記画像内の前記赤血球のセグメンテーション及び位置と、赤血球の少なくとも1つの特性に基づいた少なくとも1つのグループへの前記赤血球の分類と、を備えた受取部と、前記画像内の前記赤血球が分類された少なくとも1つのグループを指定する第1の入力を受け取るよう構成されたユーザ入力部と、前記グラフィカル・ユーザ・インタフェースの第1のビューを、前記第1のユーザ入力によって指定された前記少なくとも1つのグループに分類された全ての赤血球を前記赤血球データの中で検出し、前記検出した赤血球を前記画像内で強調表示し、前記第1のビュー内に、赤血球が強調表示された前記画像を表示する、ことにより生成するよう構成された処理部と、を備え、前記処理部は、前記グラフィカル・ユーザ・インタフェースの第2のビューを、前記第1のユーザ入力によって指定された前記少なくとも1つのグループ各々について、前記グループに分類された全ての赤血球を前記赤血球データの中で検出し、前記グループに分類された前記赤血球各々の前記セグメンテーションに属する画像データを前記画像から抽出することによって、前記グループに分類された前記赤血球各々を前記画像から抽出し、前記抽出した赤血球を、前記第2のビュー内の、前記グループに対応する前記サブビューに表示することにより生成するよう、さらに構成される、赤血球の分析のためのグラフィカル・ユーザ・インタフェースを生成する装置によって達成される。
第3の態様によれば、上記目的は、赤血球のサンプルが描かれた画像と、赤血球データとを受け取るよう構成され、赤血球データが、前記画像内の各赤血球について、画像内の前記赤血球のセグメンテーション及び位置と、赤血球の、少なくとも1つの特性に基づいた少なくとも1つのグループへの前記赤血球の分類と、を備えた受取インタフェースと、前記画像内の前記赤血球が分類された少なくとも1つのグループを指定する第1の入力を受け取るよう構成されたユーザ入力インタフェースと、第1のビューであって、前記第1のユーザ入力によって指定された前記少なくとも1つのグループに分類された全ての赤血球を前記赤血球データの中で検出し、前記検出した赤血球を前記画像内で強調表示し、前記第1のビュー内に、赤血球が強調表示された前記画像を表示する、ことにより生成された第1のビューと、第2のビューであって、前記第1のユーザ入力によって指定された前記少なくとも1つのグループ各々について、前記グループに分類された全ての赤血球を前記赤血球データの中で検出し、前記グループに分類された前記赤血球各々の前記セグメンテーションに属する画像データを前記画像から抽出することによって、前記グループに分類された前記赤血球各々を画像から抽出し、前記抽出した赤血球を、前記グループに対応する前記第2のビューの前記サブビューに表示する、ことにより生成される第2のビューと、を備えた、赤血球を分析するためのグラフィカル・ユーザ・インタフェースによって達成される。
第4の態様によれば、上記目的は、処理能力を有する装置で実行された場合、第1の態様の方法を達成するよう作られたコンピュータコード命令を含む、コンピュータ読み取り可能な媒体で実現されてもよい。
第5の態様によれば、上記目的は、赤血球を分析するためのグラフィカル・ユーザ・インタフェースを生成するシステムによって達成される。そのシステムは、赤血球のサンプルを描画するよう構成された描画装置と、表示装置と、請求項13に記載のグラフィカル・ユーザ・インタフェースを生成する装置であって、当該装置は、前記描画装置と前記表示装置とに接続され、前記描画装置から赤血球のサンプルが描かれた画像を受け取り、前記表示装置上の前記グラフィカル・ユーザ・インタフェースに表示するよう構成された装置と、を備えてもよい。描画装置は、例えば、赤血球のサンプルの画像を取得するよう準備された顕微鏡であってもよい。
第2、第3、第4及び第5の態様は、一般に、第1の態様と同じ特徴と利点とを有していてもよい。さらに、この発明は、明示的に他の記載がない限り、特徴の全ての可能な組み合わせに関することに留意されたい。
一般に、クレームで用いられる全ての用語は、ここで明示的に他の解釈が定義されていない限り、この技術分野の通常の意味に従って解釈される。例えば、「ひとつの(a)/ひとつの(an)/その(the)[画像、ステップなど]」の全ての記載は、明示的に他の記載がない限り、前記画像、ステップなどの少なくとも1つの例を参照するようにオープンに解釈される。ここに開示されるいかなる方法のステップも、明示的に記載がない限り、開示された順序通りに実行される必要はない。
上記は、本発明の追加の目的、特徴及び利点も同様に、同じ要素には同じ参照数字(符号)が用いられる添付図面を参照して、以下の、本願の好適な実施形態の、例示的で限定的でない詳細な説明により、よりよく理解されるであろう。
図1は、実施形態のグラフィカル・ユーザ・インタフェースの第1のビューの概略図である。 図2は、実施形態のグラフィカル・ユーザ・インタフェースの第2のビューの概略図である。 図3は、実施形態の装置の概略図である。 図4は、実施形態のグラフィカル・ユーザ・インタフェースの第1のビューの概略図である。 図5は、実施形態のグラフィカル・ユーザ・インタフェースの第2のビューの概略図である。 図6は、実施形態のグラフィカル・ユーザ・インタフェースの第2のビューの概略図である。 図7は、実施形態のグラフィカル・ユーザ・インタフェースを生成する方法のフローチャートである。
本発明は、以降、現時点で好ましい本発明の実施形態が示される、添付の図面を参照しながら、さらに十分に説明される。しかしながら、この発明は、多くの異なる態様で具体化されてもよい。ここに記載された実施形態に限定されて解釈されるべきではない。むしろ、これらの実施形態は、完璧さと完全性のために提供され、当業者に発明の範囲を十分に伝える。ここに開示されたシステムと装置とは、動作中に記載される。
図1及び図2は、グラフィカル・ユーザ・インタフェースの第1のビュー100及び第2のビュー200をそれぞれ説明するための図である。グラフィカル・ユーザ・インタフェースは、インターフェース内で示されるデータを受信するための受信インターフェースを含む。このインターフェースのユーザは、例えば、トグル・ボタン102a及び102bの使用により、または、タブまたはメニューを用いる等の任意の同様の手段により第1のビュー100と第2のビュー200との間で切り替えることができる。
第1のビュー100は、サンプル中の赤血球の概要を提供することを目的とする。この目的のため、第1のビュー100は、赤血球108のサンプルを描く画像106を表示するよう構成される。例えば、画像106は、第1のビュー100のサブビュー104に表示されてもよい。画像106は、画像106に描かれた赤血球108を含む前景、及び、画像106の、赤血球108が描かれない部分で形成される背景110を備える。
画像106は、各々、赤血球108のサンプルの一部を描く複数の画像(図1に点線で示される)で構成されてもよい。複数の画像の結合が赤血球108のサンプルを描く画像106を形成するようつなぎ合わされてもよい。例えば、WO2002084368 A1の、特に、21−26ページに記載された方法を用いてもよい。
以下に詳細に述べるように、いくつかの赤血球108は、画像106中で、強調表示される。すなわち、それらは、強調表示されない他の赤血球よりも背景108に関してより高いコントラストで表示される。図示された例では、赤血球108aは、強調表示され、赤血球108bは、強調表示されない。
図示された第1のビュー100は、赤血球の特性114a−dのリストを表示するよう構成されたサブビュー112を含む。ここでは、列記された特性114a−dは、赤血球の色114a、赤血球のサイズ114b、赤血球の形状114c、赤血球の含有物114dである。しかしながら、特性の他の選択は、もちろん可能である。
各特性114a−dは、1つ以上のグループ116に関連付けられる。グループ116は、関連付けられた特性114a−dの異なる態様を反映する。例えば、「形状」特性114cは、赤血球108が持ち得る異なる形状を反映するグループ116に関連づけられる。ここで、「形状」特性114cは、グループ「変形赤血球増加症」、「標的細胞」、「分裂赤血球増加症」、「ヘルメット細胞」、「鎌状赤血球」、「セル状赤血球症」、「楕円赤血球症」、「卵形赤血球症」、「涙滴細胞」、「丘斑細胞」、「有棘赤血球増加症」及び「棘状赤血球増加症」に関連づけられる。
画像106中のセル108は、1つ以上の特性114a−dに関連づけられる。より具体的には、画像106中のセル108は、特性114a−dの少なくとも1つに関して、少なくとも1つのグループ116に分類される。例えば、特定の赤血球108は、「色」特性114aに関しては、「多染性」のグループに、「形状」特性114cに関しては、「分裂赤血球増加症」のグループに分類されてもよい。
サブビュー112には、異なるグループ116に分類された、画像106中の赤血球108の割合(パーセンテージ)118が表示されてもよい。この例では、画像106の中の51.6%の赤血球が、「色」特性114aに関して「多染性」のグループに分類されている。さらに、または、その代り、サブビュー112は、ある特定のグループ116に分類された赤血球108の部分を示す割合120が表示されるよう構成されてもよい。図示された例では、サブビュー112は、割合0、1、2、3に対応する4段階の割合が表示されるよう構成される。割合120は、例えば、図示記号122を用いて、図示されてもよい。
第1のビュー100は、ユーザ入力を受け取るよう構成される。例えば、ユーザは、サブビュー112に表示される特性114a−dを指定してもよい。指定は、サブビュー112内の特性14a−dの名称を、ユーザがマウスを用いたりタッチスクリーンを介してクリックしたりすること等により行われる。この例では、「形状」特性114cを指定するユーザ入力が示されている。特性114a−dを指定することにより、その特性114a−dに関連づけられた全てのグループ116が自動的に指定される。同様に、ユーザは、1つ以上のグループ116を指定してもよい。以下に、より詳細に述べるように、ユーザ入力を介して指定されたグループに分類された赤血球108aは、画像106中で強調表示される。
第2のビュー200は、サンプルの中の、個々の赤血球108のグループ116の概要を提供することを目的とする。この目的のため、第2のビュー200は、各々、グループ116の1つに対応するサブビュー204a−dを備える。図示された例では、サブビュー204aは、グループ「標的細胞」に対応し、サブビュー204bは、グループ「分裂赤血球増加症」に対応し、サブビュー204cは、グループ「ヘルメット細胞」に対応し、サブビュー204dは、グループ「鎌状赤血球」に対応する。ユーザは、スクロール動作を行うことにより、より多くのサブビューを見てもよい。
特に、サブビュー204a−dは、ユーザ入力を介して指定されたグループ116に対応する。この例では、「形状」特性114cに関連付けられた全てのグループ116がユーザ入力を介して指定されたため、サブビュー204a−dは、「形状」特性114cに関連付けられたグループ116に対応する。従って、もし、ユーザ入力により、特性114a−dの他の1つまたは他のグループ116が指定された場合、第2のビュー200は、指定されたそれらのグループに対応するサブビューを備えることとなる。
第2のビュー200は、図1を参照して記載されたサブビュー112に対応するサブビュー212をさらに備えてもよい。
図3は、図1及び図2を参照して記載されたグラフィカル・ユーザ・インタフェース等の、赤血球を分析するためのグラフィカル・ユーザ・インタフェースを生成するシステムを例示する。システムは、描画装置312と、グラフィカル・ユーザ・インタフェースを生成する装置300と、ディスプレイ310と、を備える。描画装置312、装置300及びディスプレイ310は、別個の装置として、または、1つの装置として形成されてもよい。特に、装置300とディスプレイ310とは、共用ユニットの一部を形成してもよい。描画装置312は、一般に、赤血球のサンプルの画像を取得するよう構成されていればいかなる装置であってもよい。例えば、描画装置は、カメラを備えたマイクロスコープであってもよい。
装置300は、受け取り部302、ユーザ入力部304、及び、中央処理装置などの処理部306を備え、ソフトウェアもしくはハードウェア、または、これらの組み合わせで実現されてもよい。受け取り部302は、赤血球のサンプルの画像を受け取るよう構成される。例えば、受け取り部302は、赤血球のサンプルの画像を取得するよう構成された描画装置312から、そのような画像を受け取る。ユーザ入力部304は、例えば、本発明の実施形態のグラフィカル・ユーザ・インタフェースを介してユーザが指定したり選択したりすることが可能な、例えば、コンピュータマウスや類似の手段であってもよい。装置300は、メモリ308をさらに備える。メモリ308は、赤血球を描出した画像及び赤血球に関連するデータなどの異なる種類のデータを記憶する。さらに、メモリは、処理部306によって実行されたときに、ここに開示されたいかなる方法も達成するコンピュータコード命令を備えていてもよい。
図1、図2及び図7に示すフローチャートを参照して、装置300による動作を記載していくこととする。
ステップS100において、装置300は、赤血球108のサンプルを描画した画像106を受け取る。画像106は、例えば、メモリ308から、または赤血球のサンプルの画像を取得するよう構成された描画装置312から、受け取り部302によって受け取られてもよい。画像106が複数の画像から構成される場合(図1を参照して記載されたように)、装置300は、ステップS100において、複数の画像を受け取ってもよい。
ステップS102において、装置300は、赤血球データを受け取る。赤血球データは、例えば、メモリ308、描画装置312、または、外部のデータベース(不図示)から、受け取り部302によって受け取られてもよい。
赤血球データは、画像106中の赤血球に関連する情報を備える。赤血球データは、画像106中の各赤血球108に関して複数のデータ要素を備える、ベクトル形式等のデータ構造を形成してもよい。
特に、赤血球データは、画像106中の赤血球108の位置を示すデータ要素を備えていてもよい。このようにして、赤血球データにより、各赤血球108は、画像106における位置で識別できる。画像106が複数の画像から構成される場合、赤血球データは、各赤血球108について、その赤血球が位置する画像の識別コードをさらに備えてもよい。赤血球データは、赤血球108各々のセグメンテーションを示すデータ要素をさらに備えてもよい。セグメンテーションは、例えば、画像106中の赤血球108の輪郭、言い換えると外周、の形であってもよい。あるいは、セグメンテーションは、画像106内の赤血球108に含まれる画素を識別するマスクの形であってもよい。このように、赤血球データは、画像106中の各赤血球108の空間的な広がりと形状とを特定する。以下に詳細に説明するように、位置及びセグメンテーションデータにより、処理部306は、第1のビュー100を生成する際、個々の赤血球108を強調表示でき、第2のビュー200を生成する際、個々の赤血球108を、画像106から抽出することができる。
赤血球データ、特に位置及びセグメンテーションデータは、画像106から、個々の赤血球108を識別し、切り出すセグメンテーションアルゴリズムの出力であってもよい。例えば、処理部306または描画装置312は、ステップS102を実行する際、装置300によって読み込まれる赤血球データを記憶するために、そのようなセグメンテーションアルゴリズムを事前に実行してもよい。この目的のために、任意の既存の好適なセグメンテーションアルゴリズムが用いられてもよい。しかしながら、好ましくは、エッジ検出に基づいたセグメンテーションアルゴリズムが用いられる。
赤血球データは、画像106中の各赤血球108について、血球を描写する画像範囲のいくつかの特性の値を示すデータ要素をさらに備えてもよい。例えば、画像範囲の領域またはその範囲の平均色の情報を含むことができる。
赤血球データは、画像106中の各赤血球108について、赤血球の少なくとも1つの特性114a−dに関する、少なくとも1つのグループ116への赤血球108の分類を提供するデータ要素をさらに備えていても良い。このように、第1及び第2のビュー100及び200に表示されるグループ116は、赤血球108が分類されるグループである。例えば、特定の赤血球108は、「サイズ」特性114bに関しては、小赤血球に分類され、すなわち、「小赤血球症」というグループに入れられ、「形状」特性114cに関しては、分裂赤血球に分類され、すなわち、「分裂赤血球増加症」というグループに入れられる。
その分類は、ニューラル・ネットワーク等の、個々の赤血球108を異なるグループに分類する分類アルゴリズムの出力であってもよい。この目的のために、分類アルゴリズムは、上述のセグメンテーションアルゴリズムからの出力であるセグメンテーションデータを利用してもよい。分類アルゴリズムは、典型的には、手作業による分類が可能な赤血球でトレーニングされる。このようなトレーニングを行い、分類アルゴリズムのパラメータが評価され、画像106中の赤血球108等の、手作業による分類の存在しない赤血球を分類するために使用されてもよい。例えば、処理部306または描画装置312は、ステップS102を実行する際、装置300により読み込まれる赤血球データを記憶するために、事前にそのような分類アルゴリズムを実行してもよい。
赤血球データは、各分類の信頼度に関するデータ要素をさらに備えていてもよい。信頼度は、分類の精度の尺度を提供する。例えば、信頼性は、分類が正確であるというpropabilityを表す0と1との間の値であってもよい。より一般的には、信頼度は、いかなる範囲の値であってもよい。
ステップS104において、装置300は、グループ116の少なくとも1つを指定するユーザ入力を受け取る。ユーザ入力は、ユーザ入力部304を介して受け取られても良い。ユーザは、第1及び第2のビュー100及び200のそれぞれのサブビュー112または212のいずれかにおいて、グループ116をクリックすることによってグループ116を選択する、例えば、マウスまたは他の同様の手段を用いて、グループ116の少なくとも1つを指定してもよい。このように、サブビュー112及び212は、グラフィカル・ユーザ・インタフェースのユーザ入力インタフェースとなる。ユーザ入力は、図1に図示される「形状」特性114c等の赤血球の特性114a−dを指定してもよい。特性114a−dを指定することにより、ユーザ入力は、その特性114a−dに関連付けられた全てのグループを指定する。ユーザ入力を受け取ったことに応じて、処理部306は、第1及び第2のビュー100及び200において、指定された少なくとも1つのグループを強調表示してもよい。
装置300は、画像106と赤血球データとを受け取ると、ステップS106に進み、第1のビュー100を生成し、ステップS108に進み、第2のビュー200を生成する。
第1のビュー100、特に第1のビュー100のサブビュー104を生成するため、処理部306は、複数のサブステップS106a−cを実行する。
ステップS106aでは、処理部306は、ユーザ入力で指定された少なくとも1つのグループ116に分類された赤血球108を検出するために、赤血球データを分析する。このため、処理部306は、指定された少なくとも1つのグループ116に対応するデータ要素を検出するために、赤血球データを探索してもよい。検出したデータ要素について、処理部306は、対応する赤血球108のアイデンティティを識別してもよい。図1に図示する例では、ユーザ入力は、「形状」特性114cに関連付けられた全てのグループ116を指定している。従って、処理部306は、赤血球データを用いて、「形状」特性114cに関連付けられたグループ116の1つに分類された画像106内の全ての赤血球108を識別する。
ステップS106bでは、処理部306は、ステップS106aで検出した赤血球108を画像106の中で強調表示する。一般に、赤血球108aの強調表示は、その背景110に対するコントラストが、強調表示されない赤血球108bの背景110に対するコントラストに比べて、より高いことを意味する。そのような強調表示の仕方には、多くの可能な選択肢がある。第1のオプションによれば、強調表示されない赤血球108bまたは背景に対するコントラストを一定とし、強調表示される赤血球108aの背景110に対するコントラストを増加させてもよい。第2のオプションによれば、強調表示する赤血球108aまたは背景に対するコントラストを一定とし、強調表示されない赤血球108bの背景110に対するコントラストを低減させてもよい。これにより、他の赤血球108bが、背景と区別しにくくなるという意味で「淡色化」され、赤血球108aが強調表示される。第3のオプションによれば、強調表示する赤血球108aまたは背景に対するコントラストを増大させ、強調表示しない赤血球108bの背景110に対するコントラストを低減させてもよい。
ユーザによる分析対象の赤血球は、典型的には、ユーザ入力により指定された赤血球であるため、画像106中でそのセルの外観を修正しないことが好まれる。このため、上記第2のオプション、すなわち、赤血球108b等の強調表示されない赤血球が淡色化される表示態様が好ましい。より詳細には、処理部306は、画像106内の、セグメンテーションにより定義された赤血球108bの内部の強度を、画像106の赤血球108bの内部の強度と背景110の強度との組み合わせに設定することにより、赤血球108bを淡色化してもよい。背景110の強度は、背景110の平均の強度であってもよい。例えば、組合せは、平均値、加重平均値、または、その他の、その分野で知られているレイヤーブレンディング手法であってもよい。このようにして、赤血球108bと背景110との間のコントラストは低減し、それにより、赤血球108bは、淡色化される。
ステップ106cでは、処理部306は、赤血球108aを強調表示した画像106を、第1のビュー100に表示する。例えば、処理部306は、第1のビュー100のサブビュー104にその画像を表示してもよい。第1のビュー100、そしてまたサブビュー104は、例えば、ディスプレイ310上に表示されてもよい。
画像106が複数の画像から構成されている場合、ステップS106a−cは、複数の画像各々について実行されることが理解される。最後のステップS106cでは、処理部306は、複数の画像を合成し、すなわち、つなぎ合わせ、強調表示された赤血球を有する画像106を形成する。
第2のビュー200と、第2のビュー100の特にサブビュー204a−dを生成するため、処理部306は、複数のサブステップS108a−cを実行する。上述したように、サブビュー204a−d各々は、ユーザ入力によって指定されたグループ116の1つに対応する。この例では、「形状」特性114cに関連付けられたグループがユーザ入力により指定されている。処理部306は、サブビュー204a−d各々を生成するために、ユーザ入力によって指定されたグループ116各々について、ステップS108a−cを実行する。下記では、ステップS108a−cを、指定されたグループのうちの1つ、すなわち、サブビュー204bに対応するグループ「分裂赤血球増加症」に関して説明する。
ステップS108aでは、処理部306は、グループ116b、ここでは、グループ「分裂赤血球増加症」に分類された赤血球を、赤血球データの中から検出する。このため、処理部306は、ステップS106aを参照して説明したのと同様に進める。
ステップS108bでは、処理部306は、赤血球データに従ってグループ116bに分類された赤血球108各々を抽出する。赤血球108a等の赤血球を抽出するとは、一般的に、画像106から赤血球を切り出すことを意味する。より詳しくは、赤血球108を抽出するために、処理部306は、赤血球データによって提供される赤血球108aの輪郭内等の画像106のセグメンテーションに属する部分を抽出してもよい。
グループ116bに分類された全ての赤血球が画像106から抽出されると、処理部306は、グループ116に対応するサブビュー204b内の抽出された赤血球の表示を進める。図2に示すように、抽出された赤血球は、サブビュー204bにおいて並べて表示される。
そして、処理部306は、ユーザ入力により指定された全てのグループについて、サブビュー204a−dが生成されるまで、ステップS108a−cを繰り返す。なお、画像106が複数の画像から構成される場合、ステップS108a−cは、複数の画像各々について、実行されてもよいことが理解される。
処理部306は、さらに、異なるパラメータに関して、サブビュー204a−d各々内で、抽出した赤血球をソートしてもよい。このようなソーティングは、さらなるユーザ入力に応じて実行されてもよい。例えば、赤血球データがグループ116への分類に関する信頼度を備えた場合、処理部306は、特定のグループ、例えば、グループ116bにおいて、抽出した赤血球を、信頼度に応じてソートしてもよい。ソートは、信頼度の昇順、降順、いずれであってもよい。他の例では、第1の特性、ここでは、「形状」114cに関連付けられたグループ116bに対応して抽出された赤血球を、第2の特性、例えば、「サイズ」114bに応じてソートしてもよい。
上述した方法の結果、第1の100及び第2のビュー200を備えたグラフィカル・ユーザ・インタフェースを得る。第2のビュー200では、このインタフェースのユーザは、サブビュー204a−dにより、個々の赤血球をグループ毎に容易に分析できる。同時に、ユーザは、第1のビュー100を介して、サブビュー204a−dに対応するグループの赤血球の、サンプル内での空間的な分布を得ることができる。このようにして、ユーザは、第2のビューに示される赤血球の分析の、所定の結果の理由が、サンプル内での赤血球の所定の空間的な分布によるものであるかを検出する機会を得ることができる。例えば、所定のグループの赤血球が、サンプル内で不均一に分布している場合、サンプルが適切に準備されたものでないことを示しているかもしれない。また、第1のビュー100において、所定のグループの赤血球がクラスタを形成する傾向にある場合、第2のビュー200単独での抽出した赤血球の分析だけでは得られない、所定の診断を示しているかもしれない。
処理部306は、さらなるユーザ入力を受け取ってもよい。例えば、処理部306は、第1のビュー100または第2のビュー200を介して、第1のユーザ入力によって指定された少なくとも1つのグループの中の選択されたグループを指定する、さらなるユーザ入力を受け取ってもよい。この様子を、第1のビュー100を図示する図4にさらに示す。この例では、処理部306は、「形状」特性114cに関連付けられた全てのグループ116の指定を第1のユーザ入力として受け取る。さらに、処理部306は、グループ「分裂赤血球増加症」116bを選択するさらなるユーザ入力を受け取る。さらなるユーザ入力を受け取ったことに応じて、処理部306は、サブビュー104に表示された画像106を更新する。より詳細には、処理部306は、赤血球データに従って、グループ「分裂赤血球増加症」116bに分類された赤血球のみを強調表示することを進める。例えば、さらに上述したように、これは、グループ「分裂赤血球増加症」116bに分類されない全ての赤血球を淡色化する処理を含んでもよい。本例では、更新された画像106により、グループ「分裂赤血球増加症」の赤血球がサンプル内の所定の部分でクラスタ化しているように見えることがわかる。
同様に、処理部306は、第2のビュー200を介して、強調表示する1つ以上の特定の赤血球を指定する、さらなるユーザ入力を受け取ってもよい。典型的には、第2のビュー200の1つ以上のサブビュー204a−dにおいて選択することにより、1つ以上の特定の赤血球を指定してもよい。さらなるユーザ入力を受け取ったことに応じて、処理部306は、選択された1つ以上の赤血球のみを強調表示するよう第1の画像106を更新する。例えば、処理部306は、画像106内の、選択された赤血球以外を淡色化することを進めてもよい。
他の実施形態では、処理部306は、強調表示から除くよう選択されたグループの指定を、さらなるユーザ入力として受け取ってもよい。そのようなさらなる入力を受け取ると、処理部306は、第1のビュー100において、選択されたグループの赤血球の強調表示を解除するよう、画像106を更新してもよい。例えば、関心対象の赤血球の強調表示は、先に説明したように、当該関心対象の赤血球を淡色化することによって、解除してもよい。この実施形態は、第2のビュー200において赤血球を分析するユーザに、特に有用である。サブビュー204a−dに対応する特定のグループの分析が完了した時点で、その特定のグループの強調表示は、第1のビュー100から解除されてもよい。このとき、第1のビュー100において、赤血球が1つも強調表示されていない場合、ユーザは、全てのグループの分析が終了したことをダブルチェックできる。
図5は、ユーザインタフェースの他の機能を説明するための図である。より具体的には、図5は、グラフィカル・ユーザ・インタフェースの第2のビュー200を示す。処理部306は、サブビュー204a−dの1つから選択された赤血球508を指定するさらなるユーザ入力を受け取ってもよい。さらなるユーザ入力を受け取ると、処理部306は、選択された赤血球508の位置を検出するため、赤血球データを探索してもよい。位置を検出すると、処理部306は、画像106内の、選択された赤血球508を含む範囲に対応する部分506を抽出してもよい。そして、処理部306は、抽出された部分506の拡大率を増加させる、すなわち、選択された赤血球508を拡大する、ことを進めてもよい。そして、処理部306は、第2のビュー200のサブビュー504において、抽出された部分506を表示してもよい。
図6は、ユーザインタフェースのさらに他の機能を説明するための図である。図6は、グラフィカル・ユーザ・インタフェースの第2のビュー200を示す。前述したように、第2のビュー200は、本例では、「形状」特性114cに関連付けられたグループ116に対応するサブビュー204a−dを備える。特に、サブビュー204bは、グループ「分裂赤血球増加症」に対応する。処理部306は、サブビュー204a−dに対応するグループ116とは別に、さらなるグループ616、ここでは、グループ「大赤血球症」、を指定するユーザ入力を受け取ってもよい。さらなるグループ616は、他の特性、ここでは、「サイズ」特性114cに関連付けられる。さらなるユーザ入力に応じて、処理部306は、1つ以上のサブビュー204a−d内で、抽出した赤血球へグラフィカルマーキングを付け加えることを含んでもよい。マーキングは、サブビュー204a−d内で、さらなるグループ616にも分類された、抽出された赤血球に対して行われる。この例では、抽出された赤血球608であって、グループ「分裂赤血球増加症」とグループ「大赤血球症」とに分類された赤血球が、グラフィカルマーキングされる。マーキングは、例えば、抽出された赤血球囲む矩形、または、この目的にふさわしい、他のグラフィカルマーキングでなされてもよい。同時に2つの特性に基づいて赤血球を選択またはマーキングする可能性は、場合によっては、診断に重要な利点を提供できる。例えば、形状グループ「セル状赤血球」でセルを分析する際、これらのセルが、サイズグループ「大赤血球症」か、「ノーマルサイズ」か、にも分類されるかどうかを知ることは、適切である。
ここに開示されるグラフィカル・ユーザ・インタフェースのユーザは、赤血球を、手作業で再分類してもよい。好ましくは、そのような再分類は、第2のビュー200を介してなされる。例えば、再分類は、サブビュー204a−dの1つからサブビュー204a−dの他の1つへ、抽出した赤血球をユーザが動かす、ドラッグ・アンド・ドロップ操作によりなされる。そのような再分類を指示するユーザ入力を受け取ると、処理部306は、赤血球データ内の関連する赤血球の分類を更新してもよい。また、処理部306は、さらなるユーザ入力による指定に従って、サブビュー204a−dの1つから再分類された赤血球を取り除き、それを、サブビュー204a−dの他の1つに追加することにより、第2のビューを更新してもよい。
当業者は、上述した実施形態を種々に変形することができ、なお、上述した実施形態に示された発明の利点を享受できる。例えば、赤血球を、他の手法で強調表示してもよいし、第1のビュー及び第2のビューのレイアウトは、異なってもよいし、説明された特性に関し、追加のグループを用いてもよいし、本発明を用いて赤血球の追加の特性が分析されてもよい、などである。このように、本発明は、示された実施形態に限定されるべきではなく、添付のクレームによってのみ定義されるべきである。さらに、当業者にとっては、当然ではあるが、上記実施形態は、組み合わせてもよい。

Claims (15)

  1. 赤血球を分析するためのグラフィカル・ユーザ・インタフェースに赤血球を表示する方法であって、
    赤血球(108)のサンプルが描かれた画像(106)を受け取り(S100)、
    前記画像(106)中の各赤血球(108)について、
    前記画像(106)中の前記赤血球(108)のセグメンテーション及び位置と、
    赤血球の少なくとも1つの特性(114a−d)に関する少なくとも1つのグループ(116)への前記赤血球の分類と、
    を含む赤血球データを受け取り(S102)、
    前記画像(106)中の前記赤血球(108)が分類された少なくとも1つのグループ(116)を指定する第1のユーザ入力を受け取り(S104)、
    前記グラフィカル・ユーザ・インタフェースの第1のビュー(100)を、
    前記第1のユーザ入力により指定された前記少なくとも1つのグループ(116)に分類された全ての赤血球(108a)を前記赤血球データの中で検出し(S106a)、
    前記検出した赤血球(108a)を前記画像の中で強調表示し(S106b)、
    前記第1のビュー(100)に、赤血球が強調表示された前記画像(106)を表示する、ことにより生成し(S106)、
    前記グラフィカル・ユーザ・インタフェースの第2のビュー(200)を、前記第1のユーザ入力により指定された前記少なくとも1つのグループ(116)各々について、
    前記グループ(116)に分類された全ての赤血球を前記赤血球データ内で検出し(S108a)、
    前記グループに分類された前記赤血球各々のセグメンテーションに属する画像データを前記画像から抽出することによって、前記グループ(116)に分類された前記赤血球各々を前記画像から抽出し(S108b)、
    前記抽出された赤血球を、前記第2のビュー(200)内の、前記グループに対応するサブビュー(204a−d)に表示する(S108c)、ことにより生成することを含む方法。
  2. 記第1のユーザ入力は、赤血球の特性(114a−d)を指定することにより、前記特性(114a−d)に関連付けられた全てのグループ(116)を指定する請求項1記載の方法。
  3. ユーザ入力部を介して、第1のユーザ入力により指定された少なくとも1つのグループの中の選択されたグループ(116b)を指定する第2のユーザ入力を受け取り、
    それに応じて、前記選択されたグループ(116b)の赤血球のみを強調表示するよう前記第1のビュー(100)のサブビュー(104)に表示された前記画像(106)を更新する、ことをさらに含む請求項1または2に記載の方法。
  4. ユーザ入力部を介して、1つ以上の選択された赤血球を指定する第3のユーザ入力を受け取り、
    それに応じて、前記選択された1以上の赤血球のみを強調表示するよう前記第1のビュー(100)のサブビュー(104)に表示された前記画像(106)を更新する、ことをさらに含む請求項1または2に記載の方法。
  5. 前記第3のユーザ入力は、1つの選択された赤血球を指定し、
    前記赤血球データの中で、前記選択された赤血球(508)の位置を検出し、前記選択された赤血球(508)を含む領域(508)に対応する画像データを前記画像から抽出し、前記抽出された画像データの拡大率を増加し、前記第2のビュー(200)の第2のサブビュー(504)にそれを表示する、ことをさらに含む請求項4記載の方法。
  6. ーザ入力部を介して、前記第2のビュー(200)において赤血球を指定する第4の入力を受け取り、前記赤血球に対し、
    前記赤血球データの分類を、前記第1のユーザ入力によって指定された第1のグループから前記第1のユーザ入力により指定された第2のグループに更新し、
    前記抽出した赤血球を、前記第1のグループに対応する前記サブビューの代わりに、前記第2のグループに対応する前記サブビューに表示するよう前記第2のビュー(200)を更新する、ことを含む請求項1〜5のいずれか1つに記載の方法。
  7. 記検出した赤血球を前記画像(106)内で強調表示するステップは、
    前記第1のユーザ入力によって指定された前記少なくとも1つのグループに分類されない各赤血球(108b)について、前記画像(106)の背景(110)に対する前記赤血球(108b)のセグメンテーション内の部分の前記画像(106)のコントラストを低減することを含み、前記画像(106)の前記背景(110)は、前記画像(106)中の、前記赤血球(108)が描かれていない部分で形成される請求項1〜6のいずれか1つに記載の方法。
  8. 記赤血球(108b)のセグメンテーション内の部分の前記画像(106)のコントラストを低減するステップは、
    前記画像(106)内の前記赤血球(108b)の前記セグメンテーション内の前記部分の強度を、前記画像(106)内の前記赤血球(108b)の前記セグメンテーション内の前記部分の元の強度と前記画像(106)の前記背景(110)の強度との組み合わせに設定することを含む請求項7記載の方法。
  9. 前記赤血球データは、前記画像(106)内の各赤血球(108)について、
    少なくとも1つのグループ(116)への前記赤血球(108)の分類の信頼性をさらに含み、
    記グラフィカル・ユーザ・インタフェースの第2のビュー(200)を生成するステップ(S108)は、前記第1のユーザ入力によって指定される、前記少なくとも1つのグループ(116)各々について、前記グループ(116)への前記赤血球の分類の信頼性に応じて前記抽出した赤血球をソートすることをさらに含む請求項1〜8のいずれか1つに記載の方法。
  10. 血球(108)のサンプルが描かれた画像を受け取るステップ(S100)は、結合されると赤血球のサンプルを描く複数の画像を受け取ることを含み、
    前記赤血球データは、前記画像内の各赤血球(108)について、前記複数の画像の中の前記赤血球(108)が描かれている画像の識別コードをさらに含み、
    赤血球が強調表示された前記画像を表示するステップ(S106c)は、赤血球が強調表示された前記結合された複数の画像を表示することを含む請求項1〜9のいずれか1つに記載の方法。
  11. 記第2のビュー(200)の、第3のグループに対応するサブビュー(204b)において、第4のグループにも分類される前記抽出された赤血球(608)にグラフィカルマーキングを付け加えることをさらに含み、前記第3及び前記第4のグループは、赤血球の異なる特性(114a−d)に関連づけられる請求項1〜10のいずれか1つに記載の方法。
  12. 赤血球を分析するためのグラフィカル・ユーザ・インタフェースに赤血球を表示する装置であって、
    赤血球(108)のサンプルが描かれた画像(106)と、赤血球データとを受け取るよう構成され、赤血球データが、前記画像(106)内の各赤血球(108)について、
    前記画像(106)内の前記赤血球のセグメンテーション及び位置と、
    赤血球の少なくとも1つの特性(114a−d)に基づいた少なくとも1つのグループへの前記赤血球(108)の分類と、
    を備えた受取部(302)と、
    前記画像内の前記赤血球(108)が分類された少なくとも1つのグループ(116)を指定する第1のユーザ入力を受け取るよう構成されたユーザ入力部(304)と、
    前記グラフィカル・ユーザ・インタフェースの第1のビュー(100)を、
    前記第1のユーザ入力によって指定された前記少なくとも1つのグループ(116)に分類された全ての赤血球(108a)を前記赤血球データの中で検出し、
    前記検出した赤血球(108a)を前記画像(106)内で強調表示し、
    前記第1のビュー(100)内に、赤血球が強調表示された前記画像(106)を表示する、ことにより生成するよう構成された処理部(306)と、を備え、
    前記処理部(306)は、前記グラフィカル・ユーザ・インタフェースの第2のビュー(200)を、前記第1のユーザ入力によって指定された前記少なくとも1つのグループ(116)各々について、
    前記グループ(116)に分類された全ての赤血球を前記赤血球データの中で検出し、
    前記グループ(116)に分類された前記赤血球各々の前記セグメンテーションに属する画像データを前記画像から抽出することによって、前記グループ(116)に分類された前記赤血球各々を前記画像(106)から抽出し、
    前記抽出した赤血球を、前記グループ(116)に対応する前記第2のビュー(200)のサブビュー(204a−d)に表示することにより生成するよう、さらに構成される装置。
  13. 赤血球の分析のためのグラフィカル・ユーザ・インタフェース装置であって、
    赤血球のサンプルが描かれた画像(106)と、赤血球データとを受け取るよう構成され、赤血球データが、前記画像(106)内の各赤血球(108)について、
    画像(106)内の前記赤血球のセグメンテーション及び位置と、
    赤血球の、少なくとも1つの特性(114a−d)に基づいた少なくとも1つのグループへの前記赤血球(108)の分類と、を備えた受取インタフェースと、
    前記画像内の前記赤血球(108)が分類された少なくとも1つのグループ(116)を指定する第1のユーザ入力を受け取るよう構成されたユーザ入力インタフェースと、
    第1のビュー(100)であって、
    前記第1のユーザ入力によって指定された前記少なくとも1つのグループ(116)に分類された全ての赤血球(108a)を前記赤血球データの中で検出し、
    前記検出した赤血球(108a)を前記画像(106)内で強調表示し、
    前記第1のビュー(100)内に、赤血球が強調表示された前記画像(106)を表示する、ことにより生成された第1のビュー(100)と、
    第2のビュー(200)であって、前記第1のユーザ入力によって指定された前記少なくとも1つのグループ(116)の各々について、
    前記グループ(116)に分類された全ての赤血球を前記赤血球データの中で検出し、
    前記グループ(116)に分類された前記赤血球各々の前記セグメンテーションに属する画像データを前記画像から抽出することによって、画像(106)から前記グループ(116)に分類された前記赤血球各々を抽出し、
    前記抽出した赤血球を、前記グループ(116)に対応する前記第2のビュー(200)のサブビュー(204a−d)に表示する、ことにより生成される第2のビュー(200)と、を備えたグラフィカル・ユーザ・インタフェース装置
  14. 処理能力を有する装置で実行された場合、請求項1〜11いずれか1つに記載の方法を実現するよう作られたコンピュータコード命令を含む、コンピュータ読み取り可能な媒体(308)。
  15. 赤血球を分析するためのグラフィカル・ユーザ・インタフェースに赤血球を表示するシステムであって、
    赤血球のサンプルを描画するよう構成された描画装置(312)と、
    表示装置(310)と、
    前記表示装置(310)と共に請求項13に記載のグラフィカル・ユーザ・インタフェース装置構成する装置(300)であって、当該装置(300)は、前記描画装置(312)と前記表示装置(310)とに接続され、前記描画装置(312)から赤血球(108)のサンプルが描かれた画像(106)を受け取り、前記表示装置(310)上の前記グラフィカル・ユーザ・インタフェースに表示するよう構成された装置(300)と、を備えたシステム。
JP2016512305A 2013-05-08 2014-05-02 赤血球の分析のためのグラフィカル・ユーザ・インターフェース Active JP6373359B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
SE1350568A SE537088C2 (sv) 2013-05-08 2013-05-08 Grafiskt användargränssnitt för analys av röda blodkroppar
SE1350568-0 2013-05-08
PCT/EP2014/058979 WO2014180747A1 (en) 2013-05-08 2014-05-02 Graphical user interface for analysis of red blood cells

Publications (3)

Publication Number Publication Date
JP2016517989A JP2016517989A (ja) 2016-06-20
JP2016517989A5 JP2016517989A5 (ja) 2017-05-25
JP6373359B2 true JP6373359B2 (ja) 2018-08-15

Family

ID=50687462

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016512305A Active JP6373359B2 (ja) 2013-05-08 2014-05-02 赤血球の分析のためのグラフィカル・ユーザ・インターフェース

Country Status (7)

Country Link
US (1) US10089518B2 (ja)
EP (1) EP2994852A1 (ja)
JP (1) JP6373359B2 (ja)
CN (1) CN105308628B (ja)
AU (1) AU2014264775B2 (ja)
SE (1) SE537088C2 (ja)
WO (1) WO2014180747A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10489633B2 (en) 2016-09-27 2019-11-26 Sectra Ab Viewers and related methods, systems and circuits with patch gallery user interfaces
JPWO2018128091A1 (ja) * 2017-01-05 2019-11-07 コニカミノルタ株式会社 画像解析プログラム及び画像解析方法
JP6857088B2 (ja) * 2017-06-20 2021-04-14 キヤノン株式会社 画像処理装置およびその制御方法、撮像装置、監視システム
USD877174S1 (en) 2018-06-03 2020-03-03 Apple Inc. Electronic device with graphical user interface
USD883312S1 (en) 2018-10-29 2020-05-05 Apple Inc. Electronic device with graphical user interface
US11301966B2 (en) * 2018-12-10 2022-04-12 Apple Inc. Per-pixel filter
EP3876193A1 (de) * 2020-03-02 2021-09-08 Euroimmun Medizinische Labordiagnostika AG Bildverarbeitungsverfahren zum anzeigen von zellen mehrerer gesamtbilder
CN115867945A (zh) * 2020-07-30 2023-03-28 深圳迈瑞生物医疗电子股份有限公司 样本分类方法、装置和存储介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3812185B2 (ja) * 1998-12-01 2006-08-23 株式会社日立製作所 欠陥分類方法およびその装置
ATE422064T1 (de) 2001-04-12 2009-02-15 Cellavision Ab Verfahren in der mikroskopie und mikroskop, wobei teilbilder aufgezeichnet und in demselben koordinatensystem im puzzle-verfahren angeordnet werden, um eine präzise positionierung der mikroskopstufe zu ermöglichen
US7801361B2 (en) * 2002-10-15 2010-09-21 Definiens Ag Analyzing pixel data using image, thematic and object layers of a computer-implemented network structure
JP4578135B2 (ja) * 2004-03-30 2010-11-10 シスメックス株式会社 標本画像の表示方法および標本画像表示用プログラム
US7925070B2 (en) 2004-03-30 2011-04-12 Sysmex Corporation Method for displaying virtual slide and terminal device for displaying virtual slide
JP5466825B2 (ja) * 2008-01-23 2014-04-09 シスメックス株式会社 細胞画像処理システム、細胞画像表示システムおよび細胞画像表示方法
US8340389B2 (en) * 2008-11-26 2012-12-25 Agilent Technologies, Inc. Cellular- or sub-cellular-based visualization information using virtual stains
JP5438962B2 (ja) * 2008-12-25 2014-03-12 シスメックス株式会社 細胞画像表示装置
JP2010151566A (ja) * 2008-12-25 2010-07-08 Hitachi High-Technologies Corp 粒子画像解析方法及び装置
US8711149B2 (en) 2010-12-08 2014-04-29 Definiens Ag Graphical user interface for interpreting the results of image analysis
US8488111B2 (en) * 2011-04-15 2013-07-16 Constitution Medical, Inc. Measuring volume and constituents of cells
US11047791B2 (en) * 2011-06-17 2021-06-29 Roche Diagnostics Hematology, Inc. Systems and methods for sample display and review
US8737709B2 (en) 2012-04-30 2014-05-27 General Electric Company Systems and methods for performing correlation analysis on clinical outcome and characteristics of biological tissue

Also Published As

Publication number Publication date
CN105308628B (zh) 2019-05-21
AU2014264775B2 (en) 2019-04-04
JP2016517989A (ja) 2016-06-20
WO2014180747A1 (en) 2014-11-13
EP2994852A1 (en) 2016-03-16
SE1350568A1 (sv) 2014-11-09
AU2014264775A1 (en) 2015-11-12
US10089518B2 (en) 2018-10-02
CN105308628A (zh) 2016-02-03
SE537088C2 (sv) 2015-01-07
US20160078276A1 (en) 2016-03-17

Similar Documents

Publication Publication Date Title
JP6373359B2 (ja) 赤血球の分析のためのグラフィカル・ユーザ・インターフェース
JP6763781B2 (ja) 複数の染色で染色されている生物組織サンプルから取得されるマルチチャネル画像を分析するための画像処理方法及びシステム
CN104885079B (zh) 信息处理单元、信息处理方法以及计算机可读记录介质
US8391575B2 (en) Automatic image analysis and quantification for fluorescence in situ hybridization
EP2710957B1 (en) Method and system for intelligent qualitative and quantitative analysis of digital radiography softcopy reading
EP2765557B1 (en) Coregistering images of needle biopsies using multiple weighted landmarks
EP3200152A2 (en) Evaluation of co-registered images of differently stained tissue slices
US8542899B2 (en) Automatic image analysis and quantification for fluorescence in situ hybridization
EP2936431B1 (en) Improved gleason grading by segmenting and combining co-registered images of differently stained tissue slices
CN114660057A (zh) 生成用于细胞分析的图形用户界面的方法、装置和系统
US20210192734A1 (en) Electronic method and device for aiding the determination, in an image of a sample, of at least one element of interest from among biological elements, associated computer program
CN112236827A (zh) 用于数字病理学的灵敏度分析

Legal Events

Date Code Title Description
A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A529

Effective date: 20151208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170407

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170407

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180417

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180611

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180626

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180709

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180717

R150 Certificate of patent or registration of utility model

Ref document number: 6373359

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250