JP5269058B2 - 画像処理及び画像解析用フレームワーク - Google Patents

画像処理及び画像解析用フレームワーク Download PDF

Info

Publication number
JP5269058B2
JP5269058B2 JP2010286457A JP2010286457A JP5269058B2 JP 5269058 B2 JP5269058 B2 JP 5269058B2 JP 2010286457 A JP2010286457 A JP 2010286457A JP 2010286457 A JP2010286457 A JP 2010286457A JP 5269058 B2 JP5269058 B2 JP 5269058B2
Authority
JP
Japan
Prior art keywords
sub
region
image processing
image
algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2010286457A
Other languages
English (en)
Other versions
JP2011123900A (ja
Inventor
オール・アイヒホーン
アレン・オルソン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leica Biosystems Imaging Inc
Original Assignee
Aperio Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US10/787,330 external-priority patent/US7116440B2/en
Application filed by Aperio Technologies Inc filed Critical Aperio Technologies Inc
Publication of JP2011123900A publication Critical patent/JP2011123900A/ja
Application granted granted Critical
Publication of JP5269058B2 publication Critical patent/JP5269058B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20016Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Facsimiles In General (AREA)
  • Storage Device Security (AREA)

Description

本発明は、一般に、バーチャル鏡検法に関し、より詳しくは、バーチャルスライドの処理と解析に関する。
成長するバーチャル鏡検法分野において、克服すべき最初の問題は、顕微鏡スライドのデジタル撮像(「走査」)に関することであった。従来の画像タイリングは、バーチャル鏡検法産業に広く行き渡っている手法のひとつである。顕微鏡画像を走査する画像タイリング手法は、固定エリア電荷結合素子(CCD)と呼ばれる正方形又は長方形のカメラを用いる。CCDカメラは、顕微鏡スライド上の近傍領域の数百又は数千の個々の画像(「画像タイル」)を撮影する。次に、数千の画像タイルは各々が、コンピュータ上のビットマップ(”bmp”)又はJPEG(”jpg”)ファイルとして別々に保存される。各画像タイルの名前と全体画像内のその相対位置を識別するために、インデックスファイルも必要となる。予期されるように、数千の個々の画像の撮影と、インデックスファイルの作成と共に各画像を画像タイルとして保存することとは、極めて長時間かかる。従来の画像タイリング手法は、米国特許第6,101,265号に記載されている。遅くて扱いにくいけれども、従来の画像タイリング手法は、バーチャルスライドを作成するために顕微鏡スライドを走査することに成功した。
一旦バーチャルスライドがコンピュータシステム内にあると、コンピュータ支援画像解析が可能となる。画像タイルの処理の2個の重大な欠点は、タイルの心合せとオーバーラップを相関させる計算費用と、タイル間の継目に沿った画像アーチファクトの存在である。これらの問題は、バーチャルスライド画像への自動画像解析の実際の適用を妨げた。又、このようにして作成されたバーチャルスライド内の数千のタイルの各々に対して正確な焦点を維持することが困難であることが判明した。
バーチャル鏡検法分野における劇的な変化が、新しいライン走査システムを使用してバーチャルスライドを数分で作成するアペリオ・テクノロジーズ社によって最近開発された。それは、又、バーチャルスライドを単一のTIFFファイルとして作成する。この革新的なライン走査システムは、「全自動急速顕微鏡スライドスキャナ」と題する米国特許に記載されるように、専用光学部品と共に「スキャンスコープ」の名前で現在市販されているライン走査カメラ(即ち、1次元配列検出器)を用いる。
迅速なデータキャプチャと単一ファイルバーチャルスライドの作成に加えて、ライン走査システムは、又、一様に優れた画像データを確実にするいくつかの利点を有する。第1に、1次元配列の焦点は、一本の走査ラインから次のラインに調整できる一方、画像タイリングシステムは、全画像タイルに対して単一の焦点面に制限される。第2に、ライン走査システムの1次元配列センサーは1次元(即ち、ライン)であるので、走査軸心に沿う光学収差が無い。画像タイリングシステムでは、光学収差は、画像タイルの中心の回りで円周状に対称である。第3に、非近傍ピクセルからのカラー値を、例えば、バイエルマスク(Bayer Mask)を使用して補間しなければならないため、空間解像度を失うカラーCCDカメラと異なり、1次元配列センサーは、完全な(100%)充填率を有して、フルピクセル解像度(8ビット/カラーチャネル)を供給する。
単一ファイルバーチャルスライドの作成は、極めて重要な改良である。バーチャルスライドのために単一画像ファイルを管理することは、数千の個々の画像タイルと対応するインデックスファイルの管理よりも大幅に少ない基本ソフトオーバーヘッドしか必要としない。更に、部分画像の心合せは、一度計算するだけで、その後は、自動処理のために何度も再使用できる。
従って、単一ファイルバーチャルスライドを作成する優れたライン走査システムの導入は、新技術によって課せられる要件を満たす効率的なバーチャルスライド画像解析システムと方法への産業界の必要を生じさせた。
本発明は、具体的には次のようなものを提供する。
(1)デジタル画像を処理する方法において、
複数のデジタル画像を含むデータ記憶領域に記憶されたデジタル画像のサブ領域を選択するステップと、
前記選択されたサブ領域を処理するための1組の画像処理命令を実行するアルゴリズムを選択するステップと、
前記選択されたアルゴリズムに対応する1組の画像処理パラメータを取得するステップと、
前記サブ領域を選択するステップは、前記デジタル画像の解像度を原解像度より低い低解像度にダウンサンプルして、前記デジタル画像を前記低解像度で処理することで前記サブ領域を識別するステップを含み、
前記データ記憶領域からデジタル画像の第1サブ領域をロードするステップと、
前記第1サブ領域上で前記1組の画像処理命令を実行して前記第1サブ領域を前記原解像度で解析するステップと、
前記第1サブ領域上の前記画像処理の結果を記憶するステップと、
前記データ記憶領域からデジタル画像の第2サブ領域をロードするステップと、
前記第2サブ領域上で前記1組の画像処理命令を実行して前記第2サブ領域を前記原解像度で解析するステップと、
前記第2サブ領域上の前記画像処理の結果を記憶するステップと、を備える方法。
(2)1組の画像処理パラメータが、画像処理命令の実行を制御する(1)に記載の方法。
(3)1組の画像処理パラメータが、処理すべき選択されたデジタル画像のサブ領域を定義する(1)に記載の方法。
(4)デジタル画像全体の解析結果を供給するために前記第1サブ領域及び第2サブ領域上で画像処理の結果を解析するステップをさらに備える(1)に記載の方法。
(5)画像処理アルゴリズムが、複数のサブルーチンを備える(1)に記載の方法。
(6)一以上のマイクロプロセッサにデジタル画像を処理するステップを実行させるための一以上の命令シーケンスを記憶したコンピュータ読取り可能な媒体であって、
複数のデジタル画像を含むデータ記憶領域に記憶されたデジタル画像のサブ領域を選択するステップと、
前記選択されたサブ領域を処理するための1組の画像処理命令を実行するアルゴリズムを選択するステップと、
前記選択されたアルゴリズムに対応する1組の画像処理パラメータを取得するステップと、
前記サブ領域を選択するステップは、前記デジタル画像の解像度を原解像度より低い低解像度にダウンサンプルして、前記デジタル画像を前記低解像度で処理することで前記サブ領域を識別するステップを含み、
前記データ記憶領域からデジタル画像の第1サブ領域をロードするステップと、
前記第1サブ領域上で前記1組の画像処理命令を実行して前記第1サブ領域を前記原解像度で解析するステップと、
前記第1サブ領域上の前記画像処理の結果を記憶するステップと、
前記データ記憶領域からデジタル画像の第2サブ領域をロードするステップと、
前記第2サブ領域上で前記1組の画像処理命令を実行して前記第2サブ領域を前記原解像度で解析するステップと、
前記第2サブ領域上の前記画像処理の結果を記憶するステップと、を実行させるための一以上の命令シーケンスを記憶したコンピュータ読取り可能な媒体。
(7)1組の画像処理パラメータが、画像処理命令の実行を制御する(6)に記載のコンピュータ読取り可能な媒体。
(8)1組の画像処理パラメータが、処理すべき選択されたデジタル画像のサブ領域を定義する(6)に記載のコンピュータ読取り可能な媒体。
(9)デジタル画像全体の解析結果を供給するために前記第1サブ領域及び第2サブ領域上で画像処理の結果を解析するステップをさらに備える(6)に記載のコンピュータ読取り可能な媒体。
(10)画像処理アルゴリズムが、複数のサブルーチンを備える(6)に記載のコンピュータ読取り可能な媒体。
本発明の実施の形態にかかる画像処理及び画像解析用システム例を示すネットワーク図である。 本発明の実施の形態にかかるアルゴリズムサーバー例を示すブロック図である。 本発明の実施の形態にかかる、画像処理アルゴリズムを実行するプロセス例を示すフローチャートである。 本発明の実施の形態にかかる、画像処理マクロを作成するプロセス例を示すフローチャートである。 本発明の実施の形態にかかる、遠隔画像処理アルゴリズムをインポートするプロセス例をしめすフローチャートである。 本発明の実施の形態にかかる、画像処理アルゴリズムを遠隔実行するプロセス例を示すフローチャートである。 本明細書に記載の種々の実施の形態に関して使用し得るコンピュータシステム例を示すブロック図である。
本明細書に開示されたいくつかの実施の形態は、バーチャルスライド画像を処理及び解析するフレームワークを提供する。そのシステムは、バーチャルスライド画像又はバーチャルスライド画像のサブ領域に対する画像処理命令(本明細書で、「アルゴリズム」、「ルーチン」及び「サブルーチン」と呼ぶ)を実行するアルゴリズムサーバーを備える。例えば、本明細書に開示の方法により、ユーザーが、バーチャルスライド画像(又は、そのサブ領域)と、画像の処理と解析に使用すべきアルゴリズムとを識別できる。次に、サーバーは、アルゴリズムを実行して、画像を処理及び解析する。その結果は、スクリーン、ファイル又はデータベースに供給されたり、そうでなければ、プレゼント、キャプチャ及び/又は記録される。あるパラメータは、ユーザーによって供給されたり、アルゴリズムで命じられる処理と解析を条件付けるように、特定のアルゴリズムに対応するデータファイルから得られる。
本明細書を読むと、本発明を種々の別の実施の形態と別のアプリケーションでの実施の仕方が当業者には明らかであろう。しかしながら、本発明の種々の実施の形態が本明細書に記載されるけれども、これらの実施の形態は、制限的ではなくて例示のためだけに提示されていることを理解すべきである。よって、種々の別の実施の形態の詳細な説明は、特許請求の範囲に述べるように、本発明の範囲又は外延を制限するものと解釈すべきでない。
図1は、本発明の実施の形態にかかる、画像処理及び画像解析用のシステム例10を示すネットワーク図である。図示の実施の形態において、システム10は、ネットワーク80を介して1個以上の遠隔ユーザー50及び1個以上の遠隔画像サーバー60に通信連結されたアルゴリズムサーバー20を含む。アルゴリズムサーバー20は、データ記憶領域40と複数の局所画像ファイル30を備える。データ記憶領域40は、デジタル画像ファイルの処理に関する情報を格納するのが好ましく、例えば、他の型式のデータの中で、ある解析ルーチン、パラメータと、解析ルーチン及び関連パラメータの手順リスト(「マクロ」)を記憶する。局所画像ファイル30と遠隔画像ファイル70は、アペリオ・テクノロジーズ社によって開発されたスキャンスコープ・顕微鏡スライドスキャナによって作成される型式のバーチャルスライドであることが好ましい。
遠隔画像サーバー60は、アルゴリズムサーバー20から遠隔していると考えられる複数の画像ファイル70を有するデータ記憶領域を備えることが好ましい。一実施の形態において、アルゴリズムサーバー20は、ネットワーク80を介して遠隔バーチャルスライド画像70をアクセスする。遠隔ユーザー50は、ウェブブラウザ、イメージスコープ・ビューア、スキャンスコープ・コンソール、アルゴリズム・フレームワーク、又は、アルゴリズムサーバー20とのユーザーの対話を容易にする他のクライアント・アプリケーションやフロントエンドを含んでもよい。ネットワーク80は、ローカル・エリア・ネットワーク(LAN)、ワイド・エリア・ネットワーク(WAN)、プライベート・ネットワーク、パブリック・ネットワーク、又は、インターネット等のネットワークの組合せであり得る。
図2は、本発明の実施の形態にかかるアルゴリズムサーバー例20を示すブロック図である。図示の実施の形態において、アルゴリズムサーバー20は、実行マネージャ100、画像ハンドラ110、ユーザーインターフェース120、遠隔ユーザーマネージャ130、レポートマネージャ140とセキュリティデーモン150を含む。アルゴリズムサーバー20は、又、データ記憶領域40、複数の局所画像ファイル30と複数の遠隔画像ファイル70を備える。局所画像ファイル30と遠隔画像ファイル70はバーチャルスライドであることが好ましい。
実行マネージャ100は、バーチャルスライドに対する画像解析又は他の型式の解析を行うためにアルゴリズムを実行するプロセスを取扱う。実行マネージャ100は、1個以上の局所ユーザー又は遠隔ユーザーからの画像解析要求を処理するために、アルゴリズムサーバー20の他の部品と通信し得る。例えば、実行マネージャ100は、ユーザーからの命令を受けて、あるバーチャルスライドについての特定のアルゴリズムを実行するように構成されている。実行マネージャ100は、又、実行中にそのアルゴリズムによって使用されるユーザーからのパラメータデータを収集するように構成されている。そのパラメータは、そのアルゴリズムによって処理されるべきバーチャルスライドのサブ領域を定義し、及び/又は、ある閾値を定義したり、実行中にそのアルゴリズムを条件付ける他のデータ要素を供給する。
実行マネージャ100は、特定のアルゴリズムに従った解析と処理のためのバーチャルスライド(又は、その一部)を得るために、画像ハンドラ110と通信連結されている。バーチャルスライドは、非圧縮で10−15GBの大きなファイルであるので、処理用画像データを効率的に且つ迅速に得るために、専用画像ハンドラ110が用いられる。画像ハンドラ110は、局所的(画像ファイル30)又は遠隔的に(画像ファイル70)に記憶されるバーチャルスライドから好都合に画像データを得ることができる。それに加えて、画像ハンドラ110は、記憶されたバーチャルスライド画像をJPEG、JPEG2000とLZWフォーマットを含む種々の圧縮フォーマットから解凍することにより、標準フォーマットのバーチャルスライド画像を供給する。
画像ハンドラ110の別の機能は、バーチャルスライドから画像データを適当なレベルの倍率で供給することである。例えば、画像は、40Xの原倍率で記憶されるが、20Xがアルゴリズムによって要求される。画像ハンドラ110は、原解像度をダウンサンプルして、画像データを20Xの解像度で実行マネージャ100に送出する。このような能力は、関心対象を検出する低解像度で画像を最初に処理し、次に、識別された関心対象を含むサブ領域の解析を実行する高解像度で画像を処理するアルゴリズムの速度に大きな利点をもたらす。例えば、40X画像で処理すべき画像データの量は、20X画像で処理すべき画像データの量の4倍であるので、40X画像を20Xの解像度で処理するアルゴリズムは4倍速く実行され得る。
ユーザーインターフェース120は、実行すべきアルゴリズムと分析すべきバーチャルスライドを識別するように、実行マネージャ100と会話する使用が簡単で容易なフォーマットをユーザーに供給することが好ましい。それに加えて、ユーザーインタフェース120は、アルゴリズムの実行前にユーザーからパラメータデータを効率的に収集することができる。又、ユーザーインターフェース120により、ユーザーは、複数のアルゴリズムと関連パラメータを含むマクロを作成できる。
遠隔ユーザーマネージャ130は、アルゴリズムサーバー20をネットワーク接続を介してアクセスしているユーザーとの接続と通信を管理することが好ましい。遠隔ユーザーマネージャ130は、又、ネットワークベースのユーザーとプログラムからの要求を受けたり、それらの要求をリアルタイムに又はスケジューリングされたバッチとして処理するように構成されている。
レポートマネージャ140は、アルゴリズムがデータ又は他の出力を実行及び発生するにつれて、実行マネージャ100からの出力と処理結果を受けるように構成されていることが好ましい。レポートマネージャ140は、又、アルゴリズムが処理を終了した後に出力ファイルをアクセスし、次に、出力ファイル中のデータを標準レポートフォーマットに再構成する。当業者には理解されるように、追加のレポート能力がレポートマネージャ140によって供給される。
セキュリティデーモン150は、ネットワークベースのユーザー又はプログラムから発する画像処理要求を取扱うことが好都合である。セキュリティデーモン150は、全ての流入ネットワーク要求を受けて、それらの要求を調べ、それらの要求が画像をアルゴリズムで処理することを求めているかどうかを決定する。もしそうであれば、セキュリティデーモン150は、その要求の妥当性を検査して、もしその要求が妥当であれば、セキュリティデーモン150は、処理のための実行マネージャ100にその要求を送る。
一実施の形態において、データ記憶領域40は、バーチャルスライド画像を解析するために実行され得る複数のアルゴリズムを含む。それに加えて、データ記憶領域40は、又、共通に行われたり、しばしば画像処理アルゴリズムに含まれる複数のサブルーチンを含む。これらの共通サブルーチンは、実行時にアルゴリズムに動的に連結されて、そのアルゴリズム開発努力が簡略化される。それに加えて、データ記憶領域40は、又、所望の解析を達成するように画像をアルゴリズムで処理する線形又は平行シーケンスを各々が含む複数のマクロを備える。マクロは、又、適当であれば画像のサブ領域を定義するパラメータデータを含むと共に、画像処理を条件付ける変数を供給する。
図3は、本発明の実施の形態にかかる、画像処理アルゴリズムを実行するプロセス例を示すフローチャートである。最初に、ステップ200において、実行マネージャは画像選択を受ける。画像選択は、特定のバーチャルスライド又は識別されたそのサブ領域に対して行われる。次に、ステップ210において、実行マネージャは、実行すべきアルゴリズムの選択を受ける。実際、1個を超えるアルゴリズムがあり得るし、又は、実行マネージャは、いくつかのアルゴリズムを含むマクロの選択を受けるかもしれない。ステップ220において、実行マネージャは、アルゴリズムを実行するのに必要なパラメータデータを受ける。実行マネージャは、どのパラメータデータがアルゴリズムを実行するのに必要であるかを決定するために、アルゴリズムに問合せたり、対応するデータファイルを検査する。最後に、ステップ230において、画像を選択し、アルゴリズムを選択すると共にパラメータデータが供給された後、実行マネージャは、アルゴリズムを実行すると共に、好ましくは、出力ファイル、スクリーン、データベース又は他のディスプレイや記憶装置に何らかの出力を供給する。
図4は、本発明の実施の形態にかかる、画像処理マクロを作成するプロセス例を示すフローチャートである。最初に、ステップ300において、実行マネージャは、マクロの一部として実行すべき第1アルゴリズムの選択を受ける。次に、ステップ310において、実行マネージャは、選択したアルゴリズムに対応するパラメータデータを受ける。ある場合には、マクロが作成される時、全てのパラメータが供給されるわけではない。実行マネージャは、パラメータデータの一部組を収集して、次に、マクロが実行される時、実行マネージャは、必要な追加パラメータデータをユーザーに対してプロンプトを出力することができるのが好都合である。例えば、マクロの実行を要求するユーザー又はプログラムは、処理すべきバーチャルスライドと、オプションとして、アルゴリズムがオペレーションされる画像のサブ領域とを識別しなければならない。
一旦、アルゴリズム選択とパラメータデータの収集がなされると、ユーザーは、ステップ320において、マクロに含まれるべきもっと多くのアルゴリズムがあるかどうかを決定するために、プロンプト出力を受ける。もしそうであれば、プロセスは、上記したようにアルゴリズム選択とパラメータデータを収集するように、元に戻る。もしマクロ定義が完了すれば、ステップ330において、マクロは、後の検索と実行のためにパーシステントデータ記憶装置に記憶される。
図5は、本発明の実施の形態にかかる、遠隔画像処理アルゴリズムをインポートするプロセス例をしめすフローチャートである。第1ステップ400において、実行マネージャは、遠隔配置されてネットワークを介してアクセスし得る別のサーバー又はコンピュータ上にあるアルゴリズムの識別を受ける。一旦、遠隔アルゴリズムが識別されると、ステップ410において、実行マネージャは、なんらかのアルゴリズム属性と、実行中にアルゴリズムが必要とするパラメータの識別を受ける。これらの属性とパラメータ要件は、アルゴリズムに対応するように記憶されることにより、実行マネージャが、後でアルゴリズムの実行前にこの情報を検索する結果、実行前のパラメータデータの収集が容易となる。最後に、ステップ420において、その新しいアルゴリズムが、その関連パラメータと属性と共に記憶される。
図6は、本発明の実施の形態にかかる、画像処理アルゴリズムを遠隔実行するプロセス例を示すフローチャートである。最初に、ステップ450において、実行マネージャは、遠隔ユーザー又はプログラムから要求を受ける。遠隔ユーザーは、バーチャルスライド上のある形式の画像処理を自動化するように開発された自動プログラムであり得るのが好都合である。要求を受けると、ステップ460において、実行マネージャは、実行すべき特定のアルゴリズム、バーチャルスライド(及びオプションとして、そのサブ領域)の識別並びにパラメータデータ等の情報を得る要求をパージングする。
次に、実行マネージャは、ステップ470において、アルゴリズムをロードし、次に、ステップ480において、画像をロードする。この時点で、実行マネージャは、要求で受けたパラメータを必要に応じて使用すると共に特定のアルゴリズムに従って、識別されたバーチャルスライド画像を処理するように、アルゴリズムを実行する。アルゴリズムの実行によって発生されるなんらかの出力は、局所出力ファイル又はデータベースに送り得ることが好都合であり、又は、それは、収集及び遠隔的又は局所的に分散又はステップ492に示すように記憶され得る。
バーチャルスライド画像は非常に大きく、ステップ480において全体画像をロードすることは実用的でない。このような場合、ステップ480と490を、バーチャルスライド画像の多数の連続的なサブ領域に対して繰返すことができる。アルゴリズムの性質に応じて、処理されたサブ領域を重複させ、次に、アルゴリズム結果を調整することが必要又は望ましい。従って、ステップ494において、実行マネージャは、処理すべきより多くの画像データ又は追加の画像サブ領域があるかどうかを決定する。もしそうであれば、ループはステップ480に戻り、そこで、画像の次のサブ領域がロードされる。処理すべきより多くのサブ領域がなければ、実行マネージャは、ステップ496に図示するように、画像処理を終了することができる。
更に、いくつかのアルゴリズムは、画像上のマルチ・パス(passes)又はリカーシブ解析/処理の利益を受ける。例えば、第1パス(画像処理命令の実行)は、更なる解析を必要とする画像のサブ領域を識別するように、低解像度(20X)でなされ得る。次に、第2パス(画像処理命令の実行)は、第1ステップで識別されたサブ領域だけを処理及び解析するように、高解像度(40X)でなされ得る。アルゴリズム結果は、両方のパス(サブ領域識別とサブ領域の処理の出力)を反映する。
図7は、本明細書に記載の種々の実施の形態に関して使用し得るコンピュータシステム例550を示すブロック図である。例えば、コンピュータシステム550は、アルゴリズムサーバー、遠隔画像サーバー又は遠隔ユーザーステーションと共に使用される。しかしながら、当業者には明らかなように、他のコンピュータシステム及び/又はアーキテクチャを使用してもよい。
コンピュータシステム550は、プロセッサ552等の1個以上のプロセッサを含むことが好ましい。入力/出力を管理する補助プロセッサ、浮動小数点数学演算を行う補助プロセッサ、信号処理アルゴリズムの高速実行に適したアーキテクチャを有する専用マイクロプロセッサ(例えば、デジタル信号プロセッサ)、主処理システムに従属するスレイブプロセッサ(例えば、バックエンドプロセッサ)、デュアル又はマルチプロセッサシステム用の追加のマイクロプロセッサ又はコントローラ、又は、コプロセッサ等の追加プロセッサを設けてもよい。このような補助プロセッサは、離散化プロセッサであってよいし、又は、プロセッサ552と一体化してもよい。
プロセッサ552は、通信バス554に接続されることが好ましい。通信バス554は、コンピュータシステム550の記憶装置と周辺部品の間の情報転送を容易にするデータチャネルを含んでもよい。通信バス554は、更に、データバス、アドレスバスと制御バス(不図示)を含むプロセッサ552との通信に使用される1組の信号を供給する。通信バス554は、例えば、アイサ(ISA)、エイサ(EISA)、MCA(Micro Channel Architecture)、PCIローカルバス、又は、IEEE448汎用インターフェースバス(GPIP)、IEEE696/S−100等を含むIEEEによって公表された規格等の規格に従うバスアーキテクチャ等の規格又は非規格バスアーキテクチャを備える。
コンピュータシステム550は、好ましくはメインメモリ556を含むと共に、2次メモリ558を含む。メインメモリ556は、プロセッサ552上で実行されるプログラム用の命令とデータを記憶する。メインメモリ556は、典型的に、ダイナミックRAM(DRAM)及び/又はスタティックRAM(SRAM)等の半導体型メモリである。他の半導体型メモリは、例えば、シンクロナスDRAM(SDRAM)、ラムバスDRAM(RDRAM)、強誘電性RAM(FRAM)と、ROMを含む他のものを含む。
2次メモリ558は、オプションとして、ハードディスクドライブ560及び/又はリムーバブル記憶装置ドライブ562、例えば、フロッピー(登録商標)ディスクドライブ、磁気テープドライブ、コンパクトディスク(CD)ドライブ、デジタル多用途ディスク(DVD)等を含む。リムーバブル記憶装置ドライブ562は、公知のやり方で、リムーバブル記憶媒体564から読取り及び/又はリムーバブル記憶媒体564に書込む。リムーバブル記憶媒体564は、例えば、フロッピー(登録商標)ディスク、磁気テープ、CD、DVD等である。
リムーバブル記憶媒体564は、コンピュータ実行可能なコード(即ち、ソフトウエア)及び/又はデータを記憶したコンピュータ読取り可能な媒体であることが好ましい。リムーバブル記憶媒体564に記憶されたコンピュータソフトウエア又はデータは、電気通信信号578としてコンピュータシステム550に読込まれる。
別の実施の形態において、2次メモリ558は、コンピュータプログラム又は他のデータや命令をコンピュータシステム550にロードさせる他の同様の手段を含む。このような手段は、例えば、外部記憶媒体572とインターフェース570を含む。外部記憶媒体572の例は、外部ハードディスクドライブ、外部光学ドライブ又は外部磁気光学ドライブを含む。
2次メモリ558の他の例は、プログラマブルROM(PROM)、イーピーROM(EPROM)、イーイーピーROM(EEPROM)又はフラッシュメモリ(EEPROMに類似のブロックメモリ)等の半導体型メモリを含む。又、ソフトウエアとデータを外部記憶媒体572からコンピュータシステム550に転送させる他の外部記憶媒体572とインターフェース570も含まれる。
コンピュータシステム550は、又、通信インターフェース574を含む。通信インターフェース574は、ソフトウエアとデータをコンピュータシステム550と外部装置(例えば、プリンタ)、ネットワーク又は情報源の間で転送させる。例えば、コンピュータソフトウエア又は実行可能なコードは、通信インターフェース574を介してネットワークサーバーからコンピュータシステム550に転送される。通信インターフェース574の例は、いくつかを挙げるだけで、モデム、ネットワーク・インターフェース・カード(NIC)、通信ポート、PCMCIAスロット及びカード、赤外線インターフェースとIEEE1394ファイアワイヤを含む。
通信インターフェース574は、イーサネット(登録商標)IEEE802規格、ファイバーチャネル、ディーエスエル(DSL)、エーディーエスエル(ADSL)、フレームリレー、非同期転送モード(ATM)、総合サービスデジタル通信網(ISDN)、パーソナル通信サービス(PCS)、ティーシーピーアイピー(TCP/IP)、スリップ/ピーピーピー(SLIP/PPP)等の産業界の公表したプロトコル規格を実施することが好ましいが、カスタマイズされた又は非規格インターフェースプロトコルを同様に実施してもよい。
通信インターフェース574を介して転送されるソフトウエアとデータは、一般に、電気通信信号578の形を取る。これらの信号578は、通信チャネル576を介して通信インターフェース574に供給されることが好ましい。通信チャネル576は、いくつかを挙げるだけで、信号578を運ぶと共に、ワイヤ、ケーブル、光ファイバー、従来の電話線、携帯電話リンク、無線周波数(RF)リンク又は赤外線リンクを含むいろいろな通信手段を使用して実施することができる。
コンピュータ実行可能なコード(即ち、コンピュータプログラム又はソフトウエア)は、メインメモリ556及び/又は2次メモリ558に記憶される。コンピュータプログラムを、又、通信インターフェース574を介して受けると共に、メインメモリ556及び/又は2次メモリ558に記憶することができる。このようなコンピュータプログラムは、実行される時、コンピュータシステム550が上述した本発明の種々の機能を果たすことを可能にする。
本明細書において、用語「コンピュータ読取り可能な媒体」は、コンピュータ実行可能なコード(例えば、ソフトウエアとコンピュータプログラム)をコンピュータシステム550に供給するために使用される媒体を指すのに使われる。これらの媒体の例は、メインメモリ556、(ハードディスクドライブ560、リムーバブル記憶媒体564と外部記憶媒体572を含む)2次メモリ558、(ネットワーク情報サーバー又は他のネットワーク装置を含む)通信インターフェース574と通信連結された周辺装置を含む。これらのコンピュータ読取り可能な媒体は、実行可能なコード、プログラミング命令とソフトウエアをコンピュータシステム550に供給する手段である。
ソフトウエアを使用して実施される実施の形態において、そのソフトウエアは、コンピュータ読取り可能な媒体に記憶されると共に、リムーバブル記憶装置ドライブ562、インターフェース570又は通信インターフェース574を介してコンピュータシステム550にロードされる。このような実施の形態では、そのソフトウエアは、電気通信信号578の形でコンピュータシステム550にロードされる。そのソフトウエアは、プロセッサ552により実行される時、プロセッサ552に、上述した本発明の特徴と機能を提示させることが好ましい。
種々の実施の形態は、例えば、特定用途向けIC(ASIC)又はフィールド・プログラマブル・ゲート・アレイ(FPGA)等の部品を用いるハードウエアで主として実施される。本明細書に記載の機能を果たし得るハードウエア・ステートマシーンの実施は、当事者に明らかであろう。種々の実施の形態が、ハードウエアとソフトウエアの両方の組合せを用いて実施される。
10 システム
20 アルゴリズムサーバー
30 局所画像ファイル
40 データ記憶領域
50 遠隔ユーザー
60 遠隔画像サーバー
70 遠隔画像ファイル
80 ネットワーク
100 実行マネージャ
110 画像ハンドラ
120 ユーザーインターフェース
130 遠隔ユーザーマネージャ
140 レポートマネージャ
150 セキュリティデーモン
550 コンピュータシステム
552 プロセッサ
554 通信バス
556 メインメモリ
558 2次メモリ
574 通信インターフェース

Claims (10)

  1. デジタル画像を処理する方法において、
    複数のデジタル画像を含むデータ記憶領域に記憶されたデジタル画像のサブ領域を選択するステップと、
    前記選択されたサブ領域を処理するための、バーチャルスライド画像の関心対象を検出する1組の画像処理命令を実行するアルゴリズムを選択するステップと、
    前記選択されたアルゴリズムに対応し、前記画像処理命令を条件付ける値を定義する1組の画像処理パラメータを取得するステップと、
    前記サブ領域を選択するステップは、前記デジタル画像の解像度を原解像度より低い低解像度にダウンサンプルして、前記デジタル画像を前記低解像度で処理することで、1以上の関心対象の第1セットを含む前記デジタル画像の第1サブ領域と、1以上の関心対象の第2セットを含む前記デジタル画像の第2サブ領域と、を識別するステップを含み、
    前記データ記憶領域からデジタル画像の前記第1サブ領域をロードするステップと、
    前記第1サブ領域上で前記1組の画像処理命令を実行して前記第1サブ領域に対して前記原解像度で画像処理を実行するステップと、
    前記第1サブ領域上の前記画像処理の結果を記憶するステップと、
    前記データ記憶領域からデジタル画像の前記第2サブ領域をロードするステップと、
    前記第2サブ領域上で前記1組の画像処理命令を実行して前記第2サブ領域に対して前記原解像度で画像処理を実行するステップと、
    前記第2サブ領域上の前記画像処理の結果を記憶するステップと、を備える方法。
  2. 1組の画像処理パラメータが、画像処理命令の実行を制御する請求項1に記載の方法。
  3. 1組の画像処理パラメータが、処理すべき選択されたデジタル画像のサブ領域を定義する請求項1に記載の方法。
  4. デジタル画像全体の解析結果を供給するために前記第1サブ領域及び第2サブ領域上で画像処理の結果を解析するステップをさらに備える請求項1に記載の方法。
  5. 画像処理アルゴリズムが、複数のサブルーチンを備える請求項1に記載の方法。
  6. 一以上のマイクロプロセッサにデジタル画像を処理するステップを実行させるための一以上の命令シーケンスを記憶したコンピュータ読取り可能な媒体であって、
    複数のデジタル画像を含むデータ記憶領域に記憶されたデジタル画像のサブ領域を選択するステップと、
    前記選択されたサブ領域を処理するための、バーチャルスライド画像の関心対象を検出する1組の画像処理命令を実行するアルゴリズムを選択するステップと、
    前記選択されたアルゴリズムに対応し、前記画像処理命令を条件付ける値を定義する1組の画像処理パラメータを取得するステップと、
    前記サブ領域を選択するステップは、前記デジタル画像の解像度を原解像度より低い低解像度にダウンサンプルして、前記デジタル画像を前記低解像度で処理することで、1以上の関心対象の第1セットを含む前記デジタル画像の第1サブ領域と、1以上の関心対象の第2セットを含む前記デジタル画像の第2サブ領域と、を識別するステップを含み、
    前記データ記憶領域からデジタル画像の前記第1サブ領域をロードするステップと、
    前記第1サブ領域上で前記1組の画像処理命令を実行して前記第1サブ領域に対して前記原解像度で画像処理を実行するステップと、
    前記第1サブ領域上の前記画像処理の結果を記憶するステップと、
    前記データ記憶領域からデジタル画像の前記第2サブ領域をロードするステップと、
    前記第2サブ領域上で前記1組の画像処理命令を実行して前記第2サブ領域に対して前記原解像度で画像処理を実行するステップと、
    前記第2サブ領域上の前記画像処理の結果を記憶するステップと、を実行させるための一以上の命令シーケンスを記憶したコンピュータ読取り可能な媒体。
  7. 1組の画像処理パラメータが、画像処理命令の実行を制御する請求項6に記載のコンピュータ読取り可能な媒体。
  8. 1組の画像処理パラメータが、処理すべき選択されたデジタル画像のサブ領域を定義する請求項6に記載のコンピュータ読取り可能な媒体。
  9. デジタル画像全体の解析結果を供給するために前記第1サブ領域及び第2サブ領域上で画像処理の結果を解析するステップをさらに備える請求項6に記載のコンピュータ読取り可能な媒体。
  10. 画像処理アルゴリズムが、複数のサブルーチンを備える請求項6に記載のコンピュータ読取り可能な媒体。
JP2010286457A 2003-02-28 2010-12-22 画像処理及び画像解析用フレームワーク Expired - Lifetime JP5269058B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US45108103P 2003-02-28 2003-02-28
US60/451,081 2003-02-28
US10/787,330 2004-02-26
US10/787,330 US7116440B2 (en) 2003-02-28 2004-02-26 Image processing and analysis framework

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2006508901A Division JP4818100B2 (ja) 2003-02-28 2004-02-27 画像処理及び画像解析用フレームワーク

Publications (2)

Publication Number Publication Date
JP2011123900A JP2011123900A (ja) 2011-06-23
JP5269058B2 true JP5269058B2 (ja) 2013-08-21

Family

ID=32965530

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2006508901A Expired - Fee Related JP4818100B2 (ja) 2003-02-28 2004-02-27 画像処理及び画像解析用フレームワーク
JP2010286457A Expired - Lifetime JP5269058B2 (ja) 2003-02-28 2010-12-22 画像処理及び画像解析用フレームワーク

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2006508901A Expired - Fee Related JP4818100B2 (ja) 2003-02-28 2004-02-27 画像処理及び画像解析用フレームワーク

Country Status (3)

Country Link
EP (2) EP1631872B1 (ja)
JP (2) JP4818100B2 (ja)
WO (1) WO2004079523A2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7116440B2 (en) 2003-02-28 2006-10-03 Aperio Technologies, Inc. Image processing and analysis framework
JP5336088B2 (ja) 2005-01-27 2013-11-06 アペリオ・テクノロジーズ・インコーポレイテッド 三次元仮想スライドを可視化するためのシステム及び方法
EP2510494B1 (en) * 2009-12-11 2021-12-22 Leica Biosystems Imaging, Inc. Improved signal to noise ratio in digital pathology image analysis
KR101853658B1 (ko) * 2016-09-29 2018-05-03 주식회사 싸이토젠 세포 이미지 스티칭 중 고해상도 구현방법
CN116703692B (zh) * 2022-12-30 2024-06-07 荣耀终端有限公司 一种拍摄性能优化方法和装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07105376A (ja) * 1993-09-30 1995-04-21 Ibiden Co Ltd 画像処理装置及び画像処理方法
JPH0844678A (ja) * 1994-07-29 1996-02-16 Canon Inc 画像処理装置及びシステム
US6707469B1 (en) * 1996-08-13 2004-03-16 General Electric Company Synchronous execution in a medical imaging system
US6031930A (en) 1996-08-23 2000-02-29 Bacus Research Laboratories, Inc. Method and apparatus for testing a progression of neoplasia including cancer chemoprevention testing
JPH11239165A (ja) * 1998-02-20 1999-08-31 Fuji Photo Film Co Ltd メディカルネットワークシステム
US7106895B1 (en) * 1999-05-05 2006-09-12 Kla-Tencor Method and apparatus for inspecting reticles implementing parallel processing
JP4401560B2 (ja) * 1999-12-10 2010-01-20 キヤノン株式会社 画像処理装置、画像処理方法、及び記憶媒体
JP4900986B2 (ja) * 1999-12-13 2012-03-21 Geヘルスケア・ジャパン株式会社 画像取扱方法および装置
US6711283B1 (en) * 2000-05-03 2004-03-23 Aperio Technologies, Inc. Fully automatic rapid microscope slide scanner
JP4442042B2 (ja) * 2001-02-23 2010-03-31 パナソニック電工株式会社 画像処理プログラム作成方法およびそのシステム

Also Published As

Publication number Publication date
WO2004079523A2 (en) 2004-09-16
JP2011123900A (ja) 2011-06-23
WO2004079523A3 (en) 2009-09-03
JP4818100B2 (ja) 2011-11-16
EP1631872B1 (en) 2018-09-12
EP3447651A1 (en) 2019-02-27
JP2007535717A (ja) 2007-12-06
EP1631872A4 (en) 2011-11-23
EP1631872A2 (en) 2006-03-08

Similar Documents

Publication Publication Date Title
US9019546B2 (en) Image processing of digital slide images based on a macro
EP2510494B1 (en) Improved signal to noise ratio in digital pathology image analysis
JP5269058B2 (ja) 画像処理及び画像解析用フレームワーク
JP6143376B2 (ja) 病理学における品質保証のためのシステムおよび方法
JP4607100B2 (ja) 画像パターン認識システム及び方法
US20040022453A1 (en) Method, apparatus, and storage media for image processing
CN115984307A (zh) 视频对象分割方法、装置、电子设备及存储介质
CN110780950A (zh) 接口元数据管理方法、装置、计算机设备及存储介质
JP5466142B2 (ja) リニア・アレイを用いたマイクロスコープ・スライド・スキャナにおけるデータ管理システムおよび方法
KR102098794B1 (ko) 삼차원 브레인 신경회로 영상을 이용한 웹 기반 셀 프로파일 분석 시스템 및 방법
CN117648451B (zh) 用于图像处理的数据管理方法、系统、设备及介质
CN116244460A (zh) 一种重复图像检索方法、设备及存储介质

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120221

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120229

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120305

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120820

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120918

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120921

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120926

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130318

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130409

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130507

R150 Certificate of patent or registration of utility model

Ref document number: 5269058

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term