JP4071186B2 - 生物標本内の関心対象を識別するための方法及びシステム - Google Patents

生物標本内の関心対象を識別するための方法及びシステム Download PDF

Info

Publication number
JP4071186B2
JP4071186B2 JP2003367983A JP2003367983A JP4071186B2 JP 4071186 B2 JP4071186 B2 JP 4071186B2 JP 2003367983 A JP2003367983 A JP 2003367983A JP 2003367983 A JP2003367983 A JP 2003367983A JP 4071186 B2 JP4071186 B2 JP 4071186B2
Authority
JP
Japan
Prior art keywords
biological specimen
interest
image
pixel
component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003367983A
Other languages
English (en)
Other versions
JP2004151101A (ja
Inventor
ダグラス ジェイムズ
Original Assignee
ヴェンタナ メディカル システムズ インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヴェンタナ メディカル システムズ インコーポレイテッド filed Critical ヴェンタナ メディカル システムズ インコーポレイテッド
Publication of JP2004151101A publication Critical patent/JP2004151101A/ja
Application granted granted Critical
Publication of JP4071186B2 publication Critical patent/JP4071186B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429—Signal processing
    • G01N15/1433—Signal processing using image recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1468—Optical investigation techniques, e.g. flow cytometry with spatial resolution of the texture or inner structure of the particle
    • G01N2015/1472—Optical investigation techniques, e.g. flow cytometry with spatial resolution of the texture or inner structure of the particle with colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Dispersion Chemistry (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Spectrometry And Color Measurement (AREA)

Description

本発明は全体として生物標本の識別及び分析の分野に関する。より詳細には、ガン細胞や細胞性対象物のような、生物標本内の関心対象を識別するための方法及びシステムに関する。本発明はまた、ある色空間（例えば、赤、緑及び青の成分）における対象物の表現を新たな色空間における新たな表現に数学的に変換し、対象物をより容易に観察又は識別できるようにする色空間変換の分野に関する。
骨髄、頚部組織、リンパ節又は末梢血のサンプルのような生物標本は、病理学者や組織学者にとっての関心対象を有している可能性がある。このようなサンプルは一般にスライドに固定され、顕微鏡下で検査される。医学的診断の重要な側面は、生物標本内の関心対象の検出、識別及び定量化である。関心対象は、例えば、ガン細胞、細胞核のような細胞性対象物、又は生物標本内に存在する特定のタンパク質もしくはタンパク質のクラスタである。ガン細胞や生物標本内の特定のタンパク質は検出が困難な場合がある。しかし、生物標本を染色法によって染色することにより、生物標本内の関心対象をより容易に識別できるようにすることが可能である。
染色処理は関心対象の成分に反応するプローブの投入を含む。このプローブは一般にモノクローナル抗体、ポリクローナル抗血清、又は関心対象の成分に反応する核酸である。そして、アルカリホスファターゼやグルコースオキシダーゼのような酵素を用いた他のプローブが反応を検出する。酵素を用いたプローブは、関心対象を特定の色に染色する酵素反応を生じる。その一方で、背景エリア及び正常細胞は、例えば、上記の特定の色とは異なる色で染色される。したがって、関心対象が存在するのであれば、関心対象は酵素反応によって生物標本の背景エリア及び正常細胞から識別可能となる。
検査技師は、関心対象を顕微鏡で識別するため生物標本を手動で検査してもよい。しかし最近は、自動顕微鏡システム及びスライドキャプチャ画像の画像分析のための関連ソフトウェアが生物標本の検査用に開発されている。これらのシステムは生物標本内の関心対象を識別する際の速さ及び精度を改善する。
例えば、ＣｈｒｏｍａＶｉｓｉｏｎ Ｍｅｄｉｃａｌ Ｓｙｓｔｅｍｓ社による特許文献１は、自動細胞分析のための装置を開示している。この装置は、対物レンズとスライド保持のための台と電荷結合素子（ＣＣＤ）カメラとを備えた顕微鏡から構成されている。検査すべき生物標本はスライドに置かれる。その結果、ＣＣＤカメラは対物レンズにより決定される倍率で生物標本画像を捕らえることができる。
生物標本画像は関心対象の識別を容易にする。一般に、画素、つまりピクセルがカメラによって捕らえられた生物標本画像を決定する。各ピクセルは、赤色成分、緑色成分、及び青色成分の３つの成分から構成されている。赤、青、及び緑の別個のＣＣＤカメラを使用して赤、青、及び緑のピクセルを生成してもよい。生物標本画像、すなわち、赤色成分、緑色成分、及び青色成分によって決定されるピクセルは、新たな表現又は形式に変換される。この新たな表現又は形式によって生物標本内の関心対象はより容易に識別可能となる。
画像をある表現から別の表現又は形式に数学的に変換するプロセスは、「色空間変換」の適用として知られている。色相、飽和度、及び明度の変換、並びに特許文献１に記載された色変換を含めて、このような色変換は複数存在している。特許文献１に記載された色空間変換は、生物標本画像内の各ピクセルに関して異なる２つの色成分の比の形成を含む。この比が色情報を区別する手段を提供する。各ピクセルに対して３つの成分を使用した場合、形成しうる可能な比はつぎの９つである：Ｒ／Ｒ，Ｒ／Ｇ，Ｒ／Ｂ，Ｇ／Ｇ，Ｇ／Ｂ，Ｇ／Ｒ，Ｂ／Ｂ，Ｂ／Ｇ及びＢ／Ｒ。色変換のために選択すべき比は、生物標本内で予想される色の範囲に依存する。例えば、腫瘍細胞のような関心対象の検出に使用される典型的な染色は、ほとんど緑又は青ではなく、ほとんど赤である。したがって、関心対象のピクセルは、緑又は青の成分よりも赤の成分を多く含む。赤を青で除した比（Ｒ／Ｂ）は腫瘍細胞の場合は１よりも大きな値であるが、スライド上の任意の透明又は白いエリアの場合はほぼ１である。残りの細胞、すなわち、正常細胞は一般に青で染色されるので、後者の細胞のピクセルのＲ／Ｂ比は１よりも小さな値である。Ｒ／Ｂ比はこれらの用途で一般的な色情報の明確な分離のために選好される。閾レベルを超える色比を有するピクセルは関心対象に関連している。
自動細胞分析は生物標本内の関心対象を識別する際の速さ及び精度を改善する。検査技師は、閾レベルを超える比を有するピクセルが関心対象に関連しているか否かを手動で精査及び評価してもよい。検査技師は関心対象を識別するために全体として生物標本を分析する必要はない。
強く染色されたエリア又は汚れのような異物がスライド上に現れることは珍しくない。これら強く染色されたエリア及び異物のため、特許文献１の比に基づいた色変換は、強く染色されたエリア又は異物を誤って関心対象として特徴付けてしまいかねない。このようなエリアのピクセルの成分は比較的「低い」ため、またこのようなピクセルを形成する低い成分が比の分母に現れることがあるため、色比が誤って高い値を有する場合があり、「偽の」関心対象が現れる原因となる。これら偽の関心対象は関心対象として識別されるが、実際には正常細胞であるか又は生物標本の背景エリアである。
比に基づいた色変換に関連して偽の関心対象が存在する場合、色変換に続いて広範囲にわたるモルフォロジー処理によって、偽の関心対象を識別し、除去を試みなければならない。
アメリカ合衆国特許第６，２１５，８９２号
本発明の課題は、生物標本内の関心対象をより確実に識別し、また染色処理の結果として生じる強い染色又は異物に対してより不感な方法及びシステムを提供することである。
上記課題は、陽性対象ピクセルと対比染色対象ピクセルと背景ピクセルとを含んだ生物標本画像を取得するステップと、前記画像を表すピクセル値をメモリに格納するステップと、計算機において、前記格納されたピクセル値に基づいた演算を行う命令を実行し、前記生物標本画像を変換して変換画像を生成するステップを有し、前記変換画像を生成するステップでは、前記変換画像は３次元座標空間により特徴付けられ、前記生物標本画像は、前記命令によって、背景ピクセルのクラスタを前記３次元座標空間の原点に配置することにより変換され、前記変換画像において、前記対比染色対象ピクセルは実質的に前記３次元座標空間の軸に沿って存在し、前記陽性対象ピクセルは実質的に前記３次元座標空間の軸の間に位置し、前記変換画像は、生物標本内に関心対象が存在する場合には、該関心対象の識別を補助する、ことを特徴とする生物標本内の関心対象を識別する方法により解決される。
また上記課題は、プロセッサと、メモリと、前記プロセッサにより実行可能な前記メモリ内に格納されたコンピュータ命令とを有し、前記コンピュータ命令は、陽性対象ピクセルと対比染色対象ピクセルと背景ピクセルとを含んだ生物標本画像を取得する機能と、前記生物標本画像を変換して変換画像を生成する機能を果たし、前記変換画像は３次元座標空間により特徴付けられ、前記生物標本画像は、前記命令によって、背景ピクセルのクラスタを前記３次元座標空間の原点に配置することにより変換され、前記変換画像において、前記対比染色対象ピクセルは実質的に前記３次元座標空間の軸に沿って存在し、前記陽性対象ピクセルは実質的に前記３次元座標空間の軸の間に位置し、前記変換画像は、生物標本内に関心対象が存在する場合には、該関心対象の識別を補助する、ことを特徴とする生物標本内の関心対象を識別するためのシステムにより解決される。
本明細書では、本明細書に記載された１つ又は複数の新規な色空間変換を利用した、関心対象を識別するための方法が示される。本明細書では、色空間変換を概念的に説明するため及び汎用コンピュータを使用して実際に変換を実行するために、幾つかの方法が説明される。以下に説明する方法は有利には汎用コンピュータに対する命令セットとしてソフトウェアに符号化される。これらの方法は、特に、赤、緑、及び青のピクセル成分を有する画像を処理し、この画像をコンピュータを用いて別の表現に変換し、変換された画像をユーザに表示する際に使用されるよう設計されている。変換画像により、人であるオペレータ（例えば、病理学者や技師）が標本内に含まれている関心対象をより容易に観察及び識別することが可能となる。
本明細書において“Minus Clear Plus One”又は“ＭＣ＋１”と呼ばれる第１の変換は、少なくとも２つの異なる色を生じる染色法に適している。概念上、ＭＣ＋１変換は、生物標本画像を規定する３次元座標空間の軸を並進及び回転させることを含む。択一的には、ＭＣ＋１変換は３次元座標空間内のベクトルの差の計算を含む。ＭＣ＋１変換は関心対象に対して高度に敏感であるが、その一方で、関心対象の染色の結果として生じる強く染色された特徴エリアや異物に対しては不感である。それゆえ、ＭＣ＋１変換は、比に基づいた色変換に特有の、関心対象の誤識別を生じない。
もう一方の色空間変換は本明細書では「定量的色変換」（“Quantitative Chromatic Transformation”）又は“ＱＣＴ”と呼ばれる。ＭＣ＋１変換と同様に、ＱＣＴも関心対象に対しては敏感であるが、関心対象の染色の結果として生じる強く染色された特徴エリアや異物に対しては不感である。ＱＣＴは各ピクセルについて吸収分子の数を定量化する。ＱＣＴは分析物の濃度に対して線形の関係を有する量を算出し、器具の校正誤差がある場合にもロバストである。ＱＣＴは生物標本内の関心色に対して高い特異性を有しており、これもまた比に基づいた色変換に特有の定量化誤差を生じない。
生物標本画像に対して上記２つの色変換のうちの一方又は両方を適用すれば、生物標本内の関心対象の識別を補助する変換画像（又は両方の変換を用いた場合には複数の変換画像）が得られる。
本発明の１つの実施例によれば、ＭＣ＋１色変換は生物標本画像を規定する３次元座標空間の再配置を伴う。この３次元座標空間は、生物標本画像内のピクセルの赤色成分、緑色成分、及び青色成分に対応する軸を有している。この３次元座標空間内では、陽性対象ピクセルが生物標本内の関心対象を画定し、対比染色対象ピクセルが生物標本内の正常細胞を画定し、背景ピクセルが生物標本の背景エリア、すなわち透明エリアを画定する。３次元座標空間は、背景ピクセルのクラスタが３次元座標空間の原点に位置し、対比染色対象ピクセルが実質的に３次元座標空間の軸に沿って存在するように再配置される。その結果、関心対象が存在する場合、その関心対象を画定する陽性対象ピクセルは実質的に３次元座標空間の軸の間に位置する。
本発明の択一的な実施例によれば、上で３次元座標空間の再配置として説明されたＭＣ＋１色変換は、生物標本画像内の各ピクセルに関する積和として数学的に特徴付けられる。係数及び補数が上記積和を決定する。生物標本内の関心対象を識別する染色がＭＣ＋１変換の係数を決定する。一方、補数は、赤色成分の実際値と赤色成分の最大値との間の差、緑色成分の実際値と緑色成分の最大値との間の差、及び青色成分の実際値と青色成分の最大値との間の差によって決定される。係数と補数との積和は、各ピクセルに関して、生物標本内に関心対象が存在する場合には、それら関心対象を識別する変換画像を算出する。
本発明のさらに別の択一的な実施例によれば、ＭＣ＋１変換は３次元座標空間内のベクトルの差を計算することにより実施される。対比染色対象ベクトルは背景ピクセルのクラスタから対比染色対象ピクセルを通って３次元空間内へと延びている。他方で、陽性対象ベクトルは背景ピクセルのクラスタから同様に３次元空間内にある陽性対象ピクセルへと延びている。生物標本画像は、各ピクセルに関して陽性対象ベクトルと対比染色対象ベクトルとの差を計算することにより変換される。各ピクセルに関するこれらの差は、生物標本内に関心対象が存在する場合、これらの関心対象を識別する変換画像を決定する。
本発明の択一的な実施例によれば、上でベクトルの差の計算として説明されたＭＣ＋１変換は、各ピクセルに関して（p１ ２＋p２ ２＋p３ ２）×（p１ｃ ２＋p２ｃ ２＋p３ｃ ２）−（p１×p１ｃ＋p２×p２ｃ＋p３×p３ｃ）２の平方根によって定まる値を計算するソフトウェアにおける命令の実行として数学的に特徴付けられる。量ｐ１，ｐ２及びｐ３はそれぞれ変換すべきピクセルの第１成分、すなわち赤色成分、第２成分、すなわち緑色成分、及び第３成分、すなわち青色成分の、補数を表す。一方、量ｐ１ｃ，ｐ２ｃ及びｐ３ｃはそれぞれ代表的な対比染色ピクセルの第１成分の補数、第２成分の補数、及び第３成分の、補数を表す。生物標本内に関心対象が存在する場合、各ピクセルに対する変換値が、オペレータ又はこれらの関心対象を識別するソフトウェアにより使用可能な変換画像を決定する。
定量的色変換は、画像の各色のピクセルに関して赤、緑、及び青のピクセルの最初の値から新たな３つの量を算出する測色法的変換である。これら新たな３つのＸ、Ｙ及びＺは、対数関数により、上記ピクセルによって標本化された吸収分子の定量的量に容易に関連付けることができる。ＱＣＴの特徴は色画像データから分析物を定量化する能力である。
ＱＣＴ変換は、ピクセルごとに吸収分子の数を決定する比である、第１の値と第２の値との比を計算することにより実施することができる。上記第１の値は変換すべきピクセルの第１成分、例えば赤、緑、又は青の成分の平方である。一方、第２の値は、変換すべきピクセルの第２成分、例えば同様に赤、緑、又は青の成分と、変換すべきピクセルの第３成分、例えば赤、緑、又は青の成分との積である。生物標本内に関心対象が存在する場合、各ピクセルに関する吸収分子の数が、これらの関心対象を識別する変換画像を決定する。
これらの及び他の側面及び利点は、添付した図面を適宜参照しつつ以下の詳細な説明を読めば、当業者には明らかである。
図１には、本発明の実施例を採用した、生物標本の自動細胞分析のための装置の例がブロック図で示されている。これらの並びに他の構成及び要素（例えば、機械、インタフェース、機能、要素の配列など）は付加することも又は代わりに使用することもでき、幾つかの要素はまったく省いてしまってもよいことを理解されたい。さらに、当業者には、本明細書に記載された要素の多くは、離散的な構成要素として又は適切な組合せ及び位置において他の構成要素と結合させて実施することのできる機能単位であることが理解されるだろう。さらに、１つ又は複数の機能単位により実行される本明細書に記載された様々な機能は、ハードウェアによって、又はメモリに格納されているコンピュータ命令の適当なセットを実行するようプログラムされたプロセッサによって実行してもよい。この開示を基に、当業者はハードウェアを構築し、このような機能を実施するコンピュータ命令の適当なセットを開発することができる。実際、本発明は、Ｃｈｒｏｍａｖｉｓｉｏｎ社、Ｂａｃｕｓ Ｌａｂｏｒａｔｏｒｉｅｓ社、Ａｃｃｕｍｅｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ社（現在のＭｏｌｅｃｕｌａｒ Ｄｉａｇｎｏｓｔｉｃｓ，Ｉｎｃ．）等により供給されている顕微鏡システムを含む今日使用されている既存の顕微鏡システムにおいて、ならびに、本明細書に記載された色空間変換を実行するコードを含むように修正されたこのようなシステムに付随するコンピュータにおいて使用するのに適している。
例として、自動細胞分析を実行する上記装置は、顕微鏡システム１０４、画像処理システム１０６及びディスプレイ１０８を含んでいる。顕微鏡システム１０４は、赤、青、及び緑の適切なフィルタを備えた電荷結合素子（ＣＣＤ）カメラ１０２又は赤、青、及び緑の別個のＣＣＤによって、スライド１００上の生物標本画像の捕捉を可能にする。顕微鏡システム１０４は、スライドを保持する電動式Ｘ−Ｙステージ１１４、Ｚステージ焦点調節部１１６、対物レンズ１１０、光源１１２を有している。Ｘ−Ｙステージ１１４はスライド１００をＸ−Ｙ平面内で水平に動かすことができるため、生物標本は対物レンズ１１０の下にくる。特定の視野において撮像されたスライドのＸ−Ｙ位置を後の参考のために記録及び格納してもよい。又は、他の手段を用いて、特定の視野が得られるスライド上の位置を格納してもよい。
対物レンズ１１０が生物標本１００を拡大するので、個々の細胞、細胞構造及び生物標本内の他の物質を区別することができる。また、顕微鏡システムはＺステージ焦点調節部１１６を有している。Ｚステージ焦点調節部１１６はＸ−Ｙステージ１１４のＺ方向における変位を調節する。Ｘ−Ｙステージ１１４のＺ方向における変位は、対物レンズ１１０の下にある生物標本への焦点合わせを可能にする。
カメラ１０２が生物標本の電子画像を捕らえることで、関心対象を生物標本内で識別することが可能となる。光源１１２からの光はスライド１００上に置かれた生物標本を通過し、対物レンズ１１０によりＣＣＤカメラの焦平面に結像する。カメラ１０２は分析のため、焦点の合った生物標本の拡大電子画像を捕らえ、拡大電子画像はデジタル形式に変換され、メモリに格納される。
例えばデータバス又は通信ネットワークであるデジタルリンクが、画像処理システム１０６を顕微鏡システム１０４に接続する。顕微鏡システム１０４は生物標本画像（すなわち、電子画像）を画像処理システム１０６に送る。したがって、本明細書に記載されているような色変換、すなわち、ＭＣ＋１変換又はＱＣＴを画像に適用することができる。画像処理システム１０６は、プロセッサ（ＣＰＵ）とメインメモリとを有する汎用コンピュータの形をとってもよい。メモリはＭＣ＋１変換及び／又はＱＣＴを生物標本画像に適用するための、プロセッサにより実行可能なコンピュータ命令を格納している。色変換の適用の結果として、画像処理システム１０６は変換画像を生成する。変換画像内に関心対象が存在する場合には、これら関心対象は識別可能である。
さらに、そのような装備が為されていれば、画像処理システム１０６は変換画像をディスプレイスクリーン１０８に伝送してもよい。ディスプレイスクリーン１０８は画像処理システム１０６に接続されたモノクロ又はカラーのディスプレイであってよい。ディスプレイスクリーン１０８がディスプレイスクリーン１０８上に変換画像を表示するので、例えば検査技師は生物標本が関心対象を有しているか否かを調べることができる。
図２は、図１の例示的な装置を使用した、生物標本内の関心対象を識別するプロセスをより詳細に示している。
ステップ１２０では、生物標本を１つ又は複数のプローブで染色する。画像処理システム１０６により実行されるＭＣ＋１変換及びＱＣＴは、正常細胞及び生物標本の背景エリアとは異なる色で染色された関心対象に依拠している。その結果、生物標本は、染色された生物標本画像を得る前に、１つ又は複数のプローブで染色される。
上記１つ又は複数のプローブは、細胞、構造物及び生物標本１００を規定する他の物質に対して異なる反応をする試薬及び／又は酵素から構成されている。例えば一般に、関心対象はプローブと反応して第１の色で染色され、正常細胞はプローブと反応して第２の色で染色され、生物標本がスライドに載せられている場合には、背景エリア、すなわち透明エリアは染色されない。もちろん、使用される染色剤に応じて、他の色の構成も可能である。
ステップ１２２では、顕微鏡システム１０４が生物標本画像を得る。一般に、ピクセルが生物標本画像（すなわち、細胞、構造物及び生物標本内の他の物質）を決定する。各ピクセル１４２は、例えば、赤色成分１３６、緑色成分１３８、及び青色成分１４０の色のクラスタ１３４から構成されている。択一的に、生物標本画像を、輝度成分と色成分（Ｙ，Ｃｒ，Ｃｂ）、又は、色相、飽和度、明度（Ｈ，Ｓ，Ｉ）成分のような成分を有するピクセルによって規定してもよい。しかし、赤色成分、緑色成分及び青色成分を有するピクセルで画像を規定することが望ましい。これらの成分はメモリ内で０〜２５５のスケールでデジタル化される。ただし、数が大きいほどより高い明度を表す。
画像内のピクセルは、陽性対象ピクセル、すなわち関心対象に関連したピクセルと、対比染色対象ピクセル、すなわち正常細胞に関連したピクセルとに分類される。さらに、生物標本がスライドに載せられている場合には、スライドの透明エリアが背景エリアピクセルとして分類される。１つ又は複数のプローブで染色すると、陽性対象ピクセルは正常ピクセル及び生物標本の背景エリアピクセルとは異なる色を帯びる。例えば、関心対象は赤褐色を帯び、一方、正常細胞は灰色がかった色を帯びる。生物標本が透明なスライドに載せられていれば、背景エリアは白っぽい色を帯びる。もちろん、使用する特定の染色法に応じて他の色の構成も可能である。
ステップ１２６では、画像処理システムが生物標本画像を変換して変換画像を生成する。画像処理システム１０６のプロセッサは、ＭＣ＋１変換とＱＣＴの２つの色変換のうちの一方を規定する、メモリに格納されたコンピュータ命令を実行する。色変換は、生物標本内の関心対象を正常細胞及び背景エリアから自動識別することを可能にする。色変換はピクセル値の新たなセット、すなわち変換画像を生成する。この変換画像内では、正常細胞と背景エリアは関心対象から識別可能である。
そのような準備が為されていれば、自動細胞分析装置はステップ１２８及び１３０を実行することができる。ステップ１２８において、画像処理システムは変換画像にモルフォロジー処理を適用することができるが、必須ではない。モルフォロジー処理の適用により、生物標本内の関心対象の識別はらに洗練される。例えば、モルフォロジー処理により、生物標本内の関心細胞の境界がより明確に識別される。画像処理システムは、モルフォロジー処理の実行のために、膨張処理や浸食処理のような当業者には周知の標準的技術を使用することができる。
さらに、画像処理システム１０６がディスプレイに接続されている場合には、ステップ１３０において、画像処理システム１０６は変換画像１３２をディスプレイに表示する。画像処理システム１０６は一般に、関心対象が正常細胞及び背景エリアとは異なる明度又は色で表示されるように、変換画像をディスプレイに表示する。関心対象を異なる明度で表示することにより、変換画像は、生物標本内に関心対象が存在する場合には、これらの関心対象を識別する。
上述のように、画像処理システム１０６は色変換を用いて、生物標本画像１２４内の関心対象を識別する。画像処理システムはＭＣ＋１変換、ＱＣＴ又は両方の変換を適用して、関心対象を識別する変換画像を生成する。有利には、ＭＣ＋１変換とＱＣＴとにより、染色の結果として生じる強く染色されたエリア又は異物の存在を関心対象として誤って識別することなく、関心対象を高レベルの定量化をもって識別することが可能となる。
ＭＣ＋１変換
ＭＣ＋１変換は、染色法により少なくとも２つの異なる色が生じる場合に、生物標本画像内の関心対象を識別するのに適している。ＭＣ＋１変換により生成される変換画像では、正常細胞と背景エリアは黒に近く、関心対象は白に近い。それゆえ、マイナスクリア（ＭＣ、例えば、マイナス正常細胞及び背景エリア、又は正常細胞及び背景エリアの減算）プラス１（例えば、陽性対象）の名前がある。
概念的には、ＭＣ＋１変換は、生物標本画像内のピクセルを３次元座標空間内の点対象として視覚化することを含む。図３は生物標本画像のピクセルを視覚化しうる３次元座標空間を示している。３次元座標空間の軸はピクセルの赤色成分、緑色成分、及び青色成分に対応している。その結果、ピクセルは赤色成分、緑色成分、及び青色成分の値に応じて座標空間内に一意の位置を占める。
並進と回転に基づいたＭＣ＋１変換
本発明の実施例によれば、画像処理システム１０６は図３の３次元座標空間の再配置を含んだＭＣ＋１変換を適用することができる。再配置は、関心対象に関連したピクセルを識別することのできる別の３次元座標空間を生じる。
再配置は３次元座標空間の並進及び回転の演算から成る。本明細書で説明される並進及び回転の演算の視覚化を容易にするため、生物標本画像を規定する陽性対象ピクセル、背景ピクセル及び正常ピクセル、すなわち対比染色対象ピクセルは、３次元座標空間ではなく２次元座標空間内にプロットされている。各ピクセルは赤、緑、及び青の成分を有しているが、図示のため、ピクセルは赤色成分と緑色成分の２つの成分だけを有すると仮定する。
図４には、２次元座標空間１５０へのピクセルのプロットが示されている。２次元座標空間において、ピクセルの赤色成分が「ｘ軸」を構成し、ピクセルの緑色成分が「ｙ軸」を構成している。２次元座標空間はピクセルのクラスタを有している。ピクセルのクラスタは、関心対象を規定するピクセル、正常細胞を規定するピクセル及び生物標本画像の背景エリアを規定するピクセルに対応している。
背景ピクセルは一般に２次元座標空間内の小さなクラスタの中にある。背景ピクセルはスライドの透明エリアに対応している。その結果、背景ピクセルは一般に赤色成分と緑色成分の両方に対して同じ値を有する。しかしながら、背景ピクセルは同一の色成分を有するのではない。ノイズと照明の不均一性が背景ピクセルの色成分に影響を及ぼす。ノイズと照明の不均一性が、これらのピクセルが２次元座標空間１５０内の小さなクラスタの中にある原因である。
対比染色対象ピクセルのクラスタは、背景ピクセルからほぼ直線状に延びたグループ内にある。対比染色された対象は正常細胞を表しているので、対比染色対象ピクセルは背景ピクセルとは異なる色をしている。しかし、ノイズと照明の不均一性によって、対比染色対象ピクセルは２次元座標空間１５０内に広がる。さらに、様々な度合いの染色強度が対比染色対象ピクセルを拡げる。染色強度の多様性が対比染色対象ピクセルを背景クラスタから延びる細長いクラスタ内に位置させる。
関心対象を規定するピクセルは２次元座標空間の別のクラスタの中に位置する。これらのピクセルが別のクラスタの中に位置する理由は、陽性対象ピクセルを識別するのに使用される染色剤が、対比染色対象ピクセルを識別するのに使用される染色剤とは異なるからである。染色剤が異なることで、陽性対象ピクセルは２次元座標空間１５０において背景ピクセル及び対比染色対象ピクセルから離れて位置する。
図５に示されているように、ＭＣ＋１変換は２次元座標空間１５０を並進及び回転させて、例えば背景ピクセルのクラスタの平均ピクセル値に原点を有する別の２次元座標空間１６０を形成するものと見ることができる。並進と回転によって、対比染色対象ピクセルと背景ピクセルは名目上ゼロの色成分を有し、その一方で、陽性対象ピクセルは非ゼロの色成分を有する。軸ｒ’及び軸ｇ’により定められた２次元座標空間１６０は「実際の」色ではない。それでも、陽性対象ピクセルの非ゼロ色成分は陽性対象ピクセルを２次元座標空間１６０において容易に識別可能にする。２次元座標空間１６０（又は概念的には、そのように配置された３次元座標空間）内にプロットされたピクセルは変換画像を決定する。さらに、変換画像は、生物標本内に関心対象が存在する場合には、これらの関心対象を識別する。
回転と並進として概念化されるＭＣ＋１変換によるピクセルの変換は、数学的には、最大ピクセル値により各ピクセル成分の補数をとり（２次元座標空間１５０の軸の並進）、回転行列を適用して（２次元座標空間１５０の軸の回転）、２次元座標空間１６０を形成する。生物標本画像内のピクセルの成分は０〜２５５の８ビット値として定量化することができるが、他の定量化も可能である。しかし、成分が８ビット値として定量化され、成分の最大値が２５５である場合には、画像処理システム１０６のプロセッサは、以下のような各ピクセル成分の補数の計算を行うコンピュータ命令を実行する：
Ｒ’＝２５５−Ｒ
Ｇ’＝２５５−Ｇ
Ｂ’＝２５５−Ｂ
つぎに、画像処理システム１０６は、３つの連続した回転を行うコンピュータ命令を実行して、対比染色対象ピクセルの色成分を低減し、陽性対象ピクセルの色成分を最大化する。
第１の色空間内のピクセルはｒ’軸（ｒ軸の並進により決定される）を中心として回転され、下記の式により表される：
行列の成分は所要の回転角（シータ）の正弦と余弦である。これらは下記の式により与えられる：
ここで、下付き文字“ｂ”は対比染色対象ピクセルの各成分の成分値であることを表している。この成分値は対比染色対象ピクセルのクラスタのうちの「代表的な」対比染色対象ピクセルに基づいている。ただし、「代表的な」対比染色対象ピクセルは使用する特定の染色法に依存する。使用する特定の染色法に応じた、成分値は染色強度の平均値であってよいが、他の構成も可能である。
第１の色空間内のピクセルはｇ’軸（ｇ軸の並進により決定される）を中心として回転され、下記の式により表される：
ここで、回転係数は角ファイの正弦と余弦であり、下記の式により与えられる：
下付き文字の意味は上記と同じである。
つぎにピクセルはｂ’軸（ｂ軸の並進により決定される）を中心として回転され、これにより回転された３次元座標空間内での最終的な色の値が算出される：
ここで、回転係数は角アルファの正弦と余弦であり、下記の式により与えられる：
ここで、下付き文字“ｔ”は、同様に、使用される特定の染色法により決定される「代表的な」陽性対象ピクセルの成分値であることを表している。
連続した３つの回転行列が生物標本画像内の各ピクセルのＭＣ＋１値に対する式を決定する。各ピクセルのＭＣ＋１値を計算することにより、画像処理システム１０６は生物標本画像を変換し、変換画像を生成する。変換画像は生物標本画像内の各ピクセルのＭＣ＋１値から構成されている。さらに、変換画像は生物標本内に関心対象が存在する場合には、これらの関心対象を識別する。例えば、関心対象は閾値を超えるＭＣ＋１値を有するピクセルによって確定することができる。
ＭＣ＋１値を計算するための式、すなわち、連続した３つの回転行列は、重み係数と赤色成分、緑色成分、もしくは青色成分の補数との積和から成っている。プロセッサはこの積和に基づいてＭＣ＋１変換を計算するメモリに格納されたコンピュータ命令を実行する。具体的には、この式は第１の係数と変換すべきピクセルの第１成分、すなわち赤色成分の補数との積と、第２の係数と変換すべきピクセルの第２成分、すなわち緑色成分の補数との積と、第３の係数と変換すべきピクセルの第３成分、すなわち青色成分の補数との積との和である。つまり、
ここで、第１の係数は−ｓａ＊ｃｐ＊ｃｔ−ｃａ＊ｓｔであり、第２の係数は−ｓａ＊ｃｐ＊ｓｔ＋ｃａ＊ｃｔであり、第３の係数はｓａ＊ｓｐであり、Ｒ’、Ｇ’及びＢ’は実際の赤、青及び緑のピクセル値の補数である。
生物標本内の関心対象をより容易に識別可能とするために様々な染色及び対比染色を使用することができるが、本発明は特定の染色化学に限定されない。上記式の重み係数の値は、使用される実際の染色化学、染色剤の製法及びその使用法、並びに画像内及び他のソースからのノイズを含む、多数の要因に依存する。ＡＥＣ及びヘマトキシリン染色を使用すると、第１、第２及び第３の係数はそれぞれおよそ−０．７〜−０．８、０．５〜０．６５、及び０．３〜０．４の間の範囲に落ち着く。ある計算における３つの成分の実際の値はそれぞれ−０．７２１、０．６１２及び０．３８１である。重み係数は生物標本画像の変換画像への変換の間中固定されたままである。したがって、この具体例では、ＡＥＣとヘマトキシリンにより染色された生物標本画像内のピクセルは、染色された生物標本画像内の各ピクセルに関して以下のＭＣ＋１値を形成することにより変換される：
ここで、ｒｅｄ，ｇｒｅｅｎ及びｂｌｕｅは生物標本画像内のピクセルの成分である。変換画像は生物標本画像内のピクセルに対して計算されたＭＣ＋１値により決定される。さらに、関心対象は閾値を超えるＭＣ＋１値を有するピクセルにより確定される。
図６により示されるように、ＭＣ＋１変換により、ｇ’軸に沿った背景ピクセルと対比染色対象ピクセルの色成分は名目上ゼロとなり、陽性対象ピクセルはｇ’軸に沿った成分を有する。２次元座標空間１６０内に配置されたこれらのピクセルが変換画像を決定する。この変換画像において、陽性対象ピクセルは可視であり、背景ピクセル及び対比染色対象ピクセルは不可視である。
図７はＭＣ＋１変換を生物標本画像に適用した結果として生成された変換画像を示している。ピクセル値の赤色成分、緑色成分、及び青色成分に重み付けをし、重み付けされた成分の和を求めることで新たな「色」、すなわち値が得られる。生物標本画像内の各ピクセルに対する新たな色又は「値」が変換画像を決定する。変換画像は、理想的には、変換画像内の関心対象の識別をさらに洗練させるために、引き続き、分類（閾値設定）、重心のトラッキング、膨張処理又は浸食処理のようなモルフォロジー処理を施されるのが適している。
ベクトル演算に基づいたＭＣ＋１変換
本発明の択一的実施例によれば、画像処理システム１０６は、並進及び回転演算ではなく、ベクトル演算を含んだＭＣ＋１変換を使用する。ベクトル演算は、生物標本内に関心対象が存在する場合にこれらの関心対象を識別する変換画像を生成する。ベクトル演算は３次元座標空間内に２つのベクトルを定めることから成る。対比染色対象ベクトルは背景ピクセルのうちの代表的な背景ピクセルから対比染色対象ピクセルを通って延びている。その一方で、陽性対象ベクトルは代表的な背景ピクセルから陽性対象ピクセルへと延びている。陽性対象ベクトルと対比染色対象ベクトルとの差が陽性対象ピクセルのＭＣ＋１値を決定する。ベクトル演算に基づいたＭＣ＋１変換のステップは、並進と回転に基づいたＭＣ＋１変換のステップとは異なる。しかし、以下に示すように、ＭＣ＋１変換の結果は同じである。
図８は生物標本画像内のピクセルをベクトル演算に基づいて変換する様子を示している。ここでもまた、本明細書で説明される変換操作の視覚化を容易にするため、生物標本画像を規定する陽性対象ピクセル、背景ピクセル及び対比染色対象ピクセルは、３次元座標空間ではなく２次元座標空間１９０内に存在するものと仮定する。各ピクセルは赤、緑及び青の成分を有しているが、図示のために、これらピクセルが赤色成分と緑色成分の２つの成分しか持たないと仮定する。
２次元座標空間１９０はピクセルの赤色成分と緑色成分とに対応する軸を有している。もう一方の２次元座標空間１９４は、２次元座標空間１９０を規定する軸を並進したものである軸ｒ’及び軸ｇ’を有している。軸１９０の並進の結果、軸１９４の原点は背景ピクセルのクラスタ内に、例えば背景ピクセルのクラスタの平均ピクセル値にセンタリングされる。
図９は、以下で説明する変換プロセスの理解を助けるため、２次元座標空間１９４を描き直したものを示している。
図１０は、２次元座標空間１９４において背景ピクセルのクラスタからそれぞれ陽性対象ピクセル及び対比染色対象ピクセルへ引いた２つのベクトルを示している。陽性対象ピクセルベクトル１９８は背景ピクセルのクラスタから陽性対象ピクセルへ延びている。さらに、対比染色対象ピクセルベクトル２００は対比染色対象ピクセルを通って延びている。
点線１９６は、陽性対象ピクセルに対して、陽性対象ピクセルベクトル１９８と対比染色対象ピクセルベクトル２００との差を表している。この差が陽性対象ピクセルに対するＭＣ＋１値を決定する。
概して言えば、生物標本画像はあるベクトルと対比染色対象ピクセルベクトルとの差を計算することにより変換される。ベクトルは背景ピクセルのクラスタから変換すべきピクセル、例えば、別の背景ピクセル、陽性対象ピクセル、又は対比染色対象ピクセルへ延びる。差が変換すべきピクセルに対するＭＣ＋１値を表す。生物標本画像内の各ピクセルに対する差が変換画像を決定する。さらに、変換画像は生物標本内に関心対象が存在する場合には、これらの関心対象を識別する。
数学的には、初等的なベクトル代数が陽性対象ピクセルベクトル１９８と対比染色対象ピクセルベクトル２００との差を決定する。画像処理システム１０６のプロセッサは、各ピクセルに対して、第１成分、例えば赤色成分の補数、第２成分、例えば緑色成分の補数、及び第３成分、例えば青色成分の補数を形成することにより差を計算し、以下に説明するように、変換値を計算する。
画像処理システム１０６は、ベクトル演算に基づいたＭＣ＋１変換を実行する際、２つのベクトルのドット積を計算するため、メモリに格納されたプロセッサにより実行可能なコンピュータ命令を有している。ドット積は
ＰｄｏｔＣ＝Ｍａｇ（Ｐ）＊Ｍａｇ（Ｃ）＊ｃｏｓ（夾角）
であり、ここで、夾角は陽性対象ベクトルと対比染色対象ベクトルの間の角を表しており、Ｍａｇ（Ｐ）は陽性対象ピクセルベクトルＰの大きさを表し、Ｍａｇ（Ｃ）は対比染色対象ピクセルベクトルＣの大きさを表している。
ドット積の開平により、ＭＣ＋１値、すなわちベクトル演算に基づいた変換は、
と表される。ここで、Ｒ’、Ｇ’、及びＢ’は生物標本画像内のピクセルの赤色成分、緑色成分、及び青色成分の補数を表している。さらに、量Ｒｂ，Ｇｂ、及びＢｂは「代表的な」対比染色された対象のピクセル成分値の補数である。画像処理システム１０６は、生物標本画像の各ピクセルに対してＭＣ＋１値を計算することにより生物標本画像を変換する。各ピクセルに対するＭＣ＋１値は変換画像を決定する。変換画像は、生物標本内に関心対象が存在する場合には、これらの関心対象を識別する。例えば、関心対象は閾値を超えるＭＣ＋１値を有するピクセルによって確定することができる。さらに、関心対象の識別をさらに洗練させるために、モルフォロジー処理を変換画像に適用してもよい。
図１１は、ベクトル演算に基づいたＭＣ＋１変換を生物標本画像に適用した結果として生成された変換画像を示している。図７を図１１と比べると、ベクトル演算に基づいたＭＣ＋１変換は、並進及び回転演算に基づいたＭＣ＋１変換と同じ結果を生じている。したがって、ベクトル演算に基づいたＭＣ＋１変換は、生物標本画像内の関心対象を識別するための別の方法である。
定量的色変換（ＱＣＴ）
ＭＣ＋１変換の代わりに、又はＭＣ＋１変換に加えて、画像処理システム１０６は生物標本画像内の関心対象の識別にＱＣＴを適用してもよい。ＱＣＴはピクセルにより標本化された吸収分子の定量的量を特徴付ける。
ＱＣＴは生物標本画像内のピクセルの赤色成分、緑色成分、及び青色成分から新たな３つの量を計算することを含む。これら３つの新たな量Ｘ、Ｙ及びＺは、標本化されたピクセル、つまり、吸収分子の定量的量Ｎに対して線形の関係を有する。これら３つの新たな量Ｘ、Ｙ及びＺの各々は比の計算を要する。この比は第１の値を第２の値で除したものからなっており、ここで、第１の値とは変換すべきピクセルの成分、例えば赤、緑、青の平方であり、第２の値とは変換すべきピクセルの成分、例えば赤、緑、青のうちの異なる２つの成分の積である。
以下の式はそれぞれ上記の比、すなわち、赤色成分ｒ、緑色成分ｇ、及び青色成分ｂを有するピクセルにより標本化された吸収分子の数を決定する：
これら３つの量のうちの１つ又は複数がＮの許容される推定値を表す。その結果、画像処理システム１０６のプロセッサは、上記の式で表されるピクセルごとの吸収分子の量を計算するためのコンピュータ命令を実行する。しかし、有利には、これらの量の平均がＮのよりよい推定値を生み出す。プロセッサは、最もノイズの多い成分は加重平均への寄与が最も小さくまたその逆も成り立つように、３つの成分値Ｘ、Ｙ及びＺの重み付けに重み係数ｋｘ、ｋｙ及びｋｚを適用するコンピュータ命令を実行する。これら３つの成分値に適用された重み係数は加重平均値、すなわちＱＣＴ値を算出する：
ＱＣＴ値＝ｋｘＸ＋ｋｙＹ＋ｋｚＺ
最適推定理論が重み係数を決定する。量Ｘ（ＱＣＴのＸと同じ量ではなく、バリアントＸ：Ｘ１，Ｘ２及びＸ３である）に対して３つの推定値をとれば、これら３つの推定値を平均して最終推定値のノイズを低減することができる。つまり、
このような場合、最終推定値のノイズ（標準偏差）は下記のように各推定値の標準偏差によって与えられる：
すべての標準偏差が等しければ、ノイズはＸ１，Ｘ２及びＸ３の二乗和の平方根（ＲＳＳ）に等しい。したがって、プロセッサは、Ｘ、Ｙ及びＺにより与えられる吸収分子の量を１／３に等しい係数ｋｘ、ｋｙ及びｋｚによって重み付けする、メモリ内に格納されたコンピュータ命令を実行し、加重平均、すなわちＱＣＴ値を算出することができる。生物標本画像内の各ピクセルに対するＱＣＴ値は変換画像を決定する。変換画像は生物標本内に関心対象が存在する場合には、これらの関心対象を識別する。例えば、関心対象は閾値を超えるＱＣＴ値を有するピクセルにより確定される。
択一的に、画像処理システム１０６のプロセッサが、加重平均を算出するコンピュータ命令を実行するようにしてもよい。加重平均は、最もノイズの多い吸収分子の量の推定値には小さな重みを適用し、最もノイズの少ない吸収分子の量の推定値には大きな重みを適用した結果として計算される。したがって、等しい重み係数で平均値を形成する代わりに、加重平均は下記の式にしたがって算出することができる：
Ｘ：＝ｋ１・Ｘ１＋ｋ２・Ｘ２＋ｋ３・Ｘ３
ここで、各“ｋ”は等しくなく、次の条件に従っている：
ｋ１＋ｋ２＋ｋ３：＝１
ノイズ値は下記の式にしたがって結合される：
（σ）２：＝（ｋ１・σ１）２＋（ｋ２・σ２）２＋（ｋ３・σ３）２
σ２：＝ｋ１２・σ１ ２＋ｋ２２・σ２ ２＋ｋ３２・σ３ ２
ｋ１、ｋ２及びｋ３の値は下記の式を解くことにより得られる：
これらの解が重み係数に対する以下の答を提供する。
したがって、ＱＣＴ値は、Ｘ、Ｙ及びＺの分散の計算、重み係数の計算、そして吸収分子の３つの推定値を重み係数で重み付けし、加重平均を得ることの結果として計算される。
例として、Ｘをつぎのように定義する（対数はとらない）：
ここで、ｒ、ｇ、及びｂはそれぞれ生物標本画像内のピクセルの赤、緑、及び青の成分のピクセル値である。ピクセルの各成分値に対して、ベールの法則からつぎのことが示される：
つまり、ピクセルの成分値は、各スペクトルバンドの吸収定数、分析物の濃度、すなわち吸収分子の数、及びサンプルを通過する経路の長さに指数関数的に関係している。上記のＸの定義に代入すると、
が得られる。測色法により校正されたシステムの場合、ｒ０ ２／ｇ０ｂ０＝１なので、上記式を簡略化して下記の式を得ることができる：
この式の対数をとって、積Ｃ＊ｌ（これは分析物濃度と経路長との積である）について解くと、以下の量が得られる：
ピクセルにより標本化された吸収分子の数は、ＱＣＴの他の２つの量、すなわち量Ｙ及びＺに関しても推定することができる。Ｎの３つの異なる推定値は下記のようになる：
ピクセルの赤色成分、緑色成分、及び青色成分の分散を所与とすると、これら３つの量の分散がつぎのようにして計算される：
これらの式をｅｑ（３）に代入すると、
が得られる。赤色成分、緑色成分、及び青色成分の分散が等しい場合には、
である。
この同じ分析はＹ及びＺの分散の計算に適用される。最終的な３つの式はつぎの通りである：
最後に、ｅｑ（２）を利用し、ｅｑ（４）からの値を用い、
を代入すると、
となる。したがって、ｋｘ、ｋｙ及びｋｚは、上記のようにＱＣＴに従ってＸ、Ｙ、及びＺに対する重み係数を定める。画像処理システム１０６のプロセッサは、１／３の重み係数の代わりにこれらの重み係数を適用して、各ピクセルに対するＱＣＴ値を計算することができる。生物標本画像内の各ピクセルに対するＱＣＴ値は変換画像を決定する。変換画像は生物標本内に関心対象が存在する場合には、これらの関心対象を識別する。例えば、関心対象は閾値を超えるＱＣＴ値を有するピクセルにより確定することができる。さらに、関心対象の識別をさらに洗練させるために、モルフォロジー処理を変換画像に適用してもよい。
以上、本発明の実施例を図示し、説明した。しかし、請求項により確定される本発明の思想及び範囲から逸脱することなく、以上に説明した本発明に対して変更及び改善をなすことができることを理解されたい。例えば、顕微鏡と提携させた離れたワークステーションの汎用コンピュータ、プログラム可能マイクロプロセッサ、又は他の適当な計算機械によって、色空間変換をコード化した命令を実行してもよい。同様に、顕微鏡システムの詳細、スライド画像を捕らえるために使用するカメラは、特に関係はなく、様々であってよい。
生物標本の自動細胞分析のための代表的な装置のブロック図を示す。
生物標本内関心対象を識別するためのプロセスを示す。
３次元座標空間内にプロットされたピクセルを示す。
例示的な生物標本画像のピクセルの２次元座標空間へのマッピングを示す。
図４の２次元座標空間の回転及び並進により、別の２次元座標空間が形成される様子を示す。
図５の別の２次元座標空間の水平図を示す。
回転及び並進演算による生物標本画像のＭＣ＋１変換の結果を示す。
図３の２次元座標空間の並進であるさらに別の２次元座標空間を示す。
図８の２次元座標空間の水平図を示す。
図９の２次元座標空間において背景ピクセルから陽性対象ピクセルへ並びに背景ピクセルから対比染色対象ピクセルへと延びるベクトルの決定を示す。
ベクトル演算による生物標本画像のＭＣ＋１変換の結果を示す。

Claims (21)

  1. 生物標本内の関心対象を識別するためのシステムであって、関心対象が生物標本の正常細胞及び背景エリアから識別される形式のシステムにおいて、
    プロセッサと、
    メモリと、
    前記プロセッサにより実行可能な前記メモリ内に格納されたコンピュータ命令とを有し、
    前記コンピュータ命令は、
    陽性対象ピクセルと対比染色対象ピクセルと背景ピクセルとを含んだ生物標本画像を取得する機能と、
    前記生物標本画像を変換して変換画像を生成する機能を果たし、
    前記変換画像は３次元座標空間により特徴付けられ、前記生物標本画像は、前記命令によって、背景ピクセルのクラスタを前記３次元座標空間の原点に配置することにより変換され、前記変換画像において、前記対比染色対象ピクセルは実質的に前記３次元座標空間の軸に沿って存在し、前記陽性対象ピクセルは実質的に前記３次元座標空間の軸の間に位置し、
    前記変換画像は、生物標本内に関心対象が存在する場合には、該関心対象の識別を補助する、ことを特徴とする生物標本内の関心対象を識別するためのシステム。
  2. 前記変換すべきピクセルの第１成分、第２成分及び第３成分はそれぞれ赤、緑、及び青の成分である、請求項１記載のシステム。
  3. 生物標本内に関心対象が存在する場合、該関心対象の識別を洗練するために変換画像のモルフォロジー処理の機能を果たす、前記プロセッサにより実行可能なコンピュータ命令をさらに有する、請求項１記載のシステム。
  4. 生物標本内の関心対象を識別するためのシステムであって、関心対象が生物標本の正常細胞及び背景エリアから識別される形式のシステムにおいて、
    プロセッサと、
    メモリと、
    前記プロセッサにより実行可能な前記メモリ内に格納されたコンピュータ命令とを有し、
    前記コンピュータ命令は、
    それぞれ第１成分、第２成分及び第３成分により決定されるピクセルを含んだ生物標本画像を取得する機能と、
    前記ピクセルの各々に関して前記第１成分、第２成分及び第３成分の補数を形成する機能と、
    前記生物標本画像を変換して変換画像を生成する機能とを果たし、
    前記生物標本画像は、前記ピクセルの各々に関して、下記の複数の積の和を計算することにより変換され、前記複数の積は、（ａ）第１の係数と変換すべきピクセルの第１成分の補数との積、（ｂ）第２の係数と変換すべきピクセルの第２成分の補数との積、及び（ｃ）第３の係数と変換すべきピクセルの第３成分の補数との積であり、
    前記変換画像は、生物標本内に関心対象が存在する場合には、該関心対象の識別を補助する、ことを特徴とする生物標本内の関心対象を識別するためのシステム。
  5. 前記生物標本は、前記第１の係数、第２の係数及び第３の係数を一意に決定する所定の染色の組合せを用いて染色される、請求項４記載のシステム。
  6. 前記所定の染色の組合せはＡＥＣとヘマトキシリンである、請求項５記載のシステム。
  7. 前記第１の係数は−０．８と−０．７の間にあり、前記第２の係数は０．５と０．６５の間にあり、前記第３の係数は０．３と０．４の間にある、請求項６記載のシステム。
  8. 前記変換すべきピクセルの第１成分、第２成分及び第３成分はそれぞれ赤、緑、及び青の成分である、請求項４記載のシステム。
  9. 生物標本内に関心対象が存在する場合、該関心対象の識別を洗練するために変換画像のモルフォロジー処理の機能を果たす、前記プロセッサにより実行可能なコンピュータ命令をさらに有する、請求項４記載のシステム。
  10. 生物標本内の関心対象を識別するためのシステムであって、関心対象が生物標本の正常細胞及び背景エリアから識別される形式のシステムにおいて、
    プロセッサと、
    メモリと、
    前記プロセッサにより実行可能な前記メモリ内に格納されたコンピュータ命令とを有し、
    前記コンピュータ命令は、
    それぞれ３次元座標空間の第１成分、第２成分及び第３成分により決定される陽性対象ピクセル、対比染色対象ピクセル及び背景ピクセルを含んだ生物標本画像を取得する機能と、
    前記３次元座標空間内に（ａ）対比染色対象ベクトルと（ｂ）陽性対象ベクトルを定める機能と、
    前記生物標本画像を変換して変換画像を生成する機能とを果たし、
    前記対比染色対象ベクトルは、背景ピクセルのクラスタから対比染色対象ピクセルを通って延びており、ただし、前記対比染色対象ピクセルは実質的に前記対比染色対象ベクトルに沿って存在し、前記陽性対象ベクトルは背景ピクセルのクラスタから陽性対象ピクセルへと延びており、
    前記生物標本画像は、前記陽性対象ベクトルと前記対比染色対象ベクトルの差を計算することにより変換され、
    前記変換画像は、生物標本内に関心対象が存在する場合には、該関心対象の識別を補助する、ことを特徴とする生物標本内の関心対象を識別するためのシステム。
  11. 生物標本内に関心対象が存在する場合、該関心対象の識別を洗練するために変換画像のモルフォロジー処理の機能を果たす、前記プロセッサにより実行可能なコンピュータ命令をさらに有する、請求項１０記載のシステム。
  12. 生物標本内の関心対象を識別するためのシステムであって、関心対象が生物標本の正常細胞及び背景エリアから識別される形式のシステムにおいて、
    プロセッサと、
    メモリと、
    前記プロセッサにより実行可能な前記メモリ内に格納されたコンピュータ命令とを有し、
    前記コンピュータ命令は、
    それぞれ第１成分、第２成分及び第３成分により決定されるピクセルを含んだ生物標本画像を取得する機能と、
    前記ピクセルの各々に関して第１成分、第２成分及び第３成分の補数を形成する機能と、
    前記生物標本画像を変換して変換画像を生成する機能とを果たし、
    前記生物標本画像は、前記ピクセルの各々に対して変換値を計算することにより変換され、前記変換値は（p１２＋p２２＋p３２）×（p１ｃ２＋p２ｃ２＋p３ｃ２）−（p１×p１ｃ＋p２×p２ｃ＋p３×p３ｃ）２の平方根により定義され、ここで、ｐ１，ｐ２及びｐ３はそれぞれ変換すべきピクセルの第１成分、第２成分及び第３成分の補数であり、ｐ１ｃ，ｐ２ｃ及びｐ３ｃはそれぞれ代表的な対比染色ピクセルの第１成分、第２成分及び第３成分の補数であり、
    前記変換画像は、生物標本内に関心対象が存在する場合には、該関心対象の識別を補助する、ことを特徴とする生物標本内の関心対象を識別するためのシステム。
  13. 前記変換すべきピクセルの第１成分、第２成分及び第３成分はそれぞれ赤、緑、及び青の成分である、請求項１２記載のシステム。
  14. 生物標本内に関心対象が存在する場合、該関心対象の識別を洗練するために変換画像のモルフォロジー処理の機能を果たす、前記プロセッサにより実行可能なコンピュータ命令をさらに有する、請求項１２記載のシステム。
  15. 生物標本内の関心対象を識別するためのシステムであって、関心対象が生物標本の正常細胞及び背景エリアから識別される形式のシステムにおいて、
    プロセッサと、
    メモリと、
    前記プロセッサにより実行可能な前記メモリ内に格納されたコンピュータ命令とを有し、
    前記コンピュータ命令は、
    ピクセルを含んだ生物標本画像を取得する機能と、
    前記生物標本画像を変換して変換画像を生成する機能とを果たし、
    前記変換画像は前記ピクセルの各々によって標本化された吸収分子の数を決定し、
    前記変換画像は、生物標本内に関心対象が存在する場合には、該関心対象の識別を補助する、ことを特徴とする生物標本内の関心対象を識別するためのシステム。
  16. 生物標本内に関心対象が存在する場合、該関心対象の識別を洗練するために変換画像のモルフォロジー処理の機能を果たす、前記プロセッサにより実行可能なコンピュータ命令をさらに有する、請求項１５記載のシステム。
  17. 前記生物標本画像は、それぞれ第１成分、第２成分及び第３成分により決定されるピクセルを含んでおり、前記生物標本画像を変換して変換画像の生成を実行する前記コンピュータ命令は、
    前記ピクセルの各々に対して少なくとも１つの変換値を計算する機能と、
    前記ピクセルの各々に対する少なくとも１つの変換値の平均値を計算する機能とを実施する前記プロセッサにより実行可能なコンピュータ命令をさらに含んでおり、
    前記少なくとも１つの変換値は、変換すべきピクセルの第１成分の平方である第１の値と、変換すべきピクセルの第２成分と第３成分の積である第２の値との比である、請求項１５記載のシステム。
  18. 前記少なくとも１つの変換値の計算は、前記ピクセルの各々に対する比の対数を計算することを含む、請求項１７記載のシステム。
  19. 前記変換すべきピクセルの第１成分、第２成分及び第３成分はそれぞれ赤、緑、及び青の成分である、請求項１７記載のシステム。
  20. 前記少なくとも１つの変換値は、ｒ２／（ｇ×ｂ）、ｇ２／（ｒ×ｂ）及びｂ２／（ｒ×ｇ）から成るグループから選択された式により決定され、ここで、ｒ、ｇ、ｂはそれぞれ変換すべきピクセルの赤、緑、及び青の成分である、請求項１７記載のシステム。
  21. 生物標本内に関心対象が存在する場合、該関心対象の識別を洗練するために変換画像のモルフォロジー処理の機能を果たす、前記プロセッサにより実行可能なコンピュータ命令をさらに有する、請求項１７記載のシステム。
JP2003367983A 2002-10-28 2003-10-28 生物標本内の関心対象を識別するための方法及びシステム Expired - Fee Related JP4071186B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US10/282,362 US7200252B2 (en) 2002-10-28 2002-10-28 Color space transformations for use in identifying objects of interest in biological specimens

Publications (2)

Publication Number Publication Date
JP2004151101A JP2004151101A (ja) 2004-05-27
JP4071186B2 true JP4071186B2 (ja) 2008-04-02

Family

ID=32093468

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003367983A Expired - Fee Related JP4071186B2 (ja) 2002-10-28 2003-10-28 生物標本内の関心対象を識別するための方法及びシステム

Country Status (6)

Country Link
US (2) US7200252B2 (ja)
EP (2) EP1484595B1 (ja)
JP (1) JP4071186B2 (ja)
AT (1) ATE556310T1 (ja)
AU (1) AU2003248207B2 (ja)
CA (2) CA2689950C (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9418414B2 (en) 2012-05-30 2016-08-16 Panasonic Intellectual Property Management Co., Ltd. Image measurement apparatus, image measurement method and image measurement system

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6944333B2 (en) * 2003-04-30 2005-09-13 Ventana Medical Systems, Inc. Color image compression via spectral decorrelation and elimination of spatial redundancy
US8068988B2 (en) 2003-09-08 2011-11-29 Ventana Medical Systems, Inc. Method for automated processing of digital images of tissue micro-arrays (TMA)
WO2005027015A2 (en) 2003-09-10 2005-03-24 Bioimagene, Inc. Method and system for quantitatively analyzing biological samples
US7426289B2 (en) * 2004-10-14 2008-09-16 The Brigham And Women's Hospital, Inc. Overlay of tinted images for visualizing change in serial radiologic images
US20060189893A1 (en) * 2005-01-06 2006-08-24 Diamics, Inc. Systems and methods for detecting abnormal cells
US20060161076A1 (en) * 2005-01-06 2006-07-20 Diamics, Inc. Systems and methods for collection of cell clusters
JP4767591B2 (ja) * 2005-06-01 2011-09-07 オリンパスメディカルシステムズ株式会社 内視鏡診断支援方法、内視鏡診断支援装置および内視鏡診断支援プログラム
US7526116B2 (en) * 2006-01-19 2009-04-28 Luigi Armogida Automated microscopic sperm identification
US20070250548A1 (en) * 2006-04-21 2007-10-25 Beckman Coulter, Inc. Systems and methods for displaying a cellular abnormality
JP5032792B2 (ja) * 2006-05-22 2012-09-26 浜松ホトニクス株式会社 細胞選別装置
CA2858359C (en) * 2006-11-01 2018-04-03 Ventana Medical Systems, Inc. Haptens, hapten conjugates, compositions thereof and method for their preparation and use
US9697582B2 (en) 2006-11-16 2017-07-04 Visiopharm A/S Methods for obtaining and analyzing images
WO2010017822A1 (en) * 2008-08-15 2010-02-18 Visiopharm A/S A method and a system for determining a target in a biological sample by image analysis
EP2167963B1 (en) 2007-05-23 2019-04-17 Ventana Medical Systems, Inc. Polymeric carriers for immunohistochemistry and in situ hybridization
DE602007009080D1 (de) * 2007-07-06 2010-10-21 Perkinelmer Cellular Technolog Verfahren zur Quantifizierung einer zugrunde liegenden Eigenschaften einer Menge von Proben
DE102007045897A1 (de) * 2007-09-26 2009-04-09 Carl Zeiss Microimaging Gmbh Verfahren zur mikroskopischen dreidimensionalen Abbildung einer Probe
US8703490B2 (en) 2008-06-05 2014-04-22 Ventana Medical Systems, Inc. Compositions comprising nanomaterials and method for using such compositions for histochemical processes
CN102197305B (zh) * 2008-10-23 2014-02-19 皇家飞利浦电子股份有限公司 生物样本的颜色管理
US8849006B2 (en) * 2009-03-25 2014-09-30 Quorum Technologies Inc. Darkfield imaging system and methods for automated screening of cells
JP5253284B2 (ja) * 2009-04-22 2013-07-31 三鷹光器株式会社 爪甲色素線条鑑別閾値の導出方法
CN102055882B (zh) * 2009-10-30 2013-12-25 夏普株式会社 图像处理装置、图像形成装置及图像处理方法
US8655009B2 (en) * 2010-09-15 2014-02-18 Stephen L. Chen Method and apparatus for performing color-based reaction testing of biological materials
WO2012061650A2 (en) 2010-11-03 2012-05-10 Teco Diagnostics All-in-one specimen cup with optically readable results
US9083918B2 (en) * 2011-08-26 2015-07-14 Adobe Systems Incorporated Palette-based image editing
US9528941B2 (en) 2012-08-08 2016-12-27 Scanadu Incorporated Method and apparatus for determining analyte concentration by quantifying and interpreting color information captured in a continuous or periodic manner
US9285323B2 (en) 2012-08-08 2016-03-15 Scanadu Incorporated Quantifying color changes of chemical test pads induced concentrations of biological analytes under different lighting conditions
EP2883037B1 (en) 2012-08-08 2023-06-07 Healthy.io Ltd. Method and apparatus for performing and quantifying color changes induced by specific concentrations of biological analytes in an automatically calibrated environment
US9654742B2 (en) * 2012-11-30 2017-05-16 Safety Management Services, Inc. System and method of automatically determining material reaction or sensitivity using images
CN103925895B (zh) * 2014-04-24 2016-04-27 无锡新吉凯氏测量技术有限公司 一种基于特征空间坐标信息的工业标识系统
US9863811B2 (en) 2014-08-15 2018-01-09 Scanadu Incorporated Precision luxmeter methods for digital cameras to quantify colors in uncontrolled lighting environments
JP7216707B2 (ja) * 2017-08-04 2023-02-01 ベンタナ メディカル システムズ， インコーポレイテッド 散乱補正を用いた色分離
EP3821396B1 (en) * 2018-07-11 2022-08-17 Vilniaus Universitetas Computer-implemented process on an image of a biological sample
CN111353932B (zh) * 2020-03-27 2023-04-25 浙江大华技术股份有限公司 一种坐标转换方法、装置、电子设备及存储介质
JP2023541663A (ja) 2020-09-17 2023-10-03 スキャンウェル ヘルス インコーポレイテッド 診断試験キット及びその分析方法
USD970033S1 (en) 2020-10-23 2022-11-15 Becton, Dickinson And Company Cartridge imaging background device
AU2021366678A1 (en) 2020-10-23 2023-05-18 Becton, Dickinson And Company Systems and methods for imaging and image-based analysis of test devices

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3824393A (en) * 1971-08-25 1974-07-16 American Express Invest System for differential particle counting
US5202931A (en) * 1987-10-06 1993-04-13 Cell Analysis Systems, Inc. Methods and apparatus for the quantitation of nuclear protein
US4965725B1 (en) * 1988-04-08 1996-05-07 Neuromedical Systems Inc Neural network based automated cytological specimen classification system and method
US5740270A (en) * 1988-04-08 1998-04-14 Neuromedical Systems, Inc. Automated cytological specimen classification system and method
US5016173A (en) * 1989-04-13 1991-05-14 Vanguard Imaging Ltd. Apparatus and method for monitoring visually accessible surfaces of the body
US5268966A (en) * 1989-08-10 1993-12-07 International Remote Imaging Systems, Inc. Method of differentiating particles based upon a dynamically changing threshold
DE69131102T2 (de) * 1990-11-07 1999-07-29 Neuromedical Systems Inc Untersuchungskontrollverfahren für bilder die auf einer anzeige gezeigt werden
US5257182B1 (en) * 1991-01-29 1996-05-07 Neuromedical Systems Inc Morphological classification system and method
US5231580A (en) * 1991-04-01 1993-07-27 The United States Of America As Represented By The Secretary Of The Department Of Health And Human Services Automated method and apparatus for determining characteristics of nerve fibers
US5428690A (en) * 1991-09-23 1995-06-27 Becton Dickinson And Company Method and apparatus for automated assay of biological specimens
US5375177A (en) * 1991-09-27 1994-12-20 E. I. Du Pont De Nemours And Company Method of identifying and characterizing a valid object by color
JP3129015B2 (ja) * 1993-02-16 2001-01-29 株式会社日立製作所 染色された粒子の検査方法及びその装置
JP3039594B2 (ja) * 1993-10-08 2000-05-08 株式会社日立製作所 染色試薬およびその使用方法
US5625705A (en) * 1994-06-03 1997-04-29 Neuromedical Systems, Inc. Intensity texture based classification system and method
US5499097A (en) * 1994-09-19 1996-03-12 Neopath, Inc. Method and apparatus for checking automated optical system performance repeatability
EP1300713A3 (en) * 1995-11-30 2004-11-03 Chromavision Medical Systems, Inc. Method and apparatus for automated image analysis of biological specimens
US6330349B1 (en) * 1995-11-30 2001-12-11 Chromavision Medical Systems, Inc. Automated method for image analysis of residual protein
US6151405A (en) * 1996-11-27 2000-11-21 Chromavision Medical Systems, Inc. System and method for cellular specimen grading
US6175700B1 (en) 2000-01-18 2001-01-16 Xerox Corporation Inserting test patterns in large print jobs
EP1417632A1 (en) * 2001-05-29 2004-05-12 Tissueinformatics, Inc. Robust stain detection and quantification for histological specimens based on a physical model for stain absorption
US7065236B2 (en) 2001-09-19 2006-06-20 Tripath Imaging, Inc. Method for quantitative video-microscopy and associated system and computer software program product
US7133547B2 (en) 2002-01-24 2006-11-07 Tripath Imaging, Inc. Method for quantitative video-microscopy and associated system and computer software program product

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9418414B2 (en) 2012-05-30 2016-08-16 Panasonic Intellectual Property Management Co., Ltd. Image measurement apparatus, image measurement method and image measurement system

Also Published As

Publication number Publication date
CA2689950C (en) 2014-04-01
AU2003248207A1 (en) 2004-05-13
US20070041627A1 (en) 2007-02-22
EP1416262A2 (en) 2004-05-06
CA2442339C (en) 2010-03-23
ATE556310T1 (de) 2012-05-15
JP2004151101A (ja) 2004-05-27
EP1484595A3 (en) 2008-04-09
US7200252B2 (en) 2007-04-03
US20040081345A1 (en) 2004-04-29
US7292718B2 (en) 2007-11-06
EP1484595A2 (en) 2004-12-08
AU2003248207B2 (en) 2006-05-04
CA2442339A1 (en) 2004-04-28
EP1416262A3 (en) 2004-08-11
CA2689950A1 (en) 2004-04-28
EP1416262B1 (en) 2015-12-30
EP1484595B1 (en) 2012-05-02

Similar Documents

Publication Publication Date Title
JP4071186B2 (ja) 生物標本内の関心対象を識別するための方法及びシステム
EP1470411B1 (en) Method for quantitative video-microscopy and associated system and computer software program product
EP1428016B1 (en) Method of quantitative video-microscopy and associated system and computer software program product
JP6086949B2 (ja) 色原体分離に基づく画像解析の方法
JP4504203B2 (ja) 画像分析に基づいたエストロゲン及びプロゲステロン表現のスコアリング
JP4266813B2 (ja) ステイン吸収の物理学的モデルに基づいて組織学的標本におけるステインを検出および定量化する頑強な方法
AU2002334590A1 (en) Method quantitative video-microscopy and associated system and computer software program product
AU2003236675A1 (en) Method for quantitative video-microscopy and associated system and computer software program product
JP5154844B2 (ja) 画像処理装置および画像処理プログラム
CN111656393A (zh) 组织学图像分析
AU2006201607B2 (en) Color space transformations for use in identifying objects of interest in biological specimens

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050930

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20051227

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20060105

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061201

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20070227

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20070302

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070413

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071227

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080116

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110125

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120125

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130125

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140125

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees