JP6261152B2 - 二次元電気泳動画像の解析方法、解析プログラム、及び解析装置 - Google Patents

二次元電気泳動画像の解析方法、解析プログラム、及び解析装置 Download PDF

Info

Publication number
JP6261152B2
JP6261152B2 JP2017524886A JP2017524886A JP6261152B2 JP 6261152 B2 JP6261152 B2 JP 6261152B2 JP 2017524886 A JP2017524886 A JP 2017524886A JP 2017524886 A JP2017524886 A JP 2017524886A JP 6261152 B2 JP6261152 B2 JP 6261152B2
Authority
JP
Japan
Prior art keywords
image
pixel
spot
images
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017524886A
Other languages
English (en)
Other versions
JPWO2016208523A1 (ja
Inventor
節夫 木之下
節夫 木之下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PROMEDICO CO., LTD.
Original Assignee
PROMEDICO CO., LTD.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PROMEDICO CO., LTD. filed Critical PROMEDICO CO., LTD.
Publication of JPWO2016208523A1 publication Critical patent/JPWO2016208523A1/ja
Application granted granted Critical
Publication of JP6261152B2 publication Critical patent/JP6261152B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N27/00Investigating or analysing materials by the use of electric, electrochemical, or magnetic means
    • G01N27/26Investigating or analysing materials by the use of electric, electrochemical, or magnetic means by investigating electrochemical variables; by using electrolysis or electrophoresis
    • G01N27/416Systems
    • G01N27/447Systems using electrophoresis

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Chemical & Material Sciences (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Electrochemistry (AREA)
  • Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Description

本発明は、二次元電気泳動画像に存在する微量の荷電物質に起因するスポットを見落とすことなく解析することが可能な、二次元電気泳動画像の解析方法、解析プログラム、及び解析装置に関する。
生体内のタンパク質は生命活動の中心的な役割を担っており、生体の成長の過程や疾患などの様々なストレスによる生体の異変に応じて、翻訳修飾されて発現するタンパク質の種類や量が敏感に変化する。例えば、タンパク質の変化を捉えることにより、疾患の有無や程度を把握することができ、創薬や個人レベルでの治療につなげることが可能になる。そのため、タンパク質を網羅的に解析する技術が広く検討されており、中でも、等電点電気泳動によりタンパク質(ペプチドを含む)の荷電状態に基づく分離を行った後、スラブゲル電気泳動によりタンパク質の分子量に基づく分離を行う二次元電気泳動法は、数千種類に及ぶタンパク質を同時に分析することができる上に、分解能も高いため、極めて有効な技術である。
二次元電気泳動法では、泳動後のスラブゲルの状態を撮像した二次元電気泳動画像(デジタル画像)が、解析のために用いられる。例えば、泳動後のゲル上のタンパク質を銀染色等により染色し、染色後のゲルをカメラやスキャナ等を用いて撮像した画像が用いられることがあり、また、タンパク質に蛍光色素等のマーカーを結合させた後で二次元電気泳動を行い、泳動後にマーカーが発する蛍光等をCCDカメラやスキャナ等を用いて撮影した画像が用いられることもある。画像には、被検試料に含まれるタンパク質に対応したスポットが多数認められる。各スポットは通常単一のタンパク質に対応し、スポットの体積を定量することによりタンパク質量が測定される。
ところで、二次元電気泳動法においては、泳動に用いられるゲルの歪みや撓み、ゲルに印加される電圧などの泳動条件のばらつき等の様々な原因により、同一の被検試料について泳動をおこなっても、得られる画像がばらついてしまうという問題がある。そのため、例えば、正常細胞におけるタンパク質成分と異常細胞におけるタンパク質成分との対比を行うために、正常細胞の抽出物を含む被検試料と異常細胞の抽出物を含む被検試料について1回ずつ二次元電気泳動実験を行い、各実験から得られた画像のスポットを対比しても、上述したばらつきの影響が大きく、対比が困難な場合がある。そこで、同一の被検試料について複数回、通常は3回以上の泳動実験を行い、これらの実験で得られたすべての画像を基に平均化した1枚の仮想画像を生成し、得られた仮想画像を用いてスポットを解析することが提案されている。
例えば、特許文献1(特表2001−500614号公報)には、オペレータにより選択された複数の画像からマスタ複合画像(平均化した仮想画像)が生成される工程が示されている。この工程では、選択された各画像のバックグラウンドから平均複合バックグラウンドが計算され、次いで、選択された各画像の対応するスポットの積分光学密度が平均されて平均複合積分光学密度が算出される。さらに、選択された各画像の対応するスポットについて、物理形状が平均され、スポット位置が平均され、さらに平均複合積分光学密度及び平均スポット位置の標準誤差が計算される(この文献の図3参照)。この文献では、得られたマスタ複合画像が、新しい画像と、オペレータにより選択された両画像に共通するアンカポイントに基づき、両画像の対応するアンカポイントが同じ位置になるように位置揃えされた後、対比されている。
特許文献2(特表2001−503860号公報)にも、複数の画像を平均する工程が示されており、各スポットから局所的バックグラウンドを減算した上で、対応するスポットの積分光学密度、物理的形状、スポット位置を平均し、平均混成積分光学密度及び平均スポット位置の標準誤差を計算する工程が示されている。この文献の図4には、「正常1」、「正常2」、「正常3」と表示された正常対照細胞に関するゲル画像から「正常合成」と表示された平均画像を生成し、一方、「疾患1」、「疾患2」、「疾患3」と表示された発症細胞に関するゲル画像から「疾患合成」と表示された平均画像を生成し、両者を対比して疾患マーカーを特定するプロセスが模式的に示されている。
なお、特許文献1,2には詳細な記載がないが、バックグラウンドの減算(除去)方法としては、一定値をバックグラウンド値として減算する方法、各スポットに応じた計算値をバックグラウンド値として減算する方法(例えば特許文献3(特開平2−12574号公報)参照)、ローリングボールアルゴリズムを適用する方法(非特許文献1(Computer. 16(1):22−34(1983))参照)等が知られており、複数の画像を位置揃えする方法としては、2枚の画像においてオペレータが指定した2種のスポットの位置データに基づき、データ変換率を算出し、この算出されたデータ変換率に基づいて一方の画像データの変換を行う方法(特許文献4(特開平2−129543号公報)の特に図3,4参照)、被検試料にマーカー物質を混合して二次元電気泳動を行い、得られた画像におけるマーカーのスポット座標が一致するように位置揃えする方法(特許文献5(特開昭62−69145号公報)参照)等が知られている。
特表2001−500614号公報 特表2001−503860号公報 特開平2−12574号公報 特開平2−129543号公報 特開昭62−69145号公報 特開平11−505324号公報
Computer. 16(1):22−34(1983) 電子情報通信学会論文誌 D−II,J76−D−II−2,288/295(1993) Genome Inform Ser Workshop Genome Inform. 8:135−146(1997)
しかし、特許文献1及び特許文献2に示された、平均化した仮想画像を用いる方法では、1枚の画像においてはスポットとして認識できるものの、残余の画像においてはスポットとして認識しにくいような、微量のタンパク質に起因するスポットが、平均化処理において、スポットとして認識される閾値以下の光学濃度となり、仮想画像においてスポットが消失してしまうおそれがある。この点は、特許文献2の図4において、「正常3」と表示された画像に含まれるスポットの一つが「正常合成」と表示された平均画像において消失しており、「疾患2」と表示された画像に含まれるスポットの一つが「疾患合成」と表示された平均画像において消失していることからも理解されるが、図11及び図12に示した具体的な二次元電気泳動画像を用いてさらに説明する。
図11における画像A及び画像Bは、ヒト由来株化細胞(HeLa細胞)に関する二次元電気泳動画像である。一見すると両者は同じようであるが、詳細に観察すると相違が認められる。図12の上段には図11の各画像の左下の囲み部分が、図12の下段には図11の各画像の右上の囲み部分が、それぞれ拡大されて示されている。図12の四角で囲まれた部分を対比すると、上段の画像では、画像Bでは明確に認められるスポットが画像Aではほとんど認められず、下段の画像では、一方の画像において薄く認められるスポットが他方の画像ではほとんど認められないことが分かる。このような相違を含む画像がさらに何枚か存在すると、平均化処理において、特に薄く認められるスポットの平均化処理後の光学濃度がスポットとして認識される閾値以下となり、仮想画像においてスポットが消失してしまう。
二次元電気泳動画像において明瞭に認められるスポットは、すべての細胞において同様に発現し且つ発現量も多い、細胞膜やDNAポリメラーゼ等のハウスキーピングタンパクに起因していることが多い。しかし、ストレスによる生体の異変等によるタンパク質の変化において重要であるのは、ハウスキーピングタンパクの変化ではなく、生体の異変に応じてわずかな量で発現したか或いは発現量が変化したタンパク質の変化である。したがって、二次元電気泳動画像の解析において、このわずかな量で発現したタンパク質を見落とさずに検出することが要求される。しかし、従来の平均化した仮想画像を用いる方法ではこの要求に答えることができない。同様の要求は、タンパク質に関する二次元電気泳動の画像解析ばかりでなく、DNAの制限酵素断片に関する二次元電気泳動等の、他の荷電物質に関する二次元電気泳動の画像解析においても存在する。
そこで、本発明の目的は、二次元電気泳動画像に存在する微量の荷電物質に起因するスポットを見落とすことなく解析することが可能な、二次元電気泳動画像の解析方法、解析プログラム、及び解析装置を提供することである。
発明者は、鋭意検討した結果、同一の被検試料について3回以上の電気泳動実験を行い、それぞれの実験で得られた画像についてバックグラウンドノイズを除去した後に位置揃えを行ったときに、少なくとも何枚かの画像の同じ位置にスポットが存在していれば、そのスポットが残りの画像においてほとんど認められないものであっても、被検試料中にはこのスポットに対応する荷電物質が存在していると判断すべきであるとの結論に至った。
そこで、本発明はまず、コンピュータによる二次元電気泳動画像の解析方法であって、上記コンピュータが、
a)同一の被検試料に関する少なくとも3枚の二次元電気泳動画像を読み込むステップ、
b)読み込まれた上記二次元電気泳動画像のそれぞれについて、画像を構成する各ピクセルの光学濃度からバックグラウンドノイズを減算してバックグラウンド除去画像を生成するステップ、
c)上記バックグラウンド除去画像のそれぞれについて、上記被検試料に含まれる同一の荷電物質に起因するスポットが画像のほぼ同一のピクセル座標に位置するように位置揃えするための、バックグラウンド除去画像におけるピクセル座標と位置揃え後のピクセル座標との関係を示す座標変換式を導出するステップ、
d)上記バックグラウンド除去画像のそれぞれについて、隣接するピクセルの光学濃度よりも大きい光学濃度を有するピクセルとその周辺のピクセルとからなる高濃度領域と残余のピクセルからなる低濃度領域とに、隣り合う上記高濃度領域が上記低濃度領域によって分離されるように分割するとともに、各ピクセルの座標を上記座標変換式に従って位置揃え後のピクセル座標に変換して、各ピクセルが上記高濃度領域と上記低濃度領域のいずれに属するかを示す所属データと変換後のピクセル座標とを対応付けたデータ表を生成するステップ、
e)得られたすべてのデータ表における同一のピクセル座標の所属データを集計し、2から(上記二次元電気泳動画像の数−1)までの範囲の整数からなる群から選択された指定値以上の数のデータ表において上記高濃度領域に属することを示す集計結果が得られたピクセル座標を選択し、すべてのデータ表において、選択されたピクセル座標のひとかたまりの領域ごとに同一の識別番号を付与し、識別番号が付与された領域をスポット存在領域と認定するステップ、
及び、
f)上記バックグラウンド除去画像のそれぞれについて、対応する上記データ表のスポット存在領域に含まれるピクセル座標を上記座標変換式に従ってバックグラウンド除去画像のピクセル座標に変換することにより変換スポット存在領域を認定し、認定された上記変換スポット存在領域ごとに、該領域を含むスポットにモデル関数をフィッティングするステップ
を実行することを特徴とする、第1の二次元電気泳動画像の解析方法を提供する。d)ステップにおける、高濃度領域と低濃度領域とへの分割と位置揃え後のピクセル座標への変換とは、どちらを先に実施しても良い。
第1の二次元電気泳動画像の解析方法では、上記コンピュータがさらに、
g)上記バックグラウンド除去画像のそれぞれについて、バックグラウンド除去画像における各ピクセルの光学濃度から、上記モデル関数から得られたフィッティング画像における同一の座標のピクセルの光学濃度を減算することにより、差分画像を生成するステップ、
h)得られた差分画像のそれぞれについて、隣接するピクセルの光学濃度よりも大きい光学濃度を有するピクセルとその周辺のピクセルとからなる高濃度領域と残余のピクセルからなる低濃度領域とに、隣り合う上記高濃度領域が上記低濃度領域によって分離されるように分割するとともに、各ピクセルの座標を上記座標変換式に従って位置揃え後のピクセル座標に変換して、各ピクセルが上記高濃度領域と上記低濃度領域のいずれに属するかを示す所属データと変換後のピクセル座標とを対応付けたデータ表を再生成するステップ
i)再生成されたすべてのデータ表における同一のピクセル座標の所属データを集計し、上記指定値以上の数のデータ表において上記高濃度領域に属することを示す集計結果が得られたピクセル座標を選択し、再生成されたすべてのデータ表において、選択されたピクセル座標のひとかたまりの領域ごとに同一の識別番号を付与し、識別番号が付与された領域をスポット存在領域と認定するステップ、
及び、
j)上記差分画像のそれぞれについて、対応する上記再生成されたデータ表のスポット存在領域に含まれるピクセル座標を上記座標変換式に従って差分画像のピクセル座標に変換することにより変換スポット存在領域を認定し、認定された上記変換スポット存在領域ごとに、該領域を含むスポットにモデル関数をフィッティングするステップ
からなるサイクルを実行するのが好ましい。上記g)ステップから上記j)ステップまでのステップからなるサイクルは、1回以上実行ことができる。ただし、2回目以降の上記g)ステップにおいては、上記バックグラウンド除去画像のそれぞれについて、バックグラウンド除去画像における各ピクセルの光学濃度から、該ステップの実施前に得られたモデル関数の和関数から得られたフィッティング画像における同一の座標のピクセルの光学濃度を減算することにより、差分画像を生成する。
本発明はまた、コンピュータによる二次元電気泳動画像の解析方法であって、上記コンピュータが、
a´)同一の被検試料に関する少なくとも3枚の二次元電気泳動画像を読み込むステップ、
b´)読み込まれた上記二次元電気泳動画像のそれぞれについて、画像を構成する各ピクセルの光学濃度からバックグラウンドノイズを減算してバックグラウンド除去画像を生成するステップ、
c´)上記バックグラウンド除去画像のそれぞれについて、上記被検試料に含まれる同一の荷電物質に起因するスポットが画像のほぼ同一のピクセル座標に位置するように位置揃えするための、バックグラウンド除去画像におけるピクセル座標と位置揃え後のピクセル座標との関係を示す座標変換式を導出するステップ、
d´)上記バックグラウンド除去画像のそれぞれについて、バックグラウンド除去画像におけるピクセル座標を上記座標変換式に従って位置揃え後のピクセル座標に変換した位置揃え画像を生成し、得られた位置揃え画像のそれぞれについて、隣接するピクセルの光学濃度よりも大きい光学濃度を有するピクセルとその周辺のピクセルからなる高濃度領域と残余のピクセルからなる低濃度領域とに、隣り合う上記高濃度領域が上記低濃度領域によって分離されるように分割して、各ピクセルが上記高濃度領域と上記低濃度領域のいずれに属するかを示す所属データとピクセル座標とを対応付けたデータ表を生成するステップ、
e´)得られたすべてのデータ表における同一のピクセル座標の所属データを集計し、2から(上記二次元電気泳動画像の数−1)までの範囲の整数からなる群から選択された指定値以上の数のデータ表において上記高濃度領域に属することを示す集計結果が得られたピクセル座標を選択し、すべてのデータ表において、選択されたピクセル座標のひとかたまりの領域ごとに同一の識別番号を付与し、識別番号が付与された領域をスポット存在領域と認定するステップ、
及び、
f´)上記位置揃え画像のそれぞれについて、対応する上記データ表のスポット存在領域におけるピクセル座標と同一のピクセル座標の領域ごとに、該領域を含むスポットにモデル関数をフィッティングするステップ
を含むことを特徴とする、第2の二次元電気泳動画像の解析方法を提供する。
第2の二次元電気泳動画像の解析方法では、上記コンピュータがさらに、
g´)上記位置揃え画像のそれぞれについて、位置揃え画像における各ピクセルの光学濃度から、上記モデル関数から得られたフィッティング画像における同一の座標のピクセルの光学濃度を減算することにより、差分画像を生成するステップ、
h´)得られた差分画像のそれぞれについて、隣接するピクセルの光学濃度よりも大きい光学濃度を有するピクセルとその周辺のピクセルとからなる高濃度領域と残余のピクセルからなる低濃度領域とに、隣り合う上記高濃度領域が上記低濃度領域によって分離されるように分割して、各ピクセルが上記高濃度領域と上記低濃度領域のいずれに属するかを示す所属データとピクセル座標とを対応付けたデータ表を再生成するステップ、
i´)再生成されたすべてのデータ表における同一のピクセル座標の所属データを集計し、上記指定値以上の数のデータ表において上記高濃度領域に属することを示す集計結果が得られたピクセル座標を選択し、再生成されたすべてのデータ表において、選択されたピクセル座標のひとかたまりの領域ごとに同一の識別番号を付与し、識別番号が付与された領域をスポット存在領域と認定するステップ、
及び、
j´)上記差分画像のそれぞれについて、対応する上記再生成されたデータ表のスポット存在領域におけるピクセル座標と同一のピクセル座標の領域ごとに、該領域を含むスポットにモデル関数をフィッティングするステップ
からなるサイクルを実行するのが好ましい。上記g´)ステップから上記j´)ステップまでのステップからなるサイクルを1回以上実行することができる。ただし、2回目以降の上記g´)ステップにおいて、上記位置揃え画像のそれぞれについて、位置揃え画像における各ピクセルの光学濃度から、該ステップの実施前に得られたモデル関数の和関数から得られたフィッティング画像における同一の座標のピクセルの光学濃度を減算することにより、差分画像を生成する。
第1の二次元電気泳動画像の解析方法は、スポットへのモデル関数のフィッティングをバックグラウンド除去画像に基づき行う方法であり、第2の二次元電気泳動画像の解析方法は、スポットへのモデル関数のフィッティングを位置揃え画像に基づき行う方法である。以下、第1の二次元電気泳動画像の解析方法におけるa)ステップ及び第2の二次元電気泳動画像の解析方法におけるa´)ステップにおいて読み込まれる二次元電気泳動画像を「原画像」と表す。原画像、バックグラウンド除去画像、位置揃え画像、及び差分画像は、いずれも多数のピクセルから構成されており、各ピクセルはデカルト座標(x,y)を有する。xは一次元目の電気泳動方向(以下、「x軸の方向」と表す。)に並ぶピクセルのうちのi番目のピクセルに当たることを意味し、yは二次元目の電気泳動方向(以下、「y軸の方向」と表す。)に並ぶピクセルのうちのi番目のピクセルにあたることを意味する。本発明において、各ピクセルのデカルト座標(x,y)を「ピクセル座標」或いは単に「座標」と表す。また、各ピクセルは被検試料中の荷電物質の存在量に対応する光学濃度を有しており、各スポット領域に含まれるピクセルの光学濃度の合計値が「スポット体積」である。
本発明の第1の解析方法及び第2の解析方法において、同一の被検試料に関する原画像は3枚以上であれば枚数に制限がない。第1の解析方法におけるe)ステップ及びi)ステップ、第2の解析方法におけるe´)ステップ及びi´)ステップに示されている「指定値」は、原画像の数に依存して、2から(原画像の数−1)までの範囲の整数から選択される値である。例えば、原画像が3枚であるときには指定値は2であり、原画像が4枚であるときには指定値は2又は3であり、原画像が5枚であるときには指定値は2、3又は4である。好ましくは、原画像の数が増加しても、指定値として2又は3が選択される。
本発明の第1の解析方法及び第2の解析方法において、バックグラウンド除去のためには、上で例示したような、一定値をバックグラウンド値として減算する方法、各スポットに応じた計算値をバックグラウンド値として減算する方法、ローリングボールアルゴリズムを適用する方法等の公知の方法を特に限定なく使用することができる。ローリングボールアルゴリズムを適用すると、タンパク質に対応するスポットとバックグラウンドノイズとを精度良く分離することができるため好ましい。
また、本発明の第1の解析方法及び第2の解析方法において、画像の位置揃えのための座標変換式の導出のためには、上で例示したような、オペレータが指定したスポットの位置データに基づき座標変換式を導出する方法、被検試料に混合したマーカーのスポット座標が一致するように座標変換式を導出する方法等の公知の方法を特に限定なく使用することができる。電荷が等しく分子量がほぼ等しいものの放射する蛍光の波長が異なる蛍光色素の2種を含むセットを用いて、検出対象の荷電物質に一方の蛍光色素を結合させ、マーカーに他方の蛍光色素を結合させて、両者を含む被検試料を調製し、この被検試料について二次元電気泳動を行った後、各蛍光色素に対応する蛍光を別々に撮像することもできる。この方法では、検出対象の荷電物質とマーカーとを分離して検出できる上に、検出対象の荷電物質とマーカーとの荷電状態及び分子量が同一であれば、一回の二次元電気泳動において検出対象の荷電物質とマーカーとがゲルの同じ位置に泳動されるため、画像の位置揃えの精度が向上する。このようなセットに含まれる蛍光色素としては、特許文献6(特開平11−505324号公報)に記載されているシアニン系色素のプロピルCy−3−NHS、メチルCy−5−NHS等が挙げられる。
第1の解析方法におけるd)ステップ及びh)ステップ、第2の解析方法におけるd´)ステップ及びh´)ステップでは、対象の画像のそれぞれについて、隣接するピクセルの光学濃度よりも大きい光学濃度を有するピクセルとその周辺のピクセルとからなる高濃度領域と残余のピクセルからなる低濃度領域とに、隣り合う上記高濃度領域が上記低濃度領域によって分離されるように分割し、各ピクセルが上記高濃度領域と上記低濃度領域のいずれに属するかを示す所属データと位置揃え後のピクセル座標とを対応付けたデータ表を生成する。上記高濃度領域は、解析対象の画像に存在する各スポットにおける最大の光学濃度を有するピクセル(頂点)及びその周辺のピクセルからなる領域に相当する。最大の光学濃度を有するピクセルからどれだけ離れた位置のピクセルまでを上記高濃度領域に含めるかという点に関しては、厳密な制限はなく、隣り合う上記高濃度領域が上記低濃度領域によって分離されるように設定されれば良い。しかし、上記データ表をピクセル座標が揃うように重ね合わせたときに、例えば最大の光学濃度を有するピクセルのみで上記高濃度領域を構成するような狭すぎる高濃度領域では、位置揃えのわずかな誤差によっても、同一のタンパク質に起因するスポットの高濃度領域が重ならなくなるため好ましくなく、また、スポットのほぼ全体が上記高濃度領域に含まれるような広すぎる高濃度領域では、位置揃えのわずかな誤差によっても、隣に存在する他のタンパク質に起因するスポットの高濃度領域と重なってしまうため好ましくなく、上記高濃度領域に属するピクセルの数は位置揃えの誤差を考慮して設定される。
上記コンピュータにより実行される上記高濃度領域と上記低濃度領域とへの分割は、分割を施すべき画像にアイリスフィルタ及びリングオペレータからなる群から選択された画像処理アルゴリズムを適用し、該アルゴリズムの出力が所定値以上であるピクセルからなる領域を上記高濃度領域とすることにより実行されるのが好ましい。アイリスフィルタアルゴリズムは、画像中の濃度勾配ベクトルの集中度を評価するものであり、腫瘤影検出のために提案されたものである(非特許文献2(電子情報通信学会論文誌 D−II,J76−D−II−2,288/295(1993))参照)が、円形凸領域を最も強く強調し、それからはずれる形状を有する領域を抑制するという性質があり、本発明における上記高濃度領域と上記低濃度領域とへの分割のために有効に利用することができる(図3参照)。また、ゲノムDNAの二次元電気泳動画像のスポット検出のために画像処理アルゴリズムとしてリングオペレータを利用する方法が提案されているが(非特許文献3(Genome Inform Ser Workshop Genome Inform. 8:135−146(1997)参照)、このアルゴリズムも同様に本発明における上記高濃度領域と上記低濃度領域とへの分割のために有効に利用することができる。
第1の解析方法におけるe)ステップ及びi)ステップ、第2の解析方法におけるe´)ステップ及びi´)ステップでは、直前のステップにおいて得られたすべてのデータ表における同一のピクセル座標の所属データを集計し、上記指定値以上の数のデータ表において上記高濃度領域に属することを示す集計結果が得られたピクセル座標を選択し、直前のステップにおいて得られたすべてのデータ表において、選択されたピクセル座標のひとかたまりの領域ごとに同一の識別番号を付与し、識別番号が付与された領域をスポット存在領域と認定する。このことは、被検試料に含まれる同一の荷電物質に起因するスポットが画像のほぼ同一のピクセル座標に位置するように位置揃えされた画像を重ね合わせたときに、上記指定値以上の数の画像において上記高濃度領域が重なっていれば、重なった領域にスポットが存在するものとし、上記高濃度領域が重ならなかった画像においても、同じピクセル座標の領域にスポットがあるものして取り扱うことに相当する。そして、第1の二次元電気泳動画像の解析方法では、f)ステップにおいて、上記バックグラウンド除去画像のそれぞれについて、対応する上記データ表のスポット存在領域に含まれるピクセル座標を上記座標変換式に従ってバックグラウンド除去画像のピクセル座標に変換することにより変換スポット存在領域を認定し、認定された上記変換スポット存在領域ごとに、該領域を含むスポットにモデル関数をフィッティングし、また、j)ステップにおいて、上記差分画像のそれぞれについて、同様の処理を行う。第2の二次元電気泳動画像の解析方法では、f´)ステップにおいて、上記位置揃え画像のそれぞれについて、対応する上記データ表のスポット存在領域におけるピクセル座標と同一のピクセル座標の領域ごとに、該領域を含むスポットにモデル関数をフィッティングし、また、j´)ステップにおいて、上記差分画像のそれぞれについて、同様の処理を行う。
上述したように、本発明の第1の解析方法及び第2の解析方法では、被検試料に含まれる同一の荷電物質に起因するスポットが画像のほぼ同一のピクセル座標に位置するように位置揃えされた画像を重ね合わせたときに、上記指定値以上の数の画像において上記高濃度領域が重なっていれば、重なった領域にスポットが存在するものとし、上記高濃度領域が重ならなかった画像においても、同じピクセル座標の領域にスポットがあるものして取り扱い、モデル関数をフィッティングする。また、本発明の第1の解析方法及び第2の解析方法では、上記差分画像についても解析の対象とすることができる。差分画像の解析により、複数のスポットが部分的に重なっている領域において、他のスポットに隠れて検出されにくいスポットが好適に検出される。したがって、少なくとも3枚の原画像から得られるバックグラウンド除去画像のうち、上記指定値の数の画像において薄いスポットとして認められるものの、残余のバックグラウンド除去画像に対応するスポットが認められにくい場合(図12の下段参照)でも、残余のバックグラウンド除去画像においてもスポットを見落とすことがない。また、少なくとも3枚の原画像から得られるバックグラウンド除去画像のうち、上記指定値の数の画像において2つのスポットが部分的に重なって認められるものの、残余のバックグラウンド除去画像においては一方のスポットが他方のスポットに隠れて認められない場合(図12の上段参照)でも、残余のバックグラウンド除去画像においても隠れたスポットを見落とすことがない。
本発明の第1の解析方法及び第2の解析方法においてスポットに適用するモデル関数としては、これまでに提案されている公知のモデル関数を特に制限なく使用することができる。しかし、第1の解析方法では、上記f)ステップ及び/又は上記j)ステップにおいて、各スポットにおける最大の光学濃度を有するピクセルを通り且つ二次元目の泳動方向と平行な平面及びこれと垂直な平面を用いてスポットを4分割したときの最も小さな体積を示す分割部分にフィッティングするガウス関数又はローレンツ関数を、該スポット全体のモデル関数として適用するのが好ましい。
バックグラウンド除去画像において、単一の荷電物質に起因し且つ他のスポットと重なっていないスポットの広がりは、x軸の方向及びy軸の方向において生じる。すなわち、各スポットの頂点を通り且つx軸と平行な平面でスポットを2つに分割すると、これらの分割部分はこの平面に対してほぼ対称となり、各スポットの頂点を通り且つy軸と平行な平面でスポットを2つに分割すると、これらの分割部分もまたこの平面に対してほぼ対称となる。また、単一の荷電物質に起因するスポットが隣接するスポットと重なっていれば、前者の広がりは重なった方向に伸びることになる。したがって、各スポットの頂点を通り且つx軸と平行な平面及びy軸と平行な平面を用いてスポットを4分割したときの最も小さな体積を示す分割部分にフィッティングする対称関数(ガウス関数又はローレンツ関数)を、スポット全体のモデル関数として適用することにより、他のスポットとの重なりの影響をできるだけ排除することができる。
また、第1の解析方法の上記f)ステップ及び/又は上記j)ステップにおいて、複数のスポットが部分的に重なっている重複部では、該重複部の端に位置するいずれか一つのスポットにモデル関数をフィッティングし、得られたモデル関数の積分値を重複部全体の体積から減算した後、残余部の端に位置するいずれか一つのスポットにモデル関数をフィッティングすることを繰り返して、上記重複部に含まれる複数のスポットを分離するのが好ましい。重複部の端に位置するスポットは、端に位置していないスポットに比較して、他のスポットの影響を受けにくい。したがって、重複部の端のスポットから順にモデル関数をフィッティングすることにより、スポット間の重なりの影響を低減することができる。
本発明はまた、コンピュータに、上記a)ステップ、上記b)ステップ、上記c)ステップ、上記d)ステップ、上記e)ステップ、及び上記f)ステップを実行させるための、好適には、上記g)ステップ、上記h)ステップ、上記i)ステップ、及び上記j)ステップをさらに実行させるための、二次元電気泳動画像の解析プログラムを提供する。該プログラムとコンピュータとの協働により、本発明の第1の二次元電気泳動の解析方法を実行することができ、二次元電気泳動画像に存在する微量の荷電物質に起因するスポットを見落とすことなく解析することが可能である。
本発明はまた、コンピュータに、上記a´)ステップ、上記b´)ステップ、上記c´)ステップ、上記d´)ステップ、上記e´)ステップ、及び上記f´)ステップを実行させるための、好適には、上記g´)ステップ、上記h´)ステップ、上記i´)ステップ、及び上記j´)ステップをさらに実行させるための、二次元電気泳動画像の解析プログラムを提供する。該プログラムとコンピュータとの協働により、本発明の第2の二次元電気泳動の解析方法を実行することができ、二次元電気泳動画像に存在する微量の荷電物質に起因するスポットを見落とすことなく解析することが可能である。
本発明はまた、
同一の被検試料に関する少なくとも3枚の二次元電気泳動画像を読み込む、画像読み込み手段、
読み込まれた上記二次元電気泳動画像のそれぞれについて、画像を構成する各ピクセルの光学濃度からバックグラウンドノイズを減算してバックグラウンド除去画像を生成する、バックグラウンド除去手段、
上記バックグラウンド除去画像のそれぞれについて、上記被検試料に含まれる同一の荷電物質に起因するスポットが画像のほぼ同一のピクセル座標に位置するように位置揃えするための、バックグラウンド除去画像におけるピクセル座標と位置揃え後のピクセル座標との関係を示す座標変換式を導出する、座標変換式導出手段、
上記バックグラウンド除去画像のそれぞれについて、隣接するピクセルの光学濃度よりも大きい光学濃度を有するピクセルとその周辺のピクセルとからなる高濃度領域と残余のピクセルからなる低濃度領域とに、隣り合う上記高濃度領域が上記低濃度領域によって分離されるように分割するとともに、各ピクセルの座標を上記座標変換式に従って位置揃え後のピクセル座標に変換して、各ピクセルが上記高濃度領域と上記低濃度領域のいずれに属するかを示す所属データと変換後のピクセル座標とを対応付けたデータ表を生成する、データ表生成手段、
得られたすべてのデータ表における同一のピクセル座標の所属データを集計し、2から(上記二次元電気泳動画像の数−1)までの範囲の整数からなる群から選択された指定値以上の数のデータ表において上記高濃度領域に属することを示す集計結果が得られたピクセル座標を選択し、すべてのデータ表において、選択されたピクセル座標のひとかたまりの領域ごとに同一の識別番号を付与し、識別番号が付与された領域をスポット存在領域と認定する、スポット認定手段、
及び、
上記バックグラウンド除去画像のそれぞれについて、対応する上記データ表のスポット存在領域に含まれるピクセル座標を上記座標変換式に従ってバックグラウンド除去画像のピクセル座標に変換することにより変換スポット存在領域を認定し、認定された上記変換スポット存在領域ごとに、該領域を含むスポットにモデル関数をフィッティングする、フィッティング手段
を備えたことを特徴とする、二次元電気泳動画像の解析装置を提供する。
本発明はさらに、
同一の被検試料に関する少なくとも3枚の二次元電気泳動画像を読み込む、画像読み込み手段、
読み込まれた上記二次元電気泳動画像のそれぞれについて、画像を構成する各ピクセルの光学濃度からバックグラウンドノイズを減算してバックグラウンド除去画像を生成する、バックグラウンド除去手段、
上記バックグラウンド除去画像のそれぞれについて、上記被検試料に含まれる同一の荷電物質に起因するスポットが画像のほぼ同一のピクセル座標に位置するように位置揃えするための、バックグラウンド除去画像におけるピクセル座標と位置揃え後のピクセル座標との関係を示す座標変換式を導出する、座標変換式導出手段、
上記バックグラウンド除去画像のそれぞれについて、バックグラウンド除去画像におけるピクセル座標を上記座標変換式に従って位置揃え後のピクセル座標に変換した位置揃え画像を生成し、得られた位置揃え画像のそれぞれについて、隣接するピクセルの光学濃度よりも大きい光学濃度を有するピクセルとその周辺のピクセルからなる高濃度領域と残余のピクセルからなる低濃度領域とに、隣り合う上記高濃度領域が上記低濃度領域によって分離されるように分割して、各ピクセルが上記高濃度領域と上記低濃度領域のいずれに属するかを示す所属データとピクセル座標とを対応付けたデータ表を生成する、データ表生成手段、
得られたすべてのデータ表における同一のピクセル座標の所属データを集計し、2から(上記二次元電気泳動画像の数−1)までの範囲の整数からなる群から選択された指定値以上の数のデータ表において上記高濃度領域に属することを示す集計結果が得られたピクセル座標を選択し、すべてのデータ表において、選択されたピクセル座標のひとかたまりの領域ごとに同一の識別番号を付与し、識別番号が付与された領域をスポット存在領域と認定する、スポット認定手段、
及び、
上記位置揃え画像のそれぞれについて、対応する上記データ表のスポット存在領域におけるピクセル座標と同一のピクセル座標の領域ごとに、該領域を含むスポットにモデル関数をフィッティングする、フィッティング手段
を備えたことを特徴とする、二次元電気泳動画像の解析装置を提供する。
これらの解析装置により、二次元電気泳動画像に存在する微量の荷電物質に起因するスポットを見落とすことなく解析することが可能である。
本発明の二次元電気泳動画像の解析方法、解析プログラム、及び解析装置によると、二次元電気泳動画像に存在する微量の荷電物質に起因するスポットを見落とすことなく解析することが可能である。
第1の実施の形態の二次元電気泳動画像の解析装置における機能ブロック図である。 図1に示した解析装置が原画像を読み込んでから各スポットへのモデル関数のフィッティングを完了するまでの基本的な流れを示したフローチャートである。 位置揃え画像から二値化画像を得、得られた二値化画像を重ね合わせるプロセスを説明する図である。 アイリスフィルタアルゴリズムの適用による出力の相違を説明する図であり、A)はスポットの平面を、B)はスポットの断面を、それぞれ示している。 ピクセル座標ごとの強度値の集計のプロセスを示す図である。 モデル関数によるフィッティングのプロセスを説明する図であり、A)はスポットの平面を、B)はスポットの断面を、それぞれ示している。 モデル関数のフィッティングを繰り返して行うプロセスを、スポットをその頂点を通る平面で切断した断面を用いて説明する図である。 モデル関数のフィッティングを繰り返して行ったときの、モデル関数から得られる二次元画像の相違を説明する図である。 第2の実施の形態の二次元電気泳動画像の解析装置における機能ブロック図である。 図9に示した解析装置が原画像を読み込んでから各スポットへのモデル関数のフィッティングを完了するまでの基本的な流れを示したフローチャートである。 ヒト由来株化細胞(HeLa細胞)に関する2枚の二次元電気泳動画像である。 図11の2枚の二次元電気泳動画像における四角の囲み部分を拡大した画像である。
1)第1の二次元電気泳動画像の解析方法
まず、第1の二次元電気泳動画像の解析方法と、この方法を実施するための解析装置及び解析プログラムについて、第1の実施の形態を用いて説明する。以下では、検出対象の細胞から抽出したタンパク質にメチルCy−5−NHSを結合させ、位置揃えのためのマーカータンパク質にプロピルCy−3−NHSを結合させて標識し、これらの混合物を含む被検試料を調製し、この被検試料について3回の二次元電気泳動実験を行った後、各泳動実験で得られたゲルについて、メチルCy−5−NHSの蛍光を測定することにより検出対象タンパク質に関する原画像(以下、「タンパク質画像」と表す。)を、プロピルCy−3−NHSの蛍光を測定することによりマーカータンパク質に関する原画像(以下、「マーカー画像」と表す。)を、それぞれ撮像し、これらの原画像を基礎として解析する例を用いて説明する。なお、マーカー画像はタンパク質画像を位置揃えするために使用されるにすぎず、本実施の形態における二次元電気泳動画像の数は、解析対象のゲルの数或いはタンパク質画像の数に相当する「3」である。
本実施の形態の解析装置は、演算処理部、記憶部、キーボード等の入力部、ディスプレー等の出力部等を備えた一般的なコンピュータにより構成されており、記憶部に記憶されているソフトウェア(解析プログラム)との協働により解析装置として動作するように構成されている。図1は、本実施の形態の解析装置における機能のブロック図を示している。
本実施の形態の解析装置1は、画像読み込み手段10、バックグラウンド除去手段20、座標変換式導出手段30、データ表生成手段40、スポット認定手段50、フィッティング手段60、モデル関数更新手段70、及び、差分画像生成手段80から構成されている。データ表生成手段40は、位置揃え画像生成部41、分割部42、及びデータ表生成部43から構成されており、スポット認定手段50は、集計部51、座標選択部52、及びスポット認定部53から構成されており、フィッティング手段60は、座標変換部61及びフィッティング部62から構成されている。
画像読み込み手段10は、解析装置1のオペレータが指定したゲルの原画像(本実施の形態では、3枚のゲルから得られたタンパク質画像及びマーカー画像)を、スキャナ等の撮像装置(図示せず)から直接或いはこれらが記憶されている外部記憶装置や記憶媒体等(図示せず)から読み込み、読み込んだ画像をバックグラウンド除去手段20に各画像が得られたゲルと関連づけて送信するものである。バックグラウンド除去手段20は、画像読み込み手段10から送信された原画像にローリングボールアルゴリズムを適用することによりバックグラウンドノイズを除去して、対応するバックグラウンド除去画像(本実施の形態では、3枚のゲルから得られた、タンパク質画像に基づくバックグラウンド除去画像及びマーカー画像に基づくバックグラウンド除去画像)を生成し、各画像をゲルと関連づけて記憶するものである。座標変換式導出手段30は、バックグラウンド除去手段20が記憶したマーカー画像に基づくバックグラウンド除去画像を読み出し、各画像におけるマーカーのスポットの位置が揃うように各画像のx軸及びy軸を局所的に伸長短縮し、伸長短縮の前後のピクセル座標の関係を座標変換式として導出し、各マーカー画像が得られたゲルと関連付けて記憶するものである。
データ表生成手段40の位置揃え画像生成部41は、バックグラウンド除去手段20が記憶したタンパク質画像に基づくバックグラウンド除去画像(本実施の形態では3枚のゲルに基づく画像)或いは後述する差分画像生成手段80が記憶した差分画像(本実施の形態では3枚のゲルに基づく画像)を読み出すとともに、座標変換式導出手段30が記憶した各画像が得られたゲルに対応する座標変換式を読み出し、読みだした画像に座標変換式を適用することにより対応する位置揃え画像を生成し、分割部42に各画像が得られたゲルと関連付けて送信するものである。位置揃え画像生成部41は、1回目の動作においては、バックグラウンド除去手段20が記憶したタンパク質画像に基づくバックグラウンド除去画像を読み出し、2回目以降の動作においては、差分画像生成手段80が記憶した差分画像を読み出す。分割部42は、位置揃え画像生成部41から送信された位置揃え画像にアイリスフィルタアルゴリズムを適用し、該アルゴリズムの出力が0.8以上であるピクセル(高濃度領域に属するピクセル)に強度値「1」を、出力が0.8未満であるピクセル(低濃度領域に属するピクセル)に強度値「0」を、それぞれ与えることにより位置揃え画像を2つの領域に分割し、データ表生成部43に分割した結果をゲルと関連付けて送信するものである。強度値「1」及び「0」は、位置揃え画像を2つの領域に分割するために与えられた所属データである。データ表生成部43は、分割部42から送信された分割結果に基づき、位置揃え後のピクセル座標と各ピクセルにおける強度値とを対応付けたデータ表を作成し、スポット認定手段50の集計部51に、各画像が得られたゲルと関連付けて送信するものである。なお、変形形態として、タンパク質画像に基づくバックグラウンド除去画像或いは差分画像にアイリスフィルタアルゴリズムを適用した後に位置揃え後のピクセル座標に変換するようにしても良い。
スポット認定手段50の集計部51は、データ表生成部43から送信されたすべてのデータ表(本実施の形態では3枚の画像に対応する表)における同一のピクセル座標の強度値を合計し、ピクセル座標と合計値Sとの関係を生成し、座標選択部52に送信するものである。座標選択部52は、集計部51から送信されたピクセル座標と合計値Sとの関係を参照して、合計値Sが2以上であるピクセル座標を選択し、スポット認定部53に送信するものである。スポット認定部53は、すべてのデータ表に対して、座標選択部52から送信された選択されたピクセル座標のひとかたまりの領域ごとに識別番号を付与し、識別番号が付与された領域をスポット存在領域と認定し、フィッティング手段60の座標変換部61に送信するものである。なお、スポット認定部53は、すべてのデータ表に対して、同一のピクセル座標の領域に同一の識別番号を付与する。
フィッティング手段60の座標変換部61は、スポット認定部53から送信された識別番号が付与されたスポット存在領域のピクセル座標に、座標変換式導出手段30が記憶した各ゲルに対応する座標変換式を読み出して適用し、スポット存在領域のピクセル座標を各ゲルに対応するバックグラウンド除去画像又は差分画像のピクセル座標に変換し、すなわち、座標を位置揃え前のものに戻し、変換スポット存在領域として認定し、フィッティング部62にゲルと関連付けて送信するものである。フィッティング部62は、バックグラウンド除去手段20が記憶したタンパク質画像に基づくバックグラウンド除去画像或いは差分画像生成手段80が記憶した差分画像を読み出し、読み出した各画像について、座標変換部61から送信された変換スポット存在領域ごとに、各画像における変換スポット存在領域を含むスポットにモデル関数をフィッティングするものである。フィッティング部62は、1回目の動作においては、バックグラウンド除去手段20が記憶したタンパク質画像に基づくバックグラウンド除去画像を読み出し、2回目以降の動作においては、差分画像生成手段80が記憶した差分画像を読み出す。
モデル関数更新手段70は、オペレータの指定により動作するものであり、オペレータが指定するフィッティング実施回数を記憶し、指定された回数のフィッティングが実施されたか否かを判定するとともに、フィッティング実施回数が指定された回数に満たない場合には、ゲルごとにフィッティング手段60から送信された対応するモデル関数の和関数を生成し、差分画像生成手段80にゲルと関連付けて送信するものである。なお、モデル関数更新手段70には、初期値として、モデル関数f(x、y)=0が入力されている。
差分画像生成手段80は、バックグラウンド除去手段20が記憶したタンパク質画像に基づくバックグラウンド除去画像を読み出し、読みだしたバックグラウンド除去画像の各ピクセルの光学濃度から、モデル関数更新手段70から送信された対応するモデル関数の和関数から得られたフィッティング画像における同一の座標のピクセルの光学濃度を減算して差分画像を生成し、記憶するものである。
次に、本実施の形態の解析装置1における具体的な処理について説明する。図2は、解析装置1が原画像を読み込んでから各スポットへのモデル関数のフィッティングを完了するまでの基本的な流れを示したフローチャートである。
オペレータにより解析装置1が起動され、解析対象の二次元電気泳動画像を指定するための情報とフィッティング実施回数mが入力される(S1)と、画像読み込み手段10は、スキャナ等の撮像装置から直接或いは指定された画像が記憶されている外部記憶装置や記憶媒体等から、指定された3枚のゲルに基づくタンパク質画像及びマーカー画像をそれぞれ読み込む(S101、S201、S301)。フィッティング実施回数mは、モデル関数更新手段70に送信されて記憶される。
次いで、バックグラウンド除去手段20が、画像読み込み手段10から送信された3枚のゲルに対応するタンパク質画像及びマーカー画像のそれぞれについて、ローリングボールアルゴリズムを適用することによりバックグラウンドノイズを除去して、対応するバックグラウンド除去画像(3枚のゲルから得られた、タンパク質画像に基づく画像及びマーカー画像に基づく画像)を生成して記憶する(S102、S202、S302)。さらに、座標変換式導出手段30が、バックグラウンド除去手段20が記憶したマーカー画像に基づくバックグラウンド除去画像(3枚のゲルから得られた画像)に基づき、1枚のマーカー画像に基づくバックグラウンド除去画像を基礎画像として選定し、残余のマーカー画像に基づくバックグラウンド除去画像におけるマーカーのスポットの位置が基礎画像におけるマーカーのスポットの位置に揃うように、残余のマーカー画像に基づくバックグラウンド除去画像のx軸及びy軸を局所的に伸長短縮し、伸長短縮の前後のピクセル座標の関係を座標変換式として導出し、ゲルと関連付けて記憶する(S103、S203、S303)。バックグラウンド除去画像において座標(xa、y)を有するピクセルが、上述した位置揃えの処理によって、x座標がQだけ増加し、y座標がRだけ増加した座標に移動するときは、位置揃え前の座標(xa、y)と位置揃え後の座標(x,y)との間で、以下の式(1)
で表される座標変換式が導出される。なお、座標変換式は各ピクセルに対して導出される。同じゲルから得られたタンパク質画像とマーカー画像とはそのピクセル座標が対応しているため、タンパク質画像に基づくバックグラウンド除去画像の位置揃えのためには、対応するマーカー画像に基づくバックグラウンド除去画像から得られた座標変換式が適用される。
次いで、データ表生成手段40における位置揃え画像生成部41が、バックグラウンド除去手段20が記憶したタンパク質画像に基づくバックグラウンド除去画像(本実施の形態では3枚の画像)のそれぞれについて、座標変換式導出手段30が記憶した各画像に対応する座標変換式に基づいて位置揃えした位置揃え画像(本実施の形態では3枚の画像)を生成する(S104、S204、S304)。このステップにより、同じタンパク質に起因するスポットが、すべての位置揃え画像において、ほぼ同一のピクセル座標の位置に揃うことになる。次いで、分割部42が、位置揃え画像生成部41が生成した位置揃え画像のそれぞれにアイリスフィルタアルゴリズムを適用し(S105、S205、S305)、該アルゴリズムの出力が0.8以上であるピクセルに強度値「1」を、出力が0.8未満であるピクセルに強度値「0」を、それぞれ与えて位置揃え画像を2つの領域に分割する(S106、S206、S306)。次いで、データ表生成部43が、位置揃え後のピクセル座標と強度値(「0」又は「1」)との関係を表すデータ表(本実施の形態では3枚の画像に対応する表)を生成する(S107、S207、S307)。
図3は、位置揃え画像にアイリスフィルタアルゴリズムを適用した後の出力を示す画像及びこれから得られたデータ表に基づいて作成された二値化画像を示している。理解の容易のため、2枚のゲルに関する画像が示されているが、本実施の形態ではさらに別の1枚のゲルに関する画像も存在する。位置揃え画像にアイリスフィルタアルゴリズムを適用すると、隣接するピクセルの光学濃度よりも大きい光学濃度を有するピクセル(頂点)に「1」の出力が、隣接するピクセルの光学濃度よりも小さい光学濃度を有するピクセル(谷)に「0」の出力がそれぞれ与えられる。また、光学濃度が極めて小さく目視ではかなり薄く見えるスポットにおいても、スポットの頂点の位置に「1」の出力が、谷の位置に「0」の出力が与えられる。したがって、図3から把握されるように、位置揃え画像において目視では薄く認められるスポットも、アイリスフィルタアルゴリズムの適用後は明瞭に把握されるようになる。そして、アイリスフィルタアルゴリズムの出力が0.8以上であるピクセルに強度値「1」を、出力が0.8未満であるピクセルに強度値「0」を、それぞれ与えることにより、各スポットの光学濃度の大小に因らず、各スポットにおける高い光学濃度を示す高濃度領域と低い光学濃度を示す低濃度領域とを簡便且つ明瞭に分離することができる。図3の二値化画像では、強度値「1」が与えられたピクセルが白で、強度値「0」が与えられたピクセルが黒で、それぞれ示されている。
位置揃え画像を目視したときのスポットの外周の形状が類似していても、アイリスフィルタアルゴリズムの適用後の出力が異なることがある。この点を、図4に模式的に示した例を用いて説明する。図4のA)には、1〜3枚目の画像において、2つのスポットが重なったようにみえる部分の平面図が模式的に示されており、B)には、これらの部分のI−Iに関する断面図が模式的に示されている。アイリスフィルタアルゴリズムの適用により、1枚目の画像と2枚目の画像においては、頂点のB及びDに「1」の出力が与えられ、谷のA、C及びEに「0」の出力が与えられる。しかし、3枚目の画像においては、谷Cが認められないため、頂点Bのみに「1」の出力が与えられ、谷A及びEに「0」の出力が与えられる。言い換えると、頂点を検出することによりスポットの存在を判定する方法では、1枚目の画像と2枚目の画像においてはスポット1とスポット2とが存在すると判定されるものの、3枚目の画像ではスポット1しか存在しないと判定される。しかし、画像の目視においては、1〜3枚目の画像のすべてに2つのスポットが存在すると判断されるため、頂点を検出することによりスポットの存在を判定する方法は妥当でない。本実施の形態はこのような問題を解決する。
次いで、スポット認定手段50の集計部51が、データ表生成部43から送信されたすべてのデータ表(本実施の形態では3枚の画像に対応する表)における同一のピクセル座標の強度値を合計し、ピクセル座標と合計値Sとの関係を生成する(S2)。
図5には、集計部51が実施するプロセスの例として、図4のスポット2に関する強度値の集計の様子が示されている。図5の左側に示された1〜3枚目のデータ表は、それぞれ、ピクセル座標ごとに、「0」又は「1」の強度値を有している。集計部51は、すべてのデータ表における同一のピクセル座標の強度値を合計する。得られたピクセル座標と合計値との関係が、図5の中央の図に示されている。
次いで、スポット認定手段50の座標選択部52が、集計部51が生成したピクセル座標と合計値Sとの関係を参照して、合計値Sが2以上であるピクセル座標を選択する(S3)。図5の中央の図では、選択されたピクセル座標のひとかたまりの領域が太い実線で囲まれている。次いで、スポット認定手段50のスポット認定部53が、すべてのデータ表に対して、座標選択部52により選択されたピクセル座標のひとかたまりの領域ごとに識別番号を付与し、識別番号が付与された領域をスポット存在領域と認定する(S4)。このとき、スポット認定部53は、すべてのデータ表に対して、同一のピクセル座標の領域に同一の識別番号を付与する。すなわち、図5の左側に示した1〜3枚目のデータ表のすべてにおいて、図5の中央の図で太い実線で囲まれているピクセル座標の領域と同じ座標の領域に、スポット2に対応する識別番号が付与される。この様子が、図5の右側に示されている。
集計部51による強度値の集計は、図3の最下部に示した二値化画像(強度値「1」のピクセルを白で、強度値「0」のピクセルを黒で、表した画像)の重ね合わせと同義である。図3では、理解の容易のため、2枚の二値化画像の重ね合わせが表示されているが、本実施の形態では、3枚の二値化画像を重ね合わせたときに、2枚以上の二値化画像の白で表示された部分が重なっていれば、その重なった領域がスポット存在領域である。
次いで、フィッティング手段60の座標変換部61が、データ表のそれぞれについて、スポット認定手段50から送信された識別番号が付与されたスポット存在領域のピクセル座標を、座標変換式導出手段30に記憶された座標変換式に基づき、対応するバックグラウンド除去画像のピクセル座標に変換し、バックグラウンド除去画像における変換スポット存在領域として認定する(S108、S208、S308)。このプロセスは、位置揃え画像生成部41が生成した位置揃え画像におけるピクセル座標をバックグラウンド除去手段20に記憶されたタンパク質画像に基づくバックグラウンド除去画像におけるピクセル座標に戻すためのプロセスであり、上記バックグラウンド除去画像に基づき各スポットへのモデル関数のフィッティングを行うためのプロセスである。
バックグラウンド除去画像において、単一のタンパク質に起因し且つ他のスポットと重なっていないスポットの広がりは、x軸の方向及びy軸の方向において生じる。すなわち、各スポットの頂点を通り且つx軸と平行な平面でスポットを2つに分割すると、これらの分割部分はこの平面に対してほぼ対称となり、各スポットの頂点を通り且つy軸と平行な平面でスポットを2つに分割すると、これらの分割部分もまたこの平面に対してほぼ対称となる。したがって、バックグラウンド除去画像を使用すると、ガウス関数或いはローレンツ関数のような対称関数を用いることにより、フィッティングを精度良く行うことができる。一方、位置揃え画像を使用すると、位置揃えの過程で、スポットの広がりの方向がx軸の方向及びy軸の方からずれて斜めに伸びる場合があり、このような場合に対称関数を使用すると、フィッティングの精度が低下することになる。したがって、対称関数によりフィッティングを行うためにはバックグラウンド除去画像を使用することが好ましい。
次いで、フィッティング手段60のフィッティング部62が、バックグラウンド除去手段20が記憶したタンパク質画像に基づくバックグラウンド除去画像(本実施の形態では3枚の画像)のそれぞれについて、座標変換部61により認定された変換スポット存在領域ごとに、該領域を含むスポットにモデル関数をフィッティングする(S109、S209、S309)。
本実施の形態では、式(2)のガウス関数
を、スポット全体のモデル関数として適用する。式(2)において、f(x,y)は、座標(x,y)におけるガウス関数の値であり、Aはガウス関数の最大値であり、x及びyはそれぞれガウス関数が最大値を示す位置のx座標とy座標であり、σ及びσはそれぞれガウス関数が最大となる位置からx軸方向及びy軸方向への広がりある。そして、本実施の形態では、各スポットにおける最大の光学濃度を有するピクセルを通り且つx軸と平行な平面及びy軸と平行な平面を用いてスポットを4分割したときの最も小さな体積を示す分割部分にフィッティングするガウス関数を、該スポット全体のモデル関数として適用する。
この点を、図6に示した例を用いてさらに説明する。図6のA)には、バックグラウンド除去画像における一つの頂点Pを有するスポットの外周が実線で示されており、B)には、頂点Pを通り且つx軸に平行な平面でスポットを切断したときの断面が実線で示されている。バックグラウンド除去画像において、単一のタンパク質に起因するスポットが隣接するスポットと重なっていれば、前者の広がりは重なった方向に伸びることになる。Wx1は頂点Pからxの値が減少する方向の半値半幅(頂点Pの光学濃度の半分の光学濃度を有するピクセルの座標と頂点Pのピクセル座標との距離)を表しており、Wx2はxの値が増加する方向の半値半幅を表しており、Wy1はyの値が減少する方向の半値半幅を表しており、Wy2はyの値が増加する方向の半値半幅を表している。上述したように、単一のタンパク質に起因し且つ他のスポットと重なっていないスポットにおいては、ほぼ、Wx1=Wx2、Wy1=Wy2となる。しかし、このスポットが隣接するスポットと重なっていれば、スポットの広がりは重なった方向に伸びることから、他のスポットと重なっている方向のW及びW(図6ではWx2とWy2)が、逆方向のW及びW(図6ではWx1とWy1)よりも大きくなる。したがって、頂点Pを通り且つy軸と平行な平面及びx軸と平行な平面を用いてスポットを4分割したときの最も小さな体積を示す分割部分(図6の斜線を付した部分)が、隣接するスポットとの重なりの影響を最も受けていない領域である。本実施の形態では、この斜線を付した領域に対してフィッティング処理を行う。そして、式(2)のガウス関数に、初期値として、頂点Pの光学濃度をAに、頂点Pのx座標をxに、頂点Pのy座標をyに、頂点Pからxの値が減少する方向の半値半幅Wx1の0.85倍の値をσに、頂点Pからyの値が減少する方向の半値半幅Wy1の0.85倍の値をσに代入し、スポットの斜線を付した部分の実際の光学濃度の値との間で最小二乗法によりフィッティングを行い、モデル関数のパラメータA、x、y、σ、σを決定する。初期値として、頂点Pからxの値が減少する方向の半値半幅Wx1の0.85倍の値をσに、Pからyの値が減少する方向の半値半幅Wy1の0.85倍の値をσに、それぞれ代入するのは、ガウス関数の広がりが半値半幅の約0.85倍の値になるからである。フィッティング処理により得られたガウス関数を、モデル関数として、スポット全体に適用する。
図6ではモデル関数が破線で示されている。図6において、実線で示された部分の体積(光学濃度の積分値)から点線で示されたモデル関数の積分値を減算すると、差分画像が得られる。この差分画像は、スポットが隣接するスポットと重なったことにより生じているため、差分画像を解析することにより、他のスポットのショルダー部分に隠れて発見しにくいスポットを発見することができる。本実施の形態では、以下に示すように、この差分画像についても解析する。
また、上述したように、本実施の形態では、スポット認定部53がすべてのデータ表に対して同一のピクセル座標の領域に同一の識別番号を付与してスポット存在領域を認定するため、すべてのデータ表が同数のスポット存在領域を有する。したがって、すべてのバックグラウンド除去画像において、座標変換部61がスポット存在領域を基礎として認定した変換スポット存在領域が同数存在する。そして、本実施の形態では、認定された変換スポット存在領域ごとに、該領域を含むスポットにモデル関数をフィッティングする。例えば、図4に示した3枚目の画像においても、スポット1に加えてスポット2に対してもモデル関数のフィッティングを行う。このとき、まずスポット1について上述した式(2)のガウス関数をフィッティングし、スポット1とスポット2とが重なった領域全体の体積(光学濃度の積分値)からスポット1について得られたモデル関数の積分値を減算した後、残余の体積に対して上述した式(2)のガウス関数のフィッティングを行うことにより、スポット2についてのモデル関数を得る。仮に、スポット2が存在すべき領域に含まれるピクセルすべての光学濃度が0であった場合には、式(2)のガウス関数のAに0を、σ、σに1を与えることにより処理して、スポット2が存在することのみを示す。この方法により、3枚目の画像においても、スポット2の見落としが防止される。3つ以上のスポットが部分的に重なっている重複部においても、同様に、重複部の端に位置するいずれか一つのスポットにモデル関数をフィッティングし、得られたモデル関数の積分値を重複部全体の体積から減算した後、残余部の端に位置するいずれか一つのスポットにモデル関数をフィッティングすることを繰り返して、上記重複部に含まれる複数のスポットを分離することができる。
フィッティング手段60がすべてのタンパク質画像に基づくバックグラウンド除去画像について、各変換スポット存在領域を含むスポットへのモデル関数のフィッティングを終了した後(S109、S209、S309)、モデル関数更新手段70が、オペレータが指定したフィッティング実施回数mが1であるか否かを判定する(S5)。m=1であれば、解析装置1は解析作業を終了する。mが1より大きければ、m=m−1の計算がなされる(S6)。
次いで、モデル関数更新手段70が、ゲルのそれぞれについて、フィッティング手段60から送信されたモデル関数の和関数を生成する(S110、S210、S310)。モデル関数更新手段70には、初期値として、モデル関数f(x、y)=0が入力されている。したがって、モデル関数更新手段70の一回目の動作においては、和関数は、1回目のフィッティング手段60の動作により得られたモデル関数f(x、y)と同じになり、モデル関数更新手段70の二回目の動作においては、和関数は、1回目のフィッティング手段60の動作により得られたモデル関数f(x、y)と2回目のフィッティング手段60の動作により得られたモデル関数f(x、y)との和関数となる。なお、f(x、y)は、フィッティング手段60の1回目の動作によりバックグラウンド除去画像のそれぞれについて得られたすべてのモデル関数の和関数であり、f(x、y)は、フィッティング手段60の2回目の動作により対応する差分画像について得られたすべてのモデル関数の和関数である。
次いで、差分画像生成手段80が、バックグラウンド除去手段20が記憶したタンパク質画像に基づくバックグラウンド除去画像のそれぞれについて、このバックグラウンド除去画像の各ピクセルの光学濃度から、モデル関数更新手段70から送信された対応するモデル関数の和関数から得られたフィッティング画像における同一の座標のピクセルの光学濃度を減算して、差分画像を生成して記憶する(S111、S211、S311)。
以下、(S104,S204,S304)のステップから(S109,S209,S309)のステップまでが、バックグラウンド除去画像に代えて、差分画像生成手段80に記憶された差分画像に基づいて繰り返され、モデル関数更新手段70が、mが1であるか否かを判定し(S5)、m=1であれば解析装置1が解析作業を終了し、mが1より大きければ、m=m−1の計算がなされ(S6)、モデル関数更新手段70によるモデル関数の和関数生成のステップ(S110、S210、S310)と、差分画像生成手段80による差分画像の生成及び記憶のステップ(S111、S211、S311)が実施され、以降(S104,S204,S304)のステップからのステップがm=1になるまで繰り返される。
図7は、1つの頂点を有するスポットへのモデル関数のフィッティングを繰り返して行うプロセスを、スポットをその頂点を通る平面で切断した断面を用いて説明した図である。まず、バックグラウンド除去画像Rに対する1回目のフィッティングによりモデルM1のフィッティング画像(モデル関数の積分値)が生成され、次いで、RからM1が減算されて、差分画像(R−M1)が生成される。さらに、差分画像(R−M1)に対する2回目のフィッティングにより、モデルM2のフィッティング画像が生成され、次いで、和関数から得られたモデル(M1+M2)のフィッティング画像が生成されて、Rから(M1+M2)が減算される。このようなプロセスが、オペレータが指定したフィッティング実施回数に至るまで繰り返される。
図8は、モデル関数のフィッティングを繰り返して行ったときの、モデル関数から得られる二次元画像(平面図)の相違を説明する図である。1回目のフィッティングにより得られる画像(M1)と2回目までのフィッティングにより得られる画像(M1+M2)との比較により、2回目までフィッティングを行うと、目視により薄く認められるスポットまで細かく検出することができていることが分かる。2回目までのフィッティングにより得られる画像(M1+M2)と3回目までのフィッティングにより得られる画像(M1+M2+M2)との比較により、3回目までフィッティングを行うと、さらに薄く認められるスポットまで細かく検出することができていることが分かる。そして、M1よりもM1+M2が、さらにM1+M2よりもM1+M2+M3が、バックグラウンド除去画像Rに接近した画像であることが分かる。
したがって、本実施の形態の解析装置及び解析方法により、二次元電気泳動画像に存在する微量のタンパク質に起因するスポットを見落とすことなく解析することができる。
2)第2の二次元電気泳動画像の解析方法
次いで、第2の二次元電気泳動画像の解析方法と、この方法を実施するための解析装置及び解析プログラムついて、第2の実施の形態を用いて説明する。
第1の実施の形態では、各スポットへのモデル関数のフィッティングがバックグラウンド除去画像又はバックグラウンド除去画像に対応する差分画像に基づいて行われたが、第2の実施の形態では、各スポットへのモデル関数のフィッティングが位置揃え画像に基づいて行われる点で、両者は異なる。本実施形態においても、原画像の例として、第1の実施形態において使用した画像を使用する。本実施の形態においても、二次元電気泳動画像の数は、解析対象のゲルの数或いはタンパク質画像の数に相当する「3」である。
本実施の形態の解析装置も、演算処理部、記憶部、キーボード等の入力部、ディスプレー等の出力部等を備えた一般的なコンピュータにより構成されており、記憶部に記憶されているソフトウェア(解析プログラム)との協働により解析装置として動作するように構成されている。図9は、本実施の形態の解析装置2における機能のブロック図を示している。以下、第1の実施の形態における各手段と同じ機能を有する手段には同じ番号を付して説明を省略し、機能の異なる手段についてのみ説明する。
データ表生成手段40aの位置揃え画像生成部41aは、バックグラウンド除去手段20が記憶したタンパク質画像に基づくバックグラウンド除去画像(本実施の形態では3枚のゲルに基づく画像)を読み出すとともに、座標変換式導出手段30が記憶した各画像が得られたゲルに対応する座標変換式を読み出し、読みだした画像に座標変換式を適用することにより対応する位置揃え画像を生成し、各画像が得られたゲルと関連付けて記憶するものである。分割部42aは、位置揃え画像生成部41aが記憶した位置揃え画像又は差分画像生成手段80aが記憶した差分画像を読み出し、読み出した画像にアイリスフィルタアルゴリズムを適用し、該アルゴリズムの出力が0.8以上であるピクセル(高濃度領域に属するピクセル)に強度値「1」を、出力が0.8未満であるピクセル(低濃度領域に属するピクセル)に強度値「0」を、それぞれ与えることにより位置揃え画像を2つの領域に分割し、データ表生成部43に分割した結果をゲルと関連付けて送信するものである。強度値「1」及び「0」は、位置揃え画像を2つの領域に分割するために与えられた所属データである。分割部42aは、1回目の動作においては、位置揃え画像生成部40aが記憶した位置揃え画像を読み出し、2回目以降の動作においては、差分画像生成手段80aが記憶した差分画像を読み出す。
スポット認定手段50aのスポット認定部53aは、データ表生成部43が生成したすべてのデータ表に対して、座標選択部52から送信された選択されたピクセル座標のひとかたまりの領域ごとに識別番号を付与し、識別番号が付与された領域をスポット存在領域と認定し、座標変換部を有していないフィッティング手段60aに送信するものである。なお、スポット認定部53aは、すべてのデータ表に対して、同一のピクセル座標の領域に同一の識別番号を付与する。フィッティング手段60aは、位置揃え画像生成部41aが記憶した位置揃え画像或いは差分画像生成手段80aが記憶した差分画像を読み出し、読み出した各画像について、スポット認定部53aから送信されたスポット存在領域ごとに、各画像におけるスポット存在領域を含むスポットにモデル関数をフィッティングするものである。フィッティング手段60aは、1回目の動作においては、位置揃え画像生成部40aが記憶した位置揃え画像を読み出し、2回目以降の動作においては、差分画像生成手段80aが記憶した差分画像を読み出す。
差分画像生成手段80aは、位置揃え画像生成部41aが記憶した位置揃え画像を読み出し、読みだした位置揃え画像の各ピクセルの光学濃度から、モデル関数更新手段70から送信された対応するモデル関数の和関数により得られた画像における同一の座標のピクセルの光学濃度を減算して差分画像を生成し、記憶するものである。
次に、本実施の形態の解析装置2における具体的な処理について説明する。図10は、解析装置2が原画像を読み込んでから各スポットへのモデル関数のフィッティングを完了するまでの基本的な流れを示したフローチャートである。以下、第1の実施の形態における各ステップと同じ動作のステップには同じ番号を付して説明を簡略化する。
オペレータにより解析装置2が起動され、解析対象の二次元電気泳動画像を指定するための情報とフィッティング実施回数mが入力される(S1)と、画像読み込み手段10は、指定された3枚のゲルに基づくタンパク質画像及びマーカー画像をそれぞれ読み込む(S101、S201、S301)。フィッティング実施回数mは、モデル関数更新手段70に送信されて記憶される。次いで、バックグラウンド除去手段20が、3枚のゲルに対応するタンパク質画像及びマーカー画像のそれぞれについて、対応するバックグラウンド除去画像(3枚のゲルから得られた、タンパク質画像に基づく画像及びマーカー画像に基づく画像)を生成し(S102、S202、S302)、座標変換式導出手段30が、マーカー画像に基づくバックグラウンド除去画像(3枚のゲルから得られた画像)に基づき、座標変換式を導出し、ゲルと関連付けて記憶する(S103、S203、S303)。
次いで、データ表生成手段40aにおける位置揃え画像生成部41aが、バックグラウンド除去手段20が記憶したタンパク質画像に基づくバックグラウンド除去画像(本実施の形態では3枚の画像)のそれぞれについて、座標変換式導出手段30が記憶した各画像に対応する座標変換式に基づいて位置揃えした位置揃え画像(本実施の形態では3枚の画像)を生成して記憶する(S104a、S204a、S304a)。このステップにより、同じタンパク質に起因するスポットが、すべての位置揃え画像において、ほぼ同一のピクセル座標の位置に揃うことになる。次いで、分割部42aが、位置揃え画像生成部41aが生成し記憶した位置揃え画像のそれぞれにアイリスフィルタアルゴリズムを適用し(S105a、S205a、S305a)、該アルゴリズムの出力が0.8以上であるピクセルに強度値「1」を、出力が0.8未満であるピクセルに強度値「0」を、それぞれ与えて位置揃え画像を2つの領域に分割する(S106、S206、S306)。次いで、データ表生成部43が、位置揃え画像のピクセル座標と強度値(「0」又は「1」)との関係を表すデータ表(本実施の形態では3枚の画像に対応する表)を生成する(S107、S207、S307)。
次いで、スポット認定手段50の集計部51が、データ表生成部43から送信されたすべてのデータ表(本実施の形態では3枚の画像に対応する表)における同一のピクセル座標の強度値を合計し、ピクセル座標と合計値Sとの関係を生成する(S2)。次いで、座標選択部52が、集計部51が生成したピクセル座標と合計値Sとの関係を参照して、合計値Sが2以上であるピクセル座標を選択する(S3)。さらに、スポット認定部53aが、すべてのデータ表に対して、座標選択部52により選択されたピクセル座標のひとかたまりの領域ごとに識別番号を付与し、識別番号が付与された領域をスポット存在領域と認定する(S4)。このとき、スポット認定部53aは、すべてのデータ表に対して、同一のピクセル座標の領域に同一の識別番号を付与する。
次いで、フィッティング手段60aが、位置揃え画像生成部41aが記憶した位置揃え画像(本実施の形態では3枚の画像)のそれぞれについて、スポット認定部53により認定されたスポット存在領域ごとに、該領域を含むスポットにモデル関数をフィッティングする(S109a、S209a、S309a)。本実施の形態でも、第1の実施の形態と同様のフィッティング処理が行われる。
フィッティング手段60aがすべての位置揃え画像について各スポット存在領域を含むスポットへのモデル関数のフィッティングを終了した後(S109a、S209a、S309a)、モデル関数更新手段70が、オペレータが指定したフィッティング実施回数mが1であるか否かを判定する(S5)。m=1であれば、解析装置2は解析作業を終了する。mが1より大きければ、m=m−1の計算がなされる(S6)。
次いで、モデル関数更新手段70が、ゲルのそれぞれについて、フィッティング手段60aから送信されたモデル関数の和関数を生成する(S110、S210、S310)。次いで、差分画像生成手段80aが、位置揃え画像生成部41aが記憶した位置揃え画像のそれぞれについて、この位置揃え画像の各ピクセルの光学濃度から、モデル関数更新手段70から送信された対応するモデル関数の和関数から得られたフィッティング画像における同一の座標のピクセルの光学濃度を減算して、差分画像を生成して記憶する(S111a、S211a、S311a)。
以下、(S105a,S205a,S305a)のステップから(S109a,S209a,S309a)のステップまでが、位置揃え画像に代えて、差分画像生成手段80aに記憶された差分画像に基づいて繰り返され、モデル関数更新手段70が、mが1であるか否かを判定し(S5)、m=1であれば解析装置2が解析作業を終了し、mが1より大きければ、m=m−1の計算がなされ(S6)、モデル関数更新手段70によるモデル関数の和関数生成のステップ(S110、S210、S310)と、差分画像生成手段80aによる差分画像の生成及び記憶が実施され、以降(S105a,S205a,S305a)のステップからのステップがm=1になるまで繰り返される。
以上、第1の実施の形態及び第2の実施の形態を用いて本発明を説明したが、本発明はこれらの実施の形態に限定されず、請求項に示された発明の範囲を逸脱しない範囲内での変更が許容される。例えば、本発明はタンパク質に関する二次元電気泳動画像の解析に限定されず、他の荷電物質に関する二次元電気泳動画像の解析にも適用される。また、処理される画像の枚数も3枚に限定されず3枚以上であれば良い。処理される画像が多数に及んでも、上記指定値以上の数のデータ表の上記高濃度領域が重なっていれば、その重なり部分にはスポットが存在するものとして扱われる。原画像の枚数が増加しても通常は指定値として2が選択されるが、ノイズが多い原画像を解析するときには指定値として3以上が選択される。ただし、指定値は解析対象の原画像の数より小さい。指定値は、オペレータにより、解析対象の原画像の数より小さい値で設定されるようにしても良い。また、第1の実施の形態及び第2の実施の形態において、オペレータが指定したフィッティング実施回数になるまで各スポットへのモデル関数のフィッティングを繰り返したが、オペレータが指定したモデル関数の個数、言い換えるとモデル関数をフィッティングするスポットの個数になるまでフィッティングを繰り返すようにしても良く、差分画像の体積が所定値以下になるまでフィッティングを繰り返すようにしても良い。
さらに、バックグラウンド除去、画像の位置揃えも、公知の方法により行っても良く、上記高濃度領域の設定もアイリスフィルタアルゴリズムの適用による設定に限定されない。例えば、リングオペレータの使用によっても、上記高濃度領域の設定を好適に行うことができる。リングオペレータは同心の2つの円を使用するアルゴリズムである。リングオペレータを解析対象の画像に適用して2つの円の中心を画像の全体に移動させると、内側の円内に存在するピクセルにおける光学濃度の最大値が内側の円と外側の円との間に存在するピクセルにおける光学濃度の最大値より大きい場合には正の出力が、前者が後者より小さい場合には負の出力が得られる。したがって、2つの円のサイズを適切に設定することにより、スポットの頂点及びその周辺でのみ正の出力を得ることができ、正の出力が得られる領域を上記高濃度領域とすることができる。リングオペレータにより、アイリスフィルタと同様に、目視では薄く認められるスポットが明瞭に把握されるようになる。この他、上記高濃度領域の設定のために分水界法などを使用することもできる。さらに、第1の実施の形態及び第2の実施の形態では、アイリスフィルタアルゴリズムが0.8以上の出力を示す領域を上記高濃度領域としたが、解析対象の画像における各スポットの分離状態や位置揃えの誤差に応じて、上記高濃度領域を設定するための出力を変更することができる。好ましくは出力が0.7以上、特に好ましくは出力が0.8以上である領域を上記高濃度領域とするのが好ましい。
また、第1の実施の形態及び第2の実施の形態では、アイリスフィルタアルゴリズムが0.8以上の出力を示す領域に強度値「1」を、0.8未満の出力を示す領域に強度値「0」を与えたが、集計部51が上記高濃度領域に属するピクセルか否かを判定することができる限り、上記高濃度領域と上記低濃度領域とにどのような数値或いは記号を与えても良い。例えば、データ表生成部43が、アイリスフィルタアルゴリズムの出力をそのまま用いてデータ表を作成しても良く、この場合には、集計部51が、ピクセル座標ごとに0.8以上の出力を示すデータ表の数をカウントすれば良い。さらに、スポットにフィッティングされるモデル関数も、これまでに提案されている公知のモデル関数を特に制限なく使用することができる。例えば、以下の式(3)に示すローレンツ関数をモデル関数としても良い。
上式において、f(x,y)は、座標(x,y)におけるローレンツ関数の値であり、Aはローレンツ関数の最大値であり、x及びyはそれぞれローレンツ関数が最大値を示す位置のx座標とy座標であり、W及びWはそれぞれローレンツ関数が最大となる位置からx軸方向及びy軸方向への半値半幅である。
また、本発明の解析装置は、第1の実施の形態及び第2の実施の形態に示した各手段に加えて、他の手段を備えることができる。例えば、得られたモデル関数に基づき各スポットの体積を定量するステップを実施するためのスポット体積定量手段を備えていても良い。例えば、スポット体積定量手段は、解析対象の二次元電気泳動画像に対応するバックグラウンド除去画像或いは位置揃え画像のそれぞれについて、該画像の所定のピクセル座標(xi,)における光学濃度I(x,y)と、このピクセル座標(xi,)において0より大きな出力を示すすべてのモデル関数f(x,y)、f(x,y)、・・・、f(x,y)(ここで、f(x,y)は、スポットnにフィッティングされたモデル関数を意味する。)の出力値f(x,y)、f(x,y)、・・・、f(x,y)と、を用いて以下の式(4)によってモデル関数f(x,y)のピクセル座標(x,y)における光学濃度I(x,y)を算出し、次いで、モデル関数f(x,y)が0より大きな出力を示すピクセル座標の範囲に関して得られた光学濃度I(x,y)を合計することによって、モデル関数f(x、y)に対応するスポットの体積を定量することができる。
本発明により、二次元電気泳動画像に存在する微量の荷電物質に起因するスポットを見落とすことなく解析することができる。
1,2 解析装置
10 画像読み込み手段
20 バックグラウンド除去手段
30 座標変換式導出手段
40,40a データ表生成手段
50,50a スポット認定手段
60,60a フィッティング手段

Claims (14)

  1. コンピュータによる二次元電気泳動画像の解析方法であって、前記コンピュータが、
    a)同一の被検試料に関する少なくとも3枚の二次元電気泳動画像を読み込むステップ、
    b)読み込まれた前記二次元電気泳動画像のそれぞれについて、画像を構成する各ピクセルの光学濃度からバックグラウンドノイズを減算してバックグラウンド除去画像を生成するステップ、
    c)前記バックグラウンド除去画像のそれぞれについて、前記被検試料に含まれる同一の荷電物質に起因するスポットが画像のほぼ同一のピクセル座標に位置するように位置揃えするための、バックグラウンド除去画像におけるピクセル座標と位置揃え後のピクセル座標との関係を示す座標変換式を導出するステップ、
    d)前記バックグラウンド除去画像のそれぞれについて、隣接するピクセルの光学濃度よりも大きい光学濃度を有するピクセルとその周辺のピクセルとからなる高濃度領域と残余のピクセルからなる低濃度領域とに、隣り合う前記高濃度領域が前記低濃度領域によって分離されるように分割するとともに、各ピクセルの座標を前記座標変換式に従って位置揃え後のピクセル座標に変換して、各ピクセルが前記高濃度領域と前記低濃度領域のいずれに属するかを示す所属データと変換後のピクセル座標とを対応付けたデータ表を生成するステップ、
    e)得られたすべてのデータ表における同一のピクセル座標の所属データを集計し、2から(前記二次元電気泳動画像の数−1)までの範囲の整数からなる群から選択された指定値以上の数のデータ表において前記高濃度領域に属することを示す集計結果が得られたピクセル座標を選択し、すべてのデータ表において、選択されたピクセル座標のひとかたまりの領域ごとに同一の識別番号を付与し、識別番号が付与された領域をスポット存在領域と認定するステップ、
    及び、
    f)前記バックグラウンド除去画像のそれぞれについて、対応する前記データ表のスポット存在領域に含まれるピクセル座標を前記座標変換式に従ってバックグラウンド除去画像のピクセル座標に変換することにより変換スポット存在領域を認定し、認定された前記変換スポット存在領域ごとに、該領域を含むスポットにモデル関数をフィッティングするステップ
    を実行することを特徴とする、二次元電気泳動画像の解析方法。
  2. 前記コンピュータがさらに、
    g)前記バックグラウンド除去画像のそれぞれについて、バックグラウンド除去画像における各ピクセルの光学濃度から、前記モデル関数から得られたフィッティング画像における同一の座標のピクセルの光学濃度を減算することにより、差分画像を生成するステップ、
    h)得られた差分画像のそれぞれについて、隣接するピクセルの光学濃度よりも大きい光学濃度を有するピクセルとその周辺のピクセルとからなる高濃度領域と残余のピクセルからなる低濃度領域とに、隣り合う前記高濃度領域が前記低濃度領域によって分離されるように分割するとともに、各ピクセルの座標を前記座標変換式に従って位置揃え後のピクセル座標に変換して、各ピクセルが前記高濃度領域と前記低濃度領域のいずれに属するかを示す所属データと変換後のピクセル座標とを対応付けたデータ表を再生成するステップ
    i)再生成されたすべてのデータ表における同一のピクセル座標の所属データを集計し、前記指定値以上の数のデータ表において前記高濃度領域に属することを示す集計結果が得られたピクセル座標を選択し、再生成されたすべてのデータ表において、選択されたピクセル座標のひとかたまりの領域ごとに同一の識別番号を付与し、識別番号が付与された領域をスポット存在領域と認定するステップ、
    及び、
    j)前記差分画像のそれぞれについて、対応する前記再生成されたデータ表のスポット存在領域に含まれるピクセル座標を前記座標変換式に従って差分画像のピクセル座標に変換することにより変換スポット存在領域を認定し、認定された前記変換スポット存在領域ごとに、該領域を含むスポットにモデル関数をフィッティングするステップ
    からなるサイクルを1回以上実行し、
    ただし、2回目以降の前記g)ステップにおいて、前記バックグラウンド除去画像のそれぞれについて、バックグラウンド除去画像における各ピクセルの光学濃度から、該ステップの実行前に得られたモデル関数の和関数から得られたフィッティング画像における同一の座標のピクセルの光学濃度を減算することにより、差分画像を生成する、請求項1に記載の二次元電気泳動画像の解析方法。
  3. 前記f)ステップ及び/又は前記j)ステップにおいて、各スポットにおける最大の光学濃度を有するピクセルを通り且つ二次元目の泳動方向と平行な平面及びこれと垂直な平面を用いてスポットを4分割したときの最も小さな体積を示す分割部分にフィッティングするガウス関数又はローレンツ関数を、該スポット全体のモデル関数として適用する、請求項1又は2に記載の二次元電気泳動画像の解析方法。
  4. 前記f)ステップ及び/又は前記j)ステップにおいて、複数のスポットが部分的に重なっている重複部では、該重複部の端に位置するいずれか一つのスポットにモデル関数をフィッティングし、得られたモデル関数の積分値を重複部全体の体積から減算した後、残余部の端に位置するいずれか一つのスポットにモデル関数をフィッティングすることを繰り返して、前記重複部に含まれる複数のスポットを分離する、請求項1〜3のいずれか1項に記載の二次元電気泳動画像の解析方法。
  5. 前記d)ステップ及び/又は前記h)ステップにおける前記高濃度領域と前記低濃度領域とへの分割を、分割を施すべき画像にアイリスフィルタ及びリングオペレータからなる群から選択された画像処理アルゴリズムを適用し、該アルゴリズムの出力が所定値以上であるピクセルからなる領域を前記高濃度領域とすることにより実行する、請求項1〜4のいずれか1項に記載の二次元電気泳動画像の解析方法。
  6. コンピュータによる二次元電気泳動画像の解析方法であって、前記コンピュータが、
    a´)同一の被検試料に関する少なくとも3枚の二次元電気泳動画像を読み込むステップ、
    b´)読み込まれた前記二次元電気泳動画像のそれぞれについて、画像を構成する各ピクセルの光学濃度からバックグラウンドノイズを減算してバックグラウンド除去画像を生成するステップ、
    c´)前記バックグラウンド除去画像のそれぞれについて、前記被検試料に含まれる同一の荷電物質に起因するスポットが画像のほぼ同一のピクセル座標に位置するように位置揃えするための、バックグラウンド除去画像におけるピクセル座標と位置揃え後のピクセル座標との関係を示す座標変換式を導出するステップ、
    d´)前記バックグラウンド除去画像のそれぞれについて、バックグラウンド除去画像におけるピクセル座標を前記座標変換式に従って位置揃え後のピクセル座標に変換した位置揃え画像を生成し、得られた位置揃え画像のそれぞれについて、隣接するピクセルの光学濃度よりも大きい光学濃度を有するピクセルとその周辺のピクセルからなる高濃度領域と残余のピクセルからなる低濃度領域とに、隣り合う前記高濃度領域が前記低濃度領域によって分離されるように分割して、各ピクセルが前記高濃度領域と前記低濃度領域のいずれに属するかを示す所属データとピクセル座標とを対応付けたデータ表を生成するステップ、
    e´)得られたすべてのデータ表における同一のピクセル座標の所属データを集計し、2から(前記二次元電気泳動画像の数−1)までの範囲の整数からなる群から選択された指定値以上の数のデータ表において前記高濃度領域に属することを示す集計結果が得られたピクセル座標を選択し、すべてのデータ表において、選択されたピクセル座標のひとかたまりの領域ごとに同一の識別番号を付与し、識別番号が付与された領域をスポット存在領域と認定するステップ、
    及び、
    f´)前記位置揃え画像のそれぞれについて、対応する前記データ表のスポット存在領域におけるピクセル座標と同一のピクセル座標の領域ごとに、該領域を含むスポットにモデル関数をフィッティングするステップ
    を実行することを特徴とする、二次元電気泳動画像の解析方法。
  7. 前記コンピュータがさらに、
    g´)前記位置揃え画像のそれぞれについて、位置揃え画像における各ピクセルの光学濃度から、前記モデル関数から得られたフィッティング画像における同一の座標のピクセルの光学濃度を減算することにより、差分画像を生成するステップ、
    h´)得られた差分画像のそれぞれについて、隣接するピクセルの光学濃度よりも大きい光学濃度を有するピクセルとその周辺のピクセルとからなる高濃度領域と残余のピクセルからなる低濃度領域とに、隣り合う前記高濃度領域が前記低濃度領域によって分離されるように分割して、各ピクセルが前記高濃度領域と前記低濃度領域のいずれに属するかを示す所属データとピクセル座標とを対応付けたデータ表を再生成するステップ、
    i´)再生成されたすべてのデータ表における同一のピクセル座標の所属データを集計し、前記指定値以上の数のデータ表において前記高濃度領域に属することを示す集計結果が得られたピクセル座標を選択し、再生成されたすべてのデータ表において、選択されたピクセル座標のひとかたまりの領域ごとに同一の識別番号を付与し、識別番号が付与された領域をスポット存在領域と認定するステップ、
    及び、
    j´)前記差分画像のそれぞれについて、対応する前記再生成されたデータ表のスポット存在領域におけるピクセル座標と同一のピクセル座標の領域ごとに、該領域を含むスポットにモデル関数をフィッティングするステップ
    からなるサイクルを1回以上実行し、
    ただし、2回目以降の前記g´)ステップにおいて、前記位置揃え画像のそれぞれについて、位置揃え画像における各ピクセルの光学濃度から、該ステップの実行前に得られたモデル関数の和関数から得られたフィッティング画像における同一の座標のピクセルの光学濃度を減算することにより、差分画像を生成する、請求項6に記載の二次元電気泳動画像の解析方法。
  8. 前記d´)ステップ及び/又はh´)ステップにおける前記高濃度領域と前記低濃度領域とへの分割を、分割を施すべき画像にアイリスフィルタ及びリングオペレータからなる群から選択された画像処理アルゴリズムを適用し、該アルゴリズムの出力が所定値以上であるピクセルからなる領域を前記高濃度領域とすることにより実行する、請求項6又は7に記載の二次元電気泳動画像の解析方法。
  9. コンピュータに、請求項1に示されている前記a)ステップ、前記b)ステップ、前記c)ステップ、前記d)ステップ、前記e)ステップ、及び前記f)ステップを実行させるための、二次元電気泳動画像の解析プログラム。
  10. コンピュータに、請求項2に示されている前記g)ステップ、前記h)ステップ、前記i)ステップ、及び前記j)ステップをさらに実行させるための、請求項9に記載の二次元電気泳動画像の解析プログラム。
  11. コンピュータに、請求項6に示されている前記a´)ステップ、前記b´)ステップ、前記c´)ステップ、前記d´)ステップ、前記e´)ステップ、及び前記f´)ステップを実行させるための、二次元電気泳動画像の解析プログラム。
  12. コンピュータに、請求項7に示されている前記g´)ステップ、前記h´)ステップ、前記i´)ステップ、及び前記j´)ステップをさらに実行させるための、請求項11に記載の二次元電気泳動画像の解析プログラム。
  13. 同一の被検試料に関する少なくとも3枚の二次元電気泳動画像を読み込む、画像読み込み手段、
    読み込まれた前記二次元電気泳動画像のそれぞれについて、画像を構成する各ピクセルの光学濃度からバックグラウンドノイズを減算してバックグラウンド除去画像を生成する、バックグラウンド除去手段、
    前記バックグラウンド除去画像のそれぞれについて、前記被検試料に含まれる同一の荷電物質に起因するスポットが画像のほぼ同一のピクセル座標に位置するように位置揃えするための、バックグラウンド除去画像におけるピクセル座標と位置揃え後のピクセル座標との関係を示す座標変換式を導出する、座標変換式導出手段、
    前記バックグラウンド除去画像のそれぞれについて、隣接するピクセルの光学濃度よりも大きい光学濃度を有するピクセルとその周辺のピクセルとからなる高濃度領域と残余のピクセルからなる低濃度領域とに、隣り合う前記高濃度領域が前記低濃度領域によって分離されるように分割するとともに、各ピクセルの座標を前記座標変換式に従って位置揃え後のピクセル座標に変換して、各ピクセルが前記高濃度領域と前記低濃度領域のいずれに属するかを示す所属データと変換後のピクセル座標とを対応付けたデータ表を生成する、データ表生成手段、
    得られたすべてのデータ表における同一のピクセル座標の所属データを集計し、2から(前記二次元電気泳動画像の数−1)までの範囲の整数からなる群から選択された指定値以上の数のデータ表において前記高濃度領域に属することを示す集計結果が得られたピクセル座標を選択し、すべてのデータ表において、選択されたピクセル座標のひとかたまりの領域ごとに同一の識別番号を付与し、識別番号が付与された領域をスポット存在領域と認定する、スポット認定手段、
    及び、
    前記バックグラウンド除去画像のそれぞれについて、対応する前記データ表のスポット存在領域に含まれるピクセル座標を前記座標変換式に従ってバックグラウンド除去画像のピクセル座標に変換することにより変換スポット存在領域を認定し、認定された前記変換スポット存在領域ごとに、該領域を含むスポットにモデル関数をフィッティングする、フィッティング手段
    を備えたことを特徴とする、二次元電気泳動画像の解析装置。
  14. 同一の被検試料に関する少なくとも3枚の二次元電気泳動画像を読み込む、画像読み込み手段、
    読み込まれた前記二次元電気泳動画像のそれぞれについて、画像を構成する各ピクセルの光学濃度からバックグラウンドノイズを減算してバックグラウンド除去画像を生成する、バックグラウンド除去手段、
    前記バックグラウンド除去画像のそれぞれについて、前記被検試料に含まれる同一の荷電物質に起因するスポットが画像のほぼ同一のピクセル座標に位置するように位置揃えするための、バックグラウンド除去画像におけるピクセル座標と位置揃え後のピクセル座標との関係を示す座標変換式を導出する、座標変換式導出手段、
    前記バックグラウンド除去画像のそれぞれについて、バックグラウンド除去画像におけるピクセル座標を前記座標変換式に従って位置揃え後のピクセル座標に変換した位置揃え画像を生成し、得られた位置揃え画像のそれぞれについて、隣接するピクセルの光学濃度よりも大きい光学濃度を有するピクセルとその周辺のピクセルからなる高濃度領域と残余のピクセルからなる低濃度領域とに、隣り合う前記高濃度領域が前記低濃度領域によって分離されるように分割して、各ピクセルが前記高濃度領域と前記低濃度領域のいずれに属するかを示す所属データとピクセル座標とを対応付けたデータ表を生成する、データ表生成手段、
    得られたすべてのデータ表における同一のピクセル座標の所属データを集計し、2から(前記二次元電気泳動画像の数−1)までの範囲の整数からなる群から選択された指定値以上の数のデータ表において前記高濃度領域に属することを示す集計結果が得られたピクセル座標を選択し、すべてのデータ表において、選択されたピクセル座標のひとかたまりの領域ごとに同一の識別番号を付与し、識別番号が付与された領域をスポット存在領域と認定する、スポット認定手段、
    及び、
    前記位置揃え画像のそれぞれについて、対応する前記データ表のスポット存在領域におけるピクセル座標と同一のピクセル座標の領域ごとに、該領域を含むスポットにモデル関数をフィッティングする、フィッティング手段
    を備えたことを特徴とする、二次元電気泳動画像の解析装置。
JP2017524886A 2015-06-23 2016-06-20 二次元電気泳動画像の解析方法、解析プログラム、及び解析装置 Active JP6261152B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015125472 2015-06-23
JP2015125472 2015-06-23
PCT/JP2016/068207 WO2016208523A1 (ja) 2015-06-23 2016-06-20 二次元電気泳動画像の解析方法、解析プログラム、及び解析装置

Publications (2)

Publication Number Publication Date
JPWO2016208523A1 JPWO2016208523A1 (ja) 2018-01-11
JP6261152B2 true JP6261152B2 (ja) 2018-01-17

Family

ID=57585848

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017524886A Active JP6261152B2 (ja) 2015-06-23 2016-06-20 二次元電気泳動画像の解析方法、解析プログラム、及び解析装置

Country Status (2)

Country Link
JP (1) JP6261152B2 (ja)
WO (1) WO2016208523A1 (ja)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6640000B1 (en) * 1996-09-16 2003-10-28 Stephen J. Fey Method and apparatus for analyzing images
SE9903988D0 (sv) * 1999-11-03 1999-11-03 Amersham Pharm Biotech Ab Method of analysis
JP6112445B2 (ja) * 2012-10-02 2017-04-12 シャープ株式会社 画像処理装置、画像処理方法、画像処理プログラム、及び記録媒体

Also Published As

Publication number Publication date
WO2016208523A1 (ja) 2016-12-29
JPWO2016208523A1 (ja) 2018-01-11

Similar Documents

Publication Publication Date Title
US7269278B2 (en) Extracting shape information contained in cell images
JP4528309B2 (ja) オブジェクト検出方法、オブジェクト検出装置、およびオブジェクト検出プログラム
JP4154374B2 (ja) パターンマッチング装置及びそれを用いた走査型電子顕微鏡
WO2018068600A1 (zh) 图像处理方法及系统
US11538261B2 (en) Systems and methods for automated cell segmentation and labeling in immunofluorescence microscopy
JP2014219421A (ja) 多核細胞分類および微小核点数化
JP4964171B2 (ja) 対象領域抽出方法および装置ならびにプログラム
JP2010044439A (ja) 特徴量抽出装置、特徴量抽出方法、画像処理装置、及び、プログラム
EP3140778B1 (en) Method and apparatus for image scoring and analysis
JP5795150B2 (ja) 検出装置、およびそのデータ処理方法
US20190137394A1 (en) Image processing apparatus and method of operating image processing apparatus
Deepak et al. Computer assisted pap smear analyser for cervical cancer screening using quantitative microscopy
US20090214114A1 (en) Pixel classification in image analysis
US20210312620A1 (en) Generating annotation data of tissue images
JP2014016710A (ja) 対象物検出装置及びプログラム
JP6261152B2 (ja) 二次元電気泳動画像の解析方法、解析プログラム、及び解析装置
Wu et al. Comparison of two academic software packages for analyzing two-dimensional gel images
JP2008294451A (ja) 画像形成方法、及び画像形成装置
JP2012168014A (ja) データ解析装置、プログラム、記録媒体、データ解析方法、およびタンパク質解析装置
CN115100418A (zh) 一种抗原检测试剂盒识别方法、装置、设备及存储介质
JP2006018394A (ja) 細胞識別装置、細胞識別方法、細胞識別用プログラム、および細胞解析装置
WO2013161155A1 (ja) 画像計測装置、画像計測方法、および、画像計測用プログラム
JP2013182416A (ja) 特徴量抽出装置、特徴量抽出方法及び特徴量抽出プログラム
Li et al. Region-based statistical analysis of 2D PAGE images
Bombrun et al. Decoding gene expression in 2D and 3D

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171006

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20171006

TRDD Decision of grant or rejection written
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20171121

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171211

R150 Certificate of patent or registration of utility model

Ref document number: 6261152

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250