JPWO2016067456A1 - 画像処理方法および細胞分取方法 - Google Patents
画像処理方法および細胞分取方法 Download PDFInfo
- Publication number
- JPWO2016067456A1 JPWO2016067456A1 JP2016556161A JP2016556161A JPWO2016067456A1 JP WO2016067456 A1 JPWO2016067456 A1 JP WO2016067456A1 JP 2016556161 A JP2016556161 A JP 2016556161A JP 2016556161 A JP2016556161 A JP 2016556161A JP WO2016067456 A1 JPWO2016067456 A1 JP WO2016067456A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- chip
- divided
- pixel
- section
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 14
- 238000000034 method Methods 0.000 title claims description 37
- 239000000758 substrate Substances 0.000 claims abstract description 20
- 238000005070 sampling Methods 0.000 claims description 4
- 238000005304 joining Methods 0.000 abstract description 3
- 238000003384 imaging method Methods 0.000 description 8
- 238000003860 storage Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 6
- 238000004080 punching Methods 0.000 description 6
- 230000011218 segmentation Effects 0.000 description 6
- 238000000605 extraction Methods 0.000 description 4
- 230000006837 decompression Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 239000006059 cover glass Substances 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N1/00—Sampling; Preparing specimens for investigation
- G01N1/28—Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q
- G01N1/2813—Producing thin layers of samples on a substrate, e.g. smearing, spinning-on
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N1/00—Sampling; Preparing specimens for investigation
- G01N1/28—Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q
- G01N1/30—Staining; Impregnating ; Fixation; Dehydration; Multistep processes for preparing samples of tissue, cell or nucleic acid material and the like for analysis
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Optical investigation techniques, e.g. flow cytometry
- G01N15/1429—Signal processing
- G01N15/1433—Signal processing using image recognition
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/693—Acquisition
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/01—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials specially adapted for biological cells, e.g. blood cells
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Optical investigation techniques, e.g. flow cytometry
- G01N15/149—Optical investigation techniques, e.g. flow cytometry specially adapted for sorting particles, e.g. by their size or optical properties
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N1/00—Sampling; Preparing specimens for investigation
- G01N1/28—Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q
- G01N1/2813—Producing thin layers of samples on a substrate, e.g. smearing, spinning-on
- G01N2001/282—Producing thin layers of samples on a substrate, e.g. smearing, spinning-on with mapping; Identification of areas; Spatial correlated pattern
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N2015/1006—Investigating individual particles for cytology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Analytical Chemistry (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Immunology (AREA)
- Multimedia (AREA)
- Biochemistry (AREA)
- Human Computer Interaction (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optics & Photonics (AREA)
- Signal Processing (AREA)
- Dispersion Chemistry (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Sampling And Sample Adjustment (AREA)
- Microscoopes, Condenser (AREA)
- Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
- Micro-Organisms Or Cultivation Processes Thereof (AREA)
Abstract
基板を該基板上の生体組織の切片と一緒に多数のチップに分割して得られたチップ配列を撮影して、分割された切片の全体を含む分割切片画像を取得する画像取得工程(S1)と、分割切片画像からチップの像を認識するチップ認識工程(S3)と、認識されたチップの像を構成する画素の各々に対し、その画素が属するチップの像のチップ配列の像における位置情報を付与する属性情報付与工程(S4)と、位置情報を付与された画素からなるチップの像同士を1つに繋ぎ合わせることによって、分割された切片の像が1つに繋ぎ合わされた復元切片画像を生成する復元工程(S5)とを含む画像処理方法を提供する。
Description
本発明は、画像処理方法および細胞分取方法に関するものである。
従来、シート上に接着された基板に生体組織の切片を貼り付け、シートの伸展によって基板を切片と一緒に多数のチップに分割し、一部のチップをシートから採取することで、切片内の特定領域の細胞を分取する方法が知られている(例えば、特許文献1参照。)。特許文献1では、生体組織の隣接する位置から2枚の切片を切り出し、一方を上記の方法によって基板と一緒に分割し、他方を染色している。そして、染色された切片の画像に基づいて切片内の採取すべき領域を決定し、決定した領域と対応する位置のチップを採取している。
しかしながら、シート上には、非常に多くの微小な(例えば、0.5mm以下の)チップが、行列状に並んでいる。このようなチップ配列の中から、分割前の基板および切片の画像と、分割後の実際の基板および切片とを見比べて所望のチップの位置を正確に特定する作業は、煩雑かつ困難である。
本発明は、上述した事情に鑑みてなされたものであって、多数の微小なチップが配列するチップ配列の中からであっても、所望のチップを容易に特定することができる画像処理方法および細胞分取方法を提供することを目的とする。
本発明は、上述した事情に鑑みてなされたものであって、多数の微小なチップが配列するチップ配列の中からであっても、所望のチップを容易に特定することができる画像処理方法および細胞分取方法を提供することを目的とする。
上記目的を達成するため、本発明は以下の手段を提供する。
本発明の第1の態様は、生体組織の切片が貼り付けられた基板を前記切片と一緒に多数のチップに分割して得られた、前記チップ同士が隙間を空けて2次元的に配列するチップ配列の画像を処理する画像処理方法であって、前記チップ配列を撮影して、分割された前記切片の全体を含む分割切片画像を取得する画像取得工程と、該画像取得工程において取得された前記分割切片画像から、前記チップの像を認識するチップ認識工程と、該チップ認識工程において認識された前記チップの像を構成する画素の各々に対し、その画素が属するチップの像の前記チップ配列の像における位置情報を含む属性情報を付与する属性情報付与工程と、該属性情報付与工程において前記属性情報を付与された画素からなる前記チップの像同士を1つに繋ぎ合わせることによって、前記分割された切片の像が1つに繋ぎ合わされた復元切片画像を生成する復元工程とを含む画像処理方法である。
本発明の第1の態様は、生体組織の切片が貼り付けられた基板を前記切片と一緒に多数のチップに分割して得られた、前記チップ同士が隙間を空けて2次元的に配列するチップ配列の画像を処理する画像処理方法であって、前記チップ配列を撮影して、分割された前記切片の全体を含む分割切片画像を取得する画像取得工程と、該画像取得工程において取得された前記分割切片画像から、前記チップの像を認識するチップ認識工程と、該チップ認識工程において認識された前記チップの像を構成する画素の各々に対し、その画素が属するチップの像の前記チップ配列の像における位置情報を含む属性情報を付与する属性情報付与工程と、該属性情報付与工程において前記属性情報を付与された画素からなる前記チップの像同士を1つに繋ぎ合わせることによって、前記分割された切片の像が1つに繋ぎ合わされた復元切片画像を生成する復元工程とを含む画像処理方法である。
本発明の第1の態様によれば、画像取得工程において取得された分割切片画像の内のチップの像がチップ認識工程において認識され、復元工程においては、チップの像同士が隙間なく、かつ、重なり合いなく1つに合成されることによって、分割前の切片の全体像を含む復元切片画像が生成される。復元切片画像からは、切片内の組織構造や細胞の分布等を正確に把握することができる。したがって、ユーザは、復元切片画像に基づいて、切片から採取すべき位置を適切に選定することができる。
この場合に、復元切片画像を構成する個々の画素には、属性情報付与工程において、その画素が、チップ配列の内のいずれの位置のチップに対応しているかを示す位置情報が属性情報として付されている。したがって、復元切片画像内の採取すべき位置の画素の位置情報から、採取すべきチップが分割切片画像内のいずれのチップであるかを容易にかつ正確に特定することができる。そして、分割切片画像内のチップ配列の像と実際のチップ配列との比較によって、多数の微小なチップの中からであっても所望のチップを容易に特定することができる。
上記第1の態様においては、前記復元切片画像内の隣接する前記チップの像の境界において、該境界を挟んで隣接する画素の色を、当該画素の近傍の画素の色に基づいて補正する色補正工程を含んでいてもよい。
復元切片画像において、チップの像間の境界は、基板および切片を分割する際に分割線に沿って生じるバリ等に起因して目立ちやすい。したがって、境界に位置する画素の色を、その周囲の画素の色と同一のまたは類似の色に補正することによって、チップの像間の境界が目立たない、より自然な分割前の切片の全体像を復元することができる。
復元切片画像において、チップの像間の境界は、基板および切片を分割する際に分割線に沿って生じるバリ等に起因して目立ちやすい。したがって、境界に位置する画素の色を、その周囲の画素の色と同一のまたは類似の色に補正することによって、チップの像間の境界が目立たない、より自然な分割前の切片の全体像を復元することができる。
上記第1の態様においては、前記属性情報付与工程において、前記分割切片画像を構成する全ての画素に対して、前記チップの像を構成する画素であるか否かを示す領域情報を前記属性情報としてさらに付与し、前記復元工程において、前記領域情報に基づいて前記チップの像を構成しない画素を削除し、残された前記チップの像を構成する画素同士を1つに繋ぎ合わせることによって、前記復元切片画像を生成してもよい。
このようにすることで、復元画像を簡単な処理で生成することができる。
このようにすることで、復元画像を簡単な処理で生成することができる。
本発明の第2の態様は、上記いずれかに記載の画像処理方法と、前記復元切片画像を表示する表示工程と、該表示工程において表示された前記復元切片画像に対して、前記切片から採取すべき位置を指定する指定工程と、該指定工程において指定された位置に対応する画素に付された前記位置情報に基づき、前記チップ配列からチップを採取する採取工程とを含む細胞分取方法である。
本発明の第2の態様によれば、指定工程において指定された位置の画素の位置情報に基づき、実際のチップ配列の中から採取すべきチップを容易に特定することができ、特定されたチップを採取工程において採取することができる。
本発明の第2の態様によれば、指定工程において指定された位置の画素の位置情報に基づき、実際のチップ配列の中から採取すべきチップを容易に特定することができ、特定されたチップを採取工程において採取することができる。
本発明によれば、多数の微小なチップが配列するチップ配列の中からであっても、所望のチップを容易に特定することができるという効果を奏する。
以下に、本発明の一実施形態に係る細胞分取方法について図面を参照して説明する。
まず、本実施形態に係る細胞分取方法を実施するための細胞分取システム1について説明する。
まず、本実施形態に係る細胞分取方法を実施するための細胞分取システム1について説明する。
細胞分取システム1は、生体組織の切片Aから、所望の細胞を含む特定領域を採取するためのシステムであり、図1に示されるように、水平なステージ10を有する倒立型の光学顕微鏡2と、ステージ10の上方に設けられた打ち抜き部3と、光学顕微鏡2によって取得された画像を処理する画像処理装置4と、表示部5と、これらを互いに接続するデータバス6とを備えている。
細胞分取システム1に用いられる切片Aは、図2Aに示されるように、カバーガラスのような薄い基板7上に貼り付けられている。基板7の表面には、基板7の厚さ寸法の途中位置までの深さを有する溝8が、格子状に形成されている。隣接する溝8の間隔は、0.2mm〜2.0mmであり、好ましくは0.3mm〜1.0mmであり、より好ましくは0.3mm〜0.5mmである。
基板7の裏面は、表面方向に伸縮性を有するシート9(例えば、ダイシング用のシート)上に粘着剤によって粘着されている。このシート9を表面方向に伸展させると、図2Bに示されるように、基板7を溝8に沿って多数の小さな矩形のチップ7aに分割することができる。このときに、基板7上の切片Aも、基板7と一緒に溝8に沿って多数の小さな断片に分割される。これにより、図2Bに示されるように、隙間を開けて正方配列した多数のチップ7aからなるチップ配列70が生成される。
光学顕微鏡2は、ステージ10の下方に、ステージ10上の標本を拡大観察する対物レンズ11と、該対物レンズ11によって取得された標本の像を撮影するデジタルカメラのような撮像部12とを備えている。また、ステージ10は、その略中央部分に、鉛直方向に貫通する窓10aを有している。図1に示されるように、窓10aにチップ配列70が位置するように、かつ、チップ配列70が形成されている面が下側を向くように、ステージ10上にシート9を載置することによって、チップ配列70をステージ10の下側から対物レンズ11によって観察し、該対物レンズ11によって取得されたチップ配列70の像を撮像部12によって撮影することができる。
打ち抜き部3は、針13と、針先13aを下側に向けて針13を保持するとともに、水平方向および鉛直方向に移動可能なホルダ14とを備えている。ホルダ14の水平方向の移動によって、ステージ10上のチップ7aに対して針先13aを水平方向に位置合わせできるようになっている。また、ホルダ14の鉛直方向の下降によって、チップ7aの裏面を針先13aで突き、当該チップ7aをシート9から剥離および落下させることができるようになっている。
画像処理装置4は、例えば、コンピュータであり、CPU(中央演算処理装置)のような演算部15と、画像処理プログラムを記憶するROM(Read Only Memory)のような記憶部16とを備えている。また、画像処理装置4は、ユーザが画像処理装置4に対して入力を行うためのキーボードやマウス等の入力装置(図示略)を備えている。
画像処理装置4は、光学顕微鏡2から受信した分割切片画像Pを、RAMのような図示しない一時記憶装置に記憶し、記憶部16に記憶されている画像処理プログラムを実行することによって、分割切片画像Pから復元切片画像Qを生成し、生成された復元切片画像Qを表示部5に出力して表示させるようになっている。
次に、細胞分取システム1を用いた細胞分取方法について説明する。
本実施形態に係る細胞分取方法は、図3に示されるように、画像取得工程S1と、テンプレート作成工程S2と、チップ認識工程S3と、属性情報付与工程S4と、復元工程S5と、表示工程S6と、抜き位置指定工程(指定工程)S7と、採取工程S8とを含む。
本発明に係る画像処理方法は、画像取得工程S1から復元工程S5に相当する。
本実施形態に係る細胞分取方法は、図3に示されるように、画像取得工程S1と、テンプレート作成工程S2と、チップ認識工程S3と、属性情報付与工程S4と、復元工程S5と、表示工程S6と、抜き位置指定工程(指定工程)S7と、採取工程S8とを含む。
本発明に係る画像処理方法は、画像取得工程S1から復元工程S5に相当する。
画像取得工程S1において、ユーザは、光学顕微鏡2でチップ配列70を観察し、分割された切片Aの全体が撮像部12の視野に含まれる適切な撮影倍率で、切片Aの全体を撮像部12によって撮影する。撮像部12によって取得された分割切片画像Pは、データバス6を介して画像処理装置4に送信される。
なお、画像取得工程S1における分割切片画像Pの取得には、任意の方法を用いることができる。例えば、チップ配列70の部分画像を高倍率で取得し、取得された複数の部分画像を適切に繋ぎ合わせることによって、分割切片画像Pを得てもよい。
なお、画像取得工程S1における分割切片画像Pの取得には、任意の方法を用いることができる。例えば、チップ配列70の部分画像を高倍率で取得し、取得された複数の部分画像を適切に繋ぎ合わせることによって、分割切片画像Pを得てもよい。
テンプレート作成工程S2から表示工程S6までは、演算部15が画像処理プログラムを実行することよって行われる。
テンプレート作成工程S2において、演算部15は、チップ7aの1辺の実寸法と、顕微鏡2による分割切片画像Pの撮影倍率と、分割切片画像Pの縦横の画素数とに基づいて、この後のチップ認識工程S3において使用するテンプレートを作成する。チップ7aの1辺の寸法は、溝8の間隔に相当し、例えば、ユーザによって入力装置を介して画像処理装置4に入力され、記憶部16に記憶される。顕微鏡2の撮影倍率および分割切片画像Pの縦横の画素数は、例えば、演算部15によって顕微鏡2から取得されて記憶部16に記憶される。
テンプレート作成工程S2において、演算部15は、チップ7aの1辺の実寸法と、顕微鏡2による分割切片画像Pの撮影倍率と、分割切片画像Pの縦横の画素数とに基づいて、この後のチップ認識工程S3において使用するテンプレートを作成する。チップ7aの1辺の寸法は、溝8の間隔に相当し、例えば、ユーザによって入力装置を介して画像処理装置4に入力され、記憶部16に記憶される。顕微鏡2の撮影倍率および分割切片画像Pの縦横の画素数は、例えば、演算部15によって顕微鏡2から取得されて記憶部16に記憶される。
画像処理装置4は、顕微鏡2の撮影倍率と分割切片画像Pの縦横の画素数とから、分割切片画像Pの1画素当たりの像の実寸法を算出し、算出された1画素当たりの像の実寸法と、チップ7aの1辺の実寸法とから、1個のチップ7aの1辺に相当する画素の数を算出する。そして、画像処理装置4は、1辺が、算出された数の画素からなる矩形のテンプレートを作成する。
次に、チップ認識工程S3において、演算部15は、一時記憶装置から分割切片画像Pを読み出し、テンプレートと分割切片画像Pとのパターンマッチングを行い、分割切片画像P内の、テンプレートと高い相関を有する領域をチップ領域Rとして認識する。パターンマッチングにおいて、分割切片画像P内の個々のチップ7aの像と略合同な形状を有するテンプレートを使用することによって、チップ7aの像以外の、異なる大きさの矩形のゴミ等の像をチップ領域Rとして誤認識してしまうことがなくなり、分割切片画像P内のチップ7aの像を正確にかつ迅速にチップ領域Rとして認識することができる。ここで、パターンマッチングの精度を向上するために、パターンマッチングの前に、階調値の2値化、細線化、輪郭抽出等の画像処理を、分割切片画像Pに対して施してもよい。
次に、属性情報付与工程S4において、演算部15は、分割切片画像P内の全画素に対して属性情報を付与し、該属性情報を画素と対応付けて記憶部16に記憶する。属性情報には、フラグ(領域情報)と、アドレス(位置座標)と、チップ領域Rの中心座標とが含まれる。
フラグは、例えば、「0」、「1」、および「2」の3種類であり、チップ領域Rを構成する画素には「1」、各チップ領域Rを構成する画素のうち最も外側に位置し、チップ領域Rの輪郭を構成する画素には「2」、チップ領域R以外の領域を構成する画素には「0」を付す。このフラグに基づいて、各画素が、分割切片画像P内のいずれの領域に属しているかを判別することができる。
アドレスは、分割切片画像P内のチップ配列70の像における各チップ領域Rの位置を示す情報であり、例えば、図4に示されるように、行番号A,B,C,…と列番号1,2,3,…との組み合わせによって定義される。アドレスは、フラグ「1」または「2」が付された画素に対して付される。例えば、図4に示される例においては、チップ配列70の像内の左上隅に位置するチップ領域Rに含まれる全ての画素には、「A1」というアドレスが付される。
チップ領域Rの中心座標は、その画素が属するチップ領域Rの中心位置の分割切片画像P内における座標である。チップ領域Rの中心座標は、個々のチップ領域Rを構成する画素群の座標に基づいて演算部15によって算出される。
次に、復元工程S5において、演算部15は、各画素に付与された属性情報に基づいて、隣接するチップ領域R同士が、隙間なく、かつ、重なり合うことなく接するように、チップ領域Rの再配置を行う。
具体的には、まず、フラグ「0」が付されている画素を分割切片画像Pから削除する。これにより、隙間を空けて配列するチップ領域Rのみが残る。次に、複数のチップ領域Rの中の1つのチップ領域Rに注目し、該注目するチップ領域Rのフラグ「2」が付された画素と、注目するチップ領域Rに隣接するチップ領域Rのフラグ「2」が付された画素とが直接隣接するように、隣接するチップ領域Rを平行移動させる。これにより、チップ領域R間の隙間を詰める。注目するチップ領域Rを変更しながら、隣接するチップ領域Rの平行移動を繰り返すことによって、図5に示されるように、隙間なく1つに繋がった切片Aの全体像を含む復元切片画像Qが得られる。復元切片画像Qを構成する各画素には、上述したフラグ「1」または「2」と、アドレスと、チップ領域Rの中心座標とが、属性情報として付されている。
具体的には、まず、フラグ「0」が付されている画素を分割切片画像Pから削除する。これにより、隙間を空けて配列するチップ領域Rのみが残る。次に、複数のチップ領域Rの中の1つのチップ領域Rに注目し、該注目するチップ領域Rのフラグ「2」が付された画素と、注目するチップ領域Rに隣接するチップ領域Rのフラグ「2」が付された画素とが直接隣接するように、隣接するチップ領域Rを平行移動させる。これにより、チップ領域R間の隙間を詰める。注目するチップ領域Rを変更しながら、隣接するチップ領域Rの平行移動を繰り返すことによって、図5に示されるように、隙間なく1つに繋がった切片Aの全体像を含む復元切片画像Qが得られる。復元切片画像Qを構成する各画素には、上述したフラグ「1」または「2」と、アドレスと、チップ領域Rの中心座標とが、属性情報として付されている。
次に、表示工程S6において、生成された復元切片画像Qが演算部15から表示部5へ出力され、復元切片画像Qが表示部5に表示される。
次に、抜き位置指定工程S7において、ユーザは、表示部5上の復元切片画像Qを観察し、復元切片画像Q内の切片Aの所望の位置を、例えば図示しないタッチパネルのようなユーザインタフェースを用いて指定する。演算部15は、指定された位置の画素に付されているアドレスに基づき、復元切片画像Q内のチップ領域Rのうち、指定された位置の画素を含むチップ領域Rを特定し、特定されたチップ領域Rの中心座標を打ち抜き部3に送信する。
次に、抜き位置指定工程S7において、ユーザは、表示部5上の復元切片画像Qを観察し、復元切片画像Q内の切片Aの所望の位置を、例えば図示しないタッチパネルのようなユーザインタフェースを用いて指定する。演算部15は、指定された位置の画素に付されているアドレスに基づき、復元切片画像Q内のチップ領域Rのうち、指定された位置の画素を含むチップ領域Rを特定し、特定されたチップ領域Rの中心座標を打ち抜き部3に送信する。
次に、採取工程S8において、打ち抜き部3は、演算部15から受信したチップ領域Rの中心座標から、針13によって打ち抜くべきチップ7aの中心位置を演算し、算出された中心位置へ針13を水平方向に移動させ、針13を下降させる。これにより、ユーザが表示部5上の復元切片画像Qに対して指定した位置のチップ領域Rと対応するチップ7aが打ち抜かれてシート9から落下する。落下したチップ7aは、ステージ10の鉛直下方に予め配置された図示しない容器内に回収される。
このように、本実施形態によれば、分割切片画像P内のチップ領域Rを構成する各画素に、当該画素がいずれのチップ領域Rに属するかを示すアドレスが付され、その後に、チップ領域R同士を繋ぎ合わせて切片Aの全体像を復元した復元切片画像Qが生成される。アドレスは、実際のチップ配列70における各チップ7aの位置とも対応している。したがって、復元切片画像Qに対してユーザが指定した位置に対応するチップ7aを、アドレスに基づいて、多数の微小なチップ7aが配列したチップ配列70の中から正確にかつ簡単に特定することができるという利点がある。
なお、本実施形態においては、復元切片画像Qに対してユーザが指定した位置に基づき、自動でチップ配列70の中から所望のチップ7aを採取することとしたが、これに代えて、ユーザ自身がホルダ14を操作することによって、手動で針13の位置合わせとチップ7aの採取とを行ってもよい。
この場合には、表示部5に分割切片画像Pも表示し、打ち抜き位置指定工程S7において指定された位置に対応するチップ領域Rが分割切片画像P内のいずれのチップ領域Rであるかをユーザが視覚的に認識できるような処理を分割切片画像Pに対して行う。分割切片画像P内のチップ配列70の像は、実際のチップ配列70を撮影したものであるので、分割切片画像P内の指定されたチップ領域Rが、実際のチップ配列70の中のいずれのチップ7aに対応しているかを、ユーザは容易に識別することができる。
この場合には、表示部5に分割切片画像Pも表示し、打ち抜き位置指定工程S7において指定された位置に対応するチップ領域Rが分割切片画像P内のいずれのチップ領域Rであるかをユーザが視覚的に認識できるような処理を分割切片画像Pに対して行う。分割切片画像P内のチップ配列70の像は、実際のチップ配列70を撮影したものであるので、分割切片画像P内の指定されたチップ領域Rが、実際のチップ配列70の中のいずれのチップ7aに対応しているかを、ユーザは容易に識別することができる。
また、本実施形態においては、図6に示されるように、復元工程S5の後に、復元切片画像Q内の隣接するチップ領域R間の境界に位置する画素の色を、その近傍の画素の色に基づいて補正する色補正工程S9をさらに含んでいてもよい。この場合、表示工程S6においては、色補正された復元切片画像Q’が表示部5に表示される。
復元工程S5において生成された復元切片画像Qにおいて、隣接する2つのチップ領域R間の境界には、フラグ「2」が付された2個の画素(以下、境界画素ともいう。)が隣接して並んでいる。色補正工程S9において、演算部15は、このような2個一対の境界画素の色を、該2個一対の境界画素の配列方向の両側に位置する画素の色(色相、明度、彩度)に基づいて補正する。例えば、演算部15は、2個一対の境界画素の両側の画素の色の平均色、または、一方の側の画素と同一の色を、境界画素に与える。演算部15は、隣接する2つのチップ領域Rの境界に位置する全ての2個一対の境界画素について、同様にして色補正を行う。これにより、境界をまたいで色が滑らかに連続するように復元切片画像Qの色が局所的に補正され、図7に示されるように、チップ領域Rの境界が目立たない復元切片画像Q’を得ることができるという利点がある。なお、色補正は、境界画素だけではなく、必要に応じて境界画素の近傍の画素に対しても行ってもよい。
1 細胞分取システム
2 光学顕微鏡
3 打ち抜き部
4 画像処理装置
5 表示部
6 データバス
7 基板
7a チップ
70 チップ配列
8 溝
9 シート
10 ステージ
10a 窓
11 対物レンズ
12 撮像部
13 針
13a 針先
14 ホルダ
15 演算部
16 記憶部
A 切片
P 分割切片画像
Q 復元切片画像
S1 画像取得工程
S2 テンプレート作成工程
S3 チップ認識工程
S4 属性情報付与工程
S5 復元工程
S6 表示工程
S7 抜き位置指定工程(指定工程)
S8 採取工程
S9 色補正工程
2 光学顕微鏡
3 打ち抜き部
4 画像処理装置
5 表示部
6 データバス
7 基板
7a チップ
70 チップ配列
8 溝
9 シート
10 ステージ
10a 窓
11 対物レンズ
12 撮像部
13 針
13a 針先
14 ホルダ
15 演算部
16 記憶部
A 切片
P 分割切片画像
Q 復元切片画像
S1 画像取得工程
S2 テンプレート作成工程
S3 チップ認識工程
S4 属性情報付与工程
S5 復元工程
S6 表示工程
S7 抜き位置指定工程(指定工程)
S8 採取工程
S9 色補正工程
Claims (4)
- 生体組織の切片が貼り付けられた基板を前記切片と一緒に多数のチップに分割して得られた、前記チップ同士が隙間を空けて2次元的に配列するチップ配列の画像を処理する画像処理方法であって、
前記チップ配列を撮影して、分割された前記切片の全体を含む分割切片画像を取得する画像取得工程と、
該画像取得工程において取得された前記分割切片画像から、前記チップの像を認識するチップ認識工程と、
該チップ認識工程において認識された前記チップの像を構成する画素の各々に対し、その画素が属するチップの像の前記チップ配列の像における位置情報を含む属性情報を付与する属性情報付与工程と、
該属性情報付与工程において前記属性情報を付与された画素からなる前記チップの像同士を1つに繋ぎ合わせることによって、前記分割された切片の像が1つに繋ぎ合わされた復元切片画像を生成する復元工程とを含む画像処理方法。 - 前記復元切片画像内の隣接する前記チップの像の境界において、該境界を挟んで隣接する画素の色を、当該画素の近傍の画素の色に基づいて補正する色補正工程を含む請求項1に記載の画像処理方法。
- 前記属性情報付与工程において、前記分割切片画像を構成する全ての画素に対して、前記チップの像を構成する画素であるか否かを示す領域情報を前記属性情報としてさらに付与し、
前記復元工程において、前記領域情報に基づいて前記チップの像を構成しない画素を削除し、残された前記チップの像を構成する画素同士を1つに繋ぎ合わせることによって、前記復元切片画像を生成する請求項1または請求項2に記載の画像処理方法。 - 請求項1から請求項3のいずれかに記載の画像処理方法と、
前記復元切片画像を表示する表示工程と、
該表示工程において表示された前記復元切片画像に対して、前記切片から採取すべき位置を指定する指定工程と、
該指定工程において指定された位置に対応する画素に付された前記位置情報に基づき、前記チップ配列からチップを採取する採取工程とを含む細胞分取方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2014/079084 WO2016067456A1 (ja) | 2014-10-31 | 2014-10-31 | 画像処理方法および細胞分取方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPWO2016067456A1 true JPWO2016067456A1 (ja) | 2017-08-10 |
Family
ID=55856838
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016556161A Pending JPWO2016067456A1 (ja) | 2014-10-31 | 2014-10-31 | 画像処理方法および細胞分取方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20170227448A1 (ja) |
JP (1) | JPWO2016067456A1 (ja) |
CN (1) | CN107076650A (ja) |
DE (1) | DE112014006941T5 (ja) |
WO (1) | WO2016067456A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7006111B2 (ja) * | 2017-10-06 | 2022-01-24 | 株式会社ニコン | 位置を決定する装置、方法、およびプログラム、画像を表示する装置、方法、およびプログラム |
CN111179264B (zh) * | 2020-01-10 | 2023-10-03 | 中国人民解放军总医院 | 标本的复原图制作方法、装置、标本处理系统、电子设备 |
WO2022107435A1 (ja) * | 2020-11-20 | 2022-05-27 | コニカミノルタ株式会社 | 画像解析方法、画像解析システム及びプログラム |
CN113096043B (zh) * | 2021-04-09 | 2023-02-17 | 杭州睿胜软件有限公司 | 图像处理方法及装置、电子设备和存储介质 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6466690C1 (en) * | 2000-12-19 | 2008-11-18 | Bacus Res Lab Inc | Method and apparatus for processing an image of a tissue sample microarray |
JP4847101B2 (ja) * | 2005-10-31 | 2011-12-28 | オリンパス株式会社 | 顕微鏡システム |
US8014577B2 (en) * | 2007-01-29 | 2011-09-06 | Institut National D'optique | Micro-array analysis system and method thereof |
JP2010016695A (ja) * | 2008-07-04 | 2010-01-21 | Nikon Corp | 電子カメラおよび画像処理プログラム |
US8340389B2 (en) * | 2008-11-26 | 2012-12-25 | Agilent Technologies, Inc. | Cellular- or sub-cellular-based visualization information using virtual stains |
WO2011149009A1 (ja) * | 2010-05-28 | 2011-12-01 | オリンパス株式会社 | 細胞分取装置、細胞分取システムおよび細胞分取方法 |
CN103221800B (zh) * | 2010-11-19 | 2015-07-15 | 奥林巴斯株式会社 | 生物体试样制备方法 |
JP2013020475A (ja) * | 2011-07-12 | 2013-01-31 | Sony Corp | 情報処理装置、情報処理方法、及びプログラム |
EP2784473A4 (en) * | 2011-11-25 | 2015-07-01 | Olympus Corp | TISSUE SEGMENTATION APPARATUS, CELL SORTING APPARATUS, CELL SORTING SYSTEM, TISSUE DISPLAY SYSTEM, SUBSTRATE, EXTENSIBLE ELEMENT, TISSUE SEGMENTATION METHOD, AND CELL SORTING METHOD |
JP2013174709A (ja) * | 2012-02-24 | 2013-09-05 | Olympus Corp | 顕微鏡装置およびバーチャル顕微鏡装置 |
US10078778B2 (en) * | 2015-01-15 | 2018-09-18 | Massachusetts Institute Of Technology | Systems, methods, and apparatus for in vitro single-cell identification and recovery |
-
2014
- 2014-10-31 DE DE112014006941.8T patent/DE112014006941T5/de not_active Withdrawn
- 2014-10-31 CN CN201480083173.2A patent/CN107076650A/zh active Pending
- 2014-10-31 WO PCT/JP2014/079084 patent/WO2016067456A1/ja active Application Filing
- 2014-10-31 JP JP2016556161A patent/JPWO2016067456A1/ja active Pending
-
2017
- 2017-04-26 US US15/497,985 patent/US20170227448A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
US20170227448A1 (en) | 2017-08-10 |
DE112014006941T5 (de) | 2017-06-22 |
WO2016067456A1 (ja) | 2016-05-06 |
CN107076650A (zh) | 2017-08-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9530204B2 (en) | Method of preparing biological specimen | |
WO2016067456A1 (ja) | 画像処理方法および細胞分取方法 | |
US20200242759A1 (en) | Bone marrow cell labeling methods and systems | |
JP2018533116A5 (ja) | ||
US20150042817A1 (en) | Thermal imaging device and thermal image photographing method | |
EP1783772A3 (en) | Information processing apparatus, imaging device, information processing method, and computer program | |
US10591402B2 (en) | Image processing apparatus, image processing method, and image processing program | |
RU2018113713A (ru) | Представление данных светового поля | |
CN103763471A (zh) | 数码变焦方法及装置 | |
US10867443B2 (en) | Information transformation in digital pathology | |
CN108664937A (zh) | 一种基于数字病理切片扫描仪的多区域扫描方法 | |
JP5995756B2 (ja) | 欠陥検出装置、欠陥検出方法および欠陥検出プログラム | |
JP2016027444A5 (ja) | ||
US9214019B2 (en) | Method and system to digitize pathology specimens in a stepwise fashion for review | |
JP6128204B2 (ja) | 診断支援システム、診断支援方法及びそのプログラム | |
JP2011039872A (ja) | 物品計数装置及び物品計数方法 | |
US9489727B2 (en) | Method for generating a preferred image by replacing a region of a base image | |
US20230215010A1 (en) | Information processing apparatus, information processing method, program, and information processing system | |
US20220075982A1 (en) | Information processing apparatus, information processing method, and storage medium | |
US20130215146A1 (en) | Image-drawing-data generation apparatus, method for generating image drawing data, and program | |
JP6202984B2 (ja) | 細胞分取方法 | |
JP2016152467A (ja) | 追尾装置、追尾方法及び追尾プログラム | |
US11674889B2 (en) | Culture state determination based on direction-dependent image information | |
CN114363521B (zh) | 图像处理方法、装置及电子设备 | |
CN111382752B (zh) | 标注方法及相关装置 |