JP6329262B2 - 対象物の全体像の作成方法及び顕微鏡画像の作成方法 - Google Patents
対象物の全体像の作成方法及び顕微鏡画像の作成方法 Download PDFInfo
- Publication number
- JP6329262B2 JP6329262B2 JP2016528370A JP2016528370A JP6329262B2 JP 6329262 B2 JP6329262 B2 JP 6329262B2 JP 2016528370 A JP2016528370 A JP 2016528370A JP 2016528370 A JP2016528370 A JP 2016528370A JP 6329262 B2 JP6329262 B2 JP 6329262B2
- Authority
- JP
- Japan
- Prior art keywords
- field
- recorded
- image
- images
- recorded images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 50
- 238000001000 micrograph Methods 0.000 title description 14
- 238000001454 recorded image Methods 0.000 claims description 160
- 230000015572 biosynthetic process Effects 0.000 claims description 23
- 238000003786 synthesis reaction Methods 0.000 claims description 23
- 230000002596 correlated effect Effects 0.000 claims description 6
- 230000002194 synthesizing effect Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 4
- 230000000875 corresponding effect Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000002849 thermal shift Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Optics & Photonics (AREA)
- Analytical Chemistry (AREA)
- Geometry (AREA)
- Microscoopes, Condenser (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Description
特に、顕微鏡の使用及び顕微鏡画像処理方法においては、高解像度の顕微鏡画像で作成される対象物又は血液検体等のサンプルの画像が、デジタルカメラ等によって単一画像として記録可能な領域よりもはるかに大きいという問題がある。結果的に、解像度の高い一種のモザイク画像が得られる。モザイク画像として記録されるサンプル又は対象物は、撮像手段に制御されながらグリッド内で移動され、また、個々の画像は予め計算された位置にて記録され、その後、顕微鏡画像へと合成される。結果として、個々の画像はほとんど継ぎ目なく合成され得る。このことは、例えば、米国特許第4673988号明細書等に記載されている。
b)メインメモリへの読み込みが可能であり、m≦nである次元mを有する少なくとも2つの区域に、顕微鏡画像を分割すること
c)画像の1区域に対して、当該画像の区域に存在する全画素、及び、埋められた画像区域を作成するフィールドのうちの少なくとも1つに存在する全画素を決定すること
d)埋められた画像区域をメインメモリに提供すること
e)画像区域結果を作成するために、埋められた画像区域に存在する画素用の演算処理を用いること
f)全ての画像区域において工程c)、d)、及びe)を繰り返すこと
g)全ての画像区域結果を合わせて全体結果にすること
しかしながら、この特許出願では、例えば顕微鏡画像などの、対象物の全体像の作成については全く述べられていない。
2つの記録画像の役割は、好ましくは、パターン用と変動探索領域つまり変動エッジ用とで交替して相互相関処理が繰り返される。これにより、システム及び演算法の、パターン認識に関する正確性及び堅牢性をさらに高めることができる。
好ましくは、コンピュータプログラムは、コンピュータによって読み取ることが可能な、又は、データストリームとしてインターネットからダウンロード可能なデータキャリアに保存される。
本発明のさらなる特徴は、本発明による実施形態の説明、特許請求の範囲、及び添付の図面から明らかになろう。本発明による実施形態は、個々の特徴又は複数の特徴の組み合わせを満たし得る。
図1は、対象物スライド上に配置された対象物11の概略平面図を示し、ここから全体像10として顕微鏡画像が作成される。対象物11は、例えば、人間又は動物から採取した細胞サンプルでも、植物サンプルでもよい。顕微鏡画像を作成するために、サンプルの薄層はガラススライド上に配置されて、顕微鏡で全体像を作成するために顕微鏡に設置される。
結論として、本発明による方法は、最小限の合成誤差を表示する記録画像の、最適な合成マトリクス、又は最適な配置マトリクスを提供する。
フィールド13のサンプル11は間隙16を有する。仮にこのフィールド13が開始フィールドとなれば、フィールド13´´をフィールド13´及びフィールド13´´´と合成することが困難になるであろう。そこで、適切な順番を決定する必要がある。そのためには、サンプル又は対象物のできる限り多くの部分が、最初に開始フィールド内になければならない。フィールド13´´´は、サンプルを包含する又はサンプルに重複する最も大きな領域を有しており、さらに、コントラストが少なくともフィールド13´´及び13´と同程度であるため、適格といえる。そのため、手順は自動的にフィールド13´´´から開始される。
10 全体像
11 対象物/サンプル
12 記録画像
13−13´´´ フィールド
14 背景
15 原点
16 間隙
17−21 エッジ
22 エッジを有さない記録画像の一部
Wij 重み付け値
i,j 記録画像の数
Claims (16)
- それぞれが対象物(10)の小領域を表す複数の記録画像(12)から、対象物(11)の全体像(10)を作成する方法であって、
前記全体像(10)がフィールド(13)に分割されていて、又は分割されることになり、
前記全体像(10)の前記フィールド(13)それぞれに前記複数の記録画像(12)の一部が割り当てられていて、又は割り当てられることになり、
前記複数の記録画像(12)は、先ず1つのフィールド(13)の前記複数の記録画像(12)が記録及び合成され、次いで記録された記録画像(12)を含む別のフィールド(13)が合成されるように、前記全体像(10)へと合成され、
前記記録画像(12)をフィールド(13)に合成するために、前記記録画像(12)それぞれの少なくとも2つのエッジ(17−21)が、前記記録画像(12)に隣り合う少なくとも2つの記録画像(12)の少なくとも1つのエッジ(17−21)とそれぞれ重複し、
前記記録画像(12)の前記それぞれの少なくとも2つのエッジ(17−21)が前記少なくとも1つのエッジ(17−21)とそれぞれ重複する重複画像領域(17−21)は互いに相関があり、
前記相関では、隣接する記録画像(12)同士の相対位置に重み付けがされる、
方法。 - 前記フィールド(13)のサイズは、プロセッサに直接アクセスできるメモリ(RAM)のサイズに適応する、請求項1に記載の方法。
- 前記記録画像(12)のフィールド(13)への合成に必要ではない前記記録画像(12)の部分(22)は圧縮保存される、請求項2に記載の方法。
- 前記記録画像(12)をフィールド(13)に合成した後で、前記フィールド(13)は、別のフィールド(13)への合成に必要な記録画像(12)の前記エッジ(17−21)を除き、ハードディスク等の別のメモリに保存される、請求項1から3のいずれか一項に記載の方法。
- 前記フィールド(13)は、前記別のメモリに圧縮されて保存される、請求項4に記載の方法。
- フィールド(13)を合成するために、近接するフィールドに配置された記録画像(12)の重複画像領域(17−21)は互いに相関があり、
前記相関では、近接する前記フィールド(13)の相対位置に重み付けがされる、
請求項1から5のいずれか一項に記載の方法。 - 記録画像(12)から前記フィールド(13)を作成及び合成する順番は自動的に決定される、請求項1から6のいずれか一項に記載の方法。
- 前記順番の判定基準は、区域(13)内における対象物(11)の存在、前記区域(13)と対象物(11)との領域の重複、作成及び合成された隣り合うフィールド(13)の数、及び/又は、前記フィールド(13)との合成が可能な隣り合うフィールド(13)の記録画像(12)の数である、請求項7に記載の方法。
- 記録画像(12)が作成され、前記記録画像(12)から成る第1のフィールド(13)は、最も広い領域を前記対象物に包含されていて、及び/又は、第1のフィールドは、前記フィールド(13)の領域に渡る総コントラストが最も強い、請求項7又は8に記載の方法。
- 前記フィールド(13)の前記記録画像(12)を記録する前に、1つのフィールド(13)の焦点が決定される、請求項1から9のいずれか一項に記載の方法。
- 前記焦点はいくつかの基準点にて決定され、前記基準点間で補間が行われる、請求項10に記載の方法。
- 前記複数の記録画像(12)は、デジタル記録画像である、請求項1から11のいずれか一項に記載の方法。
- 顕微鏡画像の作成方法であって、請求項1から12のいずれか一項に従って実行される方法。
- 請求項1から13に記載の方法を実行するために適応されたプログラムコード手段を有するコンピュータプログラム。
- コンピュータによって読み取ることが可能な、又は、データストリームとしてインターネットからダウンロード可能なデータキャリアに保存される、請求項14に記載のコンピュータプログラム。
- 請求項1から12のいずれか一項に記載の方法を実行するように構成されたコンピュータシステムを備える顕微鏡。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102013214318.4A DE102013214318A1 (de) | 2013-07-22 | 2013-07-22 | Verfahren zum Erstellen eines Mikroskopbildes |
DE102013214318.4 | 2013-07-22 | ||
PCT/EP2014/001865 WO2015010771A1 (de) | 2013-07-22 | 2014-07-07 | Verfahren zum erstellen eines mikroskopbildes und verfahren zum betreiben eines mikroskops |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016525258A JP2016525258A (ja) | 2016-08-22 |
JP6329262B2 true JP6329262B2 (ja) | 2018-05-23 |
Family
ID=51162698
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016528370A Active JP6329262B2 (ja) | 2013-07-22 | 2014-07-07 | 対象物の全体像の作成方法及び顕微鏡画像の作成方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US9779530B2 (ja) |
JP (1) | JP6329262B2 (ja) |
DE (1) | DE102013214318A1 (ja) |
GB (1) | GB2531189B (ja) |
WO (1) | WO2015010771A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102016110407A1 (de) * | 2016-06-06 | 2017-12-07 | Carl Zeiss Microscopy Gmbh | Digitales Mikroskop mit einem Objektiv und mit einem Bildsensor |
DE102016110988A1 (de) * | 2016-06-15 | 2017-12-21 | Sensovation Ag | Verfahren zum digitalen Aufnehmen einer Probe durch ein Mikroskop |
JP7128203B2 (ja) * | 2017-04-14 | 2022-08-30 | ヴェンタナ メディカル システムズ, インク. | スティッチングのための局所的タイルベースレジストレーションおよび大域的配置 |
WO2018231204A1 (en) * | 2017-06-13 | 2018-12-20 | Google Llc | Augmented reality microscope for pathology |
WO2022107435A1 (ja) * | 2020-11-20 | 2022-05-27 | コニカミノルタ株式会社 | 画像解析方法、画像解析システム及びプログラム |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4673988A (en) | 1985-04-22 | 1987-06-16 | E.I. Du Pont De Nemours And Company | Electronic mosaic imaging process |
US6272235B1 (en) * | 1997-03-03 | 2001-08-07 | Bacus Research Laboratories, Inc. | Method and apparatus for creating a virtual microscope slide |
US6330374B1 (en) * | 1998-11-13 | 2001-12-11 | Ricoh Company, Ltd. | Image manipulation for a digital copier which operates on a block basis |
US7256799B2 (en) * | 2001-09-12 | 2007-08-14 | Sanyo Electric Co., Ltd. | Image synthesizer, image synthesis method and computer readable recording medium having image synthesis processing program recorded thereon |
JP3717881B2 (ja) * | 2001-10-17 | 2005-11-16 | 三洋電機株式会社 | 画像合成方法 |
US20060133657A1 (en) * | 2004-08-18 | 2006-06-22 | Tripath Imaging, Inc. | Microscopy system having automatic and interactive modes for forming a magnified mosaic image and associated method |
DE102006034996A1 (de) * | 2006-07-28 | 2008-01-31 | Carl Zeiss Imaging Solutions Gmbh | Mikroskopbildverarbeitungsverfahren, Computer, Computerprogramm und Datenträger |
US8155452B2 (en) * | 2008-10-08 | 2012-04-10 | Harris Corporation | Image registration using rotation tolerant correlation method |
US8509565B2 (en) * | 2008-12-15 | 2013-08-13 | National Tsing Hua University | Optimal multi-resolution blending of confocal microscope images |
JP2011002341A (ja) * | 2009-06-18 | 2011-01-06 | Olympus Corp | 顕微鏡システム、標本観察方法およびプログラム |
JP4982544B2 (ja) * | 2009-09-30 | 2012-07-25 | 株式会社日立ハイテクノロジーズ | 合成画像形成方法及び画像形成装置 |
US9147250B2 (en) * | 2011-09-15 | 2015-09-29 | Siemens Aktiengesellschaft | System and method for automatic magnetic resonance volume composition and normalization |
WO2013052100A1 (en) * | 2011-10-03 | 2013-04-11 | International Electronic Machines Corporation | Brake component monitoring |
-
2013
- 2013-07-22 DE DE102013214318.4A patent/DE102013214318A1/de active Pending
-
2014
- 2014-07-07 JP JP2016528370A patent/JP6329262B2/ja active Active
- 2014-07-07 GB GB1600141.4A patent/GB2531189B/en active Active
- 2014-07-07 WO PCT/EP2014/001865 patent/WO2015010771A1/de active Application Filing
-
2016
- 2016-01-22 US US15/004,357 patent/US9779530B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
GB201600141D0 (en) | 2016-02-17 |
US20160140746A1 (en) | 2016-05-19 |
GB2531189B (en) | 2018-09-26 |
DE102013214318A1 (de) | 2015-01-22 |
JP2016525258A (ja) | 2016-08-22 |
US9779530B2 (en) | 2017-10-03 |
WO2015010771A1 (de) | 2015-01-29 |
GB2531189A (en) | 2016-04-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6329262B2 (ja) | 対象物の全体像の作成方法及び顕微鏡画像の作成方法 | |
JP7128203B2 (ja) | スティッチングのための局所的タイルベースレジストレーションおよび大域的配置 | |
US8126289B2 (en) | Device, method and system for automatic montage of segmented retinal images | |
US9607384B2 (en) | Optimal patch ranking for coordinate transform estimation of microscope images from sparse patch shift estimates | |
CN109737874A (zh) | 基于三维视觉技术的物体尺寸测量方法及装置 | |
CN107578376B (zh) | 基于特征点聚类四叉划分和局部变换矩阵的图像拼接方法 | |
JP6494294B2 (ja) | 画像処理装置、及び撮像システム | |
CN110223389B (zh) | 融合图像与激光数据的场景建模方法、系统、装置 | |
JP2005100407A (ja) | 複数のソース画像からパノラマ画像を作成するシステム及び方法 | |
US20130077892A1 (en) | Scan Order Optimization and Virtual Slide Stitching | |
US9704218B2 (en) | Image processing device and method, and program | |
US20220136979A1 (en) | Information processing apparatus, information processing method, and non- transitory computer-readable storage medium | |
US11200687B2 (en) | Image registration method, and image stitching method and apparatus | |
JP2014090401A (ja) | 撮像システム及びその制御方法 | |
JP6823719B2 (ja) | 画像合成方法、画像合成装置、及び記録媒体 | |
CN108648145B (zh) | 图像拼接方法及装置 | |
JP5541082B2 (ja) | 圃場管理支援装置、圃場管理支援プログラムおよび圃場管理支援方法 | |
JP4694624B2 (ja) | 画像補正装置及び方法、並びにコンピュータプログラム | |
WO2019085004A1 (zh) | 视频拼接装置及方法 | |
JP2023538706A (ja) | 歪み測定を行うための融合ベースのデジタル画像相関フレームワーク | |
RU2647645C1 (ru) | Способ устранения швов при создании панорамных изображений из видеопотока кадров в режиме реального времени | |
JP2004258775A (ja) | 光線空間データ処理方法、空間データ処理装置 | |
US9721371B2 (en) | Systems and methods for stitching metallographic and stereoscopic images | |
JP5051670B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP5364982B2 (ja) | 情報処理システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160810 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170626 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170725 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171020 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180327 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180419 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6329262 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |