JP6742863B2 - 顕微鏡画像処理装置、方法およびプログラム - Google Patents
顕微鏡画像処理装置、方法およびプログラム Download PDFInfo
- Publication number
- JP6742863B2 JP6742863B2 JP2016171455A JP2016171455A JP6742863B2 JP 6742863 B2 JP6742863 B2 JP 6742863B2 JP 2016171455 A JP2016171455 A JP 2016171455A JP 2016171455 A JP2016171455 A JP 2016171455A JP 6742863 B2 JP6742863 B2 JP 6742863B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- photographed
- area
- pixel
- microscope
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001000 micrograph Methods 0.000 title claims description 42
- 238000000034 method Methods 0.000 title description 12
- 239000002131 composite material Substances 0.000 claims description 26
- 238000003672 processing method Methods 0.000 claims description 12
- 230000002194 synthesizing effect Effects 0.000 claims description 11
- 230000002093 peripheral effect Effects 0.000 claims description 6
- 230000000903 blocking effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20216—Image averaging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Optics & Photonics (AREA)
- Microscoopes, Condenser (AREA)
- Image Processing (AREA)
Description
この顕微鏡システムを用いて、試料の全体ではなくユーザの興味範囲のみを撮影して貼り合わせを行う場合に、全画像範囲の一部に興味範囲の部分画像のみがモザイク状に貼り合わせられた貼り合わせ画像が生成される。
本発明の一態様は、試料に対して視野を変更しながら顕微鏡により取得された複数枚の部分画像を貼り合わせて撮影済領域画像を生成する撮影済領域画像生成部と、該撮影済領域画像生成部により生成される前記撮影済領域画像の縁部に位置する前記部分画像の少なくとも1辺の画素列の画素値に基づいて、未撮影領域の画素値を設定する未撮影領域色設定部と、前記撮影済領域画像生成部により生成された前記撮影済領域画像と、前記未撮影領域色設定部により設定された画素値を有する未撮影領域画像とを合成して合成画像を生成する画像合成部とを備える顕微鏡画像処理装置を提供する。
その結果、部分画像の取得時におけるホワイトバランスや遮光が適正に行われていない場合でも、撮影済領域画像と未撮影領域との境目が目立たない合成画像を生成することができる。
このようにすることで、試料の外周縁の外側を取り囲むように設定されることが多い合成画像の4辺に位置する画素列の画素値から未撮影画像の画素値を設定することができ、撮影済領域画像と未撮影領域との境目が目立たない合成画像を生成することができる。
このようにすることで、試料の外周縁の外側を取り囲むように設定されることが多い撮影済領域画像の全周に位置する画素列の画素値から未撮影画像の画素値を設定することができ、撮影済領域画像と未撮影領域との境目が目立たない合成画像を生成することができる。
このようにすることで、試料の外周縁の外側を取り囲むように設定されることが多い合成画像の内、試料の外側の背景色を含む可能性が最も高い合成画像の4隅に位置する部分画像の周縁の画素列の画素値から未撮影画像の画素値を設定することができ、撮影済領域画像と未撮影領域との境目が目立たない合成画像を生成することができる。
このようにすることで、未撮影領域画像の縁部に存在する可能性が高い背景色をより確実に取り出して未設定領域の画素値に設定し、撮影済領域画像と未撮影領域との境目が目立たない合成画像を生成することができる。
このようにすることで、画素値の最小値と最大値との差分が最も小さい画素列は、試料の周囲の背景色が多く含まれていると考えることができ、その画素値の平均値および最頻値によって背景色を構成する画素値をより正確に取り出すことができる。
本実施形態に係る顕微鏡画像処理装置1は、図1に示されるように、顕微鏡100に接続されている。顕微鏡画像処理装置1には、ユーザが顕微鏡100を操作することにより、ステージ110上の試料Xと対物レンズ120とを水平方向に相対的に移動させて、試料Xに対する視野を変更しながら顕微鏡100により取得された試料Xの複数枚の部分画像が入力されるようになっている。
ここで、顕微鏡画像処理装置1を構成するハードウェアとしては、例えば汎用コンピュータまたはパーソナルコンピュータ等のようにコンピュータプログラムによって作動する汎用的な処理装置を用いることができる。
本実施形態に係る顕微鏡画像処理方法は、図4に示されるように、撮影済領域画像生成部2において、顕微鏡100により取得された複数枚の部分画像を貼り合わせて撮影済領域画像を生成する撮影済領域画像生成ステップS1と、該撮影済領域画像生成ステップS1により生成される撮影済領域画像の全周にわたる最外縁部に位置する画素列の画素値に基づいて、未撮影領域画像生成部3により未撮影領域画像を生成する未撮影領域画像生成ステップ(未撮影領域色設定ステップ)S2と、撮影済領域画像生成ステップS1により生成された撮影済領域画像と未撮影領域画像生成ステップS2により生成された未撮影領域画像とを画像合成部4において合成して合成画像を生成する画像合成ステップS3とを含んでいる。
また、上述した図3、図6から図8の画素列における最小値と最大値との差分が最も小さい画素列の画素値の最頻値あるいは平均値を未撮影領域画像の画素値として設定することにしてもよい。差分が最も小さい場合に、背景色のみが含まれていると考えることができ、背景色に最も近い色に未撮影領域画像の色を設定できて、境界を目立たなくすることができる。
他の設定方法と組み合わせた場合のフローチャートを図9に示す。
まず、背景領域を指定するか否かの判定がなされる(ステップS10)。例えば、図10に示されるように、試料Xの部分画像を取得する前の事前設定において、「撮影前に背景領域を指定する」のチェックボックスにチェックを入れておくことにより、図11の操作画面がディスプレイに表示される。
プルダウンメニューには、「観察方法不指定」、「明視野観察」、「位相差観察」、「暗視野または蛍光観察」および「その他」のメニュー項目が表示され、ユーザがいずれかのメニュー項目を選択することができる。
2 撮影済領域画像生成部
3 未撮影領域画像生成部(未撮影領域色設定部)
4 画像合成部
100 顕微鏡
X 試料
S1 撮影済領域画像生成ステップ
S2 未撮影領域画像生成ステップ(未撮影領域色設定ステップ)
S3 画像合成ステップ
Claims (8)
- 試料に対して視野を変更しながら顕微鏡により取得された複数枚の部分画像を貼り合わせて撮影済領域画像を生成する撮影済領域画像生成部と、
該撮影済領域画像生成部により生成される前記撮影済領域画像の縁部に位置する前記部分画像の少なくとも1辺の画素列の画素値に基づいて、未撮影領域の画素値を設定する未撮影領域色設定部と、
前記撮影済領域画像生成部により生成された前記撮影済領域画像と、前記未撮影領域色設定部により設定された画素値を有する未撮影領域画像とを合成して合成画像を生成する画像合成部とを備える顕微鏡画像処理装置。 - 前記未撮影領域色設定部が、前記合成画像の4辺に位置する前記画素列の画素値に基づいて、前記未撮影領域の画素値を設定する請求項1に記載の顕微鏡画像処理装置。
- 前記未撮影領域色設定部が、前記撮影済領域画像の全周に位置する前記画素列の画素値に基づいて、前記未撮影領域の画素値を設定する請求項1に記載の顕微鏡画像処理装置。
- 前記未撮影領域色設定部が、前記合成画像の4隅に位置する前記部分画像の周縁に位置する前記画素列の画素値に基づいて、前記未撮影領域の画素値を設定する請求項1または請求項2に記載の顕微鏡画像処理装置。
- 前記未撮影領域色設定部が、前記画素列の画素値の平均値または最頻値に、前記未撮影領域の画素値を設定する請求項1から請求項4のいずれかに記載の顕微鏡画像処理装置。
- 前記未撮影領域色設定部が、前記合成画像の4辺に位置する前記画素列、前記撮影済領域画像の全周に位置する前記画素列、または、前記合成画像の4隅に位置する前記部分画像の周縁に位置する前記画素列の画素値の最小値と最大値との差分が最も小さい前記画素列の画素値の平均値または最頻値に、前記未撮影領域の画素値を設定する請求項1に記載の顕微鏡画像処理装置。
- 試料に対して視野を変更しながら顕微鏡により取得された複数枚の部分画像を貼り合わせて撮影済領域画像を生成する撮影済領域画像生成ステップと、
該撮影済領域画像生成ステップにより生成される前記撮影済領域画像の縁部に位置する前記部分画像の少なくとも1辺の画素列の画素値に基づいて、未撮影領域の画素値を設定する未撮影領域色設定ステップと、
前記撮影済領域画像生成ステップにより生成された前記撮影済領域画像と、前記未撮影領域色設定ステップにより設定された画素値を有する未撮影領域画像とを合成して合成画像を生成する画像合成ステップとを含む顕微鏡画像処理方法。 - 試料に対して視野を変更しながら顕微鏡により取得された複数枚の部分画像を貼り合わせて撮影済領域画像を生成する撮影済領域画像生成ステップと、
該撮影済領域画像生成ステップにより生成される前記撮影済領域画像の縁部に位置する前記部分画像の少なくとも1辺の画素列の画素値に基づいて、未撮影領域の画素値を設定する未撮影領域色設定ステップと、
前記撮影済領域画像生成ステップにより生成された前記撮影済領域画像と、前記未撮影領域色設定ステップにより設定された画素値を有する未撮影領域画像とを合成して合成画像を生成する画像合成ステップとをコンピュータに実行させる顕微鏡画像処理プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016171455A JP6742863B2 (ja) | 2016-09-02 | 2016-09-02 | 顕微鏡画像処理装置、方法およびプログラム |
EP17173693.7A EP3291171A1 (en) | 2016-09-02 | 2017-05-31 | Microscope-image processing apparatus, microscope-image processing method, and microscope-image processing program |
US15/689,362 US10386624B2 (en) | 2016-09-02 | 2017-08-29 | Microscope-image processing apparatus, microscope-image processing method, and microscope-image processing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016171455A JP6742863B2 (ja) | 2016-09-02 | 2016-09-02 | 顕微鏡画像処理装置、方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018036579A JP2018036579A (ja) | 2018-03-08 |
JP6742863B2 true JP6742863B2 (ja) | 2020-08-19 |
Family
ID=59093345
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016171455A Active JP6742863B2 (ja) | 2016-09-02 | 2016-09-02 | 顕微鏡画像処理装置、方法およびプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US10386624B2 (ja) |
EP (1) | EP3291171A1 (ja) |
JP (1) | JP6742863B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018066845A (ja) * | 2016-10-19 | 2018-04-26 | オリンパス株式会社 | 顕微鏡システム |
CN109035186B (zh) * | 2018-07-06 | 2021-03-26 | 电子科技大学中山学院 | 基于并行随机采样与传播的地形非特征区域合成方法、装置和电子设备 |
DE102019113540A1 (de) * | 2019-05-21 | 2020-11-26 | Carl Zeiss Microscopy Gmbh | Lichtmikroskop mit automatischer Fokussierung |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050037406A1 (en) * | 2002-06-12 | 2005-02-17 | De La Torre-Bueno Jose | Methods and apparatus for analysis of a biological specimen |
JP2004101871A (ja) * | 2002-09-10 | 2004-04-02 | Olympus Corp | 顕微鏡画像撮影装置 |
US8396269B2 (en) | 2010-04-08 | 2013-03-12 | Digital Pathco LLC | Image quality assessment including comparison of overlapped margins |
JP2013020475A (ja) * | 2011-07-12 | 2013-01-31 | Sony Corp | 情報処理装置、情報処理方法、及びプログラム |
JP6173032B2 (ja) | 2013-05-16 | 2017-08-02 | オリンパス株式会社 | 顕微鏡システム |
JP2015035782A (ja) | 2013-08-09 | 2015-02-19 | オリンパス株式会社 | 画像処理装置、撮像装置、顕微鏡システム、画像処理方法及び画像処理プログラム |
JP6355346B2 (ja) * | 2014-01-29 | 2018-07-11 | キヤノン株式会社 | 画像処理装置、画像処理方法、プログラム、及び記憶媒体 |
-
2016
- 2016-09-02 JP JP2016171455A patent/JP6742863B2/ja active Active
-
2017
- 2017-05-31 EP EP17173693.7A patent/EP3291171A1/en not_active Withdrawn
- 2017-08-29 US US15/689,362 patent/US10386624B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
EP3291171A1 (en) | 2018-03-07 |
US10386624B2 (en) | 2019-08-20 |
US20180067297A1 (en) | 2018-03-08 |
JP2018036579A (ja) | 2018-03-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6711396B2 (ja) | 画像処理装置、撮像装置、および画像処理方法、並びにプログラム | |
TWI423165B (zh) | 影像處理裝置、影像處理方法及記憶媒體 | |
US9367896B2 (en) | System and method for single-frame based super resolution interpolation for digital cameras | |
JP6720881B2 (ja) | 画像処理装置及び画像処理方法 | |
CN113632134B (zh) | 用于生成高动态范围图像的方法、计算机可读存储介质和hdr相机 | |
JP6742863B2 (ja) | 顕微鏡画像処理装置、方法およびプログラム | |
JP6611531B2 (ja) | 画像処理装置、画像処理装置の制御方法、およびプログラム | |
JP5212046B2 (ja) | デジタルカメラおよび画像処理装置並びに画像処理プログラム | |
JP6929711B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム | |
US8537266B2 (en) | Apparatus for processing digital image and method of controlling the same | |
JP2014147047A (ja) | 画像処理装置、方法、及びプログラム、並びに撮像装置 | |
JP5458906B2 (ja) | 画像処理装置 | |
JP2019004281A (ja) | 画像処理装置 | |
JP6436840B2 (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
JP2010154390A (ja) | 撮像装置及び撮像方法並びにプログラム | |
KR101714641B1 (ko) | 이미지의 선명도 증강이 가능한 카메라, 이미지의 선명도 증강방법 및 그 기록매체 | |
JP2017195457A (ja) | 撮像装置及び撮像方法 | |
JP6627418B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
KR101612437B1 (ko) | 촬영 영상 처리 장치 및 방법 | |
JP5295289B2 (ja) | 撮像装置及びその制御方法 | |
JP2018182550A (ja) | 画像処理装置 | |
JP5412791B2 (ja) | デジタルカメラ、および画像処理プログラム | |
JP5926039B2 (ja) | 画像記録装置 | |
JP2012213075A (ja) | 画像処理装置及び画像処理プログラム | |
JP5976422B2 (ja) | 電子カメラ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190829 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200629 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200714 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200729 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6742863 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |