JP7291808B2 - 画像処理システム、画像処理方法 - Google Patents
画像処理システム、画像処理方法 Download PDFInfo
- Publication number
- JP7291808B2 JP7291808B2 JP2021571069A JP2021571069A JP7291808B2 JP 7291808 B2 JP7291808 B2 JP 7291808B2 JP 2021571069 A JP2021571069 A JP 2021571069A JP 2021571069 A JP2021571069 A JP 2021571069A JP 7291808 B2 JP7291808 B2 JP 7291808B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- processing system
- image processing
- identification range
- setting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 111
- 238000003672 processing method Methods 0.000 title claims description 3
- 230000008859 change Effects 0.000 claims description 20
- 238000003384 imaging method Methods 0.000 claims description 14
- 230000003252 repetitive effect Effects 0.000 claims 1
- 230000001131 transforming effect Effects 0.000 claims 1
- 238000000034 method Methods 0.000 description 32
- 230000003287 optical effect Effects 0.000 description 30
- 238000010586 diagram Methods 0.000 description 26
- 230000010354 integration Effects 0.000 description 13
- 238000006243 chemical reaction Methods 0.000 description 12
- 206010036618 Premenstrual syndrome Diseases 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 238000003825 pressing Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000005562 fading Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000013213 extrapolation Methods 0.000 description 1
- 239000007850 fluorescent dye Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/407—Control or modification of tonal gradation or of extreme levels, e.g. background level
- H04N1/4072—Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original
- H04N1/4074—Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original using histograms
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/008—Details of detection or image processing, including general computer control
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/368—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements details of associated display arrangements, e.g. mounting of LCD monitor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Description
本開示の一態様に係る画像処理方法は、設定画面を表示部に表示することと、第1画像が変換された第2画像を前記表示部に表示することと、を含み、前記設定画面は、識別すべき階調の範囲である識別範囲を前記第1画像の階調分布に基づいて設定する画面であり、前記第1画像は、PPD(Pixelated Photon Detector)で検出された光の強度信号とスキャナによる走査位置とに基づいて生成され、前記第2画像は、少なくとも前記識別範囲に基づいて前記第1画像が変換された画像であり、さらに、前記第2画像は、前記識別範囲を有する入力階調範囲と、前記第2画像を構成する各画素のビット数により算出され出力階調範囲とを対応付けた情報に基づいて前記第1画像が変換された画像である。
図3は、画像処理システム1が行う本実施形態に係る処理のフローチャートである。図4は、設定画面の一例を示した図である。図5は、LUTの入力階調と出力階調の関係の一例を示した図である。図6は、推奨値を算出するための情報を入力する画面の一例を示した図である。図7は、ヒストグラムから識別範囲を算出する方法の一例を説明するための図である。図8は、無効画素を設定するための情報を入力する画面の一例を示した図である。図9は、ヒストグラムの更新方法の一例を説明するための図である。図10は、スキャン設定画面の一例を示した図である。図11は、スキャナの切り替え方法の一例を説明するための図である。以下、図3から図11を参照しながら、画像処理システム1が行う本実施形態に係る処理について説明する。
MAXA=(MAXB-BGB)×(PITA/PITB)×(GDA/GDB)×(GA/GB)+BGA
図13は、画像処理システム1が行う本実施形態に係る処理のフローチャートである。図14は、Z位置毎の識別範囲を設定する画面の一例を示した図である。図15は、画像と識別範囲の保存方法の一例を説明するための図である。以下、図13から図15を参照しながら、画像処理システム1が行う本実施形態に係る処理について説明する。
変換後の強度=(変換前の強度-MinZ)×(Max-Min)/(MaxZ-MinZ)+Min
10 コンピュータ
11 プロセッサ
12 メモリ
13 LUT
20 表示装置
21~26 画面
30 入力装置
100 光学機器
105 スキャンユニット
107 レーザ
109 共焦点絞り
111 PPD
115 ガルバノスキャナ
116 レゾナントスキャナ
117 リフレクタ
Claims (20)
- スキャナと、
PPD(Pixelated Photon Detector)と、
少なくとも1つのプロセッサと、を備え、
前記少なくとも1つのプロセッサは、
識別すべき階調の範囲である識別範囲を第1画像の階調分布に基づいて設定する設定画面を表示部に表示し、
少なくとも前記識別範囲に基づいて前記第1画像が変換された第2画像を前記表示部に表示する、ように構成され、
前記第1画像は、前記PPDで検出された光の強度信号と前記スキャナによる走査位置とに基づいて生成され、
前記少なくとも1つのプロセッサは、前記識別範囲を有する入力階調範囲と、前記第2画像を構成する各画素のビット数により算出される出力階調範囲と、を対応付けた情報に基づいて、前記第1画像を前記第2画像に変換する、ように構成される
ことを特徴とする画像処理システム。 - 請求項1に記載の画像処理システムにおいて、
前記設定画面は、
前記識別範囲の上限を設定する上限領域と、
前記識別範囲の下限を設定する下限領域と、を含む
ことを特徴とする画像処理システム。 - 請求項2に記載の画像処理システムにおいて、
前記少なくとも1つのプロセッサは、
前記上限領域に前記識別範囲の上限の初期値を表示し、
前記下限領域に前記識別範囲の下限の初期値を表示する、ように構成される
ことを特徴とする画像処理システム。 - 請求項3に記載の画像処理システムにおいて、
前記少なくとも1つのプロセッサは、
光電子増倍管(PMT:Photo multiplier tube)を含む画像処理システムを使用する場合に利用者が望む画像のコントラストを得るために前記PMTに加えるであろう電圧を取得し、
前記電圧が加えられた前記PMTで検出可能なフォトン数を推定し、
前記フォトン数のフォトンが前記PPDに入射した場合に前記PPDから出力される強度信号に対応する階調を、前記上限領域に、前記上限の初期値として表示する、ように構成される
ことを特徴とする画像処理システム。 - 請求項3に記載の画像処理システムにおいて、
前記少なくとも1つのプロセッサは、
検出すべきフォトン数を取得し、
前記フォトン数のフォトンが前記PPDに入射した場合に前記PPDから出力される強度信号に対応する階調を、前記上限領域に、前記上限の初期値として表示する、ように構成される
ことを特徴とする画像処理システム。 - 請求項1に記載の画像処理システムにおいて、
前記設定画面は、
前記識別範囲を設定する識別範囲領域と、
前記識別範囲領域に近接して配置された、前記第2画像を調整する調整領域と、を含む
ことを特徴とする画像処理システム。 - 請求項6に記載の画像処理システムにおいて、
前記調整領域は、光源の出力を設定する領域、前記強度信号のオフセットを設定する領域、又は、デジタルゲインを設定する領域、の少なくとも1つを含む
ことを特徴とする画像処理システム。 - 請求項1に記載の画像処理システムにおいて、
前記設定画面は、
前記識別範囲を設定する第1スライダを含む識別範囲領域と、
前記識別範囲領域に近接して配置された、光源の出力を設定する第2スライダを含む光源出力領域と、を含み、
前記第2画像のコントラストが高くなる前記第1スライダの移動方向と、前記第2画像のコントラストが高くなる前記第2スライダの移動方向とが、一致する
ことを特徴とする画像処理システム。 - 請求項1乃至請求項8のいずれか1項に記載の画像処理システムにおいて、
前記少なくとも1つのプロセッサは、前記識別範囲の自動設定が有効な場合に、
少なくとも前記第1画像に基づいて前記識別範囲を設定する、ように構成される
ことを特徴とする画像処理システム。 - 請求項9に記載の画像処理システムにおいて、
前記少なくとも1つのプロセッサは、
前記第1画像を構成する画素の階調のヒストグラムを算出し、
少なくとも前記ヒストグラムに基づいて前記識別範囲を設定する、ように構成される
ことを特徴とする画像処理システム。 - 請求項10に記載の画像処理システムにおいて、
前記少なくとも1つのプロセッサは、
無効とする画素の割合を取得し、
前記ヒストグラムの端部から前記割合に対応する個数の画素のデータを除外する、ように構成される
ことを特徴とする画像処理システム。 - 請求項10又は請求項11に記載の画像処理システムにおいて、
前記少なくとも1つのプロセッサは、前記スキャナが繰り返し走査している期間中、強度信号を含むパケットを受信する毎に、1フレーム相当の強度信号に基づいて、前記ヒストグラムを更新する
ことを特徴とする画像処理システム。 - 請求項12に記載の画像処理システムにおいて、
前記少なくとも1つのプロセッサは、前記パケットに含まれる強度信号が1フレーム相当のデータに満たない場合には、各ラインの最新の強度信号からなる1フレーム相当の強度信号に基づいて、前記ヒストグラムを更新する
ことを特徴とする画像処理システム。 - 請求項12に記載の画像処理システムにおいて、
前記少なくとも1つのプロセッサは、前記パケットに1フレーム以上の強度信号が含まれるには、前記パケットに含まれる最新のフレームの強度信号に基づいて、前記ヒストグラムを更新する
ことを特徴とする画像処理システム。 - 請求項9乃至請求項14のいずれか1項に記載の画像処理システムにおいて、
前記設定画面は、
前記識別範囲を手動で設定する識別範囲領域と、
前記識別範囲領域に近接して配置された、前記識別範囲の手動設定と自動設定とを切り替える切替領域と、を含む
ことを特徴とする画像処理システム。 - 請求項1乃至請求項15のいずれか1項に記載の画像処理システムにおいて、
前記少なくとも1つのプロセッサは、少なくとも2つの異なる深さに対して設定された複数の識別範囲に基づいて、深さ毎の識別範囲を設定する
ことを特徴とする画像処理システム。 - 請求項16に記載の画像処理システムにおいて、
前記少なくとも1つのプロセッサは、前記複数の識別範囲に基づいて線形補間により深さ毎の識別範囲を設定する
ことを特徴とする画像処理システム。 - 請求項1乃至請求項17のいずれか1項に記載の画像処理システムにおいて、さらに、
前記第1画像と前記第2画像の少なくとも一方を、前記識別範囲と関連付けて記憶するメモリを備える
ことを特徴とする画像処理システム。 - 請求項1乃至請求項18のいずれか1項に記載の画像処理システムにおいて、
前記少なくとも1つのプロセッサは、1画素当たりの露光時間が変更された場合に、少なくとも変更前後の露光時間に基づいて、前記識別範囲を補正する
ことを特徴とする画像処理システム。 - 設定画面を表示部に表示することと、
第1画像が変換された第2画像を前記表示部に表示することと、を含み、
前記設定画面は識別すべき階調の範囲である識別範囲を前記第1画像の階調分布に基づいて設定する画面であり、
前記第1画像は、PPD(Pixelated Photon Detector)で検出された光の強度信号とスキャナによる走査位置とに基づいて生成され、
前記第2画像は、少なくとも前記識別範囲に基づいて前記第1画像が変換された画像であり、
さらに、前記第2画像は、前記識別範囲を有する入力階調範囲と、前記第2画像を構成する各画素のビット数により算出され出力階調範囲とを対応付けた情報に基づいて前記第1画像が変換された画像である
ことを特徴とする画像処理方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2020/000814 WO2021144830A1 (ja) | 2020-01-14 | 2020-01-14 | 画像処理システム |
Publications (3)
Publication Number | Publication Date |
---|---|
JPWO2021144830A1 JPWO2021144830A1 (ja) | 2021-07-22 |
JPWO2021144830A5 JPWO2021144830A5 (ja) | 2022-08-22 |
JP7291808B2 true JP7291808B2 (ja) | 2023-06-15 |
Family
ID=76863916
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021571069A Active JP7291808B2 (ja) | 2020-01-14 | 2020-01-14 | 画像処理システム、画像処理方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11900574B2 (ja) |
JP (1) | JP7291808B2 (ja) |
WO (1) | WO2021144830A1 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011100204A (ja) | 2009-11-04 | 2011-05-19 | Seiko Epson Corp | 画像処理装置、画像処理方法、画像処理プログラム、撮像装置及び電子機器 |
JP2011205347A (ja) | 2010-03-25 | 2011-10-13 | Nikon Corp | 画像表示装置およびプログラム |
JP2016001227A (ja) | 2014-06-11 | 2016-01-07 | オリンパス株式会社 | レーザ顕微鏡装置 |
JP2016018309A (ja) | 2014-07-07 | 2016-02-01 | キヤノン株式会社 | 画像処理装置、画像処理方法、及び、プログラム |
JP2016143030A (ja) | 2015-02-05 | 2016-08-08 | オリンパス株式会社 | レーザ顕微鏡装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10795144B2 (en) * | 2014-12-06 | 2020-10-06 | Howard Hughes Medical Institute | Microscopy with structured plane illumination and point accumulation for imaging and nanoscale topography |
DE102014119300A1 (de) | 2014-12-19 | 2016-06-23 | Leica Microsystems Cms Gmbh | Verfahren zum Erhöhen des dynamischen Bereichs eines Silizium-Photomultipliers (SiPM) |
-
2020
- 2020-01-14 JP JP2021571069A patent/JP7291808B2/ja active Active
- 2020-01-14 WO PCT/JP2020/000814 patent/WO2021144830A1/ja active Application Filing
-
2022
- 2022-07-05 US US17/857,562 patent/US11900574B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011100204A (ja) | 2009-11-04 | 2011-05-19 | Seiko Epson Corp | 画像処理装置、画像処理方法、画像処理プログラム、撮像装置及び電子機器 |
JP2011205347A (ja) | 2010-03-25 | 2011-10-13 | Nikon Corp | 画像表示装置およびプログラム |
JP2016001227A (ja) | 2014-06-11 | 2016-01-07 | オリンパス株式会社 | レーザ顕微鏡装置 |
JP2016018309A (ja) | 2014-07-07 | 2016-02-01 | キヤノン株式会社 | 画像処理装置、画像処理方法、及び、プログラム |
JP2016143030A (ja) | 2015-02-05 | 2016-08-08 | オリンパス株式会社 | レーザ顕微鏡装置 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2021144830A1 (ja) | 2021-07-22 |
WO2021144830A1 (ja) | 2021-07-22 |
US20220335582A1 (en) | 2022-10-20 |
US11900574B2 (en) | 2024-02-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10718715B2 (en) | Microscopy system, microscopy method, and computer-readable storage medium | |
JP2012237693A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP4865271B2 (ja) | 共焦点走査型顕微鏡 | |
JP2015082088A (ja) | レーザ走査型顕微鏡システムおよびレーザ光強度設定方法 | |
JP7291808B2 (ja) | 画像処理システム、画像処理方法 | |
JP2018194780A (ja) | 顕微鏡システム、制御方法、及び、プログラム | |
JP2000275541A (ja) | レーザ顕微鏡 | |
JP6479178B2 (ja) | 画像処理装置、撮像装置、顕微鏡システム、画像処理方法、及び画像処理プログラム | |
US9373158B2 (en) | Method for reducing image artifacts produced by a CMOS camera | |
JP4542302B2 (ja) | 共焦点顕微鏡システム | |
JP2010161664A (ja) | 顕微鏡撮影システム、画像入力装置、自動露出方法及びプログラム | |
JP2013148856A (ja) | 撮像装置、表示画面生成装置、撮像システム、及びその制御方法 | |
JP2010262104A (ja) | 走査型共焦点顕微鏡 | |
JPH11296680A (ja) | コントラスト改善機能を有する画像処理装置及び荷電粒子線装置 | |
JP4493453B2 (ja) | 光検出回路および該光検出回路を備えた走査型共焦点顕微鏡 | |
JP3783790B2 (ja) | レーザー顕微鏡 | |
JP4185712B2 (ja) | カラー顕微鏡 | |
JP4812276B2 (ja) | 光検出回路および該光検出回路を備えたレーザ顕微鏡 | |
JP2011112780A (ja) | 走査型顕微鏡 | |
JP2004343358A (ja) | 画像処理システム、画像処理制御方法、及びプログラム | |
JP2005291720A (ja) | 蛍光検出装置、濃淡情報補正方法および濃淡情報補正プログラム | |
JP6523992B2 (ja) | 画像取得方法、画像取得装置及び走査型顕微鏡 | |
JP7369801B2 (ja) | 顕微鏡システム、設定探索方法、及び、プログラム | |
JP4044914B2 (ja) | 走査顕微鏡 | |
JP2018097048A (ja) | 検出装置および顕微鏡システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220624 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220624 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220908 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20220908 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20220908 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221005 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230418 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230511 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230523 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230605 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7291808 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |