JP6102749B2 - 情報処理装置、撮像制御方法、プログラム、デジタル顕微鏡システム、表示制御装置、表示制御方法及びプログラム - Google Patents
情報処理装置、撮像制御方法、プログラム、デジタル顕微鏡システム、表示制御装置、表示制御方法及びプログラム Download PDFInfo
- Publication number
- JP6102749B2 JP6102749B2 JP2013553213A JP2013553213A JP6102749B2 JP 6102749 B2 JP6102749 B2 JP 6102749B2 JP 2013553213 A JP2013553213 A JP 2013553213A JP 2013553213 A JP2013553213 A JP 2013553213A JP 6102749 B2 JP6102749 B2 JP 6102749B2
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- image
- failure
- detection unit
- digital microscope
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 483
- 238000000034 method Methods 0.000 title claims description 57
- 230000010365 information processing Effects 0.000 title claims description 42
- 238000001514 detection method Methods 0.000 claims description 149
- 239000002131 composite material Substances 0.000 claims description 103
- 238000012545 processing Methods 0.000 claims description 23
- 238000003475 lamination Methods 0.000 claims description 3
- 238000010030 laminating Methods 0.000 claims 2
- 238000004519 manufacturing process Methods 0.000 claims 1
- 239000000523 sample Substances 0.000 description 47
- 230000008569 process Effects 0.000 description 45
- 238000004891 communication Methods 0.000 description 41
- 238000012854 evaluation process Methods 0.000 description 21
- 230000007547 defect Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 16
- 230000002093 peripheral effect Effects 0.000 description 16
- 239000012472 biological sample Substances 0.000 description 14
- 238000003860 storage Methods 0.000 description 12
- 230000008859 change Effects 0.000 description 8
- 238000011156 evaluation Methods 0.000 description 8
- 238000005286 illumination Methods 0.000 description 8
- 230000004044 response Effects 0.000 description 8
- 238000012552 review Methods 0.000 description 5
- 238000012790 confirmation Methods 0.000 description 4
- 238000010827 pathological analysis Methods 0.000 description 4
- 238000002360 preparation method Methods 0.000 description 4
- 238000004904 shortening Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Optics & Photonics (AREA)
- Microscoopes, Condenser (AREA)
- Studio Devices (AREA)
- Image Input (AREA)
- Image Processing (AREA)
Description
1.デジタル顕微鏡システムの概略的な構成
2.第1の実施形態
2.1.スキャナの構成
2.2.サーバの構成
2.3.ビューアの構成
2.4.処理の流れ
3.第2の実施形態
3.1.スキャナの構成
3.2.サーバの構成
3.3.処理の流れ
4.まとめ
まず、図1を参照して、本開示の実施形態に係るデジタル顕微鏡システム1の概略的な構成について説明する。図1は、本開示の実施形態に係るデジタル顕微鏡システム1の概略的な構成の一例を示す説明図である。図1を参照すると、デジタル顕微鏡システム1は、スキャナ100、サーバ200及びビューア300を含む。
まず、本開示の第1の実施形態を説明する。本開示の第1の実施形態によれば、スキャナ100において、再撮像を要する失敗が自動的に検出され、当該失敗に応じた再撮像が行われる。
図2〜図6を参照して、第1の実施形態に係るスキャナ100−1の構成の一例について説明する。図2は、第1の実施形態に係るスキャナ100−1の構成の一例を示すブロック図である。図2を参照すると、スキャナ100−1は、撮像制御部110、デジタル顕微鏡120、貼り合せ部130、失敗検出部140、設定情報生成部150及び通信部160を備える。
撮像制御部110は、デジタル顕微鏡120を用いた撮像を制御する。例えば、撮像制御部110は、ユーザにより指定され、又は自動的に決定される撮像条件をデジタル顕微鏡120に設定し、当該撮像条件に従ってデジタル顕微鏡120にサンプルの画像を撮像させる。撮像制御部110は、例えば、サンプル全体の撮像条件として、撮像領域、撮像順、照明の明るさ及びホワイトバランスの係数等を設定する。また、撮像制御部110は、例えば、個別領域ごとの撮像条件として、フォーカス位置を設定する。
デジタル顕微鏡120は、撮像制御部110により設定された撮像条件に従って画像を撮像する。例えば、デジタル顕微鏡120は、設定された撮影順に従って、設定された撮像領域内の各個別領域を映す画像(以下、「個別画像」と呼ぶ)を撮像する。以下、この点について図3を参照してより具体的に説明する。
貼り合せ部130は、デジタル顕微鏡120により撮像された個別画像を貼り合せることにより、貼り合せ画像を生成する。以下、この点について図4を参照してより具体的に説明する。
失敗検出部140は、デジタル顕微鏡120を用いて撮像される画像を評価することにより、当該画像に関連する再撮像を要する失敗を検出する。ここでの「画像を評価する」とは、個別画像の各々を評価すること、及び、個別画像から構成される貼り合せ画像を評価することを含む。以下に、具体的な失敗検出の第1〜第5の例を用いて、失敗検出部140による失敗の検出について説明する。なお、失敗検出の第1の例及び第2の例では、失敗検出部140は、上記失敗として、複数の個別画像を貼り合せることにより生成される貼り合せ画像に関連する失敗を検出する。
設定情報生成部150は、失敗検出部140により失敗が検出された場合に、再撮像の際の撮像条件を設定するための設定情報を生成する。以下に、上記失敗検出の第1〜第5の例を用いて、設定情報生成部150による設定情報の生成について説明する。
以上のように、失敗検出部140により、再撮像を要する失敗が検出され、設定情報生成部150により、当該失敗に応じた設定情報が生成される。一方、例えば、撮像制御部110は、失敗検出部140により検出される上記失敗の種類に応じて、デジタル顕微鏡120に個々の個別画像を再撮像させるか複数の個別画像の全体を再撮像させるかを判定する。即ち、部分的な再撮像又は全体的な再撮像のいずれを行うかが判定される。例えば、撮像制御部110は、以下のような判定を行う。
通信部160は、サーバ200−1及びビューア300と通信する。例えば、通信部160は、貼り合せ部130からの貼り合せ画像をサーバ200−1及びビューア300に送信する。また、通信部160は、撮像制御部110からの撮像条件情報をサーバ200−1及びビューア300に送信する。また、設定情報生成部150からの設定情報をビューア300に送信する。
図7を参照して、第1の実施形態に係るサーバ200−1の構成の一例について説明する。図7は、第1の実施形態に係るサーバ200−1の構成の一例を示すブロック図である。図7を参照すると、サーバ200−1は、通信部210、記憶部220及び制御部230を備える。
通信部210は、スキャナ100−1及びビューア300と通信する。例えば、通信部210は、スキャナ100−1から貼り合せ画像及び撮像条件情報を受信する。また、通信部210は、記憶部220に記憶される貼り合せ画像及び撮像条件情報をビューア300に送信する。
記憶部220は、サーバ200−1により管理される貼り合せ画像及び撮像条件情報を記憶する。例えば、記憶部220は、各サンプルの識別情報と関連付けて、当該サンプルの貼り合せ画像及び当該貼り合せ画像が生成された際の撮像条件情報を記憶するデータベースを構成してもよい。
制御部230は、サーバ200−1全体を制御する。例えば、制御部230は、通信部210によりスキャナ100−1から貼り合せ画像及び撮像条件情報が受信されると、受信された貼り合せ画像及び撮像条件情報を記憶部220に記憶させる。また、制御部230は、ユーザからの指示に応じて又は自動的に、ユーザに呈示されるべき貼り合せ画像及び撮像条件情報を通信部210からビューア300へ送信させてもよい。
図8を参照して、第1の実施形態に係るビューア300の構成の一例について説明する。図8は、第1の実施形態に係るビューア300の構成の一例を示すブロック図である。図8を参照すると、ビューア300は、通信部310、入力部320、制御部330及び表示部340を備える。
通信部310は、スキャナ100−1及びサーバ200−1と通信する。例えば、通信部310は、ユーザに呈示されるべき貼り合せ画像を、スキャナ100−1又はサーバ200−1から受信する。通信部310は、貼り合せ画像と共に、当該貼り合せ画像と関連付けられる撮像条件情報又は設定情報をも受信し得る。
入力部320は、ユーザ操作を検出する。当該入力部320は、例えば、タッチパネル、キーボード、ボタン及びポインティングデバイスなどの入力デバイスのうち1つ以上を含み得る。
制御部330は、ビューア300全体を制御する。制御部330は、例えば、取得部331及び表示制御部333を含む。
取得部331は、通信部310を介して、ユーザに呈示されるべき貼り合せ画像及び当該貼り合せ画像が生成された際の撮像条件情報を取得する。取得部331は、例えば、ユーザからの指示に応じて、又はスキャナ100−1で貼り合せ画像が生成される度に、当該貼り合せ画像及び撮像条件情報を取得する。
表示制御部333は、貼り合せ画像を表示部340の表示面に表示させる。例えば、表示制御部333は、ユーザからの指示に応じて、又は貼り合せ画像が生成される度に、貼り合せ画像を上記表示面に表示させる。また、ユーザが貼り合せ画像の閲覧時に再撮像を要する失敗を発見した場合に、ユーザが撮像条件を再検討できるように、表示制御部333は、例えば、当該貼り合せ画像が生成された際の撮像条件情報を表示部340の表示面に表示させる。
表示部340は、表示面を有するディスプレイである。表示部340は、例えば、制御部330による制御に応じて、貼り合せ画像、撮像条件情報、又は設定情報等を表示面に表示する。
次に、図9〜図11を参照して、第1の実施形態に係る撮像制御処理の例について説明する。
図9は、第1の実施形態に係る撮像制御処理の概略的な流れの一例を示すフローチャートである。
次に、個別画像評処理500の例について説明する。個別画像評価処理500は、再撮像を要する失敗の種類毎に実行される。即ち、5つの種類の失敗を検出する場合には、5つの個別画像評価処理500が実行される。ここでは、とりわけ、撮像漏れに関する個別画像評価処理500a及び貼り合せ失敗に関する個別画像評価処理500bについて説明する。
続いて、本開示の第2の実施形態を説明する。本開示の第2の実施形態によれば、サーバ200−2において、再撮像を要する失敗が自動的に検出される。そして、サーバ200−2は、当該失敗の検出に応じて、スキャナ100−2にサンプルの再撮像を促す。なお、第2の実施形態におけるビューア300の構成は、第1の実施形態におけるビューア300の構成と同じであってよい。
まず、図12を参照して、第2の実施形態に係るスキャナ100−2の構成の一例について説明する。図12は、第2の実施形態に係るスキャナ100−2の構成の一例を示すブロック図である。図12を参照すると、スキャナ100−2は、撮像制御部111、デジタル顕微鏡121、貼り合せ部131及び通信部160を備える。
撮像制御部111は、デジタル顕微鏡121を用いた撮像を制御する。例えば、撮像制御部111は、ユーザにより指定され、又は自動的に決定される撮像条件をデジタル顕微鏡121に設定し、当該撮像条件に従ってデジタル顕微鏡121にサンプルの画像を撮像させる。撮像制御部111は、第1の実施形態に係る撮像制御部110と同様、例えば、サンプル全体の撮像条件として、撮像領域、撮像順、照明の明るさ及びホワイトバランスの係数等を設定する。また、撮像制御部111は、例えば、個別領域ごとの撮像条件として、フォーカス位置を設定する。
デジタル顕微鏡121は、撮像制御部111により設定された撮像条件に従って画像を撮像する。例えば、デジタル顕微鏡121は、第1の実施形態に係るデジタル顕微鏡120と同様、設定された撮影順に従って、設定された撮像領域内の各個別領域を映す個別画像を撮像する。そして、デジタル顕微鏡121は、撮像された個別画像を貼り合せ部131に出力する。
貼り合せ部131は、第1の実施形態に係る貼り合せ部130と同様、デジタル顕微鏡121により撮像された個別画像を貼り合せることにより、貼り合せ画像を生成する。そして、貼り合せ部131は、生成した貼り合せ画像を通信部160に出力する。
次に、図13を参照して、第2の実施形態に係るサーバ200−2の構成の一例について説明する。図13は、第2の実施形態に係るサーバ200−2の構成の一例を示すブロック図である。図13を参照すると、サーバ200−2は、通信部210、記憶部220、制御部230、失敗検出部240及び設定情報生成部250を備える。
失敗検出部240は、通信部210を介してスキャナ100−2から受信される貼り合せ画像(又はその部分画像)を評価することにより、再撮像を要する失敗を検出する。失敗検出部240により検出される失敗の種類は、第1の実施形態に係るスキャナ100−1の失敗検出部140により検出され得る失敗の種類と同様であってよい。即ち、失敗検出部240は、例えば、貼り合せ画像に関連する失敗として、上述した撮像漏れ及び貼り合せ失敗を検出し得る。また、失敗検出部240は、その他の失敗として、上述したフォーカス位置の不具合、ホワイトバランスの不具合及び明るさの不具合を検出し得る。
設定情報生成部250は、失敗検出部240により失敗が検出された場合に、再撮像の際の撮像条件を設定するための設定情報を生成する。設定情報生成部250は、設定情報生成部150と同様に、撮像漏れ、貼り合せ失敗、フォーカス位置の不具合、ホワイトバランスの不具合及び明るさの不具合等の、再撮像を要する失敗が検出された場合に、各種設定情報を生成する。
次に、図14〜図17を参照して、第2の実施形態に係る撮像制御処理の例について説明する。
まず、撮像制御処理のうち、サーバ200−2側で行われる処理の例について説明する。図14は、第2の実施形態に係るサーバ200−2側での撮像制御処理の概略的な流れの一例を示すフローチャートである。
次に、貼り合せ画像評処理700の例について説明する。貼り合せ画像評処理700は、再撮像を要する失敗の種類毎に実行される。即ち、5つの種類の失敗を検出する場合には、5つの貼り合せ画像評処理700が実行される。ここでは、とりわけ、撮像漏れに関する貼り合せ画像評処理700a及び貼り合せ失敗に関する貼り合せ画像評処理700bについて説明する。
次に、撮像制御処理のうち、スキャナ100−2側で行われる処理の例について説明する。図17は、第2の実施形態に係るスキャナ100−2側での撮像制御処理の概略的な流れの一例を示すフローチャートである。
ここまで、図1〜17を用いて、本開示に係るデジタル顕微鏡システムの2つの実施形態について説明した。これら実施形態によれば、デジタル顕微鏡を用いて撮像される画像を評価することにより、再撮像を要する失敗が検出される。そして、当該失敗が検出された場合に、再撮像の際の撮像条件を設定するための設定情報が生成される。即ち、再撮像を要する失敗が自動的に検出され、失敗に応じて生成された設定情報に基づいて再撮像の際の撮像条件が自動的に設定される。そのため、ユーザは、従来のように、画面上での画像の確認、及び再度の失敗を回避するための撮像条件の再設定等の作業を行わなくてもよい。よって、より少ない手間及び時間で再撮像を行うことが可能になる。
(1)
デジタル顕微鏡を用いて撮像される画像を評価することにより、前記画像に関連する再撮像を要する失敗を検出する検出部と、
前記検出部により前記失敗が検出された場合に、再撮像の際の撮像条件を設定するための設定情報を生成する生成部と
を備える情報処理装置。
(2)
前記検出部は、前記失敗として、複数の画像を貼り合せることにより生成される貼り合せ画像に関連する失敗を検出する、前記(1)に記載の情報処理装置。
(3)
前記貼り合せ画像に関連する前記失敗は、前記貼り合せ画像に含まれるべき領域の撮像漏れを含む、前記(2)に記載の情報処理装置。
(4)
前記検出部は、前記画像におけるテクスチャの存在方向を評価することにより、前記撮像漏れを検出する、前記(3)に記載の情報処理装置。
(5)
前記生成部は、前記検出部により前記撮像漏れが検出された場合に、新たに撮像されるべき追加領域を含むように撮像領域を再設定するための撮像領域情報を生成する、前記(2)〜(4)のいずれか1項に記載の情報処理装置。
(6)
前記生成部は、撮像領域が再設定される場合に、前記画像の撮像順を再設定するための撮像順情報をさらに生成する、前記(5)に記載の情報処理装置。
(7)
前記貼り合せ画像に関連する前記失敗は、前記貼り合せ画像を生成する際の貼り合せ失敗を含む、前記(2)に記載の情報処理装置。
(8)
前記検出部は、前記貼り合せ画像に含まれる所定の方向のエッジを評価することにより、前記貼り合せ失敗を検出する、前記(7)に記載の情報処理装置。
(9)
前記検出部は、前記貼り合せ画像が生成される際の重なり部分の輝度値を評価することにより、前記貼り合せ失敗を検出する、前記(7)に記載の情報処理装置。
(10)
前記生成部は、前記検出部により前記貼り合せ失敗が検出された場合に、前記画像の撮像順を再設定するための撮像順情報を生成する、前記(7)〜(9)のいずれか1項に記載の情報処理装置。
(11)
前記検出部は、前記失敗として、フォーカス位置、ホワイトバランス又は明るさの不具合をさらに検出する、前記(2)〜(10)のいずれか1項に記載の情報処理装置。
(12)
前記情報処理装置は、前記検出部により検出される前記失敗の種類に応じて、前記デジタル顕微鏡に個々の画像を再撮像させるか複数の画像の全体を再撮像させるかを判定する撮像制御部、をさらに備える、前記(2)〜(11)のいずれか1項に記載の情報処理装置。
(13)
前記検出部は、前記複数の画像の各々が撮像される都度、前記失敗の検出のために各画像を評価する、前記(2)〜(12)のいずれか1項に記載の情報処理装置。
(14)
前記検出部は、前記貼り合せ画像が生成された後に、前記貼り合せ画像又は前記貼り合せ画像の部分画像を評価する、前記(2)〜(12)のいずれか1項に記載の情報処理装置。
(15)
前記情報処理装置は、
前記生成部により生成される前記設定情報を、再撮像が実行される前にユーザに呈示し又はユーザにより編集可能とする表示制御部、
をさらに備える、前記(1)〜(14)のいずれか1項に記載の情報処理装置。
(16)
デジタル顕微鏡を用いて撮像される画像を評価することにより、前記画像に関連する再撮像を要する失敗を検出することと、
前記検出部により前記失敗が検出された場合に、再撮像の際の撮像条件を設定するための設定情報を生成することと
を含む撮像制御方法。
(17)
コンピュータを、
デジタル顕微鏡を用いて撮像される画像を評価することにより、前記画像に関連する再撮像を要する失敗を検出する検出部と、
前記検出部により前記失敗が検出された場合に、再撮像の際の撮像条件を設定するための設定情報を生成する生成部と
として機能させるためのプログラム。
(18)
デジタル顕微鏡と、
前記デジタル顕微鏡を用いて撮像される画像を評価することにより、前記画像に関連する再撮像を要する失敗を検出する検出部、及び
前記検出部により前記失敗が検出された場合に、再撮像の際の撮像条件を設定するための設定情報を生成する生成部
を備える情報処理装置と、
を含むデジタル顕微鏡システム。
(19)
デジタル顕微鏡を用いて撮像される画像を評価することにより前記画像に関連する再撮像を要する失敗が検出された場合に生成される、再撮像の際の撮像条件を設定するための設定情報を取得する取得部と、
前記取得部により取得される前記設定情報を表示面に表示させる表示制御部と、
を備える表示制御装置。
(20)
デジタル顕微鏡を用いて撮像される複数の画像を貼り合せることで生成される貼り合せ画像に関連する失敗を、画像を評価することにより検出する検出部と、
前記検出部により前記失敗が検出された場合に、再撮像の際の撮像条件を設定するための設定情報を生成する生成部と
を備える情報処理装置。
10 生体サンプル
20 撮像領域
21 個別領域
30 個別画像
33 重なり部分
35 周縁部分
37 はみ出し部分
40 貼り合せ画像
100 スキャナ
110、111 撮像制御部
120、121 デジタル顕微鏡
130、131 貼り合せ部
140 失敗検出部
150 設定情報生成部
160 通信部
200 サーバ
210 通信部
220 記憶部
230 制御部
240 失敗検出部
250 設定情報生成部
300 ビューア
310 通信部
320 入力部
330 制御部
331 取得部
333 表示制御部
340 表示部
Claims (18)
- デジタル顕微鏡を用いて撮像される画像を評価することにより、前記画像に関連する再撮像を要する失敗を検出する検出部と、
前記検出部により前記失敗が検出された場合に、再撮像の際の撮像条件を設定するための設定情報を生成する生成部と、
を備え、
前記検出部は、前記失敗として、複数の画像を貼り合せることにより生成される貼り合せ画像に関連する失敗を検出し、
前記貼り合せ画像に関連する前記失敗は、前記貼り合せ画像に含まれるべき領域の撮像漏れを含み、
前記検出部は、前記画像、又は前記貼り合せ画像、に含まれるエッジに関する判定により、前記撮像漏れを検出し、
前記貼り合せ画像に関連する前記失敗は、前記貼り合せ画像を生成する際の貼り合せ失敗を含む、情報処理装置。 - 前記検出部は、前記画像におけるテクスチャの存在方向を評価することにより、前記撮像漏れを検出する、請求項1に記載の情報処理装置。
- 前記生成部は、前記検出部により前記撮像漏れが検出された場合に、新たに撮像されるべき追加領域を含むように撮像領域を再設定するための撮像領域情報を生成する、請求項1又は2に記載の情報処理装置。
- 前記生成部は、撮像領域が再設定される場合に、前記画像の撮像順を再設定するための撮像順情報をさらに生成する、請求項3に記載の情報処理装置。
- 前記検出部は、前記貼り合せ画像に含まれる所定の方向のエッジを評価することにより、前記貼り合せ失敗を検出する、請求項1に記載の情報処理装置。
- 前記検出部は、前記貼り合せ画像が生成される際の重なり部分の輝度値を評価することにより、前記貼り合せ失敗を検出する、請求項1に記載の情報処理装置。
- 前記生成部は、前記検出部により前記貼り合せ失敗が検出された場合に、前記画像の撮像順を再設定するための撮像順情報を生成する、請求項1〜6のいずれか1項に記載の情報処理装置。
- 前記検出部は、前記失敗として、フォーカス位置、ホワイトバランス又は明るさの不具合をさらに検出する、請求項1〜7のいずれか1項に記載の情報処理装置。
- 前記情報処理装置は、前記検出部により検出される前記失敗の種類に応じて、前記デジタル顕微鏡に個々の画像を再撮像させるか複数の画像の全体を再撮像させるかを判定する撮像制御部、をさらに備える、請求項1〜8のいずれか1項に記載の情報処理装置。
- 前記検出部は、前記複数の画像の各々が撮像される都度、前記失敗の検出のために各画像を評価する、請求項1〜9のいずれか1項に記載の情報処理装置。
- 前記検出部は、前記貼り合せ画像が生成された後に、前記貼り合せ画像又は前記貼り合せ画像の部分画像を評価する、請求項1〜10のいずれか1項に記載の情報処理装置。
- 前記情報処理装置は、
前記生成部により生成される前記設定情報を、再撮像が実行される前にユーザに呈示し又はユーザにより編集可能とする表示制御部、
をさらに備える、請求項1〜11のいずれか1項に記載の情報処理装置。 - デジタル顕微鏡を用いて撮像される画像を評価することにより、前記画像に関連する再撮像を要する失敗を検出する検出部と、
前記検出部により前記失敗が検出された場合に、再撮像の際の撮像条件を設定するための設定情報を生成する生成部と、
前記検出部により検出される前記失敗の種類に応じて、前記デジタル顕微鏡に個々の画像を再撮像させるか複数の画像の全体を再撮像させるかを判定する撮像制御部と、
を備え、
前記検出部は、前記失敗として、複数の画像を貼り合せることにより生成される貼り合せ画像に関連する失敗を検出し、
前記貼り合せ画像に関連する前記失敗は、前記貼り合せ画像に含まれるべき領域の撮像漏れを含み、
前記検出部は、前記画像、又は前記貼り合せ画像、に含まれるエッジに関する判定により、前記撮像漏れを検出する、情報処理装置。 - デジタル顕微鏡を用いて撮像される画像を評価することにより、前記画像に関連する再撮像を要する失敗を検出することと、
前記失敗が検出された場合に、再撮像の際の撮像条件を設定するための設定情報を生成することと、
を含み、
前記失敗は、前記画像、又は複数の画像を貼り合せることにより生成される貼り合せ画像、に含まれるエッジに関する判定により検出される、前記貼り合せ画像に含まれるべき領域の撮像漏れを含み、
前記失敗は、前記貼り合せ画像を生成する際の貼り合せ失敗を含む、撮像制御方法。 - コンピュータを、
デジタル顕微鏡を用いて撮像される画像を評価することにより、前記画像に関連する再撮像を要する失敗を検出する検出部と、
前記検出部により前記失敗が検出された場合に、再撮像の際の撮像条件を設定するための設定情報を生成する生成部と、
として機能させるためのプログラムであって、
前記検出部は、前記失敗として、複数の画像を貼り合せることにより生成される貼り合せ画像に関連する失敗を検出し、
前記貼り合せ画像に関連する前記失敗は、前記貼り合せ画像に含まれるべき領域の撮像漏れを含み、
前記検出部は、前記画像、又は前記貼り合せ画像、に含まれるエッジに関する判定により、前記撮像漏れを検出し、
前記貼り合せ画像に関連する前記失敗は、前記貼り合せ画像を生成する際の貼り合せ失敗を含む、プログラム。 - デジタル顕微鏡と、
前記デジタル顕微鏡を用いて撮像される画像を評価することにより、前記画像に関連する再撮像を要する失敗を検出する検出部、及び
前記検出部により前記失敗が検出された場合に、再撮像の際の撮像条件を設定するための設定情報を生成する生成部
を備え、
前記検出部は、前記失敗として、複数の画像を貼り合せることにより生成される貼り合せ画像に関連する失敗を検出し、
前記貼り合せ画像に関連する前記失敗は、前記貼り合せ画像に含まれるべき領域の撮像漏れを含み、
前記検出部は、前記画像、又は前記貼り合せ画像、に含まれるエッジに関する判定により、前記撮像漏れを検出し、
前記貼り合せ画像に関連する前記失敗は、前記貼り合せ画像を生成する際の貼り合せ失敗を含む、情報処理装置と、
を含むデジタル顕微鏡システム。 - デジタル顕微鏡を用いて撮像される画像を評価することにより前記画像に関連する再撮像を要する失敗が検出された場合に生成される、再撮像の際の撮像条件を設定するための設定情報を取得する取得部と、
前記取得部により取得される前記設定情報を表示面に表示させる表示制御部と、
を備え、
前記失敗は、前記画像、又は複数の画像を貼り合せることにより生成される貼り合せ画像、に含まれるエッジに関する判定により検出される、前記貼り合せ画像に含まれるべき領域の撮像漏れを含み、
前記失敗は、前記貼り合せ画像を生成する際の貼り合せ失敗を含む、表示制御装置。 - デジタル顕微鏡を用いて撮像される複数の画像を貼り合せることで生成される貼り合せ画像に関連する失敗を、画像を評価することにより検出する検出部と、
前記検出部により前記失敗が検出された場合に、再撮像の際の撮像条件を設定するための設定情報を生成する生成部と、
を備え、
前記検出部は、前記画像、又は前記貼り合せ画像に含まれるエッジに関する判定により、前記失敗として、前記貼り合せ画像に含まれるべき領域の撮像漏れを検出し、
前記貼り合せ画像に関連する前記失敗は、前記貼り合せ画像を生成する際の貼り合せ失敗を含む、情報処理装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012003214 | 2012-01-11 | ||
JP2012003214 | 2012-01-11 | ||
PCT/JP2012/081801 WO2013105373A1 (ja) | 2012-01-11 | 2012-12-07 | 情報処理装置、撮像制御方法、プログラム、デジタル顕微鏡システム、表示制御装置、表示制御方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2013105373A1 JPWO2013105373A1 (ja) | 2015-05-11 |
JP6102749B2 true JP6102749B2 (ja) | 2017-03-29 |
Family
ID=48781333
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013553213A Active JP6102749B2 (ja) | 2012-01-11 | 2012-12-07 | 情報処理装置、撮像制御方法、プログラム、デジタル顕微鏡システム、表示制御装置、表示制御方法及びプログラム |
Country Status (5)
Country | Link |
---|---|
US (3) | US10509218B2 (ja) |
EP (1) | EP2804038B1 (ja) |
JP (1) | JP6102749B2 (ja) |
CN (1) | CN104081248A (ja) |
WO (1) | WO2013105373A1 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5557091B2 (ja) * | 2010-03-30 | 2014-07-23 | 日本電気株式会社 | 画像処理装置、画像読取装置、画像処理方法及び画像処理プログラム |
JP6102749B2 (ja) | 2012-01-11 | 2017-03-29 | ソニー株式会社 | 情報処理装置、撮像制御方法、プログラム、デジタル顕微鏡システム、表示制御装置、表示制御方法及びプログラム |
JP2016126242A (ja) * | 2015-01-07 | 2016-07-11 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
JP6540129B2 (ja) * | 2015-03-19 | 2019-07-10 | 株式会社ニコン | 観察装置、観察方法、及びプログラム |
JP6503907B2 (ja) * | 2015-06-12 | 2019-04-24 | リコーイメージング株式会社 | 撮影装置、撮影制御装置、撮影制御方法、及び撮影制御プログラム |
JP6488905B2 (ja) * | 2015-06-19 | 2019-03-27 | 株式会社島津製作所 | 顕微鏡 |
JP6572117B2 (ja) * | 2015-12-04 | 2019-09-04 | オリンパス株式会社 | 顕微鏡、画像貼り合わせ方法、プログラム |
DE102016110988A1 (de) * | 2016-06-15 | 2017-12-21 | Sensovation Ag | Verfahren zum digitalen Aufnehmen einer Probe durch ein Mikroskop |
JP6887910B2 (ja) * | 2017-08-01 | 2021-06-16 | 株式会社東芝 | 画像処理装置 |
EP3690513B1 (en) * | 2017-09-27 | 2023-06-07 | FUJIFILM Corporation | Observation device, observation method, and observation program |
US10861156B2 (en) * | 2018-02-28 | 2020-12-08 | Case Western Reserve University | Quality control for digital pathology slides |
US10641659B2 (en) * | 2018-08-14 | 2020-05-05 | Shimadzu Corporation | Infrared microscope with adjustable connection optical system |
JP7263983B2 (ja) * | 2019-08-30 | 2023-04-25 | 富士通株式会社 | 撮影漏れ検出装置、及び、撮影漏れ検出方法 |
JP2021135981A (ja) * | 2020-02-28 | 2021-09-13 | 京セラドキュメントソリューションズ株式会社 | データ連携システムおよび処理監視システム |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7369304B2 (en) | 1999-10-29 | 2008-05-06 | Cytyc Corporation | Cytological autofocusing imaging systems and methods |
AU2003228482A1 (en) * | 2002-04-10 | 2003-10-27 | Kendro Laboratoryb Products, Lp | Automated protein crystallization imaging |
US20040105000A1 (en) * | 2002-11-29 | 2004-06-03 | Olymlpus Corporation | Microscopic image capture apparatus |
JP4544850B2 (ja) * | 2002-11-29 | 2010-09-15 | オリンパス株式会社 | 顕微鏡画像撮影装置 |
US7746404B2 (en) * | 2003-11-10 | 2010-06-29 | Hewlett-Packard Development Company, L.P. | Digital camera with panoramic image capture |
US7792338B2 (en) * | 2004-08-16 | 2010-09-07 | Olympus America Inc. | Method and apparatus of mechanical stage positioning in virtual microscopy image capture |
US7877213B2 (en) * | 2004-09-23 | 2011-01-25 | Agilent Technologies, Inc. | System and methods for automated processing of multiple chemical arrays |
US7336847B2 (en) * | 2004-10-11 | 2008-02-26 | Benq Corporation | Texture error recovery method using edge preserving spatial interpolation |
EP1839264A2 (en) * | 2005-01-18 | 2007-10-03 | Trestle Corporation | System and method for creating variable quality images of a slide |
DE102005017642B4 (de) * | 2005-04-15 | 2010-04-08 | Vistec Semiconductor Systems Jena Gmbh | Verfahren zur Inspektion eines Wafers |
US20060256397A1 (en) * | 2005-05-12 | 2006-11-16 | Lexmark International, Inc. | Method and system for combining images |
JP2006317406A (ja) * | 2005-05-16 | 2006-11-24 | Olympus Corp | 細胞画像撮像装置、細胞画像撮像方法、細胞画像撮像プログラム、及び細胞観察装置 |
US7424218B2 (en) * | 2005-07-28 | 2008-09-09 | Microsoft Corporation | Real-time preview for panoramic images |
JP4757023B2 (ja) * | 2005-12-28 | 2011-08-24 | 富士通株式会社 | インジェクション装置およびインジェクション方法 |
JP5014966B2 (ja) | 2007-11-30 | 2012-08-29 | パナソニック電工Sunx株式会社 | 拡大観察装置 |
JP4466968B2 (ja) * | 2008-11-10 | 2010-05-26 | キヤノン株式会社 | 画像処理装置、画象処理方法、プログラム、及びプログラム記憶媒体 |
JP5316161B2 (ja) | 2009-03-27 | 2013-10-16 | ソニー株式会社 | 観察装置 |
US8396269B2 (en) * | 2010-04-08 | 2013-03-12 | Digital Pathco LLC | Image quality assessment including comparison of overlapped margins |
JP5887766B2 (ja) * | 2011-08-31 | 2016-03-16 | 株式会社ニコン | 顕微鏡制御装置、画像処理装置、顕微鏡装置およびプログラム |
JP6102749B2 (ja) | 2012-01-11 | 2017-03-29 | ソニー株式会社 | 情報処理装置、撮像制御方法、プログラム、デジタル顕微鏡システム、表示制御装置、表示制御方法及びプログラム |
-
2012
- 2012-12-07 JP JP2013553213A patent/JP6102749B2/ja active Active
- 2012-12-07 CN CN201280066139.5A patent/CN104081248A/zh active Pending
- 2012-12-07 US US14/369,227 patent/US10509218B2/en active Active
- 2012-12-07 WO PCT/JP2012/081801 patent/WO2013105373A1/ja active Application Filing
- 2012-12-07 EP EP12865325.0A patent/EP2804038B1/en active Active
-
2019
- 2019-11-21 US US16/690,621 patent/US10983329B2/en active Active
-
2021
- 2021-03-25 US US17/212,918 patent/US11422356B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
WO2013105373A1 (ja) | 2013-07-18 |
US20200088986A1 (en) | 2020-03-19 |
EP2804038A4 (en) | 2015-08-12 |
EP2804038B1 (en) | 2018-11-14 |
JPWO2013105373A1 (ja) | 2015-05-11 |
US20140362204A1 (en) | 2014-12-11 |
EP2804038A1 (en) | 2014-11-19 |
US10983329B2 (en) | 2021-04-20 |
CN104081248A (zh) | 2014-10-01 |
US10509218B2 (en) | 2019-12-17 |
US11422356B2 (en) | 2022-08-23 |
US20210208381A1 (en) | 2021-07-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6102749B2 (ja) | 情報処理装置、撮像制御方法、プログラム、デジタル顕微鏡システム、表示制御装置、表示制御方法及びプログラム | |
JP5645051B2 (ja) | 画像処理装置 | |
JP5645052B2 (ja) | 画像処理装置 | |
JP5281972B2 (ja) | 撮像装置 | |
US8036463B2 (en) | Character extracting apparatus, method, and program | |
JP5218177B2 (ja) | 画像処理装置および方法 | |
JP5984493B2 (ja) | 画像処理装置、画像処理方法、撮像装置およびプログラム | |
JP5350532B2 (ja) | 画像処理装置、画像表示システム、画像処理方法および画像処理プログラム | |
US8774551B2 (en) | Image processing apparatus and image processing method for reducing noise | |
JP2011203811A (ja) | 画像処理装置、画像処理方法、画像処理プログラム、及び複眼デジタルカメラ | |
JP2011048759A (ja) | 情報処理装置、情報処理システム、情報処理方法及び当該情報処理方法をコンピュータに実行させるプログラム | |
JP2013153429A (ja) | 画像処理装置、画像表示システム、画像処理方法および画像処理プログラム | |
JP7218614B2 (ja) | 画像診断システム、画像診断装置、および画像診断方法 | |
JP2017224974A (ja) | 撮像装置および撮像システム並びに外観検査装置および製造方法 | |
JP2015035782A (ja) | 画像処理装置、撮像装置、顕微鏡システム、画像処理方法及び画像処理プログラム | |
JP2011076224A (ja) | 情報処理装置、システム、方法及びプログラム | |
JP4764169B2 (ja) | 撮影レンズ位置制御装置 | |
JP2012003469A (ja) | 画像処理プログラム、画像処理装置および撮像装置 | |
JP2009136505A (ja) | 画像表示装置、画像診断装置、及びプログラム | |
JP6124676B2 (ja) | 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体 | |
JP7113327B1 (ja) | 撮像装置 | |
JPWO2018030386A1 (ja) | 位置指定装置および位置指定方法 | |
JP2006094237A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP2023068507A (ja) | パラメータ調整支援装置及びパラメータ調整支援方法 | |
JP5733706B2 (ja) | 画像処理装置、方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150205 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150205 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160308 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160502 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161101 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161222 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170131 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170213 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6102749 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |