JP6102749B2 - 情報処理装置、撮像制御方法、プログラム、デジタル顕微鏡システム、表示制御装置、表示制御方法及びプログラム - Google Patents

情報処理装置、撮像制御方法、プログラム、デジタル顕微鏡システム、表示制御装置、表示制御方法及びプログラム Download PDF

Info

Publication number
JP6102749B2
JP6102749B2 JP2013553213A JP2013553213A JP6102749B2 JP 6102749 B2 JP6102749 B2 JP 6102749B2 JP 2013553213 A JP2013553213 A JP 2013553213A JP 2013553213 A JP2013553213 A JP 2013553213A JP 6102749 B2 JP6102749 B2 JP 6102749B2
Authority
JP
Japan
Prior art keywords
imaging
image
failure
detection unit
digital microscope
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013553213A
Other languages
English (en)
Other versions
JPWO2013105373A1 (ja
Inventor
真司 渡辺
真司 渡辺
信裕 林
信裕 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2013105373A1 publication Critical patent/JPWO2013105373A1/ja
Application granted granted Critical
Publication of JP6102749B2 publication Critical patent/JP6102749B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/77Retouching; Inpainting; Scratch removal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Microscoopes, Condenser (AREA)
  • Studio Devices (AREA)
  • Image Input (AREA)
  • Image Processing (AREA)

Description

本開示は、情報処理装置、撮像制御方法、プログラム、デジタル顕微鏡システム、表示制御装置、表示制御方法及びプログラムに関する。
従来、顕微鏡を用いてサンプルのデジタル画像を撮像するデジタル顕微鏡システムが利用されている。例えば、病理診断の分野では、デジタル顕微鏡システムを利用して生体サンプルのデジタル画像を撮像しておくことにより、生体サンプルの情報を長期的に維持し、生体サンプルそのものを輸送することなく生体サンプルに基づく病理診断をどこでも行うことが可能となる。特許文献1は、生体サンプルの部分画像を撮像し、当該部分画像を合成することにより、高解像度の合成画像データを生成する技術を開示している。
特開2010−230495号公報
上記特許文献1に示されているように、一般的なデジタル顕微鏡システムでは、顕微鏡を用いて撮像される多くの部分画像から1つのサンプルの画像が生成される。この撮像から生成に至る過程において、失敗が生じることは少なくない。例えば、多数のサンプルを自動で連続的に撮像するような場合には、全てのサンプルの撮像が成功していることは稀である。それにもかかわらず、デジタル顕微鏡システムに関する従来の技術では、例えば病理診断などのサンプル画像の利用に支障をきたす画像が得られた場合、即ち再撮像を要する失敗があった場合に、当該失敗の発見から再撮像に至るまでに多くの手間及び時間を要する。例えば、当該失敗は、画面上での当該画像の確認を通じてはじめて発見される。そして、再撮像対象のサンプルの探索、サンプルの再投入、再度の失敗を回避するための撮像条件の再設定、及び再撮像が行われる。このように、再撮像は、多くの手間及び時間を要する。
そこで、より少ない手間及び時間で再撮像を行うことを可能にする仕組みが提供されることが望ましい。
本開示によれば、デジタル顕微鏡を用いて撮像される画像を評価することにより、上記画像に関連する再撮像を要する失敗を検出する検出部と、上記検出部により上記失敗が検出された場合に、再撮像の際の撮像条件を設定するための設定情報を生成する生成部と、を備える情報処理装置が提供される。
また、本開示によれば、デジタル顕微鏡を用いて撮像される画像を評価することにより、上記画像に関連する再撮像を要する失敗を検出することと、上記検出部により上記失敗が検出された場合に、再撮像の際の撮像条件を設定するための設定情報を生成することと、を含む撮像制御方法が提供される。
また、本開示によれば、コンピュータを、デジタル顕微鏡を用いて撮像される画像を評価することにより、上記画像に関連する再撮像を要する失敗を検出する検出部と、上記検出部により上記失敗が検出された場合に、再撮像の際の撮像条件を設定するための設定情報を生成する生成部と、として機能させるためのプログラムが提供される。
また、本開示によれば、デジタル顕微鏡と、上記デジタル顕微鏡を用いて撮像される画像を評価することにより、上記画像に関連する再撮像を要する失敗を検出する検出部、及び上記検出部により上記失敗が検出された場合に、再撮像の際の撮像条件を設定するための設定情報を生成する生成部を備える情報処理装置と、を含むデジタル顕微鏡システムが提供される。
また、本開示によれば、デジタル顕微鏡を用いて撮像される画像を評価することにより上記画像に関連する再撮像を要する失敗が検出された場合に生成される、再撮像の際の撮像条件を設定するための設定情報を取得する取得部と、上記取得部により取得される上記設定情報を表示面に表示させる表示制御部と、を備える表示制御装置が提供される。
以上説明したように本開示に係る情報処理装置、撮像制御方法、プログラム、デジタル顕微鏡システム、表示制御装置、表示制御方法及びプログラムによれば、より少ない手間及び時間で再撮像を行うことが可能になる。
本開示の実施形態に係るデジタル顕微鏡システムの概略的な構成の一例を示す説明図である。 第1の実施形態に係るスキャナの構成の一例を示すブロック図である。 デジタル顕微鏡による撮像の一例を説明するための説明図である。 画像の貼り合せの一例を説明するための説明図である。 撮像漏れの一例を説明するための説明図である。 撮像漏れの検出の一例を説明するための説明図である。 貼り合せ失敗時の貼り合せ画像に現れるエッジの一例を説明するための説明図である。 第1の実施形態に係るサーバの構成の一例を示すブロック図である。 第1の実施形態に係るビューアの構成の一例を示すブロック図である。 第1の実施形態に係る撮像制御処理の概略的な流れの一例を示すフローチャートである。 撮像漏れに関する個別画像評価処理の流れの一例を示すフローチャートである。 貼り合せ失敗に関する個別画像評価処理の流れの一例を示すフローチャートである。 第2の実施形態に係るスキャナの構成の一例を示すブロック図である。 第2の実施形態に係るサーバの構成の一例を示すブロック図である。 第2の実施形態に係るサーバ側での撮像制御処理の概略的な流れの一例を示すフローチャートである。 撮像漏れに関する貼り合せ画像評価処理の流れの一例を示すフローチャートである。 貼り合せ失敗に関する貼り合せ画像評価処理の流れの一例を示すフローチャートである。 第2の実施形態に係るスキャナ側での撮像制御処理の概略的な流れの一例を示すフローチャートである。
以下に添付の図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.デジタル顕微鏡システムの概略的な構成
2.第1の実施形態
2.1.スキャナの構成
2.2.サーバの構成
2.3.ビューアの構成
2.4.処理の流れ
3.第2の実施形態
3.1.スキャナの構成
3.2.サーバの構成
3.3.処理の流れ
4.まとめ
<1.デジタル顕微鏡システムの概略的な構成>
まず、図1を参照して、本開示の実施形態に係るデジタル顕微鏡システム1の概略的な構成について説明する。図1は、本開示の実施形態に係るデジタル顕微鏡システム1の概略的な構成の一例を示す説明図である。図1を参照すると、デジタル顕微鏡システム1は、スキャナ100、サーバ200及びビューア300を含む。
スキャナ100は、デジタル顕微鏡を有し、又はデジタル顕微鏡と接続される情報処理装置である。スキャナ100は、デジタル顕微鏡を用いてサンプルの画像を撮像する。例えば、デジタル顕微鏡には、サンプルの固定されたプレパラートが投入される。スキャナ100は、デジタル顕微鏡にプレパラートが投入されると、撮像条件を決定し、決定した撮像条件をデジタル顕微鏡に設定する。そして、スキャナ100は、デジタル顕微鏡を用いて、当該プレパラートのサンプルの画像を撮像する。より具体的には、スキャナ100は、撮像条件として、サンプルの撮像領域を決定し、決定した撮像領域をデジタル顕微鏡に設定する。また、スキャナ100は、撮像領域を複数の個別領域に分割し、撮像条件として、当該複数の個別領域の撮像順を決定し、決定した撮像順をデジタル顕微鏡に設定する。そして、スキャナ100は、設定された撮像順に従って、各個別領域においてデジタル顕微鏡にサンプルの画像を撮像させる。さらに、スキャナ100は、撮像された複数の個別領域の画像を部分画像として貼り合せることにより、貼り合せ画像を生成する。このように、スキャナ100において、1つのサンプルの画像、即ち貼り合せ画像が生成される。
サーバ200は、スキャナ100により生成されるサンプルの画像を管理する情報処理装置である。例えば、サーバ200は、スキャナ100により生成される貼り合せ画像をサンプルの識別情報と関連付けてデータベース内に記憶する。
ビューア300は、表示制御装置の一例である。例えば、ビューア300は、スキャナ100により生成され、又はサーバ200により記憶されているサンプルの貼り合せ画像を表示面に表示させる。また、例えば、ビューア300は、スキャナ100の撮像条件をユーザ操作により指定可能とするためのユーザインタフェースを提供する。即ち、ユーザは、ビューア300での操作を介して、スキャナ100の撮像条件を指定できる。
本開示の実施形態では、デジタル顕微鏡システム1において、より少ない手間及び時間で再撮像を行うことが可能になる。以降、<2.第1の実施形態>及び<3.第2の実施形態>において、その具体的な内容を説明する。
<2.第1の実施形態>
まず、本開示の第1の実施形態を説明する。本開示の第1の実施形態によれば、スキャナ100において、再撮像を要する失敗が自動的に検出され、当該失敗に応じた再撮像が行われる。
<2.1.スキャナの構成>
図2〜図6を参照して、第1の実施形態に係るスキャナ100−1の構成の一例について説明する。図2は、第1の実施形態に係るスキャナ100−1の構成の一例を示すブロック図である。図2を参照すると、スキャナ100−1は、撮像制御部110、デジタル顕微鏡120、貼り合せ部130、失敗検出部140、設定情報生成部150及び通信部160を備える。
(撮像制御部110)
撮像制御部110は、デジタル顕微鏡120を用いた撮像を制御する。例えば、撮像制御部110は、ユーザにより指定され、又は自動的に決定される撮像条件をデジタル顕微鏡120に設定し、当該撮像条件に従ってデジタル顕微鏡120にサンプルの画像を撮像させる。撮像制御部110は、例えば、サンプル全体の撮像条件として、撮像領域、撮像順、照明の明るさ及びホワイトバランスの係数等を設定する。また、撮像制御部110は、例えば、個別領域ごとの撮像条件として、フォーカス位置を設定する。
また、設定情報生成部150が再撮像の際の撮像条件を設定するための設定情報を生成すると、撮像制御部110は、当該設定情報に基づいて、上記撮像条件の少なくとも一部をデジタル顕微鏡120に再設定する。そして、撮像制御部110は、再設定された撮像条件に従って、デジタル顕微鏡120にサンプルの画像を再撮像させる。
撮像制御部110は、設定し又は再設定した撮像条件の情報(以下、「撮像条件情報」と呼ぶ)を通信部160に出力する。
(デジタル顕微鏡120)
デジタル顕微鏡120は、撮像制御部110により設定された撮像条件に従って画像を撮像する。例えば、デジタル顕微鏡120は、設定された撮影順に従って、設定された撮像領域内の各個別領域を映す画像(以下、「個別画像」と呼ぶ)を撮像する。以下、この点について図3を参照してより具体的に説明する。
図3は、デジタル顕微鏡120による撮像の一例を説明するための説明図である。図3を参照すると、生体サンプル10の画像を撮像するために、例えば、生体サンプル10の全体を含む撮像領域20が設定される。そして、当該撮像領域20は、複数の個別領域21に分割される。個別領域21の撮像順は、例えば、生体サンプル10の中央から外側に向かう渦巻き状の順序、又は各列を上から下、下から上に交互に辿るようなジグザグ状の順序など、任意の順序に設定され得る。デジタル顕微鏡120は、このように設定された撮像順に従って、各個別領域21を映す個別画像を撮像する。ここで、デジタル顕微鏡120は、後に隣り合う個別画像を貼り合せられるように、個別領域21を包含する拡張された領域23の画像を個別画像として撮像する。
デジタル顕微鏡120は、撮像された個別画像を貼り合せ部130及び失敗検出部140に出力する。
なお、デジタル顕微鏡120は、例えば、光学系、撮像素子、画像処理回路及び駆動回路を含む。当該光学系は、例えば対物レンズを含み得る。上記撮像素子は、例えば、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサ又はCCD(Charge Coupled Device)イメージセンサである。上記画像処理回路は、デモザイク処理、ホワイトバランス補正等の現像処理を行う。上記駆動回路は、設定される撮像領域及び撮像順に従って、個別画像が撮像されるごとに、対物レンズとサンプルとの相対的な位置を移動させる。
(貼り合せ部130)
貼り合せ部130は、デジタル顕微鏡120により撮像された個別画像を貼り合せることにより、貼り合せ画像を生成する。以下、この点について図4を参照してより具体的に説明する。
図4は、画像の貼り合せの一例を説明するための説明図である。図4を参照すると、隣接する個別領域21で撮像された個別画像30a及び30bが示されている。図3を参照して既に説明したように、個別画像30は、個別領域21を包含する領域23の画像である。よって、個別画像30は、個別領域21に対応する部分31を有すると共に、互いに重なり合う部分(以下、「重なり部分」)33を有する。貼り合せ部130は、重なり部分33aに重なり部分33bを適切に重ね合せることにより、個別画像30aに個別画像30bを貼り合せる。ここで、貼り合せ部130は、例えば、重なり部分33aの輝度値と重なり部分33bの輝度値とを用いて、重なり部分33aに重なり部分33bを重ね合せる。一例として、貼り合せ部130は、例えば、重なり部分33aに重なり部分33bを重ね合せて、重なり部分33aの各画素とそれに対応する重なり部分33bの画素との間の輝度値の差分を算出し、当該差分の絶対値を複数の画素にわたって合計する。貼り合せ部130は、重なり部分33bの位置を変えながらこのような輝度値の差分の絶対値の合計値をその位置ごとに算出する。そして、貼り合せ部130は、最小の合計値が算出される場合の重なり部分33bの位置を、貼り合せ時の重なり部分33bの最適な位置として決定する。このようにして、貼り合せ部130は、隣接する個別領域21の個別画像を順次貼り合せ、最終的にサンプル全体の1つの貼り合せ画像を生成する。
貼り合せ部130は、生成した貼り合せ画像を通信部160に出力する。また、貼り合せ部130は、例えば、各個別画像の貼り合せについての上記最小の合計値を失敗検出部140に出力する。なお、貼り合せ部130は、生成した貼り合せ画像を失敗検出部140にも出力してもよい。
(失敗検出部140)
失敗検出部140は、デジタル顕微鏡120を用いて撮像される画像を評価することにより、当該画像に関連する再撮像を要する失敗を検出する。ここでの「画像を評価する」とは、個別画像の各々を評価すること、及び、個別画像から構成される貼り合せ画像を評価することを含む。以下に、具体的な失敗検出の第1〜第5の例を用いて、失敗検出部140による失敗の検出について説明する。なお、失敗検出の第1の例及び第2の例では、失敗検出部140は、上記失敗として、複数の個別画像を貼り合せることにより生成される貼り合せ画像に関連する失敗を検出する。
第1の例において、失敗検出部140は、貼り合せ画像に関連する失敗として、貼り合せ画像に含まれるべき領域の撮像漏れを検出する。以下、この点について図5A及び図5Bを参照してより具体的に説明する。
図5Aは、撮像漏れの一例を説明するための説明図である。図5Aを参照すると、図3と同様に、生体サンプル10、撮像領域20、複数の個別領域21、及び、個別画像の撮像領域であって、個別領域21を包含する領域23が示されている。ここで、撮像領域20は、生体サンプル10のうちの濃い色の部分11全体を包含するが、生体サンプル10のうちの薄い色の部分13を包含できていない。即ち、サンプル10の一部は、貼り合せ画像に含まれるべき領域であるにもかかわらず、撮像されていない。例えば、生体サンプル全体の画像を用いて生体サンプルのエッジを検出することにより撮像領域を決める場合に、このように薄い色の部分13が撮像領域から漏れる場合がある。このように、撮像漏れがあれば、サンプルの利用(例えば病理診断)を正確に行うことが困難になり得る。
そこで、例えば、失敗検出部140は、画像におけるテクスチャの存在方向を評価することにより、貼り合せ画像に含まれるべき領域の撮像漏れを検出する。より具体的には、失敗検出部140は、例えば、撮像領域20の周縁部分に位置する領域の個別画像、即ち貼り合せ画像の周縁部分を構成する個別画像におけるテクスチャの存在方向を評価する。以下、この点について図5Bを参照してより具体的に説明する。
図5Bは、撮像漏れの検出の一例を説明するための説明図である。図5Bを参照すると、貼り合せ画像の周縁部分35を構成する1つの個別画像30が示されている。個別画像30は、個別領域21を包含する領域23の画像であるので、貼り合せ画像からはみ出すはみ出し部分37を含む。換言すると、当該はみ出し部分37は、撮像領域20の外側の領域を映す。そのため、個別画像30のうちの当該はみ出し部分37に何らかのテクスチャが存在すれば、撮像領域20から漏れているはみ出し部分37の方向にも撮像すべきサンプルがあると言える。よって、失敗検出部140は、テクスチャの存在方向の評価として、個別画像30のうちの当該はみ出し部分37にテクスチャが存在するか否かを判定することにより、撮像漏れがあるか否かを検出できる。なお、失敗検出部140は、一例として、エッジ検出フィルタによりはみ出し部37内のエッジを検出し、検出されたエッジの量を算出し、当該エッジの量が所定の閾値を超えるか否かを判定することにより、はみ出し部37にテクスチャが存在するか否かを判定することができる。
また、失敗検出部140は、個別画像ではなく貼り合せ画像を用いて撮像漏れを検出してもよい。この場合、失敗検出部140は、貼り合せ画像に含まれる個別画像におけるテクスチャの存在方向を評価することにより、上記撮像漏れを検出する。貼り合せ画像には個別画像30のうちのはみ出し部分37は含まれないので、失敗検出部140は、例えば、個別画像30のはみ出し部分37の代わりに、周縁部分35にテクスチャが存在するか否かを判定する。周縁部分35に何らかのテクスチャが存在すれば、周縁部分35に対応する方向の撮像領域20の外側にも撮像すべきサンプルがある可能性が高いと推定できる。よって、失敗検出部140は、テクスチャの存在方向の評価として、周縁部分35にテクスチャが存在するか否かを判定することにより、撮像漏れがあるか否かを検出できる。なお、失敗検出部140は、例えば、周縁部分35にテクスチャが存在するかの判定の代わりに、又は当該判定と併せて、周縁部分35のエッジの方向を判定してもよい。即ち、周縁部分35に、貼り合せ画像の外側方向のエッジ(例えば図5Bでは縦方向のエッジ)が存在すれば、はみ出し部分37にもエッジが延びていると推定できるので、周縁部分35に対応する方向の撮像領域20の外側にも撮像すべきサンプルがある可能性が高いと推定できる。
以上のように、失敗検出部140は、例えば個別画像におけるテクスチャの存在方向を評価すれことにより、貼り合せ画像に含まれるべき領域の撮像漏れを検出する。
第2の例において、失敗検出部140は、貼り合せ画像に関連する失敗として、上記貼り合せ画像を生成する際の貼り合せ失敗を検出する。図4を参照して説明したとおり、撮像された個別画像の貼り合せにより貼り合せ画像が生成されるが、個別画像を適切に貼り合せられない場合もある。その結果、貼り合せ画像の全体又は一部に不自然なズレが発生し、サンプルを正確に確認できなくこともある。
そこで、一例として、失敗検出部140は、貼り合せ画像が生成される際の重なり部分の輝度値を評価することにより、上記貼り合せ失敗を検出する。図4を参照して既に説明したように、貼り合せ部130は、個別画像30aに個別画像30bを貼り合せる際に、重なり部分33aの各画素とそれに対応する重なり部分33bの画素との間の輝度値の差分を算出し、複数の画素にわたる当該差分の絶対値を合計する。そして、貼り合せ部130は、最小の合計値が算出される場合の重なり部分33bの位置を、貼り合せ時の重なり部分33bの最適な位置として決定する。そのため、上記最小の合計値は、最終的に貼り合せがどの程度適当であったかを示す値と言える。即ち、当該最小の合計値が小さければ、貼り合せが成功したと言え、当該最小の合計値が大きければ、貼り合せが失敗したと言える。よって、失敗検出部140は、重なり部分の輝度値の評価として、上記最小の合計値が所定の閾値を超えるか否かを判定することにより、貼り合せ失敗を検出できる。なお、失敗検出部140は、上記最小の合計値を貼り合せ部130から取得する。
また、別の例として、失敗検出部140は、貼り合せ画像に現れる所定の方向のエッジを評価することにより、上記貼り合せ失敗を検出してもよい。以下、この点について図6を参照してより具体的に説明する。
図6は、貼り合せ失敗時の貼り合せ画像に現れるエッジの一例を説明するための説明図である。図6を参照すると、貼り合せ画像40が示されている。貼り合せ画像40を生成する際の貼り合せに失敗すると、貼り合せの境界において個別画像が互いにずれているので、貼り合せの境界にエッジが現れる。例えば、水平方向のエッジ41a並びに垂直方向のエッジ41b及び41cが現れる。よって、失敗検出部140は、例えば、貼り合せ画像に現れる所定の方向(例えば、水平方向及び垂直方向)のエッジを検出し、検出したエッジの長さ又は強さを評価する。例えば、検出されたエッジの長さが個別領域21の一辺の長さの所定の割合よりも大きい場合には、そのエッジは、貼り合せ失敗の結果として生じたエッジであると推定され得る。また、検出されたエッジがサンプルの固有のエッジとしては想定され得ない強さを有する場合にも、そのエッジは、貼り合せ失敗の結果として生じたエッジであると推定され得る。このような場合に、失敗検出部140は、上記貼り合せ失敗を検出する。
以上のように、失敗検出部140は、例えば重なり部分の輝度値又は貼り合せ画像に現れる所定の方向のエッジを評価することにより、貼り合せ失敗を検出する。
第3の例において、失敗検出部140は、個別画像又は貼り合せ画像に関連する再撮像を要する失敗として、フォーカス位置の不具合を検出する。デジタル顕微鏡120が個別画像を撮像する際には、撮像制御部110がフォーカス位置をデジタル顕微鏡120に設定するが、誤ったフォーカス位置の設定によって、ボケを伴う個別画像が撮像されることがある。その結果、サンプルを正確に確認することが困難となり得る。
そこで、一例として、失敗検出部140は、個別画像のコントラストを評価することにより、フォーカス位置の不具合を検出する。ボケを伴う画像はコントラストが低くなる。よって、失敗検出部140は、個別画像のコントラストを算出し、算出したコントラストが所定の閾値を超えるか否かを判定することにより、フォーカス位置の不具合を検出できる。なお、コントラストの算出手法として、いずれの手法が用いられてもよい。一例として、失敗検出部140は、個別画像の画素毎に、隣接する4つの画素のそれぞれとの輝度値の差分を算出し、当該差分の絶対値を合計する。そして、失敗検出部140は、画素毎に算出された合計値を個別画像全体でさらに合計する。例えばこのように算出された合計値が、個別画像のコントラストとして用いられる。以上のように、失敗検出部140は、フォーカス位置の不具合を検出する。
第4の例において、失敗検出部140は、個別画像又は貼り合せ画像に関連する再撮像を要する失敗として、ホワイトバランスの不具合を検出する。デジタル顕微鏡120では、個別画像の現像処理において、ホワイトバランス補正が行われるが、誤ったホワイトバランスによって、個別画像の色が実際のサンプルとは異なる色に現像されてしまうことがある。その結果、サンプルの色を正確に確認することが困難となり得る。
そこで、一例として、デジタル顕微鏡120は、サンプルが存在しない領域の画像(即ち、何も映っていない画像)を撮像する。そして、失敗検出部140は、当該画像の色情報と、テンプレートとして予め用意されている色情報とを比較する。そして、失敗検出部140は、両者の差が所定の閾値よりも大きい場合には、ホワイトバランスの不具合を検出する。このように、失敗検出部140は、ホワイトバランスの不具合を検出する。
第5の例において、失敗検出部140は、個別画像又は貼り合せ画像に関連する再撮像を要する失敗として、明るさの不具合を検出する。デジタル顕微鏡120では、撮像の際に照明の明るさが調整されるが、誤った明るさによって、明るすぎる個別画像又は暗すぎる個別画像が撮影されてしまうことがある。その結果、サンプルを正確に確認することが困難となり得る。
そこで、一例として、ホワイトバランスの不具合と同様に、デジタル顕微鏡120は、サンプルが存在しない領域の画像(即ち、何も映っていない画像)を撮像する。そして、失敗検出部140は、当該画像の輝度情報と、テンプレートとして予め用意されている輝度情報とを比較する。そして、失敗検出部140は、両者の差が所定の閾値よりも大きい場合には、明るさの不具合を検出する。このように、失敗検出部140は、明るさの不具合を検出する。
以上、具体的な失敗検出の第1〜第5の例を用いて、失敗検出部140による失敗の検出について説明した。このような失敗検出により、画面上でユーザに画像を確認させることなく、再撮像を要する失敗を自動的に検出することが可能になる。
第1の実施形態において、失敗検出部140は、複数の個別画像の各々が撮像される都度、再撮像を要する失敗の検出のために各画像を評価する。このような評価により、個別画像が撮像された時点で失敗が検出され得るので、失敗が検出された後、即座に再撮像を行うことが可能になる。即ち、再撮像のために、デジタル顕微鏡120にサンプルを再投入する作業、又は再設定する必要のない項目についての設定の変更が不要となる。従って、この場合、再撮像に要する手間はほぼ無くなり、再撮像に要する時間も極めて少なくなる。
失敗検出部140は、検出した失敗に関する情報を設定情報生成部150に出力する。
(設定情報生成部150)
設定情報生成部150は、失敗検出部140により失敗が検出された場合に、再撮像の際の撮像条件を設定するための設定情報を生成する。以下に、上記失敗検出の第1〜第5の例を用いて、設定情報生成部150による設定情報の生成について説明する。
第1に、撮像漏れが検出される場合の設定情報の生成について説明する。設定情報生成部150は、失敗検出部140により上記撮像漏れが検出された場合に、例えば、新たに撮像されるべき追加領域を含むように撮像領域を再設定するための撮像領域情報を生成する。当該撮像領域情報は、設定情報の1つである。より具体的には、図5A及び図5Bを参照して説明したように、失敗検出部140は、個別画像におけるテクスチャの存在方向の評価の際に、どの個別領域21(又は個別画像30)のどちらの方向(例えば、左、右、上、下)に撮像漏れがあるかを知る。よって、設定情報生成部150は、失敗検出部140から、当該撮像漏れに関する情報として、個別領域21の座標及び撮像漏れの方向の組合せを取得し、当該組合せを含む情報を撮像領域情報として生成する。このような撮像領域情報により、撮像制御部110は、撮像漏れの領域を含むように撮像領域を再設定することができる。その結果、再撮像の際に同様の撮像漏れを回避することができる。
なお、撮像領域情報は、単に撮像領域を拡大することを指示する情報を含んでもよい。この場合に、撮像制御部110は、撮像領域がより広くなるように、撮像領域を決定するためのパラメータを変更する。一例として、撮像制御部110は、サンプル全体の画像に現れるサンプルのエッジを検出することにより、撮像領域を決定する。この場合に、撮像制御部110は、エッジ検出における閾値を下げる。これにより、より弱いエッジも検出されるようになるので、より広い撮像領域が決定され、デジタル顕微鏡120に再設定される。また、別の例として、撮像制御部110は、サンプル全体の画像をブロックに分割して、ブロック毎の輝度値の分散を算出し、閾値を超える分散を伴うブロックの領域を撮像領域として決定する。この場合に、撮像制御部110は、分散と比較するための上記閾値を下げる。これにより、より多くのブロックの領域が撮像領域として決定されるので、より広い撮像領域がデジタル顕微鏡120に再設定される。
さらに、例えば、設定情報生成部150は、撮像領域が再設定される場合に、個別画像の撮像順を再設定するための撮像順情報をさらに生成する。当該撮像順情報は、設定情報の1つである。当該撮像順情報は、例えば、撮像順を新たに設定することを指示する情報を含む。通常、互いに隣接する個別領域21の個別画像は連続的に撮像される。このように隣接する個別画像を連続的に撮像してこれらを順々に貼り合せることで、貼り合せが失敗する可能性が低くなる。一方、再撮像において、元の撮像順で個別画像をまず撮像し、拡大された領域の個別画像を追加的に撮像すると、拡大された領域の個別画像は、元の撮像領域の個別画像とは不連続に撮像されることになる。そのため、貼り合せが失敗する可能性が高くなる。よって、撮像領域を再設定する場合には、撮像順情報をさらに生成して撮像順をも再設定することで、再撮像の際に貼り合せ失敗を回避することができる。
第2に、貼り合せ画像を生成する際の貼り合せ失敗が検出される場合の設定情報の生成について説明する。設定情報生成部150は、失敗検出部140により上記貼り合せ失敗が検出された場合に、個別画像の撮像順を再設定するための撮像順情報を生成する。当該撮像順情報は、例えば、貼り合せ失敗が検出された場合の撮像順とは別の撮像順を設定することを指示する情報を含む。ここでの別の撮像順とは、撮像の開始位置が異なる撮像順であってもよく、スキャンパターン(渦巻き状の順序又はジグザグ状の順序など)が異なる撮像順であってもよい。貼り合せ失敗の発生は、どのような撮像順が設定されるかに大きく依存する。図4を参照して説明したように、個別画像30の貼り合せは、重なり部分33の輝度値を用いて行われる。例えば、重なり部分33内の画素間で輝度値がほとんど変化しないような個別画像30から撮像されると、貼り合せにずれが発生し、撮像領域において貼り合せ失敗が発生する可能性が高くなる。このように、貼り合せ失敗の発生は、撮像順に依存し得る。よって、貼り合せ失敗が発生した場合には、別の撮像順で再撮像を行うことにより、貼り合せ失敗が発生する可能性をより低くすることができる。なお、撮像順情報は、貼り合せ失敗が検出された場合の撮像順そのものを示す情報を含んでもよい。
第3に、フォーカス位置の不具合が検出される場合の設定情報の生成について説明する。設定情報生成部150は、フォーカス位置の不具合が検出された場合に、フォーカス位置を再設定するためのフォーカス位置情報を生成する。当該フォーカス位置情報は、設定情報の1つである。当該フォーカス位置情報は、例えば、フォーカス位置の不具合が検出された個別画像に対応する個別領域の座標及び設定されていたフォーカス位置を含む情報である。このようなフォーカス位置情報により、撮像制御部110は、特にフォーカス位置の不具合を伴った個別領域において、フォーカス位置を変更することが可能になる。その結果、再撮像の際に同様のフォーカス位置の不具合を回避することができる。
なお、撮像制御部110は、撮像領域内の各個別領域でのフォーカス位置を決めるにあたり、例えば、いくつかの個別領域でフォーカス位置を独立的に測定し、測定された当該フォーカス位置を用いた補間により、他の個別領域のフォーカス位置を決める。この場合、上記フォーカス位置情報に基づいて、撮像制御部110は、フォーカス位置を独立的に測定する個別領域を変更してもよく、また、補間手法を変更してもよい。この場合、フォーカス位置情報は、単にフォーカス位置を変更することを指示する情報を含んでもよい。
第4に、ホワイトバランスの不具合が検出される場合の設定情報の生成について説明する。設定情報生成部150は、ホワイトバランスの不具合が検出された場合に、ホワイトバランスを再設定するためのホワイトバランス情報を生成する。当該ホワイトバランス情報は、設定情報の1つである。当該ホワイトバランス情報は、例えば、ホワイトバランスの不具合が検出された場合の、サンプルが存在しない領域の画像の色情報(即ち、テンプレートの色情報と比較された色情報)を含む。このようなホワイトバランス情報により、撮像制御部110は、ホワイトバランス(例えば、ホワイトバランス補正におけるRGBの係数)を適切な値に調整することが可能になる。その結果、再撮像の際に同様のホワイトバランスの不具合を回避することができる。なお、設定情報生成部150は、上記サンプルが存在しない領域の画像の色情報とテンプレートとして予め用意されている色情報とから、RGBの係数をどのように変更すべきか(例えば、Rを0.8倍にする、等)を決定し、当該情報を含むホワイトバランス情報を生成してもよい。
第5に、明るさの不具合が検出される場合の設定情報の生成について説明する。設定情報生成部150は、明るさの不具合が検出された場合に、照明の明るさを再設定するための明るさ情報を生成する。当該明るさ情報は、設定情報の1つである。当該明るさ情報は、例えば、明るさの不具合が検出された場合の、サンプルが存在しない領域の画像の輝度情報(即ち、テンプレートの輝度情報と比較された輝度情報)を含む。このような明るさ情報により、撮像制御部110は、照明の明るさを適切な値に調整することが可能になる。その結果、再撮像の際に同様の明るさの不具合を回避することができる。なお、設定情報生成部150は、上記サンプルが存在しない領域の画像の輝度情報とテンプレートとして予め用意されている輝度情報とから、照明の明るさをどのように変更すべきか(例えば、1.2倍明るくする、等)を決定し、当該情報を含む明るさ情報を生成してもよい。
以上、具体的な失敗検出の第1〜第5の例を用いて、設定情報生成部150による設定情報の生成について説明した。このような設定情報により、再度の失敗を回避するための撮像条件を個別にユーザが再検討せずとも、スキャナ100が再撮像の撮像条件を自動的に設定することが可能になる。
設定情報生成部150は、生成した設定情報を撮像制御部110及び通信部160に出力する。
(撮像制御部110 続き)
以上のように、失敗検出部140により、再撮像を要する失敗が検出され、設定情報生成部150により、当該失敗に応じた設定情報が生成される。一方、例えば、撮像制御部110は、失敗検出部140により検出される上記失敗の種類に応じて、デジタル顕微鏡120に個々の個別画像を再撮像させるか複数の個別画像の全体を再撮像させるかを判定する。即ち、部分的な再撮像又は全体的な再撮像のいずれを行うかが判定される。例えば、撮像制御部110は、以下のような判定を行う。
Figure 0006102749
即ち、失敗の種類が撮像漏れ又はフォーカス位置の不具合であれば、撮像制御部110は、例えば、再撮像に要する時間の短縮を優先する場合に、部分的な再撮像を行うと判定し得る。貼り合せ失敗の回避を優先する場合には、全体的な再撮像を行うと判定されてよい。撮像に要する時間の短縮又は貼り合せ失敗の回避のいずれを優先するかは、例えば撮像制御部110に予め定められている。
また、失敗の種類が貼り合せ失敗、ホワイトバランの不具合、明るさの不具合であれば、撮像制御部110は、例えば、全体的な再撮像を行うと判定する。貼り合せ失敗は、貼り合せ画像の一部のみではなく、貼り合せ画像全体に及ぶことが多いので、全体的な再撮像を行うことが望ましい。また、ホワイトバランス及び明るさは、通常、個別画像毎にではなく複数の個別画像の全体に同じ内容で設定されるので、複数の個別画像に同様に影響を及ぼす。よって、全体的な再撮像を行うことが望ましい。
このように、再撮像の範囲を失敗の種類に応じて判定することにより、必要十分な範囲での再撮像を行うことができる。即ち、再撮像での再度の失敗を回避しつつ、より効率的に再撮像を行うことが可能になる。
(通信部160)
通信部160は、サーバ200−1及びビューア300と通信する。例えば、通信部160は、貼り合せ部130からの貼り合せ画像をサーバ200−1及びビューア300に送信する。また、通信部160は、撮像制御部110からの撮像条件情報をサーバ200−1及びビューア300に送信する。また、設定情報生成部150からの設定情報をビューア300に送信する。
また、通信部160は、撮像条件がサーバ200−1又はビューア300により決定され又は変更される場合には、サーバ200−1又はビューア300から撮像条件情報を受信してもよい。同様に、通信部160は、設定情報がサーバ200−1又はビューア300により生成され又は変更される場合には、サーバ200−1又はビューア300から設定情報を受信してもよい。通信部160は、受信されるこれら情報を撮像制御部110に出力し得る。
<2.2.サーバの構成>
図7を参照して、第1の実施形態に係るサーバ200−1の構成の一例について説明する。図7は、第1の実施形態に係るサーバ200−1の構成の一例を示すブロック図である。図7を参照すると、サーバ200−1は、通信部210、記憶部220及び制御部230を備える。
(通信部210)
通信部210は、スキャナ100−1及びビューア300と通信する。例えば、通信部210は、スキャナ100−1から貼り合せ画像及び撮像条件情報を受信する。また、通信部210は、記憶部220に記憶される貼り合せ画像及び撮像条件情報をビューア300に送信する。
(記憶部220)
記憶部220は、サーバ200−1により管理される貼り合せ画像及び撮像条件情報を記憶する。例えば、記憶部220は、各サンプルの識別情報と関連付けて、当該サンプルの貼り合せ画像及び当該貼り合せ画像が生成された際の撮像条件情報を記憶するデータベースを構成してもよい。
(制御部230)
制御部230は、サーバ200−1全体を制御する。例えば、制御部230は、通信部210によりスキャナ100−1から貼り合せ画像及び撮像条件情報が受信されると、受信された貼り合せ画像及び撮像条件情報を記憶部220に記憶させる。また、制御部230は、ユーザからの指示に応じて又は自動的に、ユーザに呈示されるべき貼り合せ画像及び撮像条件情報を通信部210からビューア300へ送信させてもよい。
<2.3.ビューアの構成>
図8を参照して、第1の実施形態に係るビューア300の構成の一例について説明する。図8は、第1の実施形態に係るビューア300の構成の一例を示すブロック図である。図8を参照すると、ビューア300は、通信部310、入力部320、制御部330及び表示部340を備える。
(通信部310)
通信部310は、スキャナ100−1及びサーバ200−1と通信する。例えば、通信部310は、ユーザに呈示されるべき貼り合せ画像を、スキャナ100−1又はサーバ200−1から受信する。通信部310は、貼り合せ画像と共に、当該貼り合せ画像と関連付けられる撮像条件情報又は設定情報をも受信し得る。
また、通信部310は、後に説明するユーザインタフェースを介してユーザにより撮像条件が指定され又は設定情報が編集された場合に、指定された撮像条件を表す撮像条件情報又は編集された設定情報をスキャナ100−1に送信する。
(入力部320)
入力部320は、ユーザ操作を検出する。当該入力部320は、例えば、タッチパネル、キーボード、ボタン及びポインティングデバイスなどの入力デバイスのうち1つ以上を含み得る。
(制御部330)
制御部330は、ビューア300全体を制御する。制御部330は、例えば、取得部331及び表示制御部333を含む。
(取得部331)
取得部331は、通信部310を介して、ユーザに呈示されるべき貼り合せ画像及び当該貼り合せ画像が生成された際の撮像条件情報を取得する。取得部331は、例えば、ユーザからの指示に応じて、又はスキャナ100−1で貼り合せ画像が生成される度に、当該貼り合せ画像及び撮像条件情報を取得する。
また、取得部331は、通信部310を介して、現時点のスキャナ100−1の撮像条件を表す撮像条件情報を取得する。取得部331は、例えば、ユーザからの指示に応じて、当該撮像条件情報を取得する。
また、取得部331は、所定の条件下で、通信部310を介して、設定情報を取得してもよい。例えば、撮像開始前にユーザにより設定情報のユーザへの呈示が指示された場合、又はユーザに呈示すべき設定情報が生成された場合に、取得部331は、設定情報を取得してもよい。
(表示制御部333)
表示制御部333は、貼り合せ画像を表示部340の表示面に表示させる。例えば、表示制御部333は、ユーザからの指示に応じて、又は貼り合せ画像が生成される度に、貼り合せ画像を上記表示面に表示させる。また、ユーザが貼り合せ画像の閲覧時に再撮像を要する失敗を発見した場合に、ユーザが撮像条件を再検討できるように、表示制御部333は、例えば、当該貼り合せ画像が生成された際の撮像条件情報を表示部340の表示面に表示させる。
また、ユーザが撮像条件を自由に指定することができるように、表示制御部333は、例えば、スキャナ100−1の撮像条件をユーザ操作により指定可能とするためのユーザインターフェースを提供する。例えば、表示制御部333は、ユーザからの指示に応じて、現時点のスキャナ100−1の撮像条件をユーザに呈示する。また、ユーザが、入力部320へのユーザ操作により撮像条件を指定すると、表示制御部333は、指定された撮像条件を表す撮像条件情報を通信部310を介してスキャナ100−1へ送信する。
また、表示制御部333は、取得した設定情報を表示部340の表示面に表示させてもよい。本実施形態では、基本的には、スキャナ100−1において、再撮像を要する失敗が自動的に検出され、再撮像も自動的に行われる。ただし、撮像開始前にユーザにより設定情報のユーザへの呈示が指示された場合、又はユーザに呈示すべき設定情報が生成された場合等には、再撮像のための設定情報が表示されてもよい。
一例として、表示制御部333は、設定情報を、再撮像が実行される前にユーザに呈示してもよい。そして、表示制御部333は、設定情報を、再撮像が実行される前にユーザにより編集可能としてもよい。このように設定情報が編集可能であれば、ユーザは、設定情報が適切でないと判断する場合に、設定情報を編集し、より適切な再撮像を行わせることが可能になる。
(表示部340)
表示部340は、表示面を有するディスプレイである。表示部340は、例えば、制御部330による制御に応じて、貼り合せ画像、撮像条件情報、又は設定情報等を表示面に表示する。
<2.4.処理の流れ>
次に、図9〜図11を参照して、第1の実施形態に係る撮像制御処理の例について説明する。
(撮像制御処理)
図9は、第1の実施形態に係る撮像制御処理の概略的な流れの一例を示すフローチャートである。
まず、ステップS401〜ステップS405は、撮像全体に関する処理である。ステップS401では、スキャナ100−1の撮像制御部110は、撮像領域を決定し、決定した当該撮像領域をデジタル顕微鏡120に設定する。次に、ステップS403では、撮像制御部110は、設定された撮像領域に含まれる各個別領域を映す個別画像の撮像順を決定し、決定した当該撮像順をデジタル顕微鏡120に設定する。次に、ステップS405で、撮像制御部110は、例えばホワイトバランス、照明の明るさのような、その他の全体の撮像条件を決定し、決定した当該撮像条件をデジタル顕微鏡120に設定する。
次に、ステップS407〜ステップS415は、個別画像毎に繰り返される処理である。
ステップS407で、撮像制御部110は、例えばフォーカス位置のような、各個別画像の撮像のための個別の撮像条件を決定し、決定した当該撮像条件をデジタル顕微鏡120に設定する。次に、ステップS409で、デジタル顕微鏡120は、設定された撮像順序に従って個別画像を撮像する。そして、ステップS411で、貼り合せ部130は、撮像された個別画像と隣接する個別画像との貼り合せを行う。そして、ステップS500で、失敗検出部140は、撮像された個別画像に関する個別画像評価処理を実行する。
また、ステップS413で、失敗検出部140は、個別画像評価処理において再撮像を要する失敗を検出したか否かを判定する。当該失敗が検出されていれば、処理はステップS417へ進む。そうでなければ、処理はS415へ進む。
ステップS415で、撮像制御部110は、撮像領域に含まれる全ての個別領域について個別画像の撮像を完了したかを判定する。撮像が完了した場合には、処理は終了する。そうでなければ、処理は、ステップS407へ戻る。
また、ステップS417で、設定情報生成部150は、再撮像の際の撮像条件を設定するための設定情報を生成する。そして、ステップS419で、撮像制御部110は、部分的な再撮像又は全体的な再撮像のいずれを行うかを判定する。全体的な再撮像が望ましい場合には、処理はステップS401へ戻る。そうでなければ、処理はステップS407へ戻る。なお、処理がステップS401へ戻った場合に、ステップS401〜ステップS407で、撮像制御部110は、生成された設定情報に基づいて、全体の撮像条件及び個別の撮像条件を設定する。また、処理がステップS407へ戻った場合に、ステップS407で、撮像制御部110は、生成された設定情報に基づいて、個別の撮像条件を設定する。
(個別画像評価処理500)
次に、個別画像評処理500の例について説明する。個別画像評価処理500は、再撮像を要する失敗の種類毎に実行される。即ち、5つの種類の失敗を検出する場合には、5つの個別画像評価処理500が実行される。ここでは、とりわけ、撮像漏れに関する個別画像評価処理500a及び貼り合せ失敗に関する個別画像評価処理500bについて説明する。
図10は、撮像漏れに関する個別画像評価処理500aの流れの一例を示すフローチャートである。当該個別画像評価処理500aでは、個別画像におけるテクスチャの存在方向が評価される。
まず、ステップS510で、失敗検出部140は、個別画像が撮像領域20の周縁部分に位置する領域の個別画像(即ち、貼り合せ画像の周縁部分を構成する個別画像)であるかを判定する。個別画像が撮像領域20の周縁部分に位置する領域の個別画像であれば、処理はステップS520へ進む。そうでなければ、処理は終了する。
ステップS520で、失敗検出部140は、個別画像のはみ出し部分(即ち、個別画像のうちの、貼り合せ画像からはみ出す部分)のエッジを検出し、検出されたエッジの量を算出する。
そして、ステップS530で、失敗検出部140は、算出されたエッジの量が閾値を超えるか否かを判定する。即ち、失敗検出部140は、個別画像のうちのはみ出し部分にテクスチャがあるかを判定する。エッジの量が閾値を超えれば、処理はステップS540へ進む。そうでなければ、処理は終了する。
ステップS540で、失敗検出部140は、再撮像を要する失敗として、貼り合せ画像に含まれるべき領域の撮像漏れを検出する。そして、処理は終了する。
次に、図11は、貼り合せ失敗に関する個別画像評価処理500bの流れの一例を示すフローチャートである。当該個別画像評価処理500bでは、貼り合せ画像が生成される際の重なり部分の輝度値が評価される。
まず、ステップS550で、失敗検出部140は、互いに隣接する個別画像の重なり部分の間の輝度値の差(即ち、重なり部分の対応する画素の間の輝度値の差分の絶対値の合計値)を算出する。
そして、ステップS560で、失敗検出部140は、上記重なり部分の間の輝度値の差が所定の閾値を超えるかを判定する。当該差が所定の閾値を超えれば、処理はステップS570へ進む。そうでなければ、処理は終了する。
ステップS570で、失敗検出部140は、再撮像を要する失敗として、貼り合せ画像を生成する際の貼り合せ失敗を検出する。そして、処理は終了する。
以上、第1の実施形態について説明したが、当該第1の実施形態によれば、スキャナ100において、再撮像を要する失敗が自動的に検出され、失敗に応じて生成された設定情報に基づいて再撮像の際の撮像条件が自動的に設定される。そのため、ユーザは、従来のように、画面上での画像の確認、及び再度の失敗を回避するための撮像条件の再設定等の作業を行わなくてもよい。よって、より少ない手間及び時間で再撮像を行うことが可能になる。さらに、第1の実施形態では、失敗が検出された後、即座に再撮像を行うことが可能になる。即ち、再撮像のために、デジタル顕微鏡120にサンプルを再投入する作業、又は再設定する必要のない項目についての設定の変更が不要となる。従って、この場合、再撮像に要する手間はほぼ無くなり、再撮像に要する時間も極めて少なくなる。
<3.第2の実施形態>
続いて、本開示の第2の実施形態を説明する。本開示の第2の実施形態によれば、サーバ200−2において、再撮像を要する失敗が自動的に検出される。そして、サーバ200−2は、当該失敗の検出に応じて、スキャナ100−2にサンプルの再撮像を促す。なお、第2の実施形態におけるビューア300の構成は、第1の実施形態におけるビューア300の構成と同じであってよい。
<3.1.スキャナの構成>
まず、図12を参照して、第2の実施形態に係るスキャナ100−2の構成の一例について説明する。図12は、第2の実施形態に係るスキャナ100−2の構成の一例を示すブロック図である。図12を参照すると、スキャナ100−2は、撮像制御部111、デジタル顕微鏡121、貼り合せ部131及び通信部160を備える。
(撮像制御部111)
撮像制御部111は、デジタル顕微鏡121を用いた撮像を制御する。例えば、撮像制御部111は、ユーザにより指定され、又は自動的に決定される撮像条件をデジタル顕微鏡121に設定し、当該撮像条件に従ってデジタル顕微鏡121にサンプルの画像を撮像させる。撮像制御部111は、第1の実施形態に係る撮像制御部110と同様、例えば、サンプル全体の撮像条件として、撮像領域、撮像順、照明の明るさ及びホワイトバランスの係数等を設定する。また、撮像制御部111は、例えば、個別領域ごとの撮像条件として、フォーカス位置を設定する。
また、本実施形態において、サーバ200−2により生成される設定情報が通信部160により受信されると、撮像制御部111は、当該設定情報に基づいて、上記撮像条件の少なくとも一部をデジタル顕微鏡121に再設定する。そして、撮像制御部111は、再設定された撮像条件に従って、デジタル顕微鏡121にサンプルの画像を再撮像させる。
撮像制御部11は、設定し又は再設定した撮像条件を表す撮像条件情報を通信部160に出力する。
(デジタル顕微鏡121)
デジタル顕微鏡121は、撮像制御部111により設定された撮像条件に従って画像を撮像する。例えば、デジタル顕微鏡121は、第1の実施形態に係るデジタル顕微鏡120と同様、設定された撮影順に従って、設定された撮像領域内の各個別領域を映す個別画像を撮像する。そして、デジタル顕微鏡121は、撮像された個別画像を貼り合せ部131に出力する。
(貼り合せ部131)
貼り合せ部131は、第1の実施形態に係る貼り合せ部130と同様、デジタル顕微鏡121により撮像された個別画像を貼り合せることにより、貼り合せ画像を生成する。そして、貼り合せ部131は、生成した貼り合せ画像を通信部160に出力する。
<3.2.サーバの構成>
次に、図13を参照して、第2の実施形態に係るサーバ200−2の構成の一例について説明する。図13は、第2の実施形態に係るサーバ200−2の構成の一例を示すブロック図である。図13を参照すると、サーバ200−2は、通信部210、記憶部220、制御部230、失敗検出部240及び設定情報生成部250を備える。
(失敗検出部240)
失敗検出部240は、通信部210を介してスキャナ100−2から受信される貼り合せ画像(又はその部分画像)を評価することにより、再撮像を要する失敗を検出する。失敗検出部240により検出される失敗の種類は、第1の実施形態に係るスキャナ100−1の失敗検出部140により検出され得る失敗の種類と同様であってよい。即ち、失敗検出部240は、例えば、貼り合せ画像に関連する失敗として、上述した撮像漏れ及び貼り合せ失敗を検出し得る。また、失敗検出部240は、その他の失敗として、上述したフォーカス位置の不具合、ホワイトバランスの不具合及び明るさの不具合を検出し得る。
なお、失敗検出部240は、撮像漏れを検出する場合には、貼り合せ画像にはみ出し部分が含まれないため、貼り合せ画像又は部分画像におけるテクスチャの存在方向を評価するにあたって、図5Bに示される周縁部分35を用いる。また、失敗検出部240は、貼り合せ失敗を検出する場合には、互いに隣接する個別画像の2つの重なり部分が既に失われているため、図6に示されるように貼り合せ画像に含まれるエッジの方向を評価する。
失敗検出部240は、検出した失敗に関する情報を設定情報生成部250に出力する。
(設定情報生成部250)
設定情報生成部250は、失敗検出部240により失敗が検出された場合に、再撮像の際の撮像条件を設定するための設定情報を生成する。設定情報生成部250は、設定情報生成部150と同様に、撮像漏れ、貼り合せ失敗、フォーカス位置の不具合、ホワイトバランスの不具合及び明るさの不具合等の、再撮像を要する失敗が検出された場合に、各種設定情報を生成する。
設定情報生成部250は、設定情報を生成した場合には、通信部210を介して、スキャナ100−2に設定情報及び再撮像を促すための再撮像要求を送信する。再撮像要求は、一旦ビューア300に送信され、ビューア300においてユーザからの再撮像の指示が入力された後にスキャナ100−2へ転送されてもよい。
<3.3.処理の流れ>
次に、図14〜図17を参照して、第2の実施形態に係る撮像制御処理の例について説明する。
(サーバ200−2側での撮像制御処理)
まず、撮像制御処理のうち、サーバ200−2側で行われる処理の例について説明する。図14は、第2の実施形態に係るサーバ200−2側での撮像制御処理の概略的な流れの一例を示すフローチャートである。
まず、ステップS601で、サーバ200−2の失敗検出部240は、記憶部220から貼り合せ画像を読み込む。例えば、失敗検出部240は、未評価の貼り合せ画像を自動的に選択することにより、又はユーザからの指示に応じて、記憶部220から貼り合せ画像を選択し、読み込む。次に、ステップS700で、失敗検出部240は、貼り合せ画像評価処理を実行する。そして、ステップS603で、失敗検出部240は、再撮像を要する失敗を検出したかを判定する。当該失敗が検出されていれば、処理はステップS605へ進む。そうでなければ処理は終了する。
ステップS605で、設定情報生成部250は、再撮像の際の撮像条件を設定するための設定情報を生成する。次に、ステップS607で、設定情報生成部250は、生成した設定情報を記憶部220に記憶させる。そして、ステップS609で、設定情報生成部250は、通信部210を介して、スキャナ100−2又はビューア300に設定情報及び再撮像要求を送信する。そして、処理は終了する。
(貼り合せ画像評価処理700)
次に、貼り合せ画像評処理700の例について説明する。貼り合せ画像評処理700は、再撮像を要する失敗の種類毎に実行される。即ち、5つの種類の失敗を検出する場合には、5つの貼り合せ画像評処理700が実行される。ここでは、とりわけ、撮像漏れに関する貼り合せ画像評処理700a及び貼り合せ失敗に関する貼り合せ画像評処理700bについて説明する。
図15は、撮像漏れに関する貼り合せ画像評価処理700aの流れの一例を示すフローチャートである。当該貼り合せ画像評価処理700aでは、貼り合せ画像におけるテクスチャの存在方向が評価される。
まず、ステップS710で、失敗検出部240は、貼り合せ画像の周縁部分のエッジを検出し、検出されたエッジの量を算出する。失敗検出部240は、例えば、貼り合せ画像を構成する個別画像(即ち部分画像)ごとにエッジの量を算出する。
そして、ステップS720で、失敗検出部240は、算出されたエッジの量が閾値を超えるか否かを判定する。即ち、失敗検出部240は、貼り合せ画像のうちの周縁部分にテクスチャがあるかを判定する。失敗検出部240は、例えば、貼り合せ画像を構成する個別画像(即ち部分画像)ごとに判定を行う。エッジの量が閾値を超えれば、処理はステップS730へ進む。そうでなければ、処理は終了する。
ステップS730で、失敗検出部240は、再撮像を要する失敗として、貼り合せ画像に含まれるべき領域の撮像漏れを検出する。そして、処理は終了する。
次に、図16は、貼り合せ失敗に関する貼り合せ画像評価処理700bの流れの一例を示すフローチャートである。当該貼り合せ画像評価処理700では、所定方向のエッジが評価される。
まず、ステップS740で、失敗検出部240は、貼り合せ画像に含まれる所定の方向のエッジを検出し、検出されたエッジの長さ又は強さを算出する。
そして、ステップS750で、失敗検出部240は、所定の長さ又は所定の強さ以上の所定方向のエッジがあるかを判定する。所定の長さ又は所定の強さ以上の所定の方向のエッジがある場合に、処理はステップS760へ進む。そうでなければ、処理は終了する。
ステップS760で、失敗検出部240は、再撮像を要する失敗として、貼り合せ画像を生成する際の貼り合せ失敗を検出する。そして、処理は終了する。
(スキャナ100−2側での撮像制御処理)
次に、撮像制御処理のうち、スキャナ100−2側で行われる処理の例について説明する。図17は、第2の実施形態に係るスキャナ100−2側での撮像制御処理の概略的な流れの一例を示すフローチャートである。
まず、ステップS801〜ステップS807は、撮像全体に関する処理である。ステップS801で、スキャナ100−2の通信部160は、サーバ200−2から設定情報を受信する。次に、ステップS803で、撮像制御部111は、設定情報に基づいて、撮像領域を決定し、決定した撮像領域をデジタル顕微鏡121に設定する。また、ステップS805で、撮像制御部111は、設定情報に基づいて、設定された撮像領域に含まれる各個別領域を映す個別画像の撮像順を決定し、決定した撮像順をデジタル顕微鏡121に設定する。また、ステップS807で、撮像制御部111は、設定情報に基づいて、例えばホワイトバランス、照明の明るさのような、その他の全体の撮像条件を決定し、決定した撮像条件をデジタル顕微鏡121に設定する。
次に、ステップS809〜ステップS815は、個別画像毎に繰り返される処理である。
ステップS809で、撮像制御部111は、設定情報に基づいて、例えばフォーカス位置のような、各個別画像の撮像のための個別の撮像条件を決定し、決定した撮像条件をデジタル顕微鏡121に設定する。次に、ステップS811で、デジタル顕微鏡121は、設定された撮像順序に従って個別画像を撮像する。そして、ステップS813で、貼り合せ部131は、撮像された個別画像と隣接する個別画像との貼り合せを行う。
ステップS815で、撮像制御部111は、撮像領域に含まれる全ての個別領域について個別画像の撮像を完了したかを判定する。撮像が完了した場合には、処理はステップS817へ進む。そうでなければ、処理は、ステップS809へ戻る。
ステップS817で、通信部160は、貼り合せ画像をサーバ200−2及びビューア300に送信する。そして、処理は終了する。
以上、第2の実施形態について説明したが、当該第2の実施形態によれば、サーバ200において、再撮像を要する失敗が自動的に検出され、当該失敗に応じた再撮像の実行をスキャナ100−2に促す。そのため、ユーザは、従来のように、画面上での画像の確認、及び再度の失敗を回避するための撮像条件の再設定等の作業を行わなくてもよい。よって、より少ない手間及び時間で再撮像を行うことが可能になる。さらに、第2の実施形態では、個々のスキャナに失敗の検出及び設定情報の生成の機能がなくても、サーバに貼り合せ画像を記憶することにより、失敗の検出及び設定情報の生成を行うことが可能になる。また、スキャナでの撮像時間を短縮しつつ、必要に応じて事後的に失敗の検出及び設定情報の生成を行うことが可能になる。
<4.まとめ>
ここまで、図1〜17を用いて、本開示に係るデジタル顕微鏡システムの2つの実施形態について説明した。これら実施形態によれば、デジタル顕微鏡を用いて撮像される画像を評価することにより、再撮像を要する失敗が検出される。そして、当該失敗が検出された場合に、再撮像の際の撮像条件を設定するための設定情報が生成される。即ち、再撮像を要する失敗が自動的に検出され、失敗に応じて生成された設定情報に基づいて再撮像の際の撮像条件が自動的に設定される。そのため、ユーザは、従来のように、画面上での画像の確認、及び再度の失敗を回避するための撮像条件の再設定等の作業を行わなくてもよい。よって、より少ない手間及び時間で再撮像を行うことが可能になる。
また、再撮像を要する失敗として、貼り合せ画像に関連する失敗が検出される。このような失敗の検出により、撮像漏れや貼り合せ失敗のようなデジタル顕微鏡システムに特有の失敗が発生しても、再撮像が自動的に行われる。その結果、デジタル顕微鏡システムでの再撮像の手間及び時間をより少なくすることができる。
また、撮像漏れが検出された場合に、設定情報として撮像領域情報が生成される。当該撮像領域情報により、撮像漏れの領域を含むように撮像領域を設定することが可能になる。その結果、再撮像の際に同様の撮像漏れを回避することができる。また、当該撮像領域情報と併せて、設定情報として撮像順情報が生成される。当該撮像順情報により、再撮像の際に貼り合せ失敗を回避することも可能になる。
また、貼り合せ失敗が検出された場合に、設定情報として撮像順情報が生成される。当該撮像順情報により、別の撮像順で再撮像を行うことによって、貼り合せ失敗が発生する可能性をより低くすることができる。
また、再撮像の際には、検出される失敗の種類に応じて、部分的な再撮像又は全体的な再撮像のいずれを行うかが判定される。このように、再撮像の範囲を失敗の種類に応じて判定することにより、必要十分な範囲での再撮像を行うことができる。即ち、再撮像での再度の失敗を回避しつつ、より効率的に再撮像を行うことが可能になる。
また、失敗の検出及び設定情報の生成は、例えばスキャナ側で行われる。この場合に、例えば、複数の個別画像の各々が撮像される都度、再撮像を要する失敗の検出のために各画像が評価される。このような評価により、撮像後に失敗を検出できるので、即座に再撮像を行うことが可能になる。それにより、再撮像のために、プレパラートのような撮像対象を都度配置し直す必要はなくなるので、再撮像に要する手間及び時間を少なくすることができる。
また、失敗の検出及び設定情報の生成は、例えばサーバ側で行われる。この場合に、例えば、サーバに蓄積された貼り合せ画像を用いて、失敗の検出及び設定情報の生成が行われる。これにより、個々のスキャナに失敗の検出及び設定情報の生成の機能がなくても、当該サーバに貼り合せ画像を記憶することにより、失敗の検出及び設定情報の生成を行うことが可能になる。また、スキャナでの撮像時間を短縮しつつ、必要に応じて事後的に失敗の検出及び設定情報の生成を行うことが可能になる。
以上、添付図面を参照しながら本開示の好適な実施形態について説明したが、本開示は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。
例えば、デジタル顕微鏡は、スキャナにより備えられなくてもよく、スキャナとは別の装置であってもよい。この場合に、デジタル顕微鏡はスキャナに接続される。また、スキャナ、サーバ及びビューアのうちの2つ以上の装置が、同一の装置であってもよい。
また、本明細書の撮像制御処理における処理ステップは、必ずしもフローチャートに記載された順序に沿って時系列に実行されなくてよい。例えば、撮像制御処理における処理ステップは、フローチャートとして記載した順序と異なる順序で実行されても、並列的に実行されてもよい。
また、スキャナ、サーバ又はビューアに内蔵されるCPU、ROM及びRAM等のハードウェアに、上記スキャナ、サーバ又はビューアの各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させた記憶媒体も提供される。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
デジタル顕微鏡を用いて撮像される画像を評価することにより、前記画像に関連する再撮像を要する失敗を検出する検出部と、
前記検出部により前記失敗が検出された場合に、再撮像の際の撮像条件を設定するための設定情報を生成する生成部と
を備える情報処理装置。
(2)
前記検出部は、前記失敗として、複数の画像を貼り合せることにより生成される貼り合せ画像に関連する失敗を検出する、前記(1)に記載の情報処理装置。
(3)
前記貼り合せ画像に関連する前記失敗は、前記貼り合せ画像に含まれるべき領域の撮像漏れを含む、前記(2)に記載の情報処理装置。
(4)
前記検出部は、前記画像におけるテクスチャの存在方向を評価することにより、前記撮像漏れを検出する、前記(3)に記載の情報処理装置。
(5)
前記生成部は、前記検出部により前記撮像漏れが検出された場合に、新たに撮像されるべき追加領域を含むように撮像領域を再設定するための撮像領域情報を生成する、前記(2)〜(4)のいずれか1項に記載の情報処理装置。
(6)
前記生成部は、撮像領域が再設定される場合に、前記画像の撮像順を再設定するための撮像順情報をさらに生成する、前記(5)に記載の情報処理装置。
(7)
前記貼り合せ画像に関連する前記失敗は、前記貼り合せ画像を生成する際の貼り合せ失敗を含む、前記(2)に記載の情報処理装置。
(8)
前記検出部は、前記貼り合せ画像に含まれる所定の方向のエッジを評価することにより、前記貼り合せ失敗を検出する、前記(7)に記載の情報処理装置。
(9)
前記検出部は、前記貼り合せ画像が生成される際の重なり部分の輝度値を評価することにより、前記貼り合せ失敗を検出する、前記(7)に記載の情報処理装置。
(10)
前記生成部は、前記検出部により前記貼り合せ失敗が検出された場合に、前記画像の撮像順を再設定するための撮像順情報を生成する、前記(7)〜(9)のいずれか1項に記載の情報処理装置。
(11)
前記検出部は、前記失敗として、フォーカス位置、ホワイトバランス又は明るさの不具合をさらに検出する、前記(2)〜(10)のいずれか1項に記載の情報処理装置。
(12)
前記情報処理装置は、前記検出部により検出される前記失敗の種類に応じて、前記デジタル顕微鏡に個々の画像を再撮像させるか複数の画像の全体を再撮像させるかを判定する撮像制御部、をさらに備える、前記(2)〜(11)のいずれか1項に記載の情報処理装置。
(13)
前記検出部は、前記複数の画像の各々が撮像される都度、前記失敗の検出のために各画像を評価する、前記(2)〜(12)のいずれか1項に記載の情報処理装置。
(14)
前記検出部は、前記貼り合せ画像が生成された後に、前記貼り合せ画像又は前記貼り合せ画像の部分画像を評価する、前記(2)〜(12)のいずれか1項に記載の情報処理装置。
(15)
前記情報処理装置は、
前記生成部により生成される前記設定情報を、再撮像が実行される前にユーザに呈示し又はユーザにより編集可能とする表示制御部、
をさらに備える、前記(1)〜(14)のいずれか1項に記載の情報処理装置。
(16)
デジタル顕微鏡を用いて撮像される画像を評価することにより、前記画像に関連する再撮像を要する失敗を検出することと、
前記検出部により前記失敗が検出された場合に、再撮像の際の撮像条件を設定するための設定情報を生成することと
を含む撮像制御方法。
(17)
コンピュータを、
デジタル顕微鏡を用いて撮像される画像を評価することにより、前記画像に関連する再撮像を要する失敗を検出する検出部と、
前記検出部により前記失敗が検出された場合に、再撮像の際の撮像条件を設定するための設定情報を生成する生成部と
として機能させるためのプログラム。
(18)
デジタル顕微鏡と、
前記デジタル顕微鏡を用いて撮像される画像を評価することにより、前記画像に関連する再撮像を要する失敗を検出する検出部、及び
前記検出部により前記失敗が検出された場合に、再撮像の際の撮像条件を設定するための設定情報を生成する生成部
を備える情報処理装置と、
を含むデジタル顕微鏡システム。
(19)
デジタル顕微鏡を用いて撮像される画像を評価することにより前記画像に関連する再撮像を要する失敗が検出された場合に生成される、再撮像の際の撮像条件を設定するための設定情報を取得する取得部と、
前記取得部により取得される前記設定情報を表示面に表示させる表示制御部と、
を備える表示制御装置。
(20)
デジタル顕微鏡を用いて撮像される複数の画像を貼り合せることで生成される貼り合せ画像に関連する失敗を、画像を評価することにより検出する検出部と、
前記検出部により前記失敗が検出された場合に、再撮像の際の撮像条件を設定するための設定情報を生成する生成部と
を備える情報処理装置。
1 デジタル顕微鏡システム
10 生体サンプル
20 撮像領域
21 個別領域
30 個別画像
33 重なり部分
35 周縁部分
37 はみ出し部分
40 貼り合せ画像
100 スキャナ
110、111 撮像制御部
120、121 デジタル顕微鏡
130、131 貼り合せ部
140 失敗検出部
150 設定情報生成部
160 通信部
200 サーバ
210 通信部
220 記憶部
230 制御部
240 失敗検出部
250 設定情報生成部
300 ビューア
310 通信部
320 入力部
330 制御部
331 取得部
333 表示制御部
340 表示部

Claims (18)

  1. デジタル顕微鏡を用いて撮像される画像を評価することにより、前記画像に関連する再撮像を要する失敗を検出する検出部と、
    前記検出部により前記失敗が検出された場合に、再撮像の際の撮像条件を設定するための設定情報を生成する生成部と、
    を備え、
    前記検出部は、前記失敗として、複数の画像を貼り合せることにより生成される貼り合せ画像に関連する失敗を検出し、
    前記貼り合せ画像に関連する前記失敗は、前記貼り合せ画像に含まれるべき領域の撮像漏れを含み、
    前記検出部は、前記画像、又は前記貼り合せ画像、に含まれるエッジに関する判定により、前記撮像漏れを検出し、
    前記貼り合せ画像に関連する前記失敗は、前記貼り合せ画像を生成する際の貼り合せ失敗を含む、情報処理装置。
  2. 前記検出部は、前記画像におけるテクスチャの存在方向を評価することにより、前記撮像漏れを検出する、請求項1に記載の情報処理装置。
  3. 前記生成部は、前記検出部により前記撮像漏れが検出された場合に、新たに撮像されるべき追加領域を含むように撮像領域を再設定するための撮像領域情報を生成する、請求項1又は2に記載の情報処理装置。
  4. 前記生成部は、撮像領域が再設定される場合に、前記画像の撮像順を再設定するための撮像順情報をさらに生成する、請求項3に記載の情報処理装置。
  5. 前記検出部は、前記貼り合せ画像に含まれる所定の方向のエッジを評価することにより、前記貼り合せ失敗を検出する、請求項に記載の情報処理装置。
  6. 前記検出部は、前記貼り合せ画像が生成される際の重なり部分の輝度値を評価することにより、前記貼り合せ失敗を検出する、請求項に記載の情報処理装置。
  7. 前記生成部は、前記検出部により前記貼り合せ失敗が検出された場合に、前記画像の撮像順を再設定するための撮像順情報を生成する、請求項1〜6のいずれか1項に記載の情報処理装置。
  8. 前記検出部は、前記失敗として、フォーカス位置、ホワイトバランス又は明るさの不具合をさらに検出する、請求項1〜のいずれか1項に記載の情報処理装置。
  9. 前記情報処理装置は、前記検出部により検出される前記失敗の種類に応じて、前記デジタル顕微鏡に個々の画像を再撮像させるか複数の画像の全体を再撮像させるかを判定する撮像制御部、をさらに備える、請求項1〜のいずれか1項に記載の情報処理装置。
  10. 前記検出部は、前記複数の画像の各々が撮像される都度、前記失敗の検出のために各画像を評価する、請求項1〜のいずれか1項に記載の情報処理装置。
  11. 前記検出部は、前記貼り合せ画像が生成された後に、前記貼り合せ画像又は前記貼り合せ画像の部分画像を評価する、請求項1〜10のいずれか1項に記載の情報処理装置。
  12. 前記情報処理装置は、
    前記生成部により生成される前記設定情報を、再撮像が実行される前にユーザに呈示し又はユーザにより編集可能とする表示制御部、
    をさらに備える、請求項1〜11のいずれか1項に記載の情報処理装置。
  13. デジタル顕微鏡を用いて撮像される画像を評価することにより、前記画像に関連する再撮像を要する失敗を検出する検出部と、
    前記検出部により前記失敗が検出された場合に、再撮像の際の撮像条件を設定するための設定情報を生成する生成部と、
    前記検出部により検出される前記失敗の種類に応じて、前記デジタル顕微鏡に個々の画像を再撮像させるか複数の画像の全体を再撮像させるかを判定する撮像制御部と、
    を備え、
    前記検出部は、前記失敗として、複数の画像を貼り合せることにより生成される貼り合せ画像に関連する失敗を検出し、
    前記貼り合せ画像に関連する前記失敗は、前記貼り合せ画像に含まれるべき領域の撮像漏れを含み、
    前記検出部は、前記画像、又は前記貼り合せ画像、に含まれるエッジに関する判定により、前記撮像漏れを検出する、情報処理装置。
  14. デジタル顕微鏡を用いて撮像される画像を評価することにより、前記画像に関連する再撮像を要する失敗を検出することと、
    前記失敗が検出された場合に、再撮像の際の撮像条件を設定するための設定情報を生成することと、
    を含み、
    前記失敗は、前記画像、又は複数の画像を貼り合せることにより生成される貼り合せ画像、に含まれるエッジに関する判定により検出される、前記貼り合せ画像に含まれるべき領域の撮像漏れを含み、
    前記失敗は、前記貼り合せ画像を生成する際の貼り合せ失敗を含む、撮像制御方法。
  15. コンピュータを、
    デジタル顕微鏡を用いて撮像される画像を評価することにより、前記画像に関連する再撮像を要する失敗を検出する検出部と、
    前記検出部により前記失敗が検出された場合に、再撮像の際の撮像条件を設定するための設定情報を生成する生成部と、
    として機能させるためのプログラムであって、
    前記検出部は、前記失敗として、複数の画像を貼り合せることにより生成される貼り合せ画像に関連する失敗を検出し、
    前記貼り合せ画像に関連する前記失敗は、前記貼り合せ画像に含まれるべき領域の撮像漏れを含み、
    前記検出部は、前記画像、又は前記貼り合せ画像、に含まれるエッジに関する判定により、前記撮像漏れを検出し、
    前記貼り合せ画像に関連する前記失敗は、前記貼り合せ画像を生成する際の貼り合せ失敗を含む、プログラム。
  16. デジタル顕微鏡と、
    前記デジタル顕微鏡を用いて撮像される画像を評価することにより、前記画像に関連する再撮像を要する失敗を検出する検出部、及び
    前記検出部により前記失敗が検出された場合に、再撮像の際の撮像条件を設定するための設定情報を生成する生成部
    を備え、
    前記検出部は、前記失敗として、複数の画像を貼り合せることにより生成される貼り合せ画像に関連する失敗を検出し、
    前記貼り合せ画像に関連する前記失敗は、前記貼り合せ画像に含まれるべき領域の撮像漏れを含み、
    前記検出部は、前記画像、又は前記貼り合せ画像、に含まれるエッジに関する判定により、前記撮像漏れを検出し、
    前記貼り合せ画像に関連する前記失敗は、前記貼り合せ画像を生成する際の貼り合せ失敗を含む、情報処理装置と、
    を含むデジタル顕微鏡システム。
  17. デジタル顕微鏡を用いて撮像される画像を評価することにより前記画像に関連する再撮像を要する失敗が検出された場合に生成される、再撮像の際の撮像条件を設定するための設定情報を取得する取得部と、
    前記取得部により取得される前記設定情報を表示面に表示させる表示制御部と、
    を備え、
    前記失敗は、前記画像、又は複数の画像を貼り合せることにより生成される貼り合せ画像、に含まれるエッジに関する判定により検出される、前記貼り合せ画像に含まれるべき領域の撮像漏れを含み、
    前記失敗は、前記貼り合せ画像を生成する際の貼り合せ失敗を含む、表示制御装置。
  18. デジタル顕微鏡を用いて撮像される複数の画像を貼り合せることで生成される貼り合せ画像に関連する失敗を、画像を評価することにより検出する検出部と、
    前記検出部により前記失敗が検出された場合に、再撮像の際の撮像条件を設定するための設定情報を生成する生成部と、
    を備え、
    前記検出部は、前記画像、又は前記貼り合せ画像に含まれるエッジに関する判定により、前記失敗として、前記貼り合せ画像に含まれるべき領域の撮像漏れを検出し、
    前記貼り合せ画像に関連する前記失敗は、前記貼り合せ画像を生成する際の貼り合せ失敗を含む、情報処理装置。
JP2013553213A 2012-01-11 2012-12-07 情報処理装置、撮像制御方法、プログラム、デジタル顕微鏡システム、表示制御装置、表示制御方法及びプログラム Active JP6102749B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012003214 2012-01-11
JP2012003214 2012-01-11
PCT/JP2012/081801 WO2013105373A1 (ja) 2012-01-11 2012-12-07 情報処理装置、撮像制御方法、プログラム、デジタル顕微鏡システム、表示制御装置、表示制御方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2013105373A1 JPWO2013105373A1 (ja) 2015-05-11
JP6102749B2 true JP6102749B2 (ja) 2017-03-29

Family

ID=48781333

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013553213A Active JP6102749B2 (ja) 2012-01-11 2012-12-07 情報処理装置、撮像制御方法、プログラム、デジタル顕微鏡システム、表示制御装置、表示制御方法及びプログラム

Country Status (5)

Country Link
US (3) US10509218B2 (ja)
EP (1) EP2804038B1 (ja)
JP (1) JP6102749B2 (ja)
CN (1) CN104081248A (ja)
WO (1) WO2013105373A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5557091B2 (ja) * 2010-03-30 2014-07-23 日本電気株式会社 画像処理装置、画像読取装置、画像処理方法及び画像処理プログラム
JP6102749B2 (ja) 2012-01-11 2017-03-29 ソニー株式会社 情報処理装置、撮像制御方法、プログラム、デジタル顕微鏡システム、表示制御装置、表示制御方法及びプログラム
JP2016126242A (ja) * 2015-01-07 2016-07-11 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP6540129B2 (ja) * 2015-03-19 2019-07-10 株式会社ニコン 観察装置、観察方法、及びプログラム
JP6503907B2 (ja) * 2015-06-12 2019-04-24 リコーイメージング株式会社 撮影装置、撮影制御装置、撮影制御方法、及び撮影制御プログラム
JP6488905B2 (ja) * 2015-06-19 2019-03-27 株式会社島津製作所 顕微鏡
JP6572117B2 (ja) * 2015-12-04 2019-09-04 オリンパス株式会社 顕微鏡、画像貼り合わせ方法、プログラム
DE102016110988A1 (de) * 2016-06-15 2017-12-21 Sensovation Ag Verfahren zum digitalen Aufnehmen einer Probe durch ein Mikroskop
JP6887910B2 (ja) * 2017-08-01 2021-06-16 株式会社東芝 画像処理装置
EP3690513B1 (en) * 2017-09-27 2023-06-07 FUJIFILM Corporation Observation device, observation method, and observation program
US10861156B2 (en) * 2018-02-28 2020-12-08 Case Western Reserve University Quality control for digital pathology slides
US10641659B2 (en) * 2018-08-14 2020-05-05 Shimadzu Corporation Infrared microscope with adjustable connection optical system
JP7263983B2 (ja) * 2019-08-30 2023-04-25 富士通株式会社 撮影漏れ検出装置、及び、撮影漏れ検出方法
JP2021135981A (ja) * 2020-02-28 2021-09-13 京セラドキュメントソリューションズ株式会社 データ連携システムおよび処理監視システム

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7369304B2 (en) 1999-10-29 2008-05-06 Cytyc Corporation Cytological autofocusing imaging systems and methods
AU2003228482A1 (en) * 2002-04-10 2003-10-27 Kendro Laboratoryb Products, Lp Automated protein crystallization imaging
US20040105000A1 (en) * 2002-11-29 2004-06-03 Olymlpus Corporation Microscopic image capture apparatus
JP4544850B2 (ja) * 2002-11-29 2010-09-15 オリンパス株式会社 顕微鏡画像撮影装置
US7746404B2 (en) * 2003-11-10 2010-06-29 Hewlett-Packard Development Company, L.P. Digital camera with panoramic image capture
US7792338B2 (en) * 2004-08-16 2010-09-07 Olympus America Inc. Method and apparatus of mechanical stage positioning in virtual microscopy image capture
US7877213B2 (en) * 2004-09-23 2011-01-25 Agilent Technologies, Inc. System and methods for automated processing of multiple chemical arrays
US7336847B2 (en) * 2004-10-11 2008-02-26 Benq Corporation Texture error recovery method using edge preserving spatial interpolation
EP1839264A2 (en) * 2005-01-18 2007-10-03 Trestle Corporation System and method for creating variable quality images of a slide
DE102005017642B4 (de) * 2005-04-15 2010-04-08 Vistec Semiconductor Systems Jena Gmbh Verfahren zur Inspektion eines Wafers
US20060256397A1 (en) * 2005-05-12 2006-11-16 Lexmark International, Inc. Method and system for combining images
JP2006317406A (ja) * 2005-05-16 2006-11-24 Olympus Corp 細胞画像撮像装置、細胞画像撮像方法、細胞画像撮像プログラム、及び細胞観察装置
US7424218B2 (en) * 2005-07-28 2008-09-09 Microsoft Corporation Real-time preview for panoramic images
JP4757023B2 (ja) * 2005-12-28 2011-08-24 富士通株式会社 インジェクション装置およびインジェクション方法
JP5014966B2 (ja) 2007-11-30 2012-08-29 パナソニック電工Sunx株式会社 拡大観察装置
JP4466968B2 (ja) * 2008-11-10 2010-05-26 キヤノン株式会社 画像処理装置、画象処理方法、プログラム、及びプログラム記憶媒体
JP5316161B2 (ja) 2009-03-27 2013-10-16 ソニー株式会社 観察装置
US8396269B2 (en) * 2010-04-08 2013-03-12 Digital Pathco LLC Image quality assessment including comparison of overlapped margins
JP5887766B2 (ja) * 2011-08-31 2016-03-16 株式会社ニコン 顕微鏡制御装置、画像処理装置、顕微鏡装置およびプログラム
JP6102749B2 (ja) 2012-01-11 2017-03-29 ソニー株式会社 情報処理装置、撮像制御方法、プログラム、デジタル顕微鏡システム、表示制御装置、表示制御方法及びプログラム

Also Published As

Publication number Publication date
WO2013105373A1 (ja) 2013-07-18
US20200088986A1 (en) 2020-03-19
EP2804038A4 (en) 2015-08-12
EP2804038B1 (en) 2018-11-14
JPWO2013105373A1 (ja) 2015-05-11
US20140362204A1 (en) 2014-12-11
EP2804038A1 (en) 2014-11-19
US10983329B2 (en) 2021-04-20
CN104081248A (zh) 2014-10-01
US10509218B2 (en) 2019-12-17
US11422356B2 (en) 2022-08-23
US20210208381A1 (en) 2021-07-08

Similar Documents

Publication Publication Date Title
JP6102749B2 (ja) 情報処理装置、撮像制御方法、プログラム、デジタル顕微鏡システム、表示制御装置、表示制御方法及びプログラム
JP5645051B2 (ja) 画像処理装置
JP5645052B2 (ja) 画像処理装置
JP5281972B2 (ja) 撮像装置
US8036463B2 (en) Character extracting apparatus, method, and program
JP5218177B2 (ja) 画像処理装置および方法
JP5984493B2 (ja) 画像処理装置、画像処理方法、撮像装置およびプログラム
JP5350532B2 (ja) 画像処理装置、画像表示システム、画像処理方法および画像処理プログラム
US8774551B2 (en) Image processing apparatus and image processing method for reducing noise
JP2011203811A (ja) 画像処理装置、画像処理方法、画像処理プログラム、及び複眼デジタルカメラ
JP2011048759A (ja) 情報処理装置、情報処理システム、情報処理方法及び当該情報処理方法をコンピュータに実行させるプログラム
JP2013153429A (ja) 画像処理装置、画像表示システム、画像処理方法および画像処理プログラム
JP7218614B2 (ja) 画像診断システム、画像診断装置、および画像診断方法
JP2017224974A (ja) 撮像装置および撮像システム並びに外観検査装置および製造方法
JP2015035782A (ja) 画像処理装置、撮像装置、顕微鏡システム、画像処理方法及び画像処理プログラム
JP2011076224A (ja) 情報処理装置、システム、方法及びプログラム
JP4764169B2 (ja) 撮影レンズ位置制御装置
JP2012003469A (ja) 画像処理プログラム、画像処理装置および撮像装置
JP2009136505A (ja) 画像表示装置、画像診断装置、及びプログラム
JP6124676B2 (ja) 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体
JP7113327B1 (ja) 撮像装置
JPWO2018030386A1 (ja) 位置指定装置および位置指定方法
JP2006094237A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2023068507A (ja) パラメータ調整支援装置及びパラメータ調整支援方法
JP5733706B2 (ja) 画像処理装置、方法、及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150205

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160308

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160502

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170131

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170213

R151 Written notification of patent or utility model registration

Ref document number: 6102749

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250