JP5059816B2 - Slide image data creation device - Google Patents

Slide image data creation device Download PDF

Info

Publication number
JP5059816B2
JP5059816B2 JP2009187922A JP2009187922A JP5059816B2 JP 5059816 B2 JP5059816 B2 JP 5059816B2 JP 2009187922 A JP2009187922 A JP 2009187922A JP 2009187922 A JP2009187922 A JP 2009187922A JP 5059816 B2 JP5059816 B2 JP 5059816B2
Authority
JP
Japan
Prior art keywords
image
magnification
images
slide
microscope
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009187922A
Other languages
Japanese (ja)
Other versions
JP2010020329A (en
Inventor
輝賢 高松
達資 佐藤
富智 三浦
大喜 野坂
秀且 安池
宏美 三浦
チェン チョンシー
Original Assignee
株式会社クラーロ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社クラーロ filed Critical 株式会社クラーロ
Priority to JP2009187922A priority Critical patent/JP5059816B2/en
Publication of JP2010020329A publication Critical patent/JP2010020329A/en
Application granted granted Critical
Publication of JP5059816B2 publication Critical patent/JP5059816B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Microscoopes, Condenser (AREA)

Description

本発明は、スライド画像データ作成装置およびスライド画像データに関し、特に病理組織学検査や血液学検査、遺伝子検査、細胞学検査等において、試料を入れたプレパラート(スライドガラス)を顕微鏡にセッティングして高倍率で撮影し、スライド画像データを生成して管理するスライド画像データ作成装置および生成されるスライド画像データに関する。   The present invention relates to a slide image data creation device and slide image data. In particular, in a histopathological examination, a hematology examination, a genetic examination, a cytology examination, etc., a preparation (slide glass) containing a sample is set on a microscope to increase the height. The present invention relates to a slide image data creation device that shoots at a magnification, generates and manages slide image data, and generated slide image data.

近年、病理組織学、血液学、遺伝子検査学の顕微鏡検査等においては、採取した病理組織や細胞や血液等の試料を顕微鏡に装備した撮像装置によって撮影し、その画像をコンピュータに取り込んで、ディスプレイ上で観察できる画像データを作成することが行われている。例えば、下記特許文献1には、上記したような技術が開示されている。   In recent years, in microscopic examinations of histopathology, hematology, genetic testing, etc., the collected pathological tissues and samples such as cells and blood are photographed with an imaging device equipped with a microscope, and the images are taken into a computer and displayed. Image data that can be observed above is created. For example, Patent Document 1 below discloses the above-described technique.

特開2003−222801号公報JP 2003-222801 A

上記した従来のシステムにおいては、試料の顕微鏡による画像を撮影するのに時間がかかり、画像の撮影時や閲覧時に多数の画像ファイルを開いて処理するために多量のメモリが必要であり、かつ処理時間がかかるなどの問題点があった。また、基本的に2次元の画像情報しか撮影できないので、撮影した画像から顕微鏡の光軸と並行なZ軸方向の試料の構造を判別することはできないという問題点もあった。
本発明は、前記したような従来技術における問題点を解消し、試料の必要部分を顕微鏡により高倍率で撮影した複数の画像を含むスライド画像データを高速かつ自動的に生成することができるスライド画像データ作成装置および生成されるスライド画像データを提供することを目的とする。
In the conventional system described above, it takes a long time to take an image of a sample with a microscope, and a large amount of memory is required to open and process a large number of image files when the image is taken or viewed. There were problems such as taking time. In addition, since basically only two-dimensional image information can be captured, there is a problem that the structure of the sample in the Z-axis direction parallel to the optical axis of the microscope cannot be determined from the captured image.
The present invention solves the problems in the prior art as described above, and can generate slide image data including a plurality of images obtained by photographing a necessary part of a sample at a high magnification with a microscope at high speed and automatically. It is an object to provide a data creation device and generated slide image data.

本発明のスライド画像データ作成装置は、顕微鏡に備え付けられ、高倍率画像を撮影するデジタル撮影手段と、試料を保持し、3次元方向に移動可能な試料搬送手段と、前記試料搬送手段を制御して、画像が他の画像と重なる部分であるのりしろ部が存在するように試料を顕微鏡の光軸と垂直方向に順次移動させながら前記デジタル撮影手段を制御して複数の高倍率画像を撮影する撮影制御手段と、複数の高倍率画像から画像処理により前記のりしろ部を認識し、複数の高倍率画像の貼り合わせ情報を生成する貼り合わせ情報生成手段と、複数の高倍率画像を前記貼り合わせ情報と共に1つのファイルに格納する画像ファイル生成手段とを備えたことを主要な特徴とする。   The slide image data creation device of the present invention is provided in a microscope, and controls a digital photographing means for photographing a high-magnification image, a sample conveying means that holds a sample and is movable in a three-dimensional direction, and controls the sample conveying means. Then, the digital photographing means is controlled to photograph a plurality of high-magnification images while sequentially moving the sample in a direction perpendicular to the optical axis of the microscope so that there is a marginal part where the image overlaps with another image. A control unit that recognizes the margin portion by image processing from a plurality of high-magnification images, and generates a combination information of the plurality of high-magnification images; and a plurality of high-magnification images together with the combination information The main feature is that it includes image file generation means for storing in one file.

また、前記したスライド画像データ作成装置において、顕微鏡の光軸と並行な方向にも微細に移動させながら、所定間隔で複数の画像を撮影する点にも特徴がある。また、前記したスライド画像データ作成装置において、顕微鏡の光軸と並行な方向において顕微鏡の焦点が合う位置を検出するフォーカス位置検出手段を備えている点にも特徴がある。   In addition, the slide image data creation apparatus described above is characterized in that a plurality of images are taken at predetermined intervals while being finely moved in a direction parallel to the optical axis of the microscope. In addition, the slide image data generating apparatus described above is characterized in that it includes a focus position detecting unit that detects a position where the microscope is focused in a direction parallel to the optical axis of the microscope.

また、前記したスライド画像データ作成装置において、更に、高倍率画像を貼り合わせた全体画像の縮小画像であるサムネイル画像を生成するサムネイル画像生成手段を備えた点にも特徴がある。また、前記したスライド画像データ作成装置において、更に、外部デジタルカメラ手段を備えた点にも特徴がある。また、前記したスライド画像データ作成装置において、前記外部デジタルカメラにより撮影された画像、前記複数の高倍率画像および前記貼り合わせ情報が1つの動画ファイルにまとめて収納されている点にも特徴がある。   Further, the slide image data creation apparatus described above is further characterized in that it includes thumbnail image generation means for generating a thumbnail image that is a reduced image of the entire image obtained by pasting together the high-magnification images. In addition, the slide image data creation apparatus described above is further characterized in that it includes external digital camera means. In addition, the slide image data creation device described above is characterized in that images taken by the external digital camera, the plurality of high-magnification images, and the pasting information are collectively stored in one moving image file. .

また、前記したスライド画像データ作成装置において、更に、前記外部デジタルカメラにより撮影された画像から高倍率画像を撮影する領域を自動的に決定する撮影領域自動認識手段を備えた点にも特徴がある。また、前記したスライド画像データ作成装置において、更に、複数のスライドガラスについて前記外部デジタルカメラにより撮影された画像を前記撮影領域自動認識手段により認識された撮影領域と共に一覧表示し、使用者が前記撮影領域を修正可能な撮影領域半自動認識手段を備えた点にも特徴がある。
また、前記したスライド画像データ作成装置において、更に、撮像された画像のファイルをデータベースに登録し、ネットワークを介して画像の検索および参照ができる画像公開手段を備えた点にも特徴がある。
本発明のスライド画像データは複数の高倍率画像データおよび画像の貼り合わせ情報が1つの動画ファイルにまとめて収納されていることを主要な特徴とする。
In addition, the slide image data creation device described above further includes a photographing area automatic recognition means that automatically determines a region for photographing a high-magnification image from an image photographed by the external digital camera. . In the above slide image data creation device, a list of images taken by the external digital camera for a plurality of slide glasses together with the shooting areas recognized by the shooting area automatic recognition means is displayed, and the user takes the shooting. It is also characterized in that it has a photographing area semi-automatic recognition means that can correct the area.
Further, the slide image data creating apparatus described above is characterized in that it further includes an image publishing unit that registers a captured image file in a database and can search and refer to an image via a network.
The main feature of the slide image data of the present invention is that a plurality of high-magnification image data and image pasting information are stored together in one moving image file.

本発明によれば、顕微鏡による撮影の必要な領域のみを高速に撮影することが可能であり、画像データを1つのファイルに格納することによって閲覧時に多数の画像ファイルを開いて処理する必要がなく、多量のメモリも不要で、高速に処理や表示ができるという効果がある。また、本発明によれば、焦点位置をZ軸方向にもスキャンして撮影することにより、試料の3次元の構造が判別可能である。例えば診断に必要な細胞の核の形状が真球か楕円球かというような判別が可能となる。更に、画像データをデータベースにより管理し、ネットワークやWebを通して、バーチャルスライド画像とその属性情報を閲覧することができる。   According to the present invention, it is possible to shoot only a region necessary for photographing with a microscope at high speed, and it is not necessary to open and process a large number of image files at the time of browsing by storing image data in one file. In addition, a large amount of memory is not required and processing and display can be performed at high speed. In addition, according to the present invention, the three-dimensional structure of the sample can be determined by scanning the focal position in the Z-axis direction and taking an image. For example, it is possible to determine whether the shape of the cell nucleus necessary for diagnosis is a true sphere or an elliptic sphere. Furthermore, image data can be managed by a database, and a virtual slide image and its attribute information can be browsed through a network or the Web.

本発明のスライド画像データ作成装置を含むシステム全体の構成を示すブロック図である。It is a block diagram which shows the structure of the whole system containing the slide image data production apparatus of this invention. 本発明において使用するスライドガラスの例を示す平面図である。It is a top view which shows the example of the slide glass used in this invention. 本発明のスライドガラス撮影装置の構成を示す平面図である。It is a top view which shows the structure of the slide glass imaging device of this invention. 本発明による全自動スライド作成処理の内容を示すフローチャートである。It is a flowchart which shows the content of the fully automatic slide creation process by this invention. S16の高倍率画像撮影処理の内容を示すフローチャートである。It is a flowchart which shows the content of the high magnification image imaging process of S16. S33のZ軸位置調整処理の内容を示すフローチャートである。It is a flowchart which shows the content of the Z-axis position adjustment process of S33. 本発明によるビューア処理の内容を示すフローチャートである。It is a flowchart which shows the content of the viewer process by this invention. ファイルの構造および表示される画像の例を示す説明図である。It is explanatory drawing which shows the example of the structure of a file, and the image displayed. 本発明の第2実施例の半自動スライド作成処理の内容を示すフローチャートである。It is a flowchart which shows the content of the semi-automatic slide creation process of 2nd Example of this invention.

以下、図面を参照しながら実施例について説明する。   Hereinafter, embodiments will be described with reference to the drawings.

図1は、本発明のスライド画像データ作成装置を含むシステム全体の構成を示すブロック図である。本発明のスライド画像データ作成装置は、大きく分けて顕微鏡10を含むスライドガラス撮影装置とパソコン13からなる。また、パソコン13はLAN54を介してDB、Webサーバ50、DB(データベース)51、端末(PC)52と接続され、更にDB、Webサーバ50はルータ53、インターネット55を介して外部の端末(PC)56と接続されている。   FIG. 1 is a block diagram showing the configuration of the entire system including the slide image data creation device of the present invention. The slide image data creation device of the present invention is roughly composed of a slide glass photographing device including a microscope 10 and a personal computer 13. The personal computer 13 is connected to a DB, a Web server 50, a DB (database) 51, and a terminal (PC) 52 via a LAN 54. The DB and the Web server 50 are further connected to an external terminal (PC) via a router 53 and the Internet 55. ) 56.

図3は、本発明のスライドガラス撮影装置の構成を示す平面図である。スライドガラス撮影装置は、基台20の上に固定された顕微鏡10およびデジタル(外部)カメラ12、スライドガラス収納マガジン30の駆動装置31、スライドガラスを保持し、移動させる3次元移動機構21〜28、モータ駆動装置16等を備えている。   FIG. 3 is a plan view showing the configuration of the slide glass photographing apparatus of the present invention. The slide glass photographing apparatus includes a microscope 10 and a digital (external) camera 12 fixed on a base 20, a drive device 31 for a slide glass storage magazine 30, and three-dimensional movement mechanisms 21 to 28 for holding and moving the slide glass. The motor drive device 16 and the like are provided.

顕微鏡10は、試料を肉眼で観察する双眼の接眼レンズを有していると共に、パソコン13から制御可能なデジタル顕微鏡カメラ11を内蔵しており、顕微鏡カメラ11で撮影した試料の高倍率画像をデジタルデータとしてパソコン13に取り込み、後述するように画像データを編集してデータベース化し、所望の部分を表示装置14に表示できる。   The microscope 10 has a binocular eyepiece lens for observing the sample with the naked eye, and has a built-in digital microscope camera 11 that can be controlled from the personal computer 13, and digitally captures a high-magnification image of the sample taken by the microscope camera 11. Data can be taken into the personal computer 13 and the image data can be edited to form a database as described later, and a desired portion can be displayed on the display device 14.

顕微鏡10は、基台20上に取り付けられた固定アタッチメントによって所定位置に固定されるようになっており、固定アタッチメントは、複数の製造メーカーの顕微鏡に適合できるように形状の異なる複数種類のものが用意されている。なお、この実施例においては、顕微鏡10の光軸は垂直方向である。   The microscope 10 is fixed at a predetermined position by a fixed attachment attached on the base 20, and a plurality of types of fixed attachments having different shapes so as to be compatible with microscopes of a plurality of manufacturers. It is prepared. In this embodiment, the optical axis of the microscope 10 is the vertical direction.

デジタル(外部)カメラ12は、やはり基台20の上に固定されており、パソコン13からの制御に基づき、通常のカラー静止画像データをパソコン13に出力する。スライドガラス17の試料部分の全体画像であるルーペ画像の撮影および2次元バーコード42などの読み取りに使用される。   The digital (external) camera 12 is also fixed on the base 20 and outputs normal color still image data to the personal computer 13 based on control from the personal computer 13. It is used for photographing a loupe image that is an entire image of the sample portion of the slide glass 17 and reading a two-dimensional barcode 42 and the like.

3次元移動機構21〜28は、ステッピングモータ22により前後方向に移動可能な第1の可動フレーム23、ステッピングモータ24により左右方向に移動可能な第2の可動フレーム25、ステッピングモータ26により上下方向に移動可能な第3の可動フレーム27、第3の可動フレーム27に固着されたスライドガラス保持ハンド28を備える。   The three-dimensional moving mechanisms 21 to 28 include a first movable frame 23 that can be moved in the front-rear direction by the stepping motor 22, a second movable frame 25 that can be moved in the left-right direction by the stepping motor 24, and a vertical movement by the stepping motor 26. A movable third movable frame 27 and a slide glass holding hand 28 fixed to the third movable frame 27 are provided.

そして、パソコン13からの制御に基づいてモータ駆動装置16によって各ステッピングモータが駆動されることにより、スライドガラス17をスライドガラス保持ハンド28で保持し、前後、左右および上下方向の任意の位置に移動可能に構成されている。   Then, each stepping motor is driven by the motor driving device 16 based on the control from the personal computer 13 so that the slide glass 17 is held by the slide glass holding hand 28 and moved to any position in the front / rear, left / right and up / down directions. It is configured to be possible.

3次元移動機構21〜28は、スライドガラス17をスライドガラス収納マガジン30から取り出して、デジタルカメラ12の下方および顕微鏡10の対物レンズ18と下方のコンデンサレンズ(図示せず)との間に移動させ、また、元のスライドガラス収納マガジン30内に戻す動作を自動的に行う。   The three-dimensional movement mechanisms 21 to 28 take out the slide glass 17 from the slide glass storage magazine 30 and move it below the digital camera 12 and between the objective lens 18 of the microscope 10 and a condenser lens (not shown) below. In addition, the operation of returning to the original slide glass storage magazine 30 is automatically performed.

高倍率画像の撮影時には1枚の試料を多数の画像に分割して撮影する必要があるので、撮影すべき前後、左右方向の位置を合わせると共に、ピントの合う位置を中心とした上下方向の所定範囲についても第3の可動フレーム27を微小な長さだけ移動させながら複数枚の画像を撮影する。上下の移動は対物レンズ18との衝突が起こらないよう、可動範囲を2ミリメートル以内とし、その範囲内でフォーカスの調整を行う。   When shooting a high-magnification image, it is necessary to divide a single sample into a number of images, so that the position before and after shooting should be adjusted in the horizontal direction, and the vertical direction centered on the in-focus position. Regarding the range, a plurality of images are taken while moving the third movable frame 27 by a minute length. In order to prevent a collision with the objective lens 18 from moving up and down, the movable range is set within 2 millimeters, and the focus is adjusted within the range.

スライドガラス収納マガジン30の駆動装置31は、パソコン13からの制御に基づいてモータ駆動装置16によってステッピングモータ32が駆動されることにより、スライドガラス収納マガジン30を上下に移動させる。駆動装置31にはスライドガラス収納マガジン30が着脱自在に装着されている。スライドガラス収納マガジン30には、スライドガラス保持溝が複数平行に並んで設けられており、複数のスライドガラス17を棚状に並べて収容できるように構成されている。   The drive device 31 of the slide glass storage magazine 30 moves the slide glass storage magazine 30 up and down by the stepping motor 32 being driven by the motor drive device 16 based on the control from the personal computer 13. A slide glass storage magazine 30 is detachably attached to the drive device 31. The slide glass storage magazine 30 is provided with a plurality of slide glass holding grooves arranged in parallel, and is configured to accommodate a plurality of slide glasses 17 arranged in a shelf shape.

パソコン13は、周知の標準的ハードウェアを備えたパソコンであり、表示装置14、キーボード15、マウス、LAN54等と接続されている。また、例えばUSBインターフェイスによって、顕微鏡カメラ11、デジタルカメラ12、モータ駆動装置16等と接続されている。パソコン13は、使用者の指示に基づき、後述する処理を実行する。   The personal computer 13 is a personal computer equipped with well-known standard hardware, and is connected to the display device 14, the keyboard 15, a mouse, a LAN 54, and the like. Further, for example, the microscope camera 11, the digital camera 12, the motor driving device 16 and the like are connected by a USB interface. The personal computer 13 executes processing to be described later based on a user instruction.

図4は、本発明による全自動スライド作成処理の内容を示すフローチャートである。この処理はパソコン13により実行される。この処理を行う場合には、まず画像を撮影すべきスライドガラスをスライドガラス収納マガジン30に下から詰めてセットしておく。S10においては、使用者によって入力されたスライドガラス枚数情報を読み込む。S11においては、3次元移動機構21〜28を制御して未処理のスライドガラスを1枚取り出し、デジタルカメラ12の下へセットする。   FIG. 4 is a flowchart showing the contents of the fully automatic slide creation process according to the present invention. This process is executed by the personal computer 13. When this processing is performed, first, a slide glass on which an image is to be taken is packed and set in the slide glass storage magazine 30 from below. In S10, the information on the number of slide glasses input by the user is read. In S <b> 11, the unprocessed slide glass is taken out by controlling the three-dimensional moving mechanisms 21 to 28 and set under the digital camera 12.

図2は、本発明において使用するスライドガラスの例を示す平面図である。スライドガラス17とカバーガラス45の間には標本が挟まれており、スライドガラス17の左上には、例えばスライドガラスの識別番号が記録されたQRコードなどの2次元バーコード42が貼付されている。S12においては、デジタルカメラ12を使用して2次元バーコード42を読み取る。   FIG. 2 is a plan view showing an example of a slide glass used in the present invention. A sample is sandwiched between the slide glass 17 and the cover glass 45, and a two-dimensional barcode 42 such as a QR code in which an identification number of the slide glass is recorded is attached to the upper left of the slide glass 17. . In S <b> 12, the two-dimensional barcode 42 is read using the digital camera 12.

S13においては、デジタルカメラ12を使用してルーペ画像を撮影する。ルーペ画像とは図2に点線46で示す範囲の画像であり、標本の領域全てを含んでいる。図2の右側にはルーペ画像を抜き出して表示してある。   In S <b> 13, a loupe image is taken using the digital camera 12. The loupe image is an image in a range indicated by a dotted line 46 in FIG. 2 and includes the entire sample region. A loupe image is extracted and displayed on the right side of FIG.

S14においては、撮影エリアを自動認識する。高倍率の顕微鏡カメラ11は撮影領域が狭いので、標本の領域全てを1枚の画像で撮影することはできない。そこで、図2の右側に示すように、ルーペ画像を格子状に複数の領域47に分割(図2では6×6)し、分割したそれぞれの領域47より少しだけ広い領域を高倍率の顕微鏡カメラ11によって撮影する。   In S14, the photographing area is automatically recognized. Since the high-magnification microscope camera 11 has a small shooting area, it is not possible to take the entire sample area with a single image. Therefore, as shown on the right side of FIG. 2, the loupe image is divided into a plurality of regions 47 in a grid pattern (6 × 6 in FIG. 2), and a region slightly wider than each of the divided regions 47 is a high magnification microscope camera. 11 to shoot.

そして、スライドガラス上に標本組織が点在している場合には、処理の高速化とファイル容量を低減するために、必要な部分のみを自動的に抽出したマーク領域のみの撮影を行う。例えば図2右側の図において画像処理によって左端の列の分割画像には標本がないことを認識した場合には、左端の列の撮影を行わないようにする。あるいは、ルーペ画像から標本のある領域のみを抽出し、抽出した領域をカバーする範囲のみを高倍率の顕微鏡カメラ11によって撮影するようにしてもよい。   When sample tissues are scattered on the slide glass, only the mark area in which only necessary portions are automatically extracted is taken in order to increase the processing speed and reduce the file capacity. For example, in the diagram on the right side of FIG. 2, when it is recognized by image processing that there is no sample in the divided image in the leftmost column, the leftmost column is not photographed. Alternatively, only a region with a specimen may be extracted from the loupe image, and only the range covering the extracted region may be photographed with the high-power microscope camera 11.

S15においては、3次元移動機構21〜28を制御して、スライドガラス17を顕微鏡10の対物レンズ18の下に移動する。S16においては、後述する高倍率画像撮影処理を行う。この際に、高倍率画像を貼り合わせた全体画像の縮小画像であるサムネイル画像も生成される。
S17においては、ルーペ画像+サムネイル画像+高倍率画像を1つの動画像ファイルにまとめ、スライドガラスの識別番号と共にDB、Webサーバ50に備えられているDB50に登録、保存する。なお、DB50にはスライドガラスの識別番号と対応して対応する患者名などのその他の情報がすでに登録されているものとする。
In S <b> 15, the three-dimensional moving mechanisms 21 to 28 are controlled to move the slide glass 17 below the objective lens 18 of the microscope 10. In S16, a high-magnification image photographing process described later is performed. At this time, a thumbnail image that is a reduced image of the entire image obtained by pasting the high-magnification images is also generated.
In S17, the loupe image + thumbnail image + high-magnification image is collected into one moving image file, and is registered and stored in the DB and the DB 50 provided in the Web server 50 together with the slide glass identification number. It is assumed that other information such as a patient name corresponding to the slide glass identification number is already registered in the DB 50.

図8は、ファイルの構造および表示される画像の例を示す説明図である。動画像ファイル60は複数のフレームデータからなり、第1フレームには情報フレーム61が格納されている。情報フレーム61には、システム情報、マシン名、バージョン情報、撮影倍率、システム構成、カメラ名などの情報が格納されている。第2フレームにはルーペ画像63が格納されており、このフレームにはフレーム間の撮影位置情報も格納されている。最終フレームにはサムネイル画像70が格納されており、第3フレームから最終フレームの1つ前のフレームまでに高倍率画像が格納されている。   FIG. 8 is an explanatory diagram illustrating an example of a file structure and a displayed image. The moving image file 60 includes a plurality of frame data, and an information frame 61 is stored in the first frame. The information frame 61 stores information such as system information, machine name, version information, shooting magnification, system configuration, and camera name. A loupe image 63 is stored in the second frame, and shooting position information between frames is also stored in this frame. A thumbnail image 70 is stored in the final frame, and a high-magnification image is stored from the third frame to the frame immediately before the final frame.

図4に戻って、S18においては、3次元移動機構21〜28を制御してスライドガラスを元の位置に収納する。S19においては、未処理のスライドが有るか否かが判定され、判定結果が肯定の場合にはS11に移行するが、否定の場合には処理を終了する。   Returning to FIG. 4, in S <b> 18, the three-dimensional moving mechanisms 21 to 28 are controlled to house the slide glass in the original position. In S19, it is determined whether or not there is an unprocessed slide. If the determination result is affirmative, the process proceeds to S11, but if not, the process ends.

図5は、S16の高倍率画像撮影処理の内容を示すフローチャートである。S30においては、顕微鏡カメラ11に露光時間、シャッタースピード、カラーバランス等について所望のパラメータを設定する。S31においては、Y軸(左右方向)の初期位置に移動させる。例えばルーペ画像の全ての領域を撮影する場合にはルーペ画像の最上段の分割画像が顕微鏡カメラ11の撮影領域に入る位置にスライドガラス17を移動させる。   FIG. 5 is a flowchart showing the contents of the high-magnification image capturing process in S16. In S30, desired parameters for the exposure time, shutter speed, color balance and the like are set in the microscope camera 11. In S31, it is moved to the initial position of the Y axis (left and right direction). For example, when all the areas of the loupe image are photographed, the slide glass 17 is moved to a position where the uppermost divided image of the loupe image enters the photographing area of the microscope camera 11.

S32においては、X軸の初期位置に移動させる。例えばルーペ画像の全ての領域を撮影する場合にはルーペ画像の最左列の分割画像が顕微鏡カメラ11の撮影領域に入る位置にスライドガラス17を移動させる。S33においては、後述するZ軸位置調整処理を行い、焦点のZ軸位置を検出する。   In S32, it is moved to the initial position of the X axis. For example, when all the areas of the loupe image are photographed, the slide glass 17 is moved to a position where the divided image in the leftmost column of the loupe image enters the photographing area of the microscope camera 11. In S33, a Z-axis position adjustment process described later is performed to detect the Z-axis position of the focus.

S34においては、Z軸の初期位置に移動させる。本発明においては、Z軸方向にも焦点の位置を中心とした所定の範囲について等間隔に位置を変えながら高倍率画像を撮影する。従って、S34においては、焦点位置から所定の長さだけ下方にスライドガラス17を移動させる。   In S34, it is moved to the initial position of the Z axis. In the present invention, a high-magnification image is taken while changing the position at equal intervals in a predetermined range centered on the focal position in the Z-axis direction. Accordingly, in S34, the slide glass 17 is moved downward by a predetermined length from the focal position.

S35においては、顕微鏡カメラ11によって高倍率のカラー画像を撮影し、画像データを読み込む。S36においては、上下左右(XY軸方向)に他の高倍率画像がある場合には、それらの画像との重なり情報を生成する。重なり情報とは例えば他の画像と何画素分重なっているか、即ちどのピクセルを貼り合わせるのかを示す情報である。重なり情報は例えば重なる画素数を変えながら端部の画像の相関を取ることにより得られる。 In S35, a high-magnification color image is taken by the microscope camera 11, and image data is read. In S36, if there are other high-magnification images on the top, bottom, left, and right (XY axis direction), overlap information with these images is generated. The overlap information is information indicating, for example, how many pixels overlap another image, that is, which pixel is to be pasted. The overlap information can be obtained, for example, by correlating the edge images while changing the number of overlapping pixels.

得られた重なり情報は画像データに付加して保存される。保存するファイルの形式は例えばJPEG2000に準拠した動画ファイル形式であってもよい。なお、重なり情報は高倍率画像自体に組み込む形をとっている。組み込まれている情報としては、重なり情報の他、AF(オートフォーカス)情報、ハードウェアの識別情報や撮影ソフトウェアのバージョン情報、X,Y,Zの位置情報などのシステム情報が格納されている。1枚の高倍率画像の画素数は例えば1280×1024であってもよい。更に、この際に高画質画像をつなぎ合わせたマーク領域全体の縮小画像であるサムネイル画像も生成する。   The obtained overlap information is added to the image data and stored. The format of the file to be saved may be, for example, a moving image file format compliant with JPEG2000. Note that the overlap information is incorporated into the high-magnification image itself. In addition to overlapping information, system information such as AF (autofocus) information, hardware identification information, shooting software version information, and X, Y, and Z position information is stored as incorporated information. The number of pixels of one high-magnification image may be, for example, 1280 × 1024. Further, at this time, a thumbnail image that is a reduced image of the entire mark area formed by joining the high-quality images is also generated.

S37においては、Z軸を1ステップ移動させる。1ステップの幅は例えば0.5ミクロンであってもよい。S38においては、Z軸が最終位置に達したか否かによりZ軸の処理が完了したか否かが判定され、判定結果が否定の場合にはS35に移行するが、肯定の場合にはS39に移行する。   In S37, the Z axis is moved by one step. The width of one step may be 0.5 microns, for example. In S38, it is determined whether or not the Z-axis processing is completed depending on whether or not the Z-axis has reached the final position. If the determination result is negative, the process proceeds to S35. Migrate to

S39においては、X軸を1ステップ移動させる。1ステップの幅は倍率によって変化し、例えば40倍では0.18ミリメートル程度となる。S40においては、X軸が最終位置に達したか否かによりX軸の処理が完了したか否かが判定され、判定結果が否定の場合にはS35に移行するが、肯定の場合にはS39に移行する。 In S39, the X axis is moved by one step. The width of one step varies depending on the magnification. For example, at 40 times, the width is about 0.18 millimeters. In S40, it is determined whether or not the processing of the X axis is completed depending on whether or not the X axis has reached the final position. If the determination result is negative, the process proceeds to S35, but if the determination is positive, the process proceeds to S39. Migrate to

S41においては、Y軸を1ステップ移動させる。S42においては、Y軸が最終位置に達したか否かによりY軸の処理が完了したか否かが判定され、判定結果が否定の場合にはS35に移行するが、肯定の場合には処理を終了する。 In S41, the Y axis is moved one step. In S42, it is determined whether or not the processing of the Y axis is completed depending on whether or not the Y axis has reached the final position. If the determination result is negative, the process proceeds to S35, but if the determination is positive, the process is performed. Exit.

図6は、S33のZ軸位置調整処理の内容を示すフローチャートである。S50においては、Z軸位置調整処理の実行が初回か否かが判定され、判定結果が否定の場合にはS51に移行するが、肯定の場合にはS55に移行する。S51においては、前回のZ軸中心位置において高倍率画像を読み込む。S52においては、FFT(高速フーリエ変換)処理が行われ、画像の周波数スペクトルが算出される。 FIG. 6 is a flowchart showing the contents of the Z-axis position adjustment process in S33. In S50, it is determined whether or not the Z-axis position adjustment process is executed for the first time. If the determination result is negative, the process proceeds to S51, but if the determination is affirmative, the process proceeds to S55. In S51, a high-magnification image is read at the previous Z-axis center position. In S52, FFT (Fast Fourier Transform) processing is performed, and the frequency spectrum of the image is calculated.

S53においては、周波数スペクトルのピークパワー値を記憶値と比較する。S54においては、ピークパワー値が記憶値の例えば90%未満か否かが判定され、判定結果が否定の場合にはZ軸位置は変更せず前回の焦点位置をそのまま使用するので、処理を終了するが、肯定の場合にはS55に移行して焦点位置を再検出する。 In S53, the peak power value of the frequency spectrum is compared with the stored value. In S54, it is determined whether or not the peak power value is, for example, less than 90% of the stored value. If the determination result is negative, the Z-axis position is not changed and the previous focal position is used as it is, so the processing ends. However, if the determination is affirmative, the process proceeds to S55 to redetect the focal position.

S55においては、Z軸方向の所定の範囲をスキャンしながら高倍率画像を順次読み込む。S56においては、全ての画像についてFFT(高速フーリエ変換)処理が行われ、画像の周波数スペクトルが算出される。S57においては、ピークパワー値が最大のZ位置を検出する。S58においては、ピークパワー値を記憶し、このZ位置をZ軸中心位置とする。S59においては、中心および任意に指定した上下位置の3枚の画像を取得する。 In S55, high-magnification images are sequentially read while scanning a predetermined range in the Z-axis direction. In S56, FFT (Fast Fourier Transform) processing is performed on all images, and the frequency spectrum of the images is calculated. In S57, the Z position with the maximum peak power value is detected. In S58, the peak power value is stored, and this Z position is set as the Z-axis center position. In S59, three images at the center and arbitrarily designated vertical positions are acquired.

図7は、本発明によるビューア処理の内容を示すフローチャートである。この処理は例えばパソコン13あるいは端末(PC)52において実行される。S70においては、使用者が入力操作した表示すべきスライド選択情報を入力する。使用者は患者名等のキーワードに基づきDB51を検索してもよい。S71においては、DBから要求に該当する動画像ファイルおよび診断情報保存用テキストファイル、マーキング情報およびコメント情報保存用テキストファイル等の付加情報テキストファイルを読み出す。S72においては、スライドの全体画像であるルーペ画像を表示する。   FIG. 7 is a flowchart showing the contents of the viewer process according to the present invention. This process is executed in the personal computer 13 or the terminal (PC) 52, for example. In S70, the slide selection information to be displayed input by the user is input. The user may search the DB 51 based on a keyword such as a patient name. In S71, additional information text files such as a moving image file, diagnostic information storage text file, marking information and comment information storage text file corresponding to the request are read from the DB. In S72, a loupe image that is an entire image of the slide is displayed.

図8は、ファイルの構造および表示される画像の例を示す説明図である。ルーペ画像63はスライドガラスの試料の全体を含んでおり、ルーペ画像63には自動または手動で設定され、高倍率画像が撮影されているマーク領域64、65が表示されている。使用者はここで例えばマーク領域64内をクリックする。   FIG. 8 is an explanatory diagram illustrating an example of a file structure and a displayed image. The loupe image 63 includes the entire sample of the slide glass. The loupe image 63 is automatically or manually set, and mark areas 64 and 65 where a high-magnification image is taken are displayed. Here, the user clicks in the mark area 64, for example.

S73においては、マーク領域部分全体の縮小画像であるサムネイル画像70を表示する。図8中段のサムネイル画像70は例えば4×4=16枚の高倍率画像を貼り合わせて縮小したものであり、点線71、72は表示はされない高倍率画像の境界である。使用者はここで例えばサムネイル画像70の見たい部分(領域73の中心)をクリックする。   In S73, a thumbnail image 70 that is a reduced image of the entire mark area is displayed. The thumbnail image 70 in the middle of FIG. 8 is obtained by pasting and reducing, for example, 4 × 4 = 16 high-magnification images, and dotted lines 71 and 72 are boundaries between the high-magnification images that are not displayed. Here, the user clicks, for example, a portion of the thumbnail image 70 to be viewed (the center of the region 73).

S74においては、指定位置を使用者が指定した任意の倍率で表示するために必要な複数の高倍率画像を決定し、その画像を読み出す。例えば領域73を表示するためには4枚の高倍率画像が必要である。S75においては、読み出した高倍率画像を埋め込まれている重なり情報に基づき貼り合わせる。   In S74, a plurality of high-magnification images necessary for displaying the designated position at an arbitrary magnification designated by the user are determined, and the images are read out. For example, in order to display the region 73, four high-magnification images are required. In S75, the read high-magnification image is pasted based on the embedded overlap information.

S76においては、貼り合わせた高倍率画像75およびマーキング情報、コメント、診断情報を画面サイズに合わせて整形して表示する。なお、高倍率画像75が表示された状態で表示領域を上下左右に移動させることができる。また、Z軸方向の移動は上(画面手前側)または下(画面奥側)への移動指示に基づき、移動後の画像が貼り合わされて表示される。   In S76, the high-magnification image 75 and the marking information, comments, and diagnosis information that have been pasted together are shaped and displayed according to the screen size. Note that the display area can be moved up, down, left, and right while the high-magnification image 75 is displayed. Further, the movement in the Z-axis direction is displayed by pasting the image after movement based on an instruction to move upward (front side of the screen) or downward (back side of the screen).

S77においては、マーキングの要求があるか否かが判定され、判定結果が否定の場合にはS79に移行するが、肯定の場合にはS78に移行する。S78においては、マーキング情報記録処理が行われる。マーキングとは画像上へのマーキング(色、形などは自由)を可能とする機能である。マーキング情報の内容は例えばマーキング番号、X軸位置、Y軸位置、Z軸位置、マーキングの形、色、線の太さ等からなる。マーキング情報は原画像には手を加えず、レイヤー情報として保存する。   In S77, it is determined whether or not there is a marking request. If the determination result is negative, the process proceeds to S79, but if the determination is affirmative, the process proceeds to S78. In S78, a marking information recording process is performed. Marking is a function that enables marking (color, shape, etc.) on an image. The contents of the marking information include, for example, a marking number, X-axis position, Y-axis position, Z-axis position, marking shape, color, line thickness, and the like. The marking information is stored as layer information without changing the original image.

S79においては、コメントの要求があるか否かが判定され、判定結果が否定の場合にはS81に移行するが、肯定の場合にはS80に移行する。S80においては、コメント情報記録処理が行われる。使用者は別画面上に表示されるコメントボックスにコメントを記載する。コメント情報もレイヤー情報として保存する。   In S79, it is determined whether or not there is a comment request. If the determination result is negative, the process proceeds to S81, but if the determination is affirmative, the process proceeds to S80. In S80, a comment information recording process is performed. The user writes a comment in a comment box displayed on another screen. Comment information is also saved as layer information.

S81においては、全体画像の表示に戻るか否かが判定され、判定結果が否定の場合にはS82に移行するが、肯定の場合にはS73あるいはS72に移行する。S82においては、処理を終了するか否かが判定され、判定結果が否定の場合にはS77に移行するが、肯定の場合には処理を終了する。   In S81, it is determined whether or not to return to the display of the entire image. If the determination result is negative, the process proceeds to S82, but if the determination is affirmative, the process proceeds to S73 or S72. In S82, it is determined whether or not to end the process. If the determination result is negative, the process proceeds to S77, but if the determination is affirmative, the process ends.

インターネットを介して外部の端末56からアクセスする場合には、端末56に上記したビューアプログラムをインストールし、DB51から必要なファイルをダウンロードしてもよいが、ビューアプログラムと同じ機能をWebサーバ50において実行し、端末56においては周知のWebブラウザを起動してWebサーバにアクセスするようにしてもよい。Webサーバ50においてはブラウザからの操作情報に基づき、表示すべき画面データを生成して端末56に送信する。このようにすれば、専用のプログラムをインストールする必要がなく、インターネットに接続された任意の端末から画像の閲覧が可能である。   When accessing from the external terminal 56 via the Internet, the viewer program described above may be installed in the terminal 56 and necessary files may be downloaded from the DB 51, but the same function as the viewer program is executed in the Web server 50. In the terminal 56, a known Web browser may be activated to access the Web server. The Web server 50 generates screen data to be displayed based on operation information from the browser and transmits it to the terminal 56. In this way, it is not necessary to install a dedicated program, and images can be viewed from any terminal connected to the Internet.

図9は、本発明の第2実施例の半自動スライド作成処理の内容を示すフローチャートである。第1実施例においては、高倍率画像を撮影するマーク領域を自動的に認識する例を開示したが、試料の全ての領域を高倍率で撮影すると非常に時間がかかり、データ量も非常に多くなってしまう。そこで、まず全てのスライドガラスについてルーペ画像のみを撮影して一覧表示し、それぞれのルーペ画像について高倍率画像が必要な部分のみを使用者がマークすることができるようにすることにより、撮影時間が短縮でき、データ量も削減できる。   FIG. 9 is a flowchart showing the contents of the semi-automatic slide creation process of the second embodiment of the present invention. In the first embodiment, an example of automatically recognizing a mark area for photographing a high-magnification image is disclosed. However, if all areas of a sample are photographed at a high magnification, it takes a very long time and the amount of data is very large. turn into. Therefore, first, only the loupe images of all the slide glasses are photographed and displayed in a list, and the user can mark only the portions where high magnification images are necessary for each loupe image. It can be shortened and the data volume can be reduced.

S100においては、使用者によって入力されたスライドガラス枚数情報を読み込む。S101においては、3次元移動機構21〜28を制御して未処理のスライドガラス17を1枚取り出し、デジタルカメラ12の下へセットする。S102においては、デジタルカメラ12を使用して2次元バーコードを読み取る。   In S100, the slide glass number information input by the user is read. In S <b> 101, the unprocessed slide glass 17 is taken out by controlling the three-dimensional moving mechanisms 21 to 28 and set under the digital camera 12. In S102, the two-dimensional barcode is read using the digital camera 12.

S103においては、デジタルカメラ12を使用してルーペ画像を撮影し、スライドガラスを元の収納位置に格納する。S104においては、撮影エリアを自動認識する。S105においては、未処理のスライドが有るか否かが判定され、判定結果が肯定の場合にはS101に移行するが、否定の場合にはS106に移行する。   In S103, a loupe image is taken using the digital camera 12, and the slide glass is stored in the original storage position. In S104, the shooting area is automatically recognized. In S105, it is determined whether or not there is an unprocessed slide. If the determination result is affirmative, the process proceeds to S101, but if not, the process proceeds to S106.

S106においては、全てのスライドガラスのルーペ画像と自動認識エリアを表示する。使用者はここで自動認識エリアを変更したいルーペ画像について、高倍率画像の撮影が必要な部分のみをマークする。S107においては、使用者による変更操作が有ったか否かが判定され、判定結果が肯定の場合にはS108に移行するが、否定(変更操作完了)の場合にはS109に移行する。S108においては、入力された撮影エリア情報を読み込み、撮影エリア情報を更新してS106に移行する。   In S106, loupe images and automatic recognition areas of all the slide glasses are displayed. Here, the user marks only the portion of the loupe image whose auto-recognition area is desired to be changed that requires high-magnification imaging. In S107, it is determined whether or not there has been a change operation by the user. If the determination result is affirmative, the process proceeds to S108, but if it is negative (change operation complete), the process proceeds to S109. In S108, the input shooting area information is read, the shooting area information is updated, and the process proceeds to S106.

S109においては、3次元移動機構21〜28を制御して、未処理のスライドガラス17を1枚取り出し、デジタルカメラ12の下へセットする。S110においては、デジタルカメラ12を使用して2次元バーコードを読み取る。S111においては、デジタルカメラ12を使用してルーペ画像を撮影する。   In S <b> 109, the three-dimensional moving mechanisms 21 to 28 are controlled to take out an unprocessed slide glass 17 and set it under the digital camera 12. In S110, the digital camera 12 is used to read the two-dimensional barcode. In S111, a loupe image is taken using the digital camera 12.

S112においては、読み取った2次元バーコードをチェックしてスライドガラスを確認すると共に、S103において撮影したルーペ画像とS111において撮影したルーペ画像の位置のずれを検出し、検出値に基づき3次元移動機構21〜28による移動位置を補正する。   In S112, the read two-dimensional bar code is checked to confirm the slide glass, and the positional deviation between the loupe image photographed in S103 and the loupe image photographed in S111 is detected, and the three-dimensional movement mechanism is based on the detected value. The movement positions 21 to 28 are corrected.

S113においては、スライドガラスを顕微鏡10の対物レンズ18の下に移動する。S114においては、前述した高倍率画像撮影処理を行う。この際に、高倍率画像を貼り合わせた全体画像の縮小画像であるサムネイル画像も生成される。S115においては、ルーペ画像+サムネイル画像+高倍率画像を1つの動画像ファイルにまとめてDB50に登録、保存する。   In S113, the slide glass is moved below the objective lens 18 of the microscope 10. In S114, the above-described high-magnification image photographing process is performed. At this time, a thumbnail image that is a reduced image of the entire image obtained by pasting the high-magnification images is also generated. In S115, the loupe image + thumbnail image + high-magnification image are collected and stored in the DB 50 as one moving image file.

S116においては、3次元移動機構21〜28を制御してスライドガラスを元の位置に収納する。S117においては、未処理のスライドガラスが有るか否かが判定され、判定結果が否定の場合には処理を終了するが、肯定の場合にはS109に移行する。 In S116, the three-dimensional moving mechanisms 21 to 28 are controlled to store the slide glass in the original position. In S117, it is determined whether or not there is an unprocessed slide glass. If the determination result is negative, the process ends. If the determination is affirmative, the process proceeds to S109.

以上実施例を説明したが、本発明には以下のような変形例も考えられる。実施例においては、画像の傾き、回転が考慮されていないが、ルーペ画像と高倍率画像の間、あるいは隣接する高倍率画像の間において画像の相対的な傾き(回転)を検出し、補正するようにしてもよい。また、レンズ収差補正や色補正等を行ってもよい。   Although the embodiments have been described above, the following modifications may be considered in the present invention. In the embodiment, the inclination and rotation of the image are not taken into consideration, but the relative inclination (rotation) of the image is detected and corrected between the magnifier image and the high magnification image or between the adjacent high magnification images. You may do it. Further, lens aberration correction, color correction, and the like may be performed.

本発明のスライド画像データ作成装置は、医学(病理学・血液学・寄生虫学等)・農学・薬学・理学・教育など顕微鏡を利用する全分野において広く利用することができる。   The slide image data creation apparatus of the present invention can be widely used in all fields using a microscope, such as medicine (pathology, hematology, parasitology, etc.), agriculture, pharmacy, science, education, etc.

10 顕微鏡
11 顕微鏡カメラ
12 デジタルカメラ
13 パソコン
16 モータ駆動装置
17 スライドガラス
18 対物レンズ
20 基台
21〜28 3次元移動機構
30 スライドガラス収納マガジン
DESCRIPTION OF SYMBOLS 10 Microscope 11 Microscope camera 12 Digital camera 13 Personal computer 16 Motor drive device 17 Slide glass 18 Objective lens 20 Base 21-28 Three-dimensional movement mechanism 30 Slide glass storage magazine

Claims (3)

スライドガラスの試料部分の全体画像を撮影する外部デジタルカメラ手段と、
前記外部デジタルカメラ手段により撮影された前記全体画像から高倍率画像を撮影する領域を自動的に決定する撮影領域自動認識手段と、
顕微鏡に備え付けられ、高倍率画像を撮影するデジタル撮影手段と、
試料を保持し、3次元方向に移動可能な試料搬送手段と、
Z軸方向の所定の範囲をスキャンしながら高倍率画像を順次読み込み、全ての画像について高速フーリエ変換処理を行い、画像の周波数スペクトルを算出して、ピークパワー値が最大のZ位置をZ軸中心位置とすることにより、前記顕微鏡の光軸と平行なZ方向において顕微鏡の焦点が合う位置を検出する手段であって、前記手段は、Z軸方向の所定の範囲をスキャンしながら高倍率画像を順次読み込む前に、前回の高倍率画像撮影時のZ軸中心位置において高倍率画像を読み込み、高速フーリエ変換処理を行って、画像の周波数スペクトルを算出し、周波数スペクトルのピークパワー値を前回のピークパワー値と比較する。そして、ピークパワー値が前回のピークパワー値の所定割合以上の場合には、Z軸方向の所定の範囲をスキャンしながら高倍率画像を順次読み込む処理は行わずにZ軸中心位置として前回のZ軸中心位置をそのまま使用するフォーカス位置検出手段と、
前記試料搬送手段を制御して、前記撮影領域自動認識手段によって決定された前記高倍率画像を撮影する領域のみにおいて、画像が他の画像と重なる部分であるのりしろ部が存在するように、試料を前記顕微鏡の光軸と垂直なXY方向に順次移動させながら、それぞれのXY方向位置において、前記フォーカス位置検出手段によって検出した焦点のZ位置を中心とした所定の範囲について、前記試料をZ方向に等間隔に位置を変えながら前記デジタル撮影手段を制御して高倍率画像を撮影する撮影動作を実行させることにより、XYZの3次元方向の複数の高倍率画像の撮影を制御する撮影制御手段と、
前記複数の高倍率画像の貼り合わせ情報を生成する貼り合わせ情報生成手段と、
前記複数の高倍率画像を貼り合わせた全体画像の縮小画像であるサムネイル画像を生成するサムネイル画像生成手段と、
前記全体画像、前記複数の高倍率画像、前記貼り合わせ情報および前記サムネイル画像を1つのファイルに格納する画像ファイル生成手段と
を備えたことを特徴とするスライド画像データ作成装置。
An external digital camera means for capturing an entire image of the sample portion of the slide glass;
Photographing area automatic recognition means for automatically determining a region for photographing a high-magnification image from the whole image photographed by the external digital camera means;
A digital photographing means provided in a microscope for photographing a high-magnification image;
A sample transport means that holds the sample and is movable in a three-dimensional direction;
High-magnification images are sequentially read while scanning a predetermined range in the Z-axis direction, fast Fourier transform processing is performed on all images, the frequency spectrum of the image is calculated, and the Z position with the maximum peak power value is the center of the Z-axis by the position, and means for detecting the position in focus of the microscope in parallel to the optical axis Z direction of the microscope, it said means high magnification image while scanning a predetermined range in the Z axis direction Before sequential reading, the high-magnification image is read at the Z-axis center position at the time of the previous high-magnification image shooting, fast Fourier transform processing is performed, the frequency spectrum of the image is calculated, and the peak power value of the frequency spectrum is set to the previous peak. Compare with power value. When the peak power value is equal to or greater than a predetermined ratio of the previous peak power value, the Z-axis center position is not used as the Z-axis center position without sequentially reading a high-magnification image while scanning a predetermined range in the Z-axis direction. A focus position detecting means that uses the axial center position as it is;
The sample is controlled so that there is a marginal part where the image overlaps with other images only in the region where the high magnification image determined by the imaging region automatic recognition unit is controlled by controlling the sample transport unit. While sequentially moving in the XY direction perpendicular to the optical axis of the microscope, the sample is moved in the Z direction for a predetermined range centered on the Z position of the focus detected by the focus position detecting means at each XY position. An imaging control unit that controls imaging of a plurality of high-magnification images in three-dimensional directions of XYZ by performing an imaging operation of imaging the high-magnification image by controlling the digital imaging unit while changing positions at equal intervals.
Bonding information generating means for generating bonding information of the plurality of high-magnification images;
Thumbnail image generating means for generating a thumbnail image that is a reduced image of the entire image obtained by pasting the plurality of high-magnification images;
An image file generating means for storing the whole image, the plurality of high-magnification images, the pasting information, and the thumbnail image in one file.
更に、複数のスライドガラスについて前記外部デジタルカメラにより撮影された画像を前記撮影領域自動認識手段により認識された撮影領域と共に一覧表示し、使用者が前記撮影領域を修正可能な撮影領域半自動認識手段を備えたことを特徴とする請求項1記載のスライド画像データ作成装置。   Furthermore, a shooting area semi-automatic recognition means for displaying a list of images taken by the external digital camera for a plurality of slide glasses together with the shooting areas recognized by the shooting area automatic recognition means, and allowing the user to correct the shooting area. The slide image data creation device according to claim 1, further comprising: 更に、撮像された画像のファイルをデータベースに登録し、ネットワークを介して画像の検索および参照ができる画像公開手段を備えたことを特徴とする請求項1記載のスライド画像データ作成装置。   2. The slide image data creating apparatus according to claim 1, further comprising image publishing means for registering a captured image file in a database and searching and referencing the image via a network.
JP2009187922A 2009-08-14 2009-08-14 Slide image data creation device Expired - Fee Related JP5059816B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009187922A JP5059816B2 (en) 2009-08-14 2009-08-14 Slide image data creation device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009187922A JP5059816B2 (en) 2009-08-14 2009-08-14 Slide image data creation device

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2005113354A Division JP2006292999A (en) 2005-04-11 2005-04-11 Slide image data generation device and slide image data

Publications (2)

Publication Number Publication Date
JP2010020329A JP2010020329A (en) 2010-01-28
JP5059816B2 true JP5059816B2 (en) 2012-10-31

Family

ID=41705204

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009187922A Expired - Fee Related JP5059816B2 (en) 2009-08-14 2009-08-14 Slide image data creation device

Country Status (1)

Country Link
JP (1) JP5059816B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5822345B2 (en) * 2011-09-01 2015-11-24 島田 修 Hall slide image creation device
JP6202875B2 (en) * 2013-04-25 2017-09-27 株式会社ミツトヨ Image measuring apparatus and control program therefor
JP6472950B2 (en) * 2014-03-26 2019-02-20 一般社団法人白亜会 Diagnostic system
KR101850213B1 (en) 2016-10-11 2018-04-23 주식회사 라온옵틱스 Object scanning methods based on high-speed autofocus for magnification inspection

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2991483B2 (en) * 1990-11-27 1999-12-20 日本分光工業株式会社 Microscope image mapping apparatus and method
JPH05164975A (en) * 1991-12-18 1993-06-29 Nikon Corp Microphotography device
JP3698737B2 (en) * 1993-02-24 2005-09-21 オリンパス株式会社 Microscope remote observation system and remote observation method
JP2770699B2 (en) * 1993-03-18 1998-07-02 住友金属工業株式会社 Observation position display device
JPH09138355A (en) * 1995-11-15 1997-05-27 Olympus Optical Co Ltd Microscope still picture photographing device and microscope image transmission system
JPH09281405A (en) * 1996-04-17 1997-10-31 Olympus Optical Co Ltd Microscopic system
JP3824116B2 (en) * 1998-01-29 2006-09-20 日本電信電話株式会社 Microscope image remote control system
JP4231579B2 (en) * 1999-01-22 2009-03-04 オリンパス株式会社 Image processing apparatus and recording medium storing image processing program
JP2002165091A (en) * 2000-11-29 2002-06-07 Canon Inc Image processor and processing method
JP4937457B2 (en) * 2001-03-01 2012-05-23 オリンパス株式会社 Microscope control apparatus, microscope control system, microscope control method, program, and recording medium
JP2003248176A (en) * 2001-12-19 2003-09-05 Olympus Optical Co Ltd Microscopic image photographing device
JP2003215459A (en) * 2002-01-18 2003-07-30 Olympus Optical Co Ltd Microscopic image photographic device
JP2004101871A (en) * 2002-09-10 2004-04-02 Olympus Corp Photographing apparatus for microscope image
JP2004343222A (en) * 2003-05-13 2004-12-02 Olympus Corp Image processing apparatus

Also Published As

Publication number Publication date
JP2010020329A (en) 2010-01-28

Similar Documents

Publication Publication Date Title
JP2006292999A (en) Slide image data generation device and slide image data
JP6462763B2 (en) System equipped with digital microscope and sample inspection method using the same
JP4970869B2 (en) Observation apparatus and observation method
JP4600395B2 (en) Microscope system and image processing method
JP4937850B2 (en) Microscope system, VS image generation method thereof, and program
US11112952B2 (en) Interface for display of multi-layer images in digital microscopy
JP5059816B2 (en) Slide image data creation device
EP4063932A1 (en) Microscopic apparatus and image processing apparatus
US7865007B2 (en) Microscope system, observation method and observation program
JP2010061129A (en) Slide image data
JP6333318B2 (en) Image processing method, image processing apparatus, and imaging apparatus
KR100897674B1 (en) Sample inspection system and sample inspection method
JP2005266718A (en) Microscopic image photographing system
JP2011047695A (en) Control device, and microscopic system using the same
JP4346888B2 (en) Microscope equipment
JP6545457B2 (en) Preparation plate, transparent plate, preparation method of preparation plate, slide glass, image photographing device, image photographing method, preparation plate preparing device, and preparation part set
JP4046161B2 (en) Sample image data processing method and sample inspection system
JP6276220B2 (en) Imaging apparatus and imaging method
EP1912090B1 (en) Slide photograph data creation system
WO2021166089A1 (en) Evaluation assistance device, evaluation assistance system, evaluation assistance method, and program
JP4231915B2 (en) Specimen inspection method and system

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091117

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20091117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111114

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120106

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120307

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120425

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120711

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120802

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150810

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5059816

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees