JP5860649B2

JP5860649B2 - Microscope system

Info

Publication number: JP5860649B2
Application number: JP2011211629A
Authority: JP
Inventors: 友也長谷川
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2011-09-27
Filing date: 2011-09-27
Publication date: 2016-02-16
Anticipated expiration: 2031-09-27
Also published as: JP2013072999A

Description

本発明は、対物レンズを用いてステージ上に載置された標本試料を撮像することによって生成された画像データに対応する画像を表示する顕微鏡システムに関する。 The present invention relates to a microscope system for displaying an image corresponding to image data generated by imaging a specimen sample placed on a stage using an objective lens.

従来から、標本試料を観察する視野を変更しながら撮影した複数の静止画像を貼り合わせることによって、撮像装置の観察領域よりも広い１枚の貼り合わせ画像を生成する技術が知られている（特許文献１および特許文献２）。この技術では、表示モニタに表示される標本試料の貼り合わせ画像上に撮像装置が連続的に生成するライブ画像を重ねて表示し、このライブ画像により、次に貼り合わせを行う画像の位置をユーザに把握させることで、所望とする標本試料の貼り合わせ画像の作成を可能にしている。 2. Description of the Related Art Conventionally, a technique for generating a single combined image wider than the observation region of an imaging device by combining a plurality of still images taken while changing the field of view for observing a specimen is known (patent) Literature 1 and Patent literature 2). In this technique, a live image continuously generated by the imaging device is displayed on a composite image of a specimen sample displayed on a display monitor, and the position of an image to be subsequently combined is displayed on the user by the live image. This makes it possible to create a bonded image of a desired specimen sample.

特開２０１０−１４１６９７号公報JP 2010-141697 A 特開２０１０−１４１６９８号公報JP 2010-141698 A

しかしながら、上述した技術では、ユーザが標本試料の貼り合わせ画像を作成する場合、ユーザが標本試料を載置したステージを移動させながら表示モニタに表示される貼り合わせ画像上にライブ画像を重ねて表示し、ライブ画像を所望とする貼り合わせ位置に移動させて貼り合わせる。この場合、ユーザがステージを移動させながら所望とする貼り合わせ位置にライブ画像を移動させるため、ステージの移動速度が速すぎる場合には、貼り合わせ画像上にライブ画像を適切に貼り合わせることができないという問題点があった。また、貼り合わせを適切に行うため、ユーザがステージの移動速度を調整しながら貼り合わせを行う必要があり、ユーザには負担となっていた。 However, in the above-described technique, when a user creates a specimen image, a live image is displayed on the pasted image displayed on the display monitor while moving the stage on which the specimen is placed. Then, the live image is moved to a desired bonding position and bonded. In this case, since the user moves the live image to the desired bonding position while moving the stage, if the moving speed of the stage is too fast, the live image cannot be properly bonded onto the bonded image. There was a problem. Moreover, in order to perform bonding appropriately, it is necessary for the user to perform bonding while adjusting the moving speed of the stage, which is a burden on the user.

本発明は、上記に鑑みてなされたものであって、貼り合わせ時のユーザへの負担を軽減し、所望の貼り合わせ画像を得るために適切にステージを駆動することができる顕微鏡システムを提供することを目的とする。 The present invention has been made in view of the above, and provides a microscope system capable of reducing the burden on the user at the time of bonding and appropriately driving the stage in order to obtain a desired bonded image. For the purpose.

上述した課題を解決し、目的を達成するために、本発明にかかる顕微鏡システムは、標本試料を載置し、水平方向に移動可能なステージと、前記ステージを駆動するステージ駆動部と、前記ステージに載置された前記標本試料を撮像して該標本試料の画像データを連続して生成する撮像装置と、前記撮像装置が生成した前記画像データに対応する画像を生成順に表示する表示部と、前記撮像装置が生成した時間が前後する２つの前記画像が重なりを有する移動速度で前記ステージ駆動部を駆動する駆動制御部と、を備えたことを特徴とする。 In order to solve the above-described problems and achieve the object, a microscope system according to the present invention includes a stage on which a specimen is placed and is movable in a horizontal direction, a stage driving unit that drives the stage, and the stage An imaging device that images the specimen sample placed on the imaging device and continuously generates image data of the specimen sample, a display unit that displays the images corresponding to the image data generated by the imaging device in the order of generation, And a drive control unit that drives the stage drive unit at a moving speed at which two images whose times generated by the imaging device fluctuate overlap each other.

また、本発明にかかる顕微鏡システムは、上記発明において、前記画像は、矩形状をなし、前記駆動制御部は、前記画像の一辺を含む端部同士が重なりを有する移動速度で前記ステージ駆動部を駆動することを特徴とする。 In the microscope system according to the present invention, in the above invention, the image has a rectangular shape, and the drive control unit moves the stage drive unit at a moving speed at which ends including one side of the image overlap each other. It is characterized by being driven.

また、本発明にかかる顕微鏡システムは、上記発明において、前記撮像装置が連続して生成した前記画像データから前記撮像装置の観察領域より外縁が広い観察領域を有する貼り合わせ画像データを生成し、該貼り合わせ画像データに対応する貼り合わせ画像を前記表示部に表示させる貼り合わせ画像観察モードと、前記撮像装置が連続して生成した前記画像データに対応する前記画像を生成順に前記表示部に表示させる通常観察モードとの間で当該顕微鏡システムの観察モードを切替えるモード切替部をさらに備え、前記駆動制御部は、前記モード切替部によって前記通常観察モードから前記貼り合わせ画像観察モードに切替えられた場合、前記移動速度で前記ステージ駆動部を駆動することを特徴とする。 Further, the microscope system according to the present invention, in the above invention, generates bonded image data having an observation region whose outer edge is wider than the observation region of the imaging device from the image data continuously generated by the imaging device, A combined image observation mode in which a combined image corresponding to the combined image data is displayed on the display unit, and the image corresponding to the image data generated continuously by the imaging device is displayed on the display unit in the order of generation. Further comprising a mode switching unit for switching the observation mode of the microscope system between the normal observation mode, the drive control unit when the mode switching unit is switched from the normal observation mode to the bonded image observation mode, The stage driving unit is driven at the moving speed.

また、本発明にかかる顕微鏡システムは、上記発明において、前記貼り合わせ画像観察モードの設定時における前記ステージの前記移動速度は、前記通常観察モードの設定時における前記ステージの移動速度に比して遅いことを特徴とする。 In the microscope system according to the present invention, the moving speed of the stage when the bonded image observation mode is set is slower than the moving speed of the stage when the normal observation mode is set. It is characterized by that.

また、本発明にかかる顕微鏡システムは、上記発明において、前記モード切替部に観察モードの切替えを指示する指示信号および前記ステージを駆動する駆動信号の入力を受け付ける入力部をさらに備えたことを特徴とする。 The microscope system according to the present invention is characterized in that in the above invention, the microscope system further includes an input unit that receives an input of an instruction signal that instructs the mode switching unit to switch an observation mode and a drive signal that drives the stage. To do.

また、本発明にかかる顕微鏡システムは、上記発明において、前記撮像装置が生成した時間的に連続する前記画像データに基づいて、前記ステージに対する前記撮像装置の観察領域の相対的な移動量を算出する移動量算出部と、前記撮像装置の観察領域を示すライブ位置枠を生成するライブ枠生成部と、前記移動量算出部が算出した前記移動量に基づいて、現在の前記撮像装置の観察領域に対応する表示位置に前記ライブ位置枠を前記表示部に表示させる表示制御部と、をさらに備えたことを特徴とする。 In the microscope system according to the present invention, the relative movement amount of the observation area of the imaging device with respect to the stage is calculated based on the temporally continuous image data generated by the imaging device. Based on the movement amount calculated by the movement amount calculation unit, a live frame generation unit that generates a live position frame indicating the observation region of the imaging device, and the movement amount calculation unit, the current observation region of the imaging device And a display control unit that displays the live position frame on the display unit at a corresponding display position.

また、本発明にかかる顕微鏡システムは、上記発明において、前記移動量算出部が前記移動量を算出することができたか否かを判定する移動量判定部をさらに備え、前記駆動制御部は、前記移動量判定部によって前記移動量算出部が前記移動量を算出することができなかったと判定された場合、前記ステージ駆動部を駆動することにより、前記ステージを初期位置に移動させることを特徴とする。 The microscope system according to the present invention further includes a movement amount determination unit that determines whether or not the movement amount calculation unit has been able to calculate the movement amount in the above invention, and the drive control unit includes: When the movement amount determination unit determines that the movement amount calculation unit cannot calculate the movement amount, the stage driving unit is driven to move the stage to an initial position. .

また、本発明にかかる顕微鏡システムは、上記発明において、前記駆動制御部は、前記移動量判定部によって前記移動量算出部が前記移動量を算出することができなかったと判定された場合、前記移動速度をさらに遅くして前記ステージ駆動部を駆動することを特徴とする。 In the microscope system according to the present invention, in the above invention, when the drive control unit determines that the movement amount calculation unit cannot calculate the movement amount by the movement amount determination unit, the movement The stage driving unit is driven at a lower speed.

本発明にかかる顕微鏡システムによれば、駆動制御部が撮像装置によって生成された時間が前後する２つのライブ画像が重なりを有する移動速度でステージ駆動部を駆動するので、ユーザが貼り合わせ画像を作成する際に適切な移動速度でステージを駆動することができるという効果を奏する。 According to the microscope system of the present invention, the drive control unit drives the stage drive unit at a moving speed in which two live images generated by the imaging apparatus have different times, and the user creates a composite image. In this case, the stage can be driven at an appropriate moving speed.

図１は、本発明の一実施の形態にかかる顕微鏡システムの構成の一例を示す概念図である。FIG. 1 is a conceptual diagram showing an example of the configuration of a microscope system according to an embodiment of the present invention. 図２は、本発明の一実施の形態にかかる顕微鏡システムの機能構成を示すブロック図である。FIG. 2 is a block diagram showing a functional configuration of the microscope system according to the embodiment of the present invention. 図３は、本発明の一実施の形態にかかる顕微鏡システムの表示部の一例を示す図である。FIG. 3 is a diagram illustrating an example of the display unit of the microscope system according to the embodiment of the present invention. 図４は、本発明の一実施の形態にかかる顕微鏡システムが行う処理の概要を示すフローチャートである。FIG. 4 is a flowchart showing an outline of processing performed by the microscope system according to the embodiment of the present invention. 図５は、本発明の一実施の形態にかかる顕微鏡システムの行う処理を模式的に説明する図である。FIG. 5 is a diagram schematically illustrating processing performed by the microscope system according to the embodiment of the present invention. 図６は、本発明の一実施の形態にかかる顕微鏡システムの行う処理を模式的に説明する図である。FIG. 6 is a diagram schematically illustrating processing performed by the microscope system according to the embodiment of the present invention.

以下、図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）について説明する。なお、以下に説明する実施の形態によって本発明が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付して説明する。 DESCRIPTION OF EMBODIMENTS Hereinafter, embodiments for carrying out the present invention (hereinafter referred to as “embodiments”) will be described with reference to the drawings. The present invention is not limited to the embodiments described below. Further, in the description of the drawings, the same portions will be described with the same reference numerals.

図１は、本発明の一実施の形態にかかる顕微鏡システムの構成の一例を示す概念図である。図２は、本発明の一実施の形態にかかる顕微鏡システムの機能構成を示すブロック図である。なお、図１および図２において、顕微鏡システム１が載置される平面をＸＹ平面とし、ＸＹ平面と垂直な方向をＺ方向として説明する。 FIG. 1 is a conceptual diagram showing an example of the configuration of a microscope system according to an embodiment of the present invention. FIG. 2 is a block diagram showing a functional configuration of the microscope system according to the embodiment of the present invention. 1 and 2, the plane on which the microscope system 1 is placed will be described as an XY plane, and a direction perpendicular to the XY plane will be described as a Z direction.

図１および図２に示すように、顕微鏡システム１は、標本試料Ｓを観察する顕微鏡装置２と、顕微鏡装置２を駆動制御する顕微鏡制御部３と、顕微鏡装置２を介して標本試料Ｓを撮像して画像データを生成する撮像装置４と、撮像装置４の駆動を制御する撮像制御部５と制御端末７を介して撮像装置４が撮像した画像データに対応する画像を表示するとともに、顕微鏡システム１の各種の操作の入力を受け付ける表示入力部６と、顕微鏡システム１の各部を制御する制御端末７と、を備える。顕微鏡装置２、顕微鏡制御部３、撮像装置４、撮像制御部５、表示入力部６および制御端末７は、データが送受信可能に有線または無線で接続されている。 As shown in FIG. 1 and FIG. 2, the microscope system 1 images the specimen sample S through the microscope apparatus 2 that observes the specimen sample S, the microscope control unit 3 that drives and controls the microscope apparatus 2, and the microscope apparatus 2. The image pickup apparatus 4 that generates image data, the image pickup control unit 5 that controls the drive of the image pickup apparatus 4, and the image corresponding to the image data picked up by the image pickup apparatus 4 via the control terminal 7 are displayed, and the microscope system The display input part 6 which receives the input of 1 various operation, and the control terminal 7 which controls each part of the microscope system 1 are provided. The microscope device 2, the microscope control unit 3, the imaging device 4, the imaging control unit 5, the display input unit 6, and the control terminal 7 are connected by wire or wireless so that data can be transmitted and received.

顕微鏡装置２は、標本試料Ｓが載置されるステージ２１と、側面視略Ｃ字状をなし、ステージ２１を支持するとともに、レボルバ２２を介して対物レンズ２３を保持する顕微鏡本体部２４と、標本試料Ｓに光を照射する落射照明用光源２５と、を備える。 The microscope apparatus 2 has a stage 21 on which a specimen S is placed, a substantially C-shape in side view, a stage body 24 that supports the stage 21 and holds an objective lens 23 via a revolver 22; And an epi-illumination light source 25 that irradiates the specimen S with light.

ステージ２１は、ＸＹＺ方向に移動自在に構成されている。ステージ２１は、ステージ駆動部２１１によってＸＹ平面内で移動自在である。ステージ２１は、顕微鏡制御部３の制御のもと、図示しないＸＹ位置の原点センサによってＸＹ平面における所定の原点位置を検出し、この原点位置を基点としてステージ駆動部２１１の駆動量が制御されることによって、標本試料Ｓ上の観察箇所（観察領域）を移動する。ステージ２１は、観察時のＸ位置およびＹ位置に関する位置信号（ＸＹ座標）を顕微鏡制御部３に出力する。また、ステージ２１は、モータ２１２によってＺ方向に移動自在である。ステージ２１は、顕微鏡制御部３の制御のもと、図示しないＺ位置の原点センサによってステージ２１のＺ方向における所定の原点位置を検出し、この原点位置を基点としてモータ２１２の駆動量が制御されることによって、所定の高さ範囲内の任意のＺ位置に標本試料Ｓを焦準移動させる。ステージ２１は、観察時のＺ位置に関する位置信号を顕微鏡制御部３に出力する。 The stage 21 is configured to be movable in the XYZ directions. The stage 21 is movable in the XY plane by the stage driving unit 211. Under the control of the microscope control unit 3, the stage 21 detects a predetermined origin position on the XY plane by an XY position origin sensor (not shown), and the drive amount of the stage drive unit 211 is controlled based on this origin position. Thus, the observation location (observation region) on the specimen sample S is moved. The stage 21 outputs position signals (XY coordinates) relating to the X position and the Y position during observation to the microscope control unit 3. Further, the stage 21 is movable in the Z direction by a motor 212. Under the control of the microscope control unit 3, the stage 21 detects a predetermined origin position in the Z direction of the stage 21 by a Z position origin sensor (not shown), and the driving amount of the motor 212 is controlled based on this origin position. As a result, the specimen sample S is moved to an arbitrary Z position within a predetermined height range. The stage 21 outputs a position signal related to the Z position during observation to the microscope control unit 3.

レボルバ２２は、顕微鏡本体部２４に対してスライド自在または回転自在に設けられ、対物レンズ２３を標本試料Ｓの上方に配置する。レボルバ２２は、ノーズピースやスイングレボルバ等を用いて構成される。レボルバ２２は、マウンタ２２１によって倍率（観察倍率）が異なる複数の対物レンズ２３を保持する。レボルバ２２は、観察光の光路上に挿入されて標本試料Ｓの観察に用いる対物レンズ２３を択一的に切換えるため、マウンタ２２１をスライド移動又は回転させるレボルバ駆動部２２２と、レボルバ２２の接続状態等を検出するレボルバ検出部２２３と、を有する。 The revolver 22 is provided so as to be slidable or rotatable with respect to the microscope main body 24, and the objective lens 23 is disposed above the specimen S. The revolver 22 is configured using a nose piece, a swing revolver, or the like. The revolver 22 holds a plurality of objective lenses 23 having different magnifications (observation magnifications) by the mounter 221. The revolver 22 is inserted in the optical path of the observation light, and the connection between the revolver 22 and the revolver drive unit 222 that slides or rotates the mounter 221 in order to selectively switch the objective lens 23 used for observing the specimen S. And a revolver detector 223 for detecting the like.

レボルバ駆動部２２２は、顕微鏡制御部３の制御のもと、マウンタ２２１をスライド移動又は回転させる。レボルバ検出部２２３は、レボルバ２２が顕微鏡本体部２４に接続されていることを検知するレボルバ接続センサ（図示せず）と、対物レンズ２３が観察光の光路上に挿入された対物レンズ２３の種類を識別するレボルバセンサ（図示せず）と、対物レンズ２３が観察光の光路上に挿入されたことを検知する移動完了センサ（図示せず）と、を有する。レボルバ検出部２２３は、各種センサが検出した検出結果を顕微鏡制御部３へ出力する。 The revolver driving unit 222 slides or rotates the mounter 221 under the control of the microscope control unit 3. The revolver detection unit 223 includes a revolver connection sensor (not shown) that detects that the revolver 22 is connected to the microscope main body 24, and the type of the objective lens 23 in which the objective lens 23 is inserted in the optical path of the observation light. And a movement completion sensor (not shown) for detecting that the objective lens 23 is inserted on the optical path of the observation light. The revolver detection unit 223 outputs detection results detected by various sensors to the microscope control unit 3.

対物レンズ２３は、たとえば１倍，２倍，４倍の比較的倍率の低い対物レンズ２３１（以下、「低倍対物レンズ２３１」という）と、１０倍，２０倍，４０倍の低倍対物レンズ２３１の倍率に対して高倍率である対物レンズ２３２（以下、「高倍対物レンズ２３２」という）とを少なくとも一つずつマウンタ２２１に装着される。なお、低倍対物レンズ２３１および高倍対物レンズ２３２の倍率は一例であり、高倍対物レンズ２３２が低倍対物レンズ２３１に対して高ければよい。 The objective lens 23 includes, for example, an objective lens 231 with relatively low magnification of 1 ×, 2 ×, and 4 × (hereinafter referred to as “low magnification objective lens 231”), and a 10 ×, 20 ×, and 40 × low magnification objective lens. At least one objective lens 232 (hereinafter referred to as “high-magnification objective lens 232”) having a high magnification relative to the magnification of 231 is attached to the mounter 221. Note that the magnifications of the low-magnification objective lens 231 and the high-magnification objective lens 232 are examples, and it is sufficient that the high-magnification objective lens 232 is higher than the low-magnification objective lens 231.

顕微鏡本体部２４は、ファイバー２５１を介して落射照明用光源２５から出射された照明光Ｌ１（以下、「落射照明光Ｌ１」という）を集光する照明レンズ２４１と、落射照明光Ｌ１の光路を対物レンズ２３の光軸に沿って偏向させるハーフミラー２４２と、標本試料Ｓを拡大するズームレンズ部２４３と、対物レンズ２３、ズームレンズ部２４３およびハーフミラー２４２を介して入射される標本試料Ｓの反射光を集光して観察像を結像する結像レンズ２４４とが内部に設けられている。 The microscope main body 24 includes an illumination lens 241 that collects the illumination light L1 emitted from the epi-illumination light source 25 through the fiber 251 (hereinafter referred to as “epi-illumination light L1”), and an optical path of the epi-illumination light L1. The half mirror 242 that deflects along the optical axis of the objective lens 23, the zoom lens unit 243 that magnifies the sample S, and the sample sample S incident through the objective lens 23, the zoom lens unit 243, and the half mirror 242. An imaging lens 244 that focuses the reflected light to form an observation image is provided inside.

ズームレンズ部２４３は、１または複数のレンズからなり、標本試料Ｓに対してズーム可能なズーム光学系２４３ａと、ズーム光学系２４３ａを光軸に沿って駆動するズーム駆動部２４３ｂとを有する。ズーム駆動部２４３ｂは、顕微鏡制御部３の制御のもと、ズーム光学系２４３ａを光軸に沿って移動させることにより、ズームレンズ部２４３のズーム倍率を変更する。 The zoom lens unit 243 includes one or a plurality of lenses, and includes a zoom optical system 243a that can zoom the specimen sample S, and a zoom drive unit 243b that drives the zoom optical system 243a along the optical axis. The zoom drive unit 243b changes the zoom magnification of the zoom lens unit 243 by moving the zoom optical system 243a along the optical axis under the control of the microscope control unit 3.

落射照明光Ｌ１は、照明レンズ２４１、ハーフミラー２４２、ズーム光学系２４３ａおよび対物レンズ２３を経て標本試料Ｓに照射される。標本試料Ｓで反射した反射光Ｌ２（以下、「観察光Ｌ２」という）は、対物レンズ２３、ズーム光学系２４３ａ、ハーフミラー２４２および結像レンズ２４４を経て撮像装置４に入射する。 The epi-illumination light L1 is applied to the specimen S through the illumination lens 241, the half mirror 242, the zoom optical system 243a, and the objective lens 23. The reflected light L2 reflected by the specimen S (hereinafter referred to as “observation light L2”) enters the imaging device 4 through the objective lens 23, the zoom optical system 243a, the half mirror 242, and the imaging lens 244.

落射照明用光源２５は、ハロゲンランプ、キセノンランプまたはＬＥＤ（Light Emitting Diode）等によって構成される。落射照明用光源２５は、ファイバー２５１を介して標本試料Ｓの観察像を形成するための落射照明光Ｌ１を顕微鏡本体部２４に出射する。 The epi-illumination light source 25 includes a halogen lamp, a xenon lamp, an LED (Light Emitting Diode), or the like. The epi-illumination light source 25 emits epi-illumination light L 1 for forming an observation image of the specimen S through the fiber 251 to the microscope main body 24.

顕微鏡制御部３は、ＣＰＵ（Central Processing Unit）等を用いて構成され、制御端末７の制御のもと、顕微鏡装置２を構成する各部の動作を統括的に制御する。具体的には、顕微鏡制御部３は、レボルバ駆動部２２２を駆動することにより、マウンタ２２１を回転させて観察光Ｌ２の光路上に配置する対物レンズ２３を切換える切換処理、ステージ駆動部２１１またはモータ２１２を駆動することにより、ステージ２１の駆動処理、および標本試料Ｓの観察に伴う顕微鏡装置２の各部の調整を行う調整処理等を行う。また、顕微鏡制御部３は、顕微鏡装置２を構成する各部の状態、たとえばステージ２１の位置情報（ＸＹ位置、Ｚ位置）およびレボルバ２２に装着された対物レンズ２３の種類情報等を制御端末７に出力する。 The microscope control unit 3 is configured using a CPU (Central Processing Unit) or the like, and comprehensively controls the operation of each unit configuring the microscope apparatus 2 under the control of the control terminal 7. Specifically, the microscope control unit 3 drives the revolver driving unit 222 to rotate the mounter 221 to switch the objective lens 23 arranged on the optical path of the observation light L2, the stage driving unit 211 or the motor By driving 212, the stage 21 driving process, the adjustment process for adjusting each part of the microscope apparatus 2 accompanying the observation of the specimen S, and the like are performed. In addition, the microscope control unit 3 informs the control terminal 7 of the state of each part constituting the microscope apparatus 2, for example, the position information (XY position, Z position) of the stage 21 and the type information of the objective lens 23 attached to the revolver 22. Output.

撮像装置４は、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子４１を用いて構成される。撮像装置４は、撮像制御部５の制御のもと、結像レンズ２４４を経て入射された標本試料Ｓの観察像を撮像して標本試料Ｓの画像データを連続して生成する。撮像装置４は、カメラケーブルを介して生成した標本試料Ｓの画像データを制御端末７へ出力する。 The imaging device 4 is configured using an imaging device 41 such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor). Under the control of the imaging control unit 5, the imaging device 4 captures the observation image of the specimen sample S incident through the imaging lens 244 and continuously generates image data of the specimen sample S. The imaging device 4 outputs the image data of the specimen sample S generated via the camera cable to the control terminal 7.

撮像制御部５は、ＣＰＵ等を用いて構成され、撮像装置４の動作を制御する。具体的には、撮像制御部５は、撮像装置４の自動ゲイン制御のＯＮ／ＯＦＦ切換処理、ゲインの設定処理およびフレームレートの設定処理等を行って撮像装置４の撮影動作を制御する。撮像制御部５は、ＡＥ処理部５１と、ＡＦ処理部５２と、を有する。 The imaging control unit 5 is configured using a CPU or the like, and controls the operation of the imaging device 4. Specifically, the imaging control unit 5 controls the photographing operation of the imaging device 4 by performing ON / OFF switching processing of automatic gain control of the imaging device 4, gain setting processing, frame rate setting processing, and the like. The imaging control unit 5 includes an AE processing unit 51 and an AF processing unit 52.

ＡＥ処理部５１は、撮像装置４が生成した画像データに基づいて、撮像装置４の露出条件を自動的に設定する。具体的には、ＡＥ処理部５１は、制御端末７を介して取得した画像データから輝度を算出し、算出した輝度に基づいて撮像装置４の露出条件、たとえば露光時間を決定することで撮像装置４の露出を自動的に調整するＡＥ処理を行う。 The AE processing unit 51 automatically sets the exposure condition of the imaging device 4 based on the image data generated by the imaging device 4. Specifically, the AE processing unit 51 calculates the luminance from the image data acquired via the control terminal 7, and determines the exposure condition of the imaging device 4, for example, the exposure time based on the calculated luminance. AE processing for automatically adjusting the exposure of 4 is performed.

ＡＦ処理部５２は、撮像装置４が生成した画像データに基づいて、撮像装置４のピントを自動的に調整する。具体的には、ＡＦ処理部５２は、画像データに含まれるコントラストを評価し、合焦している合焦位置（焦点位置）を検出することにより、撮像装置４のピントを自動的に調整するＡＦ処理を行う。なお、ＡＦ処理部５２は、画像データに基づいて、ステージ２１の各Ｚ位置における画像のコントラストを評価することにより、合焦している焦点位置（Ｚ位置）を検出してもよい。 The AF processing unit 52 automatically adjusts the focus of the imaging device 4 based on the image data generated by the imaging device 4. Specifically, the AF processing unit 52 automatically adjusts the focus of the imaging device 4 by evaluating the contrast included in the image data and detecting the in-focus position (focal position). AF processing is performed. Note that the AF processing unit 52 may detect a focused focus position (Z position) by evaluating the contrast of the image at each Z position of the stage 21 based on the image data.

表示入力部６は、制御端末７との通信を行う表示通信部６１と、画像を表示する表示部６２と、外部からの物体の接触に応じた位置信号を出力するタッチパネル６３と、を有する。 The display input unit 6 includes a display communication unit 61 that performs communication with the control terminal 7, a display unit 62 that displays an image, and a touch panel 63 that outputs a position signal corresponding to an external object contact.

表示通信部６１は、制御端末７との通信を行うための通信インターフェースである。表示通信部６１は、制御端末７から出力される画像データを表示部６２へ出力する。 The display communication unit 61 is a communication interface for performing communication with the control terminal 7. The display communication unit 61 outputs the image data output from the control terminal 7 to the display unit 62.

表示部６２は、液晶または有機ＥＬ（Electro Luminescence）等からなる表示パネルを用いて構成される。表示部６２は、表示通信部６１を介して入力される画像データに対応する画像および顕微鏡システム１の各種操作情報を表示する。具体的には、表示部６２は、撮像装置４によって連続して生成された画像データに対応するライブ画像または撮像装置４の観察領域よりも外縁が広い観察領域を有する標本試料Ｓの貼り合わせ画像データに対応する貼り合わせ画像を表示する。なお、表示部６２が表示するライブ画像および貼り合わせ画像の表示領域の詳細については後述する。 The display unit 62 is configured using a display panel made of liquid crystal, organic EL (Electro Luminescence), or the like. The display unit 62 displays an image corresponding to image data input via the display communication unit 61 and various operation information of the microscope system 1. Specifically, the display unit 62 is a live image corresponding to the image data continuously generated by the imaging device 4 or a bonded image of the specimen sample S having an observation region whose outer edge is wider than the observation region of the imaging device 4. Display the combined image corresponding to the data. Details of the display area of the live image and the combined image displayed on the display unit 62 will be described later.

タッチパネル６３は、表示部６２の表示画面上に設けられ、外部からの物体の接触位置に応じた入力を受け付ける。具体的には、タッチパネル６３は、ユーザが表示部６２に表示される操作アイコンに従ってタッチ（接触）した位置を検出し、この検出したタッチ位置に応じた位置信号を制御端末７へ出力する。タッチパネル６３は、表示部６２が顕微鏡システム１の各種操作情報を画像表示領域Ａ１内で表示することで、グラフィカルユーザインターフェース（ＧＵＩ）として機能する（図３を参照）。一般に、タッチパネルとしては、抵抗膜方式、静電容量方式および光学方式等がある。本実施の形態では、いずれの方式のタッチパネルであっても適用可能である。 The touch panel 63 is provided on the display screen of the display unit 62 and accepts an input according to the contact position of the object from the outside. Specifically, the touch panel 63 detects a position where the user touches (contacts) according to an operation icon displayed on the display unit 62, and outputs a position signal corresponding to the detected touch position to the control terminal 7. The touch panel 63 functions as a graphical user interface (GUI) when the display unit 62 displays various operation information of the microscope system 1 in the image display area A1 (see FIG. 3). In general, the touch panel includes a resistance film method, a capacitance method, an optical method, and the like. In the present embodiment, any type of touch panel is applicable.

制御端末７は、顕微鏡制御部３、撮像制御部５および表示入力部６との通信を行う制御通信部７１と、顕微鏡システム１の各種情報を記憶する記憶部７３と、顕微鏡システム１の各部の駆動を指示する駆動指示信号の入力を受け付ける入力部７２と、顕微鏡システム１の各部を制御する制御部７４と、を備える。 The control terminal 7 includes a control communication unit 71 that communicates with the microscope control unit 3, the imaging control unit 5, and the display input unit 6, a storage unit 73 that stores various types of information of the microscope system 1, and each unit of the microscope system 1. An input unit 72 that receives an input of a drive instruction signal that instructs driving, and a control unit 74 that controls each unit of the microscope system 1 are provided.

制御通信部７１は、顕微鏡制御部３、撮像制御部５および表示入力部６それぞれとの通信を行うための通信インターフェースである。また、制御通信部７１は、カメラケーブルを介して撮像装置４から出力される画像データを制御部７４へ出力する。 The control communication unit 71 is a communication interface for communicating with each of the microscope control unit 3, the imaging control unit 5, and the display input unit 6. Further, the control communication unit 71 outputs the image data output from the imaging device 4 to the control unit 74 via the camera cable.

入力部７２は、キーボード、マウス、ジョイスティックおよび各種スイッチ等を用いて構成され、各種スイッチの操作入力に応じた操作信号を制御部７４に出力する。 The input unit 72 is configured using a keyboard, a mouse, a joystick, various switches, and the like, and outputs operation signals corresponding to operation inputs of the various switches to the control unit 74.

記憶部７３は、制御端末７の内部に固定的に設けられるフラッシュメモリおよびＲＡＭ（Random Access Memory）等の半導体メモリを用いて実現される。記憶部７３は、顕微鏡システム１に実行させる各種プログラム、プログラムの実行中に使用される各種データを記憶する。また、記憶部７３は、制御部７４の処理中の情報を一次的に記憶する。記憶部７３は、撮像装置４が撮像した画像データを記憶する画像データ記憶部７３１を有する。なお、記憶部７３は、外部から装着されるメモリカード等を用いて構成されてもよい。 The storage unit 73 is realized by using a semiconductor memory such as a flash memory and a RAM (Random Access Memory) fixedly provided inside the control terminal 7. The storage unit 73 stores various programs to be executed by the microscope system 1 and various data used during execution of the programs. The storage unit 73 temporarily stores information being processed by the control unit 74. The storage unit 73 includes an image data storage unit 731 that stores image data captured by the imaging device 4. In addition, the memory | storage part 73 may be comprised using the memory card etc. which are mounted | worn from the outside.

制御部７４は、ＣＰＵ等を用いて構成され、入力部７２からの操作信号およびタッチパネル６３から位置信号に応じて顕微鏡システム１を構成する各部に対応する指示やデータの転送等を行って顕微鏡システム１の動作を統括的に制御する。 The control unit 74 is configured using a CPU or the like, and performs a command or data transfer corresponding to each unit constituting the microscope system 1 in accordance with an operation signal from the input unit 72 and a position signal from the touch panel 63, and the microscope system. The operation of 1 is comprehensively controlled.

制御部７４の詳細な構成について説明する。制御部７４は、ライブ画像生成部７４１と、移動量算出部７４２と、移動量判定部７４３と、ライブ枠生成部７４４と、撮影画像生成部７４５と、貼り合わせ画像生成部７４６と、モード切替部７４７と、駆動制御部７４８と、表示制御部７４９と、を有する。 A detailed configuration of the control unit 74 will be described. The control unit 74 includes a live image generation unit 741, a movement amount calculation unit 742, a movement amount determination unit 743, a live frame generation unit 744, a captured image generation unit 745, a combined image generation unit 746, and a mode switch. A unit 747, a drive controller 748, and a display controller 749.

ライブ画像生成部７４１は、撮像装置４が連続して生成した画像データから表示部６２に表示させるライブ画像データを順次生成する。ライブ画像生成部７４１は、ライブ画像データを画像データ記憶部７３１に出力する。また、ライブ画像生成部７４１は、画像データに対し、所定の画像処理、たとえばオプティカルブラック減算処理、ホワイトバランス調整処理、同時化処理、カラーマトリクス演算処理、γ補正処理、色再現処理およびエッジ強調処理等を含む画像処理を行う。 The live image generation unit 741 sequentially generates live image data to be displayed on the display unit 62 from the image data continuously generated by the imaging device 4. The live image generation unit 741 outputs live image data to the image data storage unit 731. The live image generation unit 741 also performs predetermined image processing, such as optical black subtraction processing, white balance adjustment processing, synchronization processing, color matrix calculation processing, γ correction processing, color reproduction processing, and edge enhancement processing, on image data. Image processing including the above is performed.

移動量算出部７４２は、制御通信部７１を介して入力される撮像装置４によって生成された時間が前後する２つの画像データに対応する２の画像に基づいて、ステージ２１に対する撮像装置４の観察領域における相対的な移動量を算出する。具体的には、移動量算出部７４２は、時間的に前後する２つの画像データに対応するライブ画像にそれぞれ含まれる特徴点を抽出し、２つのライブ画像間において同一となる複数の対応点の移動量（画素数）を算出することにより、ステージ２１に対する撮像装置４の観察領域における相対的な移動量（ずれ量）を算出する。ここで、特徴点とは、輝度情報、色情報またはエッジ情報である。なお、移動量算出部７４２は、撮像装置４の観察領域における相対的な移動量をパターンマッチング等の周知技術を用いて算出してもよい。 The movement amount calculation unit 742 observes the imaging device 4 with respect to the stage 21 based on the two images corresponding to the two pieces of image data that are generated by the imaging device 4 input via the control communication unit 71 and the time varies. The relative movement amount in the area is calculated. Specifically, the movement amount calculation unit 742 extracts feature points included in each of the live images corresponding to the two pieces of image data moving forward and backward in time, and extracts a plurality of corresponding points that are the same between the two live images. By calculating the amount of movement (number of pixels), the amount of movement (shift amount) relative to the stage 21 in the observation region of the imaging device 4 is calculated. Here, the feature point is luminance information, color information, or edge information. Note that the movement amount calculation unit 742 may calculate the relative movement amount in the observation region of the imaging device 4 using a known technique such as pattern matching.

移動量判定部７４３は、移動量算出部７４２が時間的に前後する２つのライブ画像に基づいてステージ２１に対する撮像装置４の観察領域における相対的な移動量が算出できたか否かを判断する。具体的には、移動量判定部７４３は、移動量算出部７４２が２つのライブ画像間において対応する特徴点を抽出することができたか否かを判定する。たとえば、移動量判定部７４３は、移動量算出部７４２が２つのライブ画像間において互いに対応する特徴点を抽出することができなった場合、移動量算出部７４２がステージ２１に対する撮像装置４の観察領域における相対的な移動量を算出することができなかったと判定する。 The movement amount determination unit 743 determines whether or not the movement amount calculation unit 742 has calculated a relative movement amount in the observation region of the imaging device 4 with respect to the stage 21 based on two live images that move back and forth in time. Specifically, the movement amount determination unit 743 determines whether or not the movement amount calculation unit 742 has been able to extract a corresponding feature point between two live images. For example, when the movement amount calculation unit 742 cannot extract feature points corresponding to each other between two live images, the movement amount determination unit 743 observes the imaging apparatus 4 with respect to the stage 21. It is determined that the relative movement amount in the region could not be calculated.

ライブ枠生成部７４４は、撮像装置４の観察領域を示すライブ位置枠を生成する。具体的には、ライブ枠生成部７４４は、撮像装置４の観察領域を示すライブ位置枠として矩形状の枠を生成する。 The live frame generation unit 744 generates a live position frame indicating the observation area of the imaging device 4. Specifically, the live frame generation unit 744 generates a rectangular frame as a live position frame indicating the observation area of the imaging device 4.

撮影画像生成部７４５は、制御通信部７１を介して入力される画像データに対して、所定の画像処理を施して貼り合わせ画像生成部７４６および画像データ記憶部７３１に出力する。具体的には、撮影画像生成部７４５は、画像データに対して、オプティカルブラック減算処理、ホワイトバランス調整処理、同時化処理、カラーマトリクス演算処理、γ補正処理、色再現処理およびエッジ強調処理等を含む画像処理を行う。なお、撮影画像生成部７４５は、画像データを所定の方式、たとえばＪＰＥＧ（Joint Photographic Experts Group）方式で圧縮し、圧縮した画像データを貼り合わせ画像生成部７４６および画像データ記憶部７３１に出力してもよい。 The captured image generation unit 745 performs predetermined image processing on the image data input via the control communication unit 71 and outputs the image data to the composite image generation unit 746 and the image data storage unit 731. Specifically, the captured image generation unit 745 performs optical black subtraction processing, white balance adjustment processing, synchronization processing, color matrix calculation processing, γ correction processing, color reproduction processing, edge enhancement processing, and the like on the image data. Including image processing. The photographed image generation unit 745 compresses the image data by a predetermined method, for example, JPEG (Joint Photographic Experts Group) method, and outputs the compressed image data to the combined image generation unit 746 and the image data storage unit 731. Also good.

貼り合わせ画像生成部７４６は、移動量算出部７４２が算出したステージ２１に対する撮像装置４の観察領域の相対的な移動量に基づいて、撮像装置４が生成した画像データから撮像装置４の観察領域よりも外縁が広い観察領域を有する貼り合わせ画像データを生成する。具体的には、貼り合わせ画像生成部７４６は、画像データ記憶部７３１が記憶する貼り合わせ画像データを取得し、撮影画像生成部７４５から出力された撮影画像データを、移動量算出部７４２が算出したステージ２１に対する撮像装置４の観察領域の相対的な移動量によって定まる貼り合わせ画像の表示位置に合成することにより、貼り合わせ画像データを生成する。たとえば、貼り合わせ画像生成部７４６は、貼り合わせ画像に撮影画像を貼り合わせる際に、繋ぎ目を目立たなくするため、貼り合わせ画像と撮影画像との重複領域に画素値のブレンディング処理を行うことによって貼り合わせ画像を生成する。ここで、ブレンディング処理とは、画像間で画素値を加重平均して合成画像の画素値を算出する画像処理である。なお、貼り合わせ画像生成部７４６は、ブレンディング処理において加重平均の際の重みを画素の位置に応じて変化させてもよい。 Based on the relative movement amount of the observation area of the imaging device 4 with respect to the stage 21 calculated by the movement amount calculation unit 742, the bonded image generation unit 746 uses the observation area of the imaging device 4 from the image data generated by the imaging device 4. Bonded image data having an observation region with a wider outer edge than that is generated. Specifically, the composite image generation unit 746 acquires the composite image data stored in the image data storage unit 731, and the movement amount calculation unit 742 calculates the captured image data output from the captured image generation unit 745. The composite image data is generated by combining the display position of the composite image determined by the relative movement amount of the observation region of the imaging device 4 with respect to the stage 21. For example, the composite image generation unit 746 performs blending processing of pixel values on the overlapping area between the composite image and the captured image in order to make the joint inconspicuous when the captured image is combined with the composite image. A stitched image is generated. Here, the blending process is an image process for calculating a pixel value of a composite image by weighted averaging of pixel values between images. Note that the composite image generation unit 746 may change the weight at the time of the weighted average in the blending process according to the pixel position.

モード切替部７４７は、撮像装置４が連続して生成した画像データから撮像装置４の観察領域より外縁が広い観察領域を有する貼り合わせ画像データを生成し、この貼り合わせ画像データに対応する貼り合わせ画像を表示部６２に表示させる貼り合わせ画像観察モードと、撮像装置４が連続して生成した画像データに対応するライブ画像を生成順に表示部６２に表示させる通常観察モードとの間で顕微鏡システム１の観察モードを切替える。具体的には、モード切替部７４７は、入力部７２から入力される指示信号またはタッチパネル６３から入力される指示信号に基づいて、顕微鏡システム１の観察モードを貼り合わせ画像観察モードと通常観察モードとの間で切替える。 The mode switching unit 747 generates bonded image data having an observation area whose outer edge is wider than the observation area of the imaging device 4 from the image data continuously generated by the imaging device 4, and the bonding corresponding to the combined image data The microscope system 1 between the bonded image observation mode in which the image is displayed on the display unit 62 and the normal observation mode in which the live image corresponding to the image data continuously generated by the imaging device 4 is displayed on the display unit 62 in the generation order. Switch the observation mode. Specifically, the mode switching unit 747 changes the observation mode of the microscope system 1 between the bonded image observation mode and the normal observation mode based on the instruction signal input from the input unit 72 or the instruction signal input from the touch panel 63. Switch between.

駆動制御部７４８は、入力部７２から入力される操作信号またはタッチパネル６３から入力される位置信号や指示信号に基づいて、顕微鏡装置２および撮像装置４の駆動を制御する。具体的には、駆動制御部７４８は、入力部７２から撮影を指示する撮影指示信号が入力された場合、撮像制御部５に撮影を指示する指示信号を出力することにより、撮像装置４に撮影動作を実行させる。また、駆動制御部７４８は、撮像装置４が生成した時間が前後する２つの画像が重なりを有する移動速度でステージ２１を駆動する。たとえば、駆動制御部７４８は、画像の一辺を含む端部同士が重なりを有する移動速度で前記ステージ駆動部を駆動する。さらに、駆動制御部７４８は、モード切替部７４７によって顕微鏡システム１の観察モードが貼り合わせ画像観察モードに設定された場合において、入力部７２からステージ２１の移動を指示する指示信号が入力されたとき、ステージ２１を通常観察モード時における移動速度より遅い移動速度で駆動する。 The drive control unit 748 controls the driving of the microscope device 2 and the imaging device 4 based on the operation signal input from the input unit 72 or the position signal and instruction signal input from the touch panel 63. Specifically, when a shooting instruction signal for instructing shooting is input from the input unit 72, the drive control unit 748 outputs a command signal for instructing shooting to the imaging control unit 5, thereby shooting the imaging device 4. Run the action. In addition, the drive control unit 748 drives the stage 21 at a moving speed at which two images generated by the imaging device 4 that have different times are overlapped. For example, the drive control unit 748 drives the stage drive unit at a moving speed at which ends including one side of the image overlap each other. Further, when the mode switching unit 747 sets the observation mode of the microscope system 1 to the bonded image observation mode, the drive control unit 748 receives an instruction signal that instructs the movement of the stage 21 from the input unit 72. The stage 21 is driven at a moving speed slower than the moving speed in the normal observation mode.

表示制御部７４９は、表示部６２の表示態様を制御する。具体的には、表示制御部７４９は、制御通信部７１および表示通信部６１を介してライブ画像生成部７４１によって生成されたライブ画像および貼り合わせ画像生成部７４６によって生成された貼り合わせ画像を表示部６２に表示させる。表示制御部７４９は、移動量算出部７４２が算出したステージ２１に対する撮像装置４の観察領域の移動量に基づいて、現在の撮像装置４の観察領域に対応する貼り合わせ画像上の表示位置に、ライブ枠生成部７４４によって生成されたライブ位置枠を重畳して表示部６２の画像表示領域Ａ１に表示させる。 The display control unit 749 controls the display mode of the display unit 62. Specifically, the display control unit 749 displays the live image generated by the live image generation unit 741 and the composite image generated by the composite image generation unit 746 via the control communication unit 71 and the display communication unit 61. This is displayed on the unit 62. Based on the movement amount of the observation area of the imaging device 4 with respect to the stage 21 calculated by the movement amount calculation unit 742, the display control unit 749 displays the display position on the composite image corresponding to the observation area of the current imaging device 4. The live position frame generated by the live frame generation unit 744 is superimposed and displayed on the image display area A1 of the display unit 62.

このように構成された顕微鏡システム１は、制御部７４の制御のもと、撮像装置４で撮像された標本試料Ｓの画像データを表示部６２に表示することによってユーザに標本試料Ｓの画像を観察させることができる。さらに、顕微鏡システム１は、入力部７２から入力される操作信号に基づいて、制御部７４が顕微鏡システム１の各部に指示信号や駆動信号を出力することにより、顕微鏡装置２および撮像装置４が駆動する。 The microscope system 1 configured in this manner displays an image of the sample sample S on the display unit 62 by displaying the image data of the sample sample S imaged by the imaging device 4 under the control of the control unit 74. Can be observed. Furthermore, in the microscope system 1, the microscope device 2 and the imaging device 4 are driven when the control unit 74 outputs an instruction signal or a drive signal to each unit of the microscope system 1 based on an operation signal input from the input unit 72. To do.

つぎに、顕微鏡システム１が行う動作について説明する。図４は、本実施の形態にかかる顕微鏡システム１が行う処理の概要を示すフローチャートである。 Next, operations performed by the microscope system 1 will be described. FIG. 4 is a flowchart showing an outline of processing performed by the microscope system 1 according to the present embodiment.

図４に示すように、駆動制御部７４８は、モード切替部７４７によって顕微鏡システム１に設定された観察モードが貼り合わせ画像観察モードであるか否かを判断する（ステップＳ１０１）。顕微鏡システム１に設定された観察モードが貼り合わせ画像観察モードであると制御部７４が判断した場合（ステップＳ１０１：Ｙｅｓ）、顕微鏡システム１は、後述するステップＳ１０２へ移行する。一方、顕微鏡システム１に設定された観察モードが貼り合わせ画像観察モードでないと制御部７４が判断した場合（ステップＳ１０１：Ｎｏ）、顕微鏡システム１は、後述するステップＳ１１９へ移行する。 As shown in FIG. 4, the drive control unit 748 determines whether or not the observation mode set in the microscope system 1 by the mode switching unit 747 is the bonded image observation mode (step S101). When the control unit 74 determines that the observation mode set in the microscope system 1 is the bonded image observation mode (step S101: Yes), the microscope system 1 proceeds to step S102 described later. On the other hand, when the control unit 74 determines that the observation mode set for the microscope system 1 is not the bonded image observation mode (step S101: No), the microscope system 1 proceeds to step S119 described later.

続いて、駆動制御部７４８は、貼り合わせ画像観察モードに応じてステージ２１を駆動する際の移動速度を切替える（ステップＳ１０２）。 Subsequently, the drive control unit 748 switches the moving speed when driving the stage 21 in accordance with the bonded image observation mode (step S102).

その後、ライブ枠生成部７４４は、表示部６２で表示する現在の撮像装置４の観察領域に対応するライブ位置枠を生成する（ステップＳ１０３）。 After that, the live frame generation unit 744 generates a live position frame corresponding to the current observation area of the imaging device 4 displayed on the display unit 62 (step S103).

続いて、表示制御部７４９は、ライブ枠生成部７４４が生成したライブ位置枠Ｂ１を表示部６２に表示させる（ステップＳ１０４）。 Subsequently, the display control unit 749 displays the live position frame B1 generated by the live frame generation unit 744 on the display unit 62 (step S104).

その後、ライブ画像生成部７４１は、撮像装置４によって生成された画像データからライブ画像データを生成する（ステップＳ１０５）。 Thereafter, the live image generation unit 741 generates live image data from the image data generated by the imaging device 4 (step S105).

続いて、表示制御部７４９は、ライブ画像生成部７４１が生成したライブ画像データに対応するライブ画像を表示部６２に表示させる（ステップＳ１０６）。 Subsequently, the display control unit 749 displays a live image corresponding to the live image data generated by the live image generation unit 741 on the display unit 62 (step S106).

その後、制御部７４は、ステージ２１が移動したか否かを判断する（ステップＳ１０７）。具体的には、図５に示すように、制御部７４は、入力部７２を介してステージ２１を駆動する指示信号が入力されることによって、駆動制御部７４８が貼り合わせ画像Ｐ１とライブ画像Ｐ２の少なくとも端部の領域が互いに重なる移動速度でステージ駆動部２１１を駆動させてステージ２１を移動させたか否かを判断する。ステージ２１が移動していると制御部７４が判断した場合（ステップＳ１０７：Ｙｅｓ）、顕微鏡システム１は、ステップＳ１０８へ移行する。一方、ステージ２１が移動していないと制御部７４が判断した場合（ステップＳ１０７：Ｎｏ）、顕微鏡システム１は、ステップＳ１０５へ戻る。 Thereafter, the control unit 74 determines whether or not the stage 21 has moved (step S107). Specifically, as illustrated in FIG. 5, the control unit 74 receives an instruction signal for driving the stage 21 via the input unit 72, whereby the drive control unit 748 causes the combined image P 1 and the live image P 2 to be displayed. It is determined whether or not the stage 21 has been moved by driving the stage driving unit 211 at a moving speed at which at least the end regions overlap each other. When the control unit 74 determines that the stage 21 is moving (step S107: Yes), the microscope system 1 proceeds to step S108. On the other hand, when the control unit 74 determines that the stage 21 has not moved (step S107: No), the microscope system 1 returns to step S105.

ステップＳ１０８において、移動量算出部７４２は、最新のライブ画像と直前のライブ画像とに基づいて、ステージ２１に対する撮像装置４の観察領域の相対的な移動量を算出する。具体的には、移動量算出部７４２は、ライブ画像生成部７４１によって生成された最新のライブ画像と、画像データ記憶部７３１によって記憶された直前のライブ画像とに基づいて、ステージ２１に対する撮像装置４の観察領域における相対的な移動量を算出する。 In step S 108, the movement amount calculation unit 742 calculates the relative movement amount of the observation area of the imaging device 4 with respect to the stage 21 based on the latest live image and the immediately preceding live image. Specifically, the movement amount calculation unit 742 is an imaging device for the stage 21 based on the latest live image generated by the live image generation unit 741 and the previous live image stored by the image data storage unit 731. The relative movement amount in the four observation areas is calculated.

続いて、移動量判定部７４３は、移動量算出部７４２がステージ２１に対する撮像装置４の観察領域の相対的な移動量を算出することができたか否かを判定する（ステップＳ１０９）。具体的には、移動量判定部７４３は、移動量算出部７４２が直前のライブ画像から抽出した複数の特徴点それぞれに対応する対応点を最新のライブ画像から抽出することにより、ステージ２１に対する撮像装置４の観察領域の移動量を算出することができたか否かを判定する。たとえば、図６に示すように、移動量判定部７４３は、ステージ２１の移動速度が速く、ステージ２１の移動量が大きかった場合において、移動量算出部７４２が直前のライブ画像（たとえば貼り合わせ画像Ｐ１に該当）から抽出した特徴点に対応する対応点を最新のライブ画像Ｐ３から抽出できなかったとき、移動量算出部７４２がステージ２１に対する撮像装置４の観察領域の相対的な移動量を算出することができなかったと判定する。移動量算出部７４２がステージ２１に対する撮像装置４の観察領域の相対的な移動量を算出することができたと移動量判定部７４３が判定した場合（ステップＳ１０９：Ｙｅｓ）、顕微鏡システム１は、後述するステップＳ１１０へ移行する。一方、移動量算出部７４２がステージ２１に対する撮像装置４の観察領域の相対的な移動量を算出することができなかったと移動量判定部７４３が判定した場合（ステップＳ１０９：Ｎｏ）、顕微鏡システム１は、後述するステップＳ１１７へ移行する。 Subsequently, the movement amount determination unit 743 determines whether or not the movement amount calculation unit 742 has been able to calculate the relative movement amount of the observation area of the imaging device 4 with respect to the stage 21 (step S109). Specifically, the movement amount determination unit 743 extracts the corresponding points corresponding to each of a plurality of feature points extracted from the previous live image by the movement amount calculation unit 742, thereby capturing the stage 21. It is determined whether or not the movement amount of the observation area of the device 4 has been calculated. For example, as illustrated in FIG. 6, when the movement amount determination unit 743 has a fast movement speed of the stage 21 and a large movement amount of the stage 21, the movement amount calculation unit 742 performs the previous live image (for example, a pasted image). When the corresponding point corresponding to the feature point extracted from (corresponding to P1) cannot be extracted from the latest live image P3, the movement amount calculation unit 742 calculates the relative movement amount of the observation area of the imaging device 4 with respect to the stage 21. Judge that it was not possible. When the movement amount determination unit 743 determines that the movement amount calculation unit 742 can calculate the relative movement amount of the observation region of the imaging device 4 with respect to the stage 21 (step S109: Yes), the microscope system 1 is described later. The process proceeds to step S110. On the other hand, when the movement amount determination unit 743 determines that the movement amount calculation unit 742 cannot calculate the relative movement amount of the observation region of the imaging device 4 with respect to the stage 21 (step S109: No), the microscope system 1 Shifts to step S117 to be described later.

ステップＳ１１０において、制御部７４は、入力部７２を介して撮影指示信号が入力されたか否かを判断する。撮影指示信号が入力されたと制御部７４が判断した場合（ステップＳ１１０：Ｙｅｓ）、顕微鏡システム１は、ステップＳ１１１へ移行する。一方、入力部７２を介して撮影指示信号が入力されていないと制御部７４が判断した場合（ステップＳ１１０：Ｎｏ）、顕微鏡システム１は、ステップＳ１０５へ戻る。 In step S 110, the control unit 74 determines whether a shooting instruction signal is input via the input unit 72. When the control unit 74 determines that an imaging instruction signal has been input (step S110: Yes), the microscope system 1 proceeds to step S111. On the other hand, when the control unit 74 determines that the imaging instruction signal is not input via the input unit 72 (step S110: No), the microscope system 1 returns to step S105.

ステップＳ１１１において、駆動制御部７４８は、ライブ画像生成部７４１によるライブ画像データの生成を停止させる。 In step S111, the drive control unit 748 stops the live image data generation by the live image generation unit 741.

続いて、駆動制御部７４８は、撮像制御部５に撮影駆動信号を出力して撮像装置４に撮影動作を実行させて画像データを生成させる（ステップＳ１１２）。 Subsequently, the drive control unit 748 outputs a shooting drive signal to the imaging control unit 5 and causes the imaging device 4 to perform a shooting operation to generate image data (step S112).

その後、撮影画像生成部７４５は、撮像装置４によって生成された画像データから撮影画像データを生成する（ステップＳ１１３）。この際、撮影画像生成部７４５は、撮像装置４によって生成された１フレームの画像データから撮影画像データを生成する。さらに、撮影画像生成部７４５は、撮像装置４が複数フレームの画像データを生成した場合、この複数フレームの画像データから全焦点画像データおよび３Ｄ画像データを生成してもよい。 Thereafter, the captured image generation unit 745 generates captured image data from the image data generated by the imaging device 4 (step S113). At this time, the captured image generation unit 745 generates captured image data from one frame of image data generated by the imaging device 4. Further, when the imaging device 4 generates a plurality of frames of image data, the captured image generation unit 745 may generate omnifocal image data and 3D image data from the plurality of frames of image data.

続いて、貼り合わせ画像生成部７４６は、画像データ記憶部７３１から貼り合わせ画像データと撮影画像生成部７４５から撮影画像データとを取得後、移動量算出部７４２によって算出された移動量から貼り合わせ画像上での撮影画像データの表示位置を算出し、この算出した表示位置に撮影画像生成部７４５によって生成された撮影画像データを合成することにより、貼り合わせ画像データを生成する（ステップＳ１１４）。具体的には、図５に示すように、貼り合わせ画像生成部７４６は、移動量算出部７４２によって算出された移動量に基づいて、貼り合わせ画像Ｐ１上で撮影画像Ｐ２を合成する表示位置を算出し、算出した表示位置に撮影画像Ｐ２を貼り合わせ画像Ｐ１の領域の一部が重なるように重畳して合成する。これにより、貼り合わせ画像Ｐ１と撮影画像Ｐ２との繋ぎ目が滑らかな標本試料Ｓの貼り合わせ画像Ｐ１を生成することができる。 Subsequently, the composite image generation unit 746 acquires the composite image data from the image data storage unit 731 and the captured image data from the captured image generation unit 745, and then combines the composite image from the movement amount calculated by the movement amount calculation unit 742. The display position of the captured image data on the image is calculated, and the combined image data is generated by synthesizing the captured image data generated by the captured image generation unit 745 with the calculated display position (step S114). Specifically, as illustrated in FIG. 5, the composite image generation unit 746 displays a display position for combining the captured image P2 on the composite image P1 based on the movement amount calculated by the movement amount calculation unit 742. The captured image P2 is superimposed on the calculated display position so that a part of the region of the combined image P1 overlaps and is combined. Thereby, it is possible to generate a bonded image P1 of the specimen sample S in which the joint between the bonded image P1 and the captured image P2 is smooth.

その後、表示制御部７４９は、貼り合わせ画像生成部７４６が生成した貼り合わせ画像データに対応する貼り合わせ画像を表示部６２に表示させる（ステップＳ１１５）。 Thereafter, the display control unit 749 causes the display unit 62 to display a composite image corresponding to the composite image data generated by the composite image generation unit 746 (step S115).

続いて、制御部７４は、入力部７２を介して完了指示信号が入力されたか否かを判断する（ステップＳ１１６）。完了指示信号が入力されたと制御部７４が判断した場合（ステップＳ１１６：Ｙｅｓ）、顕微鏡システム１は、本処理を終了する。一方、入力部７２を介して完了指示信号が入力されていないと制御部７４が判断した場合（ステップＳ１１６：Ｎｏ）、顕微鏡システム１は、ステップＳ１０５へ戻る。 Subsequently, the control unit 74 determines whether or not a completion instruction signal is input via the input unit 72 (step S116). When the control unit 74 determines that the completion instruction signal has been input (step S116: Yes), the microscope system 1 ends this process. On the other hand, when the control unit 74 determines that the completion instruction signal has not been input via the input unit 72 (step S116: No), the microscope system 1 returns to step S105.

ステップＳ１１７において、駆動制御部７４８は、ステージ２１を移動させる移動速度をより遅い速度に切り替え、ステージ駆動部２１１を駆動することにより、ステージ２１が移動する直前の位置に移動させる（ステップＳ１１８）。その後、顕微鏡システム１は、ステップＳ１０５へ戻る。 In step S117, the drive control unit 748 switches the moving speed for moving the stage 21 to a slower speed and drives the stage driving unit 211 to move it to a position immediately before the stage 21 moves (step S118). Thereafter, the microscope system 1 returns to Step S105.

ステップＳ１１９において、顕微鏡システム１は、撮像装置４が連続して生成する画像データに対応するライブ画像を生成順に表示部６２に表示させて標本試料Ｓを観察する通常観察モードにおける通常観察処理を実行する。その後、顕微鏡システム１は、本処理を終了する。 In step S119, the microscope system 1 executes the normal observation process in the normal observation mode in which the display unit 62 displays the live images corresponding to the image data continuously generated by the imaging device 4 in the generation order and observes the specimen S. To do. Thereafter, the microscope system 1 ends this process.

以上説明した本発明の一実施の形態によれば、駆動制御部７４８が撮像装置４によって生成された時間が前後する２つの画像が重なり有する移動速度でステージ駆動部２１１を駆動するので、ユーザが貼り合わせ画像を作成する際に適切な移動速度でステージを駆動することができる。 According to the embodiment of the present invention described above, since the drive control unit 748 drives the stage drive unit 211 at a moving speed at which two images generated by the imaging device 4 are overlapped, the user can The stage can be driven at an appropriate moving speed when creating a bonded image.

また、本発明の一実施の形態によれば、駆動制御部７４８が移動量判定部７４３によって移動量算出部７４２が撮像装置４の観察領域の相対的な移動量を算出することができなかったと判定された場合、ステージ２１を移動する移動速度をさらに遅くしてステージ駆動部２１１を駆動するので、ユーザが貼り合わせ画像を作成する際により適切な移動速度でステージ２１を駆動することができる。 In addition, according to the embodiment of the present invention, the drive control unit 748 cannot calculate the relative movement amount of the observation area of the imaging device 4 by the movement amount determination unit 743 and the movement amount calculation unit 742. When the determination is made, the stage 21 is driven by further reducing the moving speed of moving the stage 21, so that the stage 21 can be driven at a more appropriate moving speed when the user creates a bonded image.

さらに、本発明の一実施の形態によれば、駆動制御部７４８がモード切替部７４７によって顕微鏡システム１の観察モードが貼り合わせ画像観察モードに切替えられた場合、ステージ２１を移動させる移動速度を通常観察モードの移動速度より遅くしてステージ２１を駆動する。これにより、ユーザは、入力部７２を介して観察モードを設定するだけで、貼り合わせ画像に適したステージ２１の移動速度で貼り合わせ画像を作成することができる。 Furthermore, according to an embodiment of the present invention, when the drive control unit 748 switches the observation mode of the microscope system 1 to the bonded image observation mode by the mode switching unit 747, the moving speed for moving the stage 21 is normally set. The stage 21 is driven slower than the moving speed in the observation mode. Thereby, the user can create a composite image at a moving speed of the stage 21 suitable for the composite image simply by setting the observation mode via the input unit 72.

また、本発明の一実施の形態では、駆動制御部７４８が移動量判定部７４３によって移動量算出部７４２が撮像装置４の観察領域における相対的な移動量を算出することができなかった場合、ステージ２１の移動速度をさらに遅くしていたが、たとえば標本試料Ｓの種類に応じて照明、対物レンズ２３の倍率、ズームレンズ部２４３のズーム倍率およびステージ２１の垂直方向の高さを加味してステージ２１の移動速度を設定するようにしてもよい。 In one embodiment of the present invention, when the drive control unit 748 cannot calculate the relative movement amount in the observation area of the imaging device 4 by the movement amount determination unit 743, the movement amount calculation unit 742 cannot calculate the relative movement amount in the observation area of the imaging device 4. Although the moving speed of the stage 21 is further slowed, for example, depending on the type of the specimen sample S, the illumination, the magnification of the objective lens 23, the zoom magnification of the zoom lens unit 243, and the height of the stage 21 in the vertical direction are taken into account. The moving speed of the stage 21 may be set.

また、本発明の一実施の形態では、駆動制御部７４８がモード切替部７４７によって顕微鏡システム１の観察モードが貼り合わせ画像観察モードに設定された場合において、入力部７２からステージ２１の移動を指示する指示信号が入力されたとき、ステージ２１を通常観察モード時における移動速度より遅い移動速度で駆動していたが、たとえば、入力部７２から入力される指示信号に応じて、ステージ２１を移動させる移動量を変更するようにしてもよい。この場合、駆動制御部７４８は、撮像装置４が時間的に連続する２つの画像の少なくとも端部の領域が互いに重なる移動量でステージ駆動部２１１を駆動するようにしてもよい。さらに、駆動制御部７４８は、顕微鏡システム１が貼り合わせ画像観察モードの場合において、入力部７２から入力される指示信号の長さに関わらず、ステージ２１を移動させる移動量または移動速度を一定にするようにステージ駆動部２１１を駆動するようにしてもよい。 In one embodiment of the present invention, the drive control unit 748 instructs the movement of the stage 21 from the input unit 72 when the mode switching unit 747 sets the observation mode of the microscope system 1 to the bonded image observation mode. When the instruction signal is input, the stage 21 is driven at a movement speed slower than the movement speed in the normal observation mode. For example, the stage 21 is moved according to the instruction signal input from the input unit 72. The movement amount may be changed. In this case, the drive control unit 748 may drive the stage driving unit 211 with a movement amount in which at least end regions of two images in which the imaging device 4 is temporally continuous overlap each other. Furthermore, when the microscope system 1 is in the bonded image observation mode, the drive control unit 748 makes the movement amount or movement speed for moving the stage 21 constant regardless of the length of the instruction signal input from the input unit 72. As described above, the stage driving unit 211 may be driven.

なお、上述した実施の形態では、顕微鏡装置、撮像装置、表示入力部および制御端末を備えた顕微鏡システムを例に説明したが、たとえば標本試料を拡大する対物レンズ、対物レンズを介して標本試料を撮像する撮像機能、および画像を表示する表示機能を備えた撮像装置、たとえばビデオマイクロスコープ等であっても、本発明を適用することができる。 In the above-described embodiment, the microscope system including the microscope device, the imaging device, the display input unit, and the control terminal has been described as an example. However, for example, an objective lens for enlarging a specimen sample, and a specimen sample via an objective lens The present invention can also be applied to an imaging apparatus having an imaging function for imaging and a display function for displaying an image, such as a video microscope.

また、上述した実施の形態では、顕微鏡装置として正立型顕微鏡装置を例に説明したが、たとえば倒立型顕微鏡装置であっても本発明を適用することができる。さらに、顕微鏡装置を組み込んだライン装置といった各種システムにも、本発明を適用することができる。 In the above-described embodiment, the upright microscope apparatus is described as an example of the microscope apparatus. However, the present invention can be applied to an inverted microscope apparatus, for example. Furthermore, the present invention can be applied to various systems such as a line apparatus incorporating a microscope apparatus.

また、上述した実施の形態では、入力部を介して顕微鏡システムの各種設定を行っていたが、タッチパネルを介して顕微鏡システムの各種設定を行ってもよい。 In the embodiment described above, various settings of the microscope system are performed via the input unit. However, various settings of the microscope system may be performed via the touch panel.

また、上述した実施の形態では、表示入力部と制御端末とが別々に構成されていたが、たとえば表示入力部と制御端末とが一体的に形成された携帯型端末であってもよい。 In the above-described embodiment, the display input unit and the control terminal are separately configured. However, for example, a portable terminal in which the display input unit and the control terminal are integrally formed may be used.

また、上述した実施の形態では、ステージ２１をモータ２１２によってＺ方向に移動自在としたが、対物レンズ２３又は、対物レンズ２３を含む観察光学系全体をＺ方向に移動自在としてもよい。 In the above-described embodiment, the stage 21 is movable in the Z direction by the motor 212. However, the objective lens 23 or the entire observation optical system including the objective lens 23 may be movable in the Z direction.

１顕微鏡システム
２顕微鏡装置
３顕微鏡制御部
４撮像装置
５撮像制御部
６表示入力部
７制御端末
２１ステージ
２２レボルバ
２３対物レンズ
２４顕微鏡本体部
２５落射照明用光源
４１撮像素子
５１ＡＥ処理部
５２ＡＦ処理部
６１表示通信部
６２表示部
６３タッチパネル
７１制御通信部
７２入力部
７３記憶部
７４制御部
２１１ステージ駆動部
２１２モータ
２２１マウンタ
２２２レボルバ駆動部
２４１照明レンズ
２４２ハーフミラー
２４３ズームレンズ部
２４３ａズーム光学系
２４３ｂズーム駆動部
２４４結像レンズ
７３１画像データ記憶部
７４１ライブ画像生成部
７４２移動量算出部
７４３移動量判定部
７４４ライブ枠生成部
７４５撮影画像生成部
７４６貼り合わせ画像生成部
７４７モード切替部
７４８駆動制御部
７４９表示制御部 DESCRIPTION OF SYMBOLS 1 Microscope system 2 Microscope apparatus 3 Microscope control part 4 Imaging apparatus 5 Imaging control part 6 Display input part 7 Control terminal 21 Stage 22 Revolver 23 Objective lens 24 Microscope main body 25 Light source for epi-illumination 41 Image pick-up element 51 AE process part 52 AF process Unit 61 Display communication unit 62 Display unit 63 Touch panel 71 Control communication unit 72 Input unit 73 Storage unit 74 Control unit 211 Stage drive unit 212 Motor 221 Mounter 222 Revolver drive unit 241 Illumination lens 242 Half mirror 243 Zoom lens unit 243a Zoom optical system 243b Zoom drive unit 244 Imaging lens 731 Image data storage unit 741 Live image generation unit 742 Movement amount calculation unit 743 Movement amount determination unit 744 Live frame generation unit 745 Captured image generation unit 746 Bonded image generation unit 747 MO Mode switching unit 748 Drive control unit 749 Display control unit

Claims

A microscope system including a stage on which a specimen is placed and movable in a horizontal direction, and a stage driving unit that drives the stage ,
An imaging device that images the specimen sample placed on the stage and continuously generates image data of the specimen sample;
A display unit that displays images corresponding to the image data generated by the imaging device in the order of generation;
Generated from the image data continuously generated by the imaging device, is combined image data having an observation region having a wider outer edge than the observation region of the imaging device, and displays the combined image corresponding to the combined image data on the display unit The observation mode of the microscope system between the bonded image observation mode to be displayed on the display unit and the normal observation mode in which the image corresponding to the image data continuously generated by the imaging device is displayed on the display unit in the generation order. A mode switching unit for switching,
When the mode switching unit switches to the bonded image observation mode, the movement speed is slower than the movement speed of the stage when the normal observation mode is set, and the time generated by the imaging device is around A drive control unit that drives the stage drive unit at a moving speed at which the two images overlap each other;
A microscope system comprising:

The image has a rectangular shape,
The microscope system according to claim 1, wherein the drive control unit drives the stage drive unit at a moving speed at which ends including one side of the image overlap each other.

The microscope system according to claim 1 or 2, characterized in that further comprising an input unit for accepting input of an instruction signal and the drive signal for driving the stage indicating the switching of the observation mode to the mode switching unit.

A movement amount calculation unit that calculates a relative movement amount of the observation region of the imaging device with respect to the stage based on the temporally continuous image data generated by the imaging device;
A live frame generation unit that generates a live position frame indicating an observation region of the imaging device;
Based on the movement amount calculated by the movement amount calculation unit, a display control unit that causes the display unit to display the live position frame at a display position corresponding to the current observation area of the imaging device;
Further microscope system according to any one of claims 1-3, characterized in that it comprises a.

A movement amount determination unit for determining whether or not the movement amount calculation unit was able to calculate the movement amount;
When the movement amount determination unit determines that the movement amount calculation unit has not been able to calculate the movement amount, the drive control unit drives the stage driving unit and immediately before the stage moves. The microscope system according to claim 4 , wherein the microscope system is moved to the position.

When the movement amount determination unit determines that the movement amount calculation unit has not been able to calculate the movement amount, the drive control unit drives the stage driving unit by further reducing the movement speed. The microscope system according to claim 5 .