JPWO2018096639A1 - 画像処理装置、顕微鏡システム、画像処理方法、およびプログラム - Google Patents

Abstract

画像処理装置であって、立体顕微鏡画像データの少なくとも一部の指定を受け付ける受付部と、指定に基づいて立体拡大画像データを生成する画像生成部とを含む。上記画像処理装置において、画像処理装置。画像生成部は、立体拡大画像データの少なくとも一部のデータに基づく第１拡大画像と、第１拡大画像とは少なくとも一部のデータが異なる立体拡大画像データの少なくとも一部のデータに基づく第２拡大画像とを順次、出力してもよい。

Description

本発明は、画像処理装置、顕微鏡システム、画像処理方法、およびプログラムに関する。

ＣＴ画像の一部を拡大して表示する技術がある（例えば、特許文献１参照）。
特許文献１ 特開２０１５−２０８５３９号公報

複数の顕微鏡画像を比較観察することが困難だった。

本発明の第１の態様においては、画像処理装置であって、第１顕微鏡画像の少なくとも一部における位置情報の指定を受け付ける受付部と、位置情報に基づいて、第１顕微鏡画像の一部の領域を拡大した第１拡大画像と、第２顕微鏡画像における第１拡大画像に関連した第２拡大画像とを出力する画像生成部とを含む。

本発明の第２の態様においては、画像処理方法であって、第１顕微鏡画像の少なくとも一部における位置情報の指定を受け付けることと、位置情報に基づいて、第１顕微鏡画像の一部の領域を拡大した第１拡大画像と、第２顕微鏡画像における第１拡大画像に関連した第２拡大画像とを出力することとを含む。

本発明の第３の態様においては、コンピュータプログラムであって、コンピュータに第１顕微鏡画像の少なくとも一部における位置情報の指定を受け付けることと、位置情報に基づいて、第１顕微鏡画像の一部の領域を拡大した第１拡大画像と、第２顕微鏡画像における第１拡大画像に関連した第２拡大画像とを出力することとを実行させる。

上記の発明の概要は、本発明の特徴の全てを列挙したものではない。これらの特徴群のサブコンビネーションも発明となり得る。

顕微鏡システム１００のブロック図である。 表示装置１７０に表示する画像を示す。 表示装置１７０に表示する画像を示す。 画像処理装置１０１における処理の概念を示す図である。 画像処理装置１０１における処理の概念を示す図である。 画像処理装置１０１における処理の概念を示す図である。 画像処理装置１０１における処理の概念を示す図である。 表示装置１７０に表示する画像を示す。 表示装置１７０に表示する画像を示す。 画像処理装置１０１における処理の概念を示す図である。 画像処理装置１０１における処理の概念を示す図である。 表示装置１７０に表示する画像を示す。 画像処理装置１０１における処理の手順を示す流れ図である。 図１３のステップＳ１０２の他の例を説明する図である。 図１３のステップＳ１０２のさらに他の例を説明する図である。 顕微鏡システム１０５のブロック図である。 顕微鏡画像の他の組み合わせを説明する図である。 顕微鏡画像のさらに他の組み合わせを説明する図である。 第１拡大画像４１１と第２拡大画像４１２が表示装置１７０に表示された状態を示す。 タイムラプス画像を用いる他の例を説明する図である。 他の画像処理装置１０２を備える顕微鏡システム１００のブロック図である。 表示条件として第１拡大画像４１１で拡大される範囲が指定される場合を説明する図である。 図２２に続く処理を説明する図である。 画像処理装置１０２における処理の実行手順を示す流れ図である。 第１顕微鏡画像４０１および第２顕微鏡画像４０２上の走査を受け付ける処理を説明する図である。 第１顕微鏡画像４０１および第２顕微鏡画像４０２上の走査を受け付ける処理を説明する図である。 他の画像処理装置１０３のブロック図である。 画像処理装置１０３の処理を説明する図である。 重ね合せ画像４１４が表示された状態を示す。 画像処理装置１０３の動作手順を示す流れ図である。 画像処理装置１０１のさらに他の動作を説明する図である。

以下、発明の実施の形態を通じて本発明を説明する。下記の実施形態は請求の範囲に係る発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、画像処理装置１０１を含む顕微鏡システム１００のブロック図である。顕微鏡システム１００は、顕微鏡７００、入力装置１３０、画像処理装置１０１、および表示装置１７０を備える。

入力装置１３０は、ユーザからの指示を画像処理装置１０１に入力する場合に操作される。入力装置１３０としては、マウス等のポインティングデバイス、キーボード、タッチパネル等、既存の汎用入力装置が用いられる。入力装置１３０は画像処理装置１０１への入力用であるが、第１顕微鏡１１０および第２顕微鏡１２０を操作するために設置したものを兼用してもよい。

表示装置１７０は、液晶表示パネル等であって、画像処理装置１０１が出力した表示画像を、ユーザが視認できる状態で表示する。表示装置１７０は、画像を表示する目的で第１顕微鏡１１０、第２顕微鏡１２０等のために設けられたものを兼用してもよい。

画像処理装置１０１は、画像対応部１４０、受付部１５０、および画像生成部１６０を有する。画像処理装置１０１は、後述する画像処理を実行するプログラムで制御された汎用情報処理装置により構成される。画像処理装置１０１は、顕微鏡７００から取得した顕微鏡画像データを処理して、表示装置１７０に表示する画像を生成する。

顕微鏡７００は、互いに異なる顕微鏡法で標本を撮像する第１顕微鏡７１０と第２顕微鏡７２０とを有する。第１顕微鏡７１０と第２顕微鏡７２０とは、双方の顕微鏡における光学系の少なくとも一部を共用している（すなわち、双方の顕微鏡における光学軸の少なくとも一部が同軸である）。なお、第１顕微鏡７１０と第２顕微鏡７２０とは、双方の顕微鏡における光学系が独立した光学系であってもよい。

第１顕微鏡７１０は、ＳＩＭ（Ｓｔｒｕｃｔｕｒｅｄ Ｉｌｌｕｍｉｎａｔｉｏｎ Ｍｉｃｒｏｓｃｏｐｙ：構造化照明顕微鏡法）により標本を撮像する。ＳＩＭは、周期的な照度パターンを有する構造化照明で標本を照明し、標本の像に生じる干渉縞に基づいて照明光波長よりも小さな標本の微細構造を表す超解像顕微鏡画像を生成する。この超解像顕微鏡画像は、構造化照明の照度パターンの向きと位置をそれぞれ変化させて標本を照明して得られた複数の画像を演算処理で再構築して生成される。なお、説明の便宜上、以下、再構築という表現は、単に生成や撮像と表現する。

一方、第２顕微鏡７２０は、ＳＴＯＲＭ（ＳＴｏｃｈａｓｔｉｃ Ｏｐｔｉｃａｌ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ Ｍｉｃｒｏｓｃｏｐｙ：確率的光学再構築顕微鏡法）により標本を撮像する。ＳＴＯＲＭは、複数の蛍光画像から高精度に検出した蛍光色素の位置情報を重ね合わせることで、照明光波長よりも高い分解能で蛍光画像（超解像顕微鏡画像）を再構築することができる。なお、説明の便宜上、以下、再構築という表現は、単に生成や撮像と表現する。

顕微鏡７００は、第１顕微鏡７１０で標本の少なくとも一部を含む観察領域を撮像し、第１顕微鏡画像データ４０１を生成する。さらに、顕微鏡７００は、第２顕微鏡７２０で、第１顕微鏡７１０で撮像した観察領域に対応した、標本の少なくとも一部を含む観察領域を撮像し、第２顕微鏡画像データ４０２を生成する。本実施形態において、第１顕微鏡７１０の観察領域に対応した第２顕微鏡７２０の観察領域とは、具体的には、第１顕微鏡７１０の撮像視野（すなわち、撮像される領域）に含まれる標本の少なくとも一部の領域を含む第２顕微鏡７２０の撮像視野である。したがって、第２顕微鏡７２０で撮像された画像における標本の像が、第１顕微鏡７１０で撮像された画像における標本の像の少なくとも一部を含むことになる。

第１顕微鏡画像データ４０１および第２顕微鏡画像データ４０２は、顕微鏡７００から画像処理装置１０１に送信される。ここで、第１顕微鏡画像データ４０１および第２顕微鏡画像データ４０２は、ＪＰＥＧ，ＢＭＰなど汎用のフォーマットで生成される。なお、これに代えて画像処理装置１０１で画像処理が可能な専用のフォーマットで生成されてもよい。また、表示装置１７０に表示されるまで、第１顕微鏡７１０で撮像された画像はデータとして取り扱われる（例えば、画像処理装置１０１では画像データとして処理される）ため、以下、第１顕微鏡画像データ４０１と称するが、当該データが示している情報は画像であるので説明の便宜上、同じ参照番号を用いて第１顕微鏡画像４０１と称する。第２顕微鏡画像データ４０２についても同様に、説明の便宜上、同じ参照番号を用いて第２顕微鏡画像４０２と称する。

図２は、表示装置１７０の表示画面を示す図である。図２において、画像処理装置１０１に取得された時点の第１顕微鏡画像４０１および第２顕微鏡画像４０２が表示されている。なお、図２およびそれ以降の図において適宜、Ｘ軸およびＹ軸が記載されているが、これらは向きを説明するためのものであって、実空間における特定の方向を意味するものではない。

図中左側に表示された第１顕微鏡画像４０１は、標本像５０１を含む。図中右側に表示された第２顕微鏡画像４０２は、第１顕微鏡７１０と同じ標本の標本像５０２を含む。

第１顕微鏡画像４０１および第２顕微鏡画像４０２は、互いに異なる顕微鏡法に基づいて生成されているので、双方の顕微鏡画像における２つの標本像５０１、５０２は、像の倍率の大きさ（像の大きさ、ともいう場合がある）、向き、位置が異なっている。すなわち、図２の例では、第１顕微鏡画像４０１における標本像５０１に対して、第２顕微鏡画像４０２における標本像５０２は、表示装置１７０の画面上の寸法が小さい。

また、第１顕微鏡画像４０１における標本像５０１の長手方向はＸ軸に略平行であるのに対して、第２顕微鏡画像４０２における標本像５０２はＸ軸からＹ軸へ向かって４５°程度傾いている（すなわち、右上がりに傾いている）。更に、標本像５０１は、第１顕微鏡画像４０１の中央付近に位置しているのに対して、標本像５０２は、第２顕微鏡画像４０２の右端付近に位置している。

このように、第１顕微鏡画像４０１と第２顕微鏡画像４０２とでは、各画像内での標本像５０１、５０２の大きさ、傾き、位置がいずれも異なる。このため、第１顕微鏡画像４０１および第２顕微鏡画像４０２を並べて表示装置１７０に表示しても、ユーザが両方の画像を比較観察することは困難である。

図３から図８は、画像対応部１４０の処理を説明する図である。画像対応部１４０は、例えば下記の通り、第１顕微鏡画像４０１と第２顕微鏡画像４０２とを対応付ける処理を行う。この対応付ける処理は、第１顕微鏡画像４０１を構成する画素の二次元座標位置である画素位置と第２顕微鏡画像４０２を構成する画素の二次元座標位置である画素位置とを対応付ける処理と言い換えることができる。この対応付ける処理は、第１顕微鏡画像４０１および第２顕微鏡画像４０２の少なくとも一部の画素について、第１顕微鏡画像４０１の、ある位置の画素を特定すると、第２顕微鏡画像４０２の、ある位置の画素が一意に特定されるような対応関係を、構築する処理であると言い換えることができる。例えば、当該処理は、第１顕微鏡画像４０１における画素の位置と顕微鏡画像上における位置が同じ画素を第２顕微鏡画像４０２において特定する処理を含む。当該画素位置は、第１顕微鏡画像４０１および第２顕微鏡画像４０２内の位置であるので画像位置と呼ぶこともできる。さらに、この対応付ける処理は、第１顕微鏡画像データ４０１と第２顕微鏡画像データ４０２とを対応付ける処理とも言い換えることができる。

図３は、図２の状態の後に表示装置１７０に表示される画像を示す。受付部１５０は入力装置１３０を介してユーザから第１顕微鏡画像４０１内の位置の指定を受け付ける。画像対応部１４０は指定された位置にマーカ５１１を表示する。図３の例において、標本像５０１内の位置が指定されている。

受付部１５０はさらに、から第２顕微鏡画像４０２内において、第１顕微鏡画像４０１内に指定した位置に対応すると考えられる位置の指定をユーザから受け付ける。この場合、ユーザは、第１顕微鏡画像４０１において指定した標本の部位と同じ部位だと考えられる位置を第２顕微鏡画像４０２において指定する。画像対応部１４０は指定された位置にマーカ５１２を表示する。図３の例において、標本像５０２内の位置が指定されている。

同様に、ユーザから、第１顕微鏡画像４０１内のマーカ５１１とは異なる位置の指定と、第２顕微鏡画像４０２内において、第１顕微鏡画像４０１内に指定した位置（つまり、マーカ５１１とは異なる位置）に対応すると考えられる位置（言い換えると、マーカ５１２とは異なる位置）の指定の入力を受け付ける。受付部１５０は入力装置１３０への入力に基づいて、第１顕微鏡画像４０１内の当該位置を特定してマーカ５２１を表示するとともに、第２顕微鏡画像４０２内の当該位置を特定してマーカ５２２を表示する。第１顕微鏡画像４０１内および第２顕微鏡画像４０２内の位置を指定する場合に、例えばユーザがマウスで第１顕微鏡画像４０１内および第２顕微鏡画像４０２内の位置をクリックすることで、当該位置を特定する位置情報が指定され、受付部１５０は当該位置情報を取得する。

図４から図７は、図３で説明した位置の指定後に画像対応部１４０が実行する処理の概念を説明する図である。図４から図８には第１顕微鏡画像４０１および第２顕微鏡画像４０２が「画像」として表されているが、画像処理装置１０１の内部で処理される画像データを説明のために図示したものであってこのような「画像」が生成されたり、表示装置１７０に表示されるわけではない。また、画像処理装置１０１は第１顕微鏡画像４０１をデータとして取り扱うので、以下、第１顕微鏡画像データともいうが、当該データが示している情報は画像であるので、同じ参照番号を用いるとともに、画像として図示する場合がある。第２顕微鏡画像４０２についても同様である。

図４は、第１顕微鏡画像４０１における標本像５０１と第２顕微鏡画像４０２における標本像５０２の向きを合わせる画像データの処理を説明する図である。画像対応部１４０は、まず、第１顕微鏡画像４０１においてマーカ５１１、５２１を結ぶ仮想的な直線６０１のデータを生成する。同様に、画像対応部１４０は、第２顕微鏡画像４０２においてマーカ５１２、５２２を結ぶ仮想的な直線６０２のデータを生成する。

図５は、画像対応部１４０による図４の次の処理を説明する図である。画像対応部１４０は、第１顕微鏡画像４０１の直線６０１と、第２顕微鏡画像４０２の直線６０２の傾きとを合わせるため、図５に矢印６１１で示すように、第２顕微鏡画像４０２全体を、図５の点線の枠で示された図４の状態から、図５における時計回りに図５に示す向きまで回転させるように、第２顕微鏡画像データ４０２を処理する。

さらに、画像対応部１４０は、第１顕微鏡画像４０１のマーカ５１１、５２１の間の距離Ｄ_１を算出する。続いて、画像対応部１４０は、第２顕微鏡画像４０２のマーカ５１２、５２２の間の距離Ｄ_２を算出する。

図６は、画像対応部１４０による図５の次の処理を説明する図である。距離Ｄ_２、Ｄ_１の大きさの関係はＤ_２＜Ｄ_１なので、標本像５０２（すなわち、第２顕微鏡画像４０２）がＤ_１／Ｄ_２倍されると図６に示すように標本像５０１（すなわち、第１顕微鏡画像４０１）と大きさ（倍率）が一致する。よって、画像対応部１４０は第２顕微鏡画像４０２がＤ_１／Ｄ_２倍されるように第２顕微鏡画像データ４０２を処理する。

図７は、画像対応部１４０による処理の次の段階を説明する図である。画像対応部１４０は、第２顕微鏡画像４０２のマーカ５１２の位置を第１顕微鏡画像４０１のマーカ５１１の位置に合わせるように、第２顕微鏡画像データ４０２を処理する。ここで、マーカ５１２の位置をマーカ５１１の位置に合わせることは、第２顕微鏡画像４０２のＸＹ座標系におけるマーカ５１２の位置（座標）を、第１顕微鏡画像４０１のＸＹ座標系におけるマーカ５１１の位置（座標）と同じ位置（座標）に合わせることである。

図８は、画像対応部１４０により、標本像（すなわち、第１顕微鏡画像４０１と第２顕微鏡画像４０２）の大きさ、傾きおよび位置を合わせた第１顕微鏡画像４０１および第２顕微鏡画像が、表示装置１７０の画面に並べて表示された状態を示す。図８に示す例において、画像生成部１６０は、図７に示すように第１顕微鏡画像４０１における標本像５０１と第２顕微鏡画像４０２における標本像５０２とが倍率の大きさ、傾き、位置が合うように画像処理された第２顕微鏡画像４０２のうち、第１顕微鏡画像４０１と同じ大きさの部分のみを表示装置１７０に表示している。第１顕微鏡画像４０１における標本像５０１と第２顕微鏡画像４０２における標本像５０２は、倍率の大きさ、傾き、位置が合っている。よって、ユーザは第１顕微鏡画像４０１と第２顕微鏡画像４０２とを容易に比較観察することができる。

なお、上記の例では、画像対応部１４０は、第２顕微鏡画像４０２を回転し、縮小し、更に移動させるよう第２顕微鏡画像データ４０２を処理することにより、第２顕微鏡画像４０２の標本像５０２の大きさ、向きおよび位置を第１顕微鏡画像４０１の標本像５０１の大きさ、向きおよび位置に合わせた。これに代えて、画像対応部１４０は、第１顕微鏡画像４０１を回転、拡大、および移動させるよう第１顕微鏡画像データ４０１を処理して、第１顕微鏡画像４０１の標本像５０１の大きさ、向きおよび位置を第２顕微鏡画像４０２の標本像５０２の大きさ、向きおよび位置に合わせてもよい。

図９は、画像生成部１６０の処理に関して表示装置１７０に表示される画像を示す。図９において、上記図８に示すように、第１顕微鏡画像４０１と第２顕微鏡画像４０２の標本像の大きさ、向きおよび位置が合わせられた状態で表示され、受付部１５０は、入力装置１３０により第１顕微鏡画像４０１における少なくとも一部の位置情報の指定を受け付ける。

この場合に、画像生成部１６０は入力装置１３０によるユーザからの入力、例えばマウスの移動により、図９に示すように第１顕微鏡画像４０１上にカーソル５３０を表示する。更に、受付部１５０は、ユーザからのマウスボタンの押し下げの操作により指定される点の位置を位置情報（例えば点の座標）として受け付ける。なお、図９では、カーソル５３０が表示される位置でユーザが、マウスボタンを押し下げ、点を指定している。受け付けられた点の位置は、Ｘ字型のマーク５３１により、表示装置１７０の画面上に表示される。なお、受付部１５０は、マウスボタンの押し下げに代えて、リターンキーの押し下げ、表示装置１７０がタッチパネルである場合の当該表示装置１７０へのタッチ等の操作により、点の指定を受け付けてもよい。

図１０は、画像生成部１６０の処理を説明する図である。画像生成部１６０は、受付部１５０で受け付けた第１顕微鏡画像４０１における点の位置情報（例えば、点の座標）を受付部１５０から取得する。そして、画像生成部１６０は、当該点の位置に対応する第１拡大領域６３１を特定する。より具体的には、画像生成部１６０は、取得した第１顕微鏡画像４０１における点の位置情報に基づいて、受付部１５０で受け付けた点を含む予め設定された領域を拡大する領域、すなわち、拡大領域６３１として特定する。図示の例では、第１拡大領域６３１は、マーク５３１の位置を中心とする、予め設定された半径６２１の円に囲まれた領域である。

なお、受付部１５０は、入力装置１３０により第１顕微鏡画像４０１における点の位置を位置情報とする指定に代えて、第１顕微鏡画像４０１における領域の位置を位置情報とする指定を受け付けてもよい。この場合、例えば、第１顕微鏡画像４０１において、ユーザがある位置でマウスをドラッグしつつ移動することで移動量を対角線とする矩形が表示され、ドラッグをリリースすることにより、受付部１５０でその矩形が受け付けられてもよい。そして、画像生成部１６０は、指定された矩形の位置に関する情報（例えば、矩形の４つの頂点の座標）を受付部１５０から取得し、その情報に基づいて、指定された矩形を含む予め設定された領域（例えば、指定された矩形の対角線を直径とする領域）を第１拡大領域６３１として特定する。また、受付部１５０は、入力装置１３０としてキーボード等により直接入力される第１顕微鏡画像４０１（第１顕微鏡画像データ４０１）の座標を位置情報として受け付けてもよい。この場合、第１顕微鏡画像４０１上の点を指定するように１点の座標を受け付けてもよいし、第１顕微鏡画像４０１上の領域を指定するように複数点の座標（例えば、矩形領域であれば４つの頂点の座標）を受け付けてもよい。画像生成部１６０は、受け付けられた座標を取得し、その座標に対応する点や領域を含む第１拡大領域６３１を特定する。さらに、受付部１５０は、第１拡大領域６３１自体の位置を位置情報とする指定を受け付けてもよい。この場合、第１顕微鏡画像４０１において、ある位置でマウスをドラッグしつつ移動することで移動量を直径または半径とする円が表示され、ドラッグをリリースすることでその円が第１拡大領域６３１として受け付けられてもよい。そして、画像生成部１６０は、指定された円（第１拡大領域６３１）の位置に関する情報（例えば、円の中心座標と半径）を取得し、指定された円を第１拡大領域６３１として特定する。上記いずれの場合も領域の指定は、矩形や円に限られず他の形状で指定されてもよい。

更に、図１０に示すように、画像生成部１６０は、第１顕微鏡画像４０１における第１拡大領域６３１を拡大した第１拡大画像４１１を生成する。第１拡大画像４１１の拡大倍率は、画像処理装置１０１に予め設定されていた倍率であってもよいし、位置情報が指定された後に画像処理装置１０１がユーザに問い合わせてもよい。第１拡大画像４１１は、第１顕微鏡画像４０１の第１拡大領域６３１が表示装置１７０に表示されるときの大きさよりも、大きく表示される画像であるともいえる。なお、第１拡大画像４１１を生成するに際して、画像を形成する画素の一部が第１顕微鏡画像４０１に存在せず画像に欠損が生じる場合は、画像生成部１６０が補完用の画素を生成して欠損した画素を補填してもよい。なお、第１拡大領域６３１は第１顕微鏡画像４０１の少なくとも一部の領域であるから、第１拡大画像４１１は第１顕微鏡画像４０１の少なくとも一部の領域を拡大した画像であるといえる。

図１１は、図１０の後の処理を説明する図である。画像生成部１６０は、受付部１５０で指定を受け付けられた第１顕微鏡画像４０１における点に対応する、第２顕微鏡画像４０２における点を特定する。具体的には、画像生成部１６０は、指定を受け付けられた第１顕微鏡画像４０１における点の位置と同じ、第２顕微鏡画像４０２における位置の点を特定する。言い換えると、画像生成部１６０は、指定を受け付けられた第１顕微鏡画像４０１における点の位置と顕微鏡画像上における位置が同じ点を第２顕微鏡画像４０２において特定する。また、言い換えると、画像生成部１６０は、指定を受け付けられた第１顕微鏡画像４０１における点に対応する画素の位置と同じ、第２顕微鏡画像４０２における画素を特定する。

次に、画像生成部１６０は、第２顕微鏡画像４０２において特定した点を中心として円形の領域を特定して第２拡大領域６３２を特定する。第２拡大領域６３２は第１拡大領域６３１と同じ半径６２２を有する。更に、画像生成部１６０は、第２顕微鏡画像データ４０２について、第２拡大領域６３２の画像を、第１拡大領域６３１を拡大した倍率と同じ倍率で拡大して、第２拡大画像４１２を生成する。なお、画像生成部１６０により特定される第２拡大領域６３２は、第２顕微鏡画像４０２における点（画像生成部１６０で特定される点）を中心に設定されなくてもよく、第２拡大画像４１２の観察に支障がない程度に、第２拡大領域６３２が設定される位置が第２顕微鏡画像４０２における点（画像生成部１６０で特定される点）の中心から離れていてもよい。

なお、第２拡大画像４１２は、第１顕微鏡画像４０１で拡大すべく指定された点に対応する、第２顕微鏡画像４０２の点を含む領域を拡大したものであるという点で、第１拡大画像４１１に関連しているといえる。だだし、画像生成部１６０が第１拡大画像４１１に関連して生成する第２拡大画像４１２は、それぞれの点の位置が対応しているものに限られず、何らかの関連性を有していればよい。また、第２拡大領域６３２は第２顕微鏡画像４０２の少なくとも一部の領域であるから、第２拡大画像４１２は第２顕微鏡画像４０２の少なくとも一部の領域を拡大した画像であるといえる。

図１２は、第１拡大画像４１１および第２拡大画像４１２が表示装置１７０に表示される一例である。画像生成部１６０は、第１拡大画像４１１を第１顕微鏡画像４０１に重畳して表示装置１７０に表示する。第１拡大画像４１１の中心は、第１顕微鏡画像４０１において受付部１５０で指定を受け付けられた点の位置に一致している。よって、第１拡大画像４１１は、第１顕微鏡画像４０１の指定を受け付けられた点の周囲を、恰も虫眼鏡で拡大して観察しているかのように表示するので、ユーザは、第１顕微鏡画像４０１全体を俯瞰しつつ、ユーザ自身が注目した領域（すなわち、第１顕微鏡画像４０１内で指定された位置を含む領域）について拡大された画像を観察することができるため、顕微鏡画像の直感的な観察作業を実施することができる。

また、画像生成部１６０は、第２拡大画像４１２を第２顕微鏡画像４０２に重畳して表示する。第２拡大画像４１２の中心は、第２顕微鏡画像４０２において画像生成部１６０で特定された点の位置に一致している。よって、第２拡大画像４１２は、第２顕微鏡画像４０２において特定された点の周囲を、恰も虫眼鏡で拡大して観察しているかのように表示するので、ユーザは、第２顕微鏡画像４０２全体を俯瞰しつつ、顕微鏡画像の直感的な観察作業を実施することができる。

更に、第１顕微鏡画像４０１（標本像）および第２顕微鏡画像４０２（標本像）は、予め、大きさ（倍率）、向きおよび位置を合わせて表示されている。また、第１拡大画像４１１および第２拡大画像４１２は、それぞれ、表示されている第１顕微鏡画像４０１および第２顕微鏡画像４０２に対して、同じ倍率で拡大されている。これにより、第１顕微鏡画像４０１（標本像）と第２顕微鏡画像４０２（標本像）との倍率や向きが異なって撮影されていても、第１顕微鏡画像４０１と第２顕微鏡画像４０２との画像全体の比較観察を容易に実施することができる。更に、第１顕微鏡画像４０１と第２顕微鏡画像４０２においてユーザが注目した領域についての比較観察を容易に実施することができる。

また、ユーザが第１顕微鏡画像４０１において拡大したい点の位置を指定すれば、当該位置を含む領域の第１拡大画像４１１のみならず、それに対応した点を含む領域の第２拡大画像４１２も表示装置１７０表示される。よって、第１顕微鏡画像４０１と第２顕微鏡画像４０２のそれぞれで拡大したい点の位置を指定する手間を省いて、第１拡大画像４１１と第２拡大画像４１２とを容易に対比して観察できる。

なお、第１拡大画像４１１の一部が第１顕微鏡画像４０１からはみ出して第２顕微鏡画像４０２に重なる場合、画像生成部１６０は、第１拡大画像４１１に重なる第２顕微鏡画像４０２の一部を隠して第１拡大画像４１１を表示してもよい。また、第２拡大画像４１２の一部が第２顕微鏡画像４０２からはみ出して第１顕微鏡画像４０１に重なる場合、画像生成部１６０は、第２拡大画像４１２に重なる第１顕微鏡画像４０１の一部を隠して第２拡大画像４１２を表示してもよい。

また、第１拡大領域６３１および第２拡大領域６３２の一部が、第１顕微鏡画像４０１および第２顕微鏡画像４０２からはみ出した場合、第１拡大画像４１１および第２拡大画像４１２において、はみ出した拡大領域に対応する領域は、画像生成部１６０が、無地の画像を充填してもよい。

図１３は、画像処理装置１０１における処理手順を示す流れ図である。画像処理装置１０１は、まず、第１顕微鏡画像４０１（第１顕微鏡画像データ）および第２顕微鏡画像４０２（第２顕微鏡画像データ）を顕微鏡７００から取得する（Ｓ１０１）。

次に、画像対応部１４０は、図３から図７に示した方法を用いて、第１顕微鏡画像４０１および第２顕微鏡画像４０２について、第１顕微鏡画像４０１と、第２顕微鏡画像４０２にとの対応付けを実行する（Ｓ１０２）。画像対応部１４０は、当該対応付けに基づいて、第１顕微鏡画像４０１および第２顕微鏡画像４０２の標本像の大きさ、向きおよび位置を合わせて図８に示すように表示装置１７０に表示する（Ｓ１０３）。

次に、画像処理装置１０１は、受付部１５０により入力装置１３０からの入力を監視して、第１顕微鏡画像４０１における位置情報の入力を待つ（Ｓ１０４：ＮＯ）。入力装置１３０を介してユーザからの位置情報が入力されると（Ｓ１０４：ＹＥＳ）、画像生成部１６０は、第１顕微鏡画像４０１の第１拡大領域６３１を特定する（Ｓ１０５）。画像生成部１６０は、第１顕微鏡画像４０１における第１拡大領域６３１を拡大した第１拡大画像４１１を生成する（Ｓ１０９）。

次に、画像生成部１６０は、第２顕微鏡画像４０２の第２拡大領域６３２を特定する（Ｓ１０６）。ここで、第１顕微鏡画像４０１と第２顕微鏡画像４０２とは標本像の大きさ、向きおよび位置が合わせてあるので、図１１を用いて説明したように、ステップＳ１０４で入力された第１顕微鏡画像４０１における点の位置と同じ、第２顕微鏡画像４０２における点の位置が第２拡大領域６３２の中心の位置として特定される。次に、画像生成部１６０は、第２顕微鏡画像４０２における第２拡大領域６３２を拡大した第２拡大画像４１２を生成する（Ｓ１０７）。更に、図１２を用いて説明したように、画像生成部１６０は、第１顕微鏡画像４０１および第２顕微鏡画像４０２と、第１拡大画像４１１および第２拡大画像４１２とを並べて表示装置１７０に表示させる（Ｓ１０８）。

なお、顕微鏡システム１００の外部から顕微鏡画像を取得できる通信部を画像処理装置１０１に設けてもよい。通信部は、インターネット、専用回線等を通じて、外部のデータベース等から第１顕微鏡画像４０１または第２顕微鏡画像４０２を取得して、画像処理装置１０１に用いてもよい。

図１３のステップＳ１０２において、ユーザから第１顕微鏡画像４０１と第２顕微鏡画像４０２とを対応付けるのに用いる位置の指定を受け付けることに代えて、第１顕微鏡画像４０１および第２顕微鏡画像４０２に含まれる、複数のマーカの像を画像対応部１４０が自動抽出して、その位置を用いてもよい。この場合、第１顕微鏡画像４０１と第２顕微鏡画像４０２を撮像する前に、標本または標本の周囲にマーカを導入する。導入するマーカは、金の微粒子や蛍光標識等の既存のマーカを用いることができる。

この場合に、画像対応部１４０は、図３から図７で説明した方法と同様の方法で、第１顕微鏡画像４０１における複数のマーカの像の位置（第１顕微鏡画像４０１内での位置座標）と、第２顕微鏡画像４０２における複数のマーカの像の位置（第２顕微鏡画像４０２内での位置座標）が一致するような、第２顕微鏡画像４０２の回転量、大きさの比および移動量を算出する。これにより、ユーザは、ステップＳ１０２において、第１顕微鏡画像４０１と第２顕微鏡画像４０２への対応付けのための位置を指定することなく、画像対応部１４０が自動的に第１顕微鏡画像４０１と第２顕微鏡画像４０２とを対応付けることができるため、第１顕微鏡画像４０１と第２顕微鏡画像４０２の比較観察の手間が軽減される。また、標本や標本の周囲に導入されたマーカの位置は第１顕微鏡画像４０１と第２顕微鏡画像４０２とを撮像する際に変化しないため、マーカの像を使用して対応付けを行うことで、正確な対応付けを行うことができる。なお、第１顕微鏡画像４０１における複数のマーカと第２顕微鏡画像４０２における複数のマーカとをユーザが指定してもよい。

なお、ステップＳ１０２において、画像対応部１４０は、第１顕微鏡画像４０１と第２顕微鏡画像４０２のどちらにも表れる形態的な特徴を利用して顕微鏡画像同士を対応付けしてもよい。例えば、細胞表面の突起構造、細胞内のミトコンドリアの形状、カバーガラスの傷等をマーカとして使用してもよい。なお、これらのマーカの像を画像対応部１４０が自動抽出して顕微鏡画像同士の対応付けを実行してもよいし、画像対応部１４０は、ユーザによるこれらのマーカの像の位置の指定を受け付け、顕微鏡画像同士の対応付けを実行してもよい。

図１４は、図１３のステップＳ１０２の他の例を説明する図である。図１４において、第１顕微鏡画像４０１はＳＩＭで得られた画像であり、第２顕微鏡画像４０２は電子顕微鏡で得られた画像である。ここで、ＳＩＭの顕微鏡画像と電子顕微鏡の顕微鏡画像には、どちらも標本像４５１、４５２がそのまま表れる。よって、図１３のステップＳ１０２において画像対応部１４０は、ＳＩＭによる第１顕微鏡画像４０１と電子顕微鏡による第２顕微鏡画像４０２をパターンマッチングすることによって、第１顕微鏡画像４０１と第２顕微鏡画像４０２とを対応付ける。

この例では、図１３のステップＳ１０２において、ユーザから、双方の顕微鏡画像で複数の位置の指定を受け付けることに代えて、画像対応部１４０は第１顕微鏡画像４０１と第２顕微鏡画像４０２とのパターンマッチングを行う。この場合に、画像対応部１４０は、この顕微鏡画像同士の類似度が最も高くなる、第１顕微鏡画像４０１に対する第２顕微鏡画像４０２の回転量、倍率、位置変位量を算出する。そして、画像対応部１４０は、図８のように、算出したこれらの値に基づいて、第２顕微鏡画像４０２（第２顕微鏡画像データ）を画像処理し、第１顕微鏡画像４０１と第２顕微鏡画像４０２とを対応付ける。したがって、パターンマッチングにより顕微鏡画像同士を容易に対応付けることができるようになり、顕微鏡画像同士の比較観察の手間が軽減する。ここでパターンマッチングは、例えば正規化相関法、幾何学形状パターンマッチング法のような既知の方法が用いられる。また、パターンマッチングは、テンプレートマッチングと言い換えられる。

なお、画像対応部１４０は、それぞれの顕微鏡画像における画像全体を使用してパターンマッチングをしなくてもよい。例えば、受付部１５０は、第１顕微鏡画像４０１の一部の領域についてパターンマッチングを実行する領域としてユーザから指定を受け付け、画像対応部１４０は、指定された第１顕微鏡画像４０１における領域と第２顕微鏡画像４０２とをパターンマッチングしてもよいし、さらに受付部１５０は、第２顕微鏡画像４０２の一部の領域の指定をユーザから受け付けて、画像対応部１４０は、指定された第１顕微鏡画像４０１における領域と指定された第２顕微鏡画像４０２における領域とをパターンマッチングしてもよい。顕微鏡画像において、パターンマッチングに使用する画像の領域を狭めることで、パターンマッチングの類似度を低下させる原因となる異物（ゴミなど）やテクスチャ（しみなど）が、パターンマッチングに使用する一方の画像（パターンマッチングに使用する領域）に含まれる可能性が低くなるため、顕微鏡画像同士の対応付けの精度を向上することができ、顕微鏡画像同士を正確に比較観察できる。

図１５は、図１４のパターンマッチングの変形例を説明する図である。この例では、画像対応部１４０は、図１４で説明した第１顕微鏡画像４０１と第２顕微鏡画像４０２とのパターンマッチングに代えて、第１拡大画像４６１と第２顕微鏡画像４０２とのパターンマッチングを行う。

この場合に、画像対応部１４０は、図１３のステップＳ１０２において、パターンマッチングのために拡大する位置の入力を、入力装置１３０を介してユーザから受け付ける。同ステップＳ１０２において、画像対応部１４０は、図１５に示すように当該位置での第１拡大画像４６１に含まれるパターンを用いてパターンマッチングする。パターンマッチングの方法は図１４で説明したのと同様である。

第１拡大画像４６１に含まれるパターンに基づいて第１顕微鏡画像４０１および第２顕微鏡画像４０２を対応付けることにより、第１拡大画像４６１の範囲は第１顕微鏡画像４０１に比べて狭いので、上述したように、第１拡大画像４６１にゴミ等が含まれる可能性が低くなり、パターンマッチングの誤検出の可能性を低くすることができる。なお、上記の例では、第１拡大画像４６１に含まれるパターンを第２顕微鏡画像４０２に対して検索した。しかしながら、第２顕微鏡画像４０２で拡大すべき位置の指定を受け付けて、当該位置を含む領域を拡大した拡大画像に含まれるパターンを、第１顕微鏡画像４０１に対してパターンマッチングしてもよい。

また、図１３のステップＳ１０２の他の方法として、画像対応部１４０は、第１顕微鏡画像４０１を撮像したときの顕微鏡７００の設定条件と、第２顕微鏡画像４０２を撮像したときの顕微鏡７００の設定条件を取得し、それらに基づいて、第１顕微鏡画像４０１および第２顕微鏡画像４０２とを対応付けてもよい。ここで、設定条件には、顕微鏡の結像倍率やステージ座標などが含まれる。画像対応部１４０は、結像倍率とステージ座標の両方を使用して顕微鏡画像同士の対応付けをしてもよいし、どちらか一方を使用して対応付けをしてもよい。

結像倍率は、ステージ上の標本をそれぞれの顕微鏡で撮像する際に、標本の像を顕微鏡の撮像装置（ＣＣＤやＣＭＯＳ等）の撮像面上に結像する倍率である。画像対応部１４０は、第１顕微鏡画像４０１を撮像したときの結像倍率と第２顕微鏡画像４０２を撮像したときの結像倍率から、第１顕微鏡画像４０１における標本像５０１の倍率と第１顕微鏡画像４０１における標本像５０２の倍率とを対応付けることができる。これにより、例えば表示装置１７０に表示されたときの第１顕微鏡画像４０１における標本像５０１の大きさと第２顕微鏡画像４０２における標本像５０２の大きさを合せることができる。よって、双方の比較観察が容易になる。

また、ステージ座標は、標本をそれぞれの顕微鏡で撮像する際に取得する、標本を乗せたステージの座標である。画像対応部１４０は、第１顕微鏡画像４０１を撮像したときのステージ座標と第２顕微鏡画像４０２を撮像したときのステージ座標から、第１顕微鏡画像４０１における標本像５０１の位置と第２顕微鏡画像４０２における標本像５０２の位置とを対応付けることができる。これにより、例えば表示装置１７０に表示されたときの第１顕微鏡画像４０１における標本像５０１の位置と第２顕微鏡画像４０２における標本像５０２の位置とを合せることができる。よって、双方の比較観察が容易になる。

なお、図１３のステップＳ１０３では第１顕微鏡画像４０１と第２顕微鏡画像４０２との対応付けに基づいて、像の大きさ、向きおよび位置を合わせて表示しているが、第１顕微鏡画像４０１と第２顕微鏡画像４０２とで、像の大きさ、向きおよび位置を合わせて表示することを省略してもよい。この場合に、ステップＳ１０２において、図３から図７で説明した顕微鏡画像同士の対応付けの方法、図１４および図１５で説明した顕微鏡画像同士の対応付けの方法、および、上述の顕微鏡画像の撮像時における顕微鏡の設定条件を用いて対応付けを行う方法のいずれにおいても、画像生成部１６０は、第１顕微鏡画像４０１と第２顕微鏡画像４０２との対応付けにおいて特定されたそれぞれの像の大きさ、向きおよび位置に基づいて、ステップＳ１０５での第１拡大領域の特定に対応して、ステップＳ１０６で第２拡大領域を特定する。

図１６は、他の顕微鏡画像を用いる顕微鏡システム１０５のブロック図であり、図１７は、顕微鏡システム１０５で用いられる顕微鏡画像を説明する図である。この例では、標本を互いに異なる焦点面で撮影された顕微鏡画像が用いられる。なお、顕微鏡システム１０５は顕微鏡７００が単一である点で、顕微鏡システム１００と異なっている。顕微鏡システム１０５において顕微鏡システム１００と同じ構成には同じ参照番号を付して、説明を省略する。

ＳＴＥＤ、共焦点レーザ走査型顕微鏡（ＣＬＳＭ）等の顕微鏡法では、標本の異なる高さを焦点面として、それぞれの焦点面で撮像していくことで、高さ方向に連なる（言い換えると、３次元位置情報を有する）顕微鏡画像群を生成することができる。本実施例では、図１３のステップＳ１０１において、画像対応部１４０は、単一の顕微鏡７００から複数の焦点面で撮像された顕微鏡画像群を取得する。

この場合に、画像対応部１４０は、顕微鏡画像群の顕微鏡画像（輝度分布）を合成することにより、三次元の輝度分布情報を有する立体顕微鏡画像データ（立体顕微鏡画像）を生成する。受付部１５０は、第１顕微鏡画像４０１と第２顕微鏡画像４０２として、立体顕微鏡画像データ（立体顕微鏡画像）から、互いに平行な平面で切りだす２つの平面顕微鏡画像データ（平面顕微鏡画像）の指定を受け付ける。この場合、例えば、受付部１５０は、表示装置１７０に表示された立体顕微鏡画像データに基づくレンダリング画像において、ユーザによるマウスでの第１顕微鏡画像４０１と第２顕微鏡画像４０２の指定を受け付ける。

画像対応部１４０はさらに、図１３のステップＳ１０２において、第１顕微鏡画像４０１と第２顕微鏡画像４０２とを対応付ける。この場合に、画像対応部１４０は、図３から図７で説明した顕微鏡画像同士の対応付けの方法、図１４および図１５で説明した顕微鏡同士の対応付けの方法、および、顕微鏡画像の撮像時の顕微鏡の設定情報を用いて対応付けを行う方法のいずれを用いてもよい。これにより、例えば、異なる焦点面を撮像するときに生じる時間差で標本が動くような場合であっても、適切に対応付けをすることができる。よって、異なる平面で切りだした平面顕微鏡画像同士であっても、双方の顕微鏡画像の標本の像の大きさ、向きおよび位置が揃えられているので、それらを容易に比較観察することができる。

さらに図１３のステップＳ１０３以降の動作が行われる。具合的には、画像対応部１４０は、第１顕微鏡画像４０１および第２顕微鏡画像４０２を表示装置１７０に表示する（図１３のＳ１０３）。入力装置１３０を介してユーザからの位置情報が入力されると（図１３のＳ１０４：ＹＥＳ）、画像生成部１６０は、第１顕微鏡画像４０１の第１拡大領域６３１を特定し（図１３のＳ１０５）、第１顕微鏡画像４０１における第１拡大領域６３１を拡大した第１拡大画像４１１を生成する（図１３のＳ１０９）。

次に、画像生成部１６０は、第２顕微鏡画像４０２の第２拡大領域６３２を特定し（図３のＳ１０６）、第２顕微鏡画像４０２における第２拡大領域６３２を拡大した第２拡大画像４１２を生成する（図１３のＳ１０７）。更に、図１２を用いて説明したように、画像生成部１６０は、第１顕微鏡画像４０１および第２顕微鏡画像４０２と、第１拡大画像４１１および第２拡大画像４１２とを並べて表示装置１７０に表示させる（図１３のＳ１０８）。

なお、本実施例では、単一の顕微鏡７００から取得した顕微鏡画像群から立体顕微鏡画像データが生成された。これに代えて、複数の顕微鏡から顕微鏡画像をそれぞれ取得して、これら複数の顕微鏡画像を合成して立体顕微鏡画像データが生成されてもよい。

また、第１顕微鏡画像４０１と第２顕微鏡画像４０２として、立体顕微鏡画像を切り出す平面のそれぞれの向きは、入力装置１３０を介してユーザが自由に指定できてよい。例えば、第１顕微鏡画像４０１と第２顕微鏡画像４０２として、立体顕微鏡画像データ（立体顕微鏡画像）から、任意の方向について互いに平行な平面が切りだされてよい。また、比較観察に支障がなければ、第１顕微鏡画像４０１と第２顕微鏡画像４０２とは、立体顕微鏡画像データ（立体顕微鏡画像）において互いに平行でない平面が切りだされてよい。

なお、ＳＴＥＤ、共焦点レーザ走査型顕微鏡（ＣＬＳＭ）等の顕微鏡法ではそれぞれの焦点面での蛍光強度の検出において同一の対物レンズが用いられることが多い。同一の対物レンズを用いた複数の焦点面での顕微鏡画像群に基づいて生成された平面顕微鏡画像を第１顕微鏡画像４０１および第２顕微鏡画像４０２とする場合には、図１３のステップＳ１０２での、図３から図７に示す第１顕微鏡画像４０１と第２顕微鏡画像４０２との対応付けの方法において、画像対応部１４０は、像の大きさを合わせる処理を省略してもよい。また、標本が動かない場合には、第１顕微鏡画像４０１と第２顕微鏡画像４０２とは向き、大きさおよび位置が一致している場合もある。この場合には、図１３のステップＳ１０２での、図３から図７に示す第１顕微鏡画像４０１と第２顕微鏡画像４０２との対応付けを省略してもよい。

図１８は、図１６の顕微鏡システム１０５で用いられる他の顕微鏡画像の組み合わせを例示する図である。図１８の顕微鏡画像群４５０は、観察領域（顕微鏡の撮像視野）を任意の経過時間毎に撮影して得られた複数の顕微鏡画像を含む（いわゆる、タイムラプス撮影により取得した画像群）。本実施例では、図１３のステップＳ１０１において、画像対応部１４０は、単一の顕微鏡７００でタイムラプス撮影された顕微鏡画像群を取得する。図１８には、上記顕微鏡画像群４５０のうちの、互いに異なる時間範囲の画像群が２列に表示されている。

画像対応部１４０は、図１３のステップＳ１０２において、入力装置１３０を介して上記の顕微鏡画像群４５０における異なる時間範囲から取得された第１顕微鏡画像４０１および第２顕微鏡画像４０２の指定を受け付ける。すなわち、この例においては、第１顕微鏡画像４０１および第２顕微鏡画像４０２として、互いに撮影された時刻が異なる顕微鏡画像同士が指定されている。画像対応部１４０はさらに、図３から図７を用いて説明した方法で第１顕微鏡画像４０１と第２顕微鏡画像４０２とを対応付ける。これにより、撮影の時間差で標本が動くような場合であっても、適切に対応付けをすることができる。なお、図３から図７で説明した点を用いる方法に代えて、図１４および図１５で説明したパターンマッチングを用いる方法、および、顕微鏡画像の撮像時における顕微鏡の設定条件を用いる方法のいずれを用いてもよい。

図１９にしめすように、画像対応部１４０は、図１３のステップＳ１０３において、第１顕微鏡画像４０１および第２顕微鏡画像４０２を表示装置１７０に表示する。受付部１５０は、図１３のステップＳ１０４において、入力装置１３０を介して第１顕微鏡画像４０１において拡大されるべき位置情報の指定を受け付ける。

さらに図１３のステップＳ１０５以降の動作が行われる。具合的には、入力装置１３０を介してユーザからの位置情報が入力されると、画像生成部１６０は、第１顕微鏡画像４０１の第１拡大領域６３１を特定し（図１３のＳ１０５）、第１顕微鏡画像４０１における第１拡大領域６３１を拡大した第１拡大画像４１１を生成する（図１３のＳ１０９）。

また、画像生成部１６０は、第１顕微鏡画像４０１と第２顕微鏡画像４０２との対応付けにおいて特定されたそれぞれの像の大きさ、向きおよび位置に基づいて、図１０および図１１を用いて説明したように、ユーザに指定された第１顕微鏡画像４０１の点の位置に対応する、第２顕微鏡画像４０２の点の位置を特定する（図３のＳ１０６）。さらに画像生成部１６０は、特定した第２顕微鏡画像４０２の点を含む領域を拡大した第２拡大画像４１２を生成する（図３のＳ１０７）。

更に、図１２を用いて説明したように、画像生成部１６０は、第１顕微鏡画像４０１および第２顕微鏡画像４０２と、第１拡大画像４１１および第２拡大画像４１２とを並べて表示装置１７０に表示させる（図１３のＳ１０８）。

画像生成部１６０は、第１拡大画像４１１を第１顕微鏡画像４０１に重畳するとともに第２拡大画像４１２を第２顕微鏡画像４０２に重畳して、表示装置１７０に表示する（図１３のＳ１０８）。これにより、タイムラプス撮影して生成された顕微鏡画像群４５０から選択された、互いに撮像された時刻の異なる第１顕微鏡画像４０１および第２顕微鏡画像４０２の部分拡大画像である第１拡大画像４１１および第２拡大画像４１２を表示装置１７０に表示して比較観察できる。したがって、タイムラプス画像同士の比較観察も容易に行うことができる。

更に、画像生成部１６０は、第１顕微鏡画像４０１および第２顕微鏡画像４０２を時間の経過に沿って表示装置１７０に表示する。ここで、第１拡大画像４１１は順次表示される第１顕微鏡画像４０１に対応して切り替えられる。また、第２拡大画像４１２も、順次表示される第２顕微鏡画像４０２に伴って切り替えられる。これにより、標本において生じている現象の時間的変化を効率よく比較観察できる。

なお、画像生成部１６０は、表示装置１７０に表示する第１拡大画像４１１および第２拡大画像４１２の切り替えを、スライダ５５１の操作によりユーザから受け付ける。具体的には、画像生成部１６０は、図１８で２列に配された画像群が表すタイムラプス撮影の時間の長さ（２列の画像群が示す時間の長さが同じであればその時間、時間の長さが異なる場合にはいずれか一方）を図１９に示すようにバー５５２の長さで表示装置１７０に表示する。当該バー５５２はユーザからのスライダ５５１の可動を受け付ける範囲を示している。入力装置１３０を介してスライダ５５１の操作を受け付けた場合に、画像生成部１６０はスライダ５５１のバー５５２上の位置から当該位置に対応する時間を特定する。画像生成部１６０は特定した時間に対応する第１顕微鏡画像４０１および第２顕微鏡画像４０２をそれぞれの画像群から特定し、特定された第１顕微鏡画像４０１の第１拡大画像４１１および第２顕微鏡画像４０２の第２拡大画像４１２とともに表示する。これにより、ユーザはスライダ５５１を操作することで、第１拡大画像４１１および第２拡大画像４１２のそれぞれの時間変化を観察することができ、比較観察の効率を更に向上できる。

なお、本実施例では、単一の顕微鏡でタイムラプス撮影された顕微鏡画像が用いられたが、これに代えて、複数の顕微鏡から顕微鏡画像をそれぞれ取得して、これら複数の顕微鏡画像を撮影された順に並べることで、タイムラプス撮影された顕微鏡画像としてもよい。

また、上記の例では、顕微鏡画像群４５０として、ひとつの標本を時刻順に観察した画像から第１顕微鏡画像４０１および第２顕微鏡画像４０２を取得した。しかしながら、第１顕微鏡画像４０１と、第２顕微鏡画像４０２とが、一連の時間経過において撮影された顕微鏡画像群に含まれていなくてもよい。例えば、同じ標本に対して試薬Ａを標本に与えて時間経過に沿って撮像した顕微鏡画像群から第１顕微鏡画像４０１を選択し、その後、試薬Ｂを標本に与えて時間経過に沿って撮像した顕微鏡画像群から第２顕微鏡画像４０２を選択してもよい。また、異なる標本に対して同じ試薬を与えて、時間経過に沿ってそれぞれの標本を撮像して得られたそれぞれの顕微鏡画像群から第１顕微鏡画像４０１と第２顕微鏡画像４０２とを選択してもよい。

なお、図１９のスライダ５５１は、図１７を用いて説明したように、立体顕微鏡画像データにおける複数の平面を切り出した画像のうちから第１顕微鏡画像４０１と第２顕微鏡画像４０２をユーザが指定したり、これらの顕微鏡画像を画像生成部１６０が表示装置１７０に表示する場合に用いることができる。この場合に、受付部１５０は、スライダ５５１の位置を立体顕微鏡画像データの切り出す平面の位置に対応付けて記憶しておく。受付部１５０は、入力装置１３０を介してユーザからスライダ５５１の位置の入力を受け付けた場合に、受け付けたスライダ５５１の位置から、立体顕微鏡画像データの切り出す平面の位置を特定して画像生成部１６０に出力することで、画像生成部１６０は当該平面での平面顕微鏡画像を表示装置１７０に表示する。

図２０はタイムラプス画像を用いる他の例を説明する図である。図１８および図１９を用いて説明したタイムラプス画像については、ユーザが注目する位置や領域が移動していく場合がある。よって、この例では、第１顕微鏡画像４０１で拡大すべく指定を受け付けた位置が、その後に撮像された第１顕微鏡画像４０１および第２顕微鏡画像４０２のそれぞれでどの位置に移動したかを検出する。この場合に、図１４および図１５で説明したパターンマッチングを用いることができる。

この場合に、図１３のステップＳ１０１において、画像対応部１４０は単一の顕微鏡７００でタイムラプス撮影された顕微鏡画像群を取得する。画像対応部１４０は、入力装置１３０を介して上記の顕微鏡画像群における異なる時間範囲から取得された第１顕微鏡画像４０１および第２顕微鏡画像４０２の指定を受け付ける。

さらに、本実施例において画像処理装置１０１は、図１３のステップＳ１０２からＳ１０７に代えて、以下のように動作する。受付部１５０は、ユーザが注目したいと考えている第１顕微鏡画像４０１の位置の指定を入力装置１３０から受け付けて、画像対応部１４０は当該位置を含む領域４５３を特定する。画像対応部１４０は、領域４５３を用いて、現在表示されている第１顕微鏡画像４０１よりも後の時刻の複数の第１顕微鏡画像４０１とパターンマッチングする。これにより、画像対応部１４０は、当該第１顕微鏡画像４０１よりも後の時刻の複数の第１顕微鏡画像４０１において領域４５３と類似度が高いと検出された領域をそれぞれ拡大して、複数の第１拡大画像４１１を生成する。

画像対応部１４０はさらに、領域４５３を用いて、現在表示されている第２顕微鏡画像４０２およびその後の時刻の複数の第２顕微鏡画像４０２とパターンマッチングを行い、第１顕微鏡画像４０１と第２顕微鏡画像４０２とを対応付ける。これにより、画像対応部１４０は、これら複数の第２顕微鏡画像４０２において領域４５３と類似度が高いと検出された領域４５４をそれぞれ拡大して、複数の第２拡大画像４１２を生成する。

図２０で示すように、画像生成部１６０は、第１拡大画像４１１と第２拡大画像とを時間の経過に沿って表示装置１７０に表示する。これにより、タイムラプス画像で、ユーザが注目する位置や領域が移動していても、その位置や領域を拡大した拡大画像を容易に比較することができる。

なお、図１９および図２０で説明した例において、第１顕微鏡画像４０１および第１拡大画像４１１は変えずに、第２顕微鏡画像４０２および第２拡大画像４１２の方だけを時間の経過に沿って表示してもよい。

図２１は、他の画像処理装置１０２を備える顕微鏡システム１００のブロック図である。画像処理装置１０２は、次に説明する部分を除くと図１に示した画像処理装置１０１と同じ構造を有する。画像処理装置１０１と共通の要素には同じ参照番号を付して重複する説明を省く。

画像処理装置１０２は、入力装置１３０で指定された位置を受け付ける受付部１５０に加えて、同じく入力装置１３０から入力された表示条件を受け付ける処理受付部１５１を備える点で、画像処理装置１０１と異なる。表示条件は、一旦生成された第１拡大画像４１１を画像処理して表示装置１７０での表示を変更する条件である。表示条件には、第１拡大画像４１１で拡大される範囲、画像の倍率、画像の明るさ、画像のコントラスト、画像の回転および画像の反転が含まれる。

図２２は、表示条件として第１拡大画像４１１で拡大される範囲が指定される場合を説明する図である。ユーザは、表示装置１７０に表示された第１拡大画像４１１に対して、第１拡大画像４１１の輪郭をカーソル５３０によりドラッグして、変更後の大きさを指定する。図２２に矢印６４１で示すように、カーソル５３０を、第１拡大画像４１１の径方向外側に向かってドラッグすることにより、ユーザは、第１拡大画像４１１の表示領域の拡大を指示できる。また、ユーザは、所望の位置でドラッグを解除することにより、画像処理後の第１拡大画像４１１の大きさを確定させる。

図２３は、図２２に続く処理を説明する図である。処理受付部１５１が受け付けた第１拡大画像４１１の大きさに基づいて、画像生成部１６０は、当初の第１拡大画像４１１を、拡大された表示範囲に対応する第１拡大画像４２１の範囲まで拡大する。これに伴って、画像処理装置１０２は、当初の第２拡大画像４１２を、拡大した第１拡大画像４２１と同じ大きさまで拡大して、拡大した第２拡大画像４２２を生成する。この場合に、第１顕微鏡画像４０１と第２顕微鏡画像４０２とは像の大きさ、向きおよび位置が合わせてあるので、第１顕微鏡画像４０１（標本像）と第２顕微鏡画像４０２（標本像）で同じ位置、同じ倍率および同じ範囲で拡大処理を行う。これにより、拡大した第１拡大画像４２１と、拡大した第２拡大画像４２２とが並置される。

図２４は、画像処理装置１０２における処理の実行手順を示す流れ図である。図２４の手順において、ステップＳ１０１からＳ１０８は図１３と同じであるので説明を省略する。

表示装置１７０に、第１顕微鏡画像４０１、第２顕微鏡画像４０２、第１拡大画像４１１、および第２拡大画像４１２が表示されている状態で、処理受付部１５１は、この状態で表示条件の入力の有無を受け付ける（Ｓ１２１）。

処理受付部１５１が表示条件を受け付けると（Ｓ１２１：ＹＥＳ）、画像生成部１６０は、第１拡大画像４１１に対して表示条件での画像処理を実行する（Ｓ１２２）。また、画像生成部１６０は、第１拡大画像４１１に対して実行した画像処理を、第１拡大画像４１１に対応して生成された第２拡大画像４１２に対しても反映して実行させる（Ｓ１２３）。

続いて、画像生成部１６０は、画像処理後の第１拡大画像４２１および第２拡大画像４２２を生成して（Ｓ１２４）、表示装置１７０に表示させる（Ｓ１２５）。これにより、処理受付部１５１が表示条件を受け付けた場合に実行される処理が完了する。

このように、画像処理装置１０２は、画像生成部１６０による処理が一旦完了した後に、更に、第１拡大画像４１１および第２拡大画像４１２を、入力された表示条件に従って画像処理することができる。これにより、表示装置１７０に表示される処理後の第１拡大画像４１１および第２拡大画像４１２をより見やすくして、比較観察の効率を更に向上させることができる。

また、画像処理装置１０２は、第１拡大画像４１１に対する表示条件が入力された場合に、第２拡大画像４１２に対しても、第１拡大画像４１１と同等の画像処理を実行する。これにより、第１拡大画像４１１および第２拡大画像４１２の表示条件を各々指定する手間が省けるので、両者を効率よく比較観察できる。

なお、上記のステップＳ１２１で表示条件を指定する場合の指定方法は、第１拡大画像４１１上でカーソルの移動を操作する方法に限られない。例えば、画像処理の種類およびパラメータの値を選択肢として列挙したメニューを表示させ、当該メニューが指示する内容を選択させてもよい。更に、例えば拡大画像の表示領域を指定する場合は、標本における現実の大きさを数値により指定してもよいし、表示装置１７０上のピクセル数、元の領域の大きさに対する倍率等により指定してもよい。更に、大きさの異なる複数の第１拡大画像４１１を表示させて、そのなかから選択するようにしてもよい。

図２４のステップＳ１２１において、処理受付部１５１は、表示条件として図２３で説明した、第１拡大画像４１１で拡大される範囲以外の表示条件を受け付けてもよい。例えば、処理受付部１５１が表示条件として第１拡大画像４１１の回転を受け付けた場合に、画像生成部１６０は第１拡大画像４１１を回転して第１顕微鏡画像４０１に重畳する。同様に、画像生成部１６０は第２拡大画像４１２も回転して第２顕微鏡画像４０２に重畳する。この場合に、第１顕微鏡画像４０１と第２顕微鏡画像４０２は像の大きさ、向きおよび位置が合わせてあるので、画像生成部１６０は第２拡大画像４１２を第１拡大画像４１１と同じ角度だけ回転すればよい。

図２４のステップＳ１２１において、処理受付部１５１はさらに他の表示条件として画像の倍率、画像の明るさ、画像のコントラストおよび画像の反転を受け付けてもよい。いずれの表示条件を受け付けた場合も、画像生成部１６０は、当該表示条件による画像処理後の第１拡大画像４１１および第２拡大画像４１２を生成し、第１顕微鏡画像４０１および第２顕微鏡画像４０２のそれぞれに重畳して、表示装置１７０に表示する。これにより、第１拡大画像４１１および第２拡大画像４１２の処理を各々指定する手間が省けるので、両者を効率よく比較観察できる。

図２４のステップＳ１２１に代えて、受付部１５０が第１拡大画像４１１を移動する指示を受け付けてもよい。この場合にユーザが入力装置１３０を介して第１拡大画像４１１を表示装置１７０上でドラッグして移動する場合に、受付部１５０は当該移動を受け付けて、その移動方向および移動量を画像生成部１６０に出力する。画像生成部１６０は、受付部１５０で受け付けた移動方向および移動量だけ、第１顕微鏡画像４０１内で第１拡大領域６３１を移動し、移動後の第１拡大領域６３１を拡大した第１拡大画像４１１を生成する。さらに、画像生成部１６０は、受付部１５０で受け付けた移動方向および移動量だけ、第２顕微鏡画像４０２内で第２拡大領域６３２を移動し、移動後の第２拡大領域６３２を拡大した第２拡大画像４１２を生成する。画像生成部１６０はこれら第１拡大画像４１１および第２拡大画像４１２を表示装置１７０に表示する。これにより、表示装置１７０において、第１拡大画像４１１の移動に同期して、第２拡大画像４１２も移動して表示されることとなる。第１拡大画像４１１に対する移動の指示によって第２拡大画像４１２も一緒に移動するので、ユーザが自らの見やすい場所へ第１拡大画像４１１および第２拡大画像４１２を移動し、双方を容易に比較観察することができる。

図２４のステップＳ１２１に代えて、処理受付部１５１が第１拡大画像４１１を表示する位置の変更を受け付けてもよい。この場合にユーザが入力装置１３０を介して第１拡大画像４１１を表示装置１７０上でドラッグして移動する場合に、処理受付部１５１は当該移動を受け付けて、その移動方向および移動量を画像生成部１６０に出力する。画像生成部１６０は、処理受付部１５１で受け付けた移動方向および移動量で、第１拡大画像４１１を移動した位置に表示するとともに、第２拡大画像４１２も同じ移動方向および移動量で移動した位置に表示する。これにより、表示装置１７０において、第１拡大画像４１１の移動に同期して、第２拡大画像４１２も移動して表示されることとなる。第１拡大画像４１１に対する移動の指示によって第２拡大画像４１２も一緒に移動するので、ユーザが自らの見やすい場所へ第１拡大画像４１１および第２拡大画像４１２を移動し、双方を容易に比較観察することができる。

図２５および図２６は、図２４のステップＳ１２１で表示条件を受け付けることに代えて、第１顕微鏡画像４０１および第２顕微鏡画像４０２上の走査を受け付ける処理を説明する図である。

この例では、第１拡大画像４１１および第２拡大画像４１２を比較観察する場合に、ユーザは、処理受付部１５１に対して走査モードを指示できる。走査モードにおいて走査を開始する位置、走査の方向および走査を終了する位置はデフォルトで設定されているが、入力装置１３０を介してユーザが指定できるようになっていてもよい。

走査モードにおいて、画像生成部１６０は第１顕微鏡画像４０１の始点から走査の方向に沿って第１顕微鏡画像４０１を走査し、走査位置を含む第１拡大画像４１１を順次生成して表示する。

図２５は、始点における第１拡大画像４１１および第２拡大画像が示され、図２６には走査の途中における第１拡大画像４１１および第２拡大画像が示されている。画像生成部１６０は、第１顕微鏡画像４０１の走査に同期して、第２顕微鏡画像４０２の対応する位置の第２拡大画像４１２を順次生成して表示する。

よって、第１拡大画像４１１および第２拡大画像４１２は、互いに同期して同じ方向への水平移動を繰り返しつつ、第１顕微鏡画像４０１および第２顕微鏡画像４０２上を徐々に下降する。このような走査モードにより、画像処理装置１０２は、第１顕微鏡画像４０１と第２顕微鏡画像４０２における網羅的な比較観察の効率を向上させる。

図２５および図２６を用いて説明した走査モードは、ウエルプレートに二次元に配置された複数のウエルの標本を対比観察する場合にも用いることができる。複数のウエルに対して、標本に与える薬物の量、濃度、種類、薬物の投与からの経過時間等を互いに異ならせておく。

この場合にまず、画像対応部１４０は、特定のウエルの標本を撮像して得られた第１顕微鏡画像４０１と、該特定のウエルとは異なる複数のウエルの標本を撮像して得られた複数の第２顕微鏡画像４０２とを取得する。受付部１５０は第１顕微鏡画像４０１において拡大する点の位置の指定を受け付け、画像生成部１６０は第１顕微鏡画像４０１の当該点を含む領域を拡大した第１拡大画像４１１を生成する。なお、図１０の例で説明したように、受付部１５０は、第１顕微鏡画像４０１の点の位置の指定に代えて、第１顕微鏡画像４０１の領域の位置の指定を受け付けてもよい。

画像生成部１６０は、受付部１５０で指定を受け付けられた第１顕微鏡画像４０１における点に対応する、複数の第２顕微鏡画像４０２のそれぞれにおける点を特定する。具体的には、画像生成部１６０は、指定を受け付けられた第１顕微鏡画像４０１における点の位置（第１顕微鏡画像４０１内の位置座標）と同じ、第２顕微鏡画像４０２における位置（第２顕微鏡画像４０２内の位置座標）の点を特定する。画像生成部１６０はさらに、複数の第２顕微鏡画像４０２の当該点を含む領域を拡大した複数の第２拡大画像４１２を生成して、第１拡大画像４１１とともに複数の第２拡大画像４１２を表示装置１７０に順次表示する。指定を受け付けられた第１顕微鏡画像４０１における点の位置と同じ、第２顕微鏡画像４０２における位置の点を特定することに代えて、第１顕微鏡画像４０１と複数の第２顕微鏡画像４０２の各々とについて、図１４および図１５を用いて説明したパターンマッチングを用いて、複数の第２顕微鏡画像４０２のそれぞれで第２拡大画像４１２を生成する位置を特定してもよい。

画像生成部１６０は、複数の第２拡大画像４１２を順次表示する場合に、図２５および図２６で説明したのと同様に、ユーザからの入力またはデフォルトの設定に基づいて、走査を開始する位置、走査の方向および走査を終了する位置を特定し、走査上の位置に対応するウエルの第２拡大画像４１２を順次表示する。これにより、与えられた薬物の量、濃度、種類、薬物の投与からの経過時間等が互いに異なる複数のウエルの標本を容易に比較観察することができる。

図２７は、他の画像処理装置１０３のブロック図である。画像処理装置１０３は、次に説明する部分を除くと、図１に示した画像処理装置１０１と同じ構成を有する。よって、共通の構成には同じ参照番号を付して重複する説明を省く。

画像処理装置１０３は、入力装置１３０からの指示を受け付ける透明化受付部１５２および重ね合せ受付部１５３をさらに備える。透明化受付部１５２は、入力装置１３０を通じて入力されたユーザからの透明化の指示を受け付ける。重ね合せ受付部１５３は、入力装置１３０を通じて入力されたユーザからの画像の重ね合せの指示を受け付ける。

図２８は、画像処理装置１０３の処理を説明する図である。透明化の指示を入力される前に、画像対応部１４０が表示装置１７０に表示する。図２８には、第１顕微鏡画像４０１および第２顕微鏡画像４０２に重ねて、第１拡大画像４１１および第２拡大画像４１２がそれぞれ表示される。図２８にはさらに、透明化を支持するボタン４９１が表示される。

ボタン４９１により透明化の指示が受け付けられると、透明化受付部１５２を通じて指示を取得した画像生成部１６０は、マウス等のポインティングデバイスにより操作されたカーソル５３０により、第１拡大画像４１１と第２拡大画像４１２とのいずれを透明化するかを選択させる。図示の例では、第１拡大画像４１１が選択され、透明化される。

なお、ここでいう透明化は、第１拡大画像４１１の内容が判り、且つ、下地が透けて見える程度に半透明化することを意味し、第１拡大画像４１１を消失させることはない。また、画像処理装置１０３は、表示装置１７０に透過率を調整するスライダ５５１を表示させて、透過率についてユーザが設定できるようになっている。

重ね合せ受付部１５３は、入力装置１３０を通じてユーザが重ね合わせの指示を入力した場合に、当該指示を受け付ける。重ね合せ受付部１５３が重ね合わせの指示を受け付けた場合に、画像生成部１６０は、第１拡大画像４１１および第２拡大画像４１２を重ね合わせた重ね合せ画像４１４を生成する重ね合せ処理を実行する。

重ね合せ受付部１５３は、ユーザが第１拡大画像４１１上にカーソル５３０を置いた状態でドラッグして第１拡大画像４１１を移動させ、第２拡大画像４１２に重ねた場合に、重ね合せの指示があったと判断する。第１拡大画像４１１をドラッグにより移動することに代えて、ボタン、メニュー項目等により重ね合せの指示を受け付けてもよい。ボタン、メニュー項目等により重ね合せの指示を受け付けた場合には、第１拡大画像４１１および第２拡大画像４１２の一方の位置に重ね合せ画像を表示してもよいし、第１拡大画像４１１および第２拡大画像４１２のいずれの位置とも異なる位置に重ね合せ画像を表示してもよい。

図２９は、重ね合せ画像４１４が表示された状態を示す。画像生成部１６０は、第１拡大画像４１１と第２拡大画像４１２とが重なった領域について、先に透明化されている第１拡大画像４１１を上層にして、透明化されていない第２拡大画像４１２を背景にする重ね合せ処理を実行する。これにより、第１拡大画像４１１と第２拡大画像４１２とで相違する部分を把握することが容易になる。したがって、第１顕微鏡画像４０１と第２顕微鏡画像４０２との比較観察の効率が向上する。また、画像生成部１６０は、ユーザの指示により、透明化する拡大画像と、背景にする拡大画像とを入れ換えられるようにしてもよい。

更に、重ね合せ画像４１４を生成するにあたって、第１拡大画像４１１および第２拡大画像４１２の一方の画像を他方の画像と異なる色や明るさ等になるように画像処理してもよい。例えば、第１拡大画像４１１および第２拡大画像４１２の一方の画像を他方の画像と異なる色になるように画像処理する場合、第１拡大画像４１１および第２拡大画像４１２の一方の画像を他方の画像と異なる色調になるように画像処理してもよい。これにより、第１拡大画像４１１および第２拡大画像の比較が一層容易になる。

図３０は、画像処理装置１０３の動作手順を示す流れ図である。図３０の手順においてステップＳ１０１からステップＳ１０８は図１３と同じであるので説明を省略する。

表示装置１７０に、第１顕微鏡画像４０１、第２顕微鏡画像４０２、第１拡大画像４１１、および第２拡大画像４１２が表示されている状態で、透明化受付部１５２は、この状態で、透明化の指示を受け付ける（Ｓ１３１）。

次に、透明化受付部１５２が透明化の指示を受け付けると（Ｓ１３１：ＹＥＳ）、画像生成部１６０は、例えば第１拡大画像４１１に対して透明化を実行する（Ｓ１３２）。ついで、重ね合せ受付部１５３が、重ね合せの指示の有無を監視しつつ待機する（Ｓ１３３：ＮＯ）。

重ね合せ受付部１５３が重ね合せの指示を受け付けると（Ｓ１３３：ＹＥＳ）、画像生成部１６０は、第１拡大画像４１１および第２拡大画像４１２を重ね合わせて重ね合せ画像４１４を生成する（Ｓ１３４）。画像生成部１６０は、生成した重ね合せ画像４１４を第２顕微鏡画像４０２に重畳して表示装置１７０に表示させる（Ｓ１３５）。こうして、画像処理装置１０３による画像処理が終了する。

図３１は、画像処理装置１０１のさらに他の動作を説明する図である。図３１には、図１２と同様に、第１顕微鏡画像４０１、第２顕微鏡画像４０２、第１拡大画像４１１、および第２拡大画像４１２が表示されている。

図３１において、ユーザから拡大すべき位置の新たな指定があるごとに、図１３のステップＳ１０５からＳ１０８が繰り返されて、表示装置１７０に、当該位置に対応した第１拡大画像４１１および第２拡大画像４１２を表示する。このようにして、ユーザは第１拡大画像４１１および第２拡大画像４１２を順次観察するが、その後、以前に比較観察した特定の位置についての第１拡大画像４１１および第２拡大画像４１２を観察したい場合がある。そこで、受付部１５０が図１３のステップＳ１０４で位置の指定を受け付けるごとに、ステップＳ１０５からＳ１０８を実行して、画像生成部１６０は、第１拡大画像４１１と第２拡大画像４１２とを表示装置１７０に表示するとともに、第１顕微鏡画像４０１のそれぞれの位置にマーカ４７５を表示する。また、当該それぞれの位置に対応付けて第１拡大画像４１１と第２拡大画像４１２とが画像処理装置１０１に記憶される。

次に、マーカ４７５のいずれかがユーザにより指定されると、画像生成部１６０は、当該マーカ４７５に対応する位置について記憶された第１拡大画像４１１および第２拡大画像４１２を表示装置１７０に表示する。なお、画像生成部１６０は、ユーザからの指示に基づいて、複数のマーカ４７５について、自動的に第１拡大画像４１１および第２拡大画像４１２を順次表示してもよい。なお、マーカ４７５は第２顕微鏡画像４０２において、第１顕微鏡画像４０１でユーザにより指定された点に対応する点に表示されてもよいし、第１顕微鏡画像４０１と第２顕微鏡画像４０２の両方に表示されてもよい。

本実施例によれば、拡大画像を比較する作業の過程でマーカ４７５を残しておくことができるので、以前に拡大した位置を後で改めて観察したいとき、手間なく拡大画像の比較観察を行うことができる。したがって、第１顕微鏡画像４０１と第２顕微鏡画像４０２の比較観察を容易に進めることができる。

なお、上記いずれの実施例および変形例においても、画像生成部１６０は、第１拡大画像４１１を第１顕微鏡画像４０１に重畳せずに表示装置１７０に別個に表示してもよく、第２拡大画像４１２を第２顕微鏡画像４０２に重畳せずに表示装置１７０に別個に表示してもよい。さらに、画像生成部１６０は、第１拡大画像４１１を第１顕微鏡画像４０１に重畳する場合においても、第１顕微鏡画像４０１内において拡大することを指定された位置とは異なる位置に第１拡大画像４１１を重畳させてもよい。同様に、画像生成部１６０は、第２拡大画像４１２を第２顕微鏡画像４０２に重畳する場合においても、第２顕微鏡画像４０２内において拡大することを指定された位置とは異なる位置に第２拡大画像４１２を重畳させてもよい。

また、上記いずれの実施例および変形例においても、ＳＩＭ、ＳＴＯＲＭおよび電子顕微鏡で得られた第１顕微鏡画像４０１、第２顕微鏡画像４０２に代えて、他の顕微鏡法で得られた画像を第１顕微鏡画像４０１、第２顕微鏡画像４０２としてもよい。例えば、実体蛍光顕微鏡、落射蛍光顕微鏡、共焦点顕微鏡、ＳＴＥＤ（ＳＴｉｍｕｌａｔｅｄ Ｅｍｉｓｓｉｏｎ Ｄｅｐｌｅｔｉｏｎ）顕微鏡、ＰＡＬＭ（ＰｈｏｔｏＡｃｔｉｖａｔｅｄ Ｌｏｃａｌｉｚａｔｉｏｎ Ｍｉｃｒｏｓｃｏｐｙ）、Ｅｘｐａｎｓｉｏｎ Ｍｉｃｒｏｓｃｏｐｙ、原子間力顕微鏡等で生成された顕微鏡画像を用いてもよい。また、同一の顕微鏡法において互いに異なった条件で処理された画像を第１顕微鏡画像４０１および第２顕微鏡画像としてもよい。この場合に、ＳＩＭにおいて、再構築の際に設定される条件が互いに異なった超解像画像同士、を第１顕微鏡画像と第２顕微鏡画像としてもよい。

いずれの顕微鏡方法で得られた画像を用いる場合であっても、画像対応部１４０は、図３から図７で説明した顕微鏡画像同士を対応付ける方法、図１４および図１５で説明した顕微鏡画像同士を対応付ける方法、および、顕微鏡画像の撮像時における顕微鏡の設定条件を用いる方法のいずれを用いて第１顕微鏡画像４０１と第２顕微鏡画像４０２とを対応付けてもよい。さらに、いずれの実施例および変形例においても、第１顕微鏡画像４０１と第２顕微鏡画像４０２は、同じ種類の標本であって異なる個体の標本や異なる種類の標本を撮像して得られた画像であってもよい。

なお、上記いずれの実施例および変形例においても、受付部１５０で指定された第１顕微鏡画像４０１における少なくとも一部と、その一部に対応する、第２顕微鏡画像４０２の少なくとも一部は同じ位置でなくてもよい。具体的には、受付部１５０で指定を受け付けられる第１顕微鏡画像４０１における点と、画像生成部１６０により特定される第２顕微鏡画像４０２における点とは顕微鏡画像上における位置が同じでなくてもよい。例えば、受付部１５０で指定を受け付けられた第１顕微鏡画像４０１における点を含む領域を拡大した第１拡大画像と、画像生成部１６０により特定された第２顕微鏡画像４０２における点を含む領域を拡大した第２拡大画像とを比較観察する際、比較に支障がない程度に、指定を受け付けられた第１顕微鏡画像４０１における点と、画像生成部１６０により特定される第２顕微鏡画像４０２における点とは顕微鏡画像上における位置が離れていてもよい。

上記いずれの実施例および変形例においても、画像生成部１６０は、第１拡大画像４１１と第２拡大画像４１２の輝度値を特定の範囲に分布させる輝度変換をしてもよい。画像生成部１６０は、第１拡大画像４１１と第２拡大画像４１２とでそれぞれ明るさの分布が適したものになるよう、別々の輝度変換をすることが好ましい。例えば、第１拡大画像４１１における輝度値（言い換えると、第１拡大画像４１１の各画素の輝度値）が２５６階調のうちの低い（暗い）方に集中して分布している場合に、画像生成部１６０は、その分布が２５６階調全体に広がるように輝度の変換を行う。具体的には、第１拡大画像４１１の各画素の輝度値のうち、輝度値の高い画素の輝度値がより高く（より明るく）なるように各画素の輝度を変換する。一方、例えば、第２拡大画像４１２における輝度値（言い換えると、第２拡大画像４１２の各画素の輝度値）が２５６階調のうちの高い（明るい）方に集中して分布している場合、画像生成部１６０は、その分布が２５６階調全体に広がるように、第２拡大画像４１２の画素のうち、輝度値の低い画素の輝度値がより低く（より暗く）なるように各画素の輝度を変換する。これにより、第１拡大画像４１１および第２拡大画像４１２でそれまで見えていなかった輝度の差が表れて標本の微細な構造の像が観察できる。第１拡大画像４１１と第２拡大画像４１２とでそれぞれ明るさの分布が適したものになるよう、別々に輝度変換されることにより、双方の比較観察が容易になる。この場合に変換前の輝度値と変換後の輝度値との関係が記述された既知のＬＵＴ（ルックアップテーブル）等が用いられる。

なお、第２拡大画像４１２は、第１顕微鏡画像４０１で拡大すべく指定されて第１拡大画像４１１が生成された位置に対応する、第２顕微鏡画像４０２の位置を拡大したものであるという点で、第１拡大画像４１１に関連しているといえる。だだし、画像生成部１６０が第１拡大画像４１１に関連して生成する第２拡大画像は、それぞれの位置が対応しているものに限られず、何らかの関連性を有していればよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。

請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１００、１０５ 顕微鏡システム、１０１、１０２、１０３ 画像処理装置、１１０ 第１顕微鏡、１２０ 第２顕微鏡、１３０ 入力装置、１４０ 画像対応部、１５０ 受付部、１５１ 処理受付部、１５２ 透明化受付部、１５３ 重ね合せ受付部、１６０ 画像生成部、１７０ 表示装置、４０１ 第１顕微鏡画像、４０２ 第２顕微鏡画像、４１４ 重ね合せ画像、４１１、４２１、４６１ 第１拡大画像、４１２、４２２ 第２拡大画像、４５０ 顕微鏡画像群、４５１、４５２ 標本像、４５３、４５４ 領域、４７５、５１１、５１２、５２１、５２２ マーカ、４９１ ボタン、５０１、５０２ 標本像、５３０ カーソル、５３１ マーク、５５１ スライダ、５５２ バー、６０１、６０２ 直線、６１１、６４１ 矢印、６２１、６２２ 半径、６３１、６３２ 拡大領域、７００ 顕微鏡、７１０ 第１顕微鏡、７２０ 第２顕微鏡

Claims (33)

1. 第１顕微鏡画像の少なくとも一部における位置情報の指定を受け付ける受付部と、位置情報に基づいて、第１顕微鏡画像の一部の領域を拡大した第１拡大画像と、第２顕微鏡画像における第１拡大画像に関連した第２拡大画像とを出力する画像生成部とを含む画像処理装置。
2. 前記第１顕微鏡画像と前記第２顕微鏡画像とは互いに異なる顕微鏡法の画像を含む請求項１に記載の画像処理装置。
3. 前記第１顕微鏡画像と前記第２顕微鏡画像とは互いに異なる焦点面の画像を含む請求項１に記載の画像処理装置。
4. 前記第１顕微鏡画像と前記第２顕微鏡画像とは互いに異なる処理条件で処理された観察対象物を含む画像を含む請求項１に記載の画像処理装置。
5. 前記第１顕微鏡画像と前記第２顕微鏡画像とは共に構造化照明顕微鏡で取得された画像を含み、
   前記第１顕微鏡画像と前記第２顕微鏡画像とは互いに異なる条件で生成された画像を含む請求項１に記載の画像処理装置。
6. 前記第１顕微鏡画像と前記第２顕微鏡画像とは互いに異なる時刻に撮像された画像を含む請求項１に記載の画像処理装置。
7. 前記第１顕微鏡画像は時刻の経過に伴って撮像された第１の時間範囲の画像群を含み、前記第２顕微鏡画像は前記第１の時間範囲とは異なる第２の時間範囲の画像群を含み、
   前記画像生成部は、それぞれの前記画像群について前記第１拡大画像および前記第２拡大画像を生成し、前記第１拡大画像と前記第２拡大画像とを時刻の経過に沿って出力する請求項６に記載の画像処理装置。
8. 前記画像生成部は、前記第１拡大画像を前記第１顕微鏡画像に重畳し、かつ、前記第２拡大画像を前記第２顕微鏡画像に重畳し、出力する請求項１から７のいずれか１項に記載の画像処理装置。
9. 前記第１顕微鏡画像と前記第２顕微鏡画像とを対応付ける画像対応部をさらに含み、
   前記画像生成部は、指定された前記第１顕微鏡画像の前記少なくとも一部に対応する、前記第２顕微鏡画像の少なくとも一部の領域を拡大した前記第２拡大画像を生成する請求項１から８のいずれか１項に記載の画像処理装置。
10. 前記受付部は、対応付けのための、前記第１顕微鏡画像における複数の位置と前記第２顕微鏡画像における複数の位置とを受け付け、
    前記画像対応部は、前記第１顕微鏡画像における前記複数の位置と前記第２顕微鏡画像における前記複数の位置とを対応付ける請求項９に記載の画像処理装置。
11. 前記画像対応部は、前記第１顕微鏡画像および前記第２顕微鏡画像にそれぞれ含まれるパターンに基づいて、前記第１顕微鏡画像と前記第２顕微鏡画像とを対応付ける請求項９に記載の画像処理装置。
12. 前記画像対応部は、前記第１拡大画像と前記第２顕微鏡画像とに含まれるパターンに基づいて、前記第１顕微鏡画像と前記第２顕微鏡画像とを対応付ける請求項９に記載の画像処理装置。
13. 前記受付部は、前記第１拡大画像を移動する指示を受け付け、
    前記画像生成部は、前記移動する指示に基づく前記領域の移動に応じて第１拡大画像を出力するともに、出力する前記第１拡大画像に関連する第２拡大画像を出力する請求項１から１２のいずれか１項に記載の画像処理装置。
14. 前記画像生成部は、予め設定された走査経路に沿った前記領域の移動に応じて第１拡大画像を出力するとともに、出力する前記第１拡大画像に関連する第２拡大画像を出力する請求項１から１３のいずれか１項に記載の画像処理装置。
15. 前記第１拡大画像の表示条件の入力を受け付ける処理受付部をさらに備え、
    前記画像生成部は、前記処理受付部で受け付けられた前記表示条件に関する画像処理を前記第１拡大画像に対して実行するとともに、前記第１拡大画像に実行した画像処理に対応する画像処理を前記第２拡大画像に対して実行する請求項１から１４のいずれか１項に記載の画像処理装置。
16. 前記表示条件は、前記第１拡大画像で拡大される範囲、前記第１拡大画像の倍率、前記第１拡大画像の明るさ、前記第１拡大画像のコントラスト、前記第１拡大画像の回転および前記第１拡大画像の反転のうちの少なくともいずれか一つである請求項１５に記載の画像処理装置。
17. 前記画像生成部は、前記第１拡大画像と前記第２拡大画像とを重ね合せる請求項１から１６のいずれか１項に記載の画像処理装置。
18. 前記画像生成部は、拡大した前記第１顕微鏡画像の一部の前記領域の位置を示す表示と、拡大した前記第２顕微鏡画像の一部の領域の位置を示す表示との少なくとも一方の表示を出力する請求項１から１７のいずれか１項に記載の画像処理装置。
19. 前記受付部は、出力された前記表示の指定を受け付け、
    前記画像生成部は、前記表示に対応する第１拡大画像と第２拡大画像を出力する請求項１８に記載の画像処理装置。
20. 前記画像生成部は、前記第１拡大画像と前記第２拡大画像との少なくとも一方の拡大画像について、前記拡大画像における輝度値の分布を特定の輝度範囲に分布させる画像処理を実行する請求項１から１６のいずれか１項に記載の画像処理装置。
21. 請求項１から２０のいずれか１項に記載の画像処理装置と、
    顕微鏡画像を前記画像処理装置に出力する顕微鏡と、
    前記画像処理装置から出力された画像を表示する表示装置と
    を備える顕微鏡システム。
22. 第１顕微鏡画像の少なくとも一部における位置情報の指定を受け付けることと、
    前記位置情報に基づいて、前記第１顕微鏡画像の一部の領域を拡大した第１拡大画像と、第２顕微鏡画像における前記第１拡大画像に関連した第２拡大画像とを出力することとを含む画像処理方法。
23. 前記第１顕微鏡画像と前記第２顕微鏡画像とは互いに異なる顕微鏡法の画像を含む請求項２２に記載の画像処理方法。
24. 前記第１顕微鏡画像と前記第２顕微鏡画像とは互いに異なる焦点面の画像を含む請求項２２に記載の画像処理方法。
25. 前記第１顕微鏡画像と前記第２顕微鏡画像とは互いに異なる処理条件で処理された観察対象物を含む画像を含む請求項２２に記載の画像処理方法。
26. 前記第１顕微鏡画像と前記第２顕微鏡画像とは共に構造化照明顕微鏡で取得された画像を含み、
    前記第１顕微鏡画像と前記第２顕微鏡画像とは互いに異なる条件で生成された画像を含む請求項２２に記載の画像処理方法。
27. 前記第１顕微鏡画像と前記第２顕微鏡画像とは互いに異なる時刻に撮像された画像を含む請求項２２に記載の画像処理方法。
28. 前記第１顕微鏡画像は時刻の経過に伴って撮像された第１の時間範囲の画像群を含み、前記第２顕微鏡画像は前記第１の時間範囲とは異なる第２の時間範囲の画像群を含み、
    前記出力することは、それぞれの前記画像群について前記第１拡大画像および前記第２拡大画像を生成し、前記第１拡大画像と前記第２拡大画像とを時刻の経過に沿って出力することを含む請求項２７に記載の画像処理方法。
29. 前記出力することは、前記第１拡大画像を前記第１顕微鏡画像に重畳し、かつ、前記第２拡大画像を前記第２顕微鏡画像に重畳し、出力することを含む請求項２２から２８のいずれか１項に記載の画像処理方法。
30. 前記第１顕微鏡画像と前記第２顕微鏡画像とを対応付けることをさらに含み、
    前記出力することは、指定された前記第１顕微鏡画像の前記少なくとも一部に対応する、前記第２顕微鏡画像の少なくとも一部の領域を拡大した前記第２拡大画像を生成することを含む請求項２２から２９のいずれか１項に記載の画像処理方法。
31. 前記受け付けることは、対応付けのための、前記第１顕微鏡画像における複数の位置と前記第２顕微鏡画像における複数の位置とを受け付けることを含み、
    前記対応付けすることは、前記第１顕微鏡画像における前記複数の位置と前記第２顕微鏡画像における前記複数の位置とを対応付けることを含む請求項３０に記載の画像処理方法。
32. 前記対応付けることは、前記第１顕微鏡画像および前記第２顕微鏡画像にそれぞれ含まれるパターンに基づいて、前記第１顕微鏡画像と前記第２顕微鏡画像とを対応付けることを含む請求項３０に記載の画像処理方法。
33. コンピュータプログラムであって、コンピュータに
    第１顕微鏡画像の少なくとも一部における位置情報の指定を受け付けることと、
    前記位置情報に基づいて、前記第１顕微鏡画像の一部の領域を拡大した第１拡大画像と、第２顕微鏡画像における前記第１拡大画像に関連した第２拡大画像とを出力することとを実行させるコンピュータプログラム。

Images