JP3627020B2 - 三次元透過型顕微鏡システムおよび画像表示方法 - Google Patents
三次元透過型顕微鏡システムおよび画像表示方法 Download PDFInfo
- Publication number
- JP3627020B2 JP3627020B2 JP2002092349A JP2002092349A JP3627020B2 JP 3627020 B2 JP3627020 B2 JP 3627020B2 JP 2002092349 A JP2002092349 A JP 2002092349A JP 2002092349 A JP2002092349 A JP 2002092349A JP 3627020 B2 JP3627020 B2 JP 3627020B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- channel signal
- microscope
- pixel
- transmission
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/24—Base structure
- G02B21/241—Devices for focusing
- G02B21/244—Devices for focusing using image analysis techniques
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/18—Arrangements with more than one light path, e.g. for comparing two specimens
- G02B21/20—Binocular arrangements
- G02B21/22—Stereoscopic arrangements
Landscapes
- Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Microscoopes, Condenser (AREA)
- Closed-Circuit Television Systems (AREA)
- Color Television Image Signal Generators (AREA)
Description
【発明の属する技術分野】
本発明は、三次元透過型顕微鏡システムおよび三次元の画像表示方法に関する。
【従来の技術】
近年、細胞や遺伝子の操作、或いはマイクロマシンの組み立て等、顕微鏡を見ながら行う作業が増えている。
これはレンズを経由して物を見る作業になるので、多くの場合、レンズのピント（焦点）を合わせる必要がある。つまり、作業者は、顕微鏡の焦点距離を手動で動かして物体の上下方向の各部に焦点を合わせる。この焦点合わせに伴って得られる物体上下方向各部の画像を観察することで、作業者の脳裏には物体の三次元形状が構築される。作業者は、この脳裏に構築した形状を頼りに所望の作業を行うことになる。しかし、この作業は、時間が掛かり且つ多大な労力を要するので、作業能率が低く、作業者に相当な作業上の負担を強いている。また、目的とする作業を行うには、作業者の熟練も必要になっている。
人間が裸眼で物を見る場合、通常は、近いものにも遠いものも自動的にピント（焦点）が合う。これは目が可変焦点機構として機能しており、近接のピントが合った画像と遠景のピントが合った画像が自動的に脳により合成されるからである。
この人間の目に拠るピント操作を必要とせず、全視野に常時ピントが合っている顕微鏡として、全焦点顕微鏡が注目されている。この全焦点顕微鏡としては、従来、レンズを機械的に移動させて全焦点にピントを合わせる方式の顕微鏡が知られていた。
通常の画像処理システムは、カメラからのＮＴＳＣビデオ信号を一つのＡＤＣで逐次取り込み画像データをＰＣ内のメモリーに構築するものであるため、インターレースのビデオ信号を用いても、フレームレート３０ｆｒａｍｅ／ｓｅｃ．以上での取り込みは不可能である。
近年、画像入力・処理を高速化する事を目的として、ビジョンチップの開発が行われている。中でも画像デバイス上の任意の部分を読み込めるＣ−ＭＯＳビジョンチップの開発が盛んに行われている。これらのビジョンチップの構成としては、以下のようなものがある。
（１）Ｓｉｎｇｌｅ ＡＤＣ Ａｒｃｈｉｔｅｃｔｕｒｅ
（２）Ｃｏｌｕｍｎ Ｐａｒａｌｌｅｌ ＡＤＣ Ａｒｃｈｉｔｅｃｔｕｒｅ
（３）Ｐｉｘｅｌ Ｐａｒａｌｌｅｌ ＡＤＣ Ａｒｃｈｉｔｅｃｔｕｒｅ
（１）のタイプのものはＰＣベースのビジョンシステムであり、十分なデータ転送の帯域が確保できない問題がある。（２），（３）は、画像情報を並列に取り込み、処理が行える事からデータ転送帯域・処理能力は高い。特に（３）は、処理自体は超並列処理である事からデータ転送・処理とも高速であるが、まだ試作の域を越えていないため、十分な画像解像度を確保する事が困難である。
更に、特開平６−３０８１１８号公報には、蛍光色素を付与し蛍光を発する複数の細胞と蛍光を発しない複数の細胞とからなる試料について落射蛍光顕微鏡を用いて細胞の反射光像と透過光像とを観察し、それぞれテレビカメラで撮影する工程と、撮影した細胞の反射光像を画像解析装置で二値化処理して蛍光を発する細胞と発しない細胞とに区別し、蛍光を発する細胞の二値化した蛍光像をフレームメモリに記録する工程と、二値化した蛍光像と透過光像とをモニタ上で重ね合わせ、または併置する工程とからなることを特徴として細胞の位置決め方法を構成が記載されている。
【発明が解決しようとする課題】
本発明者等は、特願２００１−１００５９４で、従来の全焦点顕微鏡カメラの現状に鑑みてなされた、全焦点画像を高フレームレートの動面として表示でき、あたかも人間の目で直接観察しているときのように実時間性（ライブ性）に優れた全焦点画像を提供することができる実時間全焦点顕微鏡カメラを提供する出願を行った。
全焦点画像が得られたときに、画像入力，高速化することも重要であるが、試料の状態をリアルタイムあるいはリアルタイムに近い状態で観察するためには画面に画像を鮮明に表示することが必要とされる。
本発明は、かかる点に鑑みて画面に物体（試料）の内部の透過した画像を三次元に鮮明に表示することのできる三次元透過型顕微鏡システムおよび三次元透過型顕微鏡画像表示方法を提供することを目的とする。
【課題を解決するための手段】
現在まで、発明者等は前述のように、顕微鏡画像を扱うために、焦点距離を動かしなから獲得した連続画像を扱ってきた。この画像（カラーの場合ＲＧＢの３チャンネル）に加え、各焦点距離での、各画素位置での合ピン度（合焦度）をあらわすＩＱＭ画像を加えた、ＲＧＢ＋ＩＱＭの４チャンネルのデータを使い、全焦点画像（どこにでもピントの合った画像）と、奥行き画像を獲得する、全焦点顕微鏡を使用する。
ある画像内の位置で、光学距離（画像距離ｘ，物体距離Ｘ、もしくは焦点距離ｆ）を動かしながら画像の局所空間周波数分析を行い、周波数がピークの焦点距離がピントの合ったところである事から、全焦点画像はそれぞれの焦点距離での焦点の合った部分の張り合わせで表され、同時に奥行き画像はそれぞれの部分での焦点の合った所での物体距離Ｘから得る事が可能である。つまり、光学距離を動かしながら撮像した複数の画像から良い所（合焦点部分）だけを寄せ集めて全焦点画像を作成し、その時の良い所を撮像した物体距離Ｘから物体の奥行き画像を生成する。
一方、三次元ＣＧを表示するボリュームレンダリング技術として、各スライス画像ＲＧＢ３チャンネルに物体の透明度Ｐを加え、ＲＧＢＰの４チャンネルで表示することにより、物体内部を表示する技術が用いられている。例えば、ガラスのＰ値は高く、擦りガラスは中程度、不透明物体では低いＰ値に設定する。
そこで、１．の合ピン度ＩＱＭと、２．ボリュームレンダリング技術で用いられる透明度Ｐをルックアップテーブルで関連付けることにより、焦点距離を動かしながら撮像された画像列を、ボリュームレンダリング表示することを可能とし、物体内部をＭＲＩ画像のように観測することを可能にした。さらには、任意方向でのスライス画像（縦方向でも）を表示することが可能である。
蛍光顕微鏡は、ある波長の光を当てることで、遺伝子や機能タンパク質などの観測が可能となっている。特に、ＤＮＡ，ＲＮＡ解析がある程度進んだ現在では、タンパク質の構成が、酵素などの機能に大きく影響を与えることから、機能構造解析が進められている。この蛍光顕微鏡の場合、上記のアルゴリズムにおいて、合ピン度に物体の蛍光度を透明度に関連付けて用いることにより、蛍光物質の三次元構造が観測可能となる。
本発明には、具体的には次に掲げる装置および方法を提供する。
透過型顕微鏡と、該透過型顕微鏡で得られた画像の画素信号を画像処理して表示する画像処理装置との組み合わせからなる三次元透過型顕微鏡システムにおいて、前記画像処理装置は、前記透過型顕微鏡からＲＧＢの３チャンネル信号と合ピン度のチャンネル信号として出力された前記画素信号を記憶する画像メモリ手段と、合ピン度のチャンネル信号と透明度のチャンネル信号とを対比して記憶する記憶手段と、および前記画像メモリ手段に記憶された合ピン度のチャンネル信号を透明度のチャンネル信号に変換して、ＲＧＢの３チャンネル信号と共に表示画面を構成する画素の画素信号を構成する処理装置とを備えた三次元透過型顕微鏡システムを提供する。
また、本発明は、透過型顕微鏡で得られた画像の画素信号を画像処理して画像表示する三次元透過型顕微鏡の画像表示方法において、前記透過型顕微鏡からＲＧＢのチャンネル信号と合ピン度のチャンネル信号として出力された前記画素信号を記憶し、該記憶された合ピン度のチャンネル信号に基づいて透明度のチャンネル信号に変換し、ＲＧＢのチャンネル信号と共に表示画面を構成する画素の画素信号を構成する三次元透過型顕微鏡の画像表示方法を提供する。
【発明の実施の形態】
以下、本発明に係る１つの実施の形態を図１〜図６に基づき説明する。
図１に、三次元透過型顕微鏡システム１の全体の概略構成を示す。透過型顕微鏡２は、対象物ＯＢからの反射光を入射させる光学系１１、この光学系１１を取り付けた高速撮影装置としての高速撮影カメラ（透過型顕微鏡２のカメラのカメラヘッドを成す）１２とを備える。この三次元透過型顕微鏡２には、この高速撮影カメラ１２の撮影データを取り込んで高速に処理して全焦点画像を生成する画像処理装置１３が接続される。画像処理装置１３は処理装置１６としてのＣＰＵ，画像メモリ１７を含み、画像表示装置１５に接続される。処理装置１６と画像表示装置１５とを兼用することができる。ここでは理解の便宜上分けて表示してある。この画像処理装置１３が生成した全焦点画像に色処理を施すＲＧＢ出力ボード１４と、このＲＧＢ出力ボード１４と関連した合ピン度出力ボード１８とを備える。また、この顕微鏡には、焦点距離移動装置２６が備えられる。光学系１１は、可変焦点機構１１Ａおよびズームレンズ１１Ｃ，１１Ｂを備える。
図２には、上述の構成を有する三次元透過型顕微鏡システム１の機能ブロック図を示す。高速撮影カメラ１２は、カメラセンサ１２Ａと、このカメラセンサの出力信号を処理するカメラ出力回路１２Ｂとを備える。
光学系１１は、前述のように、対象物ＯＢに近い側から順に位置させる可変焦点機構１１Ａ，照明系１１Ｂ、及びズームレンズ１１Ｃを備える。
可変焦点機構１１Ａを、照明系１１Ｂを介してマクロズームレンズ１１Ｃの先端に取り付けている。これにより、マクロズームレンズの本来の光学特性（焦点距離）を高速に振る可変焦点機構が得られる。
図３に、焦点距離移動装置２６が上述した可変焦点機構１１Ａを駆動させるタイミングを示す。焦点距離の制御は図３のように３０Ｈｚのノコギリ波に同期して、各焦点距離毎に８回撮影する。このノコギリ波は高速撮影カメラ１２のカメラ出力回路１２Ｂから送られる同期信号を用いて焦点距離移動装置２６で生成される。可変焦点機構１１Ａにはヒステリシスがあるので必ず各波形毎（撮影毎）にヒステリシスがリセットされる。
高速撮影カメラ１２を説明するに際し、高速撮影法の様々な手法について先に説明する。
高速撮影カメラは、通常、１）センサの読み取りクロックを上げる、２）読み取りピクセル数を減らす、３）読み取りピクセルを並列化する、の何れかの手法又はそれらを組み合わせてフレームレートを高速化させている。
１番目のピクセルレートの高速化は理論的には理解し易いが、センサデバイスの特性や周辺回路の条件から高速化には限度がある。
また、２番目の読み取りピクセル数を減らす手法は、例えば、５００×５００ピクセルを３０フレームで撮影可能なセンサに対して、縦２５０×横２５０ピクセルで読み取りを止め、次フレームに進むようにするもので、これにより４倍のスピードアップを図り、１２０（＝３０×４）フレームのコマ数が出る。この場合、解像度は下がる。
３番目の読み取りピクセルの並列化は、種々の態様で行われている。一例として、撮影領域を成す画素領域を、一定領域の高速度画像センサそのものを並列化して形成する手法がある。例えば（株）ファトロン社製の高速度カメラ「アルチマシリーズ」は図４に模式的に示すように高速度センサ（横２５６×縦１６ピクセル）を独立して１６個、アレイ状に並列配置し、全体としては２５６×２５６のピクセルサイズの撮影領域を形成している。各高速度センサは２５ＭＨｚで読み出される。
本実施形態の高速撮影カメラ１２のカメラセンサ１２Ａは、上述した３番目の並列化の手法を採用しており、図４に示す如く、撮影用の高速度画像センサをアレイ状に配設している。なお、この高速撮影カメラ１２は、上述した２番目の手法、又は、２番目と３番目の手法を組み合わせる手法で構成してもよい。
なお、３番目の読み取りピクセルの並列化の手法には、上述した如く複数個の高速度センサをアレイ状に並列配置する方式のほか、種々の態様で並列化を図る方式も採用できる。
１つの例として、撮影領域を成す１枚の画素領域（例えば２５６×２５６ピクセル）を上下左右に複数分割（例えば４分割）し、各分割領域から並行して同時に画素データを読み出し、読み取り速度を高速化する方式を採用することもできる。
また別の例として、１枚の画速領域の内、複数ライン（例えば２ライン：各ラインは例えば２５６ピクセル）分の画素データを並行して同時に読み出し、これを全部のラインについて順次行うことで、読み取り速度を高速化する方式を採用することもできる。
さらに、別の例として、１枚の画素領域を構成する各ライン（例えば２５６ピクセル）のうち、複数の画素（例えば１０画素）から画素データを同時に並行して読み出し、これをそのライン及び残りのラインについて順次繰り返すことで、読み取り速度を高速化する方式を採用することもできる。
カメラ出力回路１２Ｂは、クロックジェネレータのほか、各センサに対応して、増幅器，ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）回路，Ａ／Ｄコンバータなどの回路を備えた処理回路部を備える。このため、カメラセンサ１２Ａからの画像データは、カメラ出力回路１２Ｂにおいて、処理回路部毎に、増幅され、ＣＤＳ処理され、デジタル化される。このカメラ出力回路１２Ｂから出力されるデータはＬＶＤＳ（Ｌｏｗ Ｖｏｌｔａｇｅ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｓｉｇｎａｌｉｎｇ）方式で画像処理装置１３に送られる。
画像処理装置１３は、高速大容量のＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）に拠るハードウェアロジックで構成されている。この画像処理装置１３は、そのボードにＦＰＧＡ、大容量のＳＤＲＡＭ、及びＬＶＤＳインターフェースを搭載し、外部機器とインターフェースできるようになっている。
この画像処理装置１３により、可変焦点機構１１Ａの焦点距離を動かしながら取り込んだ画像データに対して、合ピン度ＩＱＭ（Ｉｍａｇｅ Ｑｕａｌｉｔｙ Ｍｅａｓｕｒｅ）の値がそれぞれ画素毎に評価される。
このＩＱＭについて先に説明する。このＩＱＭは、“Ｄｅｐｔｈ ｆｒｏｍ Ｆｏｃｕｓ”理論と呼ばれる光学的理論に基づいている（例えば、論文：「Ｍａｓａｈｉｒｏ Ｗａｔａｎａｂｅ ａｎｄ Ｓｈｒｅｅ Ｋ． Ｎａｙｅｒ、“Ｍｉｎｉｍａｌ Ｏｐｅｒａｔｏｒ Ｓｅｔ ｆｏｒ Ｐａｓｓｉｖｅ Ｄｅｐｔｈ ｆｒｏｍ Ｄｅｆｏｃｕｓ”、ＣＶＰＲ ’９６、ｐｐ．４３１−４３８、１９９６」、「Ｓｈｒｅｅ Ｋ． Ｎａｙｅｒ、Ｍａｓａｈｉｒｏ Ｗａｔａｎａｂｅ、ａｎｄ Ｍｉｎｏｒｙｕ Ｎｏｇｕｃｈｉ、“Ｒｅａｌ−Ｔｉｍｅ Ｆｏｃｕｓ Ｒａｎｇｅ Ｓｅｎｓｏｒ”、ＩＣＣＶ ’９５、ｐｐ．９９５−１００１、１９９５」、「Ｓｈｒｅｅ Ｋ． Ｎａｙｅｒ、ａｎｄ Ｙａｓｕｏ Ｎａｋａｇａｗａ、“Ｓｈａｐｅ ｆｒｏｍ Ｆｏｃｕｓ”、ＩＥＥＥ Ｔｒａｎｓ． ｏｎ ＰＡＭＩ、Ｖｏｌ．１６、Ｎｏ．８、ｐｐ．８２４−８３１、１９９４」、「Ａ． Ｐ． Ｐｅｎｔｌａｎｄ、“Ａ Ｎｅｗ Ｓｅｎｓｅ ｆｏｒ Ｄｅｐｔｈ ｏｆ Ｆｉｅｌｄ”、ＩＥＥＥ Ｔｒａｎｓ． Ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ、Ｖｏｌ．ＰＡＭＩ−９、Ｎｏ．４、ｐｐ．５２３−５３１、１９８７」、「Ｍｉｃｈｉｏ Ｍｉｗａ、 Ｔｏｍｏｙｕｋｉ Ｏｏｈａｒａ、Ｍａｓａｈｉｋｏ Ｉｓｈｉｉ、Ｙａｓｕｈａｒｕ Ｋｏｉｋｅ、ａｎｄ Ｍａｋｏｔｏ Ｓａｔｏ、“Ａ Ｍｅｔｈｏｄ ｏｆ Ｆａｒ Ｏｂｊｅｃｔ Ｒｅｃｏｇｎｉｔｉｏｎｕｓｉｎｇ Ｄｅｐｔｈ ｆｒｏｍ Ｆｏｃｕｓ”、Ｐｒｏｃ．３Ｄ Ｉｍａｇｅ Ｃｏｎｆｅｒｅｎｃｅ ’９９、ｐｐ．３０５−３０７、１９９９」などを参照）。
この“Ｄｅｐｔｈ ｆｒｏｍ Ｆｏｃｕｓ”理論によれば、ピントが合っているかどうかはその画像の局所空間周波数分析を行うと判明し、周波数がピークとなる焦点距離がピントの合っている部分になる。直感的にも、ボケた部分は周波数が低く、ピントが合った部分は周波数が高いものと推測できる。基本的には可変焦点機構１１Ａでレンズの焦点距離を動かしながら画像を１枚１枚取り込み、それぞれの画像の局所空間周波数分析を行い、周波数のピークの部分、つまり焦点が合った部分をピクセル単位で各画像からピックアップし、１枚の画像として張り合わせることで、全焦点画像が得られる。また、それらの焦点距離から、全焦点画像に映り込んでいる対象物の三次元データも得られる。
各画素の局所空間周波数分析は、次式のＩＱＭ（Ｉｍａｇｅ Ｑｕａｌｉｔｙ Ｍｅａｓｕｒｅ）で定義される、画像濃淡値の空間的な分散で評価できる。
【数１】
ここで、（−Ｌｃ，−Ｌｒ）−（Ｌｃ，Ｌｒ）と（ｘｉ，ｙｉ）−（ｘｆ，ｙｆ）はそれぞれ分散評価と平滑化を行うための小領域である。また、Ｄは画素単位で正規化するための評価を行うすべての画素数である。
従って、可変焦点機構１１Ａの焦点距離を動かしながらＩＱＭの値をそれぞれ画素毎もしくは領域毎に評価し、ＩＱＭ値のピークを検出し、その時に画素濃淡値ｆと画像距離ｘから算出した物体距離Ｘを、それぞれの画素位置に対するマトリックス要素にそれぞれ代入する。この処理をすべての焦点距離について行った後、それぞれのマトリックスが全焦点画像と奥行き画像になる。
このＩＱＭの処理を簡略化すると、近隣３近傍ラプラシアンフィルタと２×２近傍の平滑化処理になる。
そこで、画像処理装置１３は、図５に示す簡略的な画像処理を行うこともできる。つまり、高速撮影カメラ１２から送られてきた８０ＭＨｚの画像信号はラプラシアン回路で空間周波数の分析に付され、ピークメモリに記録される。ラプラシアンの出力とピークメモリが比較され、それがピーク値、すなわちピントが合っている画像であればＳＤＲＡＭ内のフレームメモリに書き込まれる。それ以外の出力は捨てられる。
このようにして演算されたＳＤＲＡＭに書き込まれた画像データは、標準ＮＴＳＣ信号の形態でフレームレート３０ＨｚでＲＧＢ出力ボード１４を介してモニタ１５に送られ、実時間の全焦点画像として表示される。また、焦点距離から成る三次元データはＬＶＤＳに変換されて、処理装置１６に転送される。
このように本実施形態では、実時間全焦点形式である三次元透過型顕微鏡によってカメラ画像を得ることができ、操作者が脳裏で対象物の三次元形状を想像する必要がない。視野全てにピント（焦点）が合っているため、カメラの焦点距離を操作することも不要になる。しかも“ライブ（実時間）”画像が得られる。つまり、視野内の画像表示に遅延も殆ど無く、動きがそのまま殆どリアルタイムに見える。これにより、顕微鏡カメラを用いた作業の効率が大幅に向上する。
これを従来の機械的にレンズの焦点を合わせる方式の全焦点顕微鏡カメラと比較すると、その有効性は際立っている。従来の場合、機械的に焦点を合わせる操作や、その後の処理動作が介在するので、１画面を得るのに数秒から数分、掛かっていた。３０フレームの通常のビデオカメラで撮影しているので静止画は得られるが、ライブ動画は到底、不可能であった。顕微鏡を覗きながらの作業を行うのに、画像が数秒に１回しか変化しない状態ではデレイが生じ、この顕微鏡を用いた実際の作業は殆ど無理である。人が滑らかな動画として見られるフレーム周波数は秒３０枚以上である。本実施形態の実時間全焦点顕微鏡のフレーム取り込み速度は２４０コマ／秒である。すなわち、１／３０秒の間に連続的に焦点を変化させて８回、画像を取り込むので、２４０（＝３０×８）コマ／秒になる。これにより、人間が普通に（顕微鏡以外で）物の見るときと同程度の実時間性が確保される。
また、人間は普通の大きさの世界では実時間全焦点であるが、ミクロの世界では顕微鏡を用いる必要があり、それは実時間単一焦点である。このため、従来では操作者は焦点を煩雑に動かす操作を強いられていた。この実時間全焦点顕微鏡カメラにより、ミクロの世界を普通の大きさの世界と同様に扱うことが可能になる。
また、顕微鏡で物を見るためには前準備として切片の作成が必要であったが、これは顕微鏡が単一焦点であることを前提としている。本実施形態のように全焦点になれば、切片が不要になるケースもある。
さらに、この実時間全焦点顕微鏡カメラにより、今まで見たこともない微少なマイクロマシンの全体の動きやミクロの生物の生態観察も可能になる。
次に、前述した画像（カラーの場合ＲＧＢの３チャンネル）に加え、各焦点距離での、各画素位置での合ピン度（合焦度）をあらわすＩＱＭ画像を加えた、ＲＧＢ＋ＩＱＭの４チャンネルのデータを使い、全焦点画像（どこにもピントの合った画像）と、試料の内部の透過した奥行き画像を獲得する得られた画像について一連の処理を行って画像表示を行う。
三次元ＣＧを表示するボリュームレンダリング技術として、各スライス画像ＲＧＢ３チャンネルに物体の透明度Ｐを加えた、ＲＧＢＰの４チャンネルで表示することにより、物体内部を表示する技術を用いる。例えば、ガラスのＰ値は高く、擦りガラスは中程度、不透明物体では低いＰ値に設定する。
そこで、図１において、１．の合ピン度ＩＱＭ２２と、２．ボリュームレンダリング技術で用いられる透明度Ｐ２３をルックアップテーブル２１（記憶手段，記憶装置）で関連付けることにより、焦点距離を動かしながら撮像された画像列を、ボリュームレンダリング表示することを可能とし、物体内部をＭＲＩ画像のように観測することを可能にする。さらには、任意方向でのスライス画像（縦方向あるいは横方向であってもよい）を表示することを可能とする。
透過型蛍光顕微鏡は、図６に示すように、ＯＢ（物体，試料）にある波長の光を当てることで、焦点距離移動に応じた蛍光画像データ（ｘ，ｙ）が得られ、遺伝子や機能タンパク質などの観測が可能となる。特に、ＤＮＡ，ＲＮＡ解析がある程度進んだ現在では、タンパク質の構成が、酵素などの機能に大きく影響を与えることから、機能構造解析が進められている。この蛍光顕微鏡の場合、上記のアルゴリズムにおいて、合ピン度の変わりに物体の蛍光度を透明度に関連付けることにより、蛍光物質の三次元構造が観測可能となる。例えば、人間の脳のニューロン反応を実時間で観測しようとする場合、ニューロン反応時間（３、４ミリｓｅｃ ）の間に３、４画像表示する。
図６にフローチャートを示す。
メモリ初期化（焦点距離ＦＶ＝０）を行う（Ｓ１）。焦点距離制御（ＦＶ＝ＦＶ＋１）を行い（Ｓ２）、ＲＧＢ３チャンネルによるオリジナル画像ＯＲＧ（ＦＶ，ｘ，ｙ）を生成し、入力を行う（Ｓ３）。ＲＧＢ３チャンネルにＩＱＭチャンネルを加え、４チャンネルによる画像前処理を行う（Ｓ４）。
ＯＲＧ（ＦＶ，ｘ，ｙ）→ＯＲＧ＋ＩＱＭ（ＦＶ，ｘ，ｙ）
ＩＱＭ（ＦＶ，ｘ，ｙ）と透明度Ｐ（ＦＶ，ｘ，ｙ）をルックアップテーブル２１ＬＵＴで対応付けを行う（Ｓ５）。
ＦＶ＜ＦＶｍａｘを判断し（Ｓ６）、ＦＶｍａｘ以内であれば焦点距離を変え、前述のステップを繰り返す。
ＦＶｍａｘを越えると、ＯＲＧ（ＦＶ，ｘ，ｙ）＋Ｐ（ＦＶ，ｘ，ｙ）データでボリュームレンダリングを行い（Ｓ７）、画面表示装置に画面の表示を行う。図８に、焦点距離を移動していった状態でのスライスした画像データを示す。図９に、物体内部をＭＲＩ画像のように形成したボリュームレンダリングされた三次元顕微鏡画像の全景４１を表示画面４０に表示した例を示す。表示画面４０に横スライス画像４２および縦スライス画像４３に示す。
以上のように、本発明によれば、透過型顕微鏡と、該透過型顕微鏡で得られた画像の画素信号を画像処理して表示する画像処理装置との組み合わせからなる三次元透過型顕微鏡システムにおいて、前記透過型顕微鏡からＲＧＢチャンネル信号と合ピン度のチャンネル信号として出力された前記画素信号を記憶し、該記憶された合ピン度のチャンネル信号に基づいて透明度のチャンネル信号に変換し、ＲＧＢのチャンネル信号と共に表示画面を構成する画素の画素信号を構成する三次元透過型顕微鏡システムが構成される。
また、本発明によれば、透過型蛍光顕微鏡と、該透過型蛍光顕微鏡で得られた画像の画素信号を画像処理して表示する画像処理装置との組み合わせからなる三次元透過型顕微鏡システムにおいて、前記透過型顕微鏡からの蛍光像について、ＲＧＢチャンネル信号と合ピン度のチャンネル信号として出力された前記画素信号を記憶し、該記憶された合ピン度のチャンネル信号に基づいて透明度のチャンネル信号を構成し、ＲＧＢのチャンネル信号と共に表示画面を構成する画素の画素信号を構成する三次元透過型顕微鏡システムが構成される。
また、本発明によれば、光源で生成された励起光を試料に照射すると共に、該励起光によって励起される試料の蛍光を観察する透過型蛍光顕微鏡システムにおいて、透過型蛍光顕微鏡と画像処理装置とを備え、前記透過型蛍光顕微鏡の試料に対する焦点距離を制御して、試料について焦点距離を変えて、試料の内部を透過する励起光によって励起される蛍光によって全焦点画像からなる多数の奥行き画像を、ＲＧＢの３チャンネル信号と合ピン度のチャンネル信号とからなる画素から形成し、前記画像処理装置は、形成された画素を使用して、合ピン度のチャンネル信号を透明度のチャンネル信号に変換し、ＲＧＢの３チャンネル信号と透明度のチャンネル信号とによって表示画面の画素信号を形成し、当該画素信号によって試料の内部を表示する全焦点画像からなる奥行き画像を形成し、表示画面に表示する透過型蛍光顕微鏡システムが構成される。
また、本発明によれば、透過型蛍光顕微鏡で得られた画像の画素信号を画像処理して画像表示する三次元透過型顕微鏡の画像表示方法において、前記透過型顕微鏡からの蛍光像について、ＲＧＢのチャンネル信号と合ピン度のチャンネル信号として出力された前記画素信号を記憶し、該記憶された合ピン度のチャンネル信号に基づいて透明度のチャンネル信号を構成し、ＲＧＢのチャンネル信号と共に表示画面を構成する画素の画素信号を構成する三次元透過型顕微鏡の画像表示方法が構成される。
さらに、蛍光色素を使った観測として、電気的な活動を営む神経細胞の活動を観測する場合、カルシウムの流れを見ることが活性状態の判断に用いられることから、神経生物学では注目されている。しかしながら、構成自体が三次元的な配置であることに加え、活動が非常に短時間（数マイクロ秒以下）であることから、高速解析装置が求められている。本システムは、撮像素子として高速度カメラを用いると同時に、高速画像処理システムを用いることにより、このような要望にもこたえるものである。
本発明によれば、透過型蛍光顕微鏡で得られた画像の画素信号を画像処理して画像表示する三次元透過型顕微鏡を使用した蛋白質（結晶）の画像表示方法において、蛋白質に対する焦点距離を制御し、蛋白質について焦点距離を変えて、蛋白質の内部の細胞を透過する励起光によって励起される蛍光によって一連の画像列からなる多数の透過画像を、ＲＧＢの３チャンネル信号と合ピン度のチャンネル信号とからなる画素から形成し、合ピン度のチャンネル信号を透明度のチャンネル信号に変換し、ＲＧＢの３チャンネル信号と透明度のチャンネル信号とによって表示画面の画素信号を形成し、当該画素信号によって蛋白質の内部の細胞を表示する表示画像を形成し、表示画面に表示する透過型蛍光顕微鏡を使用した蛋白質の画像表示方法が構成される。
本発明によれば、更に、前記表示画面は、人間の脳のニューロン反応の時間（３、４ミリｓｅｃ ）の間に３、４画像表示される画面である三次元透過型顕微鏡の画像表示方法が構成される。
【発明の効果】
本発明によれば、ＲＧＢ３チャンネルとＩＱＭチャンネルで得られた画像をＲＧＢチャンネルと透明度Ｐチャンネルによる４チャンネルで物体（試料）内部を明確に表示することができ、更に、ＭＲＩ画像のように物体内部の全景を三次元によって立体表示することができる。また、蛍光顕微鏡を使用した場合、合ピン度に応じて物体の蛍光度を透明度に関連付けることができ、蛍光物質の三次元構造が観測可能になる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る三次元透過型顕微鏡システムの全体構成を示す概略ブロック図。
【図２】実時間全焦点顕微鏡の機能を中心に示す機能ブロック図。
【図３】高速撮影カメラの撮影タイミングを説明する図。
【図４】高速撮影カメラのカメラセンサ及びカメラ出力回路の構成及び動作を説明する模式図。
【図５】画像処理装置で行われる簡略化した機能を説明する機能ブロック図。
【図６】蛍光画像データ作成方法を示す説明図。
【図７】フローチャート図。
【図８】焦点距離を移動させたときの一連の顕微鏡画像を示す図。
【図９】ボリュームレンダリングされた三次元顕微鏡画像を示す図。
【符号の説明】
１…三次元透過型顕微鏡システム、２…透過型顕微鏡、１１…光学系、１１Ａ…可変焦点機構、１２…高速撮影カメラ（高速撮影装置）、１２Ａ…カメラセンサ、１２Ｂ…カメラ出力回路、１３…画像処理装置（ＰＣ）、１４…ＲＧＢ出力ボード、１６…処理装置（ＣＰＵ）、１７…画像メモリ、１８…ＩＱＭ（合ピン度，合焦度）出力ボード、２１…ルックアップテーブル、２２…合ピン度、２３…透明度、２６…焦点距離移動装置。
本発明は、三次元透過型顕微鏡システムおよび三次元の画像表示方法に関する。
【従来の技術】
近年、細胞や遺伝子の操作、或いはマイクロマシンの組み立て等、顕微鏡を見ながら行う作業が増えている。
これはレンズを経由して物を見る作業になるので、多くの場合、レンズのピント（焦点）を合わせる必要がある。つまり、作業者は、顕微鏡の焦点距離を手動で動かして物体の上下方向の各部に焦点を合わせる。この焦点合わせに伴って得られる物体上下方向各部の画像を観察することで、作業者の脳裏には物体の三次元形状が構築される。作業者は、この脳裏に構築した形状を頼りに所望の作業を行うことになる。しかし、この作業は、時間が掛かり且つ多大な労力を要するので、作業能率が低く、作業者に相当な作業上の負担を強いている。また、目的とする作業を行うには、作業者の熟練も必要になっている。
人間が裸眼で物を見る場合、通常は、近いものにも遠いものも自動的にピント（焦点）が合う。これは目が可変焦点機構として機能しており、近接のピントが合った画像と遠景のピントが合った画像が自動的に脳により合成されるからである。
この人間の目に拠るピント操作を必要とせず、全視野に常時ピントが合っている顕微鏡として、全焦点顕微鏡が注目されている。この全焦点顕微鏡としては、従来、レンズを機械的に移動させて全焦点にピントを合わせる方式の顕微鏡が知られていた。
通常の画像処理システムは、カメラからのＮＴＳＣビデオ信号を一つのＡＤＣで逐次取り込み画像データをＰＣ内のメモリーに構築するものであるため、インターレースのビデオ信号を用いても、フレームレート３０ｆｒａｍｅ／ｓｅｃ．以上での取り込みは不可能である。
近年、画像入力・処理を高速化する事を目的として、ビジョンチップの開発が行われている。中でも画像デバイス上の任意の部分を読み込めるＣ−ＭＯＳビジョンチップの開発が盛んに行われている。これらのビジョンチップの構成としては、以下のようなものがある。
（１）Ｓｉｎｇｌｅ ＡＤＣ Ａｒｃｈｉｔｅｃｔｕｒｅ
（２）Ｃｏｌｕｍｎ Ｐａｒａｌｌｅｌ ＡＤＣ Ａｒｃｈｉｔｅｃｔｕｒｅ
（３）Ｐｉｘｅｌ Ｐａｒａｌｌｅｌ ＡＤＣ Ａｒｃｈｉｔｅｃｔｕｒｅ
（１）のタイプのものはＰＣベースのビジョンシステムであり、十分なデータ転送の帯域が確保できない問題がある。（２），（３）は、画像情報を並列に取り込み、処理が行える事からデータ転送帯域・処理能力は高い。特に（３）は、処理自体は超並列処理である事からデータ転送・処理とも高速であるが、まだ試作の域を越えていないため、十分な画像解像度を確保する事が困難である。
更に、特開平６−３０８１１８号公報には、蛍光色素を付与し蛍光を発する複数の細胞と蛍光を発しない複数の細胞とからなる試料について落射蛍光顕微鏡を用いて細胞の反射光像と透過光像とを観察し、それぞれテレビカメラで撮影する工程と、撮影した細胞の反射光像を画像解析装置で二値化処理して蛍光を発する細胞と発しない細胞とに区別し、蛍光を発する細胞の二値化した蛍光像をフレームメモリに記録する工程と、二値化した蛍光像と透過光像とをモニタ上で重ね合わせ、または併置する工程とからなることを特徴として細胞の位置決め方法を構成が記載されている。
【発明が解決しようとする課題】
本発明者等は、特願２００１−１００５９４で、従来の全焦点顕微鏡カメラの現状に鑑みてなされた、全焦点画像を高フレームレートの動面として表示でき、あたかも人間の目で直接観察しているときのように実時間性（ライブ性）に優れた全焦点画像を提供することができる実時間全焦点顕微鏡カメラを提供する出願を行った。
全焦点画像が得られたときに、画像入力，高速化することも重要であるが、試料の状態をリアルタイムあるいはリアルタイムに近い状態で観察するためには画面に画像を鮮明に表示することが必要とされる。
本発明は、かかる点に鑑みて画面に物体（試料）の内部の透過した画像を三次元に鮮明に表示することのできる三次元透過型顕微鏡システムおよび三次元透過型顕微鏡画像表示方法を提供することを目的とする。
【課題を解決するための手段】
現在まで、発明者等は前述のように、顕微鏡画像を扱うために、焦点距離を動かしなから獲得した連続画像を扱ってきた。この画像（カラーの場合ＲＧＢの３チャンネル）に加え、各焦点距離での、各画素位置での合ピン度（合焦度）をあらわすＩＱＭ画像を加えた、ＲＧＢ＋ＩＱＭの４チャンネルのデータを使い、全焦点画像（どこにでもピントの合った画像）と、奥行き画像を獲得する、全焦点顕微鏡を使用する。
ある画像内の位置で、光学距離（画像距離ｘ，物体距離Ｘ、もしくは焦点距離ｆ）を動かしながら画像の局所空間周波数分析を行い、周波数がピークの焦点距離がピントの合ったところである事から、全焦点画像はそれぞれの焦点距離での焦点の合った部分の張り合わせで表され、同時に奥行き画像はそれぞれの部分での焦点の合った所での物体距離Ｘから得る事が可能である。つまり、光学距離を動かしながら撮像した複数の画像から良い所（合焦点部分）だけを寄せ集めて全焦点画像を作成し、その時の良い所を撮像した物体距離Ｘから物体の奥行き画像を生成する。
一方、三次元ＣＧを表示するボリュームレンダリング技術として、各スライス画像ＲＧＢ３チャンネルに物体の透明度Ｐを加え、ＲＧＢＰの４チャンネルで表示することにより、物体内部を表示する技術が用いられている。例えば、ガラスのＰ値は高く、擦りガラスは中程度、不透明物体では低いＰ値に設定する。
そこで、１．の合ピン度ＩＱＭと、２．ボリュームレンダリング技術で用いられる透明度Ｐをルックアップテーブルで関連付けることにより、焦点距離を動かしながら撮像された画像列を、ボリュームレンダリング表示することを可能とし、物体内部をＭＲＩ画像のように観測することを可能にした。さらには、任意方向でのスライス画像（縦方向でも）を表示することが可能である。
蛍光顕微鏡は、ある波長の光を当てることで、遺伝子や機能タンパク質などの観測が可能となっている。特に、ＤＮＡ，ＲＮＡ解析がある程度進んだ現在では、タンパク質の構成が、酵素などの機能に大きく影響を与えることから、機能構造解析が進められている。この蛍光顕微鏡の場合、上記のアルゴリズムにおいて、合ピン度に物体の蛍光度を透明度に関連付けて用いることにより、蛍光物質の三次元構造が観測可能となる。
本発明には、具体的には次に掲げる装置および方法を提供する。
透過型顕微鏡と、該透過型顕微鏡で得られた画像の画素信号を画像処理して表示する画像処理装置との組み合わせからなる三次元透過型顕微鏡システムにおいて、前記画像処理装置は、前記透過型顕微鏡からＲＧＢの３チャンネル信号と合ピン度のチャンネル信号として出力された前記画素信号を記憶する画像メモリ手段と、合ピン度のチャンネル信号と透明度のチャンネル信号とを対比して記憶する記憶手段と、および前記画像メモリ手段に記憶された合ピン度のチャンネル信号を透明度のチャンネル信号に変換して、ＲＧＢの３チャンネル信号と共に表示画面を構成する画素の画素信号を構成する処理装置とを備えた三次元透過型顕微鏡システムを提供する。
また、本発明は、透過型顕微鏡で得られた画像の画素信号を画像処理して画像表示する三次元透過型顕微鏡の画像表示方法において、前記透過型顕微鏡からＲＧＢのチャンネル信号と合ピン度のチャンネル信号として出力された前記画素信号を記憶し、該記憶された合ピン度のチャンネル信号に基づいて透明度のチャンネル信号に変換し、ＲＧＢのチャンネル信号と共に表示画面を構成する画素の画素信号を構成する三次元透過型顕微鏡の画像表示方法を提供する。
【発明の実施の形態】
以下、本発明に係る１つの実施の形態を図１〜図６に基づき説明する。
図１に、三次元透過型顕微鏡システム１の全体の概略構成を示す。透過型顕微鏡２は、対象物ＯＢからの反射光を入射させる光学系１１、この光学系１１を取り付けた高速撮影装置としての高速撮影カメラ（透過型顕微鏡２のカメラのカメラヘッドを成す）１２とを備える。この三次元透過型顕微鏡２には、この高速撮影カメラ１２の撮影データを取り込んで高速に処理して全焦点画像を生成する画像処理装置１３が接続される。画像処理装置１３は処理装置１６としてのＣＰＵ，画像メモリ１７を含み、画像表示装置１５に接続される。処理装置１６と画像表示装置１５とを兼用することができる。ここでは理解の便宜上分けて表示してある。この画像処理装置１３が生成した全焦点画像に色処理を施すＲＧＢ出力ボード１４と、このＲＧＢ出力ボード１４と関連した合ピン度出力ボード１８とを備える。また、この顕微鏡には、焦点距離移動装置２６が備えられる。光学系１１は、可変焦点機構１１Ａおよびズームレンズ１１Ｃ，１１Ｂを備える。
図２には、上述の構成を有する三次元透過型顕微鏡システム１の機能ブロック図を示す。高速撮影カメラ１２は、カメラセンサ１２Ａと、このカメラセンサの出力信号を処理するカメラ出力回路１２Ｂとを備える。
光学系１１は、前述のように、対象物ＯＢに近い側から順に位置させる可変焦点機構１１Ａ，照明系１１Ｂ、及びズームレンズ１１Ｃを備える。
可変焦点機構１１Ａを、照明系１１Ｂを介してマクロズームレンズ１１Ｃの先端に取り付けている。これにより、マクロズームレンズの本来の光学特性（焦点距離）を高速に振る可変焦点機構が得られる。
図３に、焦点距離移動装置２６が上述した可変焦点機構１１Ａを駆動させるタイミングを示す。焦点距離の制御は図３のように３０Ｈｚのノコギリ波に同期して、各焦点距離毎に８回撮影する。このノコギリ波は高速撮影カメラ１２のカメラ出力回路１２Ｂから送られる同期信号を用いて焦点距離移動装置２６で生成される。可変焦点機構１１Ａにはヒステリシスがあるので必ず各波形毎（撮影毎）にヒステリシスがリセットされる。
高速撮影カメラ１２を説明するに際し、高速撮影法の様々な手法について先に説明する。
高速撮影カメラは、通常、１）センサの読み取りクロックを上げる、２）読み取りピクセル数を減らす、３）読み取りピクセルを並列化する、の何れかの手法又はそれらを組み合わせてフレームレートを高速化させている。
１番目のピクセルレートの高速化は理論的には理解し易いが、センサデバイスの特性や周辺回路の条件から高速化には限度がある。
また、２番目の読み取りピクセル数を減らす手法は、例えば、５００×５００ピクセルを３０フレームで撮影可能なセンサに対して、縦２５０×横２５０ピクセルで読み取りを止め、次フレームに進むようにするもので、これにより４倍のスピードアップを図り、１２０（＝３０×４）フレームのコマ数が出る。この場合、解像度は下がる。
３番目の読み取りピクセルの並列化は、種々の態様で行われている。一例として、撮影領域を成す画素領域を、一定領域の高速度画像センサそのものを並列化して形成する手法がある。例えば（株）ファトロン社製の高速度カメラ「アルチマシリーズ」は図４に模式的に示すように高速度センサ（横２５６×縦１６ピクセル）を独立して１６個、アレイ状に並列配置し、全体としては２５６×２５６のピクセルサイズの撮影領域を形成している。各高速度センサは２５ＭＨｚで読み出される。
本実施形態の高速撮影カメラ１２のカメラセンサ１２Ａは、上述した３番目の並列化の手法を採用しており、図４に示す如く、撮影用の高速度画像センサをアレイ状に配設している。なお、この高速撮影カメラ１２は、上述した２番目の手法、又は、２番目と３番目の手法を組み合わせる手法で構成してもよい。
なお、３番目の読み取りピクセルの並列化の手法には、上述した如く複数個の高速度センサをアレイ状に並列配置する方式のほか、種々の態様で並列化を図る方式も採用できる。
１つの例として、撮影領域を成す１枚の画素領域（例えば２５６×２５６ピクセル）を上下左右に複数分割（例えば４分割）し、各分割領域から並行して同時に画素データを読み出し、読み取り速度を高速化する方式を採用することもできる。
また別の例として、１枚の画速領域の内、複数ライン（例えば２ライン：各ラインは例えば２５６ピクセル）分の画素データを並行して同時に読み出し、これを全部のラインについて順次行うことで、読み取り速度を高速化する方式を採用することもできる。
さらに、別の例として、１枚の画素領域を構成する各ライン（例えば２５６ピクセル）のうち、複数の画素（例えば１０画素）から画素データを同時に並行して読み出し、これをそのライン及び残りのラインについて順次繰り返すことで、読み取り速度を高速化する方式を採用することもできる。
カメラ出力回路１２Ｂは、クロックジェネレータのほか、各センサに対応して、増幅器，ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）回路，Ａ／Ｄコンバータなどの回路を備えた処理回路部を備える。このため、カメラセンサ１２Ａからの画像データは、カメラ出力回路１２Ｂにおいて、処理回路部毎に、増幅され、ＣＤＳ処理され、デジタル化される。このカメラ出力回路１２Ｂから出力されるデータはＬＶＤＳ（Ｌｏｗ Ｖｏｌｔａｇｅ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｓｉｇｎａｌｉｎｇ）方式で画像処理装置１３に送られる。
画像処理装置１３は、高速大容量のＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）に拠るハードウェアロジックで構成されている。この画像処理装置１３は、そのボードにＦＰＧＡ、大容量のＳＤＲＡＭ、及びＬＶＤＳインターフェースを搭載し、外部機器とインターフェースできるようになっている。
この画像処理装置１３により、可変焦点機構１１Ａの焦点距離を動かしながら取り込んだ画像データに対して、合ピン度ＩＱＭ（Ｉｍａｇｅ Ｑｕａｌｉｔｙ Ｍｅａｓｕｒｅ）の値がそれぞれ画素毎に評価される。
このＩＱＭについて先に説明する。このＩＱＭは、“Ｄｅｐｔｈ ｆｒｏｍ Ｆｏｃｕｓ”理論と呼ばれる光学的理論に基づいている（例えば、論文：「Ｍａｓａｈｉｒｏ Ｗａｔａｎａｂｅ ａｎｄ Ｓｈｒｅｅ Ｋ． Ｎａｙｅｒ、“Ｍｉｎｉｍａｌ Ｏｐｅｒａｔｏｒ Ｓｅｔ ｆｏｒ Ｐａｓｓｉｖｅ Ｄｅｐｔｈ ｆｒｏｍ Ｄｅｆｏｃｕｓ”、ＣＶＰＲ ’９６、ｐｐ．４３１−４３８、１９９６」、「Ｓｈｒｅｅ Ｋ． Ｎａｙｅｒ、Ｍａｓａｈｉｒｏ Ｗａｔａｎａｂｅ、ａｎｄ Ｍｉｎｏｒｙｕ Ｎｏｇｕｃｈｉ、“Ｒｅａｌ−Ｔｉｍｅ Ｆｏｃｕｓ Ｒａｎｇｅ Ｓｅｎｓｏｒ”、ＩＣＣＶ ’９５、ｐｐ．９９５−１００１、１９９５」、「Ｓｈｒｅｅ Ｋ． Ｎａｙｅｒ、ａｎｄ Ｙａｓｕｏ Ｎａｋａｇａｗａ、“Ｓｈａｐｅ ｆｒｏｍ Ｆｏｃｕｓ”、ＩＥＥＥ Ｔｒａｎｓ． ｏｎ ＰＡＭＩ、Ｖｏｌ．１６、Ｎｏ．８、ｐｐ．８２４−８３１、１９９４」、「Ａ． Ｐ． Ｐｅｎｔｌａｎｄ、“Ａ Ｎｅｗ Ｓｅｎｓｅ ｆｏｒ Ｄｅｐｔｈ ｏｆ Ｆｉｅｌｄ”、ＩＥＥＥ Ｔｒａｎｓ． Ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ、Ｖｏｌ．ＰＡＭＩ−９、Ｎｏ．４、ｐｐ．５２３−５３１、１９８７」、「Ｍｉｃｈｉｏ Ｍｉｗａ、 Ｔｏｍｏｙｕｋｉ Ｏｏｈａｒａ、Ｍａｓａｈｉｋｏ Ｉｓｈｉｉ、Ｙａｓｕｈａｒｕ Ｋｏｉｋｅ、ａｎｄ Ｍａｋｏｔｏ Ｓａｔｏ、“Ａ Ｍｅｔｈｏｄ ｏｆ Ｆａｒ Ｏｂｊｅｃｔ Ｒｅｃｏｇｎｉｔｉｏｎｕｓｉｎｇ Ｄｅｐｔｈ ｆｒｏｍ Ｆｏｃｕｓ”、Ｐｒｏｃ．３Ｄ Ｉｍａｇｅ Ｃｏｎｆｅｒｅｎｃｅ ’９９、ｐｐ．３０５−３０７、１９９９」などを参照）。
この“Ｄｅｐｔｈ ｆｒｏｍ Ｆｏｃｕｓ”理論によれば、ピントが合っているかどうかはその画像の局所空間周波数分析を行うと判明し、周波数がピークとなる焦点距離がピントの合っている部分になる。直感的にも、ボケた部分は周波数が低く、ピントが合った部分は周波数が高いものと推測できる。基本的には可変焦点機構１１Ａでレンズの焦点距離を動かしながら画像を１枚１枚取り込み、それぞれの画像の局所空間周波数分析を行い、周波数のピークの部分、つまり焦点が合った部分をピクセル単位で各画像からピックアップし、１枚の画像として張り合わせることで、全焦点画像が得られる。また、それらの焦点距離から、全焦点画像に映り込んでいる対象物の三次元データも得られる。
各画素の局所空間周波数分析は、次式のＩＱＭ（Ｉｍａｇｅ Ｑｕａｌｉｔｙ Ｍｅａｓｕｒｅ）で定義される、画像濃淡値の空間的な分散で評価できる。
【数１】
従って、可変焦点機構１１Ａの焦点距離を動かしながらＩＱＭの値をそれぞれ画素毎もしくは領域毎に評価し、ＩＱＭ値のピークを検出し、その時に画素濃淡値ｆと画像距離ｘから算出した物体距離Ｘを、それぞれの画素位置に対するマトリックス要素にそれぞれ代入する。この処理をすべての焦点距離について行った後、それぞれのマトリックスが全焦点画像と奥行き画像になる。
このＩＱＭの処理を簡略化すると、近隣３近傍ラプラシアンフィルタと２×２近傍の平滑化処理になる。
そこで、画像処理装置１３は、図５に示す簡略的な画像処理を行うこともできる。つまり、高速撮影カメラ１２から送られてきた８０ＭＨｚの画像信号はラプラシアン回路で空間周波数の分析に付され、ピークメモリに記録される。ラプラシアンの出力とピークメモリが比較され、それがピーク値、すなわちピントが合っている画像であればＳＤＲＡＭ内のフレームメモリに書き込まれる。それ以外の出力は捨てられる。
このようにして演算されたＳＤＲＡＭに書き込まれた画像データは、標準ＮＴＳＣ信号の形態でフレームレート３０ＨｚでＲＧＢ出力ボード１４を介してモニタ１５に送られ、実時間の全焦点画像として表示される。また、焦点距離から成る三次元データはＬＶＤＳに変換されて、処理装置１６に転送される。
このように本実施形態では、実時間全焦点形式である三次元透過型顕微鏡によってカメラ画像を得ることができ、操作者が脳裏で対象物の三次元形状を想像する必要がない。視野全てにピント（焦点）が合っているため、カメラの焦点距離を操作することも不要になる。しかも“ライブ（実時間）”画像が得られる。つまり、視野内の画像表示に遅延も殆ど無く、動きがそのまま殆どリアルタイムに見える。これにより、顕微鏡カメラを用いた作業の効率が大幅に向上する。
これを従来の機械的にレンズの焦点を合わせる方式の全焦点顕微鏡カメラと比較すると、その有効性は際立っている。従来の場合、機械的に焦点を合わせる操作や、その後の処理動作が介在するので、１画面を得るのに数秒から数分、掛かっていた。３０フレームの通常のビデオカメラで撮影しているので静止画は得られるが、ライブ動画は到底、不可能であった。顕微鏡を覗きながらの作業を行うのに、画像が数秒に１回しか変化しない状態ではデレイが生じ、この顕微鏡を用いた実際の作業は殆ど無理である。人が滑らかな動画として見られるフレーム周波数は秒３０枚以上である。本実施形態の実時間全焦点顕微鏡のフレーム取り込み速度は２４０コマ／秒である。すなわち、１／３０秒の間に連続的に焦点を変化させて８回、画像を取り込むので、２４０（＝３０×８）コマ／秒になる。これにより、人間が普通に（顕微鏡以外で）物の見るときと同程度の実時間性が確保される。
また、人間は普通の大きさの世界では実時間全焦点であるが、ミクロの世界では顕微鏡を用いる必要があり、それは実時間単一焦点である。このため、従来では操作者は焦点を煩雑に動かす操作を強いられていた。この実時間全焦点顕微鏡カメラにより、ミクロの世界を普通の大きさの世界と同様に扱うことが可能になる。
また、顕微鏡で物を見るためには前準備として切片の作成が必要であったが、これは顕微鏡が単一焦点であることを前提としている。本実施形態のように全焦点になれば、切片が不要になるケースもある。
さらに、この実時間全焦点顕微鏡カメラにより、今まで見たこともない微少なマイクロマシンの全体の動きやミクロの生物の生態観察も可能になる。
次に、前述した画像（カラーの場合ＲＧＢの３チャンネル）に加え、各焦点距離での、各画素位置での合ピン度（合焦度）をあらわすＩＱＭ画像を加えた、ＲＧＢ＋ＩＱＭの４チャンネルのデータを使い、全焦点画像（どこにもピントの合った画像）と、試料の内部の透過した奥行き画像を獲得する得られた画像について一連の処理を行って画像表示を行う。
三次元ＣＧを表示するボリュームレンダリング技術として、各スライス画像ＲＧＢ３チャンネルに物体の透明度Ｐを加えた、ＲＧＢＰの４チャンネルで表示することにより、物体内部を表示する技術を用いる。例えば、ガラスのＰ値は高く、擦りガラスは中程度、不透明物体では低いＰ値に設定する。
そこで、図１において、１．の合ピン度ＩＱＭ２２と、２．ボリュームレンダリング技術で用いられる透明度Ｐ２３をルックアップテーブル２１（記憶手段，記憶装置）で関連付けることにより、焦点距離を動かしながら撮像された画像列を、ボリュームレンダリング表示することを可能とし、物体内部をＭＲＩ画像のように観測することを可能にする。さらには、任意方向でのスライス画像（縦方向あるいは横方向であってもよい）を表示することを可能とする。
透過型蛍光顕微鏡は、図６に示すように、ＯＢ（物体，試料）にある波長の光を当てることで、焦点距離移動に応じた蛍光画像データ（ｘ，ｙ）が得られ、遺伝子や機能タンパク質などの観測が可能となる。特に、ＤＮＡ，ＲＮＡ解析がある程度進んだ現在では、タンパク質の構成が、酵素などの機能に大きく影響を与えることから、機能構造解析が進められている。この蛍光顕微鏡の場合、上記のアルゴリズムにおいて、合ピン度の変わりに物体の蛍光度を透明度に関連付けることにより、蛍光物質の三次元構造が観測可能となる。例えば、人間の脳のニューロン反応を実時間で観測しようとする場合、ニューロン反応時間（３、４ミリｓｅｃ ）の間に３、４画像表示する。
図６にフローチャートを示す。
メモリ初期化（焦点距離ＦＶ＝０）を行う（Ｓ１）。焦点距離制御（ＦＶ＝ＦＶ＋１）を行い（Ｓ２）、ＲＧＢ３チャンネルによるオリジナル画像ＯＲＧ（ＦＶ，ｘ，ｙ）を生成し、入力を行う（Ｓ３）。ＲＧＢ３チャンネルにＩＱＭチャンネルを加え、４チャンネルによる画像前処理を行う（Ｓ４）。
ＯＲＧ（ＦＶ，ｘ，ｙ）→ＯＲＧ＋ＩＱＭ（ＦＶ，ｘ，ｙ）
ＩＱＭ（ＦＶ，ｘ，ｙ）と透明度Ｐ（ＦＶ，ｘ，ｙ）をルックアップテーブル２１ＬＵＴで対応付けを行う（Ｓ５）。
ＦＶ＜ＦＶｍａｘを判断し（Ｓ６）、ＦＶｍａｘ以内であれば焦点距離を変え、前述のステップを繰り返す。
ＦＶｍａｘを越えると、ＯＲＧ（ＦＶ，ｘ，ｙ）＋Ｐ（ＦＶ，ｘ，ｙ）データでボリュームレンダリングを行い（Ｓ７）、画面表示装置に画面の表示を行う。図８に、焦点距離を移動していった状態でのスライスした画像データを示す。図９に、物体内部をＭＲＩ画像のように形成したボリュームレンダリングされた三次元顕微鏡画像の全景４１を表示画面４０に表示した例を示す。表示画面４０に横スライス画像４２および縦スライス画像４３に示す。
以上のように、本発明によれば、透過型顕微鏡と、該透過型顕微鏡で得られた画像の画素信号を画像処理して表示する画像処理装置との組み合わせからなる三次元透過型顕微鏡システムにおいて、前記透過型顕微鏡からＲＧＢチャンネル信号と合ピン度のチャンネル信号として出力された前記画素信号を記憶し、該記憶された合ピン度のチャンネル信号に基づいて透明度のチャンネル信号に変換し、ＲＧＢのチャンネル信号と共に表示画面を構成する画素の画素信号を構成する三次元透過型顕微鏡システムが構成される。
また、本発明によれば、透過型蛍光顕微鏡と、該透過型蛍光顕微鏡で得られた画像の画素信号を画像処理して表示する画像処理装置との組み合わせからなる三次元透過型顕微鏡システムにおいて、前記透過型顕微鏡からの蛍光像について、ＲＧＢチャンネル信号と合ピン度のチャンネル信号として出力された前記画素信号を記憶し、該記憶された合ピン度のチャンネル信号に基づいて透明度のチャンネル信号を構成し、ＲＧＢのチャンネル信号と共に表示画面を構成する画素の画素信号を構成する三次元透過型顕微鏡システムが構成される。
また、本発明によれば、光源で生成された励起光を試料に照射すると共に、該励起光によって励起される試料の蛍光を観察する透過型蛍光顕微鏡システムにおいて、透過型蛍光顕微鏡と画像処理装置とを備え、前記透過型蛍光顕微鏡の試料に対する焦点距離を制御して、試料について焦点距離を変えて、試料の内部を透過する励起光によって励起される蛍光によって全焦点画像からなる多数の奥行き画像を、ＲＧＢの３チャンネル信号と合ピン度のチャンネル信号とからなる画素から形成し、前記画像処理装置は、形成された画素を使用して、合ピン度のチャンネル信号を透明度のチャンネル信号に変換し、ＲＧＢの３チャンネル信号と透明度のチャンネル信号とによって表示画面の画素信号を形成し、当該画素信号によって試料の内部を表示する全焦点画像からなる奥行き画像を形成し、表示画面に表示する透過型蛍光顕微鏡システムが構成される。
また、本発明によれば、透過型蛍光顕微鏡で得られた画像の画素信号を画像処理して画像表示する三次元透過型顕微鏡の画像表示方法において、前記透過型顕微鏡からの蛍光像について、ＲＧＢのチャンネル信号と合ピン度のチャンネル信号として出力された前記画素信号を記憶し、該記憶された合ピン度のチャンネル信号に基づいて透明度のチャンネル信号を構成し、ＲＧＢのチャンネル信号と共に表示画面を構成する画素の画素信号を構成する三次元透過型顕微鏡の画像表示方法が構成される。
さらに、蛍光色素を使った観測として、電気的な活動を営む神経細胞の活動を観測する場合、カルシウムの流れを見ることが活性状態の判断に用いられることから、神経生物学では注目されている。しかしながら、構成自体が三次元的な配置であることに加え、活動が非常に短時間（数マイクロ秒以下）であることから、高速解析装置が求められている。本システムは、撮像素子として高速度カメラを用いると同時に、高速画像処理システムを用いることにより、このような要望にもこたえるものである。
本発明によれば、透過型蛍光顕微鏡で得られた画像の画素信号を画像処理して画像表示する三次元透過型顕微鏡を使用した蛋白質（結晶）の画像表示方法において、蛋白質に対する焦点距離を制御し、蛋白質について焦点距離を変えて、蛋白質の内部の細胞を透過する励起光によって励起される蛍光によって一連の画像列からなる多数の透過画像を、ＲＧＢの３チャンネル信号と合ピン度のチャンネル信号とからなる画素から形成し、合ピン度のチャンネル信号を透明度のチャンネル信号に変換し、ＲＧＢの３チャンネル信号と透明度のチャンネル信号とによって表示画面の画素信号を形成し、当該画素信号によって蛋白質の内部の細胞を表示する表示画像を形成し、表示画面に表示する透過型蛍光顕微鏡を使用した蛋白質の画像表示方法が構成される。
本発明によれば、更に、前記表示画面は、人間の脳のニューロン反応の時間（３、４ミリｓｅｃ ）の間に３、４画像表示される画面である三次元透過型顕微鏡の画像表示方法が構成される。
【発明の効果】
本発明によれば、ＲＧＢ３チャンネルとＩＱＭチャンネルで得られた画像をＲＧＢチャンネルと透明度Ｐチャンネルによる４チャンネルで物体（試料）内部を明確に表示することができ、更に、ＭＲＩ画像のように物体内部の全景を三次元によって立体表示することができる。また、蛍光顕微鏡を使用した場合、合ピン度に応じて物体の蛍光度を透明度に関連付けることができ、蛍光物質の三次元構造が観測可能になる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る三次元透過型顕微鏡システムの全体構成を示す概略ブロック図。
【図２】実時間全焦点顕微鏡の機能を中心に示す機能ブロック図。
【図３】高速撮影カメラの撮影タイミングを説明する図。
【図４】高速撮影カメラのカメラセンサ及びカメラ出力回路の構成及び動作を説明する模式図。
【図５】画像処理装置で行われる簡略化した機能を説明する機能ブロック図。
【図６】蛍光画像データ作成方法を示す説明図。
【図７】フローチャート図。
【図８】焦点距離を移動させたときの一連の顕微鏡画像を示す図。
【図９】ボリュームレンダリングされた三次元顕微鏡画像を示す図。
【符号の説明】
１…三次元透過型顕微鏡システム、２…透過型顕微鏡、１１…光学系、１１Ａ…可変焦点機構、１２…高速撮影カメラ（高速撮影装置）、１２Ａ…カメラセンサ、１２Ｂ…カメラ出力回路、１３…画像処理装置（ＰＣ）、１４…ＲＧＢ出力ボード、１６…処理装置（ＣＰＵ）、１７…画像メモリ、１８…ＩＱＭ（合ピン度，合焦度）出力ボード、２１…ルックアップテーブル、２２…合ピン度、２３…透明度、２６…焦点距離移動装置。
Claims (8)
- 透過型顕微鏡と、該透過型顕微鏡で得られた画像の画素信号を画像処理して表示する画像処理装置との組み合わせからなる三次元透過型顕微鏡システムにおいて、
前記画像処理装置は、前記透過型顕微鏡からＲＧＢの３チャンネル信号と合ピン度のチャンネル信号として出力された前記画素信号を記憶する画像メモリ手段と、合ピン度のチャンネル信号と透明度のチャンネル信号とを対比して記憶する記憶手段と、および前記画像メモリ手段に記憶された合ピン度のチャンネル信号を透明度のチャンネル信号に変換して、ＲＧＢの３チャンネル信号と共に表示画面を構成する画素の画素信号を構成する処理装置とを備えたこと
を特徴とする三次元透過型顕微鏡システム。 - 透過型顕微鏡と、該透過型顕微鏡で得られた画像の画素信号を画像処理して表示する画像処理装置との組み合わせからなる三次元透過型顕微鏡システムにおいて、
前記透過型顕微鏡からＲＧＢのチャンネル信号と合ピン度のチャンネル信号として出力された前記画素信号を記憶し、該記憶された合ピン度のチャンネル信号に基づいて透明度のチャンネル信号に変換し、ＲＧＢのチャンネル信号と共に表示画面を構成する画素の画素信号を構成すること
を特徴とする三次元透過型顕微鏡システム。 - 透過型蛍光顕微鏡と、該透過型蛍光顕微鏡で得られた画像の画素信号を画像処理して表示する画像処理装置との組み合わせからなる三次元透過型顕微鏡システムにおいて、
前記透過型顕微鏡からの蛍光像について、ＲＧＢチャンネル信号と合ピン度のチャンネル信号として出力された前記画素信号を記憶し、該記憶された合ピン度のチャンネル信号に基づいて透明度のチャンネル信号を構成し、ＲＧＢチャンネル信号と共に表示画面を構成する画素の画素信号を構成すること
を特徴とする三次元透過型顕微鏡システム。 - 光源で生成された励起光を試料に照射すると共に、該励起光によって励起される試料の蛍光を観察する透過型蛍光顕微鏡システムにおいて、
透過型蛍光顕微鏡と画像処理装置とを備え、
前記透過型蛍光顕微鏡の試料に対する焦点距離を制御して、試料について焦点距離を変えて、試料の内部を透過する励起光によって励起される蛍光によって全焦点画像からなる多数の奥行き画像を、ＲＧＢの３チャンネル信号と合ピン度のチャンネル信号とからなる画素から形成し、
前記画像処理装置は、形成された画素を使用して、合ピン度のチャンネル信号を透明度のチャンネル信号に変換し、
ＲＧＢの３チャンネル信号と透明度のチャンネル信号とによって表示画面の画素信号を形成し、
当該画素信号によって試料の内部を表示する全焦点画像からなる奥行き画像を形成し、表示画面に表示すること
を特徴とする透過型蛍光顕微鏡システム。 - 透過型顕微鏡で得られた画像の画素信号を画像処理として画像表示する三次元透過型顕微鏡の画像表示方法において、
前記透過型顕微鏡からＲＧＢのチャンネル信号と合ピン度のチャンネル信号として出力された前記画素信号を記憶し、該記憶された合ピン度のチャンネル信号に基づいて透明度のチャンネル信号に変換し、ＲＧＢのチャンネル信号と共に表示画面を構成する画素の画素信号を構成すること
を特徴とする三次元透過型顕微鏡の画像表示方法。 - 透過型蛍光顕微鏡で得られた画像の画素信号を画像処理して画像表示する三次元透過型顕微鏡の画像表示方法において、
前記透過型顕微鏡からの蛍光像について、ＲＧＢのチャンネル信号とし合ピン度のチャンネル信号として出力された前記画素信号を記憶し、該記憶された合ピン度のチャンネル信号に基づいて透明度のチャンネル信号を構成し、ＲＧＢのチャンネル信号と共に表示画面を構成する画素の画素信号を構成すること
を特徴とする三次元透過型顕微鏡の画像表示方法。 - 請求項６において、前記表示画面は、人間の脳のニューロン反応の時間（３、４ｓｅｃ ）の間に３、４画像表示される画面であることを特徴とする三次元透過型顕微鏡の画像表示方法。
- 透過型蛍光顕微鏡で得られた画像の画素信号を画像処理して画像表示する三次元透過型顕微鏡を使用した蛋白質の画像表示方法において、
蛋白質に対する焦点距離を制御し、
蛋白質について焦点距離を変えて、蛋白質の内部の細胞を透過する励起光によって励起される蛍光によって一連の画像列からなる多数の透過画像を、ＲＧＢの３チャンネル信号と合ピン度のチャンネル信号とからなる画素から形成し、
合ピン度のチャンネル信号を透明度のチャンネル信号に変換し、
ＲＧＢの３チャンネル信号と透明度のチャンネル信号とによって表示画面の画素信号を形成し、
当該画素信号によって蛋白質の内部の細胞の三次元構造を表示する表示画像を形成し、表示画面に表示すること
を特徴とする透過型蛍光顕微鏡を使用した蛋白質の画像表示方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002092349A JP3627020B2 (ja) | 2002-03-28 | 2002-03-28 | 三次元透過型顕微鏡システムおよび画像表示方法 |
| US10/400,485 US20030184558A1 (en) | 2002-03-28 | 2003-03-28 | Three-dimensional transmission type microscope system, image display method and image processing apparatus |
| EP03251983A EP1353211A3 (en) | 2002-03-28 | 2003-03-28 | Three-dimensional transmission type microscope system, image display method and image processing apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002092349A JP3627020B2 (ja) | 2002-03-28 | 2002-03-28 | 三次元透過型顕微鏡システムおよび画像表示方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003287687A JP2003287687A (ja) | 2003-10-10 |
| JP3627020B2 true JP3627020B2 (ja) | 2005-03-09 |
Family
ID=28449625
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002092349A Expired - Lifetime JP3627020B2 (ja) | 2002-03-28 | 2002-03-28 | 三次元透過型顕微鏡システムおよび画像表示方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20030184558A1 (ja) |
| EP (1) | EP1353211A3 (ja) |
| JP (1) | JP3627020B2 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7526118B2 (en) * | 2003-08-06 | 2009-04-28 | Quality Vision International, Inc | Digital video optical inspection apparatus and method for vertically sectioning an object's surface |
| DE102004034954A1 (de) * | 2004-07-16 | 2006-02-02 | Carl Zeiss Jena Gmbh | Verfahren zur Erfassung mindestens eines Probenbereiches mit einem Lichtrastermikroskop |
| JP2006113462A (ja) * | 2004-10-18 | 2006-04-27 | Tohoku Univ | 単粒子三次元位置追跡方法 |
| DE102006030530A1 (de) * | 2006-07-01 | 2008-01-03 | Carl Zeiss Microimaging Gmbh | Verfahren und Anordnung zur Detektierung von Lichtsignalen |
| US9041791B2 (en) * | 2011-02-01 | 2015-05-26 | Roche Diagnostics Hematology, Inc. | Fast auto-focus in imaging |
| JP5747690B2 (ja) * | 2011-07-04 | 2015-07-15 | 株式会社ニコン | 顕微鏡装置及び画像形成方法 |
| JP5928308B2 (ja) * | 2012-11-13 | 2016-06-01 | ソニー株式会社 | 画像取得装置および画像取得方法 |
| CN115299872A (zh) * | 2022-08-08 | 2022-11-08 | 中山大学中山眼科中心 | 结膜杯状细胞的荧光成像设备 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5932872A (en) * | 1994-07-01 | 1999-08-03 | Jeffrey H. Price | Autofocus system for scanning microscopy having a volume image formation |
| WO1996012981A1 (en) * | 1994-10-21 | 1996-05-02 | Kla Instruments Corporation | Autofocusing apparatus and method for high resolution microscope system |
| US5671085A (en) * | 1995-02-03 | 1997-09-23 | The Regents Of The University Of California | Method and apparatus for three-dimensional microscopy with enhanced depth resolution |
| JP3961729B2 (ja) * | 1999-03-03 | 2007-08-22 | 株式会社デンソー | 全焦点撮像装置 |
| JP2001100594A (ja) * | 1999-09-28 | 2001-04-13 | Stanley Electric Co Ltd | 電子写真感光体の製造方法 |
| US6555802B2 (en) * | 2000-01-07 | 2003-04-29 | Axon Instruments, Inc. | Scanning microscope |
| US20010033287A1 (en) * | 2000-01-11 | 2001-10-25 | Sun Microsystems, Inc. | Graphics system having a super-sampled sample buffer which utilizes a window ID to specify pixel characteristics |
| DE10145056A1 (de) * | 2001-09-13 | 2003-04-03 | Zeiss Carl Jena Gmbh | Vorrichtung und Verfahren zur Fokuskontrolle in einem Mikroskop mit digitaler Bildgebung, vorzugsweise einem konfokalen Mikroskop |
| US7084910B2 (en) * | 2002-02-08 | 2006-08-01 | Hewlett-Packard Development Company, L.P. | System and method for using multiple images in a digital image capture device |
-
2002
- 2002-03-28 JP JP2002092349A patent/JP3627020B2/ja not_active Expired - Lifetime
-
2003
- 2003-03-28 US US10/400,485 patent/US20030184558A1/en not_active Abandoned
- 2003-03-28 EP EP03251983A patent/EP1353211A3/en not_active Withdrawn
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003287687A (ja) | 2003-10-10 |
| US20030184558A1 (en) | 2003-10-02 |
| EP1353211A3 (en) | 2004-01-21 |
| EP1353211A2 (en) | 2003-10-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3867143B2 (ja) | 三次元顕微鏡システムおよび画像表示方法 | |
| JP3737483B2 (ja) | 実時間全焦点顕微鏡カメラ | |
| JP5197785B2 (ja) | 画像処理装置、撮像システム、画像処理システム | |
| CN103460685B (zh) | 摄像装置和摄像方法 | |
| EP2864741B1 (en) | Pathology slide scanners for fluorescence and brightfield imaging and method of operation | |
| US20150153559A1 (en) | Image processing apparatus, imaging system, and image processing system | |
| WO2013100025A9 (ja) | 画像処理装置、画像処理システム、画像処理方法および画像処理プログラム | |
| CN107735713A (zh) | 医疗图像处理装置、医疗图像处理方法及医疗观察系统 | |
| CN102854615A (zh) | 一种对显微切片的全自动扫描系统及方法 | |
| US20180292638A1 (en) | Auto-focus methods and systems for digital imaging using mutli-spectral trajectories | |
| KR102253320B1 (ko) | 집적영상 현미경 시스템에서의 3차원 영상 디스플레이 방법 및 이를 구현하는 집적영상 현미경 시스템 | |
| JP3627020B2 (ja) | 三次元透過型顕微鏡システムおよび画像表示方法 | |
| WO2013100026A1 (ja) | 画像処理装置、画像処理システム、画像処理方法および画像処理プログラム | |
| CN108765285A (zh) | 一种基于视频清晰度融合的大尺寸显微图像生成方法 | |
| JP3501359B2 (ja) | 全焦点撮像方法および立体表示方法 | |
| JP2015035782A (ja) | 画像処理装置、撮像装置、顕微鏡システム、画像処理方法及び画像処理プログラム | |
| JPH1132251A (ja) | 画像処理装置 | |
| US6229928B1 (en) | Image processing system for removing blur using a spatial filter which performs a convolution of image data with a matrix of no-neighbor algorithm based coefficients | |
| CN112992336A (zh) | 一种病理智能诊断系统 | |
| JP2021140032A (ja) | 信号取得装置、信号取得システム、及び信号取得方法 | |
| JP5818828B2 (ja) | 画像処理装置、撮像システム、画像処理システム | |
| JPH05333271A (ja) | ３次元物体の認識方法および装置 | |
| JP2016206228A (ja) | 合焦位置検出装置、合焦位置検出方法、撮像装置、撮像システム | |
| JP2013250400A (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
| Meitav et al. | Multifocal microscopy for functional imaging of neural systems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040930 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041109 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3627020 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |