JP4300915B2 - 顕微鏡用画像処理システム及び画像処理装置 - Google Patents
顕微鏡用画像処理システム及び画像処理装置 Download PDFInfo
- Publication number
- JP4300915B2 JP4300915B2 JP2003206510A JP2003206510A JP4300915B2 JP 4300915 B2 JP4300915 B2 JP 4300915B2 JP 2003206510 A JP2003206510 A JP 2003206510A JP 2003206510 A JP2003206510 A JP 2003206510A JP 4300915 B2 JP4300915 B2 JP 4300915B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- microscope
- image processing
- sample
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000001000 micrograph Methods 0.000 title claims description 34
- 238000003384 imaging method Methods 0.000 claims description 82
- 239000013074 reference sample Substances 0.000 claims description 73
- 239000000523 sample Substances 0.000 claims description 54
- 238000000034 method Methods 0.000 claims description 40
- 230000003287 optical effect Effects 0.000 claims description 33
- 239000003086 colorant Substances 0.000 description 20
- 238000001444 catalytic combustion detection Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 9
- 238000010606 normalization Methods 0.000 description 7
- 239000007850 fluorescent dye Substances 0.000 description 5
- 230000000694 effects Effects 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 230000006870 function Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Images
Landscapes
- Microscoopes, Condenser (AREA)
- Studio Devices (AREA)
Description
【発明の属する技術分野】
本発明は、一つの顕微鏡から得られる複数の画像をデジタル処理するのに好適な顕微鏡用画像処理システム及び画像処理装置に関するものである。
【0002】
【従来の技術】
図11は、従来技術における複数の画像を取り込んで処理する顕微鏡用画像処理システムの一例を示す説明図である。
図11に示すように、顕微鏡用画像処理システムは、顕微鏡1と第1電子カメラ11と第2電子カメラ12と計算機13とから構成されている。なお、14は計算機13の画面である。
【0003】
ここで、顕微鏡1は、図示するように、光源2とコンデンサレンズ3とステージ4と対物レンズ6とダイクロイックミラー7とミラー8と第1集光レンズ9と第2集光レンズ10から構成されている。ステージ4には、試料5がセットされる。
第1電子カメラ11は、第1集光レンズ9からの光を画像データに変換して、計算機13に送る。同様に、第2電子カメラ12は、第2集光レンズ9からの光を画像データに変換して、計算機13に送る。
【0004】
次に、図11に示す従来技術の動作を説明する。なお、この顕微鏡用画像処理システムは、光源からの光を蛍光色素の注入を受けた試料5に集光し、異なる波長の蛍光発光を起こさせ、蛍光発光に基づく異なる光を第1電子カメラ11と第2電子カメラ12で撮像し、各々画像データとして計算機13に送るものである。
最初に、実験者は試料5を作製する。そのとき、実験者は試料5の内部に2種類の蛍光色素を注入する。これにより、試料5は光源2からの励起光を受けて、異なる波長の蛍光を発光するようになる。
【0005】
次に、実験者は、作製した試料5を顕微鏡1のステージ4上に置き、ステージ4を移動させて、位置及びフォーカスの調整を行い、対物レンズ6の切り替え等を行い、明るさが十分になったところで、画像を取得する。
顕微鏡1において、光源2から出射された光は、コンデンサレンズ3を通り、ステージ4上の試料5に集光される。試料5に集光された光は、試料5内部に注入された2種類の蛍光色素を発光させる。ここで、各蛍光色素は、異なる波長の蛍光により発光する。それぞれの蛍光色素から発光した異なる波長の蛍光は、対物レンズ6を通り、ダイクロイックミラー7でそれぞれの波長の蛍光に分離される。ここで、光源2からの励起光は、ダイクロイックミラー7によって遮断される。また、ダイクロイックミラー7は、2つの波長の蛍光を受けても、同一の割合で分離することはなく、例えば第1集光レンズ9では受けた蛍光の100パーセントを透過し、第2集光レンズ10では受けた蛍光の50パーセントを透過する。
【0006】
各々分離された蛍光は、一方において、第1集光レンズ9を通って、第1電子カメラ11に集光される。分離された蛍光は、他方において、ミラー8と第2集光レンズ10を通って、第2電子カメラ12に集光される。
第1電子カメラ11及び第2電子カメラ12に集光された波長の異なる蛍光は、各電子カメラを経て、デジタルの画像データに変換される。各画像データは、計算機13に送信される。
【0007】
計算機13は、画面14にそれぞれの蛍光波長に沿った取得画像を表示する。
図12は、従来技術における複数の画像を取り込んで処理する顕微鏡用画像処理システムの他の例を示す説明図である。なお、図12において、図11と同一部分には同一符号を付してその説明を省略する。
図12は図11に示す顕微鏡用画像処理システムを変更したもので、それぞれの蛍光波長の光の集光位置を調整し、一つの電子カメラ15で一度に2つの画像を取得することができるシステムである。すなわち、電子カメラ15の内部では、CCD等の撮像手段が図示するように2つに分割され(15a、15b参照)、異なる蛍光波長の画像を取得するように構成されている。
【0008】
計算機13は、電子カメラ15からの各々の画像を画像データとして受け取り、それぞれの画面13に表示する。
図11と図12において、各蛍光波長の画像データを各々取得した後は、計算機13を用いて、それぞれの比率を演算したり、重ね合わせて表示したりする(例えば、特許文献1参照)。
【0009】
【特許文献1】
特開平2−61610号公報
【0010】
【発明が解決しようとする課題】
前記した従来技術には、次のような問題点がある。
【0011】
すなわち、図11に示す顕微鏡用画像処理システムの場合、第1電子カメラ11と第2電子カメラ12の設定は規格化されておらず、ダイクロイックミラー7の波長毎の透過率の違いや、減衰率の違いや、光の収集率の違いで、明るさが違ったり、色合いが違ったりする。また、第1電子カメラ11及び第2電子カメラ12に光を導く光学系の違いや、電子カメラと光学系の取り付け位置の違いにより、第1電子カメラ11と第2電子カメラ12とで見える画角が違うことがある。
【0012】
例えば、第1電子カメラ11及び第2電子カメラ12に入射する蛍光光量の相違により各カメラのダイナミックレンジが異なり、その結果、画像を比較する際に、画像の明るさが違ったり、色合いが違ったりして、同等の画像として画像を処理をすることができない。
本発明は、前記した従来技術の問題点に鑑み為されたもので、複数台の撮像装置で撮像された複数画像、及び撮像素子の分割により複数画像を撮影することが可能な撮像装置により得られた複数画像を画像処理装置に取り込む際に、各画像の明るさ、各画像の色合い、各画像の画角をあらかじめ調整するのに好適な顕微鏡用画像処理システム及び画像処理装置を提供することを目的とする。
【0013】
具体的には、異なる光学系、複数の撮像装置、又は撮像装置の撮像素子の複数の領域を用いて、同一の試料を観察するとき、各々の画像データのダイナミックレンジを同一にし、規格化された画像データとして画像処理装置に取り込むことを可能とし、実験者が複雑な調整を必要としない顕微鏡画像処理システム及び画像処理装置を提供することを目的とする。
【0014】
【課題を解決するための手段】
請求項1記載の顕微鏡用画像処理システムは、顕微鏡にマウントされる複数の撮像装置と、前記撮像装置が撮像した画像を処理する画像処理装置とから構成され、前記顕微鏡のステージにセットされた試料の像を異なる光学系を通して各々の前記撮像装置に導き、前記各撮像装置において撮像された前記試料の各画像データを前記画像処理装置に送って表示する顕微鏡用画像処理システムにおいて、前記ステージにセットされる明るさ基準試料と、前記明るさ基準試料に対応する明るさ基準データを格納した前記画像処理装置のメモリと、前記明るさ基準試料を前記複数の撮像装置により同時に撮像させ、撮像された各画像データを取得する複数画像取得手段と、前記各画像データがそれぞれ前記メモリに格納された明るさ基準データの誤差範囲内にあるか否かを各々判定する判定手段と、前記判定手段が誤差範囲内にないと判定したとき、誤差範囲内にないとされた画像データを出力した撮像装置の電気的特性を調整する調整手段とを備えたことを特徴とする。
【0015】
請求項2記載の顕微鏡用画像処理システムは、顕微鏡にマウントされる複数の撮像装置と、前記撮像装置が撮像した画像を処理する画像処理装置とから構成され、前記顕微鏡のステージにセットされた試料の像を異なる光学系を通して各々の前記撮像装置に導き、前記各撮像装置において撮像された前記試料の各画像データを前記画像処理装置に送って表示する顕微鏡用画像処理システムにおいて、前記ステージにセットされる色合い基準試料と、前記色合い基準試料に対応する色合い基準データを格納した前記画像処理装置のメモリと、前記色合い基準試料を前記複数の撮像装置により同時に撮像させ、撮像された各画像データを取得する複数画像取得手段と、前記各画像データがそれぞれ前記メモリに格納された色合い基準データの誤差範囲内にあるか否かを各々判定する判定手段と、前記判定手段が誤差範囲内にないと判定したとき、誤差範囲内にないとされた画像データを出力した撮像装置の電気的特性を調整する調整手段とを備えたことを特徴とする。
【0016】
請求項3記載の顕微鏡用画像処理システムは、顕微鏡にマウントされる複数の撮像装置と、前記撮像装置が撮像した画像を処理する画像処理装置とから構成され、前記顕微鏡のステージにセットされた試料の像を異なる光学系を通して各々の前記撮像装置に導き、前記各撮像装置において撮像された前記試料の各画像データを前記画像処理装置に送って表示する顕微鏡用画像処理システムにおいて、前記ステージにセットされる位置基準試料と、前記位置基準試料に対応する位置基準データを格納した前記画像処理装置のメモリと、前記位置基準試料を前記複数の撮像装置により同時に撮像させ、撮像された各画像データを取得する複数画像取得手段と、前記各画像データと前記メモリに格納された位置基準データとに基づいて、前記複数の撮像手段において撮像された画像データの回転角の補正量、歪曲度の補正量、平坦度の補正量を各々求める補正量取得手段とを備えたことを特徴とする。
【0017】
請求項4記載の顕微鏡用画像処理システムは、顕微鏡にマウントされる撮像装置と、前記撮像装置が撮像した画像を処理する画像処理装置とから構成され、前記撮像装置内の撮像素子を複数の領域に分割し、前記顕微鏡のステージにセットされた試料の像を異なる光学系を通して前記分割された撮像素子の各々の領域に導き、前記各々の領域において撮像された試料の各画像データを前記画像処理装置に送って表示する顕微鏡用画像処理システムにおいて、前記ステージにセットされる明るさ基準試料と、前記明るさ基準試料に対応する明るさ基準データを格納した前記画像処理装置のメモリと、前記明るさ基準試料を前記撮像装置の分割された撮像素子により同時に撮像させ、撮像された各画像データを取得する複数画像取得手段と、前記各画像データがそれぞれ前記メモリに格納された明るさ基準データの誤差範囲内にあるか否かを各々判定する判定手段と、前記判定手段が誤差範囲内にないと判定したとき、誤差範囲内にないとされた画像データを出力した分割された撮像素子の電気的特性を調整する調整手段とを備えたことを特徴とする。
【0018】
請求項5記載の顕微鏡用画像処理システムは、顕微鏡にマウントされる撮像装置と、前記撮像装置が撮像した画像を処理する画像処理装置とから構成され、前記撮像装置内の撮像素子を複数の領域に分割し、前記顕微鏡のステージにセットされた試料の像を異なる光学系を通して前記分割された撮像素子の各々の領域に導き、前記各々の領域において撮像された試料の各画像データを前記画像処理装置に送って表示する顕微鏡用画像処理システムにおいて、前記ステージにセットされる色合い基準試料と、前記色合い基準試料に対応する色合い基準データを格納した前記画像処理装置のメモリと、前記各画像データがそれぞれ前記メモリに格納された色合い基準データの誤差範囲内にあるか否かを各々判定する判定手段と、前記判定手段が誤差範囲内にないと判定したとき、誤差範囲内にないとされた画像データを出力した分割された撮像素子の電気的特性を調整する調整手段とを備えたことを特徴とする。
【0019】
請求項6記載の顕微鏡用画像処理システムは、顕微鏡にマウントされる撮像装置と、前記撮像装置が撮像した画像を処理する画像処理装置とから構成され、前記撮像装置内の撮像素子を複数の領域に分割し、前記顕微鏡のステージにセットされた試料の像を異なる光学系を通して前記分割された撮像素子の各々の領域に導き、前記各々の領域において撮像された試料の各画像データを前記画像処理装置に送って表示する顕微鏡用画像処理システムにおいて、前記ステージにセットされる位置基準試料と、前記位置基準試料に対応する位置基準データを格納した前記画像処理装置のメモリと、前記位置基準試料を前記撮像装置の分割された撮像素子により同時に撮像させ、撮像された各画像データを取得する複数画像取得手段と、前記各画像データと前記メモリに格納された位置基準データとに基づいて、前記分割された複数の領域において撮像された各々の画像の回転角の補正量、歪曲度の補正量、平坦度の補正量を求める補正量取得手段とを備えたことを特徴とする。
【0020】
請求項7記載の画像処理装置は、複数の撮像装置が接続された画像処理装置において、少なくとも1つの結像光学系を共通にし、異なる観察光学系を通過した被写体の光像をそれぞれ受光した前記複数の撮像装置から、それぞれの画像データを取得する画像取得手段と、前記異なる観察光学系の光学特性によって変化した前記各画像データのバラツキ量を打ち消すように、前記撮像装置の電気的特性を調整する調整手段と、を備え、前記画像取得手段は、特定のパターンを備えた基準試料を撮像した前記複数の撮像装置から、各画像データを取得し、前記調整手段は、前記各画像データから前記異なる観察光学系の光学特性による前記バラツキ量を算出するために、前記各画像データと比較するための、前記基準試料に対応した基準データを記憶していることを特徴とする。
【0023】
【発明の実施の形態】
以下、本発明の実施の形態について説明する。
【0024】
図1は、本発明の顕微鏡用画像処理システムの一実施の形態を示す説明図である。図1において、図11に示す従来技術と同一部分には同一符号を付してその説明を省略する。なお、この実施の形態は、請求項1から請求項7に記載の発明に対応する。また、請求項に記載する画像処理装置は計算機13が対応し、請求項に記載する撮像装置は第1電子カメラ11と第2電子カメラ12が対応する。
【0025】
図1に示す顕微鏡用画像処理システムが図11に示す従来技術と相違しているのは、次の点である。第1に、計算機13は、あらかじめ明るさ基準データ、及び色合い基準データ、及び位置基準データをメモリに格納している。
【0026】
前記明るさ基準データは、図2に示す明るさ基準試料16に基づくもので、明るさ基準試料16には、図示するように白から黒までの6段階が設定されている。したがって、明るさ基準データも、白から黒まで6段階のデータが準備されている。明るさ基準試料16では、図示するように、位置決めのため、2つの基準点a、dが設定されている。
【0027】
同様に、色合い基準データは、図3に示す色合いの基準となる色合い基準試料17に基づくもので、色合い基準試料17には図示するように白、青、水色、緑、黄、赤、紫、黒までの8色が設定されている。したがって、色合基準データも、白、青、水色、緑、黄、赤、紫、黒までの8色のデータが準備されている。色合い基準試料17では、図示するように、位置決めのため、2つの基準点a、dが設定されている。
【0028】
同様に、位置基準データは、図4に示す位置の基準となる位置基準試料18に基づくものである。位置基準試料18では、図示するように、4つの基準点a、b、c、dが設定されている。
最初に、顕微鏡用画像処理システムの明るさの規格化について、図5と図6に示すフローチャートを用いて説明する。
【0029】
図5のステップS11において、顕微鏡1をセットする。具体的には、明るさの基準となる明るさ基準試料16を顕微鏡1のステージ4上にセットし、顕微鏡1の電源を入れて、光源2をある一定の明るさに設定する。また、対物レンズ6の倍率設定等を行う。
ステップS12において、顕微鏡1が観察している明るさ基準試料16上の領域の位置データを得る。具体的には、対物レンズ6から第1カメラ11のCCD面までの光学系の倍率及びCCDチップの大きさ等に基づいて、実際に観察している明るさ基準試料16上の領域の位置データを得る。この位置データは、計算機13のメモリに格納される。
【0030】
ステップS13において、第1電子カメラ11が明るさ基準試料16の顕微鏡画像を撮影する。
ステップS14において、第1電子カメラ11は撮影した画像データを計算機13に伝送し、計算機13は前記画像データを受け取ってメモリに格納する。
ステップS15において、計算機13は明るさ基準試料16の画像に基づいて、左上端基準点aの確認を行う。基準点aの確認がきなかった場合、顕微鏡1はステップS16に進み、ステージ4の移動を行う。ここで、ステージ4の移動は、X方向に1ステップだけ行う。なお、ステージ4のX方向への移動が既に最大位置に来ている場合は、Y方向について1ステップの移動を行い、X方向について原点位置(X=0の位置)に移動する。その後、ステップS13〜S15の処理を繰り返す。
【0031】
ステップS15において、基準点aの確認ができた場合、ステップS17に進む。
ステップS17において、顕微鏡1は、計算機13からの指示に基づいて、基準点aが画像の左上端に位置するように、ステージ4を移動する。このとき、ステップS12において取得した「顕微鏡1が観察している明るさ基準試料16の領域の位置データ」とステップS16における「ステージの移動量」を参照してステージ4を移動する。そして、移動位置を初期位置として記憶する。
【0032】
ステップS18において、第1カメラ11と第2カメラ12が撮影を行う。
ステップS19において、第1カメラ11の画像データと第2カメラ12の画像データを計算機13に伝送し、計算機13は前記2つの画像データを受け取る。
ステップS20において、計算機13は第1カメラ11と第2カメラ12から送られてきた2つの画像(サンプル画像)の各々に明るさ基準試料16の白から黒まで6色が全て収まっているか否かを判断する。ここで、図2に示す基準点dが各画像中において認識された場合、白から黒までの6色が全て収まっていると判定される。
【0033】
ステップS20において、第1カメラ11、第2カメラ12が撮影した画像に白から黒まで6色が全て収まっていないと判定された場合、ステップS21に進む。この場合、画像中に、前記6色のうちの一部の色だけが収まっていることを意味する。
ステップS21において、これまでに、白から黒までの6色の画像(サンプル画像)が全て取得されたか否かが判定される。ここで、図2に示す基準点dが画像中において認識された場合、白から黒までの6色の画像(サンプル画像)が全て取得されたと判定される。この例では、白から黒までの6色の画像が全て取得されていないと判定され、ステップS22に進む。白から黒までの6色の画像が全て取得されたと判定されるのは、少なくとも、ステップS18において撮影が2回行われた場合である。
【0034】
ステップS22において、ステップS16と同様にステージ4を移動させ、その後、ステップS18〜S20の処理を繰り返す。
ステップS20において、第1カメラ11、第2カメラ12の1画面(サンプル画像)中に白から黒まで6色が全て収まっていると判定された場合、図6に示すステップS24に進む(A参照)。また、ステップS21において、白から黒までの6色が複数の画像(複数のサンプル画像)中に全て取得されていると判定された場合(図2に示す基準点dが画像中において認識された場合)、図6に示すステップS24に進む(B参照)。
【0035】
ステップS23において、第1カメラ11、第2カメラ12において取得された複数の画像(サンプル画像)を画像処理(タイリング処理)して、白から黒までの6色の画像を一つの画像にする。
ステップS24において、ステップS23において得られた白から黒までの6色の画像(サンプルデータ)の各々について、又はステップS20において得られた白から黒までの6色の画像(サンプルデータ)の各々について、明るさの平均値を求める。これは、ステップS18〜S23で求めた白から黒までの6色の各々に、ノイズ成分や画像位置による明るさの差が存在するため、平均値を求めて正確を期するためである。
【0036】
ステップS25において、計算機13のメモリに格納されている白から黒までの6色の明るさ基準データと、ステップS24で求めた白から黒までの6色の平均値(サンプルデータ)との差分を各々求める。
ステップS26において、前記差分があらかじめ定められた誤差の範囲内か否かを判定する。ステップS26おいて、誤差の範囲外であると判定された場合、ステップS27に進み、第1カメラ11又は第2カメラ12のゲイン、露光時間の設定等を変更する。ただし、ゲイン設定値が最大値であれば、ゲイン設定値と露光時間を初期値に戻して、光源2の明るさを変更する。
【0037】
続いて、ステップS28において、顕微鏡1はステージ4を初期位置(S17参照)に移動し、ステップS18に戻り、ステップS18〜S26の処理を繰り返して実行する。
ステップS26において、誤差の範囲内と判定された場合には、処理を終了する。
【0038】
以上の説明においては、ステップS13において第1電子カメラ11を用いて撮影したが、第2電子カメラ12を用いて撮影してもよい。
また、ステップS20において、第1電子カメラ11と第2電子カメラ12の両方がステップS21に進み、又は第1電子カメラ11と第2電子カメラ12の両方がステップS24に進むように説明したが、場合によっては、いずれか一方のカメラだけがステップS21に進み、他方のカメラがステップS24に進むこともあり得る。ただし、同一の顕微鏡に同一の電子カメラを設けているときは、このような事態が生じるのは稀である。
【0039】
また、第1電子カメラ11と第2電子カメラ12のステップS27における調整は、露光時間とゲインの調整によって行われるが、例えばゲイン調整はCCDから出力される電気信号にゲインを掛けるアナログ処理で行ってもよいし、前記アナログ信号をデジタル化した後、デジタル処理により行ってもよい。
【0040】
また、コンデンサレンズ3と対物レンズ6は、それぞれ切り替えて使用することができる。この場合、コンデンサレンズ3と対物レンズ6の組み合せの数だけ明るさ基準データを準備し、計算機13のメモリに格納しておく。これにより、コンデンサレンズ3と対物レンズ6の組み合せにおいても、第1電子カメラ「11と第2電子カメラ12から取得した画像データは規格化された明るさとなり、顕微鏡用画像処理システムを規格化することが可能になる。ただし、明るさ基準試料16もその数だけ準備する必要がある。
【0041】
こうすることで、各電子カメラからのデータは自動的に明るさが調整され、ダイナミックレンジが同一で、規格化されたものとなる。
また、このような顕微鏡用画像処理システムが複数台ある場合にも、各電子カメラからから取得したデータは、ダイナミックレンジが同一であり、規格化された明るさとなる。
【0042】
なお、請求項1、4に記載する複数画像取得手段は、ステップS18〜S23が相当する。また、請求項1、4に記載する調整手段は、ステップS27、S28、S18〜26が相当する。
次に、顕微鏡用画像処理システムの色合いの規格化について、図7と図8に示すフローチャート(ステップS31〜ステップS48)を用いて説明する。
【0043】
色合いの規格化を説明するためのステップS31〜ステップS48は、図4と図5に示す明るさの規格化を説明するためのステップS11〜ステップS28とほぼ同様の手順であるので、主に相違点について説明する。
図7に示すステップS31において(顕微鏡セット)、色合いの基準となる色合い基準試料17が顕微鏡1のステージ4上にセットされる。他は、ステップS11の場合と同様である。
【0044】
ステップS32において、顕微鏡1が観察している色合い基準試料17上の領域の位置データを得て、計算機13に記憶する。ステップS12と同様の処理である。
ステップS33〜S39おいて、ステップS13〜S19と同様の処理が行われる。異なるのは、顕微鏡1が観察している対象が明るさ基準試料16ではなく、色合い基準試料17であることである。具体的には、色合い基準試料17の左上端基準点aを確認して(ステップS33〜S36)、初期位置に移動し(ステップS37)、第1カメラ11と第2カメラ12で撮影し(ステップS38)、撮影して得た画像データを計算機13に伝送する(ステップS39)。
【0045】
ステップS40において、第1カメラ11、第2カメラ12が撮影した画像に白、青、水…、黒までの8色(図3参照)が全て収まっていないと判定された場合、ステップS41に進む。他は、ステップS20の場合と同様である。
ステップS41において、これまでに、白、青、水…、黒までの8色の画像(サンプル画像)が全て取得されたか否かが判定される。ここで、図3に示す基準点dが画像中において認識された場合、前記8色の画像(サンプル画像)が全て取得されたと判定される。この例では、白から黒までの8色の画像が全て取得されていないと判定され、ステップS22に進む。前記8色の画像が全て取得されたと判定されるのは、少なくとも、ステップS38において撮影が2回行われた場合である。
【0046】
ステップS42において、ステップS36と同様にステージ4を移動させ、その後、ステップS38〜S40を繰り返す。
ステップS40において、第1カメラ11、第2カメラ12の1画面中に前記8色が全て収まっていると判定された場合、図8に示すステップS44に進む(D参照)。また、ステップS41において、前記8色の画像(サンプル画像)が全て取得されていると判定された場合(図3に示す基準点dが画像中において認識された場合)、図6に示すステップS44に進む(E参照)。
【0047】
ステップS43において、第1カメラ11、第2カメラ12において取得された複数の画像(サンプル画像)を画像処理(タイリング処理)して、前記8色の画像を一つの画像にする。
ステップS44において、ステップS43において得られた前記8色の画像の各々について、又はステップS40において得られた前記8色の各々について、平均値を求める。これは、ステップS38〜S43で求めた前記8色の各々に、ノイズ成分や画像位置による色合いの差が存在するため、平均値を求めて正確を期するためである。
【0048】
ステップS45において、計算機13のメモリに格納されている8色の色合い基準データと、ステップS44で求めた前記8色の平均値との差分を各々求める。
ステップS46において、前記差分があらかじめ定められた誤差の範囲内か否かを判定する。以後の処理(ステップS47、48)は、明るさの規格化と同様であるので説明を諸略する。
【0049】
以上の説明においては、ステップS33において第1電子カメラ11を用いて撮影したが、第2電子カメラ12を用いて撮影してもよい。
また、ステップS40において、第1電子カメラ11と第2電子カメラ12の両方がステップS41に進み、又は第1電子カメラ11と第2電子カメラ12の両方がステップS44に進むように説明したが、場合によっては、いずれか一方のカメラだけがステップS41に進み、他方のカメラがステップS44に進むこともあり得る。ただし、同一の顕微鏡1に同一設定の第1電子カメラ11と第2電子カメラ12を設ける場合は、このような事態が生じるのは稀である。
【0050】
また、第1電子カメラ11と第2電子カメラ12のステップS47における調整は、露光時間とゲインの調整によって行われるが、例えばゲイン調整はCCDから出力される電気信号にゲインを掛けるアナログ処理で行ってもよいし、前記アナログ信号をデジタル化した後、デジタル処理により行ってもよい。具体的に、電子カメラが、例えば3板式CCDを備えている場合を例にして説明する。この場合、露光時間と、赤用のCCDの出力に掛けるゲインと、緑用のCCDの出力に掛けるゲインと、青用のCCDの出力に掛けるゲインとを、それぞれ調整することにより、アナログ信号の段階で色合いの調整を行うことができる。さらに、3色のアナログ信号を合成してデジタル信号に変換した後には、ブラックバランスやホワイトバランスやγ補正等を調整することで、色合いの調整を行うことができる。
【0051】
また、コンデンサレンズ3と対物レンズ6は、それぞれ切り替えて使用することができる。この場合、コンデンサレンズ3と対物レンズ6の組み合せの数だけ色合基準データを準備し、計算機13のメモリに格納しておく。これにより、コンデンサレンズ3と対物レンズ6の組み合せにおいても、顕微鏡用画像処理システムから取得したデータは規格化された色合いとなり、顕微鏡用画像処理システムを規格化することが可能になる。ただし、色合い基準試料17もその数だけ準備する必要がある。
【0052】
こうすることで、各電子カメラからのデータは自動的に色合いが調整され、ダイナミックレンジが同一で、規格化されたものとなる。
なお、このような顕微鏡用画像処理システムが複数台ある場合にも、各電子カメラから取得したデータは、ダイナミックレンジが同一であり、規格化された色合いとなる。
【0053】
なお、請求項2、5に記載する複数画像取得手段は、ステップS38〜S43が相当する。また、請求項2、5に記載する調整手段は、ステップS47、S38、S38〜46が相当する。
次に、顕微鏡用画像処理システムの位置の規格化について、図9と図10に示すフローチャート(ステップS51〜ステップS67)を用いて説明する。
【0054】
位置の規格化を説明するためのステップS51〜ステップS67のうち、ステップS51〜ステップS63は、図4と図5に示す明るさの規格化を説明するためのステップS11〜ステップS23とほぼ同様の手順であるので、ステップS51〜ステップS63については主に相違点について説明する。
図9に示すステップS51において(顕微鏡セット)、位置基準試料18が顕微鏡1のステージ4上にセットされる。他は、ステップS11の場合と同様である。
【0055】
ステップS52においては、顕微鏡1が観察している位置基準試料18上の領域の位置データを得て、計算機13に記憶する。他は、ステップS12と同様の処理である。
ステップS53〜S59おいては、ステップS13〜S19と同様の処理が行われる。異なるのは、顕微鏡1が観察している対象が明るさ基準試料16ではなく、位置基準試料18であることである。具体的には、位置基準試料18の左上端基準点aを確認して(ステップS53〜S56)、初期位置に移動し(ステップS57)、第1カメラ11と第2カメラ12で撮影し(ステップS58)、撮影して得た画像データを計算機13に伝送する(ステップS59)。
【0056】
ステップS60において、第1カメラ11、第2カメラ12が撮影した画像に基準点a、b、c、d(図4参照)が全て収まっていないと判定された場合、ステップS61に進む。他は、ステップS20の場合と同様である。
ステップS61において、これまでに、基準点a、b、c、d(図4参照)が全て収まった画像(サンプル画像)が取得されたか否かが判定される。ここで、図4に示す基準点dが画像中において認識された場合、前記基準点a、b、c、dが全て収まった画像(サンプル画像)が取得されたと判定される。この例では、まだ基準点a、b、c、dが全て収まった画像(サンプル画像)が取得されていないと判定され、ステップS62に進む。この例では、前記基準点a、b、c、dが全て取得されたと判定されるのは、少なくとも、ステップS58において撮影が2回行われた場合である。
【0057】
ステップS62において、ステップS56と同様にステージ4を移動させ、その後、ステップS58〜S60を繰り返す。
ステップS60において、計算機13において、第1カメラ11又は第2カメラ12の1画面中に前記基準点a、b、c、dが全て収まっていると判定された場合、図10に示すステップS64に進む(G参照)。また、ステップS61において、前記基準点a、b、c、dが全て取得されていると判定された場合、図10に示すステップS64に進む(H参照)。
【0058】
ステップS63において、計算機13は、第1カメラ11と第2カメラ12において各々取得された複数の画像(サンプル画像)を画像処理(タイリング処理)して、各々一つの画像にする。具体的には、第1カメラ11による画像から一つの画像を得て、第2カメラ12による画像から一つの画像を得る。
ステップS64において、計算機13は、計算機13に格納されている位置基準データのサイズと、第1カメラ11及び第2カメラ12に基づいて撮影された画像のサイズ、又は画像処理(タイリング処理)された各々の画像のサイズとを合致させる。ここで、画像のサイズとは、画素数(縦×横)を意味する。
【0059】
ステップS65においては、計算機13は位置基準データと第1カメラ11及び第2カメラ12から得た画像データに基づいて、各々の回転角の補正量を求めて、メモリに格納する。
ステップS66においては、計算機13は位置基準データと第1カメラ11及び第2カメラ12から得た画像データに基づいて、各々の歪曲度の補正量を求めて、メモリに格納する。
【0060】
ステップS67においては、計算機13は位置基準データと第1カメラ11及び第2カメラ12から得た画像データに基づいて、各々の平坦度の補正量を求めて、メモリに格納する。以上で、処理を終了する。
なお、前記した位置の規格化は、明るさの規格化や色合いの規格化を行った後に実行するのが望ましい。
【0061】
以上の説明においては、ステップS53において第1電子カメラ11を用いて撮影したが、第2電子カメラ12を用いて撮影してもよい。
また、ステップS60において、第1電子カメラ11と第2電子カメラ12の両方がステップS61に進み、又は第1電子カメラ11と第2電子カメラ12の両方がステップS64に進むように説明したが、場合によっては、いずれか一方のカメラだけがステップS61に進み、他方のカメラがステップS64に進むこともあり得る。ただし、同一の顕微鏡1に同一設定の第1電子カメラ11と第2電子カメラ12を設けているため、このような事態が生じるのは稀である。
【0062】
また、コンデンサレンズ3と対物レンズ6は、それぞれ切り替えて使用することができる。この場合、コンデンサレンズ3と対物レンズ6の組み合せの数だけ位置基準データを準備し、計算機13のメモリに格納しておく。これにより、コンデンサレンズ3と対物レンズ6の組み合せにおいても、顕微鏡用画像処理システムから取得したデータは規格化された色合いとなり、顕微鏡用画像処理システムを規格化することが可能になる。ただし、位置基準試料18もその数だけ準備する必要がある。
【0063】
また、第1電子カメラ11のCCDと第2電子カメラ12のCCDが、各画素毎に独立してゲインを調整機能を有している場合、平坦度の補整はCCDの各画素毎にゲインを調整することにより行うことができる。
こうすることで、各電子カメラからの画像は、計算機13のメモリに格納された回転角の補正量、歪曲度の補正量、平坦度の補正量により、計算機13によって位置調整され、各電子カメラから取得した位置データは、ダイナミックレンジが同一で、規格化されたものとなる。
【0064】
なお、このような顕微鏡用画像処理システムが複数台ある場合にも、各電子カメラから取得した位置データは、ダイナミックレンジが同一であり、規格化されたものとなる。
【0065】
また、図1に示す顕微鏡用画像処理システムは、一つの結像光学系(光源2、コンデンサレンズ3、対物レンズ6が対応する)だけを備えているが、複数の結像光学系を備えてもよい。これは、請求項7に対応する。
なお、付言すれば、図1に示す第1集光レンズ9が倍率を変更できる場合には、その設定を変更して画角を合わせることもできる。前記集光レンズの倍率の変更を行う場合には、変更後の集光レンズの倍率とコンデンサレンズ3と対物レンズ6の組み合せの数だけ、位置の基準となるデータを準備し、計算機13のメモリに格納しておく必要がある。この場合、各データに適合する位置基準試料を作成するのが好ましい。
【0066】
なお、請求項3、6に記載する複数画像取得手段は、ステップS58〜S63が相当する。また、請求項3、6に記載する補正量取得手段は、ステップS65〜S67が相当する。
図1から図10を用いて説明した実施の形態では、ステップS16、S22、S36、S42,S56、S62におけるステージ4の移動は、計算機13の指示によるステージ4の移動により行われている。しかし、移動量が小さい場合には、第1電子カメラ11及び第2電子カメラ12のCCDをピエゾ素子等を用いて微小に動かすことにより、ステージ4を動かすのと同等の効果を得ることができる。
【0067】
また、前記した例では、計算機13がステージの移動量(S55、S62)を指示したが、計算機13が画像処理(デジタル演算)によって、位置の補正や画角の補正を行ってもよい。
図1から図10を用いて説明した実施の形態では、2台の電子カメラ11、12を用いた。しかし、電子カメラの数は任意でよい。これは、請求項1、2、3に対応する。
【0068】
また、従来技術の図12において説明したように、1台の電子カメラの撮像素子を2つに分割して用いてもよい。さらに、その分割数は任意でよい。これは、請求項4、5、6に対応する。
また、請求項7に記載する結像光学系は、光源2、コンデンサレンズ3、対物レンズ6が対応する。同じく、請求項7に記載する観察光学系は、ダイクロイックミラー7、第1集光レンズ9、第2集光レンズ9が対応する。同じく、請求項7に記載する調整手段は、例えば明るさ調整のとき、ステップS27、S28、S18〜26の他に、計算機13のメモリに格納されている明るさ基準データが相当する。色合い調整のときは、ステップS47、S48、S38〜46の他に、計算機13のメモリに格納されている色合い基準データが相当する。
【0069】
また、図2に示す明るさ基準試料16は、特定のパターンを備えている。この特定のパターンは、周期的に明るさの変化を現すものでもよい。図3に示す色合い基準試料17は、特定のパターンを備えている。この特定のパターンは、周期的に色あいの変化を現すものでもよい。
以上の説明から明らかなように、前記した実施の形態によれば、明るさ、色合い、位置(画角)について、同一のダイナミックレンジで規格化された画像データを得ることができ、実験者は複雑な調整を行うことなく、例えば波長の相違により分離された複数の蛍光に基づく画像のそれぞれの比率を演算したり、重ね合わせて表示したりすることができる。
【0070】
【発明の効果】
本発明によれば、複数台の撮像装置が、ダイナミックレンジが同一の画像データを出力するようにあらかじめ調整することができる。
これにより、画像処理装置への入力画像の規格化を行うことができ、複数の画像データを実験者が補正することなく、容易に重ね合わせや演算を行うことが可能になる。
【図面の簡単な説明】
【図1】本発明の顕微鏡用画像処理システムの一実施の形態を示す説明図である。
【図2】明るさ基準試料を示す説明図である。
【図3】色合い基準試料基準試料を示す説明図である。
【図4】位置基準試料を示す説明図である。
【図5】明るさの規格化を行う手順を示すフローチャートである。
【図6】明るさの規格化を行う手順を示すフローチャートである。
【図7】色合いの規格化を行う手順を示すフローチャートである。
【図8】色合いの規格化を行う手順を示すフローチャートである。
【図9】位置の規格化を行う手順を示すフローチャートである。
【図10】位置の規格化を行う手順を示すフローチャートである。
【図11】従来技術における複数の画像を取り込んで処理する顕微鏡用画像処理システムの一例を示す説明図である。
【図12】従来技術における複数の画像を取り込んで処理する顕微鏡用画像処理システムの他の例を示す説明図である。
【符号の説明】
1 顕微鏡
2 光源
3 コンデンサレンズ
4 ステージ
5 試料
6 対物レンズ
7 ダイクロイックミラー
8 ミラー
9 第1集光レンズ
10 第2集光レンズ
11 第1電子カメラ
12 第2電子カメラ
13 計算機
14 画面
15 電子カメラ
16 明るさ基準試料
17 色合い基準試料
18 位置基準試料
Claims (7)
- 顕微鏡にマウントされる複数の撮像装置と、前記撮像装置が撮像した画像を処理する画像処理装置とから構成され、前記顕微鏡のステージにセットされた試料の像を異なる光学系を通して各々の前記撮像装置に導き、前記各撮像装置において撮像された前記試料の各画像データを前記画像処理装置に送って表示する顕微鏡用画像処理システムにおいて、
前記ステージにセットされる明るさ基準試料と、
前記明るさ基準試料に対応する明るさ基準データを格納した前記画像処理装置のメモリと、
前記明るさ基準試料を前記複数の撮像装置により同時に撮像させ、撮像された各画像データを取得する複数画像取得手段と、
前記各画像データがそれぞれ前記メモリに格納された明るさ基準データの誤差範囲内にあるか否かを各々判定する判定手段と、
前記判定手段が誤差範囲内にないと判定したとき、誤差範囲内にないとされた画像データを出力した撮像装置の電気的特性を調整する調整手段と
を備えたことを特徴とする顕微鏡用画像処理システム。 - 顕微鏡にマウントされる複数の撮像装置と、前記撮像装置が撮像した画像を処理する画像処理装置とから構成され、前記顕微鏡のステージにセットされた試料の像を異なる光学系を通して各々の前記撮像装置に導き、前記各撮像装置において撮像された前記試料の各画像データを前記画像処理装置に送って表示する顕微鏡用画像処理システムにおいて、
前記ステージにセットされる色合い基準試料と、
前記色合い基準試料に対応する色合い基準データを格納した前記画像処理装置のメモリと、
前記色合い基準試料を前記複数の撮像装置により同時に撮像させ、撮像された各画像データを取得する複数画像取得手段と、
前記各画像データがそれぞれ前記メモリに格納された色合い基準データの誤差範囲内にあるか否かを各々判定する判定手段と、
前記判定手段が誤差範囲内にないと判定したとき、誤差範囲内にないとされた画像データを出力した撮像装置の電気的特性を調整する調整手段と
を備えたことを特徴とする顕微鏡用画像処理システム。 - 顕微鏡にマウントされる複数の撮像装置と、前記撮像装置が撮像した画像を処理する画像処理装置とから構成され、前記顕微鏡のステージにセットされた試料の像を異なる光学系を通して各々の前記撮像装置に導き、前記各撮像装置において撮像された前記試料の各画像データを前記画像処理装置に送って表示する顕微鏡用画像処理システムにおいて、
前記ステージにセットされる位置基準試料と、
前記位置基準試料に対応する位置基準データを格納した前記画像処理装置のメモリと、
前記位置基準試料を前記複数の撮像装置により同時に撮像させ、撮像された各画像データを取得する複数画像取得手段と、
前記各画像データと前記メモリに格納された位置基準データとに基づいて、前記複数の撮像手段において撮像された画像データの回転角の補正量、歪曲度の補正量、平坦度の補正量を各々求める補正量取得手段と
を備えたことを特徴とする顕微鏡用画像処理システム。 - 顕微鏡にマウントされる撮像装置と、前記撮像装置が撮像した画像を処理する画像処理装置とから構成され、前記撮像装置内の撮像素子を複数の領域に分割し、前記顕微鏡のステージにセットされた試料の像を異なる光学系を通して前記分割された撮像素子の各々の領域に導き、前記各々の領域において撮像された試料の各画像データを前記画像処理装置に送って表示する顕微鏡用画像処理システムにおいて、
前記ステージにセットされる明るさ基準試料と、
前記明るさ基準試料に対応する明るさ基準データを格納した前記画像処理装置のメモリと、
前記明るさ基準試料を前記撮像装置の分割された撮像素子により同時に撮像させ、撮像された各画像データを取得する複数画像取得手段と、
前記各画像データがそれぞれ前記メモリに格納された明るさ基準データの誤差範囲内にあるか否かを各々判定する判定手段と、
前記判定手段が誤差範囲内にないと判定したとき、誤差範囲内にないとされた画像データを出力した分割された撮像素子の電気的特性を調整する調整手段と、
を備えたことを特徴とする顕微鏡用画像処理システム。 - 顕微鏡にマウントされる撮像装置と、前記撮像装置が撮像した画像を処理する画像処理装置とから構成され、前記撮像装置内の撮像素子を複数の領域に分割し、前記顕微鏡のステージにセットされた試料の像を異なる光学系を通して前記分割された撮像素子の各々の領域に導き、前記各々の領域において撮像された試料の各画像データを前記画像処理装置に送って表示する顕微鏡用画像処理システムにおいて、
前記ステージにセットされる色合い基準試料と、
前記色合い基準試料に対応する色合い基準データを格納した前記画像処理装置のメモリと、
前記各画像データがそれぞれ前記メモリに格納された色合い基準データの誤差範囲内にあるか否かを各々判定する判定手段と、
前記判定手段が誤差範囲内にないと判定したとき、誤差範囲内にないとされた画像データを出力した分割された撮像素子の電気的特性を調整する調整手段と、
を備えたことを特徴とする顕微鏡用画像処理システム。 - 顕微鏡にマウントされる撮像装置と、前記撮像装置が撮像した画像を処理する画像処理装置とから構成され、前記撮像装置内の撮像素子を複数の領域に分割し、前記顕微鏡のステージにセットされた試料の像を異なる光学系を通して前記分割された撮像素子の各々の領域に導き、前記各々の領域において撮像された試料の各画像データを前記画像処理装置に送って表示する顕微鏡用画像処理システムにおいて、
前記ステージにセットされる位置基準試料と、
前記位置基準試料に対応する位置基準データを格納した前記画像処理装置のメモリと、
前記位置基準試料を前記撮像装置の分割された撮像素子により同時に撮像させ、撮像された各画像データを取得する複数画像取得手段と、
前記各画像データと前記メモリに格納された位置基準データとに基づいて、前記分割された複数の領域において撮像された各々の画像の回転角の補正量、歪曲度の補正量、平坦度の補正量を求める補正量取得手段と、
を備えたことを特徴とする顕微鏡用画像処理システム。 - 複数の撮像装置が接続された画像処理装置において、
少なくとも1つの結像光学系を共通にし、異なる観察光学系を通過した被写体の光像をそれぞれ受光した前記複数の撮像装置から、それぞれの画像データを取得する画像取得手段と、
前記異なる観察光学系の光学特性によって変化した前記各画像データのバラツキ量を打ち消すように、前記撮像装置の電気的特性を調整する調整手段と、
を備え、
前記画像取得手段は、特定のパターンを備えた基準試料を撮像した前記複数の撮像装置から、各画像データを取得し、
前記調整手段は、前記各画像データから前記異なる観察光学系の光学特性による前記バラツキ量を算出するために、前記各画像データと比較するための、前記基準試料に対応した基準データを記憶していることを特徴とする画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003206510A JP4300915B2 (ja) | 2003-08-07 | 2003-08-07 | 顕微鏡用画像処理システム及び画像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003206510A JP4300915B2 (ja) | 2003-08-07 | 2003-08-07 | 顕微鏡用画像処理システム及び画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005057368A JP2005057368A (ja) | 2005-03-03 |
JP4300915B2 true JP4300915B2 (ja) | 2009-07-22 |
Family
ID=34363350
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003206510A Expired - Lifetime JP4300915B2 (ja) | 2003-08-07 | 2003-08-07 | 顕微鏡用画像処理システム及び画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4300915B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005156651A (ja) * | 2003-11-21 | 2005-06-16 | Olympus Corp | 走査型光学顕微鏡 |
KR100952901B1 (ko) * | 2008-08-22 | 2010-04-16 | 주식회사 나래나노텍 | 광각 마크와 협각 마크를 이용한 일체형 마크 얼라인 장치,일체형 마크 얼라인 시스템 및 방법 |
JP6539508B2 (ja) * | 2015-06-12 | 2019-07-03 | オリンパス株式会社 | 顕微鏡システム |
CN113466259B (zh) * | 2020-03-31 | 2023-02-17 | 上海微电子装备(集团)股份有限公司 | 金属掩模检测装置、光源标定方法及装置和维护标定方法 |
-
2003
- 2003-08-07 JP JP2003206510A patent/JP4300915B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2005057368A (ja) | 2005-03-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100900485B1 (ko) | 구조가 개선된 디지털 카메라용 이미지 센싱 수단 및 이를채용한 디지털 카메라 | |
JP2009244858A (ja) | 撮像装置及び画像処理方法 | |
US6831687B1 (en) | Digital camera and image signal processing apparatus | |
JP2009260411A (ja) | 撮像装置 | |
JPH01246516A (ja) | 焦点位置検出装置 | |
JP2010075361A (ja) | 眼底カメラ | |
JP5378283B2 (ja) | 撮像装置およびその制御方法 | |
JP2006303783A (ja) | 画像処理方法、画像処理システム及び画像処理プログラム | |
US11290634B2 (en) | Imaging apparatus, imaging method, and program | |
JP2010206722A (ja) | 画像処理装置および画像処理方法、ならびに、撮像装置 | |
JP4300915B2 (ja) | 顕微鏡用画像処理システム及び画像処理装置 | |
JP2014130231A (ja) | 撮像装置、その制御方法、および制御プログラム | |
JPH10255028A (ja) | 眼映像装置 | |
JP4128405B2 (ja) | 顕微鏡用撮像装置 | |
JP2006108988A (ja) | キャリブレーション装置 | |
JP2003348602A (ja) | 信号処理装置及びそのプログラム | |
JP4185712B2 (ja) | カラー顕微鏡 | |
JP2002271825A (ja) | 色合わせ方法、色合わせシステムおよびこれらに用いられるテレビジョンカメラ | |
JP5597942B2 (ja) | 電子カメラ | |
JP2009164723A (ja) | 撮像装置及び撮像制御方法 | |
JP2003322791A (ja) | 焦点調節装置、撮像装置および光学機器 | |
JP3423052B2 (ja) | 顕微鏡用撮像システム | |
JP2004029373A (ja) | カラー顕微鏡 | |
JPH05260357A (ja) | 撮像装置 | |
WO2023042453A1 (ja) | 撮像装置、および画像処理方法、並びにプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060601 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081203 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090106 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090305 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090331 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120501 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4300915 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090413 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20240501 Year of fee payment: 15 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |