JP5365407B2 - 画像取得装置及び画像取得方法 - Google Patents

画像取得装置及び画像取得方法 Download PDF

Info

Publication number
JP5365407B2
JP5365407B2 JP2009188776A JP2009188776A JP5365407B2 JP 5365407 B2 JP5365407 B2 JP 5365407B2 JP 2009188776 A JP2009188776 A JP 2009188776A JP 2009188776 A JP2009188776 A JP 2009188776A JP 5365407 B2 JP5365407 B2 JP 5365407B2
Authority
JP
Japan
Prior art keywords
light
light source
image
exposure
intensity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009188776A
Other languages
English (en)
Other versions
JP2011041156A (ja
Inventor
隆道 山腰
公一朗 木島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2009188776A priority Critical patent/JP5365407B2/ja
Priority to EP10007256.0A priority patent/EP2296367B1/en
Priority to US12/850,251 priority patent/US8553140B2/en
Priority to CN201010250645.2A priority patent/CN101995652B/zh
Publication of JP2011041156A publication Critical patent/JP2011041156A/ja
Application granted granted Critical
Publication of JP5365407B2 publication Critical patent/JP5365407B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0096Microscopes with photometer devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant

Landscapes

  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Microscoopes, Condenser (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Image Input (AREA)

Description

本発明は画像取得装置及び画像取得方法に関し、例えば組織切片を観察する分野に適用して好適なものである。
従来、病理学分野で用いられる組織切片等の生体サンプルは、スライドガラスに固定され、所定の染色が施される。一般に、生体サンプルの保管期間が長期間となると、生体サンプル自体の劣化や、生体サンプルに施される染色の褪色等が生じ、生体サンプルに対する顕微鏡での視認性が悪くなるものである。また、生体サンプルは、作成された病院等の施設以外の施設で診断されることもあるが、該生体サンプルの受け渡しは一般に郵送とされ、一定の時間を要するものである。
このような実情等に鑑み、生体サンプルを画像データとして保存する装置が提案されている(例えば特許文献1参照)。
また病理診断では、生体サンプルを所定の倍率で拡大した高精細な生体サンプル画像が用いられる。そこで、生体サンプルが存在する領域を複数の小領域に分割し、該小領域を所定の倍率で拡大して撮像することにより分割画像を取得し、複数の分割画像を結合して高精細な生体サンプル画像を生成する顕微鏡装置が提案されている(例えば特許文献2参照)。
特開2003−222801公報
特開2009−63656公報
ところで、上述したような顕微鏡装置においては、一般的に、複数の分割画像の輝度差が大きくならないように、該複数の分割画像を取得する際の露光時間を一定にするようになされている。
しかしながら生体サンプルに光を照射する光源は、一定電流を流していても、自身の温度に応じて出射する光の強度が変動する。例えば光源として用いられるハロゲンランプは、図1に示すように、光を出射し始めた直後は自身の温度が低いために強度が強く、時間と共に自身の温度が上がっていくので強度が下がり、所定時間経過すると熱平衡状態になり強度が一定になる。
このような場合、顕微鏡装置では、時間の経過につれて光源から出射される光の強度が変化してしまうため、露光時間を一定にしたとしても撮像素子の露光量が分割画像毎に変化してしまうことになる。
このため顕微鏡装置では、例えば図2に示すように、分割画像DPの輝度値を一定に保つことができないので、分割画像DPが結合された生体サンプル画像SPにおいて該分割画像DP同士のつなぎ目が目立ってしまうことになる。特に上下に結合された分割画像DP同士では、撮像される時刻が大きく異なることからつなぎ目がより目立ってしまうことになる。
そこで一般的に顕微鏡装置は、図3(A)に示すように、光源から光を出射させてから所定時間経過して熱平衡状態に達した時刻Tsから撮像素子の露光を開始し、一定時間経過した時刻Teで露光を終了することにより分割画像を撮像する。ここで図3(A)では、撮像素子としてCCD(Charge Coupled Device)センサを用いている。CCDセンサは、全ての画素を同時に露光開始及び露光終了することができる。
従ってこの方法を用いることにより、複数の分割画像間の輝度差を低減することができる。しかしながら、この方法では、光源を熱平衡状態にするまでに時間がかかり、撮像期間が長くなってしまうという問題があった。
また撮像素子としてCMOS(Complementary Metal Oxide Semiconductor)イメージセンサを用いる場合、該CMOSイメージセンサは、画素の配列に沿ったラインごとに順に露光開始及び露光終了するため、図3(B)に示すように、より一層撮像期間が長くなってしまうという問題が合った。因みに図3(B)において時刻Ts1は最初に露光が開始されるラインの露光開始時刻を示し、時刻Ts2は最後に露光が開始されるラインの露光開始時刻を示す。また時刻Te1は時刻Ts1に対応するラインの露光終了時刻を示し、時刻Te2は時刻Ts2に対応するラインの露光終了時刻を示す。
本発明は以上の点を考慮してなされたもので、撮像期間を短時間にしつつ、撮像対象に割り当てられる小領域の画像間の輝度差を低減し得る画像取得装置及び画像取得方法を提案しようとするものである。
かかる課題を解決するため本発明においては、撮像対象とすべき領域に割り当てられた小領域の像が結像される撮像素子と、光源から小領域に照射される光の強度を検出する検出部と、検出部により検出される光の強度を積分する積分部と、光源から光が出射された時点からの、積分部により積分された光の強度の積分値が所定の閾値を超えた場合、光源からの光の出射を終了させる光源制御部と、光源制御部により光源から光を出射される以前に撮像素子の露光を開始させ、光源制御部により光源から光の出射が終了された以後に撮像素子の露光を終了させる露光制御部と、小領域の像を、撮像対象とすべき領域を分割した分割画像として撮像素子からそれぞれ取得する画像取得部と、複数個の分割画像を結合して1枚の画像を生成する画像生成部とを有する。
また本発明においては、光源から撮像対象とすべき領域に割り当てられた小領域に照射される光の強度を検出する検出ステップと、検出ステップにより検出される光の強度を積分する積分ステップと、光源から光が出射された時点からの、積分ステップにより積分された光の強度の積分値が所定の閾値以上の場合、光源からの光の出射を終了させる光源制御ステップと、光源制御ステップにより光源から光を出射される以前に小領域の像が結像される撮像素子の露光を開始させ、光源制御ステップにより光源から光の出射が終了された以後に撮像素子の露光を終了させる露光制御ステップと、小領域の像を、撮像対象とすべき領域を分割した分割画像として撮像素子から取得する画像取得ステップと、複数個の分割画像を結合して1枚の画像を生成する画像生成ステップとを有する。
これにより、撮像素子が露光している間に光源から一定光量の光を出射させるので、複数の分割画像間を取得する際の撮像素子の露光量を一定に保つことができる。
また本発明においては、撮像対象とすべき領域に割り当てられた小領域の像が結像される撮像素子と、光源から小領域に照射される光の強度を検出する検出部と、検出部により検出される光の強度を積分する積分器と、光源から一定時間、光を出射させる光源制御部と、光源制御部により光源から光を出射される以前に撮像素子の露光を開始させ、光源制御部により光源から光の出射が終了された以後に撮像素子の露光を終了させる露光制御部と、小領域の像を、撮像対象とすべき領域を分割した分割画像として撮像素子から取得する画像取得部と、分割画像が撮像された際の積分部により積分された光の強度の積分値が全ての分割画像において同一となるように該分割画像の輝度値を補正する補正部と、補正部により補正された複数個の分割画像を結合して1枚の画像を生成する画像生成部とを有する。
また本発明においては、光源から撮像対象とすべき領域に割り当てられた小領域に照射される光の強度を検出する検出ステップと、検出ステップにより検出される光の強度を積分する積分ステップと、出射開始から出射終了までの間隔が一定となるように光源から光を出射させる光源制御ステップと、光源制御ステップにより光源から光を出射される以前に小領域の像が結像される撮像素子の露光を開始させ、光源制御ステップにより光源から光の出射が終了された以後に撮像素子の露光を終了させる露光制御ステップと、小領域の像を、撮像対象とすべき領域を分割した分割画像として撮像素子から取得する画像取得ステップと、分割画像が撮像された際の積分ステップにより積分された光の強度の積分値が全ての分割画像において同一となるように該分割画像の輝度値を補正する補正ステップと、補正ステップにより補正された複数個の分割画像を結合して1枚の画像を生成する画像生成ステップとを有する。
これにより、撮像素子が露光している間に光源から出射される光の強度の積分値が同一となるように分割画像の輝度値を補正するので、分割画像間の輝度差を低減することができる。
以上のように本発明によれば、撮像素子が露光している間に光源から一定光量の光を出射させるので、複数の分割画像間を取得する際の撮像素子の露光量を一定に保つことができ、かくして撮像期間を短時間にしつつ、撮像対象に割り当てられる小領域の画像間の輝度差を低減し得る画像取得装置及び画像取得方法を実現できる。
また本発明によれば、撮像素子が露光している間に光源から出射される光の強度の積分値が同一となるように分割画像の輝度値を補正するので、撮像期間を短時間にしつつ、撮像対象に割り当てられる小領域の画像間の輝度差を低減し得る画像取得装置及び画像取得方法を実現できる。
ハロゲンランプの強度変化を示すグラフである。 従来の生体サンプル画像を示す略線図である。 従来の光の強度と露光時間との関係を示すグラフである。 生体サンプル画像取得装置を示す略線図である。 第1の実施の形態における光源ユニット及び光源制御部の構成を示す略線図である。 LEDの強度変化を示すグラフである。 光源制御におけるタイミングチャートを示す略線図である。 データ処理部の構成を示す略線図である。 第1の実施の形態における生体サンプル取得処理を実行するCPUの機能的構成を示す略線図である。 生体サンプルに割り当てられた小領域を示す略線図である。 第1の実施の形態における光の強度と露光時間との関係を示すグラフである。 第1の実施の形態における生体サンプル画像取得処理手順を示すフローチャートである。 第2の実施の形態における光源ユニット及び光源制御部の構成を示す略線図である。 第2の実施の形態における生体サンプル取得処理を実行するCPUの機能的構成を示す略線図である。 第2の実施の形態における生体サンプル画像取得処理手順を示すフローチャートである。 他の実施の形態における生体サンプル取得処理を実行するCPUの機能的構成を示す略線図である。 他の実施の形態における生体サンプル画像取得処理手順を示すフローチャートである。 他の実施の形態における光の強度と露光時間との関係(1)を示すグラフである。 他の実施の形態における光の強度と露光時間との関係(2)を示すグラフである。
以下、発明を実施するための形態について説明する。なお、説明は以下の順序とする。
1.第1の実施の形態
2.第2の実施の形態
3.他の実施の形態
<1.第1の実施の形態>
[1−1.生体サンプル画像取得装置の構成]
図4において、本一実施の形態による生体サンプル画像取得装置1を示す。この生体サンプル画像取得装置1は、顕微鏡10とデータ処理部20とを含む構成とされる。
顕微鏡10は、組織切片、細胞又は染色体等の生体高分子でなる生体サンプルSPLを配置可能な面をもち、その面に対して平行方向及び直交方向(xyz軸方向)に移動可能なステージ(以下、これを可動ステージとも呼ぶ)11を有する。
生体サンプルSPLは、この実施の形態ではスライドガラスSGに対して所定の固定手法により固定され、必要に応じて染色が施される。この染色には、HE(Hematoxylin-Eosin)染色、ギムザ染色又はパパニコロウ染色等に代表される一般染色のみならず、FISH(Fluorescence In-Situ Hybridization)や酵素抗体法等の蛍光染色が含まれる。
この顕微鏡10における可動ステージ11の一方の面側には光学系12が配され、該可動ステージ11の他方の面側には光源ユニット13が配される。顕微鏡10は、明視野モード又は暗視野モードを切り替えて、生体サンプルSPLの像を撮像するようになされている。
光源ユニット13は、明視野モードにおいて、光源制御部30(図5)の制御に基づいて光を出射し、該光を可動ステージ11に対して穿設される開口から、該可動ステージ11の一方の面に配される生体サンプルSPLに対する照明光として照射する。
顕微鏡10は、この照明光で得られる生体サンプルSPLにおける一部の像を、光学系12の対物レンズ12A及び結像レンズ12Bによって所定の倍率に拡大する。そして顕微鏡10は、これら対物レンズ12A及び結像レンズ12Bにより拡大される像を、CMOSイメージセンサ14の撮像面に結像するようになされている。
因みに顕微鏡10は、明視野モードにおいてダイクロイックミラー12C及びエミッションフィルタ12Dを対物レンズ12A及び結像レンズ12Bの間の光路から外せるようになされている。
ところで、この顕微鏡10の所定位置には、励起光源系15及び励起フィルタ16が設けられる。顕微鏡10は、暗視野モードにおいて、励起光源系15から光が照射された場合、該光のうちの蛍光染色に対する励起波長のみを励起フィルタ16で透過させた励起光を、対物レンズ12A及び結像レンズ12B間に設けられるダイクロイックミラー12Cで反射させて対物レンズ12Aに導く。そして顕微鏡10は、この励起光を、対物レンズ12Aによって可動ステージ11に配される生体サンプルSPLに集光する。
スライドガラスSGに固定される生体サンプルSPLに対して蛍光染色が施されていた場合、励起光により蛍光色素が発光する。この発光によって得られる光(以下、これを発色光とも呼ぶ)は対物レンズ12Aを介してダイクロイックミラー12Cを透過する。そしてこの発色光は、ダイクロイックミラー12C及び結像レンズ12B間に設けられるエミッションフィルタ12Dを介して、該結像レンズ12Bに到達する。
顕微鏡10は、発色光の像を対物レンズ12Aによって拡大し、該発色光以外の光(以下、これを外光とも呼ぶ)をエミッションフィルタ12Dによって吸収する。そして顕微鏡10は、外光が喪失された発色光の像を、結像レンズ12Bによって拡大し、CMOSイメージセンサ14の撮像面に結像するようになされている。
一方、データ処理部20は、CMOSイメージセンサ14を用いて、生体サンプルSPL全体の像(以下、これを生体サンプル画像とも呼ぶ)を生成し、これを所定形式のデータ(以下、これをサンプルデータとも呼ぶ)として保存するようになされている。
このようにこの生体サンプル画像取得装置1は、スライドガラスSGに配される生体サンプルSPLを、鏡検状態の画像として保存することができるようになされている。したがってこの生体サンプル画像取得装置1は、スライドガラスSG自体を保存する場合に比して、固定や染色等の状態を劣化させることなく長期にわたって生体サンプルSPLを保存することが可能となる。
[1−2.光源ユニット及び光源制御部の構成]
次に、光源ユニット13及び該光源ユニット13を制御する光源制御部30について図5を用いて説明する。
光源ユニット13は、白色光を出力する白色LED(Light Emitting Diode)13A、白色LED13Aから出射された光を略平行光に変換する集光レンズ13B、及び白色LED13Aから出射された光の強度を測定する光検出器13Cを含む構成とされる。
白色LED13Aは、図6に示すように、一定電流を流した場合、光を出射し始めた直後は自身の温度が低いために強度が強く、時間と共に自身温度が上がっていくので強度が下がり、所定時間経過すると熱平衡状態になり強度が一定になる特性を有する。
白色LED13Aは、LEDドライバ35から電流が供給されると、一定範囲に拡散する光を出射する。集光レンズ13Bは、白色LED13Aから出射された拡散した光のうち、自身に照射された光を平行光に変換して生体サンプルSPLに対して照射する。
光検出器13Cは、白色LED13Aから出射された拡散した光のうち、集光レンズ13Bに照射される光の光路をふさぐことなく、かつ白色LED13Aから出射された拡散した光の一部が照射される位置に設けられる。
そして光検出器13Cは、白色LED13Aから出射された拡散した光の一部が照射された場合、該照射された光の強度を検出し、該光の強度に応じた光強度信号S1を積分器32に送出する。
一方、光源制御部30(図5)は、システムコントローラ31、積分器32、比較器33、アンド回路34及びLEDドライバ35により構成される。
システムコントローラ31は、CPU、各種プログラムなどを記憶するROM及びCPUのワークメモリとして機能するRAMを含むコンピュータ構成でなり、光源制御部30の各部31〜35を統括制御する。
光源制御部30は、データ処理部20からストロボ発光命令SSが供給されると、図7に示すタイミングチャートに従って、生体サンプルSPLに照射する光を制御するようになされている。
具体的には、システムコントローラ31は、データ処理部20からストロボ発光命令SSが供給されると、積分器32にリセット信号S2を送出する。
またシステムコントローラ31は、所定の値に設定された閾値を示す閾値信号S4を比較器33に送出する。
さらにシステムコントローラ31は、白色LED13Aに対して光を出力させるための発光指示信号S6をアンド回路34に出力する。この発光指示信号S6は、白色LED13Aが光を出力するべき時間より長く、かつ次のリセット信号S2を出力するタイミングより短く設定された間の時間だけ出力される。
積分器32は、リセット信号S2を受信すると、該リセット信号S2に応じてこれまで積分していた積分値をリセットする。そして積分器32は、リセットした時点から、光検出器13Cから供給される光強度信号S1に応じた光の強度を積分していき、その積分された積分値を示す積分値信号S3を比較器33に送出する。
比較器33は、システムコントローラ31から供給される閾値信号S4に示された閾値と、積分器32から供給される積分値信号S3に示された積分値とを比較する。比較器33は、積分値が閾値より小さい場合、白色LED13Aに対して光を出力させるための出力信号S5をアンド回路34に送出し、積分値が閾値以上の場合、白色LED13Aに対して光を出力させるための出力信号S5をアンド回路34に送出しない。
アンド回路34は、比較器33から出力信号S5が供給され、かつシステムコントローラ31から発光指示信号S6が供給された場合、白色LED13Aを発光させるための発光指示信号S7をLEDドライバ35に送出する。
LEDドライバ35は、アンド回路34から発光指示信号S7が供給された場合、白色LED13Aに一定電流を流すことによって、該白色LED13Aを発光させる。
このようにして光源制御部30は、データ処理部20からストロボ発光命令SSが供給されると、光検出器13Cで測定された光の強度の積分値が閾値になるまで白色LED13Aから光を出力させるよう制御する。
そして光源制御部30は、光検出器13Cで測定された光の強度の積分値が閾値になった時点で、白色LED13Aに供給する電流を停止し、該白色LED13Aからの光の出射を終了させる。
これにより光源制御部30は、データ処理部20からストロボ発光命令SSが供給される毎に白色LED13Aから出射され集光レンズ13Bを介してCMOSイメージセンサ14に照射される光量を一定に保持することができる。
ところでシステムコントローラ31は、アンド回路34から出力される発光指示信号S7を取得し得るようになされており、該発光指示信号S7に基づいて、白色LED13Aへの電気の供給が終了したことを示す発光終了信号をデータ処理部20に出力し得る。
[1−3.データ処理部の構成]
次に、データ処理部20の構成について説明する。このデータ処理部20は、図8に示すように、制御を司るCPU(Central Processing Unit)21に対して各種ハードウェアを接続することにより構成される。
具体的にはROM(Read Only Memory)22、CPU21のワークメモリとなるRAM(Random Access Memory)23、ユーザの操作に応じた命令を入力する操作入力部24、インターフェイス部25、表示部26及び記憶部27がバス28を介して接続される。
ROM22には、各種の処理を実行するためのプログラムが格納される。インターフェイス部25には、顕微鏡10(図1)が接続される。
表示部26には、液晶ディスプレイ、EL(Electro Luminescence)ディスプレイ又はプラズマディスプレイ等が適用される。また記憶部27には、HD(Hard Disk)に代表される磁気ディスクもしくは半導体メモリ又は光ディスク等が適用される。USB(Universal Serial Bus)メモリやCF(Compact Flash)メモリ等のように可搬型メモリが適用されてもよい。
CPU21は、ROM22に格納される複数のプログラムのうち、操作入力部2から与えられる命令に対応するプログラムをRAM23に展開し、該展開したプログラムにしたがって、表示部26及び記憶部27を適宜制御する。またCPU21は、インターフェイス部25を介して顕微鏡10の各部を適宜制御するようになされている。
[1−4.生体サンプル画像取得処理の具体的内容]
CPU21は、生体サンプルSPLの画像の取得命令を操作入力部24から受けた場合、該取得命令に対応するプログラムをRAM23に展開する。
CPU21は、生体サンプルSPLの画像の取得命令に対応するプログラムに従って、図9に示すように、移動制御部41、露光制御部42、ストロボ制御部43、画像取得部44、画像生成部45及びデータ記録部46として機能する。
移動制御部41は、例えば図10に示すように、生体サンプルSPLの撮像対象とすべき領域(以下、これをサンプル領域とも呼ぶ)PRを対物レンズ12A及び結像レンズ12Bの拡大倍率に合わせて複数の小領域ARに割り当てる。因みに図10では、小領域ARが重ならない態様となっているが、隣接する領域の一部が重なる態様であってもよい。
そして移動制御部41は、複数の小領域ARのうち、CMOSイメージセンサ14によって撮像される領域が例えば左上の小領域ARとなるように、可動ステージ11を移動させる。
露光制御部42は、移動制御部41によって左上の小領域ARが撮像される領域となるように移動された後、CMOSイメージセンサ14の露光を開始させる。
ストロボ制御部43は、露光制御部42によりCMOSイメージセンサ14の露光が開始された以後、好ましくは露光が開始された時点で、光源制御部30に対してストロボ発光命令SSを出力する。光源制御部30は、ストロボ制御部43からストロボ発光命令SSが供給されると、上述したように、白色LED13Aから一定光量の光を出射させる。
露光制御部42は、ストロボ制御部43がストロボ発光命令SSを出力した後、システムコントローラ31から発光終了信号が供給された以後、好ましくは発光終了信号が供給された時点で、CMOSイメージセンサ14の露光を終了させる。
画像取得部44は、CMOSイメージセンサ14の各画素の電気信号を走査線毎に順次読み出させ、その結果得られる小領域ARにおける生体サンプルSPL部位の像を分割画像として取得する。
従って露光制御部42及びストロボ制御部43は、図11に示すように、CMOSイメージセンサ14の全ての画素の露光が開始された以後、白色LED13Aから光を出射させる。そして露光制御部42及びストロボ制御部43は、白色LED13Aに一定光量の光を出射させた以後、CMOSイメージセンサ14の全ての画素の露光を終了させる。
因みに図11において時刻Ts3は最初に露光が開始される走査線の露光開始時刻を示し、時刻Ts4は最後に露光が開始される走査線の露光開始時刻を示す。また時刻Te3は時刻Ts3に対応する走査線の露光終了時刻を示し、時刻Te4は時刻Ts4に対応する走査線の露光終了時刻を示す。
移動制御部41は、CMOSイメージセンサ14の電気信号を画像取得部44により読み出させると同時に、CMOSイメージセンサ14によって次の撮像される領域が例えば左上の小領域ARの右隣の小領域ARとなるよう可動ステージ11を移動させる。
露光制御部42及びストロボ制御部43は、CMOSイメージセンサ14の露光を開始させ、ストロボ発光命令SSを光源制御部30に出力して、白色LED13Aから一定光量の光を出射させた以後、CMOSイメージセンサ14の露光を終了させる。また画像取得部44は、CMOSイメージセンサ14から分割画像を取得する。
このように移動制御部41は、CMOSイメージセンサ14によって撮像される領域が最上段の左端から右端の小領域ARとなるように順に移動させる。次に移動制御部41は、1つ下の段に移って、右端から左端へ順に移動させる。このように移動制御部41は、全ての小領域ARに対応する分割画像を取得するまで、一列ごとに反対方向に移動するように順に移動させる。
そして露光制御部42、ストロボ制御部43及び画像取得部44は、移動制御部41によっていずれかの小領域ARに移動される毎に、上述と同様に機能して、該小領域ARにおける分割画像を取得する。
画像生成部45は、画像取得部44によって取得された複数の分割画像を結合して生体サンプル画像を生成する。
データ記録部46は、生体サンプル画像が生成された場合、該生体サンプル画像の全部又は生体サンプル画像を復元可能な一部を示す画素情報を含むサンプルデータを生成する。
そしてデータ記録部46は、このサンプルデータに対して、生体サンプル画像に関する識別情報を示すデータを付加し、該データが付加されたサンプルデータを記憶部27に記録する。
この識別情報は、例えば、生体サンプルSPLの採取者名、採取者性別、採取者年齢及び採取日付等といった情報である。データ記録部46は、この識別情報を入力すべきことを、生体サンプルSPLのデータ保存命令が与えられたタイミングや、スライドガラスSGをセットすべきタイミング等といった所定のタイミングで通知するようになされている。
またデータ記録部46は、生体サンプルデータデータが生成されたときに識別情報が得られていない場合には、該識別情報を入力すべきことを警告するようになされている。ちなみに、識別情報を入力すべきことの通知又は警告は、例えば音声や、GUI(Graphical User Interface)画面等により実行される。
[1−5.生体サンプル画像取得処理手順]
次に、上述した生体サンプル画像取得処理の手順について、図12に示すフローチャートに従って説明する。
実際上、CPU21は、ルーチンRT1の開始ステップから入って次のステップSP1へ移る。ステップSP1においてCPU21は、サンプル領域PRを複数の小領域ARに割り当て、CMOSイメージセンサ14によって撮像される領域が最初(左上)の小領域ARとなるよう可動ステージ11を移動させ、次のステップSP2に移る。
ステップSP2においてCPU21は、CMOSイメージセンサ14の露光を開始させ、次のステップSP3に移る。
ステップSP3においてCPU21は、光源制御部30に対してストロボ発光命令SSを出力し、白色LED13Aから光を出射させ、次のステップSP4で、白色LED13Aから出射される光の強度の積分値を取得させ、次のステップSP5に移る。
ステップSP5においてCPU21は、光源制御部30に対して、積分値が閾値以上になった時点で白色LED13Aからの光の出射を終了させ、次のステップSP6に移る。
ステップSP6においてCPU21は、CMOSイメージセンサ14の露光を終了させ、次のステップSP7に移る。
ステップSP7においてCPU21は、CMOSイメージセンサ14の各画素の電気信号をライン毎に順次読み出させ、その結果得られる分割画像を取得し、次のステップSP8に移る。
ステップSP8においてCPU21は、全ての小領域ARについて撮像が終了したか否かを判断し、否定結果が得られると、まだ撮像されていない小領域ARが存在することから次のステップSP9に移る。
ステップSP9においてCPU21は、CMOSイメージセンサ14によって撮像される領域が次の小領域ARとなるよう可動ステージ11を移動させ、ステップSP2に戻る。
CPU21は、ステップSP8で肯定結果が得られるまで、ステップSP2からステップSP9を繰り返し実行し、肯定結果が得られると、全ての小領域ARに対応した分割画像を取得したことを意味し、ステップSP10に移る。
ステップSP10においてCPU21は、分割画像を結合して生体サンプル画像を生成し、次のステップSP11において、生体サンプル画像を含むサンプルデータを記憶部27に記憶し、次のステップに移って処理を終了する。
[1−6.動作及び効果]
以上の構成において、生体サンプル画像取得装置1は、撮像対象である生体サンプルSPLを含むサンプル領域PRにそれぞれ割り当てられた小領域ARに対して白色LED13Aから光を照射させる。
生体サンプル画像取得装置1は、白色LED13Aから出射される光の強度を光検出器13Cで検出し、該光の強度を積分器32で積分し、その積分された積分値が閾値以上になった時点で、白色LED13Aから光の出射を終了させる。
生体サンプル画像取得装置1は、白色LED13Aから光が出射される以前からCMOSイメージセンサ14の露光を開始し、白色LED13Aから光の出射が終了した以後にCMOSイメージセンサ14の露光を終了させる。
そして生体サンプル画像取得装置1は、CMOSイメージセンサ14から小領域ARの像を分割画像として取得する。
これにより生体サンプル画像取得装置1は、全ての分割画像をそれぞれ取得する際に、白色LED13Aから出射される光の光量を一定にすることができるので、それぞれの小領域ARを撮像する際のCMOSイメージセンサ14の露光量を一定に保つことができる。
従って生体サンプル画像取得装置1は、全ての小領域ARにおける分割画像を取得し、これら分割画像を結合して1枚の生体サンプル画像を生成する際、白色LED13Aの光の強度が変動する場合であっても、全ての分割画像の輝度差を低減することができる。
また生体サンプル画像取得装置1は、白色LED13Aが熱平衡状態になってから撮像を開始する必要もないので、その分、撮像期間を短時間にすることができる。
ところで、CMOSイメージセンサ14のように露光開始、露光終了及び電気信号の読み出しをラインごとに行う撮像素子の場合、これら露光開始、露光終了及び電気信号の読み出し動作がライン毎に時間差を生じてしまう。
しかしながら生体サンプル画像取得装置1は、白色LED13Aから光を出射する以前にCMOSイメージセンサ14の全ての画素の露光を開始し、白色LED13Aから光の出射が終了した以後にCMOSイメージセンサ14の全ての画素の露光を終了する。
これにより生体サンプル画像取得装置1は、CMOSイメージセンサ14のような露光開始、露光終了、電気信号の読み出しをラインごとに行う撮像素子を適用した場合でも、ラインごとに輝度差が生じない分割画像を取得することができる。
ところで生体サンプル画像取得装置1は、白色LED14Aから常に光を出射させ、該光の光路上に設けられたメカニカルシャッタを開閉することによりCMOSイメージセンサ14の露光量を一定に保つ方法が考えられる。
この方法では、一般的にメカニカルシャッタの寿命が10万回から100万回であるため、1分間で数百枚の分割画像を撮像する生体サンプル画像取得装置1に適用した場合、大よそ3日程度でメカニカルシャッタが寿命に達してしまう。
これに対して生体サンプル画像取得装置1は、白色LED14Aの出射制御によりCMOSイメージセンサ14の露光量を一定に保つので、メカニカルシャッタを設ける場合と比して、メンテナンス性、経済性でより優位である。
また他の方法として、白色LED13Aを所謂APC(Auto Power Control)によって一定の強度に制御して、CMOSイメージセンサ14の露光量を一定に保つ方法が考えられる。
この方法は、白色LED13Aが熱平衡状態になるよりも早く光の強度を一定に保持することができる。しかしながらこの方法ではストロボ発光時間内でAPCが十分応答できるように制御帯域を高く設計する必要がある。特にPWM(Pulse Width Modulation)方式などの高効率な出力形式のLEDドライバを使用する場合、LED電流の制御帯域はPWMのキャリア周波数により制限を受けるため、応答速度の速いAPCを実現することは難しい。
これに対して生体サンプル画像取得装置1は、白色LED13Aから出射される光の光量を一定に保つようにしているため、白色LED13Aから出射される光の強度を一定にするまで待つ必要がなく、その分、撮像期間を短くすることができる。また、PWM方式によりLED電流が脈動していたとしても、正確に光量を一定に保つことが出来る。
以上の構成によれば、生体サンプル画像取得装置1は、サンプル領域PRに割り当てられた小領域ARに対して、白色LED13Aから光を出射させる以前にCMOSイメージセンサ14の露光を開始させる。また生体サンプル画像取得装置1は、白色LED13Aから一定光量の光を出射させた以後、CMOSイメージセンサ14の露光を終了させて分割画像を取得する。
これにより生体サンプル画像取得装置1は、白色LED13Aが熱平衡状態になるまで待つことなく、CMOSイメージセンサ14の露光量を一定に保つことでき、かくして、撮像期間を短時間にしつつ、分割画像間の輝度差を低減することができる。
<2.第2の実施の形態>
第2の実施の形態においては、第1の実施の形態とは、光源制御部及びCPUの機能的構成が異なる。なお、生体サンプル画像取得装置1及びデータ処理部20の構成については、第1の実施の形態と同様であるためその説明を省略する。
[2−1.光源ユニット及び光源制御部の構成]
光源制御部60は、図5との対応部分に同一符号を付した図13に示すように、システムコントローラ31、積分器32及びLEDドライバ35により構成され、システムコントローラ31が積分器32及びLEDドライバ35を適宜制御する。
白色LED13Aは、LEDドライバ35から電流が供給されると、一定範囲に拡散する光を出射する。光検出器13Cは、白色LED13Aから出射された拡散した光の一部が照射された場合、該照射された光の強度を測定し、該光の強度に応じた光強度信号S1を積分器32に送出する。
システムコントローラ31は、データ処理部20からストロボ発光命令SSが供給されると、積分器32にリセット信号S2を送出する。
積分器32は、リセット信号S2を受信すると、該リセット信号S2に応じてこれまで積分していた積分値をリセットする。そして積分器32は、リセットした時点から、光検出器13Cから供給される光強度信号S1に応じた光の強度を積分する。
システムコントローラ31は、積分器32にリセット信号S2を送出した以後、出射開始から出射終了までの間隔が常に同一となるように設定された一定時間の間、白色LED13Aから光を出射させるための発光指示信号S11をLEDドライバ35に出力する。
LEDドライバ35は、システムコントローラ31から発光指示信号S11が供給された場合、白色LED13Aに一定時間の間だけ一定電流を流すことによって、該白色LED13Aから一定時間の間だけ光を出射させる。
積分器32は、リセットした時点から、白色LED13Aが一定時間の間に出射した光の強度を積分し、その結果得られる積分値を示す積分値信号S3をシステムコントローラ31に送出する。
このようにして光源制御部30は、データ処理部20からストロボ発光命令SSが供給されると、白色LED13Aから一定時間だけ光を出力させ、その間に該白色LED13Aから出射された光の強度の積分値を取得する。
[2−2.生体サンプル画像取得処理の具体的内容]
CPU21は、生体サンプルSPLの画像の取得命令を操作入力部24から受けた場合、該取得命令に対応するプログラムをRAM23に展開する。
CPU21は、生体サンプルSPLの画像の取得命令に対応するプログラムに従って、図14に示すように、移動制御部41、露光制御部42、ストロボ制御部43、画像取得部44、画像補正部47、画像生成部45及びデータ記録部46として機能する。
移動制御部41は、サンプル領域PRを複数の小領域ARに割り当て、複数の小領域ARのうち、CMOSイメージセンサ14によって撮像される領域が例えば左上の小領域ARとなるよう可動ステージ11を移動させる。
露光制御部42は、移動制御部41によって左上の小領域ARが撮像される領域となるように移動された以後、CMOSイメージセンサ14の露光を開始させる。
ストロボ制御部43は、露光制御部42によりCMOSイメージセンサ14の露光が開始された以後、好ましくはCMOSイメージセンサ14の露光が開始された時点で、光源制御部60に対してストロボ発光命令SSを出力する。光源制御部60は、ストロボ制御部43からストロボ発光命令SSが供給されると、上述したように、白色LED13Aから一定時間だけ光を出射させる。
露光制御部42は、光源制御部60によって白色LED13Aから光が出射され終わった時以後、好ましくは光が出射され終わった時点でCMOSイメージセンサ14の露光を終了させる。
画像取得部44は、CMOSイメージセンサ14の各画素の電気信号をライン毎に順次読み出させ、その結果得られる左上の小領域ARにおける生体サンプルSPL部位の像を分割画像として取得する。
このとき画像取得部44は、左上の小領域ARの分割画像を取得する際に白色LED13Aが一定時間の間に照射した光の強度が積分された積分値を示す積分値信号S3を取得する。
移動制御部41は、分割画像が取得されると、次の小領域ARに可動ステージ11を移動させる。そして露光制御部42、ストロボ制御部43及び画像取得部44は、移動制御部41によっていずれかの小領域ARに移動される毎に、上述と同様に機能して、該小領域ARにおける分割画像及び積分値信号S3を取得する。
画像補正部47は、積分値信号S3に示された積分値が予め設定された所定値と一致するための倍率を算出し、該積分値に対応する分割画像の輝度値に算出した倍率を積算することにより、該分割画像の輝度値を補正する。
画像補正部47は、全ての分割画像に対して同様に輝度値を補正する。また画像補正部47は、全ての分割画像に対して歪を補正するディストーション補正を施す。
画像生成部45は、画像補正部47によって補正された分割画像を結合して生体サンプル画像を生成する。データ記録部46は、生体サンプル画像が生成された場合、該生体サンプル画像の全部又は生体サンプル画像を復元可能な一部を示す画素情報を含むサンプルデータを生成する。
[2−3.生体サンプル画像取得処理手順]
次に、上述した生体サンプル画像取得処理の手順について、図15に示すフローチャートに従って説明する。
実際上、CPU21は、ルーチンRT2の開始ステップから入って次のステップSP21へ移る。ステップSP21においてCPU21は、サンプル領域PRを複数の小領域ARに割り当て、CMOSイメージセンサ14によって撮像される領域が最初の撮影領域ARとなるよう可動ステージ11を移動させ、次のステップSP22に移る。
ステップSP22においてCPU21は、CMOSイメージセンサ14の露光を開始させ、次のステップSP23に移る。
ステップSP23においてCPU21は、光源制御部60に対してストロボ発光命令SSを出力し、白色LED13Aから一定時間かつ一定電流で光を出射させ、次のステップSP24に移る。
ステップSP24においてCPU21は、CMOSイメージセンサ14の露光を終了させ、次のステップSP25に移る。
ステップSP25においてCPU21は、CMOSイメージセンサ14の各画素の電気信号をライン毎に順次読み出させ、その結果得られる分割画像を取得すると共に、該分割画像に対応する積分値信号S3を取得し、次のステップSP26に移る。
ステップSP26においてCPU21は、全ての小領域ARについて撮像が終了したか否かを判断し、否定結果が得られると、まだ撮像されていない小領域ARが存在することから次のステップSP27に移る。
ステップSP27においてCPU21は、CMOSイメージセンサ14によって撮像される領域を次の小領域ARとなるよう可動ステージ11を移動させ、ステップSP22に戻る。
CPU21は、ステップSP26で肯定結果が得られるまで、ステップSP22からステップSP27を繰り返し実行し、肯定結果が得られると、全ての小領域ARに対応した分割画像及び積分値信号S3を取得したことを意味し、ステップSP28に移る。
ステップSP28においてCPU21は、全ての分割画像にそれぞれ対応する積分値信号S3に示された積分値が予め設定された所定値と一致するための倍率を算出し、分割画像の輝度値にその倍率を積算して該輝度値を補正し、次のステップSP29に移る。
ステップSP29においてCPU21は、輝度値の補正が施された分割画像にディストーション補正を施し、次のステップSP30において、分割画像を結合して生体サンプル画像を生成し、次のステップSP31に移る。
ステップSP31においてCPU21は、生体サンプル画像を含むサンプルデータを記憶部27に記録し、次のステップに移って処理を終了する。
[2−4.動作及び効果]
以上の構成において、生体サンプル画像取得装置1は、撮像対象である生体サンプルSPLを含むサンプル領域PRにそれぞれ割り当てられた小領域ARに対して白色LED13Aから光を一定時間照射させる。
生体サンプル画像取得装置1は、白色LED13Aから出射される光の強度を光検出器13Cで検出し、光が出射させた時点からの光の強度を積分器32で積分する。
生体サンプル画像取得装置1は、白色LED13Aから光が出射される以前からCMOSイメージセンサ14の露光を開始し、白色LED13Aから光の出射が終了した以後にCMOSイメージセンサ14の露光を終了させる。
そして生体サンプル画像取得装置1は、CMOSイメージセンサ14から小領域ARの像を分割画像として取得すると共に、分割画像にそれぞれ対応する積分値を取得する。
そして生体サンプル画像取得装置1は、積分値が一定となるように分割画像の輝度値を補正し、補正された分割画像を結合して生体サンプル画像を生成する。
これにより生体サンプル画像取得装置1は、小領域ARが撮像される際のCMOSイメージセンサ14の露光時間を一定にし、その際の露光量に対応する積分値を用いて分割画像の輝度値を補正することができるので、分割画像間の輝度差を低減することができる。
また生体サンプル画像取得装置1は、白色LED13Aが熱平衡状態になってから撮像を開始する必要もないので、その分、撮像期間を短時間にすることができる。
さらに生体サンプル画像取得装置1は、CMOSイメージセンサ14のように露光の開始及び終了さらには電気信号の読み出しをラインごとに行う撮像素子を適用した場合でも、ラインごとに輝度値の差が生じることなく分割画像を取得することができる。
また生体サンプル画像取得装置1は、白色LED13Aから光を出射する時間を一定にするため、白色LED13Aの出射時間、CMOSイメージセンサ14の露光時間を常に一定に保つことができる。
従って生体サンプル画像取得装置1は、第1の実施の形態のように露光量を一定に制御する場合と比して、可動ステージ11の移動制御と白色LED13Aの出射制御、及びCMOSイメージセンサ14の露光制御のタイミングが小領域ARごとに変化しない。このため生体サンプル画像取得装置1は、移動制御、出射制御及び露光制御のタイミングを容易にすることができる。
ところで、輝度値を補正する方法として、複数の分割画像の輝度値の平均値をそれぞれ算出し、該平均値が同一となるように複数の分割画像の輝度値を補正する方法が考えられる。しかしながらこの方法では、全ての分割画像の輝度値の平均値が同一となる。
従ってこの方法では、例えば生体サンプルSPL部分と該生体サンプルSPLが存在しない部分との輝度値が同一となるなど、複数の分割画像が同一の露光量で撮像された場合と同様の輝度値に補正することができない。このためこの方法では、分割画像間のつなぎ目が目立ってしまうといった問題を生じる。
これに対し生体サンプル画像取得装置1は、積分値が一定となるように分割画像の輝度値を補正するので、複数の分割画像が同一の露光量で撮像された場合と同様の輝度値に補正でき、分割画像間のつなぎ目が目立たなくなる。
以上の構成によれば、生体サンプル画像取得装置1は、サンプル領域PRに割り当てられた小領域ARに対して、白色LED13Aから光を出射させる以前にCMOSイメージセンサ14の露光を開始させる。また生体サンプル画像取得装置1は、白色LED13Aから一定時間だけ光を出射させた以後、CMOSイメージセンサ14の露光を終了させて分割画像を取得する。
そして生体サンプル画像取得装置1は、白色LED13Aから出射された光の強度の積分値が同一となるように分割画像の輝度値を補正してから、分割画像を結合して生体サンプル画像を生成する。これにより生体サンプル画像取得装置1は、撮像期間を短時間にしつつ、分割画像間の輝度差を低減することができる。
<3.他の実施の形態>
なお上述した第1の実施の形態においては、明視野モードおける光源ユニット13から出射される光の光量を全ての領域ARに対して一定にするようにした場合について述べた。本発明はこれに限らず、暗視野モードにおいて出射される励起光の光量を一定するようにしてもよい。
この場合、暗視野モードにおける生体サンプル画像取得装置は、励起光源系から出射される励起光の強度を測定する光検出器、及び光検出器から送出される光強度信号を受信して励起光源系を制御する光源制御部が設けられる。
また励起光源系は、複数の波長の励起光を出射する1つの励起光源が設けられるような場合であっても、1つの励起波長をそれぞれ出射する複数の励起光源が設けられるような場合であっても適用できる。
一例として複数の励起光源が設けられる場合について説明する。生体サンプル画像取得装置100(図1)は、励起光源系15及び光源制御部30に代えて例えば図16に示すような励起光源系80及び光源制御部90が設けられる。因みに、この場合、生体サンプルSPLは蛍光染色されているものとする。
励起光源系80は、光源ユニット81及び82、反射ミラー83及びダイクロイックミラー84により構成される。光源ユニット81及び82は、それぞれ異なる波長の光を出射する励起光源LED81A及び82Aと、集光レンズ81B及び82Bと、光検出器81C及び82Cとにより構成される。
光源制御部90は、システムコントローラ91、積分器92、比較器93、アンド回路94、LEDドライバ95、積分器96、比較器97、アンド回路98及びLEDドライバ99により構成される。システムコントローラ91は、光源制御部90の各部92〜99を統括制御する。
励起光源LED81Aは、LEDドライバ95から電流が供給されると、一定範囲に拡散する光を出射する。集光レンズ81Bは、励起光源LED81Aから出射された拡散した光のうち、自身に照射された光を平行光に変換して反射ミラー83で反射させる。反射ミラー83で反射した光は、ダイクロイックミラー84を透過して励起フィルタ16、ダイクロイックミラー12C、対物レンズ12Aを介して生体サンプルSPLに照射される。
励起光源LED82Aは、LEDドライバ99から電流が供給されると、一定範囲に拡散する光を出射する。集光レンズ82Bは、励起光源LED82Aから出射された拡散した光のうち、自身に照射された光を平行光に変換してダイクロイックミラー84で反射させる。ダイクロイックミラー84で反射した光は、励起フィルタ16、ダイクロイックミラー12C、対物レンズ12Aを介して生体サンプルSPLに照射される。
光検出器81C及び82Cは、それぞれ、励起光源LED81A及び82Aから出射された拡散した光の一部が照射された場合、該照射された光の強度を検出し、その光の強度に応じた光強度信号S21及びS31を積分器92及び96に送出する。
システムコントローラ91は、データ処理部20からストロボ発光命令SSが供給されると、積分器92及び96にリセット信号S22及びS32をそれぞれ送出する。またシステムコントローラ91は、所定の値に設定された閾値を示す閾値信号S24及びS34をそれぞれ比較器93及び97に送出する。
さらにシステムコントローラ91は、積分器92及び96にリセット信号S22及びS32をそれぞれ送出した以後、励起光源LED81A及び82Aに対して光を出力させるための発光指示信号S26及びS36を出力する。この発光指示信号S26及びS36は、励起光源LED81A及び82Aが光を出力するべき時間より長く設定される。
積分器92は、リセット信号S22を受信すると、積分値をリセットし、リセットした時点から、光検出器81Cから供給される光強度信号S21に応じた光の強度を積分していき、その積分された積分値を示す積分値信号S23を比較器93に送出する。
比較器93は、閾値信号S24に示された閾値と、積分値信号S23に示された積分値とを比較し、積分値が閾値より小さい場合、励起光源LED81Aに対して光を出力させるための出力信号S25をアンド回路94に送出する。
アンド回路94は、比較器93から出力信号S25が供給され、かつシステムコントローラ91から発光指示信号S26が供給された場合、励起光源LED81Aを発光させるための発光指示信号S27をLEDドライバ95に送出する。
LEDドライバ95は、アンド回路94から発光指示信号S27が供給された場合、励起光源LED81Aに一定電流を流すことによって、該励起光源LED81Aから光を出射させる。
一方、積分器96は、リセット信号S32を受信すると、積分値をリセットし、リセットした時点から、光検出器82Cから供給される光強度信号S31に応じた光の強度を積分していき、その積分された積分値を示す積分値信号S33を比較器97に送出する。
比較器97は、閾値信号S34に示された閾値と、積分値信号S33に示された積分値とを比較し、積分値が閾値より小さい場合、励起光源LED82Aに対して光を出力させるための出力信号S35をアンド回路98に送出する。
アンド回路98は、比較器97から出力信号S35が供給され、かつシステムコントローラ91から発光指示信号S36が供給された場合、励起光源LED82Aを発光させるための発光指示信号S37をLEDドライバ9に送出する。
LEDドライバ99は、アンド回路9から発光指示信号S37が供給された場合、励起光源LED82Aに一定電流を流すことによって、該励起光源LED82Aから光を出力させる。
CPU21は、生体サンプルSPLの画像の取得命令を操作入力部24から受けた場合、該取得命令に対応するプログラムをRAM23に展開し、図17に示すフローチャートに従って処理を実行する。
実際上、CPU21は、ルーチンRT3の開始ステップから入って次のステップSP41へ移る。ステップSP41においてCPU21は、サンプル領域PRを複数の小領域ARに割り当て、CMOSイメージセンサ14によって撮像される領域が最初の撮影領域ARとなるよう可動ステージ11を移動させ、次のステップSP42に移る。
ステップSP42においてCPU21は、CMOSイメージセンサ14の露光を開始させ、次のステップSP43に移る。
ステップSP43においてCPU21は、光源制御部90に対してストロボ発光命令SSを出力し、励起光源LED81A及び82Aから光を出射させ、次のステップSP44に移る。
ステップSP44においてCPU21は、励起光源LED81A及び82Aからそれぞれ出射される光の強度の積分値を光源制御部90に取得させ、次のステップSP45に移る。
ステップSP45においてCPU21は、光源制御部90に対して、それぞれの積分値が閾値以上になった時点で励起光源LED81A及び82Aからの光の出射を順次終了させ、次のステップSP46に移る。
ステップSP46においてCPU21は、全ての励起光源LED81A及び82Aの発光が終了した以後、CMOSイメージセンサ14の露光を終了させ、次のステップSP47に移る。
ステップSP47においてCPU21は、CMOSイメージセンサ14の各画素の電気信号をライン毎に順次読み出させ、その結果得られる分割画像を取得し、次のステップSP48に移る。
ステップSP48においてCPU21は、全ての小領域ARについて撮像が終了したか否かを判断し、否定結果が得られると、まだ撮像されていない小領域ARが存在することから次のステップSP49に移る。
ステップSP49においてCPU21は、CMOSイメージセンサ14によって撮像される領域が次の小領域ARとなるよう可動ステージ11を移動させ、ステップSP42に戻る。
CPU21は、ステップSP48で肯定結果が得られるまで、ステップSP42からステップSP49を繰り返し実行し、肯定結果が得られると、全ての小領域ARに対応した分割画像を取得したことを意味し、ステップSP50に移る。
ステップSP50においてCPU21は、分割画像を結合して生体サンプル画像を生成し、次のステップSP51において、生体サンプル画像を含むサンプルデータを記憶部27に記憶し、次のステップに移って処理を終了する。
このように生体サンプル画像取得装置100は、図18に示すように、励起光源LED81A及び82Aから光を出射する以前にCMOSイメージセンサ14の露光を開始する。そして生体サンプル画像取得装置100は、励起光源LED81A及び82Aから光の出射が両方とも終了した以後にCMOSイメージセンサ14の露光を終了する。
因みに図18において時刻Ts5は最初に露光が開始されるラインの露光開始時刻を示し、時刻Ts6は最後に露光が開始されるラインの露光開始時刻を示す。また時刻Te5は時刻Ts5に対応するラインの露光終了時刻を示し、時刻Te6は時刻Ts6に対応するラインの露光終了時刻を示す。また図18において実線及び一点鎖線はそれぞれ異なる励起光源LED81A又は82Aから出射された光の強度を示す。
これにより生体サンプル画像取得装置100は、複数の励起光源LEDが設けられている場合でも、それぞれの波長の光の光量が一定となるように励起光源LEDから光を出射させることができる。
また生体サンプル画像取得装置100は、励起光源LEDが熱平衡状態になるまで待つことなく、CMOSイメージセンサ14の露光量を一定に保つことができ、かくして、撮像期間を短時間にしつつ、生体サンプル画像の輝度差を低減することができる。
また生体サンプル画像取得装置100は、励起光源LEDが熱平衡状態になるまで待つ場合のように生体サンプルSPLに励起光を長時間当て続けることもないので、生体サンプルSPLに染色された蛍光色素の褪色を抑制することができる。
また上述した第2の実施の形態においては、明視野モードおける光源ユニット13から出射される光の出射時間を全ての小領域ARに対して一定にするようにした場合について述べた。本発明はこれに限らず、暗視野モードにおいて出射される励起光の出射時間を全ての小領域ARに対して一定にするようにしてもよい。
さらに上述した第1及び第2の実施の形態においては、光源としてLEDを用いるようにした場合について述べたが、本発明はこれに限らず、水銀ランプ、ハロゲンランプを光源として用いるようにしてもよい。
さらに上述した第1及び第2の実施の形態においては、撮像素子としてCMOSイメージセンサ14を用いるようにした場合について述べたが、本発明はこれに限らず、CCDを撮像素子として用いるようにしてもよい。
第1の実施の携帯においてCMOSイメージセンサ14に代えてCCDを適用した場合、図19に示すように、白色LED13Aから光を出射する以前にCCDの露光を開始し、白色LED13Aから光の出射が終了した以後にCCDの露光を終了する。これによって、CCDを適用した場合であっても、撮像期間を短時間にしつつ、分割画像間の輝度差を低減することができる。因みに図19において時刻Ts7は露光開始時刻を示し、時刻Te7は露光終了時刻を示す。
さらに上述した第1の実施の形態においては、白色LED13Aからの光の出射が終了した以後、CMOSイメージセンサ14の露光を終了するようにした場合について述べた。本発明はこれに限らず、白色LED13Aから出射される光の光量が一定となる出射時間が既知であった場合、該出射時間よりさらに長い露光時間を設定し、該露光時間だけCMOSイメージセンサ14を露光させるようにしてもよい。
具体的には、白色LED13Aから出射される光の光量が一定となる出射時間が例えば30[ms]から50[ms]の間であることが既知である場合、CMOSイメージセンサ14の全てのラインが露光している露光時間を例えば70[ms]に設定する。
この場合、生体サンプル画像取得装置1は、CMOSイメージセンサ14の露光時間が変化する場合と比して、該CMOSイメージセンサ14の制御が容易となる。従って生体サンプル画像取得装置1は、可動ステージ11、白色LED13A及びCMOSイメージセンサ14の制御を決められたタイミングで行うことができ、全体の制御も容易となる。
さらに上述した第1の実施の形態においては、光源制御部30のシステムコントローラ31、積分器32、比較器33、アンド回路34及びLEDドライバ35がハードウェア構成であった場合について述べた。本発明はこれに限らず、積分器32、比較器33、アンド回路34及びLEDドライバ35がシステムコントローラ31又はCPU21によるソフトウェア構成であってもよい。
また上述した第2の実施の形態においては、光源制御部60のシステムコントローラ31、積分器32及びLEDドライバ35がハードウェア構成であった場合について述べた。本発明はこれに限らず、積分器32及びLEDドライバ35がシステムコントローラ31又はCPU21によるソフトウェア構成であってもよい。
また上述した光源制御部90においては、システムコントローラ91、積分器92、比較器93、アンド回路94、LEDドライバ95、積分器96、比較器97、アンド回路98及びLEDドライバ99がハードウェア構成であった場合について述べた。本発明はこれに限らず、積分器92、比較器93、アンド回路94、LEDドライバ95、積分器96、比較器97、アンド回路98及びLEDドライバ99がシステムコントローラ31又はCPU21によるソフトウェア構成であってもよい。
さらに上述した第1及び第2の実施の形態においては、対物レンズ12A、結像レンズ12Bが設けられている場合について述べた。本発明はこれに限らず、対物レンズ12Aだけが設けられるようにしてもよい。また対物レンズ12Aをレボルバー等を適用して倍率が可変できるようにしてもよい。
さらに上述した第1及び第2の実施の形態においては、生体サンプル取得処理により得られたサンプルデータは記憶部27に保存された。記憶部27は、データ処理部20内に設ける場合に限定されるものではなく、該データ処理部20の外部としてもよい。また記憶部27に対するデータの通信媒体はバス28に限定されるものではなく、例えば、ローカルエリアネットワークやインターネット、ディジタル衛星放送等の有線又は無線の通信媒体としてもよい。
さらに上述した第1の実施の形態においては、撮像素子としてCMOSイメージセンサ14、検出部として光検出器13C、積分部として積分器32、光源制御部として光源制御部30、露光制御部として露光制御部42、画像取得部として画像取得部44が設けられるようにした場合について述べた。しかしながら本発明は、その他種々の構成でなる撮像素子、検出部、積分器、光源制御部、露光制御部、画像取得部を設けるようにしても良い。
さらに上述した第2の実施の形態においては、撮像素子としてCMOSイメージセンサ14、検出部として光検出器13C、積分部として積分器32、光源制御部として光源制御部30、露光制御部として露光制御部42、画像取得部として画像取得部44、補正部として画像補正部47、画像生成部として画像生成部45が設けられるようにした場合について述べた。しかしながら本発明は、その他種々の構成でなる撮像素子、検出部、積分器、光源制御部、露光制御部、画像取得部、補正部、生成部を設けるようにしても良い。
本発明は、生物実験、医薬の創製又は患者の経過観察などのバイオ産業上において利用可能である。
1……生体サンプル画像取得装置、10……顕微鏡、11……可動ステージ、12……光学系、12A……対物レンズ、12B……結像レンズ、12C……ダイクロイックミラー、12D……エミッションフィルタ、12E……励起フィルタ、13……光源ユニット、13A……白色LED、13B……集光レンズ、13C……光検出器、14……CMOSイメージセンサ、15……励起光源系、16……励起フィルタ、20……データ処理部、21……CPU、22……ROM、23……RAM、24……操作入力部、25……インターフェイス部、26……表示部、27……記憶部、30、60……光源制御部、31……システムコントローラ、32……積分器、33……比較器、34……アンド回路、35……LEDドライバ、41……移動制御部、42……露光制御部、43……ストロボ制御部、44……画像取得部、45……画像生成部、46……データ記録部、47……画像補正部、SG……スライドガラス、SPL……生体サンプル。

Claims (9)

  1. 撮像対象とすべき領域に割り当てられた小領域の像が結像される撮像素子と、
    光源から上記小領域に照射される光の強度を検出する検出部と、
    上記検出部により検出される光の強度を積分する積分部と、
    上記光源から光が出射された時点からの、上記積分部により積分された光の強度の積分値が所定の閾値以上の場合、上記光源からの光の出射を終了させる光源制御部と、
    上記光源制御部により上記光源から光を出射される以前に撮像素子の露光を開始させ、上記光源制御部により上記光源から光の出射が終了された以後に上記撮像素子の露光を終了させる露光制御部と、
    上記小領域の像を、上記撮像対象とすべき領域を分割した分割画像として上記撮像素子から取得する画像取得部と、
    複数個の上記分割画像を結合して1枚の画像を生成する画像生成部と
    を有する画像取得装置。
  2. 上記撮像素子は、画素の配列に沿ったラインごとに順に露光を開始し、露光が開始されたラインの順に露光を終了する
    請求項1に記載の画像取得装置。
  3. 上記小領域に上記撮像素子に結像される領域を移動させる移動制御部
    を有し、
    上記移動制御部は、
    上記露光制御部が露光を終了した時点で、上記撮像素子に結像される領域を他の小領域に移動させる
    請求項1に記載の画像取得装置。
  4. 上記検出部は、
    複数の光源から出射される光の強度をそれぞれ検出し、
    上記積分部は、
    上記検出部により検出される上記複数の光源それぞれの光の強度を積分し、
    上記光源制御部は、
    上記複数の光源から光を同時に出射させ、該出射された時点からの、上記積分部により積分された光の強度の積分値が所定の閾値以上になった光源から順に光の出射を終了させ、
    上記露光制御部は、
    上記複数の光源から光を出射させる以前に上記撮像素子の露光を開始させ、上記複数の光源から光の出射が全て終了された以後に上記撮像素子の露光を終了させる
    請求項1に記載の画像取得装置。
  5. 光源から撮像対象とすべき領域に割り当てられた小領域に照射される光の強度を検出する検出ステップと、
    上記検出ステップにより検出される光の強度を積分する積分ステップと、
    上記光源から光が出射された時点からの、上記積分ステップにより積分された光の強度の積分値が所定の閾値以上の場合、上記光源からの光の出射を終了させる光源制御ステップと、
    上記光源制御ステップにより上記光源から光を出射される以前に上記小領域の像が結像される撮像素子の露光を開始させ、上記光源制御ステップにより上記光源から光の出射が終了された以後に上記撮像素子の露光を終了させる露光制御ステップと、
    上記小領域の像を、上記撮像対象とすべき領域を分割した分割画像として上記撮像素子から取得する画像取得ステップと、
    複数個の上記分割画像を結合して1枚の画像を生成する画像生成ステップと
    を有する画像取得方法。
  6. 撮像対象とすべき領域に割り当てられた小領域の像が結像される撮像素子と、
    光源から上記小領域に照射される光の強度を検出する検出部と、
    上記検出部により検出される光の強度を積分する積分部と、
    出射開始から出射終了までの間隔が一定となるように上記光源から光を出射させる光源制御部と、
    上記光源制御部により上記光源から光を出射される以前に撮像素子の露光を開始させ、上記光源制御部により上記光源から光の出射が終了された以後に上記撮像素子の露光を終了させる露光制御部と、
    上記小領域の像を、上記撮像対象とすべき領域を分割した分割画像として上記撮像素子から取得する画像取得部と、
    上記分割画像が撮像された際の上記積分部により積分された光の強度の積分値が全ての上記分割画像において同一となるように該分割画像の輝度値を補正する補正部と、
    上記補正部により補正された複数個の上記分割画像を結合して1枚の画像を生成する画像生成部と
    を有する画像取得装置。
  7. 上記撮像素子は、画素の配列に沿ったラインごとに順に露光を開始し、露光が開始されたラインの順に露光を終了する
    請求項6に記載の画像取得装置。
  8. 上記小領域に上記撮像素子に結像される領域を移動させる移動制御部
    を有し、
    上記移動制御部は、
    上記露光制御部が露光を終了した時点で、上記撮像素子に結像される領域を他の小領域に移動させる
    請求項6に記載の画像取得装置。
  9. 光源から撮像対象とすべき領域に割り当てられた小領域に照射される光の強度を検出する検出ステップと、
    上記検出ステップにより検出される光の強度を積分する積分ステップと、
    出射開始から出射終了までの間隔が一定となるように上記光源から光を出射させる光源制御ステップと、
    上記光源制御ステップにより上記光源から光を出射される以前に上記小領域の像が結像される撮像素子の露光を開始させ、上記光源制御ステップにより上記光源から光の出射が終了された以後に上記撮像素子の露光を終了させる露光制御ステップと、
    上記小領域の像を、上記撮像対象とすべき領域を分割した分割画像として上記撮像素子から取得する画像取得ステップと、
    上記分割画像が撮像された際の上記積分ステップにより積分された光の強度の積分値が全ての上記分割画像において同一となるように該分割画像の輝度値を補正する補正ステップと、
    上記補正ステップにより補正された複数個の上記分割画像を結合して1枚の画像を生成する画像生成ステップと
    を有する画像取得方法。
JP2009188776A 2009-08-17 2009-08-17 画像取得装置及び画像取得方法 Active JP5365407B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2009188776A JP5365407B2 (ja) 2009-08-17 2009-08-17 画像取得装置及び画像取得方法
EP10007256.0A EP2296367B1 (en) 2009-08-17 2010-07-14 Image acquisition apparatus and image acquisition method
US12/850,251 US8553140B2 (en) 2009-08-17 2010-08-04 Image acquisition apparatus and image acquisition method
CN201010250645.2A CN101995652B (zh) 2009-08-17 2010-08-10 图像获取装置和图像获取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009188776A JP5365407B2 (ja) 2009-08-17 2009-08-17 画像取得装置及び画像取得方法

Publications (2)

Publication Number Publication Date
JP2011041156A JP2011041156A (ja) 2011-02-24
JP5365407B2 true JP5365407B2 (ja) 2013-12-11

Family

ID=42735604

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009188776A Active JP5365407B2 (ja) 2009-08-17 2009-08-17 画像取得装置及び画像取得方法

Country Status (4)

Country Link
US (1) US8553140B2 (ja)
EP (1) EP2296367B1 (ja)
JP (1) JP5365407B2 (ja)
CN (1) CN101995652B (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6154291B2 (ja) * 2013-11-01 2017-06-28 浜松ホトニクス株式会社 画像取得装置及び画像取得装置の画像取得方法
US9696424B2 (en) * 2014-05-19 2017-07-04 Rockwell Automation Technologies, Inc. Optical area monitoring with spot matrix illumination
US11243294B2 (en) 2014-05-19 2022-02-08 Rockwell Automation Technologies, Inc. Waveform reconstruction in a time-of-flight sensor
WO2016197297A1 (zh) * 2015-06-08 2016-12-15 北京旷视科技有限公司 活体检测方法、活体检测系统以及计算机程序产品
JP6680560B2 (ja) * 2016-02-17 2020-04-15 オリンパス株式会社 共焦点顕微鏡装置、貼り合せ画像構築方法、及びプログラム
WO2018230575A1 (ja) * 2017-06-15 2018-12-20 オリンパス株式会社 顕微鏡システム
JP7011152B2 (ja) * 2017-08-30 2022-01-26 富士通株式会社 生体画像処理装置、生体画像処理方法、及び生体画像処理プログラム
US20190159732A1 (en) * 2017-11-30 2019-05-30 Pixart Imaging Inc. Wearable device and associated method
US11442018B2 (en) * 2018-01-26 2022-09-13 Molecular Devices (Austria) GmbH System and method for intensity stabilization for quantitative imaging
JP7298993B2 (ja) * 2018-04-09 2023-06-27 浜松ホトニクス株式会社 試料観察装置及び試料観察方法
CN113227843B (zh) * 2018-12-31 2023-08-08 亚利桑那州立大学董事会 低放大率暗场显微镜下的可扩增纳米颗粒增强的定量散射测定
CN110632750B (zh) * 2019-08-30 2024-01-12 北京临近空间飞行器系统工程研究所 荧光显微光学系统和荧光染色细胞扫描及分析系统
CN110708472B (zh) * 2019-11-07 2021-06-29 重庆紫光华山智安科技有限公司 一种抑制运动亮光源曝光控制方法、系统及设备

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03144617A (ja) * 1989-10-31 1991-06-20 Konica Corp 閃光制御回路
JP2578526B2 (ja) * 1990-11-20 1997-02-05 キヤノン株式会社 カメラ
JP3259447B2 (ja) * 1993-06-29 2002-02-25 株式会社ニコン 電子閃光制御システム
JP3817301B2 (ja) * 1996-05-28 2006-09-06 キヤノン株式会社 電子カメラ
JP2000078596A (ja) * 1998-08-31 2000-03-14 Mitsubishi Electric Corp ビデオカメラ
JP2000098259A (ja) * 1998-09-22 2000-04-07 Olympus Optical Co Ltd 共焦点顕微鏡用撮影装置
JP3879314B2 (ja) * 1999-01-25 2007-02-14 ソニー株式会社 調光装置、カメラ装置及び調光方法
JP4278281B2 (ja) * 2000-05-01 2009-06-10 株式会社リコー ストロボ調光システムおよびストロボ付きカメラ
WO2002041031A1 (de) * 2000-11-14 2002-05-23 Siemens Aktiengesellschaft Vorrichtung zur bilddatenverarbeitung und verfahren zur bilddatenverarbeitung
JP2003222801A (ja) 2002-01-29 2003-08-08 Olympus Optical Co Ltd 顕微鏡画像撮影装置
JP2003315682A (ja) * 2002-04-26 2003-11-06 Act Brain:Kk 顕微鏡装置
EP2216685B1 (en) * 2003-06-19 2012-06-27 Nikon Corporation Exposure apparatus and device manufacturing method
JP4047301B2 (ja) * 2004-05-18 2008-02-13 キヤノン株式会社 撮像装置及びその制御方法
US20060018013A1 (en) * 2004-07-07 2006-01-26 Yoshimasa Suzuki Microscope imaging apparatus and biological-specimen examination system
JP2007288731A (ja) * 2006-04-20 2007-11-01 Hitachi High-Tech Science Systems Corp リアルタイムパノラマ画像合成方法及びその装置
JP2009063656A (ja) 2007-09-04 2009-03-26 Nikon Corp 顕微鏡システム
JP2009139479A (ja) * 2007-12-04 2009-06-25 Hitachi Kokusai Electric Inc 画像処理装置
CN101267505B (zh) * 2008-04-25 2010-06-02 北京中星微电子有限公司 一种曝光时间调整方法、装置及一种摄像头

Also Published As

Publication number Publication date
US8553140B2 (en) 2013-10-08
US20110037875A1 (en) 2011-02-17
CN101995652A (zh) 2011-03-30
EP2296367A3 (en) 2011-11-09
JP2011041156A (ja) 2011-02-24
CN101995652B (zh) 2014-05-14
EP2296367B1 (en) 2016-08-31
EP2296367A2 (en) 2011-03-16

Similar Documents

Publication Publication Date Title
JP5365407B2 (ja) 画像取得装置及び画像取得方法
JP5212122B2 (ja) 生体サンプル像取得装置、生体サンプル像取得方法及びプログラム
JP5802860B2 (ja) 内視鏡システム
JP5259207B2 (ja) 細胞画像解析装置及びその方法並びにそのソフトウェア
JP6136085B2 (ja) 画像取得装置、画像取得方法、およびコンピュータプログラム
US8822956B2 (en) High-resolution fluorescence microscopy
JP7278750B2 (ja) 撮像装置
JP6822483B2 (ja) 球面収差補正算出装置、顕微鏡、球面収差補正算出プログラム及び球面収差補正算出方法
US11842555B2 (en) Signal acquisition apparatus, signal acquisition system, and signal acquisition method
EP3276334B1 (en) Microscope device, viewing method, and control program
JP5471715B2 (ja) 合焦装置、合焦方法、合焦プログラム及び顕微鏡
JP6997312B2 (ja) カラーモニタ設定の更新
US20190052791A1 (en) Image processing apparatus and image processing method
JP5942390B2 (ja) 画像取得装置、画像取得方法及び画像取得プログラム
JP2003032556A (ja) 撮像装置
JP2018004875A (ja) 情報処理装置、撮像装置、情報処理方法、プログラムおよび照明装置
JP4468642B2 (ja) 共焦点レーザ走査型顕微鏡装置及び試料情報記録方法
JP5532785B2 (ja) 撮像装置
JP2010041380A (ja) 撮像装置
JP2022128298A (ja) 端末装置、生成方法および生成プログラム
JP2013025023A (ja) バーチャルスライド装置
JP4810256B2 (ja) 光学装置
JP2018116309A (ja) 画像取得装置、画像取得方法および顕微鏡
JP2000137161A (ja) 自動焦点調節カメラ
JP2011158273A (ja) 色収差測定方法、色収差測定装置及び色収差測定プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120629

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130409

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130527

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130813

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130826

R151 Written notification of patent or utility model registration

Ref document number: 5365407

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250