JP6698451B2 - 観察装置 - Google Patents

観察装置 Download PDF

Info

Publication number
JP6698451B2
JP6698451B2 JP2016137117A JP2016137117A JP6698451B2 JP 6698451 B2 JP6698451 B2 JP 6698451B2 JP 2016137117 A JP2016137117 A JP 2016137117A JP 2016137117 A JP2016137117 A JP 2016137117A JP 6698451 B2 JP6698451 B2 JP 6698451B2
Authority
JP
Japan
Prior art keywords
unit
image
control unit
illumination
container
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2016137117A
Other languages
English (en)
Other versions
JP2018007587A5 (ja
JP2018007587A (ja
Inventor
崇人 青木
崇人 青木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2016137117A priority Critical patent/JP6698451B2/ja
Priority to US15/637,095 priority patent/US10674044B2/en
Priority to CN201710556445.1A priority patent/CN107613217A/zh
Publication of JP2018007587A publication Critical patent/JP2018007587A/ja
Publication of JP2018007587A5 publication Critical patent/JP2018007587A5/ja
Application granted granted Critical
Publication of JP6698451B2 publication Critical patent/JP6698451B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/30Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration
    • C12M41/36Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration of biomass, e.g. colony counters or by turbidity measurements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0032Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00519Constructional details not otherwise provided for, e.g. housings, covers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/48Increasing resolution by shifting the sensor relative to the scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/766Addressed sensors, e.g. MOS or CMOS sensors comprising control or output lines used for a plurality of functions, e.g. for pixel output, driving, reset or power
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means

Description

本発明は、観察装置に関する。
一般に、インキュベータ内に培養容器を静置し、当該培養容器内の培養細胞等の画像を得る装置が知られている。例えば特許文献1には、インキュベータ内で、撮像部であるカメラを移動させながら複数の撮影を行い、培養容器内の広い範囲に存在する細胞を撮影する装置に係る技術が開示されている。
特開2005−295818号公報
上述のような装置において、撮像部の位置を変化させながら撮影を行うにあたっては、当該撮像部による撮影時に適切な照明が望まれる。例えば、特許文献1には、撮像部の周囲にリングライトを設けることが開示されているが、このようなライトを常時点灯すると消費電力が大きくなる。適切な照明による消費電力及び発熱の低減は、良好な観察環境の保持に寄与する。
本発明は、適切な照明制御を実施することができる観察装置を提供することを目的とする。
本発明の一態様によれば、観察装置は、試料を撮像する撮像素子と撮像光学系とを含み、画像信号を出力する撮像部と、前記撮像光学系の光軸から外れた位置に配置され照明光を放射する複数の放射部を含み、前記試料を照明する照明部とを具備する撮像ユニットと、記撮像部及び前記照明部の動作を制御する制御部とを備え、前記制御部は、前記撮像素子の前記試料に対する相対位置の変化に際し、前記画像信号に基づき複数の前記放射部のうち何れの放射部から照明光を放射するかを決定する。
本発明によれば、適切な照明制御を実施することができる観察装置を提供できる。
図1は、第1の実施形態に係る測定システムの外観の概略を示す図である。 図2は、第1の実施形態に係る測定システムの構成例の概略を示すブロック図である。 図3は、第1の実施形態に係る試料周辺の構成例の概略を示す側面図である。 図4は、第1の実施形態に係る観察装置による画像取得について説明するための図である。 図5は、第1の実施形態に係る撮像ユニットによる画像取得時の照明制御について説明するための図である。 図6は、第1の実施形態に係る観察装置制御処理の一例を示すフローチャートである。 図7は、第1の実施形態に係るスキャン処理の一例を示すフローチャートである。 図8は、第1の実施形態に係る容器周縁部検出処理の一例を示すフローチャートである。 図9は、第1の実施形態に係る撮像ユニットによる画像取得時の容器周縁部検出について説明するための図である。 図10は、第1の実施形態に係る測定システムで得られる測定結果のデータの構成例の概略を示す図である。 図11Aは、第1の実施形態に係るコントローラ制御処理の一例を示すフローチャートである。 図11Bは、第1の実施形態に係るコントローラ制御処理の一例を示すフローチャートである。 図12は、第2の実施形態に係る撮像ユニットの構成例の概略を示す図である。 図13は、第2の実施形態に係るスキャン処理の一例を示すフローチャートである。 図14は、画像処理による容器周縁部検出の変形例について説明するための図である。 図15は、撮像ユニットによる画像取得時の照明制御の変形例について説明するための図である。
[第1の実施形態]
本発明の第1の実施形態について図面を参照して説明する。本実施形態に係る測定システムは、培養中の細胞、細胞群、組織等である試料を撮影し、細胞又は細胞群の個数、形態等を記録するためのシステムである。本実施形態に係る技術は、観察対象の容器周縁部等を検出し、これに基づいた適切な照明制御の下で撮影が可能な測定システムを実現する。なお、ここでの撮影は撮像でもよく、取得されるのは、静止画でも動画でもよい。
<測定システムの構成>
測定システム1の外観の概略を示す模式図を図1に示す。また、測定システム1の構成例を表すブロック図を図2に示す。測定システム1は、観察装置100と、コントローラ200とを備える。図1に示すように、観察装置100は、おおよそ平板形状をしている。観察装置100は、例えばインキュベータ内に設置され、観察装置100の上面には、観察対象である試料300が配置される。以降の説明のため、観察装置100の試料300が配置される面と平行な面内に互いに直交するX軸及びY軸を定義し、X軸及びY軸と直交するようにZ軸を定義する。観察装置100の上面には、透明板102が設けられており、観察装置100の筐体101の内部には、撮像部170が設けられている。観察装置100は、透明板102を介して試料300を撮影し、試料300の画像を取得する。一方、コントローラ200は、例えばインキュベータの外部に設置される。観察装置100とコントローラ200とは、通信する。コントローラ200は、観察装置100の動作を制御する。
(試料について)
測定システム1の測定対象である試料300は、例えば次のようなものである。容器310内に培地322が入れられ、培地322内で細胞324が培養されている。容器310は、例えばシャーレ、培養フラスコ、マルチウェルプレート等であり得る。このように、容器310は、例えば、生体試料を培養するための培養容器である。容器310の形状、大きさ等は限定されない。容器310は、例えば照明光に対して透明な面又は部分を有する透明容器である。培地322は、液体培地でも固体培地でもよい。測定対象は例えば細胞324であるが、これは、接着性の細胞でもよいし、浮遊性の細胞でもよい。また、細胞324は、スフェロイドや組織であってもよい。さらに、細胞324は、どのような生物に由来してもよく、菌等であってもよい。このように、試料300は、生物又は生物に由来する試料である生体試料を含む。
(観察装置について)
図1に示すように、観察装置100の筐体101の上面には、例えばガラス等で形成された透明板102が設けられている。試料300は、この透明板102上に静置される。図1には、筐体101の上面の全体が透明な板で形成されている例が示されているが、観察装置100は、筐体101の上面の一部に透明板が設けられ、上面のその他の部分が不透明であるように構成されてもよい。
また、透明板102上の試料300が配置される位置を統一し、また試料300を固定するために、透明板102の上には、固定枠410が乗せられてもよい。ここで、固定枠410は、例えば透明板102と同じ大きさ等、透明板102に対して特定の位置に配置されるように構成されている。また、固定枠410は、固定板412に孔414が設けられた構成を有する。ここで、孔414は、試料300の容器310の外径よりもわずかに大きな直径を有する。したがって、透明板102上に固定枠410が乗せられた状態においては、容器310は、孔414内に固定され得る。固定枠410は、試料300の容器310の種類に応じて複数種類用意される。固定枠410は、用いられてもよいし、用いられなくてもよい。
筐体101の内部には、観察装置100の各構成要素が設けられている。インキュベータ内は例えば温度37℃、湿度95%といった高温多湿の環境である。観察装置100はこのような高温多湿の環境で用いられるため、筐体101及び透明板102は気密性が保たれている。また、多湿の環境から観察装置100の内部を保護するため、筐体101及び透明板102で囲まれた内部は、その外部と比較して高圧であってもよい。
筐体101の内部には、撮像ユニット120が設けられている。図1及び図2に示すように、撮像ユニット120は、支持部168と、撮像部170と、照明部180とを有する。撮像部170は、撮像光学系172と撮像素子174とを備える。撮像部170は、試料300の方向を撮像し、試料300の画像を取得する。撮像部170は、撮像光学系172を介して撮像素子174の撮像面に結像した像に基づいて、画像データを生成する。撮像光学系172は、焦点距離を変更できるズーム光学系であることが好ましい。
図1に示すように、支持部168の撮像部170の近傍又は周囲には、撮像部170を挟むように照明部180が設けられている。照明部180は、透明板102がある方向、すなわち、試料300が置かれている方向に照明光を放射する。照明部180が複数の光源又は照明光学系を有する場合、複数の光源又は照明光学系は、撮像部170の有する撮像素子174に対して点対称の位置に配置されることが好ましいが、これに限定されない。ここで、複数の光源は、複数の発光素子と言い換えてもよい。本実施形態では、照明部180は、第1の照明部180aと第2の照明部180bとを含む。図2に示すように、照明部180は、照明光学系182と光源184とを備える。照明光学系182は、第1の照明光学系182aと第2の照明光学系182bとを有する。光源184は、第1の光源184aと第2の光源184bとを有する。第1の光源184aから放射された照明光は、第1の照明光学系182aを介して試料300を照明し、同様に、第2の光源184bから放射された照明光は、第2の照明光学系182bを介して試料300を照明する。
このように、照明部180は、撮像部170の周囲に配置され、照明光を放射する複数の放射部を備える。例えば、第1の照明部180aは第1の放射部183aから、第2の照明部180bは第2の放射部183bから、それぞれ照明光を放射する。上述のように照明光を放射する箇所である放射部は、例えば照明光を放射する光源であったり、例えば照明光を放射する照明光学系であったりする。また、例えば第1の照明光学系182aが照明光を放射している状態から第2の照明光学系182bが照明光を放射する状態に切り替わることは、照明光を放射する放射部が第1の照明光学系182aから第2の照明光学系182bへと切り替わることと表現できる。これは、さらに第1の放射部183aが照明光を放射している状態から第2の放射部183bが照明光を放射している状態に切り替わることとも表現できる。
本実施形態では、照明部180が2つの照明光学系と2つの光源を有する場合を説明するが、これに限定されない。例えば、照明部180の有する照明光学系と光源とは、2つ以上の複数であってもよく、さらに照明光学系の数と光源の数とは異なっていてもよい。なお、照明部180は支持部168に配置されていると述べたが、各々の照明光学系の照明光を放射する放射部が支持部168に配置されていればよく、例えば各々の光源は、観察装置100の何れの場所に配置されていてもよい。このとき、共通の光源を有する複数の照明光学系が支持部168に配置されていてもよい。この場合、照明光を放射する照明光学系を切り替えるための光学系が設けられる。すなわち、撮像ユニット120は、少なくとも撮像光学系172と照明光学系182とを有していればよく、撮像素子174及び光源184を有していなくてもよい。
本実施形態では、光源184は、発光ダイオード(LED)であるとして説明をするが、これに限定されない。例えば、光源184は蛍光灯や水銀灯であってもよい。すなわち、光源184の放射する照明光の波長は問わない。例えば、観察対象及びインキュベータ内の環境によって紫外、可視、赤外の何れの波長領域にしてもよい。さらに、各々の光源は冷却機構を備えていてもよい。以下、照明光とのみ記載する場合は、何れの照明光学系、何れの光源、何れの照明光学系と何れの光源とを組み合わせたものによって放射される照明光であるかを問わない場合とする。また、以下、放射部とのみ記載する場合は、複数の放射部のうち、何れの放射部であるかを問わない場合とする。
図1に戻って説明を続ける。撮像ユニット120は、移動機構160によって移動させられる。移動機構160は、撮像ユニット120をX軸方向に移動させるためのX送りねじ161とXアクチュエータ162とを備える。また、移動機構160は、撮像ユニット120をY軸方向に移動させるためのY送りねじ163とYアクチュエータ164とを備える。撮像部170は、透明板102上の試料300の画像を一部ずつしか取得できないが、移動機構160によって撮像ユニット120が移動させられることで、撮像部170は、広い範囲の画像を取得することができる。
Z軸方向の撮影位置は、撮像光学系172の合焦位置が光軸方向に変更されることで変更される。すなわち、撮像光学系172は、合焦用レンズを光軸方向に移動させるための合焦調整機構を備えている。なお、合焦調整機構に代えて、又はこれと共に、移動機構160は撮像ユニット120をZ軸方向に移動させるためのZ送りねじ及びZアクチュエータ等を備えてもよい。
本実施形態では、観察装置100の試料300が配置される面と平行な面内にX−Y平面があると定義する旨を上述したが、以降の説明のため、さらにX軸方向の正の向きをX+方向と称し、これをXアクチュエータ162からX送りねじ161の長手方向に沿って離れる方向であると定義する。同様に、Y軸方向の正の向きをY+方向と称し、これをYアクチュエータ164からY送りねじ163の長手方向に沿って離れる方向であると定義する。Z軸方向の正の向きをZ+方向と称し、これを撮像ユニット120から試料300に向かう方向と定義する。また、X軸方向の負の向きをX−方向と、Y軸方向の負の向きをY−方向と、Z軸方向の負の向きをZ−方向と称する。
なお、本実施形態では、撮像光学系172と放射部とは、撮像ユニット120の試料300へ対向する側、すなわちZ+方向側の面に配置されるものとして説明をするが、これに限定されない。例えば、試料300のZ−方向側の位置に撮像光学系172が、Z+方向側の位置に複数の放射部が配置されている等、撮像光学系172と放射部とが試料300をZ方向に挟むように配置されていてもよい。このような配置が採用されても、後述する本実施形態の効果は得られる。また、本実施形態では、撮像ユニット120におけるX−側に第1の放射部183aが、X+側に第2の放射部183bが設けられているものとする。
筐体101の内部には、移動機構160、撮像部170及び照明部180の各々の動作を制御するための回路群105が設けられている。回路群105には、第1の通信装置192が設けられている。第1の通信装置192は、例えば無線でコントローラ200と通信を行うための装置である。この通信には、例えばWi−Fi(登録商標)又はBluetooth(登録商標)等を利用した無線通信が利用される。また、観察装置100とコントローラ200とは、有線によって接続されて有線による通信が行われてもよい。このように、筐体101の内部に、透明板102を介した撮影によって画像データを生成する撮像部170と、撮像部170を移動させる移動機構160とを設けることによって、信頼性が高く、取り扱いや洗浄が容易であり、コンタミネーション等を防止できる構造にすることが可能である。
図2に示すように、観察装置100は、上述の移動機構160、撮像ユニット120及び第1の通信装置192に加えて、第1の制御部110と、第1の記録部130と、画像処理回路140とを備える。第1の制御部110、第1の記録部130、画像処理回路140及び第1の通信装置192は、例えば上述の回路群105に配置されている。
第1の制御部110は、観察装置100の各部の動作を制御する。第1の制御部110は、位置制御部111、撮像制御部112、照明制御部113、通信制御部114、記録制御部115、測定制御部116、及び演算部117としての機能を備える。位置制御部111は、移動機構160の動作を制御し、撮像ユニット120の位置を制御する。また、位置制御部111は、移動機構160によって移動させられる撮像ユニット120の位置を取得する。撮像制御部112は、撮像部170の動作を制御し、撮像部170に試料300等の画像を取得させる。照明制御部113は、照明部180の動作を制御する。通信制御部114は、第1の通信装置192を介したコントローラ200との通信を管理する。記録制御部115は、観察装置100で得られたデータの記録について制御する。測定制御部116は、測定を行うタイミングや回数等、測定全体を制御する。演算部117は、撮像部170の取得する画像及び輝度値等に基づく各種解析を行う。
第1の記録部130は、例えば第1の制御部110で用いられるプログラムや各種パラメータを記録している。また、第1の記録部130は、観察装置100で得られたデータ等を記録する。
画像処理回路140は、撮像部170の生成した画像データに対して、各種画像処理を施す。画像処理回路140による画像処理後のデータは、例えば第1の記録部130に記録されたり、第1の通信装置192を介してコントローラ200に送信されたりする。また、第1の制御部110又は画像処理回路140は、得られた画像に基づく各種解析を行ってもよい。例えば第1の制御部110又は画像処理回路140は、得られた画像に基づいて、試料300に含まれる細胞又は細胞群の画像を抽出したり、細胞又は細胞群の数、形状又は大きさを算出したりする。このようにして得られた解析結果も、例えば第1の記録部130に記録されたり、第1の通信装置192を介してコントローラ200に送信されたりする。これら画像処理回路140の行う処理は、演算部117によって行われてもよい。
図3に試料300及び撮像ユニット120を側面から見た模式図を示す。図3に示すように、試料300の上面には容器上面360が配置される。この容器上面360は、照明光の一部を反射する。図3中に実線矢印で示すように、例えば、照明部180の有する第1の放射部183aから放射された照明光は、容器上面360を照射し、また、容器上面360によって照明光の一部が反射され、照明光の一部が容器上面360を透過する。反射光の一部は、細胞324を照明して撮像部170の有する撮像光学系172へ入射する。すなわち、撮像光学系172へ入射する反射光は、細胞324を透過した透過光を含む。図3に破線矢印で示す第2の放射部183bから放射された照明光も、上述の場合と同様にして細胞324を照明し、撮像光学系172へ入射する。図3に示すように本実施形態では、放射部は、撮像光学系172の光軸から外れた位置に配置されている。
撮像部170は、上述のように、撮像光学系172へ入射した光を取得し、これを撮像する。撮像部170による画像取得について、図4に示す模式図を参照して説明する。観察装置100は、例えば第1の面内において、X方向及びY方向に位置を変更させながら繰り返し撮影を行い、複数の画像を取得する。画像処理回路140は、これらの画像を合成して、第1の面に係る1つの第1の画像611を作成する。ここで、第1の面は、例えば撮像部170の光軸に垂直な面、すなわち、透明板102と平行な面である。さらに、観察装置100は、厚さ方向に撮影位置を第2の面、第3の面と変化させながら、同様に、X方向及びY方向に位置を変更させながら繰り返し撮影を行い、それらを合成して、第2の画像612及び第3の画像613を取得する。ここで、厚さ方向とは、撮像部170の光軸方向であるZ軸方向であり、透明板102に対して垂直な方向である。このようにして、3次元の各部における画像が取得される。
ここでは、Z方向に撮影面を変化させながら撮影を繰り返す例を示したが、Z方向には複数の画像を得ることなく、X方向及びY方向にのみ位置を変更させながら繰り返し撮影が行われてもよい。この場合、1つの平面の合成画像が得られる。なお、第1の画像611、第2の画像612、第3の画像613等の取得方法については、Z軸方向の位置を固定してX方向及びY方向にスキャンし、その後、Z軸方向の位置を変更して再びX方向及びY方向にスキャンしてもよい。また、X方向及びY方向の1つの位置につきZ軸方向の位置を変更しながら複数回の撮影が行われ、この複数回の撮影がX方向及びY方向にスキャンしながら行われてもよい。なお、スキャンと走査は同じ意味を示すものとする。
なお、測定に係る撮影では、試料300に照明光を照射し続ける必要がなく、撮影を行う瞬間のみ試料300に照明光を照射すればよい。このように、照射時間を短時間にすることで細胞324へのダメージを低減できる。このため、十分に強い強度を有する照明光が撮影のタイミングに合わせて試料300に照射され得る。このことは、良質な画像を得ることに貢献する。
以上のように、撮像部170はX方向及びY方向に位置を変更させながら繰り返し撮影を行い、複数の画像を取得する。このときの照明制御の一例について図5に示す模式図を参照して説明する。ここでは、例えば撮像ユニット120がX−方向に移動させられながら繰り返し撮影を行っていく場合を説明する。撮像ユニット120の試料300に対する相対位置は、撮像ユニット120が移動機構160によって移動させられることによって変化し得る。なお、ここでは第1の放射部183aが、すなわち1つの放射部が照明光を放射する場合について説明するが、本実施形態に係る技術は、これに限定されない。例えば、第1の放射部183aが照明光を放射するとき、第2の放射部183bは補助的に照明光を放射するものであってもよい。
図5(a)において、試料300は、撮像ユニット120の進行方向側に配置された第1の放射部183aの放射した照明光によって照明されている。すなわち、上述したように、第1の放射部183aの放射する照明光は、容器上面360によって反射され、細胞324を照明する。撮像部170は、細胞324を照明した照明光を取得し、これを撮像する。
図5(b)は、図5(a)に示した状態から撮像ユニット120がX−方向に移動させられた状態を示している。このとき、撮像ユニット120は依然として試料300の下方にあり、撮像部170は、図5(a)の場合と同様に容器上面360を介して第1の放射部183aの放射した照明光を取得可能である。
図5(c)は、図5(b)に示した状態から撮像ユニット120がさらにX−方向に移動させられた状態を示している。このとき、第1の放射部183aの放射した照明光は、図5(c)中に破線矢印で示すように、容器上面360に入射する前に、例えば光路上にある容器310の容器周縁部において、そのほとんどが散乱する。したがって、撮像部170は当該照明光を十分に取得できないことになる。このようなとき、撮像部170の取得する光量は減少する。第1の制御部110は、上述のような容器周縁部における照明光の散乱に伴って発生する輝度値又は光強度の変化を検知したとき、撮像ユニット120が容器310の容器周縁部に到達したと判定する。このとき照明制御部113は、照明光を放射する放射部を、第1の放射部183aから第2の放射部183bへと切り替える。切り替え後において第2の放射部183bの放射する照明光は、図5(c)中に実線矢印で示すように容器上面360へ入射でき、また、反射光及び反射光のうち細胞324を透過した透過光は、撮像光学系172へ入射できる。本実施形態では、撮像ユニット120の有する放射部は、撮像光学系172の光軸から外れた位置に配置されている。容器周縁部又はその近傍の位置において、放射部から放射された照明光が容器周縁部において散乱すると、撮像素子174の受光する光量が不足し、適切な画像取得が困難となる。このようなとき、第1の制御部110は、照明光を放射する放射部を切り替えることで、適切な照明環境を再構築する。さらに、放射部の切り替えによって適切な照明環境を構築することは、同時に無駄な照明光の放射を低減できるということであり、本実施形態に係る技術は、観察装置100の使用に要するエネルギーの省エネルギー化、及び発熱量の低減にも貢献する。以上のように、撮像部170は適切な照明の下で画像を取得できることになる。撮像ユニット120における撮像時の照明制御の一例について説明したが、何れの領域から何れの方向へ移動した場合においても、同様にして、容器周縁部において照明光が散乱したことを検知すると第1の制御部110は、照明光を放射する放射部を切り替える。
(コントローラについて)
コントローラ200は、例えばパーソナルコンピュータ(PC)、タブレット型の情報端末等である。図1には、タブレット型の情報端末を図示している。
コントローラ200には、例えば液晶ディスプレイといった表示装置272とタッチパネルといった入力装置274とを備える入出力装置270が設けられている。入力装置274は、タッチパネルの他に、スイッチ、ダイヤル、キーボード、マウス等を含んでいてもよい。
また、コントローラ200には、第2の通信装置292が設けられている。第2の通信装置292は、第1の通信装置192と通信を行うための装置である。第1の通信装置192及び第2の通信装置292を介して、観察装置100とコントローラ200とは通信を行う。
また、コントローラ200は、第2の制御部210と、第2の記録部230とを備える。第2の制御部210は、コントローラ200の各部の動作を制御する。第2の記録部230は、例えば第2の制御部210で用いられるプログラムや各種パラメータを記録している。また、第2の記録部230は、観察装置100で得られ、観察装置100から受信したデータを記録する。
第2の制御部210は、システム制御部211、表示制御部212、記録制御部213、及び通信制御部214としての機能を有する。システム制御部211は、試料300の測定のための制御に係る各種演算を行う。表示制御部212は、表示装置272の動作を制御する。表示制御部212は、表示装置272に必要な情報等を表示させる。記録制御部213は、第2の記録部230への情報の記録を制御する。通信制御部214は、第2の通信装置292を介した観察装置100との通信を制御する。
第1の制御部110、画像処理回路140及び第2の制御部210は、Central Processing Unit(CPU)、Application Specific Integrated Circuit(ASIC)、Field Programmable Gate Array(FPGA)、又はGraphics Processing Unit(GPU)等の集積回路等を含む。第1の制御部110、画像処理回路140及び第2の制御部210は、それぞれ1つの集積回路等で構成されてもよいし、複数の集積回路等が組み合わされて構成されてもよい。また、第1の制御部110及び画像処理回路140は、1つの集積回路等で構成されてもよい。また、第1の制御部110の位置制御部111、撮像制御部112、照明制御部113、通信制御部114、記録制御部115、測定制御部116、及び演算部117は、それぞれ1つの集積回路等で構成されてもよいし、複数の集積回路等が組み合わされて構成されてもよい。また、位置制御部111、撮像制御部112、照明制御部113、通信制御部114、記録制御部115、測定制御部116、及び演算部117のうち2つ以上が1つの集積回路等で構成されてもよい。同様に、第2の制御部210のシステム制御部211、表示制御部212、記録制御部213、及び通信制御部214は、それぞれ1つの集積回路等で構成されてもよいし、複数の集積回路等が組み合わされて構成されてもよい。また、システム制御部211、表示制御部212、記録制御部213、及び通信制御部214のうち2つ以上が1つの集積回路等で構成されてもよい。これら集積回路の動作は、例えば第1の記録部130又は第2の記録部230や集積回路内の記録領域に記録されたプログラムに従って行われる。
<測定システムの動作>
測定システム1の動作について説明する。まず、観察装置100の動作について、図6に示すフローチャートを参照して説明する。図6に示すフローチャートは、観察装置100、コントローラ200及び試料300の設置が終わり、測定の準備が完了した後に開始する。
ステップS101において、第1の制御部110は、電源をオンにするか否かを判定する。第1の制御部110は、例えば予め決められた時間毎に電源をオンにすると設定されており、電源をオンにする時間になったとき、電源をオンにすると判定される。あるいは、観察装置100は、例えばBluetooth Low Energyといった低消費電力で動作する通信手段を用いてコントローラ200と常時通信しており、コントローラ200から当該通信手段を用いて電源をオンにする指示を受けたとき、電源をオンにすると判定される。電源をオンにしないとき、観察装置制御処理はステップS101を繰り返して待機する。一方、電源をオンにすると判定されたとき、観察装置制御処理はステップS102に進む。
ステップS102において、第1の制御部110は、電源をオンに切り替えて、観察装置100の各部に電力を投入する。試料300の測定を実際に行うときのみ等、必要なときにのみ電源を投入することで、省電力が実現される。特に、観察装置100の電源がバッテリーであるとき、観察装置100の駆動時間が長くなる等の効果が得られる。一方で、撮影間隔が短く設定されている場合等、電源のオン及びオフに係る動作によって消費される電力が待機電力よりも大きくなる場合には、第1の制御部110は、これを判定して、全体としての消費電力が抑えられるようにしてもよい。
ステップS103において、第1の制御部110は、コントローラ200との通信を確立する。ここで用いられる通信手段は、例えばWi−Fi(登録商標)といった、高速の通信手段である。
ステップS104において、第1の制御部110は、コントローラ200から確立した通信を介して情報を取得するか否かを判定する。例えばコントローラ200から情報が送信されているとき、情報を取得すると判定される。情報を取得しないとき、観察装置制御処理はステップS106に進む。一方、情報を取得するとき、観察装置制御処理はステップS105に進む。
ステップS105において、第1の制御部110は、コントローラ200から送信された情報を取得する。ここで取得される情報には、例えば撮影条件、撮影間隔、その他パラメータ等を含む測定の条件、測定結果の記録の方法、測定結果の送信条件等の条件情報が含まれる。その後、観察装置制御処理はステップS106に進む。
ステップS106において、第1の制御部110は、スキャンを行うか否かを判定する。ステップS106において、スキャンを行わないと判定されたとき、観察装置制御処理はステップS108に進む。一方、スキャンを行うと判定されたとき、観察装置制御処理はステップS107に進む。なお、ステップS106において、スキャンを行うと判定されるのは、例えば、測定システムによる測定が開始された初めのときであったり、ユーザがスキャンを行うことを指示した場合であったり、繰り返し行われる測定の直前であったり、ユーザが設定した時間間隔に基づく場合であったり等、種々の条件があり得る。種々の条件は、例えば、試料300の全域に渡って広範囲に測定したい場合であったり、容器310の容器周縁部の位置が不明である場合であったり、容器310の容器周縁部にかかる位置の測定である場合であったり等、容器周縁部近傍における撮影であって照明制御が要求される場合をさらに含む。
ステップS107において、第1の制御部110は、スキャン処理を行う。スキャン処理について、図7に示すフローチャートを参照して説明する。本スキャン処理では、測定システム1が適切な照明制御の下で撮影できるようにするために、主に上述の第1の制御部による容器310の容器周縁部検出に係る処理と照明制御に係る処理とを行う。
ステップS201において、第1の制御部110は、撮像部170の位置を初期位置に移動させるように移動機構160の動作を制御する。このとき、初期位置は容器310の中心位置と一致しているものとして以下説明をするが、初期位置は容器310の中心位置に限定されない。例えば、第1の制御部110は、最初に撮像ユニット120を移動させて容器310の容器周縁部を検出するまで走査し、容器周縁部を初期位置とするようにしてもよい。なお、初期位置は、容器種の設定及び容器設置場所の指定によって容器310の位置を特定することによって設定してもよいし、ユーザによる座標データの入力によって設定してもよいし、予め走査して画像を取得し、当該画像の解析に基づいて設定してもよい。また、第1の制御部110は、走査時のX及びY方向の移動量を、ユーザの入力に基づくコントローラ200の出力又は事前設定されて第1の記録部130に記録された値に基づき取得する。これら初期設定の終了後、スキャン処理はステップS202へ進む。
ステップS202において、第1の制御部110は、X+方向にある第2の光源184bを点灯させる。ここでは、第2の光源184bが照明として選択される。例えば、撮像ユニット120が、初期位置からX+方向へ走査を開始することに応じて、第2の光源184bを選択し、つまり、点灯させる照明は、設定する走査方向に基づいて走査方向と同じ方向に位置する照明を選択してもよい。第2の光源184bの点灯後、スキャン処理はステップS203へ進む。なお、上述のように、X+方向にある第2の光源184bを点灯させることは、X+方向にある第2の放射部183bから照明光を放射させることとしてもよい。また、ステップS202において、X−方向にある第1の光源184aを点灯させてもよい。つまり、走査方向に基づき、走査方向と反対側に位置する照明を選択してもよい。
ステップS203において、第1の制御部110は、撮像部170に撮影をさせる。この際、第1の制御部110は、撮像ユニット120の位置を取得する。また、第1の制御部110は、撮像光学系172を所定の設定とする。撮影をした後に、スキャン処理はステップS204へ進む。また、スキャン処理においては、画質を多少犠牲にしても概要が把握されやすいように、測定の場合と比較して以下のように設定されてもよい。
測定における画像取得では、照明光として一般照明である偏射照明が用いられるが、位相差コントラスト照明が用いられてもよい。偏射照明が用いられることで、撮影時の焦点が多少ずれていても概要が把握されやすい画像が取得され得る。また、位相差コントラスト照明が用いられるとき、デフォーカス時に複数の像が重なったような画像が取得され得る。これは、シェーディングのむらを低減させるために発光ダイオード(LED)が複数設けられていることにより生じる。本実施形態では、スキャン時は、複数のLEDのうち、一部が照明として点灯しているため、撮影時の焦点が多少ずれていても概要が把握されやすい画像が取得され得る。
例えば、撮像光学系172がズーム光学系であるとき、撮像光学系172の設定を広角側、すなわち、焦点距離が短くなるように設定する。また、第1の制御部110は、撮像光学系172の絞りの開口径を小さくさせ、被写界深度を深くさせる。このとき、第1の制御部110は、絞りの開口径を小さくした分だけ、照明部180に照明光の強度を上げさせてもよい。また、第1の制御部110は、撮像素子174の感度を増加させてもよい。例えば、撮像素子174の複数の画素で得られた輝度値を加算する画素加算によっても、増感が実現され得る。
ステップS204において、第1の制御部110は、容器310の容器周縁部検出処理及び撮像ユニット120の照明制御を行う。容器周縁部検出処理について、図8に示すフローチャートを参照して説明する。
ステップS301において、第1の制御部110は、現在、撮像ユニット120が移動機構160によってX方向、Y方向の何れの方向に移動させられているのかに係る情報を取得する。なお、本ステップを通過するのが繰り返し処理の初回である場合には、例えば、第1の制御部110の取得する撮像ユニット120の現在の移動方向はX方向であるとする。その後、容器周縁部検出処理はステップS302へ進む。
ステップS302において、第1の制御部110は、ステップS301で認識した現在の撮像ユニット120の移動方向に容器310の容器周縁部を検出したか否かを判定する。容器周縁部の検出について図5を参照して上述したが、ここで、図9を参照してより詳細に説明する。図9は、AV値、すなわち絞り値と、TV値、すなわちシャッタ速値とを固定とした場合の撮像ユニット120の位置と、撮像部170の取得した画像信号に含まれる輝度値との関係を示している。この場合、画像信号に含まれる輝度情報又は画像信号から検出される輝度値の変化は、被写体の輝度の変化に従う。したがって、この場合輝度値は、撮像部170の受光する光束の量、すなわち光量によって変化する。図9に示す撮像ユニット120の位置と輝度値との関係は、撮像ユニット120がX方向に移動させられる際の照明制御の一例を説明するためのものであり、第1の照明部180aと第2の照明部180bとの間における照明の切り替え制御に係るものである。なお、容器310のX方向における端、すなわち容器周縁部の位置はX1及びX2である。図9において、破線は、第1の制御部110が第2の照明部180bを点灯させ、撮像ユニット120をX+方向へ移動させている場合を示し、実線は、第1の制御部110が第1の照明部180aを点灯させ、撮像ユニット120をX−方向へ移動させている場合を示す。ここで、容器310内の配置された細胞324は、一般にほぼ均一な成分であるため、撮像範囲内の位置に応じた輝度(透過度)の変化量は比較的小さいものとなる。したがって、細胞324の位置に応じた輝度の変化量は、容器310の容器周縁部での照明光の散乱による輝度の変化量に比較して十分小さいものとなる。
上述した通り、容器310の容器周縁部において照明光が散乱すると、撮像部170の取得する光量は減少し、輝度値も減少する。まず、撮像ユニット120が容器310のX−方向の端の位置、すなわちX方向の位置X1から、X+方向に進んでいるときについて説明する。このとき、第2の放射部183bが照明光を放射する。ただし、このときの撮像ユニット120の初期位置は、第2の放射部183bの放射する照明光が容器310の有する容器上面360へ入射でき、かつ、撮像部170が当該反射光を取得できる位置であるとする。
このようなとき、図9中に破線で示すように、撮像部170の検知する輝度値は、X1からしばらくX+方向へ進んでも大きな変化せず、撮影に適切な照明は保たれる。一方で、さらにX+方向へ進み、撮像ユニット120が容器310のX+方向の端の位置、すなわちX方向の位置X2に到達したとき、第2の放射部183bの放射する照明光のうち、容器310の容器周縁部で散乱する照明光の割合が急激に増加する。すなわち、図9中に破線で示すように、露出変化領域R2において、撮像部170の取得できる反射光の光量は急激に減少し、輝度値も急激に低下する。
第1の制御部110は、この露出変化領域R2の検知に基づいて容器周縁部を検出する。第1の放射部183aが照明光を放射して、容器310のX+方向の端の位置からX−方向へ進む場合も上述の場合と同様であり、また、その際の輝度値の変化は図9中に実線で示す通りである。この場合では、第1の制御部110は、露出変化領域R1の検知に基づいて容器周縁部を検出する。以上のように、第1の制御部110は、撮像ユニット120を移動させながら撮影を行う際、その進行方向に配置されている放射部から照明光を放射させ、画像信号、例えば画像信号が含む輝度値、が変化したときに照明光を放射する放射部を切り替える。第1の制御部110が容器310の縁、すなわち容器周縁部を検出した場合、容器周縁部検出処理はステップS303へ進み、検出しなかった場合、容器周縁部検出処理は終了し、スキャン処理におけるステップS205へ進む。また、第1の制御部110は、容器周縁部を検出したときの撮像ユニット120の位置情報を取得し、これを第1の記録部130又は第2の記録部230へ記録する。なお、照明光が散乱する原因として、容器310の容器周縁部の他に、細胞等の観察対象も考えられる。ただし、容器周縁部における照明光の散乱と細胞等の観察対象における散乱とは、上記のように例えば、その強度又は程度が互いに異なるために区別可能である。
ステップS303において、第1の制御部110は、照明を切り替える。本実施形態において第1の制御部110は、その時点での照明が第1の放射部183aの放射する照明光であった場合は、照明光を放射する放射部を、第1の放射部183aから第2の放射部183bへと切り替える。その時点での照明光を放射する放射部が第2の放射部183bであった場合は、第1の制御部110は、照明光を放射する放射部を第1の放射部183aへと切り替える。照明を切り替えた後、容器周縁部検出処理はステップS304へ進む。
ステップS304において、第1の制御部110は、当該位置において試料300の撮影を行う。第1の制御部110による撮影の動作は、ステップS203において述べた動作と同様である。撮影をした後に、容器周縁部検出処理はステップS305へ進む。
ステップS305において、第1の制御部110は、ステップS304において撮影して取得した画像が適性であるか否かを判定する。ここで、取得した画像が適正である場合は、例えば、撮像光学系172が、照明光学系182の放射した照明光のうち容器上面360によって反射された照明光、すなわち反射光を十分に取得できた場合である。撮影した画像データから輝度値を算出し、算出した輝度値が所定値よりも大きいことを判定すればよい。また、算出する輝度値は、取得した画像データの全体の輝度値(平均輝度値)を採用すればよい。また、画像データの一部の部分領域の輝度値や部分領域の輝度値のピーク値やボトム値を採用してよい。撮影して取得した画像が適正であると判定された場合、容器周縁部検出処理はステップS306へ進み、適正ではないと判定された場合、容器周縁部検出処理はステップS307へ進む。
ステップS306において、第1の制御部110は、ステップS304で取得した画像が適正であるため、これをステップS203において撮影して取得した画像と置き換える。すなわち、第1の制御部110は、本ステップで取得した画像を、記録する画像として選択する。このとき、第1の制御部110は、照明について変更をしない。また、本ステップでは、照明を切り替えた後に撮影した結果が適正であるという状態のため、第1の制御部110は、ここで、ステップS302で記録した容器周縁部に係る位置情報について真に容器周縁部であったと判定する。その後、容器周縁部検出処理は終了し、スキャン処理におけるステップS205へ進む。
ステップS307において、第1の制御部110は、照明をステップS303において切り替える前のものに戻し、ステップS304で取得した画像は破棄する。すなわち、ステップS203で取得した画像を記録する画像として記録する。また、照明を切り替える前後ともに撮影した結果が適正ではない状態のため、第1の制御部110は、ここで、ステップS302で記録した容器周縁部に係る位置情報のうち、当該位置に関する情報を破棄する。その後、容器周縁部検出処理はステップS308へ進む。
ステップS308において、第1の制御部110は、現在の撮像ユニット120の位置、点灯していた照明光学系の情報等を、エラー情報として登録する。その後、容器周縁部検出処理は終了し、スキャン処理におけるステップS205へ進む。なお、エラー登録した後にステップS203へ戻って再度撮影を行うようにしてもよい。なお、上述のステップS302乃至ステップS305及びステップS307の処理において、照明光は容器310の容器周縁部ではなく、細胞324等の観察物によって散乱していたと判定されることもある。第1の制御部110は、このような細胞324等が存在する位置の位置情報を、重点的にデータを取るべき領域の周縁部であるとして記録してもよい。また、細胞324等の観察物によって照明光が散乱していた場合、その近傍でも同様に適正画像が取得できない可能性がある。そのため、これらエラー登録された撮影箇所又はその近傍の位置情報及び画像に基づいて、細胞324等の観察物の有無を判定できるようにしてもよい。
また、撮像ユニット120の1回の移動あたりの移動量が適切ではない場合にも、照明の切り替えの前後ともに適正画像が取得できない可能性がある。このような場合、第1の制御部110は、移動量の再設定を行うようにしてもよいし、後のステップの説明の際に後述するように撮像ユニット120の移動方向の設定を反転させた後、再度、容器310の容器周縁部を検出するまで移動を続けるようにしてもよい。上述のように、第1の制御部110は、撮影して新たに取得した画像又は画像信号に含まれる輝度情報が、それ以前に取得した画像又は画像信号に含まれる輝度情報から変化したこと、すなわち画像信号に含まれる輝度情報の変化又は時間的変化に基づいて容器周縁部を検出し、また、照明制御を行う。
ステップS205において、第1の制御部110は、X方向のスキャンを終了するか否かを判定する。例えば、第1の制御部は、容器周縁部検出処理におけるステップS304において適正画像が取得されたと判定された場合等、当該撮像ユニット120の位置に容器310の容器周縁部があると検出したときにX方向のスキャンを終了すると判定する。また、終了と判定される場合には、当該スキャン処理が初回ではない場合等、容器周縁部の位置が既知であり、かつ、既知の位置情報に基づいて当該位置が容器周縁部であると判定される場合も含まれる。X方向のスキャンを終了すると判定したときは、スキャン処理はステップS207へ進み、終了しないと判定したときは、ステップS206へ進む。
ステップS206において、第1の制御部110は、移動機構160に撮像ユニット120をX方向へ所定量移動させる。その後、スキャン処理はステップS203へ戻る。
ステップS207において、第1の制御部110は、スキャン処理を終了するか否かを判定する。第1の制御部110がスキャン処理を終了すると判定するのは、例えば、所定範囲のスキャンが終了したときである。所定範囲は、例えば事前設定に基づいた範囲である。終了するときは、スキャン処理は観察装置制御処理におけるステップS108へ進み、終了しないときは、スキャン処理はステップS208へ進む。
ステップS208において、第1の制御部110は、移動機構160に撮像ユニット120をY方向へ所定量移動させる。また、第1の制御部110は、X方向の移動方向の設定を反転させる。すなわち、例えば、本ステップ直前での撮像ユニット120の移動において、その移動方向がX+方向であった場合は、第1の制御部110は、ここで移動方向をX−方向へ切り替える。その後、スキャン処理はステップS203へ戻る。
なお、例えば、第1の制御部110が撮像ユニット120をY方向へ所定量移動させた直後の、ステップS203乃至S206における繰り返し処理において、例えば、X方向及びY方向ともに容器周縁部を所定回数連続して検出した場合には、当該位置は、X方向及びY方向ともに容器周縁部であると判定される。上述の場合に限定されないが、第1の制御部110は、X方向及びY方向ともに容器周縁部であると判定されたとき、当該位置においてスキャン処理を完了すると判定できる。スキャンの初期位置を容器310の中心としていたため、ここまでにスキャンが終了した領域は、初期位置に対してY+方向の領域のみである。そのため、初期位置に対してY−方向の領域もスキャンするために、第1の制御部110は、撮像ユニット120をスキャン処理の初期位置まで移動させた後に、Y方向の移動方向の設定を反転させ、対向の容器周縁部に至るまで上述のスキャン処理を再度実行してもよい。また、Y方向の移動量の設定において、Y+方向とY−方向へ交互に移動させるようにして、試料300の全領域をスキャンするようにしてもよい。
スキャン処理が終了した後の観察装置制御処理について、図6を再び参照して説明する。スキャン処理の後、観察装置制御処理はステップS108に進む。ステップS108において、第1の制御部110は、マニュアルによる位置指定があったか否かを判定する。すなわち、コントローラ200から撮影位置を指定しての撮影の指示があったか否かを判定する。例えば、ユーザは、スキャン処理で得られた試料300全体の画像、エラー登録された位置の情報等に基づいて、位置を指定することができる。また、スキャン処理で得られた画像に限らず、過去に測定に係る撮影で得られた画像に基づいても、ユーザは撮影位置を指定することができる。撮影位置を指定しての撮影の指示がないとき、観察装置制御処理はステップS110に進む。一方、撮影の指示があるとき、観察装置制御処理はステップS109に進む。
ステップS109において、第1の制御部110は、移動機構160を動作させて、指示された位置に撮像部170を移動させ、撮像部170に当該位置における画像の取得を行わせる。第1の制御部は、得られた画像を第1の通信装置192を介してコントローラ200へと送信する。その後、観察装置制御処理はステップS110に進む。
ステップS110において、第1の制御部110は、測定を開始するタイミングであるか否かを判定する。測定を開始するタイミングでないとき、処理はステップS112に進む。一方、測定を開始するタイミングであるとき、処理はステップS111に進む。測定を開始するタイミングは、例えば1時間毎等と予め定められていてもよい。また、測定が開始される条件は、時間によらず、例えば細胞324又は培地322の状態に応じてもよい。本実施形態においては、測定を開始するタイミングになるごとに、繰り返し測定が行われる。
ステップS111において、第1の制御部110は、測定処理を行う。すなわち、第1の制御部110は、移動機構160に指令して撮像部170の位置を変えながら、撮像部170に撮影を繰り返し行わせる。第1の制御部110は、得られた画像に対して、所定の処理を行い、要求されている結果を第1の記録部130に記録する。その後、処理はステップS112に進む。
測定処理における移動機構160による撮像部170の移動範囲は、例えば、第1の制御部110がスキャン処理で取得して、第1の記録部130又は第2の記録部230へ記録した容器310の容器周縁部の位置情報に基づいて決められる。この移動範囲は、ユーザによって別途設定されてもよい。
測定処理で撮影される範囲は、例えば次のような範囲である。例えば、測定処理で撮影される範囲は、スキャン処理によって得られた容器310の容器周縁部の位置情報に基づいて、試料300が配置されていると特定された領域である。あるいは、測定処理で撮影される範囲は、測定の開始当初に例えば細胞のコロニー等、注目する細胞があると特定された領域である。あるいは、測定処理で撮影される範囲は、複数回の撮影で、細胞等に注目すべき変化が生じている領域である。細胞のコロニー等、注目する細胞があるか否か、細胞等に注目すべき変化が生じている領域があるか否かの判定は、スキャン処理の際に容器310の容器周縁部と判定された位置以外の照明光が散乱させられた位置の情報に基づいて行ってもよい。
なお、上述の説明では、スキャン処理においては静止画撮影が行われるものとしたが、これに限らない。スキャン処理においても、測定処理においても、ここで説明したように、撮像部170の位置座標ごとに静止画を撮影し、得られた静止画に基づく解析が行われてもよく、動画撮影が行われてもよい。
以上述べたように、本実施形態に係る技術は、容器周縁部の位置を輝度値の変化に基づいて取得し、また容器周縁部の検出又は取得した容器周縁部の位置情報に基づいて照明制御を行う。すなわち、第1の制御部110は、画像信号に基づいて容器周縁部の位置を検出し、検出した容器周縁部の位置情報に基づいて照明部の有する照明光を放射する放射部のうち、何れの放射部に照明光を放射させるか決定し、これに応じて必要であれば照明光を放射する放射部を切り替える。また、画像信号に基づく容器周縁部の位置の検出は、当該画像信号に含まれる輝度値の変化、特に輝度値の低下に基づく。
この照明制御によって、容器周縁部の位置が不明であるときでも、容器周縁部の近傍を撮影するときでも、過不足のない適切な照明環境の下で撮影及び測定を行うことができる。したがって、本実施形態に係る技術の利用によって測定システム1及び観察装置100は、省エネルギーで動作でき、かつ良好な画像を取得できる。
測定処理で行われる画像取得について図4を参照して上述したが、このように得られた、第1の記録部130に記録される測定結果のデータの構成の一例を図10に示す。図10に示すように、測定結果700には、1回目の測定で得られた第1のデータ701、2回目の測定で得られた第2のデータ702等が含まれる。これらのデータの数は、測定の回数に応じて増減する。
例えば第1のデータ701に注目すると、第1のデータ701には、以下の情報が含まれる。すなわち、第1のデータ701には、開始条件710が含まれる。この開始条件710は、ステップS110で測定開始と判定された条件を含んでいる。例えば測定開始時刻等が予め決められており、当該決められた測定開始時刻で測定が開始されたとき、測定開始時刻が開始条件710として記録される。
また、第1のデータ701には、第1の画像情報721、第2の画像情報722、第3の画像情報723等が記録されている。これらのデータは、それぞれ1回の撮影において取得されたデータの集合である。第1の画像情報721に注目すると、第1の画像情報721には、以下の情報が含まれる。すなわち、第1の画像情報721には、順番731と、位置732と、Z位置733と、撮影条件734と、画像735とが含まれる。順番731は、位置を変更しながら撮影を繰り返す際の撮影毎の通し番号である。位置732は、撮影位置のX座標及びY座標を含む。X座標及びY座標は、移動機構160の制御で用いられる値であり、例えば位置制御部111から取得され得る。Z位置733は、撮影位置のZ座標を含む。Z座標は、撮像光学系172の制御に用いられる値であり、例えば撮像制御部112から取得され得る。撮影条件734は、シャッタースピードや絞り等の露出条件その他の撮影条件を含む。ここでいう撮影条件は、撮影毎に異なっていてもよいし、第1のデータ701内に含まれる各撮影では共通であってもよいし、測定結果700に含まれる全ての撮影で共通であってもよい。画像735は、撮影により得られた画像データである。第2の画像情報722、第3の画像情報723等も、それぞれ同様に、順番、位置、Z位置、撮影条件、及び画像の情報を含む。なお、Z方向に撮影面を変更しない場合には、Z位置の情報は省略されてもよい。
また、第1のデータ701には、解析結果740が含まれる。解析結果740は、例えば画像処理回路140を用いて測定された細胞又は細胞群の数を表す細胞数741等を含む。また、解析結果740には、Z位置が共通の画像を合成することで作成された平面の画像が含まれ得る。また、解析結果740には、全ての画像735を合成することで作成された3次元画像が含まれ得る。また、解析結果740には、深度合成画像が含まれてもよい。
第2のデータ702にも、第1のデータ701と同様に、開始条件、第1の画像データ、第2の画像データ、第3の画像データ等、及び解析結果等が含まれ得る。
さらに、測定結果700には、第1のデータ、第2のデータ等に基づいて得られた、測定全体の解析結果709も含まれ得る。測定結果700の全てが1つのファイルとして記録されてもよいし、測定結果700の一部が1つのファイルとして記録されてもよい。
図6に戻って説明を続ける。ステップS112において、第1の制御部110は、コントローラ200から情報の要求があるか否かを判定する。コントローラ200からは、例えばステップS111の測定で得られたデータが要求される。情報の要求が無いとき、処理はステップS114に進む。一方、情報の要求があるとき、処理はステップS113に進む。
ステップS113において、第1の制御部110は、コントローラ200から要求された情報を第1の通信装置192を介してコントローラ200に送信する。その後、処理はステップS114に進む。
ステップS114において、第1の制御部110は、観察装置制御処理を終了するか否かを判定する。観察装置制御処理を終了するとき、当該処理は終了する。例えば、一連の測定が終了し、観察装置100がインキュベータから取り出されるような状況において、観察装置制御処理は終了する。一方、終了しないとき、ステップS115に進む。
ステップS115において、第1の制御部110は、電源をオフにするか否かを判定する。例えば、ステップS111で行われた測定から、次に行われる測定までの待機時間が長いとき、電力の消費を抑制するために、電源をオフにすると判定する。電源をオフにしないとき、処理はステップS104に戻る。一方、電源をオフにすると判定されたとき、処理はステップS116に進む。
ステップS116において、第1の制御部110は、観察装置100の各部の電源をオフにする。その後、処理はステップS101に戻る。以上のようにして、観察装置100は、繰り返し測定を行う。
次に、コントローラ200の動作について、図11A及び図11Bに示すフローチャートを参照して説明する。図11A及び図11Bのフローチャートに示す処理は、例えば観察装置100、コントローラ200及び試料300の設置が終わった後に開始する。
ステップS401において、第2の制御部210は、本実施形態に係る測定プログラムが起動されたか否かを判定する。測定プログラムが起動していないとき、処理はステップS401を繰り返す。コントローラ200は、本実施形態に係る測定システムのコントローラとしての機能に限らず、種々の機能を果たし得る。したがって、測定プログラムが起動していないとき、コントローラ200は、測定システム1以外として動作をしてもよい。測定プログラムが起動したと判定されたとき、処理はステップS402に進む。
ステップS402において、第2の制御部210は、観察装置100との通信を確立させる。この動作は、観察装置100による観察装置制御のステップS103と対になっており、観察装置100及びコントローラ200による動作によって、観察装置100とコントローラ200との間の通信が確立される。その後、コントローラ制御処理はステップS403へ進む。また、ここで確立される通信は、観察装置制御のステップS103と無関係な、例えば後述の観察装置100の電源をオンにするための指示を送信するための低消費電力な通信でもよい。
ステップS403において、第2の制御部210は、観察装置100の電源をオンにすることをユーザが要求しているか否かを判定する。例えば観察装置100の電源をオンにする命令が入力装置274を介して入力されたとき、電源をオンにすることが要求されていると判定される。電源をオンにすることが要求されていないとき、処理はステップS405に進む。一方、電源をオンにすることが要求されているとき、処理はステップS404に進む。ステップS404において、第2の制御部210は、観察装置100の電源をオンにすべき旨の命令を観察装置100へと送信する。その後、処理はステップS405に進む。この動作は、観察装置100による観察装置制御のステップS101と対になっており、コントローラ200から観察装置100へと送信された電源をオンにすべき旨の命令を受信した観察装置100では、ステップS102の処理により電源がオンに切り替えられる。なお、ここで用いられる通信手段は、例えばBluetooth Low Energy等の低消費電力な通信方法によってもよい。
ステップS405において、第2の制御部210は、観察装置100に向けて情報を送信することをユーザが要求しているか否かを判定する。例えば情報送信に係る命令が入力装置274を介して入力されたとき、情報送信が要求されていると判定される。ここで送信の要求がなされる情報は、測定の条件等である。情報送信が要求されていないとき、処理はステップS407に進む。一方、情報送信が要求されているとき、処理はステップS406に進む。ステップS406において、第2の制御部210は、入力装置274を介して入力された情報を観察装置100へと送信する。その後、処理はステップS407に進む。この動作は、観察装置100による観察装置制御のステップS104と対になっており、観察装置100は、コントローラ200から観察装置100へと送信された情報をステップS105の処理により取得する。
ステップS407において、第2の制御部210は、観察装置100がスキャン処理を行うことをユーザが要求しているか否かを判定する。例えばスキャン処理実行に係る命令が入力装置274を介して入力されたとき、スキャン処理が要求されていると判定される。スキャン処理が要求されていないとき、処理はステップS409に進む。一方、スキャン処理が要求されているとき、処理はステップS408に進む。ステップS408において、第2の制御部210は、スキャン処理を開始する旨の指示を観察装置100へと送信する。その後、処理はステップS409に進む。この動作は、観察装置100による観察装置制御のステップS106と対になっており、観察装置100は、コントローラ200から観察装置100へと送信されたスキャン処理開始指示に基づいて、ステップS107でスキャン処理を実行する。
ステップS409において、第2の制御部210は、観察装置100による撮影について、撮影すべき位置がユーザによって手動で指定されたか否かを判定する。例えば撮影位置が入力装置274を介して入力されたとき、撮影位置が指定されていると判定される。撮影位置が指定されていないとき、処理はステップS411に進む。一方、撮影位置が指定されているとき、処理はステップS410に進む。ステップS410において、第2の制御部210は、入力装置274を介して入力された撮影位置を観察装置100へと送信する。その後、処理はステップS411に進む。この動作は、観察装置100による観察装置制御のステップS108と対になっており、コントローラ200から観察装置100へと送信された撮影位置に応じて、ステップS109の処理で位置合わせが行われ、当該位置における画像が取得されて送信される。
ステップS411において、第2の制御部210は、観察装置100の測定の開始をユーザが要求しているか否かを判定する。例えば観察装置100に測定を開始させる命令が入力装置274を介して入力されたとき、測定開始が要求されていると判定される。測定開始が要求されていないとき、処理はステップS413に進む。一方、測定開始が要求されているとき、処理はステップS412に進む。ステップS412において、第2の制御部210は、測定を開始すべき旨の命令を観察装置100へと送信する。その後、処理はステップS413に進む。この動作は、観察装置100による観察装置制御のステップS110と対になっており、コントローラ200から観察装置100へと送信された命令に応じて、ステップS111の処理で測定が行われる。
ステップS413において、第2の制御部210は、観察装置100から情報を取得することをユーザが要求しているか否かを判定する。例えば情報要求に係る命令が入力装置274を介して入力されたとき、情報要求されていると判定される。要求される情報は、例えば観察装置100によって得られた試料300に関する情報である。この情報は、例えば、試料300に係る画像データや、試料300に含まれる細胞又は細胞群の数等、図9を参照して説明した測定結果700に含まれる情報であり得る。情報要求がされていないとき、処理はステップS415に進む。一方、情報要求がされているとき、処理はステップS414に進む。ステップS414において、第2の制御部210は、ユーザが要求している情報を送信すべき旨の命令を観察装置100へと送信する。その後、処理はステップS415に進む。この動作は、観察装置100による観察装置制御のステップS112と対になっており、コントローラ200から観察装置100へと送信された情報要求に応じて、ステップS113の処理で要求された情報が観察装置100からコントローラ200へと送信される。
ステップS415において、第2の制御部210は、ステップS414で要求した情報を受信したか否かを判定する。情報を受信していないとき、処理はステップS417に進む。一方、情報を受信したとき、処理はステップS416に進む。ステップS416において、第2の制御部210は、受信した情報を表示装置272に表示させたり、第2の記録部230に記録したりする。その後、処理はステップS417に進む。
ステップS417において、第2の制御部210は、観察装置100の電源をオフにすることをユーザが要求しているか否かを判定する。例えば観察装置100の電源をオフにする命令が入力装置274を介して入力されたとき、電源をオフにすることが要求されていると判定される。電源をオフにすることが要求されていないとき、処理はステップS419に進む。一方、電源をオフにすることが要求されているとき、処理はステップS418に進む。ステップS418において、第2の制御部210は、観察装置100の電源をオフにすべき旨の命令を観察装置100へと送信する。その後、処理はステップS419に進む。この動作は、観察装置100による観察装置制御のステップS115と対になっており、コントローラ200から観察装置100へと送信された電源をオフにすべき命令に応じて、ステップS116の処理で電源がオフにされる。
ステップS419において、第2の制御部210は、測定プログラムが終了したか否かを判定する。測定プログラムが終了しているとき、処理はステップS401に戻る。一方、測定プログラムが終了していないとき、処理はステップS403に戻る。すなわち、上述の動作は、繰り返し実行される。
以上のように、測定システム1による測定は、予め設定されたタイミングで、予め設定された条件で繰り返し行われ得る。測定のタイミングや条件の設定は、コントローラ200を用いてユーザによって入力され、観察装置100に設定されてもよい。また、測定システム1による測定は、ユーザがコントローラ200を用いて観察装置100に指示をすることで、ユーザによる指示の都度に手動で行われることもある。
<測定システムの利点>
本実施形態に係る測定システム1によれば、インキュベータ内に試料300が静置されたままの状態で、広い範囲の細胞の画像を得ることができる。ここで、画像は、時間経過に従って繰り返し得られる。したがって、ユーザは、例えば細胞が経時的に変化していく様子を知ることができ、それを解析することができる。本実施形態では、スキャン処理が行われる。スキャン処理では、第1の制御部110は、撮像ユニット120が取得した画像信号に基づいて、複数の放射部のうち何れの放射部から照明光を放射するかを制御する。すなわち、このスキャン処理によって、ユーザは、試料300の容器周縁部の近傍においても、適切な照明制御の下、画像及び測定データの取得が可能である。また、スキャン処理によって得られた画像に基づけば、その後の測定において重点的にデータを取るべき領域に係る情報を取得することができる。さらに、本実施形態に係る技術は、細胞324等の観察物の位置も輝度値の変化に基づいて取得することができる。そのため、上述の重点的にデータを取るべき領域の取得には、当該領域の発生、消滅、変形等に係る情報も含まれる。このように、本実施形態に係る技術は、スキャン処理において画像信号の変化、例えば撮像ユニット120の移動に伴う輝度値の低下、に基づいて容器周縁部を検出する。また、本実施形態に係る技術は、得られた容器周縁部の位置情報に基づき照明光を放射する放射部を決定し、必要に応じて切り替え、過不足ない照明環境の下で、省エネルギーで動作し、かつ、良好な画像を取得できる。
[第2の実施形態]
本発明における第2の実施形態について説明する。ここでは、第1の実施形態との相違点について説明し、同一の部分については同一の符号を付してその説明を省略する。第1の実施形態では、第1の制御部110は、2つの照明光学系の有する放射部のうち何れが照明光を放射するかを切り替えていた。これに対して、本実施形態では図12に示すように撮像ユニット120は、第3の放射部183cと第4の放射部183dとをさらに有する。第1の制御部110は、4つの放射部のうち何れが照明光を放射するかを切り替える。また、撮像ユニット120は、第3の照明光学系と第4の照明光学系とをさらに有していてもよいし、光源184は、第3の光源と第4の光源とをさらに有していてもよい。この場合、放射部は、上述した第1の実施形態の場合と同様に、第3の照明光学系と第3の光源、第4の照明光学系と第4の光源の各々の何れに含まれるものであってもよい。また、第1の制御部110は、撮像ユニット120を移動機構160によってX方向に加えてY方向にも移動させる。
図12を参照して、本実施形態における撮像ユニット120の構成の一例について、詳細に説明する。各々の放射部は、撮像部170又は撮像光学系172に対して概ね点対称の位置に配置されており、撮像部170又は撮像光学系172は、複数の放射部に挟まれるように配置されている。すなわち、第3の放射部183cと第4の放射部183dとは、撮像光学系172に対して概ね対称の位置に配置されている。また、第3の放射部183cの位置と第4の放射部183dの位置とを結ぶ線分は、第1の放射部183aの位置と第2の放射部183bの位置とを結ぶ線分に概ね直交している。例えば、第1の放射部183aは撮像光学系172に対してX−方向に、第2の放射部183bは撮像光学系172に対してY−方向に、第3の放射部183cは撮像光学系172に対してX+方向に、第4の放射部183dは撮像光学系172に対してY+方向に、それぞれ配置されている。上述の撮像ユニット120の構成は一例であり、これに限定されない。X軸方向、Y軸方向のそれぞれに基づいて撮像ユニット120における各々の要素の配置を説明したが、これも上述の配置に限定するものではない。例えば、X軸方向に第2の放射部183bと第4の放射部183dとが位置する配置でもよいし、図12に示す構成例が同一平面上で回転したような配置でもよい。
本実施形態におけるスキャン処理について、図13に示すフローチャートを参照して説明する。本実施形態におけるスキャン処理は、第1の実施形態におけるスキャン処理に、Y方向の容器周縁部検出及び照明制御が加わったものである。
ステップS501において、第1の制御部110は、図7に示すスキャン処理におけるステップS201と同様にして、撮像ユニット120の初期位置及び移動量の設定を行う。その後、処理はステップS502へ進む。ステップS502において、第1の制御部110は、図7に示すスキャン処理におけるステップS202と同様にして、初回の移動方向に合わせて照明を点灯させてもよい。例えば、初回の移動方向の設定がX+方向であるときには、撮像ユニット120の進行方向に位置する第2の照明光学系182bを、照明光を放射する放射部とする。その際、照明光を放射する放射部には、第3の照明光学系、第4の照明光学系の何れか一方又は両方がさらに含まれていてもよい。さらに、第3の照明光学系、第4の照明光学系の点灯に際しては、例えば、Y方向の初回の移動方向の設定がY+方向であれば、第4の照明光学系を選択する等、その移動方向の設定に合わせればよい。その後、処理はステップS503へ進む。ステップS503において、第1の制御部110は、図7に示すスキャン処理におけるステップS203と同様にして、撮影を行う。その後、処理はステップS504へ進む。なお、ステップS502において、初回の移動方向の設定がX+方向であるときに、撮像ユニット120の進行方向と反対に位置する第1の照明光学系182aを、照明光を放射する放射部としてもよい。
ステップS504において、第1の制御部110は、ステップS503における撮影の前に、すなわち、直前の繰り返し処理における後述するステップS508において、撮像ユニット120がY方向へ移動させられているか否かを判定する。ステップS503における撮影が撮像ユニット120のY方向への移動後であったと判定された場合、スキャン処理はステップS601へ進み、Y方向への移動後の撮影ではなかったと判定された場合、スキャン処理はステップS505へ進む。
ステップS505において、第1の制御部110は、図8に示す容器周縁部検出処理を行う。容器周縁部検出処理におけるステップS301では、このとき移動方向はX方向であり、このX方向に容器310の容器周縁部が検出されるか否かを判定する。第1の制御部110は、撮像ユニット120を移動させ、容器周縁部の検出に伴うLED切替等の照明制御を行いながら撮影を繰り返す。容器周縁部検出処理の終了後、スキャン処理はステップS506へ進む。
ステップS506において、第1の制御部110は、図7に示すスキャン処理におけるステップS205と同様にして、X方向のスキャンを終了するか否かの判定を行う。X方向のスキャンを終了すると判定された場合、スキャン処理はステップS507へ進み、終了しないと判定された場合、スキャン処理はステップS509へ進む。ステップS507において、第1の制御部110は、図7に示すスキャン処理におけるステップS207と同様にして、スキャン処理を終了するか否かの判定を行う。スキャン処理を終了すると判定された場合、観察装置制御処理におけるステップS108へ進み、終了しないと判定された場合、スキャン処理はステップS508へ進む。
ステップS508において、第1の制御部110は、図7に示すスキャン処理におけるステップS208と同様にして、撮像ユニット120をY方向へ所定量移動させる。一方で、Y方向移動後は、ステップS208とは異なり、X方向の移動方向の設定を反転させない。その後、スキャン処理はステップS503へ戻る。
ステップS509において、第1の制御部110は、図7に示すスキャン処理におけるステップS206と同様にして、移動機構160に撮像ユニット120をX方向へ所定量移動させる。その後、スキャン処理はステップS503へ戻る。
ステップS601において、第1の制御部110は、図8に示す容器周縁部検出処理を行う。容器周縁部検出処理におけるステップS301では、このとき移動方向はY方向であり、このY方向に容器310の容器周縁部が検出されるか否かを判定する。第1の制御部110は、撮像ユニット120を移動させ、容器周縁部の検出に伴うLED切替等の照明制御を行いながら撮影を繰り返す。容器周縁部検出処理の終了後、スキャン処理はステップS602へ進む。
ステップS602において、第1の制御部110は、X方向の移動方向の設定を反転させる。X方向における移動方向の設定の反転後、第1の制御部110は、移動機構160に撮像ユニット120をX方向へ所定量移動させる。その後、スキャン処理はステップS503へ戻る。以上のようにして、本実施形態では、第1の制御部110は、移動機構160に撮像ユニット120をX方向とY方向とを移動させ、容器310の容器周縁部を検知した際に照明制御を行いながら撮影を行う。なお、ここではX方向のスキャンが終了したときにY方向へ所定量移動する場合を説明したが、これと同様に、Y方向のスキャンを行い、これが終了したときにX方向へ所定量移動するようにしてもよい。
<第2の実施形態の利点>
本実施形態では、第1の制御部110は、照明光を放射する放射部を4つの照明光学系から容器周縁部検出処理において選択する等、試料300の容器周縁部の近傍においても、適切な照明制御の下、画像及び測定データの取得が可能である。さらに、第1の実施形態と比較して、Y方向における容器周縁部の検出に基づく照明制御を含み、また、補助的に使用できる放射部が多いため、より適切な照明制御の実現が可能である。本実施形態に係る技術は、撮像ユニット120と観察物との相対位置の関係に基づいて照明制御を行い、適宜、照明光を放射する放射部を切り替えることで、撮像ユニット120の備える全ての光源184を常に使用する必要がなく、測定システム1の動作に係るエネルギー消費量を低減できる。また、本実施形態に係る技術は、容器周縁部の検出に基づき適切な照明制御を実施できるため、スキャンの方式を制限しない。例えば、上述のようにX方向又はY方向のスキャン終了時にY方向又はX方向へ所定量移動するようにしてもよいし、X方向のスキャンとY方向のスキャンとを交互に行うようにしてもよい。
<変形例>
ここまで、照明光学系182の放射する照明光に基づく撮像部170の取得する光量の変化に伴う輝度値の変化を以って、第1の制御部110が容器周縁部を検知する実施形態を説明してきたが、容器周縁部の位置情報の取得は、撮影した画像に基づいて行ってもよい。図14に画像処理による容器周縁部検出の変形例について説明するための図を示す。図14中に示すように、撮像部170の取得した画像I1には、規則的な特徴、例えば輪郭又は形状等を有する被写体O1と不規則的な特徴を有する被写体O2とが含まれているとする。このようなとき、第1の制御部110は、当該画像の解析によって規則的な特徴を抽出し、これを容器周縁部である又は容器周縁部である可能性がある被写体と判定する。規則的な特徴として、使用可能性のある種々の容器の画像データを、第1の記録部130又は第2の記録部230に予め記録させてもよい。第1の記録部130又は第2の記録部230から読み出した容器の画像データと、撮影した画像データを比較することによって容器周縁部の判定を行ってもよい。
なお、第1の制御部110は、画像に応じて、その画像と隣接する領域を撮影した画像とを共に解析し、当該被写体が容器周縁部であるか否かを総合的に判定してもよい。また、第1の制御部110は、撮影した画像に応じて、その場で照明制御を行って照明を切り替えた後に再度撮影を行い、新たに取得した画像に基づいて容器周縁部であるか否かを判定してもよい。さらに、第1の制御部110は、当該画像解析の結果から当該被写体が容器周縁部か否かの判定を確定できないとき、複数の照明制御によって複数の照明環境で撮影を行い、後に隣接する領域で撮影した画像と共に解析するようにしてもよい。また、第1の制御部110は、撮像ユニット120を移動させながら取得した広範囲の画像を合成して観察又は測定結果を示すようにしてもよいし、合成した広範囲を表す画像に基づいて上述のような解析を行うようにしてもよい。上述のように、第1の制御部110は、撮影して新たに取得した画像又は画像信号に含まれる被写体が、それ以前に取得した画像又は画像信号に含まれる被写体から変化したこと、すなわち画像信号が表す画像に特徴が現れる変化に基づいて容器周縁部を検出し、また、照明制御を行う。このとき、当該特徴は、例えば画像に含まれる規則的な形状である。
ここまで、第1の制御部110が上述した輝度値の変化に基づく照明制御を行う実施形態を説明してきたが、容器310の容器周縁部に係る位置情報を取得した後では、第1の制御部110は、以下のように位置情報に基づく照明制御を行うようにしてもよい。図15に撮像ユニットによる画像取得時の照明制御の変形例について説明するための図を示す。この際、撮像ユニット120の構成及び各々の放射部等の配置は、図12に示したものと同様とする。例えば、図15中に示すように、観測対象範囲R0を容器310の位置情報に基づき決定する。その後、観測対象範囲R0を、例えば、第1の領域R1、第2の領域R2、第3の領域R3、及び第4の領域R4の4つの領域に分割する。第1の制御部110は、撮像ユニット120の現在位置を取得し、これと容器310の位置情報とに基づいて現在の撮影範囲が何れの領域に属するかを判定する。
第1の制御部110は、位置情報に基づく照明制御を以下のように行ってもよい。例えば、撮像ユニット120が第1の領域R1に含まれる位置を撮影するとき、第2の放射部183b又は第3の放射部183cの放射する照明光を主たる照明とする。同様に、第1の制御部110は、例えば、第2の領域R2では第2の放射部183b又は第4の放射部183d、第3の領域R3では第1の放射部183a又は第4の放射部183d、第4の領域R4では第1の放射部183a又は第3の放射部183cの放射する照明光を主たる照明とする。このとき第1の制御部110は、例えば、第1の領域R1では第1の放射部183a又は第4の放射部183d、第2の領域R2では第1の放射部183a又は第3の放射部183c、第3の領域R3では第2の放射部183b又は第3の放射部183c、第4の領域R4では第2の放射部183b又は第4の放射部183dの放射する照明光を補助照明としてもよい。
また、上述の変形例を実施するとき、固定枠410を用いてもよい。使用する固定枠410の種類に応じた容器位置を予め、例えば第1の記録部130、第2の記録部230等に記録しておいてもよい。第1の制御部110は、記録された容器310の位置情報に基づいて上述の照明制御を行ってもよい。
上述の照明制御の規則は、例えば第1の記録部130、第2の記録部230等に記録されている。なお、観測対象範囲R0を4つの領域に分割して照明制御を行うと上述したが、これに限定されない。分割数は、例えば2つ、8つ等の複数であればよく、また、照明光学系182又は放射部の数と異なっていてもよい。また、分割数は、容器や観察対象の種類に応じて適宜変更してもよい。さらに、上述のような分割した領域に基づく照明制御の他に、観測対象範囲R0に含まれる座標又は撮像ユニット120の可動範囲に含まれる座標そのものに基づいて照明制御を行ってもよい。
上述の実施形態では、撮像部170で得られた画像の処理、測定結果の解析等が、観察装置100で行われる例を示したが、これに限らない。処理前のデータが観察装置100からコントローラ200へと送信されることで、これらの処理のうち1つ以上が、コントローラ200の第2の制御部210で行われてもよい。すなわち、装置としてのこの発明は、複数の装置で連携して上述の機能を満足させる等、様々な変形が可能である。
また、上述の実施形態では、観察装置100の筐体101の上面が透明板102で覆われており、試料300が筐体101の上面に配置される例を示したが、これに限らない。もちろん、観察対象の大きさや筐体の形状等によっては透明板がなく、中空でもよい。試料300の形状、観察したい方向等に応じて、観察装置100の形状は適宜に変更され得る。
また、上述の実施形態では、試料300の有する容器310が、照明光に対して透明な部分を含む透明容器であり、この透明容器に観察対象が配置される例を示したが、これに限らない。例えば、観察対象によっては透明容器を用いなくても、第1の制御部110は、観察対象そのものによる照明光の散乱に基づいて観察対象の周縁部を検出し、照明制御を行ってもよい。観察対象は細胞に限らず、例えば、素材表面の検査のような場合であっても、観察対象が照明光を散乱又は反射するものに対して、本実施形態に係る技術は適用できる。
なお、フローチャートで示した各々の処理、及び各々の処理内の各ステップは、その順序を変更可能であり、また、追加及び削除も可能である。これら各々の処理は、第1の記録部130又は第2の記録部230に記録された各々のプログラムによって実行される。各々のプログラムは、予め測定システム1の内部に記録されていても、別の記録媒体に記録されていてもよい。これら測定システム1又は別の記録媒体への記録の方法は様々であり、製品出荷時に記録されるものでもよく、配布された記録媒体が利用されて記録されるものでもよく、インターネット等通信回線が利用されて記録されるものでもよい。
1…測定システム、100…観察装置、101…筐体、102…透明板、105…回路群、110…第1の制御部、111…位置制御部、112…撮像制御部、113…照明制御部、114…通信制御部、115…記録制御部、116…測定制御部、117…演算部、130…第1の記録部、140…画像処理回路、160…移動機構、161…X送りねじ、162…Xアクチュエータ、163…Y送りねじ、164…Yアクチュエータ、168…支持部、170…撮像部、172…撮像光学系、174…撮像素子、180…照明部、180a…第1の照明部、180b…第2の照明部、182…照明光学系、182a…第1の照明光学系、182b…第2の照明光学系、183a…第1の放射部、183b…第2の放射部、183c…第3の放射部、183d…第4の放射部、184…光源、184a…第1の光源、184b…第2の光源、192…第1の通信装置、200…コントローラ、210…第2の制御部、211…システム制御部、212…表示制御部、213…記録制御部、214…通信制御部、230…第2の記録部、270…入出力装置、272…表示装置、274…入力装置、292…第2の通信装置、300…試料、310…容器、322…培地、324…細胞、360…容器上面、410…固定枠、412…固定板、414…孔。

Claims (8)

  1. 試料を撮像する撮像素子と撮像光学系とを含み、画像信号を出力する撮像部と、
    前記撮像光学系の光軸から外れた位置に配置され照明光を放射する複数の放射部を含み、前記試料を照明する照明部と
    を具備する撮像ユニットと、
    記撮像部及び前記照明部の動作を制御する制御部と
    を備え、
    前記制御部は、
    前記撮像素子の前記試料に対する相対位置の変化に際し、前記画像信号に基づき複数の前記放射部のうち何れの放射部から照明光を放射するかを決定する、
    観察装置。
  2. 前記撮像光学系と複数の前記放射部とは、前記撮像ユニットの前記試料と対向する面に前記撮像光学系が複数の前記放射部に挟まれるように配置されている、請求項1に記載の観察装置。
  3. 前記制御部は、前記相対位置の変化に伴う前記画像信号に含まれる輝度値の変化に基づいて、何れの前記放射部から照明光を放射するかを決定する、請求項1に記載の観察装置。
  4. 前記制御部は、前記相対位置の変化に伴い前記輝度値の低下を検出したとき、照明光を放射する前記放射部を切り替える、請求項に記載の観察装置。
  5. 前記制御部は、前記相対位置の変化に伴う前記画像信号が表す画像に特徴が現れる変化に基づいて、何れの前記放射部から照明光を放射するかを決定する、請求項に記載の観察装置。
  6. 前記制御部は、前記相対位置の変化に伴い前記画像信号に含まれる規則的な形状を検出したとき、照明光を放射する前記放射部を切り替える、請求項に記載の観察装置。
  7. 前記制御部は、前記画像信号の変化により前記試料の容器周縁部を検出する、
    請求項1乃至の何れか1項に記載の観察装置。
  8. 複数の前記放射部は、前記撮像素子に対して点対称の位置に配置されている、
    請求項1に記載の観察装置。
JP2016137117A 2016-07-11 2016-07-11 観察装置 Expired - Fee Related JP6698451B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016137117A JP6698451B2 (ja) 2016-07-11 2016-07-11 観察装置
US15/637,095 US10674044B2 (en) 2016-07-11 2017-06-29 Observation apparatus, method for controlling observation apparatus, and non-transitory computer-readable medium storing control program for observation apparatus
CN201710556445.1A CN107613217A (zh) 2016-07-11 2017-07-10 观察装置、观察装置的控制方法和记录介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016137117A JP6698451B2 (ja) 2016-07-11 2016-07-11 観察装置

Publications (3)

Publication Number Publication Date
JP2018007587A JP2018007587A (ja) 2018-01-18
JP2018007587A5 JP2018007587A5 (ja) 2019-08-15
JP6698451B2 true JP6698451B2 (ja) 2020-05-27

Family

ID=60911308

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016137117A Expired - Fee Related JP6698451B2 (ja) 2016-07-11 2016-07-11 観察装置

Country Status (3)

Country Link
US (1) US10674044B2 (ja)
JP (1) JP6698451B2 (ja)
CN (1) CN107613217A (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110118771A (zh) * 2019-03-29 2019-08-13 亳州学院 一种用于活性污泥微生物的智能镜检装置及镜检方法
JPWO2022024768A1 (ja) * 2020-07-31 2022-02-03
CN112680332A (zh) * 2020-12-29 2021-04-20 中国科学院苏州生物医学工程技术研究所 一种微生物菌落原位检测装置
CN113388500B (zh) * 2021-06-01 2024-03-12 南京大学 一种可用于微重力下的细胞培养监测系统及方法
WO2023032320A1 (ja) * 2021-09-03 2023-03-09 ソニーグループ株式会社 粒子解析システム、粒子解析方法及びフローサイトメータシステム

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5397709A (en) * 1993-08-27 1995-03-14 Becton Dickinson And Company System for detecting bacterial growth in a plurality of culture vials
JP3706326B2 (ja) * 2001-10-17 2005-10-12 オリンパス株式会社 内視鏡装置
US20090080611A1 (en) * 2001-10-18 2009-03-26 Ganz Brian L Computer Controllable LED Light Source for Device for Inspecting Microscopic Objects
JP2005006553A (ja) * 2003-06-19 2005-01-13 Olympus Corp 細胞培養検出装置
JP4490154B2 (ja) * 2004-04-07 2010-06-23 株式会社カネカ 細胞培養装置
EP1865315B1 (en) * 2005-03-29 2019-03-13 Olympus Corporation Cell image analyzing method, cell image analyzing device
JP2008048905A (ja) * 2006-08-24 2008-03-06 Olympus Medical Systems Corp 内視鏡装置
JP5148854B2 (ja) * 2006-10-06 2013-02-20 株式会社カネカ 細胞培養装置
JP2010534837A (ja) * 2007-07-23 2010-11-11 リガク オートメイション インコーポレイテッド 顕微鏡対象物を検査するための装置用のコンピュータ制御可能なled光源
JP5289756B2 (ja) * 2007-11-26 2013-09-11 オリンパス株式会社 顕微鏡観察システム
DE102008033506A1 (de) * 2008-07-07 2010-01-14 Karl Storz Gmbh & Co. Kg Videoendoskop mit schaltbaren Halbleiterlichtquellen
EP2236596B1 (en) * 2009-04-03 2012-07-25 Synoptics Limited High fidelity colour imaging of microbial colonies
US9109194B2 (en) * 2009-11-05 2015-08-18 Hitachi High-Technologies Corporation Device for harvesting bacterial colony and method therefor
CN102762713B (zh) * 2010-01-20 2016-04-27 Emd密理博公司 细胞图像捕捉和远程监控系统
KR101430330B1 (ko) * 2010-02-15 2014-08-13 가부시키가이샤 리코 투명체 검출 시스템 및 투명 평판 검출 시스템
WO2011132586A1 (ja) * 2010-04-23 2011-10-27 浜松ホトニクス株式会社 細胞観察装置および細胞観察方法
WO2011161499A1 (en) * 2010-06-22 2011-12-29 Koninklijke Philips Electronics N.V. Detection of magnetic particles and their clustering
JP2012078504A (ja) * 2010-09-30 2012-04-19 Olympus Corp 照明装置および観察システム
US9569664B2 (en) * 2010-10-26 2017-02-14 California Institute Of Technology Methods for rapid distinction between debris and growing cells
WO2013094365A1 (ja) * 2011-12-22 2013-06-27 三洋電機株式会社 観察システム、プログラム及び観察システムの制御方法
CN104024913A (zh) * 2011-12-22 2014-09-03 松下健康医疗器械株式会社 观察系统、观察系统的控制方法以及程序
US9513224B2 (en) * 2013-02-18 2016-12-06 Theranos, Inc. Image analysis and measurement of biological samples
WO2014196203A1 (ja) * 2013-06-06 2014-12-11 パナソニックIpマネジメント株式会社 画像取得装置、画像取得方法、およびプログラム
US10142529B2 (en) * 2013-07-12 2018-11-27 Hamamatsu Photonics K.K. Imaging apparatus and method for manufacturing imaging apparatus
JP6154291B2 (ja) * 2013-11-01 2017-06-28 浜松ホトニクス株式会社 画像取得装置及び画像取得装置の画像取得方法
WO2015083684A1 (ja) * 2013-12-06 2015-06-11 オリンパス株式会社 撮像装置、撮像装置の作動方法
JP6278741B2 (ja) * 2014-02-27 2018-02-14 株式会社キーエンス 画像測定器
JP6454489B2 (ja) * 2014-07-10 2019-01-16 オリンパス株式会社 観察システム
CN105450910B (zh) * 2014-09-22 2019-01-04 昆盈企业股份有限公司 具有补光功能的摄像机与控制光线发射的方法
JP6470008B2 (ja) * 2014-10-17 2019-02-13 オリンパス株式会社 培養観察装置および培養観察システム
CN204697149U (zh) * 2015-04-22 2015-10-07 梧州学院 一种生物显微照片的拍摄装置
CN105511204A (zh) * 2016-01-07 2016-04-20 杭州写智专业摄影有限公司 自助式拍摄装置

Also Published As

Publication number Publication date
CN107613217A (zh) 2018-01-19
US20180013930A1 (en) 2018-01-11
US10674044B2 (en) 2020-06-02
JP2018007587A (ja) 2018-01-18

Similar Documents

Publication Publication Date Title
JP6698451B2 (ja) 観察装置
JP6925361B2 (ja) サンプル場所のための補助画像検出器を有する撮像システム
JP6126693B2 (ja) 光学レンズを用いることなく試料の光学的分析を行う容器及びシステム
US9632303B2 (en) Optical microscope, and autofocus device for optical microscope
JP2019106944A (ja) 観察装置及びそれを用いた観察方法
JP7167276B2 (ja) 二重光学経路および単一撮像センサを使用した低解像度スライド撮像、スライドラベル撮像および高解像度スライド撮像
US20170257539A1 (en) Imaging apparatus
US10379335B2 (en) Illumination setting method, light sheet microscope apparatus, and recording medium
US11029486B2 (en) Microscope and observation method
EP3537214B1 (en) Image inspection device
JP6815787B2 (ja) 観察装置、観察装置の制御方法及び観察装置の制御プログラム
JP2018028593A (ja) 観察装置、観察方法及び観察システム
JP6640610B2 (ja) 観察装置、測定システム及び観察方法
US20170278240A1 (en) Observation apparatus, measurement system and observation method
JP6330070B1 (ja) 観察装置、観察システム及び観察装置の制御方法
US20180180867A1 (en) Microscope and setting support method
JP2017169479A (ja) 観察装置、測定システム及び培養容器
CN103175780A (zh) 大尺度生物组织连续切片的自动化成像系统
WO2019123869A1 (ja) 画像取得装置及び画像取得方法
JPWO2017109983A1 (ja) 微弱発光試料の解析方法及び解析システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190702

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190702

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200319

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200331

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200428

R151 Written notification of patent or utility model registration

Ref document number: 6698451

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees