JP6815787B2 - 観察装置、観察装置の制御方法及び観察装置の制御プログラム - Google Patents

観察装置、観察装置の制御方法及び観察装置の制御プログラム Download PDF

Info

Publication number
JP6815787B2
JP6815787B2 JP2016156411A JP2016156411A JP6815787B2 JP 6815787 B2 JP6815787 B2 JP 6815787B2 JP 2016156411 A JP2016156411 A JP 2016156411A JP 2016156411 A JP2016156411 A JP 2016156411A JP 6815787 B2 JP6815787 B2 JP 6815787B2
Authority
JP
Japan
Prior art keywords
unit
container
observation device
illumination
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016156411A
Other languages
English (en)
Other versions
JP2018025627A (ja
Inventor
崇人 青木
崇人 青木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2016156411A priority Critical patent/JP6815787B2/ja
Priority to EP17185310.4A priority patent/EP3284814A1/en
Priority to US15/672,202 priority patent/US10310242B2/en
Priority to CN201710673791.8A priority patent/CN107699477A/zh
Publication of JP2018025627A publication Critical patent/JP2018025627A/ja
Application granted granted Critical
Publication of JP6815787B2 publication Critical patent/JP6815787B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/006Optical details of the image generation focusing arrangements; selection of the plane to be imaged
    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/30Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration
    • C12M41/36Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration of biomass, e.g. colony counters or by turbidity measurements
    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/48Automatic or computerized control
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008Details of detection or image processing, including general computer control
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/26Stages; Adjusting means therefor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison

Landscapes

  • Chemical & Material Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • Organic Chemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Zoology (AREA)
  • Wood Science & Technology (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biotechnology (AREA)
  • Genetics & Genomics (AREA)
  • Sustainable Development (AREA)
  • General Health & Medical Sciences (AREA)
  • Microbiology (AREA)
  • Biochemistry (AREA)
  • Biomedical Technology (AREA)
  • Computer Hardware Design (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

本発明は、観察装置、観察装置の制御方法及び観察装置の制御プログラムに関する。
一般に、インキュベータ内に培養容器を静置し、当該培養容器内の培養細胞等の画像を得る装置が知られている。例えば特許文献1には、インキュベータ内で、撮像部であるカメラを移動させながら複数の撮影を行い、培養容器内の広い範囲に存在する細胞を撮影する装置に係る技術が開示されている。
特開2005−295818号公報
上述のような装置において、撮像部の位置を変化させながら撮影を行うにあたっては、当該撮像部による撮影時に適切な照明が望まれる。例えば、特許文献1には、撮像部の周囲にリングライトを設けることが開示されているが、このようなライトを常時点灯すると消費電力が大きくなる。また、点灯しているライトは熱源となる。適切な照明による消費電力及び発熱の低減は、良好な観察環境の保持に寄与する。
本発明は、適切な照明制御を実施することができる観察装置、観察装置の制御方法及び観察装置の制御プログラムを提供することを目的とする。
本発明の一態様によれば、観察装置は、容器内の生体試料を撮像する撮像素子及び撮像光学系を含み画像信号を出力する撮像部と、前記撮像光学系の光軸から外れた位置に配置され照明光を放射する複数の放射部を含み前記容器内の生体試料を照明する照明部とを具備する撮像ユニットと、前記撮像ユニットを移動させる移動機構と、前記撮像ユニットの位置情報を取得する位置制御部と、前記容器の位置情報を取得する容器位置取得部と、前記容器及び撮像ユニットの位置情報に基づいて、複数の前記放射部のうち何れの放射部から照明光を放射するかを選択し、選択した前記放射部から主たる照明光を放射させる照明制御部と、前記撮像部に撮像させる撮像制御部とを備え、前記照明制御部は、複数の前記放射部のうち前記容器の中心側に位置する前記放射部を選択する。
本発明の一態様によれば、観察装置の制御方法は、容器内の生体試料を撮像する撮像素子及び撮像光学系を含み画像信号を出力する撮像部と、前記撮像光学系の光軸から外れた位置に配置され照明光を放射する複数の放射部を含み前記容器内の生体試料を照明する照明部とを具備する撮像ユニットと、前記撮像ユニットを移動させる移動機構とを備える観察装置の制御方法であって、前記容器及び撮像ユニットの位置情報に基づいて、複数の前記放射部のうち前記容器の中心側に位置する前記放射部を選択することと、選択した前記放射部から主たる照明光を放射させることと、前記撮像部に撮像させることとを備える。
本発明の一態様によれば、観察装置の制御プログラムは、容器内の生体試料を撮像する撮像素子及び撮像光学系を含み画像信号を出力する撮像部と、前記撮像光学系の光軸から外れた位置に配置され照明光を放射する複数の放射部を含み前記容器内の生体試料を照明する照明部とを具備する撮像ユニットと、前記撮像ユニットを移動させる移動機構とを備える観察装置の制御プログラムであって、前記容器及び撮像ユニットの位置情報に基づいて、複数の前記放射部のうち前記容器の中心側に位置する前記放射部を選択することと、選択した前記放射部から主たる照明光を放射させることと、前記撮像部に撮像させることとを前記観察装置のコンピュータに実行させる。
本発明によれば、適切な照明制御を実施することができる観察装置、観察装置の制御方法及び観察装置の制御プログラムを提供できる。
図1は、第1の実施形態に係る測定システムの外観の概略を示す図である。 図2は、第1の実施形態に係る測定システムの構成例の概略を示すブロック図である。 図3は、第1の実施形態に係る試料周辺の構成例の概略を示す側面図である。 図4は、第1の実施形態に係る観察装置による画像取得の一例を示す図である。 図5は、第1の実施形態に係る照明光の光路及び容器周縁部における散乱の一例を示す図である。 図6は、第1の実施形態に係る照明制御における観測対象範囲及びその分割方法の一例を示す図である。 図7は、第1の実施形態に係る観察装置制御処理の一例を示すフローチャートである。 図8は、第1の実施形態に係る観測可能範囲、容器種情報に基づく容器位置及び観測対象範囲の一例を示す図である。 図9は、第1の実施形態に係るスキャン処理の一例を示すフローチャートである。 図10は、第1の実施形態に係る測定システムで得られる測定結果のデータの構成例の概略を示す図である。 図11Aは、第1の実施形態に係るコントローラ制御処理の一例を示すフローチャートである。 図11Bは、第1の実施形態に係るコントローラ制御処理の一例を示すフローチャートである。 図12は、第2の実施形態に係る撮像ユニットの構成例の概略を示す図である。 図13は、第3の実施形態に係る照明制御における観測対象範囲及びその分割方法の一例を示す図である。 図14は、第3の実施形態に係るスキャン処理の一例を示すフローチャートである。 図15は、第4の実施形態に係るスキャン処理の一例を示すフローチャートである。 図16は、第4の実施形態に係る各々の照明の累積点灯時間に基づく照明制御における照明の点灯優先度の一例を示す図である。 図17は、第4の実施形態に係る撮像ユニットの移動軌跡に基づく照明制御において選択される照明の一例を示す図である。 図18は、第4の実施形態に係る各々の照明の累積点灯時間及び撮像ユニットの移動軌跡に基づく照明制御において選択される照明の一例を示す図である。 図19は、複数の取得画像の画像情報に基づく容器位置取得の一例を示す図である。 図20は、センサ出力情報に基づく容器位置取得の一例を示す図である。 図21Aは、透明容器形状の別の例を示す図である。 図21Bは、透明容器形状の別の例を示す図である。
[第1の実施形態]
本発明の第1の実施形態について図面を参照して説明する。本実施形態に係る測定システムは、培養中の細胞、細胞群、組織等である試料を撮影し、細胞又は細胞群の個数、形態等を記録するためのシステムである。本実施形態に係る技術は、観察対象の容器周縁部等の位置情報を取得し、これに基づいた適切な照明制御の下で撮影が可能な測定システムを実現する。なお、ここでの撮影は撮像でもよく、取得されるのは、静止画でも動画でもよい。
<測定システムの構成>
測定システム1の外観の概略を示す模式図を図1に示す。また、測定システム1の構成例を表すブロック図を図2に示す。測定システム1は、観察装置100と、コントローラ200とを備える。図1に示すように、観察装置100は、おおよそ平板形状をしている。観察装置100は、例えばインキュベータ内に設置され、観察装置100の上面には、観察対象である試料300が配置される。以降の説明のため、観察装置100の試料300が配置される面と平行な面内に互いに直交するX軸及びY軸を定義し、X軸及びY軸と直交するようにZ軸を定義する。観察装置100の上面には、透明板102が設けられており、観察装置100の筐体101の内部には、撮像部170が設けられている。観察装置100は、透明板102を介して試料300を撮影し、試料300の画像を取得する。一方、コントローラ200は、例えばインキュベータの外部に設置される。観察装置100とコントローラ200とは、通信する。コントローラ200は、観察装置100の動作を制御する。
(試料について)
測定システム1の測定対象である試料300は、例えば次のようなものである。容器310内に培地322が入れられ、培地322内で細胞324が培養されている。容器310は、例えばシャーレ、培養フラスコ、マルチウェルプレート等であり得る。このように、容器310は、例えば、生体試料を培養するための培養容器である。容器310の形状、大きさ等は限定されない。容器310は、例えば照明光に対して透明な面又は部分を有する透明容器である。培地322は、液体培地でも固体培地でもよい。測定対象は例えば細胞324であるが、これは、接着性の細胞でもよいし、浮遊性の細胞でもよい。また、細胞324は、スフェロイドや組織であってもよい。さらに、細胞324は、どのような生物に由来してもよく、菌等であってもよい。このように、試料300は、生物又は生物に由来する試料である生体試料を含む。
(観察装置について)
図1に示すように、観察装置100の筐体101の上面には、例えばガラス等で形成された透明板102が設けられている。試料300は、この透明板102上に静置される。図1には、筐体101の上面の全体が透明な板で形成されている例が示されているが、観察装置100は、筐体101の上面の一部に透明板が設けられ、上面のその他の部分が不透明であるように構成されてもよい。
また、透明板102上の試料300が配置される位置を統一し、また試料300を固定するために、透明板102の上には、固定枠410が乗せられてもよい。ここで、固定枠410は、例えば透明板102と同じ大きさ等、透明板102に対して特定の位置に配置されるように構成されている。また、固定枠410は、固定板412に孔414が設けられた構成を有する。ここで、孔414は、試料300の容器310の外径よりもわずかに大きな直径を有する。したがって、透明板102上に固定枠410が乗せられた状態においては、容器310は、孔414内に固定され得る。固定枠410は、試料300の容器310の種類に応じて複数種類用意される。固定枠410は、用いられてもよいし、用いられなくてもよい。なお、固定枠410は、容器310の配置される位置を統一できるガイドとなる物を有していればよい。このガイドとなる物は、例えば容器310に合わせた形状の凸部、穴、溝、マーカー等である。例えば、ユーザはガイドとなる構造に容器310を合わせて配置したりする
筐体101の内部には、観察装置100の各構成要素が設けられている。インキュベータ内は例えば温度37℃、湿度95%といった高温多湿の環境である。観察装置100はこのような高温多湿の環境で用いられるため、筐体101及び透明板102は気密性が保たれている。また、多湿の環境から観察装置100の内部を保護するため、筐体101及び透明板102で囲まれた内部は、その外部と比較して高圧であってもよい。
筐体101の内部には、撮像ユニット120が設けられている。図1及び図2に示すように、撮像ユニット120は、支持部168と、撮像部170と、照明部180とを有する。撮像部170は、撮像光学系172と撮像素子174とを備える。撮像部170は、試料300の方向を撮像し、試料300の画像を取得する。撮像部170は、撮像光学系172を介して撮像素子174の撮像面に結像した像に基づいて、画像信号又は画像データを生成する。撮像光学系172は、焦点距離を変更できるズーム光学系であることが好ましい。
照明部180は、第1の照明部180aと第2の照明部180bとを備える。図1に示すように、第1の照明部180aと第2の照明部180bとは、支持部168の撮像部170の近傍又は周囲に、撮像部170を挟むように設けられている。照明部180は、透明板102がある方向、すなわち、試料300が置かれている方向に照明光を放射する。以下、照明部180のうち試料300が置かれている方向に照明光を放射する箇所を放射部と称する。
図2に示すように、照明部180は、照明光学系182と光源184とをさらに備える。照明光学系182は、第1の照明光学系182aと第2の照明光学系182bとを有する。光源184は、第1の光源184aと第2の光源184bとを有する。例えば、第1の光源184aから放射された照明光は、第1の照明光学系182aを介して試料300を照明し、同様に、第2の光源184bから放射された照明光は、第2の照明光学系182bを介して試料300を照明する。照明光を放射する箇所である放射部は、例えば、光源であったり、照明光学系の一部であったりする。
図3に第1の実施形態に係る試料300周辺の構成例の概略を側面図として示し、これを参照して、撮像ユニット120の構成について説明する。図3に示すように、撮像ユニット120は、例えば撮影時には、第1の照明部180aの有する第1の放射部183aと第2の照明部180bの有する第2の放射部183bとのうち少なくとも何れか一方から照明光を放射する。第1の放射部183aと第2の放射部183bとは、撮像光学系172の光軸から外れた位置に、また、撮像光学系172を挟むように、それぞれ配置されている。複数の放射部は、撮像光学系172に対して点対称の位置に配置されていることが好ましいが、これに限定されない。以下、放射部とのみ記載する場合は、複数の放射部のうち何れの放射部であるかを問わない場合とし、照明光とのみ記載する場合は、複数の放射部のうち何れの放射部が放射した照明光であるかを問わない場合とする。さらに、照明光は、1つの放射部が放射した照明光であっても、複数の照明光が放射した照明光であってもよい。
図3に示すように、試料300の上面には容器上面360が配置される。この容器上面360は、照明光の一部を反射する。図3中に実線矢印で示すように、例えば、第1の放射部183aから放射された照明光は、容器上面360に照射される。このとき、容器上面360によって照明光の一部が反射され、照明光の一部が容器上面360を透過する。反射光の一部は、細胞324を照明して撮像部170の有する撮像光学系172へ入射する。すなわち、撮像光学系172へ入射する反射光は、細胞324を透過した透過光を含む。図3に破線矢印で示す第2の放射部183bから放射された照明光も、上述の場合と同様にして細胞324を照明し、撮像光学系172へ入射する。
本実施形態では、照明部180が2つの照明光学系と2つの光源を有する場合を説明するが、これに限定されない。例えば、照明部180の有する照明光学系と光源とは、2つ以上の複数であってもよく、さらに照明光学系の数と光源の数とは異なっていてもよい。なお、照明部180は支持部168に配置されていると述べたが、各々の照明光学系の照明光を放射する放射部が支持部168に配置されていればよく、例えば各々の光源は、観察装置100の何れの場所に配置されていてもよい。共通の光源を有する複数の照明光学系が支持部168に配置されていてもよい。この場合、照明光を放射する照明光学系を切り替えるための光学系が設けられる。すなわち、撮像ユニット120は、少なくとも撮像光学系172と複数の放射部とを有していればよい。
本実施形態では、光源184は、発光ダイオード(LED)のような発光素子であるとして説明をするが、これに限定されない。例えば、光源184は蛍光灯や水銀灯であってもよい。すなわち、光源184の放射する照明光の波長は問わない。例えば、観察対象及びインキュベータ内の環境によって、照明光の波長は、赤外、可視、紫外の何れの波長領域であってもよい。さらに、各々の光源は冷却機構を備えていてもよい。
図1に戻って説明を続ける。撮像ユニット120は、移動機構160によって移動させられる。移動機構160は、撮像ユニット120をX軸方向に移動させるためのX送りねじ161とXアクチュエータ162とを備える。また、移動機構160は、撮像ユニット120をY軸方向に移動させるためのY送りねじ163とYアクチュエータ164とを備える。撮像部170は、透明板102上の試料300の画像を一部ずつしか取得できないが、移動機構160によって撮像ユニット120が移動させられることで、撮像部170は、広い範囲の画像を取得することができる。
Z軸方向の撮影位置は、撮像光学系172の合焦位置が光軸方向に変更されることで変更される。すなわち、撮像光学系172は、合焦用レンズを光軸方向に移動させるための合焦調整機構を備えている。なお、合焦調整機構に代えて、又はこれと共に、移動機構160は撮像ユニット120をZ軸方向に移動させるためのZ送りねじ及びZアクチュエータ等を備えてもよい。
本実施形態では、観察装置100の試料300が配置される面と平行な面内にX−Y平面があると定義する旨を上述したが、以降の説明のため、さらにX軸方向の正の向きをX+方向と称し、これをXアクチュエータ162からX送りねじ161の長手方向に沿って離れる方向であると定義する。同様に、Y軸方向の正の向きをY+方向と称し、これをYアクチュエータ164からY送りねじ163の長手方向に沿って離れる方向であると定義する。Z軸方向の正の向きをZ+方向と称し、これを撮像ユニット120から試料300に向かう方向と定義する。また、X軸方向の負の向きをX−方向と、Y軸方向の負の向きをY−方向と、Z軸方向の負の向きをZ−方向と称する。
なお、本実施形態では、撮像光学系172と放射部とは、撮像ユニット120の試料300へ対向する側、すなわちZ+方向側の面に配置されるものとして説明をするが、これに限定されない。例えば、試料300のZ−方向側の位置に撮像光学系172が、Z+方向側の位置に複数の放射部が配置されている等、撮像光学系172と放射部とが試料300をZ方向に挟むように配置されていてもよい。このような配置が採用されても、後述する本実施形態の効果は得られる。また、本実施形態では、撮像ユニット120におけるX−側に第1の放射部183aが、X+側に第2の放射部183bが設けられているものとする。
筐体101の内部には、移動機構160、撮像部170及び照明部180の各々の動作を制御するための回路群105が設けられている。回路群105には、第1の通信装置192が設けられている。第1の通信装置192は、例えば無線でコントローラ200と通信を行うための装置である。この通信には、例えばWi−Fi(登録商標)又はBluetooth(登録商標)等を利用した無線通信が利用される。また、観察装置100とコントローラ200とは、有線によって接続されて有線による通信が行われてもよい。このように、筐体101の内部に、透明板102を介した撮影によって画像データを生成する撮像部170と、撮像部170を移動させる移動機構160とを設けることによって、信頼性が高く、取り扱いや洗浄が容易であり、コンタミネーション等を防止できる構造にすることが可能である。
図2に示すように、観察装置100は、上述の移動機構160、撮像ユニット120及び第1の通信装置192に加えて、第1の制御部110と、第1の記録部130と、画像処理回路140とを備える。第1の制御部110、第1の記録部130、画像処理回路140及び第1の通信装置192は、例えば上述の回路群105に配置されている。
第1の制御部110は、観察装置100の各部の動作を制御する。第1の制御部110は、位置制御部111、撮像制御部112、照明制御部113、通信制御部114、記録制御部115、測定制御部116、演算部117及び容器位置取得部118としての機能を備える。位置制御部111は、移動機構160の動作を制御し、撮像ユニット120の位置を制御する。また、位置制御部111は、移動機構160によって移動させられる撮像ユニット120の位置を取得する。撮像制御部112は、撮像部170の動作を制御し、撮像部170に試料300等の画像を取得させる。照明制御部113は、照明部180の動作を制御する。通信制御部114は、第1の通信装置192を介したコントローラ200との通信を管理する。記録制御部115は、観察装置100で得られたデータの記録について制御する。測定制御部116は、測定を行うタイミングや回数等、測定全体を制御する。演算部117は、撮像部170の取得する画像及び輝度値等に基づく各種解析を行う。容器位置取得部118は、試料300の位置情報を取得する。位置情報の取得は、例えば、ユーザの入力した容器種情報、画像データ、センサ出力値等に基づく。
第1の記録部130は、例えば第1の制御部110で用いられるプログラムや各種パラメータを記録している。また、第1の記録部130は、観察装置100で得られたデータ等を記録する。
画像処理回路140は、撮像部170の生成した画像データに対して、各種画像処理を施す。画像処理回路140による画像処理後のデータは、例えば第1の記録部130に記録されたり、第1の通信装置192を介してコントローラ200に送信されたりする。また、第1の制御部110又は画像処理回路140は、得られた画像に基づく各種解析を行ってもよい。例えば第1の制御部110又は画像処理回路140は、得られた画像に基づいて、試料300に含まれる細胞又は細胞群の画像を抽出したり、細胞又は細胞群の数、形状又は大きさを算出したりする。このようにして得られた解析結果も、例えば第1の記録部130に記録されたり、第1の通信装置192を介してコントローラ200に送信されたりする。これら画像処理回路140の行う処理は、演算部117によって行われてもよい。
撮像部170は、図3を参照して上述したように、撮像光学系172へ入射した光について撮像動作を行う。第1の実施形態に係る観察装置による画像取得の一例を図4に示し、これを参照して撮像部170による画像取得について説明する。観察装置100は、例えば第1の面内において、X方向及びY方向に位置を変更させながら繰り返し撮影を行い、複数の画像を取得する。画像処理回路140は、これらの画像を合成して、第1の面に係る1つの第1の画像611を作成する。ここで、第1の面は、例えば撮像部170の光軸に垂直な面、すなわち、透明板102と平行な面である。さらに、観察装置100は、厚さ方向に撮影位置を第2の面、第3の面と変化させながら、同様に、X方向及びY方向に位置を変更させながら繰り返し撮影を行い、それらを合成して、第2の画像612及び第3の画像613を取得する。ここで、厚さ方向とは、撮像部170の光軸方向であるZ軸方向であり、透明板102に対して垂直な方向である。このようにして、3次元の各部における画像が取得される。
ここでは、Z方向に撮影面を変化させながら撮影を繰り返す例を示したが、Z方向には複数の画像を得ることなく、X方向及びY方向にのみ位置を変更させながら繰り返し撮影が行われてもよい。この場合、1つの平面の合成画像が得られる。なお、第1の画像611、第2の画像612、第3の画像613等の取得方法については、Z軸方向の位置を固定してX方向及びY方向にスキャンし、その後、Z軸方向の位置を変更して再びX方向及びY方向にスキャンしてもよい。また、X方向及びY方向の1つの位置につきZ軸方向の位置を変更しながら複数回の撮影が行われ、この複数回の撮影がX方向及びY方向にスキャンしながら行われてもよい。なお、スキャンと走査は同じ意味を示すものとする。
なお、測定に係る撮影では、試料300に照明光を照射し続ける必要がなく、撮影を行う瞬間のみ試料300に照明光を照射すればよい。このように、照射時間を短時間にすることで細胞324へのダメージを低減できる。このため、十分に強い強度を有する照明光が撮影のタイミングに合わせて試料300に照射され得る。このことは、良質な画像を得ることに貢献する。
以上のように、撮像部170はX方向及びY方向に位置を変更させながら繰り返し撮影を行い、複数の画像を取得する。ただし、このような画像取得時に、例えば容器周縁部において照明光が散乱してしまうと、撮像部170は、適切な画像を取得できなくなる。第1の実施形態に係る照明光の光路及び容器周縁部における散乱の一例を図5に示し、これを参照して容器周縁部における照明光の散乱について説明する。撮像ユニット120の試料300に対する相対位置は、撮像ユニット120が移動機構160によって移動させられることによって変化し得る。そのため、図3に示すような試料300と撮像ユニット120との相対位置の関係は、図5に示すような相対位置の関係へと変化し得る。
試料300と撮像ユニット120とが、図5に示すような相対位置の関係にあるとき、第1の放射部183aの放射した照明光は、図5中に破線矢印で示すような光路を辿る。すなわち、当該照明光は、容器上面360に入射する前に、例えば光路上にある容器310の容器周縁部において、そのほとんどが散乱する。したがって、撮像部170は当該照明光を十分に取得できず、適切な画像を取得できない。一方で、このとき、第2の放射部183bの放射した照明光は、図5中に実線矢印で示すような光路を辿る。すなわち、当該照明光は図3を参照して説明したように撮像光学系172へ入射でき、また、撮像部170は適切な画像を取得できる。
本実施形態に係る第1の制御部110は、試料300の容器310の位置情報と、撮像ユニット120の位置情報とに基づき、容器310の容器周縁部において照明光が散乱しないように、照明光を放射する放射部を適切に選択する照明制御を行う。当該照明制御において第1の制御部110は、例えば、容器310の内側にある放射部に照明光を放射させる。本実施形態に係る測定システム1は、当該照明制御によって適切な照明環境を維持して、撮影を行うことができる。さらに、照明光を放射する放射部を適切に選択して切り替えることは、同時に無駄な照明光の放射を低減できるということであり、本実施形態に係る技術は、観察装置100の使用に要するエネルギーの省エネルギー化、及び発熱量の低減にも貢献する。
試料300及び撮像ユニット120の位置情報に基づく照明制御の一例について説明する。本実施形態において、ユーザは、例えば、予め記録されている容器種情報から使用する容器310を選択し、また、容器310を観察装置100の指定された位置に配置する。容器種情報は、例えば、容器310の種別、各々の容器310の形状及び大きさ、各々の容器310が観察装置100内に配置される際の位置情報等を含む。なお、容器種情報は、第1の記録部130又は第2の記録部230に記録されている。
ここで、第1の実施形態に係る照明制御における観測対象範囲及びその分割方法の一例を図6に示し、これを参照して観察装置100において観測の対象となる範囲、すなわち観測対象範囲及びその分割方法について説明する。なお、ここでは容器310の全体を観察する場合を説明する。第1の制御部110は、観測対象範囲R0を、ユーザの選択した容器310に関する容器種情報に基づき決定する。観測対象範囲R0は、走査範囲と称してもよい。例えば、円形のディッシュがユーザによって選択されたとき、図6に示すように円形の観測対象範囲R0が決定される。その後、第1の制御部110は、観測対象範囲R0を、複数の領域に分割する。例えば、図6に示すように、容器中心位置に対してX−方向の領域において、Y+方向を第1の領域R1、Y−方向を第2の領域R2とする。例えば、容器中心位置に対してX+方向の領域において、Y−方向を第3の領域R3、Y+方向を第4の領域R4とする。
第1の制御部110は、撮像ユニット120の現在位置を取得し、取得した現在位置の位置情報と容器310の位置情報とに基づいて現在の撮影範囲が第1の領域R1乃至第4の領域R4のうち、何れの領域に属するかを判定する。第1の制御部110は、撮像ユニット120の位置する領域に基づいて、照明光を放射する放射部を選択する。
例えば、撮像ユニット120が第1の領域R1又は第2の領域R2に含まれる位置を撮影するとき、第1の制御部110は、第2の放射部183bに照明光を放射させる。この放射部の選択は、例えば、撮像ユニット120が第1の領域R1及び第2の領域R2をスキャンするとき、第2の放射部183bが第1の放射部183aと比べて容器310の中心側に位置することに基づく。なお、容器310の中心側に位置する放射部が選択されるのは、図5を参照して上述したように、容器周縁部又はその近傍の位置を撮影する際に、放射部から放射された照明光が容器周縁部において散乱することを防ぐためである。同様に、第1の制御部110は、例えば、第3の領域R3又は第4の領域R4では第1の放射部183aに照明光を放射させる。このとき第1の制御部110は、例えば、第1の領域R1及び第2の領域R2では第1の放射部183aの放射する照明光を、第3の領域R3及び第4の領域R4では第2の放射部183bの放射する照明光を、それぞれ補助照明としてもよい。補助照明となる照明光は、例えば、主たる照明となる照明光と比べて、その光量が抑えられている。
上述の照明制御の規則は、例えば第1の記録部130、第2の記録部230等に記録されている。なお、観測対象範囲R0を4つの領域に分割して照明制御を行うと上述したが、これに限定されない。分割数は、例えば2つ、8つ等の複数であればよく、また、放射部の数と異なっていてもよい。また、分割数は、容器や観察対象の種類に応じて適宜変更してもよい。
(コントローラについて)
コントローラ200は、例えばパーソナルコンピュータ(PC)、タブレット型の情報端末等である。図1には、タブレット型の情報端末を図示している。
コントローラ200には、例えば液晶ディスプレイといった表示装置272とタッチパネルといった入力装置274とを備える入出力装置270が設けられている。入力装置274は、タッチパネルの他に、スイッチ、ダイヤル、キーボード、マウス等を含んでいてもよい。
また、コントローラ200には、第2の通信装置292が設けられている。第2の通信装置292は、第1の通信装置192と通信を行うための装置である。第1の通信装置192及び第2の通信装置292を介して、観察装置100とコントローラ200とは通信を行う。
また、コントローラ200は、第2の制御部210と、第2の記録部230とを備える。第2の制御部210は、コントローラ200の各部の動作を制御する。第2の記録部230は、例えば第2の制御部210で用いられるプログラムや各種パラメータを記録している。また、第2の記録部230は、観察装置100で得られ、観察装置100から受信したデータを記録する。
第2の制御部210は、システム制御部211、表示制御部212、記録制御部213、及び通信制御部214としての機能を有する。システム制御部211は、試料300の測定のための制御に係る各種演算を行う。表示制御部212は、表示装置272の動作を制御する。表示制御部212は、表示装置272に必要な情報等を表示させる。記録制御部213は、第2の記録部230への情報の記録を制御する。通信制御部214は、第2の通信装置292を介した観察装置100との通信を制御する。
第1の制御部110、画像処理回路140及び第2の制御部210は、Central Processing Unit(CPU)、Application Specific Integrated Circuit(ASIC)、Field Programmable Gate Array(FPGA)、又はGraphics Processing Unit(GPU)等の集積回路等を含む。第1の制御部110、画像処理回路140及び第2の制御部210は、それぞれ1つの集積回路等で構成されてもよいし、複数の集積回路等が組み合わされて構成されてもよい。また、第1の制御部110及び画像処理回路140は、1つの集積回路等で構成されてもよい。また、第1の制御部110の位置制御部111、撮像制御部112、照明制御部113、通信制御部114、記録制御部115、測定制御部116、演算部117、及び容器位置取得部118は、それぞれ1つの集積回路等で構成されてもよいし、複数の集積回路等が組み合わされて構成されてもよい。また、位置制御部111、撮像制御部112、照明制御部113、通信制御部114、記録制御部115、測定制御部116、演算部117、及び容器位置取得部118のうち2つ以上が1つの集積回路等で構成されてもよい。同様に、第2の制御部210のシステム制御部211、表示制御部212、記録制御部213、及び通信制御部214は、それぞれ1つの集積回路等で構成されてもよいし、複数の集積回路等が組み合わされて構成されてもよい。また、システム制御部211、表示制御部212、記録制御部213、及び通信制御部214のうち2つ以上が1つの集積回路等で構成されてもよい。これら集積回路の動作は、例えば第1の記録部130又は第2の記録部230や集積回路内の記録領域に記録されたプログラムに従って行われる。
<測定システムの動作>
測定システム1の動作について説明する。第1の実施形態に係る観察装置制御処理の一例を図7に示す。観察装置100の動作について、図7に示すフローチャートを参照して説明する。観察装置制御処理は、観察装置100、コントローラ200及び試料300の設置が終わり、測定の準備が完了した後に開始する。
ステップS101において、第1の制御部110は、電源をオンにするか否かを判定する。第1の制御部110は、例えば予め決められた時間毎に電源をオンにすると設定されており、予め決められた時間になったとき、電源をオンにすると判定される。あるいは、観察装置100は、例えばBluetooth Low Energyといった低消費電力で動作する通信手段を用いてコントローラ200と常時通信しており、コントローラ200から当該通信手段を用いて電源をオンにする指示を受けたとき、電源をオンにすると判定される。電源をオンにしないとき、観察装置制御処理はステップS101を繰り返して待機する。一方、電源をオンにすると判定されたとき、観察装置制御処理はステップS102に進む。
ステップS102において、第1の制御部110は、電源をオンに切り替えて、観察装置100の各部に電力を投入する。試料300の測定を実際に行うときのみ等、必要なときにのみ電源を投入することで、省電力が実現される。特に、観察装置100の電源がバッテリーであるとき、観察装置100の駆動時間が長くなる等の効果が得られる。一方で、撮影間隔が短く設定されている場合等、電源のオン及びオフに係る動作によって消費される電力が待機電力よりも大きくなる場合には、第1の制御部110は、これを判定して、全体としての消費電力が抑えられるようにしてもよい。
ステップS103において、第1の制御部110は、コントローラ200との通信を確立する。ここで用いられる通信手段は、例えばWi−Fiといった、高速の通信手段である。
ステップS104において、第1の制御部110は、コントローラ200から確立した通信を介して情報を取得するか否かを判定する。例えばコントローラ200から情報が送信されているとき、情報を取得すると判定される。情報を取得しないとき、観察装置制御処理はステップS106に進む。一方、情報を取得するとき、観察装置制御処理はステップS105に進む。
ステップS105において、第1の制御部110は、コントローラ200から送信された情報を取得する。ここで取得される情報には、例えば上述した容器種情報、撮影条件、撮影間隔、その他パラメータ等を含む測定の条件、測定結果の記録の方法、測定結果の送信条件等の条件情報が含まれる。第1の制御部110が容器種情報を含むコントローラ200から送信された情報を取得した後、観察装置制御処理はステップS106に進む。ここで、第1の実施形態に係る観測可能範囲R、容器種情報に基づく容器位置及び観測対象範囲R0の一例を図8に示す。ここで、観測可能範囲Rは、測定システム1によって観察、撮影、及び測定の実施が可能な領域である。観測可能範囲Rは、例えば、観察装置100の筐体101の大きさ、撮像ユニット120の可動範囲等によって変化し得る。図8に示すように、例えば固定枠410によって、容器310は観察装置100における観測可能範囲R内に配置される。第1の制御部110は、図6を参照して上述したように、容器種情報に基づいて観測対象範囲R0を決定する。すなわち、容器310が適切に配置されているとき、容器310の実際の位置と観測対象範囲R0とは一致することになる。
ステップS106において、第1の制御部110は、スキャンを行うか否かを判定する。ステップS106において、スキャンを行わないと判定されたとき、観察装置制御処理はステップS108に進む。一方、スキャンを行うと判定されたとき、観察装置制御処理はステップS107に進む。なお、ステップS106において、スキャンを行うと判定されるのは、例えば、測定システムによる測定が開始された初めのときであったり、ユーザがスキャンを行うことを指示した場合であったり、繰り返し行われる測定の直前であったり、ユーザが設定した時間間隔に基づく場合であったり、試料300の全域に渡って広範囲に測定したい場合等、種々の条件があり得る。
ステップS107において、第1の制御部110は、スキャン処理を行う。第1の実施形態に係るスキャン処理の一例を図9にフローチャートとして示し、これを参照して説明する。本スキャン処理では、適切な照明制御の下で撮影できるようにするために、第1の制御部110が観測対象範囲R0及び撮像ユニット120の位置情報に基づく照明制御を行う。
ステップS201において、第1の制御部110は、撮像ユニット120の位置を初期位置に移動させるように移動機構160の動作を制御する。初期位置は、容器310の中心位置であるとして以下説明をするが、これに限定されない。例えば、初期位置は容器310の容器周縁部であってもよい。なお、初期位置は、ユーザによる座標データの入力によって設定してもよいし、予めスキャンして画像を取得して当該画像の解析に基づいて設定してもよい。また、第1の制御部110は、スキャンする際のX及びY方向の移動量、移動方向をユーザの入力に基づくコントローラ200の出力又は事前設定されて第1の記録部130に記録された値に基づき取得する。これら初期設定の終了後、スキャン処理はステップS202へ進む。
ステップS202において、第1の制御部110は、撮像ユニット120の位置が第1の領域R1又は第2の領域R2内であるか否かを、例えば第1の制御部110が取得した撮像ユニット120の位置を示す座標データに基づき、判定する。なお、図8を参照して上述したように、容器310の位置、すなわち観測対象範囲R0は、スキャン処理の前に取得済みである。したがって、図6を参照して上述したように、各々の分割された領域が含む座標は既知である。スキャン処理は、第1の制御部110が撮像ユニット120は第1の領域R1又は第2の領域R2内に位置していないと判定した場合はステップS203へ進み、位置していると判定した場合はステップS204へ進む。
ステップS203及びステップS204の各々において、第1の制御部110は、照明光を放射させる放射部を選択する。第1の制御部110は、照明光を放射させる放射部として、ステップS203では第1の放射部183aを選択し、ステップS204では第2の放射部183bを選択する。ステップS203及びステップS204における照明の切り替えでは、撮像ユニット120及び観測対象範囲R0の位置情報に基づき、観測対象範囲R0の内側に位置する放射部が優先的に選択される。すなわち本実施形態では、撮像ユニット120が、第1の領域又は第2の領域内に位置しているときには第2の放射部183bが選択され、当該領域外に位置しているときには第1の放射部183aが選択される。スキャン処理は、ステップS203及びステップS204の各々の後にステップS205へ進む。
ステップS205において、第1の制御部110は、ステップS203又はステップS204において選択された放射部に照明光を放射させ、撮像部170に撮影をさせる。この際、第1の制御部110は、撮像ユニット120の現在位置を取得する。また、第1の制御部110は、撮影によって得られた画像データを第1の記録部130又は第2の記録部230へ記録する。撮影の後、スキャン処理はステップS206へ進む。
ステップS206において、第1の制御部110は、スキャン処理を終了するか否かを判定する。例えば、スキャン処理を終了する位置は、走査範囲、すなわち観測対象範囲R0、及びスキャン動作の移動パターン等に基づいて予め決められている。スキャン動作の移動パターンは容器種情報と共に、第1の記録部130又は第2の記録部に記録されている。なお、ユーザが、走査範囲及びスキャン動作の移動パターンを設定できるようにしてもよい。スキャン処理を終了しないと判定された場合は、スキャン処理はステップS207へ進む。
ステップS207において、第1の制御部110は、撮像ユニット120が次のX方向への移動後に、観測対象範囲R0の外に位置するか否かを判定する。これは、ステップS205の撮影時に取得した撮像ユニット120の現在の位置、移動量の設定、予め設定されているスキャン動作の移動パターン等に基づく。スキャン処理は、移動後に撮像ユニット120が観測対象範囲R0の外に位置すると判定した場合はステップS208へ進み、位置しない場合、すなわち依然として観測対象範囲R0内に位置すると判定した場合はステップS210へ進む。
ステップS208において、第1の制御部110は、移動機構160に撮像ユニット120をY方向へ所定量移動させる。移動量は、ステップS201における設定に基づく。その後、スキャン処理はステップS209へ進む。ステップS209において、第1の制御部110は、X方向の移動方向の設定を反転させる。例えば、本ステップ直前における撮像ユニット120の移動方向がX+方向であった場合は、第1の制御部110は、ここで移動方向をX−方向へ切り替える。その後、スキャン処理はステップS210へ進む。
ステップS210において、第1の制御部110は、移動機構160に撮像ユニット120をX方向へ所定量移動させる。その後、第1の制御部110は、ステップS206においてスキャン処理を終了すると判定されるまで、ステップS202乃至ステップS210における繰り返し処理を継続する。ステップS206において、当該繰り返し処理を終了すると判定された場合、スキャン処理は終了し、観察装置制御処理のステップS108へ進む。
スキャン処理が終了した後の観察装置制御処理について、図7を再び参照して説明する。ステップS108において、第1の制御部110は、マニュアルによる位置指定があったか否かを判定する。すなわち、コントローラ200から撮影位置を指定しての撮影の指示があったか否かを判定する。例えば、ユーザは、スキャン処理で得られた試料300全体の画像等に基づいて、位置を指定することができる。また、スキャン処理で得られた画像に限らず、過去に測定に係る撮影で得られた画像に基づいても、ユーザは撮影位置を指定することができる。撮影位置を指定しての撮影の指示がないとき、観察装置制御処理はステップS110に進む。一方、撮影の指示があるとき、観察装置制御処理はステップS109に進む。
ステップS109において、第1の制御部110は、移動機構160を動作させて、指示された位置に撮像部170を移動させ、撮像部170に当該位置における画像の取得を行わせる。このとき、第1の制御部110はスキャン処理と同様に照明制御を行う。第1の制御部110は、得られた画像を第1の通信装置192を介してコントローラ200へと送信する。その後、観察装置制御処理はステップS110に進む。
ステップS110において、第1の制御部110は、測定を開始するタイミングであるか否かを判定する。測定を開始するタイミングでないとき、処理はステップS112に進む。一方、測定を開始するタイミングであるとき、処理はステップS111に進む。測定を開始するタイミングは、例えば1時間毎等と予め定められていてもよい。また、測定が開始される条件は、時間によらず、例えば細胞324又は培地322の状態に応じてもよい。本実施形態においては、測定を開始するタイミングになるごとに、繰り返し測定が行われる。
ステップS111において、第1の制御部110は、測定処理を行う。測定処理において、第1の制御部110は、図9を参照して上述したような本実施形態に係る照明制御の下で、撮像部170に撮影を繰り返し行わせる。また、第1の制御部110は、取得した画像データに対して、所定の処理を行い、要求されている結果を第1の記録部130に記録する。その後、処理はステップS112に進む。
測定処理における移動機構160による撮像部170の移動範囲は、例えば観測対象範囲R0である。また、移動範囲はユーザによって別途、例えばステップS108、ステップS109等において設定されてもよい。測定処理で撮影される範囲は、例えば、測定の開始当初に例えば細胞のコロニー等、注目する細胞があると特定された領域、あるいは、複数回の撮影で、細胞等に注目すべき変化が生じている領域である。
なお、上述の説明では、スキャン処理においては静止画撮影が行われるものとしたが、これに限らない。スキャン処理においても、測定処理においても、ここで説明したように、撮像部170の位置座標ごとに静止画を撮影し、得られた静止画に基づく解析が行われてもよく、動画撮影が行われてもよい。
測定処理で行われる画像取得について図4を参照して上述したが、このように得られた、第1の記録部130に記録される測定結果のデータの構成の一例を図10に示す。図10に示すように、測定結果700には、1回目の測定で得られた第1のデータ701、2回目の測定で得られた第2のデータ702等が含まれる。これらのデータの数は、測定の回数に応じて増減する。
例えば第1のデータ701に注目すると、第1のデータ701には、以下の情報が含まれる。すなわち、第1のデータ701には、開始条件710が含まれる。この開始条件710は、ステップS110で測定開始と判定された条件を含んでいる。例えば測定開始時刻等が予め決められており、当該決められた測定開始時刻で測定が開始されたとき、測定開始時刻が開始条件710として記録される。
また、第1のデータ701には、第1の画像情報721、第2の画像情報722、第3の画像情報723等が記録されている。これらのデータは、それぞれ1回の撮影において取得されたデータの集合である。第1の画像情報721に注目すると、第1の画像情報721には、以下の情報が含まれる。すなわち、第1の画像情報721には、順番731と、位置732と、Z位置733と、撮影条件734と、画像735とが含まれる。順番731は、位置を変更しながら撮影を繰り返す際の撮影毎の通し番号である。位置732は、撮影位置のX座標及びY座標を含む。X座標及びY座標は、移動機構160の制御で用いられる値であり、例えば位置制御部111から取得され得る。Z位置733は、撮影位置のZ座標を含む。Z座標は、撮像光学系172の制御に用いられる値であり、例えば撮像制御部112から取得され得る。撮影条件734は、シャッタースピードや絞り等の露出条件その他の撮影条件を含む。ここでいう撮影条件は、撮影毎に異なっていてもよいし、第1のデータ701内に含まれる各撮影では共通であってもよいし、測定結果700に含まれる全ての撮影で共通であってもよい。画像735は、撮影により得られた画像データである。第2の画像情報722、第3の画像情報723等も、それぞれ同様に、順番、位置、Z位置、撮影条件、及び画像の情報を含む。なお、Z方向に撮影面を変更しない場合には、Z位置の情報は省略されてもよい。
また、第1のデータ701には、解析結果740が含まれる。解析結果740は、例えば画像処理回路140を用いて測定された細胞又は細胞群の数を表す細胞数741等を含む。また、解析結果740には、Z位置が共通の画像を合成することで作成された平面の画像が含まれ得る。また、解析結果740には、全ての画像735を合成することで作成された3次元画像が含まれ得る。また、解析結果740には、深度合成画像が含まれてもよい。
第2のデータ702にも、第1のデータ701と同様に、開始条件、第1の画像データ、第2の画像データ、第3の画像データ等、及び解析結果等が含まれ得る。
さらに、測定結果700には、第1のデータ、第2のデータ等に基づいて得られた、測定全体の解析結果709も含まれ得る。測定結果700の全てが1つのファイルとして記録されてもよいし、測定結果700の一部が1つのファイルとして記録されてもよい。
図7に戻って説明を続ける。ステップS112において、第1の制御部110は、コントローラ200から情報の要求があるか否かを判定する。コントローラ200からは、例えばステップS111の測定で得られたデータが要求される。情報の要求が無いとき、処理はステップS114に進む。一方、情報の要求があるとき、処理はステップS113に進む。
ステップS113において、第1の制御部110は、コントローラ200から要求された情報を第1の通信装置192を介してコントローラ200に送信する。その後、処理はステップS114に進む。
ステップS114において、第1の制御部110は、観察装置制御処理を終了するか否かを判定する。観察装置制御処理を終了するとき、当該処理は終了する。例えば、一連の測定が終了し、観察装置100がインキュベータから取り出されるような状況において、観察装置制御処理は終了する。一方、終了しないとき、ステップS115に進む。
ステップS115において、第1の制御部110は、電源をオフにするか否かを判定する。例えば、ステップS111で行われた測定から、次に行われる測定までの待機時間が長いとき、電力の消費を抑制するために、電源をオフにすると判定する。電源をオフにしないとき、処理はステップS104に戻る。一方、電源をオフにすると判定されたとき、処理はステップS116に進む。
ステップS116において、第1の制御部110は、観察装置100の各部の電源をオフにする。その後、処理はステップS101に戻る。以上のようにして、観察装置100は、繰り返し測定を行う。
次に、第1の実施形態に係るコントローラ制御処理の一例を図11A及び図11Bにフローチャートとして示し、これを参照してコントローラ200の動作について説明する。コントローラ制御処理は、例えば観察装置100、コントローラ200及び試料300の設置が終わった後に開始する。
ステップS301において、第2の制御部210は、本実施形態に係る測定プログラムが起動されたか否かを判定する。測定プログラムが起動していないとき、処理はステップS301を繰り返す。コントローラ200は、本実施形態に係る測定システムのコントローラとしての機能に限らず、種々の機能を果たし得る。したがって、測定プログラムが起動していないとき、コントローラ200は、測定システム1以外として動作をしてもよい。測定プログラムが起動したと判定されたとき、処理はステップS302に進む。
ステップS302において、第2の制御部210は、観察装置100との通信を確立させる。この動作は、観察装置100による観察装置制御のステップS103と対になっており、観察装置100及びコントローラ200による動作によって、観察装置100とコントローラ200との間の通信が確立される。その後、コントローラ制御処理はステップS303へ進む。また、ここで確立される通信は、観察装置制御のステップS103と無関係な、例えば後述の観察装置100の電源をオンにするための指示を送信するための低消費電力な通信でもよい。
ステップS303において、第2の制御部210は、観察装置100の電源をオンにすることをユーザが要求しているか否かを判定する。例えば観察装置100の電源をオンにする命令が入力装置274を介して入力されたとき、電源をオンにすることが要求されていると判定される。電源をオンにすることが要求されていないとき、処理はステップS305に進む。一方、電源をオンにすることが要求されているとき、処理はステップS304に進む。ステップS304において、第2の制御部210は、観察装置100の電源をオンにすべき旨の命令を観察装置100へと送信する。その後、処理はステップS305に進む。この動作は、観察装置100による観察装置制御のステップS101と対になっており、コントローラ200から観察装置100へと送信された電源をオンにすべき旨の命令を受信した観察装置100では、ステップS102の処理により電源がオンに切り替えられる。なお、ここで用いられる通信手段は、例えばBluetooth Low Energy等の低消費電力な通信方法によってもよい。
ステップS305において、第2の制御部210は、観察装置100に向けて情報を送信することをユーザが要求しているか否かを判定する。例えば情報送信に係る命令が入力装置274を介して入力されたとき、情報送信が要求されていると判定される。ここで送信の要求がなされる情報は、容器種情報、測定の条件等である。情報送信が要求されていないとき、処理はステップS307に進む。一方、情報送信が要求されているとき、処理はステップS306に進む。ステップS306において、第2の制御部210は、入力装置274を介して入力された情報を観察装置100へと送信する。その後、処理はステップS307に進む。この動作は、観察装置100による観察装置制御のステップS104と対になっており、観察装置100は、コントローラ200から観察装置100へと送信された情報をステップS105の処理により取得する。
ステップS307において、第2の制御部210は、観察装置100がスキャン処理を行うことをユーザが要求しているか否かを判定する。例えばスキャン処理実行に係る命令が入力装置274を介して入力されたとき、スキャン処理が要求されていると判定される。スキャン処理が要求されていないとき、処理はステップS309に進む。一方、スキャン処理が要求されているとき、処理はステップS308に進む。ステップS308において、第2の制御部210は、スキャン処理を開始する旨の指示を観察装置100へと送信する。その後、処理はステップS309に進む。この動作は、観察装置100による観察装置制御のステップS106と対になっており、観察装置100は、コントローラ200から観察装置100へと送信されたスキャン処理開始指示に基づいて、ステップS107でスキャン処理を実行する。
ステップS309において、第2の制御部210は、観察装置100による撮影について、撮影すべき位置がユーザによって手動で指定されたか否かを判定する。例えば撮影位置が入力装置274を介して入力されたとき、撮影位置が指定されていると判定される。撮影位置が指定されていないとき、処理はステップS311に進む。一方、撮影位置が指定されているとき、処理はステップS310に進む。ステップS310において、第2の制御部210は、入力装置274を介して入力された撮影位置を観察装置100へと送信する。その後、処理はステップS311に進む。この動作は、観察装置100による観察装置制御のステップS108と対になっており、コントローラ200から観察装置100へと送信された撮影位置に応じて、ステップS109の処理で位置合わせが行われ、当該位置における画像が取得されて送信される。
ステップS311において、第2の制御部210は、観察装置100の測定の開始をユーザが要求しているか否かを判定する。例えば観察装置100に測定を開始させる命令が入力装置274を介して入力されたとき、測定開始が要求されていると判定される。測定開始が要求されていないとき、処理はステップS313に進む。一方、測定開始が要求されているとき、処理はステップS312に進む。ステップS312において、第2の制御部210は、測定を開始すべき旨の命令を観察装置100へと送信する。その後、処理はステップS313に進む。この動作は、観察装置100による観察装置制御のステップS110と対になっており、コントローラ200から観察装置100へと送信された命令に応じて、ステップS111の処理で測定が行われる。
ステップS313において、第2の制御部210は、観察装置100から情報を取得することをユーザが要求しているか否かを判定する。例えば情報要求に係る命令が入力装置274を介して入力されたとき、情報要求されていると判定される。要求される情報は、例えば観察装置100によって得られた試料300に関する情報である。この情報は、例えば、試料300に係る画像データや、試料300に含まれる細胞又は細胞群の数等、図10を参照して説明した測定結果700に含まれる情報であり得る。情報要求がされていないとき、処理はステップS315に進む。一方、情報要求がされているとき、処理はステップS314に進む。ステップS314において、第2の制御部210は、ユーザが要求している情報を送信すべき旨の命令を観察装置100へと送信する。その後、処理はステップS315に進む。この動作は、観察装置100による観察装置制御のステップS112と対になっており、コントローラ200から観察装置100へと送信された情報要求に応じて、ステップS113の処理で要求された情報が観察装置100からコントローラ200へと送信される。
ステップS315において、第2の制御部210は、ステップS314で要求した情報を受信したか否かを判定する。情報を受信していないとき、処理はステップS317に進む。一方、情報を受信したとき、処理はステップS316に進む。ステップS316において、第2の制御部210は、受信した情報を表示装置272に表示させたり、第2の記録部230に記録したりする。その後、処理はステップS317に進む。
ステップS317において、第2の制御部210は、観察装置100の電源をオフにすることをユーザが要求しているか否かを判定する。例えば観察装置100の電源をオフにする命令が入力装置274を介して入力されたとき、電源をオフにすることが要求されていると判定される。電源をオフにすることが要求されていないとき、処理はステップS319に進む。一方、電源をオフにすることが要求されているとき、処理はステップS318に進む。ステップS318において、第2の制御部210は、観察装置100の電源をオフにすべき旨の命令を観察装置100へと送信する。その後、処理はステップS319に進む。この動作は、観察装置100による観察装置制御のステップS115と対になっており、コントローラ200から観察装置100へと送信された電源をオフにすべき命令に応じて、ステップS116の処理で電源がオフにされる。
ステップS319において、第2の制御部210は、測定プログラムが終了したか否かを判定する。測定プログラムが終了しているとき、処理はステップS301に戻る。一方、測定プログラムが終了していないとき、処理はステップS303に戻る。すなわち、上述の動作は、繰り返し実行される。
以上のように、測定システム1による測定は、予め設定されたタイミングで、予め設定された条件で繰り返し行われ得る。測定のタイミングや条件の設定は、コントローラ200を用いてユーザによって入力され、観察装置100に設定されてもよい。また、測定システム1による測定は、ユーザがコントローラ200を用いて観察装置100に指示をすることで、ユーザによる指示の都度に手動で行われることもある。
<測定システムの利点>
第1の制御部110は、移動機構160によって移動させられる撮像ユニット120の位置情報、及び観測対象範囲R0、すなわち容器310の位置情報を取得する。第1の制御部110は、これら取得した位置情報に基づいて、撮像ユニット120の現在位置が、観測対象範囲R0の有する複数の領域のうち、何れの領域に位置するのか判定する。第1の制御部110は、適切な照明環境を維持できるように、撮像ユニット120が位置する領域に応じて照明光を放射させる放射部を選択し、また適宜放射部を切り替える、といった照明制御を実施する。本実施形態に係る測定システム1は、当該照明制御によって試料300の容器周縁部における照明光の散乱を抑制し、良質な画像を取得できる。
本実施形態に係る測定システム1は、例えば常時2つの放射部が照明光を放射する場合、又は例えばリングライトのような光源が照明光を常時放射する場合と比較して、必要十分な照明光を放射する放射部に限って使用することができるため、不必要な照明光の放射を抑制できる。すなわち、本実施形態に係る技術は、測定システム1の使用に係るエネルギーの省エネルギー化にも貢献する。また、照明制御によって不必要な照明を点灯させずに済むため、本実施形態に係る測定システム1は、照明の点灯に伴う発熱量を低減できる。
なお、位置情報に基づいて選択された放射部の他に観測対象範囲R0内に位置する放射部がある場合には、当該放射部は、照明光を補助的に、例えば光量を抑えて放射していてもよいし、消灯していてもよい。
上述の説明では、撮像ユニット120が位置する領域に応じて放射部を選択する規則の一例として、第1の領域R1及び第2の領域R2では第2の放射部183bが、第3の領域R3及び第4の領域R4では第1の放射部183aが選択される例を示したが、これに限らない。本実施形態の照明制御では、選択された放射部の放射する照明光が試料300の容器周縁部において散乱しないことが重要である。したがって、当該照明制御において、照明光を放射する放射部として観測対象範囲R0内に位置する放射部が選択される規則であれば、照明光を放射する放射部を選択する規則は、どのようなものであってもよい。
[第2の実施形態]
本発明における第2の実施形態について説明する。ここでは、第1の実施形態との相違点について説明し、同一の部分については同一の符号を付してその説明を省略する。第2の実施形態に係る撮像ユニットの構成例の概略を図12に示す。第1の実施形態では、第1の制御部110は、2つの放射部のうち何れが照明光を放射するかを選択していた。これに対して、本実施形態では図12に示すように撮像ユニット120は、第1の放射部183a及び第2の放射部183bに加え、第3の放射部183c及び第4の放射部183dをさらに有する。このため、照明光学系182は、第3の照明光学系と第4の照明光学系とをさらに有していてもよいし、光源184は、第3の光源と第4の光源とをさらに有していてもよい。放射部は、第1の実施形態の場合と同様に、照明部180の備える各部の何れに含まれるものであってもよい。本実施形態では、第1の制御部110は、4つの放射部のうち何れが照明光を放射するかを選択する。
図12を参照して、本実施形態における撮像ユニット120の構成の一例について、詳細に説明する。各々の放射部は、撮像部170又は撮像光学系172に対して概ね点対称の位置に配置されている。すなわち、撮像部170又は撮像光学系172は、複数の放射部に挟まれるように配置されている。また、第3の放射部183cの位置と第4の放射部183dの位置とを結ぶ線分は、第1の放射部183aの位置と第2の放射部183bの位置とを結ぶ線分に概ね直交している。例えば、第1の放射部183aは撮像光学系172に対してX−方向に、第2の放射部183bは撮像光学系172に対してX+方向に、第3の放射部183cは撮像光学系172に対してY−方向に、第4の放射部183dは撮像光学系172に対してY+方向に、それぞれ配置されている。上述の撮像ユニット120の構成は一例であり、これに限定されない。X軸方向、Y軸方向のそれぞれに基づいて撮像ユニット120における各々の要素の配置を説明したが、これも上述の配置に限定するものではない。例えば、X軸方向に第2の放射部183bと第4の放射部183dとが位置する配置でもよいし、図12に示す構成例が同一平面上で回転したような配置でもよい。
本実施形態における観測対象範囲R0は、第1の実施形態で図6を参照して説明した例と同様である。そこで本実施形態では、撮像ユニット120が図12に示すような構成であり、図6に示すように観測対象領域R0が分割されている場合に、第1の制御部110が分割された各々の領域において、どのように照明制御を行うのかを説明する。なお、以下の説明において、照明Aは、第1の放射部183aが照明光を放射して照明を行う物であるとする。同様に、照明B、照明C、照明Dの各々は、それぞれ、第2の放射部183b、第3の放射部183c、第4の放射部183dが照明光を放射して照明を行う物であるとする。本実施形態における照明制御では、第1の実施形態の説明において図5を参照して上述したように、撮像ユニット120及び観測対象範囲R0の位置情報に基づき、観測対象範囲R0の内側に位置する照明が選択され得る。
本実施形態において、分割された各々の領域で選択され得る照明の組み合わせは、以下の通りである。撮像ユニット120が第1の領域R1に位置するとき、第1の制御部110は、照明B又は照明Cを選択する。撮像ユニット120が第2の領域R2に位置するとき、第1の制御部110は、照明B又は照明Dを選択する。撮像ユニット120が第3の領域R3に位置するとき、第1の制御部110は、照明A又は照明Dを選択する。撮像ユニット120が第4の領域R4に位置するとき、第1の制御部110は、照明A又は照明Cを選択する。このように、本実施形態では複数の照明のうち2つが主たる照明の候補として選択され得る。
なお、本実施形態に係る照明制御では、主たる照明の候補として選択された2つの照明は、同時に点灯してもよいし、何れか1つの照明がさらに選択されて点灯してもよい。さらに、ここで主たる照明の候補として選択された他の照明は、例えば減灯して照明光を放射してもよく、消灯していてもよい。
本実施形態によれば、第1の実施形態と同様の効果を得ることができる。また、第1の実施形態と比較して、補助的に使用できる照明が多いため、より適切な照明制御の実現が可能である。
[第3の実施形態]
本発明における第3の実施形態について説明する。ここでは、第1の実施形態又は第2の実施形態との相違点について説明し、同一の部分については同一の符号を付してその説明を省略する。第1の実施形態では、第1の制御部110は、撮像ユニット120は2つの照明を有し、その2つの照明のうち何れが照明光を放射するかを選択していた。これに対して、本実施形態では図12を参照して第2の実施形態の説明の際に上述したように、撮像ユニット120は、照明A乃至照明Dの4つの照明を有している。第1の制御部110は、4つの照明のうち何れが照明光を放射するかを選択する。また、本実施形態における観測対象範囲R0の複数の領域への分割数は第2の実施形態と同様に4つであるが、一方で、その分割方法は異なる。
第3の実施形態に係る照明制御における観測対象範囲R0及びその分割方法の一例を図13に示す。本実施形態では、図13に示すように観測対象範囲R0を4つの領域に分割して照明制御を実施する。ここで分割された領域を、以下、それぞれ第5の領域R5、第6の領域R6、第7の領域R7、及び第8の領域R8と称する。
観測対象範囲R0をY方向に3分割したときの中央の領域を、さらにX方向に2分割する。X方向に2分割した領域のうち、X−方向側の領域が第5の領域R5であり、X+方向側の領域が第6の領域R6である。また、観測対象範囲R0をY方向に3分割したときの中央の領域以外、かつ、Y+側の領域が第7の領域R7である。観測対象範囲R0のうち第5の領域R5乃至第7の領域R7以外の領域、すなわち、観測対象範囲R0をY方向に3分割したときの中央の領域以外、かつ、Y−側の領域が第8の領域R8である。
第3の実施形態に係るスキャン処理の一例を図14にフローチャートとして示す。本実施形態におけるスキャン処理は、第1の実施形態におけるスキャン処理が、上述のように分割された4つの領域の各々と撮像ユニット120との相対位置に基づいて実施されるものであり、さらに撮像ユニット120のY方向の位置に基づく照明制御が加わったものである。なお、撮像ユニット120の構成は、第2の実施形態における構成と同様である。
ステップS401において、第1の制御部110は、第1の実施形態におけるスキャン処理のステップS201と同様にして、初期位置、X方向及びY方向の移動量の設定を行う。なお、初期位置は観測対象範囲R0内の中心であっても、その他の何れの位置であってもよい。観測対象範囲R0は、容器310の種類によって異なるが、使用する容器310に関する容器種情報がスキャン処理の実行前に取得されており、その形状や大きさ、載置されている位置等は明らかとなっている。
ステップS402乃至ステップS404において、第1の制御部110は、撮像ユニット120の現在位置について、第1の実施形態におけるスキャン処理のステップS202と同様にして判定する。スキャン処理は、ステップS402において、撮像ユニット120の現在位置が第5の領域R5内であると判定された場合はステップS405へ進み、第5の領域R5内ではないと判定された場合はステップS403へ進む。スキャン処理は、ステップS403において、撮像ユニット120の現在位置が第6の領域R6内であると判定された場合はステップS406へ進み、第6の領域R6内ではないと判定された場合はステップS404へ進む。スキャン処理は、ステップS404において、撮像ユニット120の現在位置が第7の領域R7内であると判定された場合はステップS407へ進み、第7の領域R7内ではないと判定された場合はステップS408へ進む。
ステップS405において、第1の制御部110は、撮像ユニット120が第5の領域R5に位置することに基づき、照明光を放射する照明として照明Bを選択する。ステップS406において、第1の制御部110は、撮像ユニット120が第6の領域R6に位置することに基づき、照明光を放射する照明として照明Aを選択する。ステップS407において、第1の制御部110は、撮像ユニット120が第7の領域R7に位置することに基づき、照明光を放射する照明として照明Cを選択する。ステップS408において、第1の制御部110は、撮像ユニット120が観測対象範囲R0のうち第5の領域R5乃至第7の領域R7以外の領域、すなわち第8の領域R8に位置することに基づき、照明Dを選択する。ステップS405乃至ステップS408の各々の後、スキャン処理はステップS409へ進む。
ステップS409において、第1の制御部110は、第1の実施形態におけるスキャン処理のステップS205と同様にして、撮像部170に撮影をさせる。撮影の後、スキャン処理は、ステップS410へ進む。ステップS410において、第1の制御部110は、第1の実施形態におけるスキャン処理のステップS206と同様にして、観測対象範囲R0の全域のスキャンが終了したか否かを判定する。スキャン処理は、スキャンが終了していないと判定された場合はステップS411へ進む。
ステップS411において、第1の制御部110は、移動機構160に撮像ユニット120をX方向及びY方向へ所定量移動させる。X方向及びY方向への移動量はステップS401における設定に基づく。X方向及びY方向への移動の順序等のスキャン動作の移動パターンは容器種情報と共に、第1の記録部130又は第2の記録部に記録されている。また、ステップS401においてスキャン動作の移動パターンを設定できるようにしてもよい。その後、スキャン処理はステップS402へ戻る。
ステップS402へ戻り、観測対象範囲R0、又は事前に設定した領域を全てスキャンするまでステップS402乃至ステップS411における繰り返し処理を継続する。ステップS410において、当該繰り返し処理を終了すると判定された場合、スキャン処理は終了し、観察装置制御処理のステップS108へ進む。なお、本実施形態においても、第1の実施形態の説明で上述した通り、点灯する照明は1つに限定されない。例えば、図14中における他照明オフという表現は、あくまでも選択された照明以外の照明が主たる照明ではなくなるという意味に過ぎない。
本実施形態によれば、第1の実施形態と同様の効果を得ることができる。本実施形態に係る技術は、第1の実施形態と比較して、Y方向における容器周縁部の位置に基づく照明制御を含み、また、補助的に使用できる放射部が多いため、より適切な照明制御の実現が可能である。さらに、本実施形態に係る技術は、観測対象範囲R0を第2の実施形態とは異なる分割方法によって分割した場合について例を示した。すなわち、本実施形態に係る技術は、容器周縁部によって撮影が妨げられないように適切な照明制御を実施できるため、スキャンの方式を制限しない。
[第4の実施形態]
ここまで述べてきた照明制御に係る技術は、試料300及び撮像ユニット120の位置情報に基づいて照明の候補を選択し、照明の切り替えを行うものである。本実施形態では、撮像ユニット120の位置する領域によって、複数の照明を照明の候補として選択し、以下に述べるようにして点灯する照明をさらに選択する。本実施形態では、観測対象範囲R0内の各々の分割された領域は図6を参照して説明したものであり、撮像ユニット120の構成は図12を参照して説明したものである場合について説明する。また、これまでの説明と同様に、選択された照明は主に点灯する照明であって、その他の照明は補助的に、例えば光量を抑えて点灯していてもよく、消灯していてもよい。
第4の実施形態に係るスキャン処理の一例を図15にフローチャートとして示す。なお、以下の第4の実施形態に係るスキャン処理の説明は図14を参照して説明した第3の実施形態に係るスキャン処理の各々のステップにおける処理と比較して説明をする。
ステップS501において、第1の制御部110は、ステップS401と同様にして、初期位置及び移動量の設定を行う。その後スキャン処理はステップS502へ進む。
ステップS502において、第1の制御部110は、ステップS402乃至ステップS404と同様にして、撮像ユニット120の現在位置が第1の領域R1乃至第4の領域R4のうち何れの領域にあるか判定する。その後スキャン処理はステップS503へ進む。
ステップS503において、第1の制御部110は、例えばステップS405乃至ステップS408と同様にして、観測対象範囲R0及び撮像ユニット120の位置情報に基づいて照明の候補を選択する。なお、ここで各々の分割された領域、すなわち第1の領域R1乃至第4の領域R4において照明の候補として選択される照明は、第2の実施形態で説明した場合と同様である。すなわち、撮像ユニット120が、第1の領域R1に位置するとき照明B又は照明Cが選択され、第2の領域R2に位置するとき照明B又は照明Dが選択され、第3の領域R3に位置するとき照明A又は照明Dが選択され、第4の領域R4に位置するとき照明A又は照明Cが選択される。
ステップS504において、第1の制御部110は、当該照明の候補から点灯させる照明をさらに選択する。本実施形態では、各々の照明の累積点灯時間と撮像ユニット120の移動軌跡とのうちの何れか一方、又はその組み合わせに基づいて点灯させる照明を選択する。ここで、照明の累積点灯時間は光源の累積点灯時間と読み替えてもよい。これら照明の選択の各々については後述する。その後スキャン処理はステップS505に進む。
ステップS505において、第1の制御部110は、ステップS409と同様にして、試料300を撮影する。その後スキャン処理はステップS506へ進む。ステップS506において、第1の制御部110は、ステップS410と同様にして、スキャン処理を終了するか否かを判定する。スキャン処理は、終了しないと判定された場合はステップS507へ進む。ステップS507において、第1の制御部110は、ステップS411と同様にして、次の撮影位置へと撮像ユニット120を移動させる。その後スキャン処理は、ステップS506においてスキャン処理を終了すると判定されるまで、ステップS502乃至ステップS507の処理を繰り返す。スキャン処理は、ステップS506において終了すると判定された場合は、当該繰り返し処理を終了して観察装置制御処理のステップS108へ進む。
(各々の照明の累積点灯時間に基づく照明の選択)
LEDは、累積点灯時間の増加に伴い徐々に劣化して放射できる光束の量、すなわち明るさが低下していく。そこで、例えばLEDを光源として用いる場合等、各々の照明の累積点灯時間に基づいて照明の選択を行う。これにより、本実施形態に係る技術では、一部のLEDの累積点灯時間が突出して長くなりLEDごとに放射する光量に大きな差が生じてしまう状況を未然に防ぎ、適切な照明環境を維持できることになる。
本実施形態では、累積点灯時間の短い光源184が、より高い点灯優先度を有することになる。各々の照明の累積点灯時間に基づく照明制御における照明の点灯優先度の一例を図16に示す。ここで、図16に示すように、例えば、累積点灯時間に基づく点灯優先度の順は、高い順に照明B、照明A、照明D、照明Cであるとする。
例えば、ステップS502において撮像ユニット120の現在位置が第3の領域R3であると判定された場合を説明する。第1の制御部110は、ステップS503において、位置情報に基づき照明Aと照明Dとを切り替え可能な照明の候補として選択する。第1の制御部110は、ステップS504において、照明Aと照明Dとの累積点灯時間を比較し、累積点灯時間に基づく点灯優先度がより高い照明Aを選択して点灯させる。なお、照明の点灯に伴って累積点灯時間は更新され、これに応じて点灯優先度の順位も、例えば、ステップS502の直前に更新される。
(撮像ユニットの移動軌跡に基づく照明の選択)
照明を切り替えたとき、LED等の光源固有のバラつき、照明の位置、照明の配置等によって照明の状態に変化が生じる。この変化の撮影された画像への影響は、適切な設計によってある程度抑制できるが、完全に除去することは困難である。そこで、本実施形態では、撮像ユニット120の移動によって生じる照明の切り替えをできるだけ抑制する。
撮像ユニットの移動軌跡に基づく照明制御において選択される照明の一例を図17に示す。なお、図中に一重丸が付してある照明は、ステップS503において選択される、その領域において選択可能な照明の候補を示し、二重丸が付してある照明は、ステップS504において、選択された点灯する照明を示す。ここで、図17に示すように、例えば、撮像ユニット120の移動は第1の領域R1、第4の領域R4、第3の領域R3、第2の領域R2の順であるとする。撮像ユニット120の移動パターンは、上述したように第1の記録部130又は第2の記録部230に予め記録されているとする。
例えば、撮像ユニット120の現在位置が第1の領域R1内であり、照明Cが点灯している状態であるとする。ステップS507において、撮像ユニット120が移動させられ、ステップS502において、撮像ユニット120の現在位置が第4の領域R4内であると判定された場合を説明する。第1の制御部110は、ステップS503において、位置情報に基づき照明Aと照明Cとを切り替え可能な照明の候補として選択する。このとき、第1の制御部110は、ステップS504において、照明の切り替えなく撮影が継続できるように、照明の候補として選択された照明Aと照明Cとから、照明Cを選択する。
その後、撮像ユニット120は移動させられ、ステップS502において、撮像ユニット120の現在位置が第3の領域R3内であると判定された場合、第1の制御部110は、ステップS503において、位置情報に基づき照明Aと照明Dとを切り替え可能な照明の候補として選択する。このとき、現在点灯している照明Cは照明の候補に含まれていない。このとき第1の制御部110は、例えば、撮像ユニット120が現在の領域の後に移動させられる領域において、位置情報に基づき選択される照明の候補を参照する。上述したように、撮像ユニット120の移動順序は既知であり、撮像ユニット120は、第3の領域R3の後に第2の領域R2へ移動させられる。第2の領域R2において位置情報に基づき選択される照明の候補は、照明Bと照明Dである。したがって、第1の制御部110は、不要な照明の切り替えを抑制するために、照明Dを選択することになる。なお、上述のように、点灯している照明が選択可能な照明の候補にない場合、照明の候補のうち何れの照明を点灯させるかを選択するための優先順位を予め設定しておき、これに従って照明が選択されるようにしてもよい。
このように、本実施形態に係る技術は、撮像ユニット120が移動させられて、その位置する領域が変わったとき、直前に点灯していた照明を可能な限り継続して選択したり、さらに次の照明の候補を参照して点灯させる照明を選択したりして、照明の切り替え回数を抑制する。その結果、取得画像データの露出変化を低減させることができる。さらに、動画記録時やライブビュー観察時の照明切り替えによる画像のチラつきを低減させることができる。なお、ライブビュー観察とは、動画を撮像して動画記録はしないが動画を表示させて観察する機能である。すなわち、本実施形態に係る技術は、観測対象範囲R0及び撮像ユニット120の位置情報に対応し、さらに各々の照明の点灯履歴に基づく照明制御を行う。
(各々の照明の累積点灯時間及び撮像ユニットの移動軌跡に基づく照明の選択)
また、上述した各々の照明の累積点灯時間に基づく照明の選択と、撮像ユニット120の移動軌跡に基づく照明の選択とは、組み合わされて用いられてもよい。各々の照明の累積点灯時間及び撮像ユニットの移動軌跡に基づく照明制御において選択される照明の一例を図18に示す。以下の説明において、累積点灯時間に基づく点灯優先度の順は、各々の照明の累積点灯時間に基づく照明の選択について、図16を参照して説明した場合と同様であるとする。また、本説明は、図中の一重丸、二重丸の示す意味と、撮像ユニット120の移動順序とは、それぞれ上述の撮像ユニット120の移動軌跡に基づく照明の選択について説明した場合と同様である場合とする。なお、本実施形態において、各々の照明の累積点灯時間に基づく照明の選択と、撮像ユニット120の移動軌跡に基づく照明の選択との選択結果が対立した場合には、後述するような例外はあるが、照明を切り替えないことが優先される。
例えば、撮像ユニット120の現在位置が第1の領域R1内であり、照明Bが点灯している状態であるとする。ステップS507において撮像ユニット120が移動させられ、ステップS502において、撮像ユニット120の現在位置が第4の領域R4内であると判定された場合を説明する。第1の制御部110は、ステップS503において、位置情報に基づき照明Aと照明Cとを切り替え可能な照明の候補として選択する。したがって、点灯している照明Bが選択可能な照明の候補にないため、照明の切り替えが発生することになる。ここで、第1の制御部110は、累積点灯時間に基づく点灯優先度がより高い照明Aを選択する。
その後、撮像ユニット120は移動させられ、ステップS502において、撮像ユニット120の現在位置が第3の領域R3内であると判定された場合、第1の制御部110は、ステップS503における位置情報に基づく照明の候補の選択及びステップS504における移動軌跡に基づく照明の選択の結果、照明Aを引き続き選択する。
その後、撮像ユニット120の現在位置が第2の領域R2内であると判定された場合、照明の候補である照明Bと照明Dとから、点灯優先度の高い照明Bが点灯する照明として選択される。さらにその後、撮像ユニット120の現在位置が第1の領域R1内であると判定された場合、照明の候補である照明Bと照明Cとから、照明の切り替えが不要で、かつ、点灯優先度の高い照明Bが点灯する照明として選択される。さらにその後、すなわちタイミングT1において、撮像ユニット120の現在位置が第4の領域R4内であると判定された場合、照明の候補である照明Aと照明Cとから、点灯優先度の高い照明Aが点灯する照明として選択される。
例えば、タイミングT1において、照明Aの累積点灯時間が、照明Dの累積点灯時間よりも所定の時間以上長くなった場合について説明する。なお、累積点灯時間に基づく点灯優先度は、例えば、ステップS502の直前に更新されることになる。
タイミングT2において、撮像ユニット120は第3の領域R3に位置しており、ステップS503において照明の候補として選択される照明は、照明Aと照明Dである。このとき、各々の照明の累積点灯時間に基づく照明の選択によれば、タイミングT1において点灯優先度が更新されたため、照明Dが選択される。一方で、撮像ユニット120の移動軌跡に基づく照明の選択によれば、照明の切り替えが生じないように直前に点灯していた照明Aが選択される。
本実施形態において、照明を切り替えないことが優先されると上述したが、このように累積点灯時間の差が設定された閾値を超えた場合には、第1の制御部110は、累積点灯時間に基づく点灯優先度による選択を優先し、照明を切り替える。
ただし、照明Aの累積点灯時間が照明Dの累積点灯時間を超えていても、その差が所定の閾値を超えていない場合には、上述した通りに照明を切り替えないことが優先され、照明Aが選択されることになる。例えば、図18に示すように、タイミングT2の後、撮像ユニット120の現在位置が第2の領域R2内であると判定され、照明の候補として照明Bと照明Dとが選択される。このとき、各々の照明の累積点灯時間に基づく照明の選択によれば、照明Bが選択される。一方で、撮像ユニット120の移動軌跡に基づく照明の選択によれば、照明の切り替えが生じないように直前に点灯していた照明Dが選択される。ここで、上述したように、照明を切り替えないことが優先され、点灯優先度の高い照明Bではなく、照明Dが選択される。
本実施形態のような照明の選択に基づく照明制御は、第1の実施形態乃至第3の実施形態で得られる測定システム1の利点に加え、以下のような利点を有する。LED等の光源184は、その累積点灯時間の増加に伴って劣化が進み、例えば放射する照明光の明るさが低下する。本実施形態に係る技術は、各々の照明の累積点灯時間に大きな差が生じないように照明制御を行うため、光源184ごとに放射する光量に大きな差が生じてしまう状況を未然に防ぎ、適切な照明環境を維持できる。また、LED等の光源184固有のバラつき、照明の位置、照明の配置等によって、照明の切り替え時に撮影された画像の露出が変化する。本実施形態に係る技術は、撮像ユニット120の移動軌跡に基づいて、不要な照明の切り替えを抑制し、照明の切り替えに伴って生じる露出変化を低減できる。
<変形例>
(容器位置の取得に係る第1の変形例)
上述の実施形態では、容器310の位置、すなわち観測対象範囲R0が予め登録された容器種情報に基づいて取得される場合を説明してきたが、これに限定されない。例えば、スキャン処理の前に、簡易なスキャン処理、すなわちラフスキャン処理を実施して、第1の制御部110が容器種別や観測対象範囲R0を取得するようにしてもよい。ラフスキャン処理では、例えば、画像処理によって容器310の位置、すなわち観測対象範囲R0が取得されてもよい。複数の取得画像の画像情報に基づく容器位置取得の一例を図19に示す。図19に示すように、第1の制御部110は、観察装置100の観測可能領域Rを複数の領域に分割し、分割された各々の領域ごとに画像信号を取得する。このとき、撮影した位置の位置情報も取得する。第1の制御部110は、各々の領域において撮影された画像を合成して合成画像を生成する。第1の制御部110は、当該合成画像の解析と撮影時の位置情報とに基づいて観測対象範囲R0を取得する。このようにして取得された観測対象範囲R0は、上述したように、スキャン処理等において使用される。なお、図19は、模式的に説明をするための図であって、観測可能領域Rの分割方法や分割数は、これに限定されない。
以上、取得した画像情報に基づく容器位置取得の例について説明したが、画像情報に基づいて容器位置を判定するのは、第1の制御部110であっても、ユーザであってもよい。例えば、上述の場合のように取得された観測可能領域Rに含まれる、分割された各々の領域の画像データ又はそれらの合成画像データを見ながら、ユーザが設定するような形態であってもよい。また、容器310は画像処理によって容器周縁部が検出されやすい加工、例えば、容器周縁部へ反射材等が付される加工、容器周縁部に特徴的な構造等が付される加工等が施されていてもよい。
(容器位置の取得に係る第2の変形例)
また、容器位置の取得は、専用のセンサによって行われてもよい。センサ出力情報に基づく容器位置取得の一例を図20に示す。例えば、図20に示す構成例のように、観察装置100の備える透明板102は、少なくとも観測可能範囲Rを含む領域に、感圧式センサS1を有する。第1の制御部110は、感圧式センサS1の出力信号を取得し、これに基づいて容器310が載置された際の位置や容器形状等の情報を取得する。図20に示した例において、感圧式センサS1及び透明板102の領域の一端における長さは一致しているが、これに限定されるものではない。なお、センサは感圧式センサS1に限定されない。例えば、静電容量式センサであってもよいし、輝度センサであってもよい。
なお、容器位置又は観測対象範囲R0の取得は上述の実施形態及び2つの変形例で述べたものに限定されず、例えばユーザによる入力に基づいて行われてもよい。ユーザは、例えば、容器位置又は観測対象範囲R0の座標を入力して設定してもよい。また、容器位置の取得に係る第1の変形例のように、スキャン処理の前にラフスキャン処理を実施して、ユーザは、ここで得られた画像を見ながら容器位置又は観測対象範囲R0を入力して設定してもよい。
(容器種類に係る変形例)
また、ここまで容器310の形状が円形である、例えばシャーレ(ディッシュ)を用いている場合を例として説明してきたが、これに限定されない。透明容器形状の別の例を図21A及び図21Bに示す。容器310は、図21Aに示すように、培養フラスコに代表されるような矩形の観測対象範囲R0を有するものであってもよいし、図21Bに示すように、マルチウェルプレート(マルチウェルディッシュ)に代表されるような複数の培養する領域が連成されている培養容器のうちの一部が観測対象範囲R0となるものであってもよい。これらの容器種の各々について、観測対象範囲R0の位置情報等が予め定められて、第1の記録部130又は第2の記録部230に事前に記録されている。
また、上述の実施形態では、試料300の有する容器310が、照明光に対して透明な部分を含む透明容器であり、この透明容器に観察対象が配置される例を示したが、これに限らない。例えば、観察対象によっては透明容器を用いなくても、第1の制御部110は、観察対象そのものによる照明光の散乱に基づいて観察対象の周縁部の位置を取得し、照明制御を行ってもよい。観察対象は細胞に限らず、例えば、素材表面の検査のような場合であっても、観察対象が照明光を散乱又は反射するものに対して、本実施形態に係る技術は適用できる。
(測定システム1の構成に係る変形例)
上述の実施形態では、撮像部170で得られた画像の処理、測定結果の解析等が、観察装置100で行われる例を示したが、これに限らない。処理前のデータが観察装置100からコントローラ200へと送信されることで、これらの処理のうち1つ以上が、コントローラ200の第2の制御部210で行われてもよい。すなわち、装置としてのこの発明は、複数の装置で連携して上述の機能を満足させる等、様々な変形が可能である。
また、上述の実施形態では、観察装置100の筐体101の上面が透明板102で覆われており、試料300が筐体101の上面に配置される例を示したが、これに限らない。もちろん、観察対象の大きさや筐体の形状等によっては透明板がなく、中空でもよい。試料300の形状、観察したい方向等に応じて、観察装置100の形状は適宜に変更され得る。
なお、フローチャートで示した各々の処理、及び各々の処理内の各ステップは、その順序を変更可能であり、また、追加及び削除も可能である。これら各々の処理は、第1の記録部130又は第2の記録部230に記録された各々のプログラムによって実行される。各々のプログラムは、予め測定システム1の内部に記録されていても、別の記録媒体に記録されていてもよい。これら測定システム1又は別の記録媒体への記録の方法は様々であり、製品出荷時に記録されるものでもよく、配布された記録媒体が利用されて記録されるものでもよく、インターネット等通信回線が利用されて記録されるものでもよい。
1…測定システム、100…観察装置、101…筐体、102…透明板、105…回路群、110…第1の制御部、111…位置制御部、112…撮像制御部、113…照明制御部、114…通信制御部、115…記録制御部、116…測定制御部、117…演算部、118…容器位置取得部、130…第1の記録部、140…画像処理回路、160…移動機構、161…X送りねじ、162…Xアクチュエータ、163…Y送りねじ、164…Yアクチュエータ、168…支持部、170…撮像部、172…撮像光学系、174…撮像素子、180…照明部、180a…第1の照明部、180b…第2の照明部、182…照明光学系、182a…第1の照明光学系、182b…第2の照明光学系、183a…第1の放射部、183b…第2の放射部、183c…第3の放射部、183d…第4の放射部、184…光源、184a…第1の光源、184b…第2の光源、192…第1の通信装置、200…コントローラ、210…第2の制御部、211…システム制御部、212…表示制御部、213…記録制御部、214…通信制御部、230…第2の記録部、270…入出力装置、272…表示装置、274…入力装置、292…第2の通信装置、300…試料、310…容器、322…培地、324…細胞、360…容器上面、410…固定枠、412…固定板、414…孔。

Claims (8)

  1. 容器内の生体試料を撮像する撮像素子及び撮像光学系を含み画像信号を出力する撮像部と、
    前記撮像光学系の光軸から外れた位置に配置され照明光を放射する複数の放射部を含み前記容器内の生体試料を照明する照明部と
    を具備する撮像ユニットと、
    前記撮像ユニットを移動させる移動機構と、
    前記撮像ユニットの位置情報を取得する位置制御部と、
    前記容器の位置情報を取得する容器位置取得部と、
    前記容器及び撮像ユニットの位置情報に基づいて、複数の前記放射部のうち何れの放射部から照明光を放射するかを選択し、選択した前記放射部から主たる照明光を放射させる照明制御部と、
    前記撮像部に撮像させる撮像制御部と
    を備え、
    前記照明制御部は、複数の前記放射部のうち前記容器の中心側に位置する前記放射部を選択する、観察装置。
  2. 前記照明制御部は、さらに、複数の前記放射部に係る各々の点灯履歴に基づいて前記放射部を選択する、請求項に記載の観察装置。
  3. 前記照明制御部は、さらに、複数の前記放射部に係る各々の累積点灯時間に基づいて前記放射部を選択する、請求項1又は2に記載の観察装置。
  4. 前記容器位置取得部は、前記撮像部の撮像した前記画像信号に基づいて前記容器の位置を取得する、請求項1乃至の何れか1項に記載の観察装置。
  5. 前記容器の位置を検出するセンサをさらに備え、
    前記容器位置取得部は、前記センサの出力に基づいて前記容器の位置を取得する、
    請求項1乃至の何れか1項に記載の観察装置。
  6. 前記照明制御部は、前記容器の位置情報に基づいて前記撮像ユニットの走査範囲を複数の領域に分割し、前記撮像ユニットの位置が前記複数の領域のうち何れの領域内であるかに基づいて複数の前記放射部から照明光を放射させる放射部を選択する、請求項1に記載の観察装置。
  7. 容器内の生体試料を撮像する撮像素子及び撮像光学系を含み画像信号を出力する撮像部と、前記撮像光学系の光軸から外れた位置に配置され照明光を放射する複数の放射部を含み前記容器内の生体試料を照明する照明部とを具備する撮像ユニットと、前記撮像ユニットを移動させる移動機構とを備える観察装置の制御方法であって、
    前記容器及び撮像ユニットの位置情報に基づいて、複数の前記放射部のうち前記容器の中心側に位置する前記放射部を選択することと、
    選択した前記放射部から主たる照明光を放射させることと、
    前記撮像部に撮像させることと
    を備える観察装置の制御方法。
  8. 容器内の生体試料を撮像する撮像素子及び撮像光学系を含み画像信号を出力する撮像部と、前記撮像光学系の光軸から外れた位置に配置され照明光を放射する複数の放射部を含み前記容器内の生体試料を照明する照明部とを具備する撮像ユニットと、前記撮像ユニットを移動させる移動機構とを備える観察装置の制御プログラムであって、
    前記容器及び撮像ユニットの位置情報に基づいて、複数の前記放射部のうち前記容器の中心側に位置する前記放射部を選択することと、
    選択した前記放射部から主たる照明光を放射させることと、
    前記撮像部に撮像させることと
    を前記観察装置のコンピュータに実行させるための観察装置の制御プログラム。
JP2016156411A 2016-08-09 2016-08-09 観察装置、観察装置の制御方法及び観察装置の制御プログラム Active JP6815787B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2016156411A JP6815787B2 (ja) 2016-08-09 2016-08-09 観察装置、観察装置の制御方法及び観察装置の制御プログラム
EP17185310.4A EP3284814A1 (en) 2016-08-09 2017-08-08 Observation apparatus, method for controlling observation apparatus, and computer readable storage medium storing control program for observation apparatus
US15/672,202 US10310242B2 (en) 2016-08-09 2017-08-08 Observation apparatus, method for controlling observation apparatus, and non-transitory computer readable storage medium storing control program for observation apparatus
CN201710673791.8A CN107699477A (zh) 2016-08-09 2017-08-09 观察装置、观察装置的控制方法和记录介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016156411A JP6815787B2 (ja) 2016-08-09 2016-08-09 観察装置、観察装置の制御方法及び観察装置の制御プログラム

Publications (2)

Publication Number Publication Date
JP2018025627A JP2018025627A (ja) 2018-02-15
JP6815787B2 true JP6815787B2 (ja) 2021-01-20

Family

ID=59592860

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016156411A Active JP6815787B2 (ja) 2016-08-09 2016-08-09 観察装置、観察装置の制御方法及び観察装置の制御プログラム

Country Status (4)

Country Link
US (1) US10310242B2 (ja)
EP (1) EP3284814A1 (ja)
JP (1) JP6815787B2 (ja)
CN (1) CN107699477A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6993100B2 (ja) * 2017-04-27 2022-01-13 オリンパス株式会社 観察装置および観察方法
JP7107523B2 (ja) * 2018-06-28 2022-07-27 株式会社エビデント 培養モニタリングシステム、状態表示方法、及び、プログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5397709A (en) * 1993-08-27 1995-03-14 Becton Dickinson And Company System for detecting bacterial growth in a plurality of culture vials
JPH0979988A (ja) * 1995-09-11 1997-03-28 Nissan Motor Co Ltd 表面欠陥検査装置
US20090080611A1 (en) 2001-10-18 2009-03-26 Ganz Brian L Computer Controllable LED Light Source for Device for Inspecting Microscopic Objects
US7148043B2 (en) * 2003-05-08 2006-12-12 Bio-Rad Laboratories, Inc. Systems and methods for fluorescence detection with a movable detection module
JP4490154B2 (ja) * 2004-04-07 2010-06-23 株式会社カネカ 細胞培養装置
JP2006058170A (ja) * 2004-08-20 2006-03-02 Dainippon Screen Mfg Co Ltd 目視確認装置および検査システム
JP2010251815A (ja) * 2009-04-10 2010-11-04 Seiko Epson Corp 画像読取装置、画像読取方法、プログラム
JP2011095070A (ja) 2009-10-29 2011-05-12 Hst Vision Corp 照明装置および照明システム
US20130038727A1 (en) * 2010-01-20 2013-02-14 Phillip Clark Cell Image Capturing and Remote Monitoring Systems
JP5916475B2 (ja) 2012-03-29 2016-05-11 日本光電工業株式会社 細胞培養容器に装着される測定ユニット、細胞培養容器、および培養状態監視システム
EP3144379A4 (en) 2014-05-14 2017-12-27 Olympus Corporation Culture observation apparatus
JP6569259B2 (ja) * 2015-03-23 2019-09-04 セイコーエプソン株式会社 位置検出装置、表示装置、位置検出方法、及び、表示方法
CN107645625B (zh) * 2016-07-22 2020-10-09 松下知识产权经营株式会社 图像生成装置以及图像生成方法

Also Published As

Publication number Publication date
CN107699477A (zh) 2018-02-16
US20180045935A1 (en) 2018-02-15
JP2018025627A (ja) 2018-02-15
EP3284814A1 (en) 2018-02-21
US10310242B2 (en) 2019-06-04

Similar Documents

Publication Publication Date Title
JP6698451B2 (ja) 観察装置
US10116848B2 (en) Illumination and imaging system for imaging raw samples with liquid in a sample container
JP2019106944A (ja) 観察装置及びそれを用いた観察方法
US20190219808A1 (en) Observation device
US9726873B2 (en) Microscope and magnifying observation method using the same
JP6667393B2 (ja) 拡大観察装置
US9906698B2 (en) Imaging apparatus and imaging method
JP6815787B2 (ja) 観察装置、観察装置の制御方法及び観察装置の制御プログラム
US10275882B2 (en) Observation apparatus, measurement system and observation method
JP2018028593A (ja) 観察装置、観察方法及び観察システム
JP6640610B2 (ja) 観察装置、測定システム及び観察方法
JP6330070B1 (ja) 観察装置、観察システム及び観察装置の制御方法
US20170280051A1 (en) Observation apparatus, measurement system, culture vessel and control method for observation apparatus
US20180180867A1 (en) Microscope and setting support method
WO2019058512A1 (ja) 観察システム
JP6535494B2 (ja) 撮像装置、撮像方法および培養容器
JP2019078866A (ja) 顕微鏡システム、観察方法、及び観察プログラム
US20240236467A9 (en) Image acquisition apparatus, image acquisition method, and medium
US20240137637A1 (en) Image acquisition apparatus, image acquisition method, and medium
JP2010060519A (ja) 観察装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190712

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200608

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200623

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200807

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201005

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201223

R151 Written notification of patent or utility model registration

Ref document number: 6815787

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250