JP6558609B2 - コンピュータ - Google Patents
コンピュータ Download PDFInfo
- Publication number
- JP6558609B2 JP6558609B2 JP2018152898A JP2018152898A JP6558609B2 JP 6558609 B2 JP6558609 B2 JP 6558609B2 JP 2018152898 A JP2018152898 A JP 2018152898A JP 2018152898 A JP2018152898 A JP 2018152898A JP 6558609 B2 JP6558609 B2 JP 6558609B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- light
- illumination
- image sensor
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000005286 illumination Methods 0.000 claims description 184
- 238000003384 imaging method Methods 0.000 claims description 62
- 230000001678 irradiating effect Effects 0.000 claims description 26
- FCZCIXQGZOUIDN-UHFFFAOYSA-N ethyl 2-diethoxyphosphinothioyloxyacetate Chemical compound CCOC(=O)COP(=S)(OCC)OCC FCZCIXQGZOUIDN-UHFFFAOYSA-N 0.000 description 41
- 238000002360 preparation method Methods 0.000 description 37
- 238000010586 diagram Methods 0.000 description 31
- 230000007246 mechanism Effects 0.000 description 28
- 238000000034 method Methods 0.000 description 25
- 239000011521 glass Substances 0.000 description 18
- 238000006243 chemical reaction Methods 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 238000002834 transmittance Methods 0.000 description 8
- 239000003086 colorant Substances 0.000 description 6
- 239000006059 cover glass Substances 0.000 description 6
- 238000010827 pathological analysis Methods 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 5
- 239000008393 encapsulating agent Substances 0.000 description 5
- 239000004065 semiconductor Substances 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 230000000903 blocking effect Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 239000012192 staining solution Substances 0.000 description 4
- 230000002194 synthesizing effect Effects 0.000 description 4
- 230000000052 comparative effect Effects 0.000 description 3
- 239000002131 composite material Substances 0.000 description 3
- 239000000470 constituent Substances 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 239000012120 mounting media Substances 0.000 description 3
- 239000000758 substrate Substances 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000003211 malignant effect Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000001575 pathological effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000002609 medium Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000001000 micrograph Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000035699 permeability Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Landscapes
- Investigating Or Analysing Biological Materials (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Color Television Image Signal Generators (AREA)
Description
本願は、画像形成装置および画像形成方法に関する。
病理診断では、病気の確定診断、病変の広がりの判定などを目的として、体内の臓器、腫瘍から組織を切り出し、観察を行う。その際、切り出された組織切片は顕微鏡で観察できるよう数ミクロンの厚さに薄切され、ガラスに挟まれた状態の病理スライド(標本)が作製される。病理診断は、癌の良性、悪性を判定する際などには必ず行われる検査であるので、病理診断の際に作製される標本の数は各病院あたり1日数百枚程度にもなる。病理標本は放射線画像等と異なり、電子データの形で保存することが難しい。このため、作製された標本を後で確認できるよう、標本自体を半永久的に保存しておくことが一般的である。
従来、生体組織などのミクロ構造を観察するために顕微鏡が用いられてきた。顕微鏡は、観察対象を透過した光、あるいは反射した光をレンズで拡大する。観察者は拡大された光によって形成される像を直視する。顕微鏡像をカメラで撮影し、ディスプレイに表示するデジタル顕微鏡を用いれば、複数人での同時観察、遠隔地での観察などが可能である。カメラは顕微鏡の結像点に置かれ、顕微鏡のレンズで拡大された像を撮影する。
特許文献1は、CIS(Contact Image Sensing)方式によってミクロ構造を観察する技術を開示している。CIS方式による場合、観察対象をイメージセンサに直接載せて、撮影を行う。レンズによる像の拡大を用いないので、イメージセンサの画素サイズが分解能を決める。すなわち、画素サイズが小さいほど、ミクロ構造を詳細に撮影できる。
上述のように、従来のCIS方式による撮像では、イメージセンサの画素サイズによって定まる分解能を超える分解能を実現することができない。
本開示の実施形態は、イメージセンサの画素サイズによって定まる分解能を超える分解能を実現できる画像形成装置および画像形成方法を提供する。
本願の限定的ではないある例示的な実施形態によれば、以下が提供される。
試料切片を透過した光が入射する位置に配置されたイメージセンサに電気的に接続される撮像部と、前記試料切片を基準にして複数の異なる照射方向から、順次、照明光を出射し、前記照明光で前記試料切片を照射する照明システムであって、第1の波長帯域にピークを有する第1の光および第2の波長帯域にピークを有する第2の光を放射する照明システムと、前記撮像部および前記照明システムに接続され、前記撮像部および前記照明システムを制御する制御部と、前記イメージセンサから複数の画像のデータを取得し、前記複数の画像を合成して、前記複数の画像の各々よりも分解能の高い前記試料切片の高分解能画像を生成する画像処理部とを備え、前記制御部は、前記複数の異なる照射方向から、順次、前記照明光としての前記第1の光で前記試料切片を照射し、その照射中に前記イメージセンサによって複数の第1色画像を取得し、かつ、前記複数の異なる照射方向の一部の方向から、前記照明光としての前記第2の光で前記試料切片を照射し、その照射中に前記イメージセンサによって少なくとも1つの第2色画像を取得し、前記画像処理部は、前記複数の第1色画像および前記少なくとも1つの第2色画像に基づいて、前記高分解能画像を生成する、画像形成装置。
本開示の実施形態によれば、レンズを使わずに顕微鏡を実現できるので、省スペースと低コストとを達成することが可能になる。
顕微鏡は、医療分野において細胞観察に利用される。細胞の形などを観察することによって、病気にかかっているか否かを判別でき、病気にかかっている場合は、その良悪性の度合いを診ることもできる。病理診断と呼ばれる診断においては、患者から採取した検体を、細胞が観察できる4μm程度の厚さに薄切する。また、細胞は透明であり、顕微鏡像のコントラストが低いので、細胞の構造が見やすくなるように染色を施す。
まず、図1を参照して、病理診断用のプレパラートA01を作製する方法の一例を説明する。
図1に示すように、薄切した切片A02がスライドガラス(透明プレート)A03に載せられる。スライドガラスA03は、典型的には、厚さが1mm、長辺方向の長さが76mm、短辺方向の長さが26mmのサイズを有している。切片A02は、スライドガラスA03ごと染色液A04に漬けられることによって染色される。切片A02に染色液が付着すると、切片A02は試料切片(以下、「染色切片A05」と呼ぶことがある)となる。染色切片A05の保護および固定のために、スライドガラスA03上に封入剤A06を付与する。その後、カバーガラスA07を載せることにより、プレパラートA01が完成する。
図2は、顕微鏡で観察される状態でのプレパラートA01の断面を模式的に示す図である。
図2に示されるように、スライドガラスA03の上に染色切片A05が載せられている。封入剤A06を介してカバーガラスA07がスライドガラスA03に固定されている。染色切片A05は、封入剤A06に囲まれた状態で、カバーガラスA07とスライドガラスA03との間に位置している。
プレパラートA01を光学顕微鏡にセットして観察する場合、光源G01から出射された照明光G02をプレパラートA01の下側から照射する。照明光G02は、スライドガラスA03、染色切片A05、封入剤A06、およびカバーガラスA07を透過して、顕微鏡の対物レンズG03に入射する。
このような光学顕微鏡によってプレパラートA01の観察を行うとき、倍率の設定、観察エリアの設定に時間を要するという問題がある。
次に、図3を参照してCIS方式における観察方法の原理を説明する。
図3に示すプレパラートE01は、カバーガラスA07の代わりに、イメージセンサB01を備えている。このプレパラートE01は、透明プレート(ここではスライドガラス)A03と、封入剤A06を介してスライドガラスA03上に固定されたイメージセンサB01と、封入剤A06に囲まれた状態の染色切片(被写体)A05とを備えている。イメージセンサB01として、多数の光電変換部が撮像面内に行および列状に配列された固体撮像素子が採用され得る。光電変換部は、典型的には、半導体層または半導体基板に形成されたフォトダイオードである。光電変換部は、入射光を受けて電荷を生成する。2次元イメージセンサの分解能は、撮像面上における光電変換部の配列ピッチまたは配列密度に依存する。近年、光電変換部の配列ピッチは、可視光の波長程度まで短くなっている。イメージセンサB01の典型例は、CCD(Charge Coupled Device)イメージセンサ、または、MOS(Metal Oxide Semiconductor)型イメージセンサである。
撮影時、照明光G02は、スライドガラスA03、染色切片A05、封入剤A06を通って、プレパラートE01上のイメージセンサB01に到達する。イメージセンサB01は、不図示の回路に電気的に接続されており、撮像動作を実行する。イメージセンサB01は、染色切片A05の像を取得し、染色切片A05の光透過率分布(濃度分布)に応じた画像信号を出力する。これにより、染色切片A05の像が得られる。
このようなCIS方式の観察方法によれば、撮像を行う素子と染色切片A05(被写体)との間にレンズなどの光学系は存在しない。しかし、イメージセンサB01の撮像面には、微細な光電変換部(フォトダイオード)が高密度で配置されているので、染色切片A05の微細な構造を示す画像を取得することができる。以下、分解能について簡単に説明する。
前述した光学顕微鏡の分解能は2点分解能によって定義される。2つの点光源の分解能δは、レーリーの基準によって次の式(1)で表される。
ここで、λは光の波長、NAは対物レンズの開口数である。
例えば対物レンズのNAが0.25、λが555nmであるとき、式(1)から、分解能δは1.35μmであることがわかる。この分解能δに相当する分解能をCIS方式によって実現するには、使用するイメージセンサの画素ピッチを1.35μmに設定すればよい。仮に、この分解能の2倍の分解能で撮像したい場合、イメージセンサの画素ピッチを半分の約0.6μmに小さくすればよい。しかし、イメージセンサの画素構造の微細化を更に進めることは困難であり、製造コストの上昇を招く。
本開示の実施形態では、イメージセンサに対して複数の照射方向から被写体を照射し、画素サイズよりも小さなエリアを通過した光によって複数の画像を取得し、これらの画像を合成して分解能を上げる。
一般に、カラー画像を取得するには、カラーモザイクフィルタを備えるカラー用イメージセンサが使用される。しかしながら、そのようなイメージセンサ上では同一色の画素の配列周期が拡大するので、分解能が低下してしまう。このような分解能の低下を避けるためには、カラーモザイクフィルタを備えないモノクロ用イメージセンサを用い、照明光として、異なる色光、例えば赤(R)、緑(G)、および青(B)の色光をタイムシーケンシャルに試料切片に照射しながら、各々の色光の照明下で撮影を行えばよい。それにより、例えば赤(R)画像、緑(G)画像、および青(B)画像が得られる。それらを用いてカラー画像を合成することが可能である。
しかしながら、複数の照射方向の全てについて、例えば赤(R)、緑(G)、および青(B)用の画像を取得しようとすると、撮影回数が増加し、取得する画像のデータ量が膨大になる。本開示の実施形態では、以下に説明する構成を採用することにより、このようなデータ量の増加を抑制しつつ、分解能の高い画像を取得することが可能になる。
本開示の一態様の概要は以下のとおりである。
本開示の画像形成装置は、ある実施形態において、試料切片を透過した光が入射する位置に配置されたイメージセンサに電気的に接続される撮像部と、試料切片を基準にして複数の異なる照射方向から、順次、照明光を出射し、照明光で試料切片を照射する照明システムと、撮像部および照明システムに接続され、撮像部および照明システムを制御する制御部と、イメージセンサから複数の画像のデータを取得し、複数の画像を合成して、複数の画像の各々よりも分解能の高い試料切片の高分解能画像を生成する画像処理部とを備える。照明システムは、第1の波長帯域にピークを有する第1の光および第2の波長帯域にピークを有する第2の光を放射する。制御部は、複数の異なる照射方向から、順次、照明光としての第1の光で試料切片を照射し、その照射中にイメージセンサによって複数の第1色画像を取得する。また、制御部は、複数の異なる照射方向の一部の方向から、照明光としての第2の光で試料切片を照射し、その照射中にイメージセンサによって少なくとも1つの第2色画像を取得する。画像処理部は、複数の第1色画像および少なくとも1つの第2色画像に基づいて、高分解能画像を生成する。
ある実施形態において、撮像部は、試料切片とイメージセンサとを有するプレパラートを着脱可能に支持し、プレパラートを支持している状態でイメージセンサに電気的に接続される。
ある実施形態において、照明システムは、少なくとも4つの異なる照射方向から出射した第1の光により試料切片を照射する。イメージセンサは、試料切片が第1の光で照射されているとき、各々が試料切片の異なる部分の像である少なくとも4つの異なる第1色画像を取得し、画像処理部は、少なくとも4つの異なる第1色画像に基づいて試料切片の高分解能画像を生成する。
ある実施形態において、照明システムは、第3波長帯域にピークを有する第3の光を放射する。制御部は、複数の異なる照射方向の一部の方向から、照明光としての第3の光で試料切片を照射し、その照射中にイメージセンサによって少なくとも1つの第3色画像を取得する。
ある実施形態において、第1の光は495nm以上570nm以下の波長を有する光である。第2の光は620nm以上750nm以下の波長を有する光または450nm以上495nm未満の波長を有する光である。
ある実施形態において、第1の光は495nm以上570nm以下の波長を有する光である。第2の光は620nm以上750nm以下の波長を有する光である。第3の光は450nm以上495nm未満の波長を有する光である。
ある実施形態において、照明システムは、複数の異なる照射方向に対応した複数の異なる位置に順次移動して照明光を出射する光源を有している。
ある実施形態において、照明システムは、複数の異なる照射方向に対応した複数の異なる位置に配置され、順次、照明光を出射する複数の光源を有している。
ある実施形態において、照明システムは、試料切片およびイメージセンサの位置および方向の少なくとも一方を変化させる機構を有している。
ある実施形態による画像形成装置は、照明光が試料切片に入射する角度を調整する照明角度調整部を備える。照明角度調整部は、照明システムの複数の異なる照射方向から順次出射された照明光が試料切片の異なる部分を透過してイメージセンサの光電変換部に入射するように、試料切片に対する照明光の入射角度を調整する。
本開示の画像形成方法は、ある実施形態において、試料切片を基準にして複数の異なる照射方向から、順次、照明光を出射し、照明光で試料切片を照射する工程と、試料切片を透過した光が入射する位置に配置されたイメージセンサにより、複数の異なる照射方向に応じて異なる複数の画像を取得する工程と、複数の画像を合成して、複数の画像の各々よりも分解能の高い試料切片の高分解能画像を生成する工程とを含む。照明光で試料切片を照射する工程は、第1の波長帯域にピークを有する第1の光で複数の異なる照射方向から試料切片を照射する工程と、第2の波長帯域にピークを有する第2の光で複数の異なる照射方向の一部の方向から試料切片を照射する工程とを含む。複数の画像を取得する工程は、複数の異なる照射方向から、順次、照明光としての第1の光で試料切片を照射し、その照射中に複数の第1色画像を取得する工程と、複数の異なる照射方向の一部の方向から、照明光としての第2の光で試料切片を照射し、その照射中に少なくとも1つの第2色画像を取得する工程とを含む。
本開示の画像形成システムは、ある実施形態において、試料切片を透過した光が入射する位置に配置されたイメージセンサに電気的に接続される撮像部と、試料切片を基準にして複数の異なる照射方向から、順次、照明光を出射し、照明光で試料切片を照射する照明システムと、コンピュータとを備える。照明システムは、第1の波長帯域にピークを有する第1の光および第2の波長帯域にピークを有する第2の光を放射する。コンピュータは、複数の異なる照射方向から、順次、照明光としての第1の光で試料切片を照射し、その照射中にイメージセンサによって複数の第1色画像を取得する工程と、複数の異なる照射方向の一部の方向から、照明光としての第2の光で試料切片を照射し、その照射中にイメージセンサによって少なくとも1つの第2色画像を取得する工程と、複数の第1色画像および少なくとも1つの第2色画像に基づいて、各第1色画像の分解能よりも高い分解能を有する高分解能画像を生成する工程とを実行する。
本開示のプログラムは、ある実施形態において、上記の画像形成システムに使用されるコンピュータプログラムである。このコンピュータプログラムは、画像形成システムに、複数の異なる照射方向から、順次、照明光としての第1の光で試料切片を照射し、その照射中にイメージセンサによって複数の第1色画像を取得する工程と、複数の異なる照射方向の一部の方向から、照明光としての第2の光で試料切片を照射し、その照射中にイメージセンサによって少なくとも1つの第2色画像を取得する工程と、複数の第1色画像および少なくとも1つの第2色画像に基づいて、各第1色画像の分解能よりも高い分解能を有する画像を生成する工程とを実行させる。
本開示による画像形成装置の実施形態は、試料切片と、この試料切片を透過した光が入射するように配置されたイメージセンサとを含むプレパラートを着脱可能に支持する撮像部とを備える。ここで注目すべき点は、プレパラートそのものがイメージセンサを備えていることである。このようなプレパラートを「電子プレパラート」と呼んでもよい。撮像部は、このようなプレパラートを支持している状態でイメージセンサに電気的に接続される。
本開示による画像形成装置の実施形態は、上記のプレパラートの試料切片を基準にして複数の異なる照射方向から、順次、照明光を出射し、照明光で試料切片を照射する照明システムを備える。この照明システムは、第1の波長帯域にピークを有する第1の光および第2の波長帯域にピークを有する第2の光を放射するように構成されている。また、この照明システムは、第3の波長帯域にピークを有する第3の光を放射するように構成されていてもよい。第1の光は例えば495nm以上570nm以下の波長を有する光であり得る。第2の光および第3の光は、それぞれ、620nm以上750nm以下の波長を有する光および450nm以上495nm未満の波長を有する光であり得る。なお、説明の簡便のために、495nm以上570nm以下の波長を有する光を「緑色の光」、620nm以上750nm以下の波長を有する光を「赤色の光」、450nm以上495nm未満の波長を有する光を「青色の光」と記述することがある。
この照明システムは、試料切片に入射する照明光の角度(照射角度)を変化させる機能を有していれば、その具体的構成は任意であり得る。照明システムは、「照射角度」を変化させるため、光源を移動させる機構、および、試料切片を移動させる機構(例えばゴニオ機構)の一方または両方を備えていてもよい。
本開示による画像形成装置は、更に、制御部と画像処理部とを備えている。制御部は、撮像部および照明システムに接続され、撮像部および照明システムを制御する。画像処理部は、撮像部に支持されたプレパラートのイメージセンサから複数の画像のデータを取得し、複数の画像を合成して、複数の画像の各々よりも分解能の高い、試料切片の高分解能画像を生成するように構成されている。
上記の制御部は、複数の異なる照射方向から、順次、照明光としての第1の光で試料切片を照射し、その照射中にイメージセンサによって複数の第1色画像を取得するように構成されている。また、制御部は、複数の異なる照射方向の一部の方向から、照明光としての第2の光で試料切片を照射し、その照射中にイメージセンサによって少なくとも1つの第2色画像を取得するように構成されている。ある具体例において、第1色画像は、照明光として緑色の光で試料を照射して取得された画像であり、第2色画像は、照明光として赤色の光で試料を照射して取得された画像であり得る。試料切片は、特定の色に染色されていることが多く、2つの異なる原色の混合によって表示されたカラー画像でも十分に有益な情報を含み得る。
なお、制御部は、照明システムが第3の光を放射し得る場合、複数の異なる照射方向の一部の方向から、照明光としての第3の光で試料切片を照射し、その照射中にイメージセンサによって少なくとも1つの第3色画像を取得するように構成されていてもよい。3つの異なる原色の混合によって表示されたカラー画像は、人の眼で知覚される画像の色情報を高い程度で再現できるので、医者等による診断に好適である。
本開示における画像処理部は、複数の第1色画像および少なくとも1つの第2色画像に基づいて、各第1色画像の分解能よりも高い分解能を有する画像を生成するように構成されている。後述することから明らかなように、複数の異なる照射方向から、順次、照明光としての第1の光で試料切片を照射し、その照射中にイメージセンサによって取得した複数の第1色画像を合成することにより生成された画像は、相対的に分解能の高い画像である。一方、複数の異なる照射方向の一部から、照明光としての第2の光で試料切片を照射し、その照射中にイメージセンサによって取得した少なくとも1つの第2色画像は、相対的に分解能の低い画像である。本願発明者は、3原色の一部の色の画像については分解能が低くとも、分解能の高い合成画像を生成することが可能であることに着目し、本開示に係る画像処理部を完成した。
以下、図面を参照しながら本開示の実施形態を詳細に説明する。
なお、以下で説明する実施形態は、いずれも包括的または具体的な例を示す。以下の実施形態で示される数値、形状、材料、構成要素、構成要素の配置、位置および接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD−ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
(実施形態1)
まず、図4を参照しながら、本開示の実施形態に係るプレパラートの例示的な作製方法を説明する。
まず、図4を参照しながら、本開示の実施形態に係るプレパラートの例示的な作製方法を説明する。
図4に示すように、薄切した切片A02がスライドガラス(透明プレート)A03に載せられる。切片A02は、スライドガラスA03ごと染色液A04に漬けられて染色される。切片A02に染色液が付着すると、切片A02は染色切片A05となる。染色切片A05の保護および固定のために、スライドガラスA03上に封入剤A06を付与する。その後、図1に示すカバーガラスA07の代わりに、イメージセンサB01を載せる。なお、図4に示す例では、イメージセンサB01には、その背面側からパッケージ12が接続されている。こうして、プレパラート11が完成する。
図5は、イメージセンサB01およびパッケージ12を備えるプレパラート11の断面構成の一例を模式的に示す図である。図示されている例では、イメージセンサB01は、パッケージ12内に収容されている。イメージセンサB01とパッケージ12とはワイヤ状の電極(ボンディングワイヤ)F01によって電気的に接続されている。イメージセンサB01とパッケージ12との電気的接続は、図5に示される例に限定されず、電極F01は、ワイヤ状の形状を有している必要も無い。図示されているパッケージ12は、イメージセンサB01を収容する空間を形成する底面および壁面(側壁)を有している。イメージセンサB01およびパッケージ12の構成自体は、公知のイメージセンサパッケージの構成と同様であり得る。なお、図5に示される例では、スライドガラスA03の幅(図面内において水平方向のサイズ)がパッケージ12の幅よりも小さい。もちろん、スライドガラスA03の幅はパッケージ12の幅よりも大きくてもよい。
図6は、本開示の実施形態で使用され得るプレパラート11と、このプレパラート11を着脱可能に支持する撮像部の一部を模式的に示す図である。撮像部全体の構成は後述する。この撮像部は、プレパラート11を装填するように構成されたソケットC03を備えている。ソケットC03は回路基板C05に電気的に接続されている。ソケットC03と回路基板C05との電気的接続は、例えば、ソケットC03の背面に設けられた複数の端子が、回路基板C05上の配線または電極パッドに接触することにより実現され得る。回路基板C05は、公知の構成を有しておればよく、例えば多層プリント配線基板であり得る。ソケットC03は、公知の電子部品を回路基板に実装する各種の方法により、回路基板C05に実装され得る。パッケージ12の裏面には、イメージセンサB01を外部回路に電気的に接続するための端子13が設けられている。ソケットC03は、パッケージ12の端子13に電気的に接続されるように配置された複数の端子C04を有している。
図7は、プレパラート11がソケットC03に装填された状態の一例を模式的に示している。プレパラート11は、ソケットC03、または他の機構により、ソケットC03に対して一時的に固着される。ソケットC03の端子C04は、装填により、パッケージ12の端子13を介してイメージセンサB01に電気的に接続される。ソケットC03の構成は、このような例に限定されない。ソケットC03とイメージセンサB01との間の電気的接続も、この例に限定されない。
図7に示す状態で、上方からの照明光でプレパラート11が照射され、染色切片A05を透過した照明光がイメージセンサB01に入射する。こうして、必要な撮影が複数回実行される。撮影対象のプレパラート11に対する撮影が終了すると、そのプレパラート11はソケットC03から外される。ソケットC03には、次の撮影対象である他のプレパラート11が装填される。
図8は、本実施形態に係る画像形成装置10の構成の一例を模式的に示す図である。
図8に示す画像形成装置10は、ソケットC03に装填されたプレパラート11におけるスライドガラスA03を介してイメージセンサB01に光を入射させる照明システムC09を備えている。照明システムC09の構成および動作は後述する。図8に示される例では、照明システムC09が、撮像部90に支持されたプレパラート11の上方に位置している。しかしながら、本開示の実施形態は、このような例に限定されない。照明システムC09とプレパラート11との上下関係が反転していてもよいし、両者を結ぶ線が鉛直方向から傾斜していてもよい。
図示する例において、画像形成装置10は、制御装置(コンピュータ)C06を備えている。コンピュータC06は、プロセッサなど、装置に搭載された回路であってもよいし独立した装置であってもよい。言い換えれば、コンピュータC06は、撮像部90および/または照明システムC09と別個の装置であり得る。図8に例示する構成では、コンピュータC06は、制御部120、画像処理部140、およびメモリ145を備えている。制御部120は、ソケットC03に装填された状態におけるプレパラート11のイメージセンサB01と、照明システムC09とを制御することにより、プレパラート11中の染色切片の撮像をイメージセンサB01に行わせるように構成されている。
図7を参照して説明したように、パッケージ12は、ソケットC03に装填されると、ソケットC03に電気的に接続される。ソケットC03は、図7に示す回路基板C05を介して図8に示すコンピュータC06に接続される。
撮像によって得られた画像データには、画像処理部140による合成および画素補間の処理が施される。これらの処理により、分解能が高められた、染色切片の画像が生成される。生成された画像は、例えばディスプレイC07に表示され、メモリ145またはデータベース148に保存され得る。
図9は、本開示の実施形態で使用され得る照明システムC09における光源要素の配置例を模式的に示す平面図である。図9に示す例では、25個の光源要素20が行および列状(マトリックス状)に配列されている。ここでは、光源要素20の5行および5列の配列(5×5配列)が照明システムC09の光出射側面に形成されている。
図10に示すように、マトリックス状に配列された光源要素20を備える照明システムC09によれば、異なる角度から照明光をプレパラート中のイメージセンサB01に入射させることが可能である。光源要素20から放射される照明光は、イメージセンサB01にとって実質的に平行光である。例えば、照明システムC09が少なくとも4個の光源要素20を備える場合、少なくとも4つの異なる方向から、順次、照明光をプレパラート内のイメージセンサB01に入射させることができる。なお、照明システムC09における各光源要素20は、LEDなどの発光素子とカラーフィルタとが組み合せられた素子であってもよい。また、個々の光源要素20には、光線の発散度を調整するための光学素子、反射ミラーなどが設けられていてもよい。
本実施形態では、図11に示されるように、照明システムC09の光出射側面の中央に位置する光源要素20aは、各々が異なる波長帯域にピークを有する3個のLEDチップ20G、20R、20Bから構成され得る。3個のLEDチップ20G、20R、20Bは、それぞれ、第1の波長帯域にピークを有する第1の光、第2の波長帯域にピークを有する第2の光、および第3の波長帯域にピークを有する第3の光を放射するように構成されている。本実施形態において、第1の光、第2の光および第3の光は、それぞれ、緑色、赤色、および青色の光である。なお、光源要素20aは、複数のLEDチップから構成されている必要は無く、単一の白色LEDチップであってもよい。また、光源要素20aは、放電管であってもよいし、レーザ素子であってもよい。
本実施形態において、中央に位置する光源要素20a以外の24個の光源要素20bは、第1の光、この例では緑色の光、を放射するように構成されている。光源要素20bは、典型的には、LEDチップ20Gを有する。
このような構成を有する照明システムC09は、ソケットC03に装填された状態のプレパラート11の試料切片を基準にして、異なる25個の照射方向から出射した照明光で、順次、試料切片を照射することができる。この照明システムC09は、第1の波長帯域にピークを有する第1の光(この例では緑色の光)を、異なる25個の照射方向から出射することができる。この例では、照明システムC09は、第2の波長帯域にピークを有する第2の光(この例では赤色の光)および第3の波長帯域にピークを有する第3の光(この例では青色の光)は、1個の照射方向から出射するように構成されている。
図12は、照明システムC09の他の構成例を示している。この例では、1個の光源要素22が複数の異なる光源位置24から光を放射するように移動する。この移動可能な光源要素22は、第1の波長帯域にピークを有する第1の光(この例では緑色の光)、第2の波長帯域にピークを有する第2の光(この例では赤色の光)、および第3の波長帯域にピークを有する第3の光(この例では青色の光)を、選択的または同時に放射することができる。このような光源要素22は、例えば、図11に示される照明システムC09の中央に位置する光源要素20aと同様の構成を備え得る。
光源要素22を移動させるメカニズムは、任意である。例えば、X軸およびY軸の方向に可動部を移動させるように構成された2個のステッピングモータを用いることによって、光源要素22を任意の位置で発光させることができる。
図13に示すように、光源要素22を移動させることができれば、異なる角度から照明光をプレパラートのイメージセンサB01に入射させることが可能になる。光源要素22から放射される照明光は、イメージセンサB01にとって実質的に平行光である。なお、この光源要素22は、発光素子とカラーフィルタとが組み合せられた素子であってもよい。また、この光源要素22には、光線の発散度を調整するための光学素子、反射ミラーなどが設けられていてもよい。
図12に示す照明システムC09を適用する場合、例えば中央の光源位置24cからは、イメージセンサB01に、順次、3色の異なる照明光を入射する。他の光源位置24からは、イメージセンサB01に1色の照明光を入射する。
本開示における照明システムは、上記の例に限定されない。例えば、光源要素の個数および配置のパターンは、図示される例に限定されない。図9に示すような、複数の光源要素が固定された照明システムは、少なくとも4個の光源要素を備え得る。
このような照明システムC09を用いることにより、以下に説明する動作が可能になる。
まず、図14Aを参照する。25個の光源位置のうち、最初の光源位置にある光源要素20bから第1の光を放射し、第1の光でプレパラート11を照射しながら、プレパラート11中のイメージセンサB01で試料切片の撮像を行う。撮像によって得られた画像(第1色画像)のデータは、イメージセンサB01から撮像部90に読み出され、制御用コンピュータC06に送られる。第1色画像のデータを取得するこのような動作は、発光する光源要素の位置を替えながら繰り返し実行される。
次に、図14Bを参照する。この例では、25個の光源位置の中央に位置する光源要素20aから第1の光を放射し、第1の光でプレパラート11を照射しながら、プレパラート11中のイメージセンサB01で試料切片の撮像を行う。撮像によって得られた画像(第1色画像)のデータは、イメージセンサB01から撮像部90に読み出され、制御用コンピュータC06に送られる。また、この光源要素20aから第2の光を放射し、第2の光でプレパラート11を照射しながら、プレパラート11中のイメージセンサB01で試料切片の撮像を行う。撮像によって得られた画像(第2色画像)のデータは、イメージセンサB01から撮像部90に読み出され、制御用コンピュータC06に送られる。更に、この光源要素20aから第3の光を放射し、第3の光でプレパラート11を照射しながら、プレパラート11中のイメージセンサB01で切片試料の撮像を行う。撮像によって得られた画像(第3色画像)のデータは、イメージセンサB01から撮像部90に読み出され、制御用コンピュータC06に送られる。
次に、図14Cを参照する。25個の光源位置のうち、最後の光源位置にある光源要素20bから第1の光を放射し、第1の光でプレパラート11を照射しながら、プレパラート11中のイメージセンサB01で試料切片の撮像を行う。上述したように、撮像によって得られた画像(第1色画像)のデータは、イメージセンサB01から撮像部90に読み出され、制御用コンピュータC06に送られる。
なお、光源要素20の発光順序は任意である。中央に位置する光源要素20aが最初に発光させられ、第1色画像、第2色画像および第3色画像が取得されてもよい。中央に位置する光源要素20aを発光させた状態で第1色画像を取得した後、第2色画像および第3色画像を連続して取得する必要は無い。また、3色の発光を行う光源要素20aの位置は、照明システムC09の中央である必要もないし、3色の発光を行う光源要素の個数も1個に限定されない。
次に、図15Aおよび図15Bを参照して、1個または複数の光源要素が移動可能に支持される実施形態を説明する。
この実施形態では、光源要素22を複数の光源位置に移動させ、順次、各光源位置からの照明光でプレパラート11を照射する。撮像に要する露出時間が充分に短い場合、光源要素22を停止させることなく、移動させながら撮影を行ってもよい。この実施形態では、例えば、光源要素22がプレパラート11の真上に達したとき、波長が異なる第1〜第3の光で順次プレパラート11内の被写体を照射して撮像を行う。この場合、光源要素22がプレパラート11の真上において停止すると有益である。
次に、本開示による画像形成装置および画像形成方法の実施形態をより詳細に説明する。
図16Aは、照明光の照射角度を切り替えて拡大率2倍の生体画像を撮影する方法を説明する図である。図16Aは、照明光を染色切片の直上から照射している状態を示す。
光源H01は、CIS方式のプレパラートE01の直上から照明光H02を照射する。光源H01はプレパラートE01の大きさに対して、十分離れた位置に設置されている。このため、照明光H02は平行光とみなせる。なお、光源から放射された光をコリメートして平行光に変化させる光学系を光路上に配置してもよい。その場合、光源をプレパラートE01に接近させることができる。
図示されているイメージセンサB01は、半導体基板H03と、フォトダイオードH04と、配線層H05と、配線層H05を覆う遮光層H06と、半導体基板H03において光が入射する側の面を被覆する透明層H07とを備えている。染色切片A05を透過した照明光H02のうち、フォトダイオードH04に入射した部分はフォトダイオードH04で光電変換が行われ、画像信号を構成する電荷を生成する。イメージセンサB01の構成は、図示されている例に限定されない。
図16Bは、イメージセンサB01における1画素領域を示す平面図である。図16Bに示されるように、1画素領域に含まれるフォトダイオード(PD)の面積は、1画素領域の面積よりも小さい。ここで、「1画素領域の面積」は、水平方向の画素ピッチと垂直方向の画素ピッチとの積によって決まる。この例において、1画素領域の面積に対するフォトダイオード(PD)の面積の比率(開口率)は、約25%である。イメージセンサB01の撮像面のうち、フォトダイオード(PD)以外の領域は、遮光層H06によって覆われている。この例では、イメージセンサB01には、開口率を高めるためのマイクロレンズアレイが設けられていない。本開示の実施形態によれば、開口率が小さいほど、分解能を高くすることが可能になる。
図16Aに示す照射状態において、染色切片A05のうちの領域H08、領域H09、領域H10の各々を通過した光が、対応するフォトダイオードH04に入射する。領域H08の濃度により、直下にあるフォトダイオードH04の信号レベルが決まる。同様に、領域H09の濃度により、その直下にあるフォトダイオードH04の信号レベルが決まり、領域H10の濃度により、その直下にあるフォトダイオードH04の信号レベルが決まる。本明細書における領域の「濃度」は、染色切片上の領域の「光学濃度(OD)」を意味している。したがって、図示されている3個のフォトダイオードH04の各々で生成される信号電荷の大きさは、領域H08、領域H09、領域H10の光透過率に対応している。
一方、照明光のうち、遮光層H06に入射した部分はフォトダイオードH04における光電変換に無関係である。従って、染色切片A05を透過した光のうち、遮光層H06に入射した部分は、イメージセンサB01が出力する画像信号に反映されない。図16Aに示す例においては、領域H11、H12を透過した光は、画像信号に反映されない。
図16Aに示す例では、図面において紙面に平行な断面内におけるフォトダイオードH04の横幅は遮光層H06の横幅に等しい。ここでは、イメージセンサB01は、二次元の平面内において行および列状にフォトダイオードH04が配列された面形状のエリアセンサである。従って、図17Aに示すように、染色切片A05のうち、フォトダイオードH04に照明光が入射する領域は、行および列方向に離散的である。図16Aに示されるように、領域H08、領域H09および領域H10は、フォトダイオードH04の直上にある。従って、これらの領域の各々の濃度がフォトダイオードH04の信号レベルを決め、イメージセンサB01によって生体画像の画素値として検出される。このとき、領域H11、領域H12は遮光層H06の直上にあり、生体画像の画素値に反映されない。
領域H08、領域H09および領域H10について説明したことが、領域I02、領域I03および領域I04についても成立する。光源H01から光を照射して撮影される生体画像I01(図17B参照)は、領域H08、領域H09および領域H10、領域I02、領域I03および領域I04の濃度または光透過率を示す画素値によって構成される画像である。
ここで、図17Aに示す画素I06に注目する。照明光H02のうち、画素I06内のフォトダイオードH04に入射する部分は、染色切片A05の領域H09、領域H12、領域H14および領域H17のうち、領域H09を通過した光である。画素I06において、領域H09の近傍に位置する領域H12、領域H14、領域H17を通過した光は、いずれも、遮光層H06によって遮られる。イメージセンサB01が遮光層H06を有することで、画素I06の大きさの1/4の大きさの領域(サブ画素領域)を撮影することができる。
本実施形態では、G色光(典型的には緑色の光)を放射するG光源と、B色光(典型的には青色の光)を放射するB光源と、R色光(典型的には赤色の光)を放射するR光源とが光源H01の位置に置かれている。このため、図16Aに示す照射方向から、G色光、B色光、R色光を照明光H02として、順次、被写体に照射することができる。こうして、それぞれの色の照明光H02が照射されているときに撮像が行われ、3枚の画像(G画像、B画像、R画像)が取得される。
図18は、図16Aに示す照射方向とは異なる照射方向からの照明光でCIS方式のプレパラートE01を照射し、生体画像を撮影している状態を示している。図18に示す例では、光源J01から出た照明光J02が、染色切片A05の右上方から染色切片A05に入射している。光源J01はCIS方式のプレパラートE01の大きさに対して十分離れた位置に設置されるので、照明光J02は平行光とみなせる。本実施形態における光源J01は、G色光を放射するG光源である。以下の説明において、図16Aに示す照射方向とは異なる照射方向から被写体を照射する照明光は、G色光である。
図18に示す照射状態において、染色切片A05のうちの領域H11、領域H12をそれぞれ通過した光が、対応するフォトダイオードH04に入射する。領域H11の濃度が、図18において領域H11の左斜め下にあるフォトダイオードH04の信号レベルを決める。同様に、領域H12の濃度が、図18において領域H12の左斜め下にあるフォトダイオードH04の信号レベルを決める。言い換えると、図示されている左の2個のフォトダイオードH04の各々で生成される信号電荷は、領域H11、領域H12の光透過率に対応している。
一方、照明光のうち、遮光層H06に入射した部分はフォトダイオードH04における光電変換に無関係であり、イメージセンサB01が出力する画像信号に反映されない。図18に示す照射状態においては、照明光のうち、領域H08、領域H09、領域H10を透過した部分は、画像信号に反映されない。
図19Aに示される領域のうち、フォトダイオードH04に入射する光が通過した領域は、領域H11、H12、K02、K03であり、縦と横に飛び飛びに配置されている。すなわち、図19Aに示すY軸と垂直な断面に注目したとき、領域H11、H12、K02、K03のいずれについても、その左斜め下にフォトダイオードH04が位置している。そして、各領域の濃度がフォトダイオードH04の出力レベルを決め、生体画像の画素値を形成する。一方、領域H08、領域H09、領域H10などを透過した光は遮光層H06に入射するので、生体画像の画素値に反映されない。従って、光源J01を発光させた状態で撮影される生体画像K01(図19B参照)は、領域H11、領域H12、領域K02、領域K03の濃度または透過率に対応した画素値によって構成される画像である。
図19Aに示す画素K04に注目する。画素K04においては、照明光J02のうち、領域H12を透過した部分が、フォトダイオードH04に入射する。照明光J02のうち、画素K04に含まれる領域H09、領域H17、領域H14を透過した部分は、いずれも、遮光層H06で遮られる。イメージセンサB01が遮光層H06を有することで、画素の大きさよりも1/4小さい領域を撮影することができる。
図20は、図16Aおよび図18に示す照射方向とは異なる照射方向からの照明光でCIS方式のプレパラートE01を照射し、生体画像を撮影している状態を示している。図20に示す例では、Y軸方向に移動させた光源J01から出た照明光J02が、染色切片A05の右上方から染色切片A05に入射している。光源J01はCIS方式のプレパラートE01の大きさに対して十分離れた位置に設置されるので、照明光J02は平行光とみなせる。
図18に示す照明状態では、X軸方向に光源を移動させている。図20に示す照明状態では、Y軸方向に光源を移動させている。それによって、染色切片の領域H13、領域H14、領域H15を撮影する。照明光J02のうち、領域H09、領域I03を透過した部分は、遮光層H06に入射するので、撮影に利用されない。
図21Aに示される領域のうち、フォトダイオードH04に入射する光が通過した領域は、領域L02、L03、L04、H13、H14、H15、L05、L06、L07であり、縦と横に飛び飛びに配置されている。これらの各領域の濃度がフォトダイオードH04の出力レベルを決め、生体画像の画素値を形成する。一方、領域H08、H09、H10、H11、H12、H17などを透過した光は遮光層H06に入射し、生体画像の画素値に反映されない。従って、図20に示す位置で光源J01を発光させた状態で撮影される生体画像L01(図21B参照)は、領域L02、L03、L04、H13、H14、H15、L05、L06、L07の濃度または透過率に対応した画素値によって構成される画像である。
図21Aに示される画素L08に注目すると、照明光J02のうち、領域H14を通過を透過した部分が、フォトダイオードH04に入射する。照明光J02のうち、画素L08内の領域H09、領域H17、領域H12を通過した部分は、遮光層H06で遮られる。イメージセンサB01が遮光層H06を有することで、画素の大きさよりも1/4小さい領域を撮影することができる。
図22は、光源H01の位置からX軸とY軸の等分線方向(ここでは二等分線の方向)に移動した光源J01から出た照明光J02が染色切片A05に斜めに入射した状態を示す。図22に示されるように、照明光J02のうち、フォトダイオードH04に入射する部分は、領域H17および領域H18を通過している。照明光J02のうち、領域H09および領域I04を通過した部分は、遮光層H06に遮られている。
図23Aに示される領域のうち、フォトダイオードH04に入射する光が通過した領域は、領域H16、H17、H18、M02、M03、M04であり、縦と横に飛び飛びに配置されている。これらの各領域の濃度がフォトダイオードH04の出力レベルを決め、生体画像の画素値を形成する。一方、領域H08、H09、H10、H11、H12、L03、H14、L06、I04などを透過した光は遮光層H06に入射し、生体画像の画素値に反映されない。従って、図22に示す位置で光源J01を発光させた状態で撮影される生体画像M01(図23B参照)は、領域H16、H17、H18、M02、M03、M04の濃度または透過率に対応した画素値によって構成される画像である。
図23Aに示される画素M05に注目すると、照明光J02のうち、フォトダイオードH04に入射する部分は、領域H17を通過する。照明光J02のうち、画素M05内の領域H09、領域H12、領域H14を通過した部分は、遮光層H06で遮られる。イメージセンサB01が遮光層H06を有することで、画素の大きさよりも小さい領域を撮影することができる。従って、開口率が低いほど、分解能が向上する。
このような手順により、例えば図19Aに示す画素K04に含まれる領域H09、H12、H14、H17の全てについて、これらの領域のそれぞれにおける濃度または透過率に対応した画素値を得ることが可能である。照射方向が異なる複数の照明状態のもとで取得した複数の画像を合成することにより、これらの画像の各々の分解能よりも高い分解能を有する高分解能画像を生成することが可能である。本開示の実施形態では、G色光の照射のもとで取得された複数のG画像に上述の処理を実行し、複数のG画像の各々の分解能よりも高い分解能を有するG画像を生成する。この高分解能のG画像と、R色光の照射のもとで取得された1以上のR画像、および、B色光の照射のもとで取得された1以上のB画像の一方または両方とを組み合わせることにより、高分解能のカラー画像(モノクロではない画像)を形成することが可能である。
なお、発光する光源の位置を変化させることによって照明光の照射角度を変化させる代わりに、プレパラートの角度および/または位置を変化させることよって照明光の照射角度を変化させてもよい。また、発光する光源の位置およびプレパラートの角度の両方を変化させることにより、照明光の照射角度を変化させてもよい。
図24は、本実施形態における制御部および画像処理部の構成例を示すブロック図である。
例示される構成では、撮像部90が、試料切片を透過した光が入射するように配置されたイメージセンサ(不図示)に電気的に接続される。このイメージセンサは、前述したように、プレパラートに取り付けられていてもよいし、撮像部90に取り付けられていてもよい。
制御部120は、撮像部90および照明システムC09に接続され、撮像部90および照明システムC09を制御する。図24に例示する構成における照明システムC09は、G色光を放射するG光源と、B色光を放射するB光源と、R色光を放射するR光源とを有している。照明システムC09は、前述した構成を有している。制御部120は、画像処理部140にも接続されている。画像処理部140は、G画像合成部142、B画像補間部144、およびR画像補間部146を含んでいる。制御部120および画像処理部140は、1つのコンピュータシステムによって実現されていてもよい。
本実施形態では、制御部120の働きにより、複数の異なる照射方向から、順次、照明光としてのG色光で試料切片を照射し、その照射中にイメージセンサによって複数のG画像を取得する。G画像のデータは、画像処理部140のG画像合成部142に送られる。また、1つの方向から、照明光としてのB色光で試料切片を照射し、その照射中にイメージセンサによって1つのB画像を取得する。B画像のデータは、画像処理部140のB画像補間部144に送られる。更に、1つの方向から、照明光としてのR色光で試料切片を照射し、その照射中にイメージセンサによって1つのR画像を取得する。R画像のデータは、画像処理部140のR画像補間部146に送られる。
G画像合成部142は、複数のG画像を合成して、各G画像の分解能よりも高い分解能を有する高分解能画像を生成する。例えば1枚のG画像が2000×1000個の画素数を有している場合、4枚のG画像を合成することにより、4000×2000個の画素数を有する高分解能のG画像が得られる。
B画像補間部144は、受け取ったB画像のデータを補間し、画素数を増やした画像を生成する。この画素補間は、元の画像における各画素値を2行×2列の画素に等しく与えることであるので、画素数が4倍に増加しても、分解能は変わらない。例えば1枚のB画像が2000×1000個の画素数を有している場合、そのB画像を画素補間することにより、4000×2000個の画素数を有するB画像が得られる。こうして得られたB画像の分解能は増加していない。画素補間の仕方は、この例に限定されない。
R画像補間部146は、受け取ったR色画像のデータを補間し、画素数を増やした画像を生成する。この画素補間は、B画像補間部144による画素補間と同様であり、元の画像における各画素値を2行×2列の画素に等しく与えることである。例えば1枚のR画像が2000×1000個の画素数を有している場合、そのR画像を画素補間することにより、4000×2000個の画素数を有するR画像が得られる。
画像出力部150は、G画像合成部142、B画像補間部144、およびR画像補間部146によって生成されたR、G、Bの各画像のデータを受け取り、カラーの画像を出力する。
図25Bは、本実施形態によって得られる高分解能画像の一例を示している。一方、図25Aおよび図25Cは、それぞれ、比較例の高分解能画像を示している。図25Aは、異なる4方向からB色光を順次照射し、撮影された4枚の画像を合成して得られた高分解能のB画像と、1方向からG色光を照射している時に撮影された1枚の画像を画素補間して得られたG画像と、1方向からR色光を照射している時に撮影された1枚の画像を画素補間して得られたR画像とから生成された高分解能画像を示している。また、図25Cは、異なる4方向からR色光を順次照射し、撮影された4枚の画像を合成して得られた高分解能のR画像と、1方向からG色光を照射している時に撮影された1枚の画像を画素補間して得られたG画像と、1方向からB色光を照射している時に撮影された1枚の画像を画素補間して得られたB画像とから生成された高分解能画像を示している。
図25Bに示す画像を、図25Aに示す画像および図25Cに示す画像と比較すると明らかなように、G画像の分解能が高いとき、全体として高い分解能を有する合成画像が得られる。従って、より多くの異なる照射方向から被写体を照射する光(第1の光)の波長が、緑色の範囲(495nm以上570nm以下)に含まれていると有益である。
図26は、図24に示される構成を備える装置の動作の一例を示すタイミングチャートである。図26に示す例では、ある方向からR色光、G色光、B色光を、順次、被写体に照射し、それぞれの照明時に撮像が行われる。次に、異なる方向からG色光を、順次、被写体に照射し、それぞれの照明時に撮像が行われる。
撮像によって得られた複数のG画像はG画像合成部142に送られる。R画像およびB画像は、それぞれ、R画像補間部146およびB画像補間部144に送られる。図26から明らかなように、R色光またはB色光の照明時における撮像の回数は、G色光の照明時における撮像の回数よりも抑制されるため、全体の撮像回数が低減される。
なお、R画像およびB画像を取得するタイミングは、任意であり、図26に示す例に限定されない。また、G画像の取得枚数も、図26に示す例に限定されない。更に、本開示の実施形態による利点を得るには、プレパラートが前述したような構成を備える「電子プレパラート」である必要もない。
照明光を異なる方向から被写体に照射して得られる複数のG画像から高分解能(高解像度)の画像を合成するには、種々の超解像技術が利用され得る。例えば、撮影によって取得されるG画像と、目的とする高分解能の画像とを関係づける演算式(行例)が既知であれば、逆演算(逆行列)によって、撮影によって取得した画像から合成画像を得ることができる。このような演算式は、イメージセンサの画素構造と照明光の照射角度とに依存し、幾何光学によって求めたり、実験またはシミュレーションによって求めたりすることができる。
(実施形態2)
図8を参照して説明したように、コンピュータC06は、撮像部90および/または照明システムC09とは別個の装置であってもよい。図27に、このような構成を有する画像形成システムの一例を概略的に示す。図27に示す画像形成システム100は、撮像部90と、照明システムC09と、コンピュータC08とを備える。図示する構成では、画像形成システム100は、画像取得装置10Aと、コンピュータC08とが接続された形態を有する。画像取得装置10Aは、撮像部90と、照明システムC09と、これらを制御する制御部120とを含んでいる。コンピュータC08は、画像処理部140と、メモリ145とを含んでいる。画像取得装置10AとコンピュータC08とは、有線または無線によって接続される。コンピュータC08は、画像取得装置10Aと同一の場所に配置されていてもよいし、画像取得装置10Aから離れた場所に配置されてもよい。例えば、画像取得装置10AとコンピュータC08とが、インターネットなどのネットワークを介して接続されてもよい。コンピュータC08は、ここでは、独立した装置である。しかしながら、コンピュータC08は、プロセッサなど、装置に搭載された回路の形態であってもよい。コンピュータC08および上述のコンピュータC06は、汎用または専用のコンピュータ(あるいは汎用または専用のプロセッサ)によって実現され得る。
図8を参照して説明したように、コンピュータC06は、撮像部90および/または照明システムC09とは別個の装置であってもよい。図27に、このような構成を有する画像形成システムの一例を概略的に示す。図27に示す画像形成システム100は、撮像部90と、照明システムC09と、コンピュータC08とを備える。図示する構成では、画像形成システム100は、画像取得装置10Aと、コンピュータC08とが接続された形態を有する。画像取得装置10Aは、撮像部90と、照明システムC09と、これらを制御する制御部120とを含んでいる。コンピュータC08は、画像処理部140と、メモリ145とを含んでいる。画像取得装置10AとコンピュータC08とは、有線または無線によって接続される。コンピュータC08は、画像取得装置10Aと同一の場所に配置されていてもよいし、画像取得装置10Aから離れた場所に配置されてもよい。例えば、画像取得装置10AとコンピュータC08とが、インターネットなどのネットワークを介して接続されてもよい。コンピュータC08は、ここでは、独立した装置である。しかしながら、コンピュータC08は、プロセッサなど、装置に搭載された回路の形態であってもよい。コンピュータC08および上述のコンピュータC06は、汎用または専用のコンピュータ(あるいは汎用または専用のプロセッサ)によって実現され得る。
画像形成システム100における動作は、上述の画像形成装置10とほぼ同様である。撮像部90にプレパラート11を装填することにより、プレパラート11中のイメージセンサB01と撮像部90とが電気的に接続される。撮像部90にプレパラート11が装填されることにより、試料切片A05(図27において不図示)を透過した光が入射する位置にイメージセンサB01が配置される。言うまでもないが、プレパラート11は、画像取得装置10A(または画像形成装置10)に必須の構成要素ではない。
照明システムC09は、制御部120の制御に基づき、試料切片を基準にして複数の異なる照射方向から、順次、照明光を出射する。このとき、制御部120の制御に基づき、第1の光の照射下において複数の第1色画像がイメージセンサB01によって取得される。また、第2の光の照射下において少なくとも1つの第2色画像がイメージセンサB01によって取得される。第3の光の照射下において少なくとも1つの第3色画像を更に取得してもよい。
撮像部90が取得した、被写体(ここでは試料切片)の画像信号または画像データは、コンピュータC08の画像処理部140に送られる。例えば、複数枚のG画像のデータと、1枚のB画像のデータと、1枚のR画像のデータとが画像処理部140に送られる。画像処理部140は、図24を参照して説明した処理を実行する。詳細には、画像処理部140は、複数枚のG画像を合成することにより、各G画像の分解能よりも高い分解能を有する高分解能のG画像を生成する。また、画像処理部140は、B画像およびR画像の補間を実行する。これらの処理に使用される画像データ、および、処理の過程で生成される中間的な画像データは、メモリ145に一時的に格納され得る。画像処理部140は、高分解能化の処理後のG画像、補間処理後のB画像およびR画像に基づいて、各G画像の分解能よりも高い分解能を有するカラー画像を生成する。生成された画像は、例えば、ディスプレイC07(図8参照)に表示される。生成された画像が、メモリ145またはデータベース148(図8参照)に保存されてもよい。コンピュータC08によって実行される上述の処理が記録されたプログラムは、例えば、メモリ145に格納されている。
なお、画像形成システム100において、制御部120における動作の指示(コマンド)がコンピュータC08から与えられてもよい。制御部120が、撮像部90および照明システムC09と、コンピュータC08とは別個の独立した装置であってもよい。画像処理部140および/または制御部120の全体または一部は、デジタルシグナルプロセッサ(Digital Signal Processor(DSP))、ASIC(Application Specific Integrated Circuit)、ASSP(Application Specific Standard Produce)、FPGA(Field Programmable Gate Array)、マイクロコンピュータなどによって実現され得る。画像処理部140および制御部120は、それぞれが別個のプロセッサであってもよいし、これらの2以上が1つのプロセッサに含まれていてもよい。メモリ145が、画像処理部140および/または制御部120の一部であってもよい。
ここで、試料切片に対する照射角度を変化させる方法の例を説明する。
図28〜図30は、光源要素とソケットC03との間の配置が変更可能な照明システムの構成例を示す。図28に例示する構成では、照明システムC09は、ソケットC03の姿勢を変化させる照射角度調整機構C10を有する。図示する例において、照射角度調整機構C10は、基準面(典型的には水平面)に対するソケットC03の傾斜を変化させるゴニオ機構C11を含んでいる。また、図示する例では、照射角度調整機構C10は、基準方位に対する、ソケットC03の回転角度を変化させる回転機構C12を含んでいる。本明細書における「姿勢」の変化は、基準面に対する傾斜の変化、基準方位に対する回転角度の変化、および、基準点に対する位置の変化などを広く含む。
例えば制御部120の制御に基づいてゴニオ機構C11および/または回転機構C12を動作させることにより、ソケットC03に装填されたプレパラート11の姿勢を変化させることができる。これにより、試料切片A05(図28において不図示)およびイメージセンサB01の位置および方向の少なくとも一方を変化させることが可能である。例えば光源要素を固定してゴニオ機構C11および/または回転機構C12を動作させれば、試料切片に対する照射角度を変化させることができる。照射角度調整機構C10が、ソケットC03を平行移動させるスライド機構を更に有していてもよい。照射角度調整機構C10は、1以上のゴニオ機構C11、回転機構C12およびスライド機構の任意の組み合わせであり得る。
図29および図30は、照明光が試料切片に入射する角度を調整する照明角度調整部を有する照明システムC09の構成例を示す。図29に例示する構成では、照明角度調整部C13は、制御部120(図29において不図示)の制御に基づき、互いに異なる位置に配置された複数の光源要素20の各々の点灯および消灯を切り替える。これにより、異なる角度から照明光をプレパラート11中のイメージセンサB01(図29において不図示)に入射させることができる。図30に例示する構成では、照明角度調整部C13は、制御部120(図30において不図示)の制御に基づき、1個の光源要素22を例えばガイドレールに沿って移動させることにより、光源要素22の点灯位置を変更する。このような構成によっても、異なる角度から照明光をプレパラート11中のイメージセンサB01(図30において不図示)に入射させることができる。異なる角度から照明光をプレパラート11中のイメージセンサに入射させることにより、複数の異なる照射方向から順次出射された照明光が試料切片の異なる部分を透過してイメージセンサの光電変換部に入射するように、試料切片に対する照明光の入射角度を調整することができる。
光源要素22を移動させるための機構として、上述したゴニオ機構C11、回転機構C12およびスライド機構の少なくとも1つを適用してもよい。上述した各種の機構は、例えばボールねじとステッピングモータとの組み合わせなど、公知の機構を用いて実現し得る。
本開示は、例えば、標本の検体管理を行うための検体管理装置に利用可能である。
11 プレパラート
12 パッケージ
B01 イメージセンサ
C03 ソケット
10 画像形成装置
100 画像形成システム
12 パッケージ
B01 イメージセンサ
C03 ソケット
10 画像形成装置
100 画像形成システム
Claims (1)
- 画像処理部を備えるコンピュータであって、
前記画像処理部は、複数の第1色画像および少なくとも1つの第2色画像を画像取得装置から取得し、
ここで、
前記画像取得装置は、
試料切片を透過した光が入射する位置に配置されたイメージセンサに電気的に接続される撮像部、
前記試料切片を基準にして複数の異なる照射方向から、順次、照明光を出射し、前記照明光で前記試料切片を照射する照明システムであって、第1の波長帯域にピークを有する第1の光および第2の波長帯域にピークを有する第2の光を放射する照明システム、ならびに、
前記撮像部および前記照明システムに接続され、前記撮像部および前記照明システムを制御する制御部、
を備え、
前記制御部は、
前記複数の異なる照射方向から、順次、前記照明光としての前記第1の光で前記試料切片を照射し、その照射中に前記イメージセンサによって前記複数の第1色画像を取得し、かつ、
前記複数の異なる照射方向の一部の方向から、前記照明光としての前記第2の光で前記試料切片を照射し、その照射中に前記イメージセンサによって前記少なくとも1つの第2色画像を取得し、
前記画像処理部は、前記複数の第1色画像および前記少なくとも1つの第2色画像を合成することにより、前記複数の第1色画像および前記少なくとも1つの第2色画像の各々よりも分解能の高い前記試料切片の高分解能画像を生成する、コンピュータ。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014090909 | 2014-04-25 | ||
JP2014090909 | 2014-04-25 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014240338A Division JP6394960B2 (ja) | 2014-04-25 | 2014-11-27 | 画像形成装置および画像形成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019007970A JP2019007970A (ja) | 2019-01-17 |
JP6558609B2 true JP6558609B2 (ja) | 2019-08-14 |
Family
ID=65028801
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018152898A Expired - Fee Related JP6558609B2 (ja) | 2014-04-25 | 2018-08-15 | コンピュータ |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6558609B2 (ja) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7973827B2 (en) * | 2007-08-03 | 2011-07-05 | Panasonic Corporation | Image data generating apparatus, method and program for generating an image having high spatial and high temporal resolution |
JP5118948B2 (ja) * | 2007-11-26 | 2013-01-16 | 株式会社キーエンス | 拡大観察装置、拡大画像観察方法、拡大画像観察プログラム |
KR20140039151A (ko) * | 2011-01-06 | 2014-04-01 | 더 리전트 오브 더 유니버시티 오브 캘리포니아 | 무렌즈 단층 촬영 이미징 장치들 및 방법들 |
JP5825808B2 (ja) * | 2011-03-18 | 2015-12-02 | キヤノン株式会社 | 撮像装置 |
US8866063B2 (en) * | 2011-03-31 | 2014-10-21 | The Regents Of The University Of California | Lens-free wide-field super-resolution imaging device |
-
2018
- 2018-08-15 JP JP2018152898A patent/JP6558609B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2019007970A (ja) | 2019-01-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6394960B2 (ja) | 画像形成装置および画像形成方法 | |
JP6307770B2 (ja) | 撮像素子 | |
JP5806504B2 (ja) | 撮像装置およびこれを備える顕微鏡システム | |
US20110285838A1 (en) | Information processing apparatus, information processing method, program, imaging apparatus, and imaging apparatus equipped with optical microscope | |
US9386233B2 (en) | Image acquisition apparatus, image acquisition method, and computer program | |
JP6940696B2 (ja) | 二次元および三次元の固定式z走査 | |
JP2021193459A (ja) | 二重光学経路および単一撮像センサを使用した低解像度スライド撮像、スライドラベル撮像および高解像度スライド撮像 | |
WO2016067508A1 (ja) | 画像形成システム、画像形成方法、撮像素子、およびプログラム | |
EP3085075B1 (en) | Scanning imaging system with a novel imaging sensor with gaps for electronic circuitry | |
JP6952891B2 (ja) | 2×3および1×3スライド用のカルーセル | |
JP6558609B2 (ja) | コンピュータ | |
JP6004245B1 (ja) | 画像取得装置、画像形成システムおよび画像形成方法 | |
JP7030986B2 (ja) | 画像生成装置、画像生成方法および画像生成プログラム | |
US9778449B2 (en) | Preparation element set, preparation, manufacturing method of preparation, imaging apparatus, and imaging method | |
US7493039B2 (en) | Camera, method, and program for enhanced imaging using chromatic aberration | |
US10048485B2 (en) | Image output device, image transmission device, image reception device, image output method, and non-transitory recording medium | |
US9774771B2 (en) | Preparation, transparent plate, method for producing preparation, slide glass, imaging apparatus, imaging method, preparation producing apparatus, and preparation component set | |
JP2017045430A (ja) | 画像処理装置、画像処理システム、画像処理方法及びプログラム | |
WO2022259647A1 (ja) | 情報処理装置、情報処理方法、及び顕微鏡システム | |
WO2022209262A1 (ja) | 生体試料観察装置用照明装置、生体試料観察装置、観察装置用照明装置及び観察システム | |
WO2022209349A1 (ja) | 観察装置用照明装置、観察装置及び観察システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190612 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190618 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190703 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6558609 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |