JP6827806B2 - 画像変換装置及び撮像装置 - Google Patents
画像変換装置及び撮像装置 Download PDFInfo
- Publication number
- JP6827806B2 JP6827806B2 JP2016257494A JP2016257494A JP6827806B2 JP 6827806 B2 JP6827806 B2 JP 6827806B2 JP 2016257494 A JP2016257494 A JP 2016257494A JP 2016257494 A JP2016257494 A JP 2016257494A JP 6827806 B2 JP6827806 B2 JP 6827806B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- conversion device
- output
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000006243 chemical reaction Methods 0.000 claims description 110
- 238000001514 detection method Methods 0.000 claims description 108
- 238000002073 fluorescence micrograph Methods 0.000 claims description 47
- 238000012545 processing Methods 0.000 claims description 28
- 230000002123 temporal effect Effects 0.000 claims description 10
- 238000004148 unit process Methods 0.000 claims description 3
- 238000003860 storage Methods 0.000 description 37
- 230000003287 optical effect Effects 0.000 description 36
- 238000003384 imaging method Methods 0.000 description 33
- 238000005286 illumination Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 13
- 238000007726 management method Methods 0.000 description 10
- 238000005259 measurement Methods 0.000 description 8
- 230000004907 flux Effects 0.000 description 7
- 238000000034 method Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 5
- 230000035945 sensitivity Effects 0.000 description 5
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 229910052710 silicon Inorganic materials 0.000 description 4
- 239000010703 silicon Substances 0.000 description 4
- 238000012800 visualization Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 239000000758 substrate Substances 0.000 description 3
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 239000010408 film Substances 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000007789 sealing Methods 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- IJGRMHOSHXDMSA-UHFFFAOYSA-N Atomic nitrogen Chemical compound N#N IJGRMHOSHXDMSA-UHFFFAOYSA-N 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 229910001873 dinitrogen Inorganic materials 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000012212 insulator Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000004298 light response Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
Description
上記画像変換装置では、表示制御部が画像検出部において検出した所定画像を、判定部によって弁別された事象ごとに、時間的要素で調整する画像処理によって所定時間遅延させて表示するように画像出力部を動作させる。このような時間遅延内で必要な画像の認識と処理とを完了させることができ、目的とする事象の弁別を行うことができる。特に、表示制御部が判定部によって弁別された事象ごとに所定時間遅延させて表示するように画像出力部を動作させることにより、目的とする事象を選択的に抽出した表示が可能になる。
以下、本発明の一実施形態に係る撮像装置の構造等について説明する。図1に示す撮像装置10は、微弱な事象を蛍光像に変換するイメージ増倍装置11と、イメージ増倍装置11によって得た蛍光像出力(以下、単に蛍光像と表記する)から時間的要素及び空間的要素に基づいて出力画像を選択して電気的な画像信号に変換する信号変換装置12と、イメージ増倍装置11によって得た蛍光像を第1蛍光像として信号変換装置12に投射するリレー光学系13と、リレー光学系13に設けたディストリビューター15により分離された第2蛍光像に基づいて信号変換装置12を動作させるための撮像タイミング等を設定する検出装置17とを備える。
検出装置17は、ディストリビューター15で反射されることにより第2光路OP2に導かれた第2蛍光像を検出する検出部40と、検出部40から得られた検出画像に基づいて信号変換装置12の動作を制御する管理部50とを備える。検出装置17は、ディストリビューター15で分配された第2蛍光像の光束を監視して、信号変換装置12の動作、特に後述する画像変換装置33を介しての固体撮像素子31による第1蛍光像の撮影(正確には第1蛍光像に対して時間的及び位置的な調整を行った後の画像取り込み)を適切なものとする。
なお、信号変換装置12、管理部50等が共通の時計又はタイマーを持つ場合、その時計及び時刻情報に基づいて時間的要素が処理され、適切な遅延表示が可能になる。信号変換装置12、管理部50等が共通の時計又はタイマーを持たない場合、例えば信号の立ち上がりを示す単なるゲート信号(表示制御部33cによる表示動作開始の指示する表示コマンド)と、このゲート信号の立ち上がり時からの差分遅延時間(ΔT−T3)とを含むものとできる。つまり、表示制御部33cがゲート信号を受けたタイミングで直ちに画像出力部33bを動作させる場合、事象発生から表示までに遅延時間ΔTを確保するためには、目的とする遅延時間ΔTから画像出力部33bでの表示に要する時間T3を除いた差分遅延時間(ΔT−T3)だけ、ゲート信号の入力時に取得中の検出画像から遡らせた既に取得済みの検出画像を表示させるといった時間遡及指示を含む表示コマンドを出力する必要がある。
また、遅延時間ΔTについては、これに付随して表示の維持時間を設定することができる。つまり、画像出力部33bに規定の1フレーム分の表示を行わせることもできるが、制御部54から指定された複数フレーム分だけ表示状態の維持を行わせることもできる。
信号変換装置12は、ディストリビューター15で透過されることにより第1光路OP1に導かれた第1蛍光像の光束が入射する画像変換装置33と、画像変換装置33で表示される出力画像(検出した第1蛍光像に対して時間的及び位置的な調整を行ったもの)を撮像する固体撮像素子31と、固体撮像素子31に撮像動作を行わせる撮像駆動部32と、画像変換装置33で表示される出力画像を固体撮像素子31に投射する撮像光学系34とを有する。信号変換装置12は、検出装置17から出力される調整信号及び駆動信号(具体的にはアドレス付きゲート信号等)に基づいて、画像変換装置33及び固体撮像素子31に動作を行わせる。
画像変換装置33は、検出装置17のトリガー用センサー41で検出画像として第2蛍光像が検出された所定の位置に対応する部分の画像を選択的に出力させるとともに、かかる選択的な画像の出力を第2蛍光像が検出された時点から画像出力部33bに出力画像が表示される時点までに関して、最小限の時間ΔTa+T2+T3に制御部54によって指定された積極的な可変調整時間ATを加算した時間(つまり、遅延時間ΔT)だけ遅延させる。ここで、トリガー用センサー41で検出画像として第2蛍光像が検出された時点は、画像検出部33aで第1蛍光像が検出された時点に相当し、遅延時間ΔTは、画像変換装置33による画像の伝送の遅延時間と見ることができる。
表示制御部33cは、時間ΔTa+T2+AT(=ΔT−T3)に対応する期間だけ検出画像を出力画像にしないで保持する必要があり、時間ΔT−T3の最大値として想定されるフレーム数分に相当する画像メモリーを有する。このように、画像出力部33bに表示させる出力画像において、制御部54からの指定等に基づく時間的要素と、トリガー用センサー41によって検出された微弱な事象が現出している現出領域に対応する位置的要素とを調整することにより、現出領域における微弱な事象の画像を的確に撮像することができる。
図3は、画像変換装置33の具体的な構成例を例示する。この場合、画像検出部33aは、受光用FOP(Fiber Optic Plates)71と、受光素子アレイLSI72(Large-Scale Integration)と、受光用回路基板73とを有する。受光素子アレイLSI72は、受光用回路基板73上に設けられており、その入力側には、受光用FOP71が設けられている。画像検出部33aのうち受光素子アレイLSI72は、ディストリビューター15で分配され受光用FOP71に導かれた画像(具体的には、第1蛍光像)を受光する。受光用FOP71は、入力側に設けられて蛍光像をそのまま入射させる入射面71aと、入射した蛍光像をそのまま受光素子アレイLSI72に射出する出力面71bとを有する。受光用FOP71の入射面71aは、受光素子アレイLSI72の受光面33sに対応しているが、これらの間で伝送される像は必ずしも等倍でなくてもよい。受光面33sは、格子状に分割するように、Y方向にm(例えば12)行で、X方向にn(例えば12)列で、全体としてm行×n列=A(例えば144)チャンネルの区分領域AR2を有する。各区分領域AR2は、例えば単独でCMOS型撮像素子として機能し、2次元的な画像検出がそれぞれ可能になっている。各区分領域AR2は、上記の検出装置17から出力される共通の駆動信号に基づいて独立して撮像動作を行う。これにより、画像検出部33aは、区分領域AR2単位で略同時期に画像を検出することができる。
なお、以上は例示であり、区分領域AR2は、トリガー用センサー41の撮像面41aにおける区分領域AR1より面積を大きくし、区分領域AR1より少ない行列数(すなわちm行×n列以下)で構成してもよい。
まず、主制御部105により検出駆動部101が動作され、受光素子アレイLSI72で検出された画像を取り込む(ステップS11)。画像の取り込みは、一定期間毎に繰り返し行われ、取得した画像は、記憶部103に逐次保存される(ステップS12のNo)。この際、主制御部105において、取得画像に通し番号(例えば、m=0、m=1、…m=n)が付与される。
以下、本発明の画像変換装置の実施例を示す。
〔受光素子アレイLSI〕
チップサイズ:2.5mm角
設計規則:CMOS 0.18μm(ローム株式会社)
画素数:8×8
画素サイズ:250μm×250μm
実効画素サイズ:230μm×230μm
信号読み出し方式:パラレル
画素内の回路:PMOSリセット、トリガー用スイッチ、出力アンプ
入出力信号:全68ch(出力:64ch、グローバルリセット:1ch、グローバルトリガー:1ch、VDD(3.3V):1ch、VCC(0V):1ch)
〔発光素子アレイLSI〕
チップサイズ:2.5mm角
設計規則:CMOS 0.18μm(ローム株式会社)
画素数:8×8
画素サイズ:250μm×250μm
画素内の回路:電圧電流変換回路、電圧保護回路、EL駆動電極、選択用スイッチ
入出力信号:全69ch(電極64ch、グローバルリセット;1ch、グローバルトリガー;1ch、バイアス電圧(6V);1ch、VDD(3.3V);1ch、VCC(0V):1ch)
図7に示す例では、画像変換装置33を構成する画像検出部33a、画像出力部33b、及び表示制御部33cの一体化を進展させている。画像変換装置33は、SOI(Silicon On Insulator)タイプの積層型集積回路であり、Si基板61の第1面61a上にSOI層として画像検出部33aと表示制御部33cの一部とが形成され、Si基板61の第2面61b上にSOI層として画像出力部33bと表示制御部33cの一部とが形成されている。第1面61a側の画像検出部33aは、CMOS型撮像素子である。より詳細には、画像検出部33aは、Si能動層、電極、配線その他で形成された集積回路を有しており、マトリックス状に配列されたフォトダイオード(不図示)が形成されるとともに、各フォトダイオードに付随してトランジスター等も形成され、これらの周囲にドライバー回路を付随させたものとなっている。第2面61b側の画像出力部33bは、有機EL型表示素子である。より詳細には、画像検出部33bは、有機EL層、電極、配線その他で形成された集積回路を有しており、マトリックス状に配列された有機EL発光素子(不図示)が形成されるとともに、各有機EL発光素子に付随してトランジスター等も形成され、これらの周囲にドライバー回路を付随させたものとなっている。
なお、画像検出部33aにおいて、フォトダイオードは、公知の半導体製造技術を活用して、絶縁膜上にシリコン薄膜や電極パターン等を形成し、これらを封止層で覆ったものであり、同様の技法でトランジスター回路も形成されている。また、画像出力部33bにおいて、有機EL発光素子は、例えば、絶縁層上に、画素陽電極と、有機EL層と、透明陰電極と、透明封止層と、保護及び反射防止用の被覆膜とを形成したものとなっている。
以下、図9を参照して、本発明の一実施形態に係る計測システムの構造等について説明する。
Claims (9)
- 画像を検出する画像検出部と、
前記画像検出部で検出した画像を表示可能な画像出力部と、
目的とする事象を弁別する判定部と、
前記画像検出部で検出した画像に基づいて前記画像出力部に出力画像を生成する際に、時間的要素で調整する画像処理及び位置的要素で調整する画像処理のうち少なくとも前記時間的要素で調整する画像処理を行う事象抽出用の表示制御部と
を備え、
前記表示制御部は、前記画像検出部において検出した所定画像を、前記判定部によって弁別された前記事象ごとに、前記時間的要素で調整する画像処理によって所定時間遅延させて表示するように前記画像出力部を動作させることを特徴とする画像変換装置。 - 前記表示制御部は、前記画像検出部において検出した所定画像を前記位置的要素で調整する画像処理によって前記所定画像のうち一部の所定の領域を表示するように前記画像出力部を動作させることを特徴とする請求項1に記載の画像変換装置。
- 前記画像検出部は、所定の画素単位で前記所定画像を検出し、
前記表示制御部は、前記位置的要素で調整する画像処理によって前記所定画像のうち1つ以上の画素を含む所定の領域を表示するように前記画像出力部を動作させることを特徴とする請求項2に記載の画像変換装置。 - 前記表示制御部は、前記時間的要素及び前記位置的要素の少なくとも一方の調整量を指示する調整信号に基づいて出力画像を処理することを特徴とする請求項1から3までのいずれか一項に記載の画像変換装置。
- 前記表示制御部は、前記判定部を含み、前記画像検出部で検出した画像から前記調整信号を生成することを特徴とする請求項4に記載の画像変換装置。
- 前記表示制御部は、別途並行して得られた前記時間的要素及び前記位置的要素のうち少なくとも前記時間的要素の調整量を指示する調整信号に基づいて出力画像を処理することを特徴とする請求項1から4までのいずれか一項に記載の画像変換装置。
- 微弱な事象を蛍光像に変換するイメージ増倍装置と、
前記イメージ増倍装置から出力された蛍光像を電気的な画像信号に変換する信号変換装置と
を備え、
前記信号変換装置は、請求項1から5までのいずれか一項に記載の画像変換装置を有することを特徴とする撮像装置。 - 微弱な事象を蛍光像に変換するイメージ増倍装置と、
前記イメージ増倍装置から出力された蛍光像を電気的な画像信号に変換する信号変換装置と、
前記画像変換装置の前記画像検出部で検出する画像に対応する蛍光像を並行して取得する検出装置と
を備え、
前記信号変換装置は、請求項6に記載の画像変換装置のうち前記判定部を除いたものを有し、
前記検出装置は、前記判定部を有し、検出した画像から前記時間的要素及び前記位置的要素のうち少なくとも前記時間的要素の調整量を指示する調整信号を前記画像変換装置の前記表示制御部に出力し、
前記表示制御部は、前記調整信号に基づいて得られた前記出力画像を表示するように前記画像変換装置の前記画像出力部を動作させることを特徴とする撮像装置。 - 前記信号変換装置は、CMOS型撮像素子と、表示素子とを有することを特徴とする請求項7及び8のいずれか一項に記載の撮像装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015257716 | 2015-12-30 | ||
JP2015257716 | 2015-12-30 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017121061A JP2017121061A (ja) | 2017-07-06 |
JP6827806B2 true JP6827806B2 (ja) | 2021-02-10 |
Family
ID=59272515
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016257494A Active JP6827806B2 (ja) | 2015-12-30 | 2016-12-30 | 画像変換装置及び撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6827806B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022196779A1 (ja) * | 2021-03-17 | 2022-09-22 | 国立大学法人 東京大学 | 3次元計測装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4680635A (en) * | 1986-04-01 | 1987-07-14 | Intel Corporation | Emission microscope |
US20080011941A1 (en) * | 2004-11-12 | 2008-01-17 | Oasys Technology Llc | Aviation night vision system using common aperture and multi-spectral image fusion |
JP2006203665A (ja) * | 2005-01-21 | 2006-08-03 | Canon Inc | 撮像装置及び方法、並びに記録媒体及びプログラム |
JP4770929B2 (ja) * | 2009-01-14 | 2011-09-14 | ソニー株式会社 | 撮像装置、撮像方法及び撮像プログラム。 |
JP5655211B2 (ja) * | 2010-05-20 | 2015-01-21 | 国立大学法人 東京大学 | 撮像装置、リレー光学系、及び計測システム |
JP5745961B2 (ja) * | 2011-07-15 | 2015-07-08 | オリンパス株式会社 | 電子内視鏡装置 |
-
2016
- 2016-12-30 JP JP2016257494A patent/JP6827806B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017121061A (ja) | 2017-07-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5333869B2 (ja) | 撮像装置 | |
US20180013972A1 (en) | Solid-state imaging device, driving method thereof, and imaging system | |
KR101508410B1 (ko) | 거리 화상 센서, 및 촬상 신호를 비행시간법에 의해 생성하는 방법 | |
JP2021507584A (ja) | コンピュータビジョンアプリケーションのためのグロバールシャッタピクセル回路および方法 | |
KR20190055238A (ko) | 물체까지의 거리를 결정하기 위한 시스템 및 방법 | |
US20090091738A1 (en) | Surface profile measurement | |
EP2041769A2 (en) | Method and device for detecting weak optical signals | |
WO2020050362A1 (ja) | 固体撮像素子、撮像システム、固体撮像素子の駆動方法、及び光検出器 | |
CN112888958A (zh) | 测距装置、摄像头以及测距装置的驱动调整方法 | |
JP4466319B2 (ja) | 空間情報の検出装置 | |
JP6827806B2 (ja) | 画像変換装置及び撮像装置 | |
US6661500B1 (en) | Integrated range finder and imager | |
JP2011508504A (ja) | 画像センサアレイ、増強画像センサアレイ、電子打ち込み増倍型画像センサアレイ装置、及び、そのような画像センサアレイ用の画素センサ素子 | |
US20200266027A1 (en) | Charged Particle Beam Device | |
CN114424522B (zh) | 图像处理装置、电子设备、图像处理方法与程序 | |
WO2020196378A1 (ja) | 距離画像の取得方法、及び、距離検出装置 | |
GB2230602A (en) | Photo-counting type streak camera | |
JP2670405B2 (ja) | 微弱光計測装置 | |
US9851556B2 (en) | Avalanche photodiode based imager with increased field-of-view | |
JP7218193B2 (ja) | 撮像装置 | |
JP2680398B2 (ja) | 光波形測定装置 | |
JP6366325B2 (ja) | 撮像システム | |
US20220191424A1 (en) | Imaging device | |
JP4327625B2 (ja) | 光の位置情報検出装置 | |
JP2004294106A (ja) | 入射光の二次元位置検出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
AA64 | Notification of invalidation of claim of internal priority (with term) |
Free format text: JAPANESE INTERMEDIATE CODE: A241764 Effective date: 20170214 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170325 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170426 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191209 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200812 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200826 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201026 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210106 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210120 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6827806 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |