JP3723045B2 - 撮像方法及び撮像装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、光学的変化点が高速で移動するような対象を撮像し、比較的少ない記憶容量で高速に記憶し再生できる撮像方法及び撮像装置に関する。
【０００２】
本発明は、たとえば神経生理学の分野における神経活動の光学的測定に有用なものであり、電位感受性色素を用いて染色された神経網中の興奮電位の伝播を光学的に測定する場合、Ａ／Ｄ変換回路の精度や変換速度に制限されることなく神経電位が高速伝播する様子を的確に撮像し、再生可能に記憶することができる。
【０００３】
本発明は、その他にも爆発現象の観測や発光を伴う化学反応の観察などに広く適用することが可能である。
【０００４】
【従来の技術】
（１）神経生理の光学的測定
近年、神経生理学の分野では、神経電位の伝達を調べる際に電位感受性色素を用いて神経細胞を染色し、電位の変化によってその色素の吸光度または蛍光発光度が変化するのを光学的に測定する方法がとられるようになってきた。この神経活動の光学的測定方法は、これまでに用いられていた多点電極による直接的な測定方法に比べると神経細胞への侵襲が少なく、かつ、きわめて多くの電極を用いて測定した場合に匹敵する２次元的な電位伝播の記録が容易に得られる利点をもつ。次に、従来の神経活動に関する光学的測定技術について説明する。
（２）光学的測定の歴史
神経活動に関する光学的測定の技術的変遷を以下に示す。
〔段階１〕まず１９６８年に、L.Cohen らはイカの巨大軸索を用いた実験で、電位依存性の光学的に確認できる神経活動固有の変化を発見したのが端緒である。従来の微小電極を細胞に刺入し電位を調べる方法に代わり、光学的測定の検討が始められたのは、それ以降であった。その後、１９７０年代に入って、Cohen ，Grinvald らにより電位感受性色素の開発が進められて、多くの研究者によりほぼ同時にフォトダイオードを格子状に配列したImage-Recording Devices が作製され、これが電位感受性色素を用いた光学測定の画像読み込みに使用されるようになった。当時のものは、フォトダイオード１個ごとに増幅器まで信号線が引かれ、ここで増幅された後、コンピューター処理される方法をとっていた。画像の分解能は１０×１０チャンネル程度であった。
〔段階２〕上記〔段階１〕の方法で、その後１９８５年までにTank、Ahmed らにより２５６チャンネルのものが作製されるに到ったが、この方法は配線数の増加に伴う基板上の配線部分の面積が増加するとともに増幅器数が増加するため、この方法では１０００チャンネルが限界といわれている。
〔段階３〕次の段階として、ビデオカメラ（ＣＣＤカメラ）を用いる方法が検討された。ＣＣＤカメラは約５００×５００の空間分解能をもつ上、フォトダイオードアレイを使用する場合と異なり、外部回路を簡略化できるというメリットがある。しかし１画面の時間分解能が１画面のスキャンに要する時間（＝画像読み込み速度、通常３３msec）に制約されるため、神経活動のような急速な変化に追従するのは難しく、適用しにくい。また高速シャッターを併用した場合でも、光のショットノイズを低減するために、同一変化について撮られた画像をかなりの枚数重ね合わせて、時間平均をとらなければならず、１サンプルの計測に数時間を要するほどであった。
〔段階４〕１９９３年になって、富士フイルムマイクロデバイス（株）は、専用のＭＯＳイメージセンサーを開発するとともに、富士写真フイルム（株）は、0.1 ％の光量変化分を検出できて、画像読み込み速度0.6 msecを実現可能な、高速、高時間分解能、高感度の二次元光量差分計測装置（ＨＲ△ｒｏｎｌ７００：登録商標）を完成させた。この装置により、神経電位変化の様な急速な変化を計測する場合でも、１回の計測だけでトータルのＳ／Ｎ比を大幅に改善することができた。
（３）光学的測定に使用される電位感受性色素
電位感受性色素には、大別して以下の２種類がある。いずれも細胞膜に吸着されることにより染色される。
【０００５】
吸収変化型：電位変化により吸収係数が変化する。
【０００６】
例 ・・・ＲＨ−１５５、ＲＨ一４８２、ＸＶＩＩ
蛍光変化型：電位変化により蛍光発光効率が変化する。
【０００７】
例 ・・・ＲＨ−４１４、ＲＨ−７９５、ＸＸＶ
なお電位感受性色素については、測定を行う際に神経細胞に対する以下の要因を考慮する必要がある。
i ）色素の組織への浸透性
ii）色素の薬理学的影響（毒性）
iii ）光力学的ダメージ及び色素の退色
上記した例の各色素は、この３つの要因を含めていずれも実用レベルにある。
（４）光学的測定の信号レベルと応答速度
このような電位感受性色素を用いる従来の光学的測定においては、得られる信号のレベルと応答速度は、次のようなものになる。
【０００８】
たとえば神経生理実験の場合、光量変化は、
△Ｉ／ｌ＝α×１０^-4 ：α＝１〜１０
程度になる。また神経生理では、数msec〜１０数msecの現象が多く、測定系の時間分解能としては、フレーム速度１msec以下が要求される。前述した（２）光学的測定の歴史の〔段階１〕と〔段階２〕では、空間分解能が不十分（最高２５６チャンネル）であるため、神経活動の微細なパターンをとらえることはできないとされていた。〔段階３〕になると、空間分解能は十分（５００×５００）となったが、Ｓ／Ｎ比が低下したので、神経の電位変化の様な微小な変化の場合には、Ｓ／Ｎ比向上のためかなりの回数の画像の時間平均化が必要であった（脳スライスの例では、１サンプルに数時間を要した）。そして〔段階４〕に至り、ようやく１２８×１２８の空間分解能で０. １％以下の変化量を高速に検出できるようになった。
（５）光学的測定におけるノイズの影響
神経活動に伴う光量変化は微弱であるため、光学的にＳ／Ｎ良く測定するためには、ノイズの種類と性質について理解しておく必要がある。
▲１▼ノイズの種類
測定上影響を受けやすいノイズとして、ショットノイズ、暗ノイズ、外来ノイズとその他のノイズがある。
ｉ）ショットノイズ
光の量子ノイズは、光量Ｉの平方根に比例する。
【０００９】
Noise ∝ √I
Ｓ／Ｎ ＝Ｉ／√I ＝ √Ｉ
例えば、１０¹⁰個の光量の場合、量子ノイズはｌ０⁵ 個であるので、Ｓ／Ｎ比はｌ０⁵ となる。
ii）暗ノイズ
フォトディテクタの暗電流ノイズをいう。
【００１０】
光が全くない状態でも、フォトディテクタにより発生するノイズであり、温度に依存するため環境温度に注意することが必要である。特に冷却することも有用である。
iii ）外来ノイズ
光源、光路の振動、標本の動きに由来するノイズであり、高光量域では相対的にショットノイズに比べると顕著である。環境を整えることが重要である。
iv）その他のノイズ
回路ノイズと１／ｆノイズとがある。
▲２▼ 光量と出力信号、ノイズ量の関係
図９に、神経生理の光学的測定時における光量と出力信号、ノイズ量の関係をグラフで示す。図の横軸は光入力の光量を示し、縦軸は光を電気的に検出したときの出力信号のレベルを示す。光入力の光量に対して出力信号のレベルは比例して変化するが、量子ノイズは光量の平方根に比例して増加する。また暗（電流）ノイズは光入力に対してある低いレベルの一定値をとり、回路ノイズと１／ｆノイズも、通常低いレベルにある。
▲３▼ 信号レベルを測定するシステムの必要条件
i ）神経生理の光学的測定においては、図９のグラフに示されるように、ノイズのうちで最も影響の大きいのは量子ノイズである。
【００１１】
前述の（４）で述べた光量変化 △Ｉ／ｌ＜０．１％（＝１. ０×１０^-3）を検出するためには、前述の▲１▼一ｉ）より、Ｓ／Ｎ比即ち、この量子ノイズと光量の比率が１０³ 以上あることが必要である。そのためには１０⁶ 個以上のフォトン（センサ上では光電子）を信号量として捉える必要があり、センサの飽和レべルは、それ以上にする必要がある。また、光源としては必要光量を照射できるランプを光学系に置き、一方でロスを少なくすることが必要である。ここで、光源もゆらぎの極めて少ないもの（△Ｐ／Ｐ＜１０^-4）が必要であることはいうまでもない。
ii）神経活動の速度から考えて１msecの時間分解能を必要とする。
iii ）イメージング（画像としてより明瞭なものにする処理）のために、空間解像度は、最低１００×１００画素以上とする。１画素は電極の観測点１点と考えてよい。また空間解像力は多ければ多いほど良いといえる。
iv）受光面積は試料を観察する上である程度の大きさが必要であるが、以下のような制約を受ける。
【００１２】
受光面積＝画素数×画素サイズ
の関係が成り立つが、Ｓ／Ｎ比を確保しかつ画像の高速読み出しを可能にするためには、１ピクセル（画素）の面積が大きく、かつ画素数があまり多くないことが要求される。画素面積の大きさは同時に受光電荷量をも決めるため、Ｓ／Ｎ比７２デシベルを確保するために、受光光量１０⁷ 個／画素の電荷を蓄積できることが望ましい。その結果、光学的測定システムには、画素面積７０μm 平方、画素数１２８×１２８、フレーム時間０. ６msecという値が必要になる。前述した（２）の〔段階４〕中で述べた従来の代表的な光学的測定システムであるＨＲ△ron １７００は、これらの値に基づいて開発されている。このシステムの詳細を以下に示す。
（６）ＨＲ△ron １７００の性能と構成
▲１▼画素構成
ｉ）画素サイズ：７０μm 平方
画素数：１２８×１２８
受光部サイズ：８. ９６μm 平方
ii）開口率：７５％
開口率とは、受光サイズに対してセンサが実効的に光を受けることのできる面積の比率を指す。この値が減少すると光量、解像度に影響を与える。従来の方法（並列出力、並列増幅）では多画素化に伴い開口率が激減してしまうためＭＯＳ型センサを用いて、上述の開口率を得ている。
▲２▼時間分解能：０. ６ msec ／fm or １６６７ frms ／sec

▲４▼ＨＲ△ｒｏｎｌ７００の構成：
図１０に、ＨＲ△ｒｏｎｌ７００の信号処理部のブロック構成を示す。
【００１３】
図１０において、１はカメラユニット、２はバッファ増幅器、３−１〜３−３は差動増幅器Ａ１〜Ａ３、４−１〜４−４はＡ／Ｄ変換回路、５は参照メモリ、５−１〜５−３は参照メモリを構成するＳＲＡＭ１〜ＳＲＡＭ３、６−１〜６−３はＤ／Ａ変換器、７はマルチプレクサＭＰＸ、８はＤＲＡＭで構成された主メモリである。
【００１４】
動作は次のように行われる。カメラユニット１内部の図示されていないフォトセンサより入力された信号は、カメラユニット１内部の初段増幅器により増幅されたあと、信号処理部のバッファ増幅器２に入力される。信号処理部は、２ないし８の参照番号で示されるブロックで構成され、より微少な光量変化を見るために、差動増幅器Ａ１〜Ａ３（３−１〜３−３）と参照メモリ５を用いて、前フレームの対応画素の値との間で一次差分、二次差分、三次差分を連続的に検出し、０．１％（保証値）の光量変化を確実に捉えられるようにする。以下、具体的に説明する。
i ）信号処理部では、初期化時に、神経活動が始められていない測定開始前の画像（バックグラウンド）を取り込み、Ａ／Ｄ変換回路４−１でアナログ・デジタル変換して、参照画像データとして参照メモリ５のＳＲＡＭ１（５−１）に記憶する。
ii）測定開始によって測定画像の信号が入力されると同時に、ＳＲＡＭ１から参照画像を読み出し、Ｄ／Ａ変換撮像信号は神経活動の光学的測定におけるものであり、測定中は検出したピーク値をアナログ信号形式で保持し、測定終了後にアナログ信号形式で保持されているピーク値をデジタル信号形式に変換すること６−１でデジタル・アナログ変換して、差動増幅器３−１において、測定画像と参照画像の各順次の対応画素間の差分をたとえば１０倍（増幅倍率はソフトにより可変である）に増幅する（変化分増幅という）。増幅された出力は、Ａ／Ｄ変換回路４−２でアナログ・デジタル変換して、一次差分画像データとしてＳＲＡＭ２（５−２）に記憶する。なお、ＳＲＡＭ１には、参照画像の読み出しと同時にＡ／Ｄ変換回路４−１でアナログ・デジタル変換された入力画像のデータが記憶される。
iii ）変化分増幅を高精度に行うためにii）の処理を３段階行う。つまり、差動増幅器Ａ２（３−２）では、差動増幅器３−１からの出力信号と、ＳＲＡＭ２から読み出した先行フレームの一次差分画像のデータをＤ／Ａ変換回路６−２でデジタル・アナログ変換した信号との差分をとり、結果をたとえば１０倍に増幅したものをＡ／Ｄ変換回路４−３でアナログ・デジタル変換して、二次差分画像データとしてＳＲＡＭ３（５−３）に記憶する。同様に、差動増幅器Ａ３（３−３）では、差動増幅器Ａ２（３−２）からの二次差分信号と、ＳＲＡＭ３（５−３）から読み出した先行フレームの二次差分画像データをＤ／Ａ変換撮像信号は神経活動の光学的測定におけるものであり、測定中は検出したピーク値をアナログ信号形式で保持し、測定終了後にアナログ信号形式で保持されているピーク値をデジタル信号形式に変換すること６−３でデジタル・アナログ変換した二次差分信号との差分をとり、結果を１０倍に増幅したものをＡ／Ｄ変換回路４−４でアナログ・デジタル変換して、三次差分画像データとしてマルチプレクサＭＰＸ（７）へ出力する。
【００１５】
マルチプレクサＭＰＸ（７）は、Ａ／Ｄ変換撮像信号は神経活動の光学的測定におけるものであり、測定中は検出したピーク値をアナログ信号形式で保持し、測定終了後にアナログ信号形式で保持されているピーク値をデジタル信号形式に変換すること４−１〜４−４から出力された各入力画像のデータと一次、 二次、三次の各差分のデータとを画素単位に合成して、主メモリＤＲＡＭ（８）に書き込む。これにより変化分増幅１０００倍が可能となり、０．１％以下の光量変化を捉えることができる。
iv）画像読み込み
処理速度を速めるため、カメラユニット１の出力は並列８bit 出力にしている。変化分増幅して取り込まれた変化分の信号は各画素毎に８bit のデータとして最高３０００フレーム分の記憶容量をもつ主メモリ８に記録される。このデータはパソコン画面上での各種表示及びビデオ信号（ＮＴＳＣ規格）に変換して出力すること等ができる。
ｖ) ビデオディスプレイへの表示
読み込まれたデータは、１フレーム当たり１／１５〜１／１６秒のスピードで画面に２５６階調表示を行う事ができる。１フレーム当たり０．６msecの画像を３０〜１００倍程度のスローモーションで表示できる。
ｖi ）測定結果の保存
測定結果は内蔵ＩＣメモリに記憶されている。ＩＣメモリは１０００〜３０００フレーム分とすることができる。データ量は３０００フレームで４８メガバイトである。このＩＣメモリのデータをパソコン経由でＭＯディスク等のメディアに転送し、保存することができる。また保存してあるデータをネットワークを介してダウンロードすることも可能である。
【００１６】
【発明が解決しようとする課題】
これまで作られたＣＣＤカメラは，いかに早く撮影しようとしても，およそ１ミリ秒に１枚（変換精度を８bit として）撮るのが限界であった。これは，各フォトセルごとにデータを読み出し，それをＡ／Ｄ変換するためである。例えば，フォトセルが１万個あり、Ａ／Ｄ変換に１マイクロ秒かかるとすれば，全体の処理を終えるためには１０ミリ秒必要となる。一方、神経生理学の研究では、０．１ミリ秒に１枚を１２bit 程度の精度で計測できることが期待されるが、Ａ／Ｄ変換回路は高速であるほど高価であるし，そのスピードにはマイクロ秒前後に限界がある。また，Ａ／Ｄ変換の精度とスピードは反比例し、精度を上げれば処理スピードは遅くなる。そのためＡ／Ｄ変換を並列化することが考えられるが、Ａ／Ｄ変換回路は回路自体が複雑であり，たとえばフォトセルごとにＡ／Ｄ変換回路を持たせるのは現実的でない。このように、従来の神経生理の光学的測定に用いられるシステムでは、充分なスピードと精度で神経活動の動画像データを得るのが困難であった。
【００１７】
本発明の課題は、神経活動のような信号が高速で伝達あるいは伝播する対象を充分なスピードと精度で撮像してその動画像データを記憶できる撮像方法及び装置を提供することにある。
【００１８】
【課題を解決する手段】
本発明の概要
本発明は、神経活動のように信号が高速で伝達あるいは伝播する対象の撮像では、必ずしもぞれぞれのフレームで対象の完全な映像が必要なわけではなく，信号の伝達の様子や対象の変化の様子が分かれば良いことが多いことに着目してなされた。
【００１９】
そのため本発明は、信号伝達の様子をピーク値の移動として捉え、動画像の各フレームの画像には、そのフレームの時間にピーク値をもった画素の情報のみを簡素化して表示することで、全体の情報量を削減し、高速、高精度での撮像処理を可能にしている。測定期間中に画素ごとのピーク値が検出され、検出された時間とピーク値が画素ごとに保持される。このピーク値は、Ａ／Ｄ変換によるスピードと精度の衝突の問題を回避するため、測定期間中はアナログ信号形式のままで記憶され、測定終了後にＡ／Ｄ変換してデジタル記憶しなおす方法がとられる。これにより、計測計測時にはＡ／Ｄ変換回路の性能を考慮する必要なしに最適の条件で撮像を行うことが可能となる。
本発明の構成
本発明は、以下のように構成することができる。
（１） 複数フレームの撮像信号について、所定の期間内に画素ごとにピーク値と該ピーク値に達した時間とを検出し、検出した画素ごとのピーク値と該ピーク値に達した時間とをそれぞれ出力可能に記憶することを特徴とする撮像方法の構成。
（２） 前項（１）の撮像方法において、各画素ごとのピーク値はいったんアナログ信号形式で保持したあと、デジタル信号形式に変換して記憶することを特徴とする構成。
（３） 前項（１）または（２）の撮像方法において、各画素ごとのピーク値の検出と保持は最初のピーク値であることを特徴とする構成。
（４） 前項（１）または（３）のいずれかの撮像方法において、撮像信号は神経活動の光学的測定におけるものであり、測定中は検出したピーク値をアナログ信号形式で保持し、測定終了後に該アナログ信号形式で保持されているピーク値をデジタル信号形式に変換することを特徴とする構成。
（５） 所定の期間内における複数フレームの撮像信号について、各画素ごとのピーク値と該ピーク値に達したピーク時間とを検出して保持し、その後保持されている各画素ごとのピーク値とピーク時間とを読み出し、出力画像を生成することを特徴とする撮像方法の構成。
（６） 前項（５）の撮像方法において、出力画像は各画素ごとのピーク値をピーク時間に基づいて画面に表示する動画像であることを特徴とする撮像方法。
（７） 前項（５）の撮像方法において、出力画像は、各画素ごとのピーク値をカラーあるいは濃度で表示したピーク値画像と各画素ごとのピーク時間をカラーあるいは濃度で表示したピーク時間画像であることを特徴とする構成。
（８） 複数のフォトセルからなる撮像素子の出力信号から、所定期間内に画素ごとのピーク値と該ピーク値に達したときのピーク時間とを検出し、ピーク値はアナログ信号形式で保持するピーク検出保持部を備えていることを特徴とする撮像装置の構成。
（９） 前項（８）の撮像装置において、撮像素子の出力信号はビデオ信号形式であることを特徴とする構成。
（１０）前項（８）の撮像装置において、さらに、
ピーク検出保持部にアナログ信号形式で保持されているピーク値を読み出してデジタル信号形式に変換するＡ／Ｄ変換回路と、変換結果のデジタルピーク値とピーク検出保持部から読み出したピーク時間とを画素対応で記憶するデジタルメモリとを備えていることを特徴とする構成。
（１１）前項（１０）の撮像装置において、さらに、
デジタルメモリから各画素のピーク値とピーク時間とを読み出し、出力画像を生成する画像処理部を備えていることを特徴とする構成。
（１２）前項（１１）の撮像装置において、生成する出力画像は、各画素ごとのピーク値をピーク時間に基づいて画面に表示する動画像であることを特徴とする構成。
（１３）前項（１１）の撮像装置において、生成する出力画像は、各画素ごとのピーク値をカラーあるいは濃度で表示したピーク値画像と、各画素ごとのピーク時間をカラーあるいは濃度で表示したピーク時間画像とであることを特徴とする構成。
本発明構成の説明
次に、図１により本発明の基本的な構成を説明する。
【００２０】
図１において、１１は撮像素子、１２は信号結合部、１３はピーク検出保持部、１４はＡ／Ｄ変換回路、１５はデジタルメモリ、１６は画像処理部、１７は表示部である
撮像素子１１は、基板上にそれぞれ光を検出する複数のフォトセルをｍ行ｎ列の格子状に配列したものであり、ＣＣＤカメラも含まれる。図で、撮像素子１１の個々のフォトセルはＰ_ij（ｉ＝１，２，‥‥，ｍ， ｊ＝１，２，‥‥，ｎ）で表わされている。
【００２１】
信号結合部１２は、撮像素子１１の個々のフォトセルＰ_ijから出力されるセンサ信号を画素対応で次段のピーク検出保持部１３の各ピーク検出保持回路単位に結合する機能をもつ。各フォトセルＰ_ijが出力するセンサ信号をそのままピーク検出保持部１３の個々のピーク検出保持回路単位に並列結合する場合と、各フォトセルＰ_ijのセンサ信号をいったんビデオ信号形式にシリアライズしてからピーク検出保持部１３の個々のピーク検出保持回路単位に分配する場合とがある。
【００２２】
ピーク検出保持部１３は、撮像素子１１のフォトセルＰ_ijの数と同じ数のピーク検出保持回路単位Ａ_ij（ｉ＝１，２，‥‥，ｍ， ｊ＝１，２，‥‥，ｎ）をもつ。ピーク検出保持回路単位Ａ_ijの詳細については後述されるが、個々のＡ_ijは、対応するフォトセルＰ_ijが所定の複数フレーム期間に光を検出しアナログ信号形式で出力したセンサ信号からピーク値とそのピーク値に達したピーク時間とを検出し、ピーク値をアナログ信号形式でいったん保持する機能をもつ。ここでピーク値をアナログ信号形式で保持するのは、先に述べた理由により測定時にＡ／Ｄ変換回路１４を介在させると精度と速度が損なわれるためである。
【００２３】
ピーク検出保持部１３の各ピーク検出保持回路単位Ａ_ijにピーク値とピーク時間が全て取得されると測定段階は終了し、次に読み出し動作が行われる。Ａ₁₁からＡ_mnまで、順次のピーク検出保持回路単位Ａ_ijから保持されているピーク値とピーク時間が読み出される。ピーク値はＡ／Ｄ変換回路１４でアナログ・デジタル変換され、デジタル信号形式となって、ピーク時間データとともにデジタルメモリ１５の対応する所定のデータ記憶単位Ｄ_ij（ｉ＝１，２，‥‥，ｍ， ｊ＝１，２，‥‥，ｎ）に格納される。
【００２４】
デジタルメモリ１５は，ＳＤＲＡＭなどの読み書き可能な一般的なメモリであり、またデータ記憶単位Ｄ_ijは物理的なアドレスを意味するものではなく、画素（Ｓ_ijで表わされる）単位にそのピーク値とピーク時間のデータが参照可能なように管理されている記憶領域を指している。
【００２５】
画像処理部１６は、デジタルメモリ１５のデータ記憶単位Ｄ_ijにアクセスして、画像生成処理を行う。画像生成処理では、撮像素子１１で撮像されたもとの動画像の情報をピーク値とピーク時間の情報に縮退させた動画像の形で出力画像を生成することができ、あるいはピーク値画像とピーク時間画像を組み合わせた静止画像の形の出力画像などを生成することができる。生成された出力画像は、ＣＲＴディスプレイなどの表示部１７の画面に表示される。また出力画像は、印刷されたり、ファイル保存されることができる。
【００２６】
次に全体の動作を説明する。動作は、撮像段階と、信号形式変換段階と、画像生成段階に分けることができる。
【００２７】
撮像段階では、たとえば神経回路の電位伝播を発光部位の移動の形で光学的に測定する場合、電位感受性色素で染色された対象神経を刺激すると同時に撮像素子１１により所定の測定時間の間撮像する。このとき個々のフォトセルＰ₁₁〜Ｐ_mnから出力されるセンサ信号は、信号結合部１２を介してピーク検出保持部１３の対応するピーク検出保持回路単位Ａ₁₁〜Ａ_mnに入力され、個々にピーク値とピーク時間が検出保持される。このピーク値は、アナログ信号形式で保持され、ピーク時間はデジタル信号形式で保持されている。この撮像段階の動作は、神経回路の電位伝播速度に追従できる程度に充分に高速に行うことができ、かつ取得されたピーク値とピーク時間の精度は高く保たれる。
【００２８】
次に信号変換段階を実行する。まずピーク検出保持部１３の各ピーク検出保持回路単位Ａ₁₁〜Ａ_mnに順次アクセスして、それぞれに対で保持されているピーク値とピーク時間を読み出し、アナログ信号形式のピーク値はＡ／Ｄ変換回路１４でデジタル信号形式に変換して、ピーク時間とともにデジタルメモリ１５の対応するデータ記憶単位Ｄ₁₁〜Ｄ_mnに格納する。なお、ピーク検出保持部１３からのピーク値とピーク時間の読み出しは並行に行う必要はなく、ピーク値の読み出しとピーク時間の読み出しとを一方づつまとめて処理してもよい。またピーク検出保持回路単位Ａ₁₁〜Ａ_mnを複数に分割するとともにＡ／Ｄ変換回路１４を複数個並列に設け、ピーク検出保持部１３からのピーク値の読み出しとＡ／Ｄ変換の処理をそれぞれ並列多重化して高速化を図ることもできる。この段階での動作時間とデータ精度は、主にＡ／Ｄ変換回路１４の変換精度と変換速度により決まるが、一般にこの段階の動作時間に厳しい制約が課されることはないから、必要なデータ精度が得られるような任意の性能のＡ／Ｄ変換回路を採用することが可能である。
【００２９】
次の画像生成段階は随時実行することができる。画像処理部１６は画像生成処理のプログラムを起動し、デジタルメモリ１５の各データ記憶単位Ｄ₁₁〜Ｄ_mnにアクセスしてデータを読み出し、必要な動画像あるいは静止画像を生成して、 表示部１７の画面に出力する。
【００３０】
【発明の実施の形態】
次に、本発明を実施する際の細部と好適な実施の形態について述べる。
【００３１】
図２は、図１の撮像素子１１における各フォトセルによる光検出動作を単純化して示したものである。図２の（ａ）には、撮像素子１１におけるフォトセルの配列を８×８としたときの各Ｐ_ij（ｉ＝１，２，‥‥，８， ｊ＝１，２，‥‥，８）の位置と、 撮像される測定対象の神経回路Ｌが示されている。神経回路Ｌ上の黒い部分は電位変化により生じた発光部であり、矢印で示す方向に伝播しているものとされる。また図２の（ｂ）から（ｉ）までは、フレーム１からフレーム８までの順次のフレームにおいてそれぞれ発光部からの光を検出したフォトセルと出力されるセンサ信号のレベルを示している。なお、検出信号レベルが０に近いフォトセルについては表示を省略してある。たとえば、図２の（ｂ）のフレーム１においては、Ｐ₅₂とＰ₆₂が光を検出し、それぞれが出力するセンサ信号のレベルは、Ｐ₅₂＝２、Ｐ₆₂＝７であることが示されている。
【００３２】
これらの各フレームにおいて光を検出したフォトセルから出力されるセンサ信号は、図１のピーク検出保持部１３の対応するピーク検出保持回路単位に入力され、画素（Ｓ_ij：ここでは簡単化のために、画素Ｓ_ijとフォトセルＰ_ijとは１対１に対応しているものとされる）ごとのピーク値とピーク時間の検出及び保持が行われる。ピーク値はたとえばセンサ信号の微分値が０になったことで検出される。図２の例では、フレーム１（ｂ）からフレーム３（ｄ）にかけて、Ｐ₅₂のセンサ信号レベルは２→６→０のように変化するので、画素Ｓ₅₂はフレーム２の時間にピーク値＝６となり、ピーク時間はフレーム２の時間であるとされる。ピーク時間は、別にカウンタを設けてクロックをカウントし、ピーク検出時にカウントを停止させることによって検出することができる。
【００３３】
各画素で検出されたピーク値とピーク時間の画素分布を示すマップ画像の実際例を図３に示す。図３のマップ画像は、生理学的モデルとされる長期増強の際の神経伝達の様子をＣＣＤカメラで撮り、本発明の手法にしたがって画素ごとにピーク値とピーク時間を検出し、それらのデータに基づいてソフト的に生成したものである。もとはＣＣＤカメラから0.6 ミリ秒に１フレーム出力される複数フレームの動画像であるが、図３では、検出された画素ごとのピーク値とピーク時間の分布を示すマップ画像を組み合わせ表示して、静止画像から神経伝達のおおよその様子が分かるようにされている。
【００３４】
図３において、左のＡ１，Ａ２はパルス電気刺激（tetanus ）による長期増強処理の前後（Ａ１が増強前、Ａ２が増強後）のピーク値マップであり、右のＢ１，Ｂ２はピーク時間マップである。
【００３５】
図３のピーク値マップＡ１，Ａ２は、画面の各画素で検出されたピーク値の大きさをカラーの色相あるいは白黒の濃度で表わしたものである。Ａ１，Ａ２は便宜上ここでは白黒画像で示されているが、実際にはＣのカラーバーにしたがって、各画素ごとに信号無しが白で信号のピーク値が強くなるにつれて黄色から黒に変化するように表示を設定されている。増強前のＡ１に比べて増強後のＡ２では全体的に黒っぽい領域が増加しており、増強により各画素のピーク値が大きくなっていることが分かる。
【００３６】
図３のピーク時間マップＢ１，Ｂ２も便宜上白黒画像で示されているが、実際にはＣのカラーバーにしたがって各画素にピークの出現する時間がカラー表示されている。この図では、時間は青から始まって緑，黄色を経て赤で終わるように色設定されている。Ｂ３の例では、信号が左中央から右上方に伝わっていることが色変化で示されている。
【００３７】
図４の（ａ）、（ｂ）は、図１の信号結合部１２についての異なる２つの好適な態様を概略的に示したものである。
【００３８】
図４の（ａ）は、撮像素子１１の各フォトセルＰ_ijとピーク検出保持部１３の各ピーク検出保持回路単位Ａ_ijとを、複数の信号線１２ａを用いて並列接続した構成例であり、集積回路技術を用いて製作することによりコンパクト化と高速化が可能であるが、集積構造は複雑になる。なお、ピーク検出保持部１３の各ピーク検出保持回路単位Ａ_ijに対する読み出しアクセスは順次的に行われ、読み出されたピーク値は、Ａ／Ｄ変換回路１４でデジタル信号に変換された後、デジタルメモリ１５に画素Ｓ_ijと対応させてピーク値Ｅ_P として格納され、また読み出されたピーク時間はそのままＴ_P として格納される。
【００３９】
図４の（ｂ）は、撮像素子としてＣＣＤを用いた構成例である。ＣＣＤ２０中の個々のフォトセンサの出力信号はいったん直列のビデオ信号形式で取り出し、ピーク検出保持部１３の各ピーク検出保持回路単位Ａ_ijにそれぞれ画素と対応をとって所定のタイミングで分配する。ビデオ信号を画素単位に切り出して各ピーク検出保持回路単位Ａ_ijに分配するには、Ｘデコーダ２１とＹデコーダ２２を用いて各ピーク検出保持回路単位Ａ_ijを画素順に選択し、選択したＡ_ijへのビデオ信号入力を、所定のタイミングでゲーティングするか、Ａ_ijの機能をイネーブルにしなければならない。ＣＣＤが大量に生産されている現状から考えると，この（ｂ）の構成が実現容易である。なおこのＸデコーダ２１とＹデコーダ２２を用いたピーク検出保持回路単位Ａ_ijの選択機構は、図４の（ａ）の構成でピーク検出保持回路単位Ａ_ijからデータを読み出す際にも必要である。
【００４０】
図５及び図６により、ピーク検出保持部１３の細部構成を説明する。
【００４１】
図５では、ピーク検出保持部１３の各ピーク検出保持回路単位Ａ_ijは１３ａで表わされている。ピーク検出保持回路単位１３ａは、ピーク値検出・保持回路１３ｂとカウンタ１３ｅで構成されている。ピーク値検出・保持回路１３ｂは、撮像素子１１から出力されるアナログのセンサ信号を入力してピーク値を検出し、 保持するアナログ回路である。カウンタ１３ｅはクロックを入力としてカウント動作する同期カウンタであり、ピーク値検出・保持回路１３ｂがピーク値を検出したとき出力する信号によりカウントを図示省略されているレジスタに記録して、そのときのカウント値によりピークとなった時間を表示する。制御回路１８は、画像領域の順次の画素について、その画素に対応するピーク検出保持回路単位１３ａの選択信号をピーク検出保持部１３に送るとともに、デジタルメモリ１５に画素対応のアドレスを送る。これにより、デジタルメモリ１５のアドレスには、選択されたピーク検出保持回路単位１３ａのピーク値検出・保持回路１３ｂから読み出されたピーク値（さらにＡ／Ｄ変換回路１４でデジタル信号に変換された結果の）とカウンタ１３ｅから読み出されたピーク時間とが書き込まれる。このようにして、全ての画素についてピーク値とピーク時間のデータが、ピーク検出保持部１３からデジタルメモリ１５に取り込まれる。
【００４２】
図６は、ピーク検出保持回路単位１３ａのさらに詳細を示す。ピーク値検出・保持回路１３ｂは、ピーク値保持回路１３ｃとピーク値検出回路１３ｄで構成される。ピーク値保持回路１３ｃはいわゆるサンプル・ホールド回路であり、入力信号に追従してそのレベルをキャパシタに蓄積しておき、ピーク値検出回路１３ｄからホールド信号が与えられた時点でキャパシタに蓄積されているレベルをピーク値として読み出し可能に保持する。ピーク値検出回路１３ｄは、信号のピークを信号レベルの正から負への変化点で検出する微分回路で構成でき、ピークを検出すると、ピーク値保持回路１３ｃにホールド信号を送り、カウンタ１３ｅにピーク検出信号を送る。カウンタ１３ｅは計測開始とともにクロックのカウントを行い、ピーク検出信号が入力されるとその時点のカウント値を保持する。ひとつの画素において、 ピーク値はいくつも出現する可能性があるので、最大のピーク値のデータが取得されるように構成される。
【００４３】
図６の左側の要素は主に測定時に使用され、右側の要素は測定後に使用される。測定開始に先立ってＣＣＤカメラのフォーカス合わせが行われるが、その場合はＣＣＤカメラからのビデオ信号は直接Ａ／Ｄ変換回路１４に送られ、デジタル信号に変換されて、モニタ画面に画像表示される。ここで表示されている画像が鮮明になるようにフォーカス調整を行う。
【００４４】
図７及び図８は、それぞれ異なる出力画像生成処理例のフローである。
【００４５】
図７のフローの処理では、ピーク値による動画像が生成される。まずフレーム時間を０に初期化し、所定の時間が到来するごとにフレーム画像を更新する。任意のフレーム時間において、デジタルメモリからその時間にピーク時間を持つすべての画素とピーク値を検索し、それらの画素位置にそれぞれのピーク値を設定する。この場合、ピーク値は予め定められた濃度値あるいは色相のカラー値に変換して設定されることができる。連続するフレーム時間ごとにこの処理を繰り返して、生成したフレーム画像を画面に表示すれば、もとの測定対象像における発光部の伝播の様子を、発光のピーク値に画像情報を縮退させた動画像として再生することができる。この場合、 フレーム時間を任意に変更して、たとえばスローモーションで再生することも可能である。
【００４６】
また動画像として再生する他の手法としては、予め標準的な波形をパターン化しておいて、各画素のピーク値とピーク時間にそのパターンを当てはめ、一種の補間によりピーク値以外の元の信号変化部分を擬似的に再現してもよい。たとえば神経科学の場合には、ひとつの神経ポイントにおける電気生理学的な反応は、他の任意の神経ポイントにおける反応と非常に類似しており、ピーク値とピーク時間さえ分かれば、そのポイントの全反応波形を簡単に類推することができるので、この手法はきわめて有効である。同様に、任意のポイントにおける反応波形が類似していることが保証される現象であれば、本発明により取得されたピーク値とピーク時間のデータから、ほぼ完全に実際の映像を動画像として再現することできる。
【００４７】
図８のフローの処理では、図３に示したようなピーク値マップとピーク時間マップからなる静止画像が生成される。この処理は、デジタルメモリから、全画素のピーク値とピーク時間を順次読み出してそれぞれを適当な濃度あるいはカラー値に変換し、ピーク値マップとピーク時間マップの画像に設定する。
【００４８】
【発明の効果】
本発明による撮像方法及び撮像装置では、撮像段階ではＡ／Ｄ変換処理を行わず、撮像後にＡ／Ｄ変換処理を行うようになるため、撮像時にはＡ／Ｄ変換速度に制約されずに撮像速度を上げて、撮像後に十分に時間をかけて高精度でのＡ／Ｄ変換を行うことが可能になる。これにより、従来ネックとなっていたＡ／Ｄ変換の精度と速度とのジレンマが無くなり，神経活動の光学的測定におけるような高速の現象でも、高速、高精度で撮像、記憶して、容易に再生することができるようになる。また必要とされるメモリ資源も著しく節減できる利点がある。
【図面の簡単な説明】
【図１】本発明の基本構成図である。
【図２】撮像素子におけるフォトセルの光検出動作の説明図である。
【図３】本発明により生成される出力画像の実際例を示す図である
【図４】信号結合部の異なる実施の態様を示す構成図である。
【図５】ピーク検出保持部の細部を示す構成図である。
【図６】ピーク検出保持回路単位の詳細構成図である。
【図７】出力画像生成処理の１例のフローである。
【図８】出力画像生成処理例の他の１例のフローである。
【図９】神経生理の光学的測定における光量と出力信号、ノイズ量の関係を示 すグラフである。
【図１０】従来例の二次元光量差分計測装置の信号処理部のブロック図である。
【符号の説明】
１１：撮像素子
１２：信号結合部
１３：ピーク検出保持部
１４：Ａ／Ｄ変換回路
１５：デジタルメモリ
１６：画像処理部
１７：表示部

Claims (13)

1. 複数フレームの撮像信号について、所定の期間内に画素ごとにピーク値と該ピーク値に達した時間とを検出し、検出した画素ごとのピーク値と該ピーク値に達した時間とをそれぞれ出力可能に記憶することを特徴とする撮像方法。
2. 請求項１の撮像方法において、各画素ごとのピーク値はいったんアナログ信号形式で保持したあと、デジタル信号形式に変換して記憶することを特徴とする撮像方法。
3. 請求項１または請求項２の撮像方法において、各画素ごとのピーク値の検出と保持は最初のピーク値であることを特徴とする撮像方法。
4. 請求項１ないし請求項３のいずれかの撮像方法において、撮像信号は神経活動の光学的測定におけるものであり、測定中は検出したピーク値をアナログ信号形式で保持し、測定終了後に該アナログ信号形式で保持されているピーク値をデジタル信号形式に変換することを特徴とする撮像方法。
5. 所定の期間内における複数フレームの撮像信号について、各画素ごとのピーク値と該ピーク値に達したピーク時間とを検出して保持し、その後保持されている各画素ごとのピーク値とピーク時間とを読み出し、出力画像を生成することを特徴とする撮像方法。
6. 請求項５の撮像方法において、出力画像は各画素ごとのピーク値をピーク時間に基づいて画面に表示する動画像であることを特徴とする撮像方法。
7. 請求項５の撮像方法において、出力画像は、各画素ごとのピーク値をカラーあるいは濃度で表示したピーク値画像と各画素ごとのピーク時間をカラーあるいは濃度で表示したピーク時間画像であることを特徴とする撮像方法。
8. 複数のフォトセルからなる撮像素子の出力信号から、所定期間内に画素ごとのピーク値と該ピーク値に達したときのピーク時間とを検出し、ピーク値はアナログ信号形式で保持するピーク検出保持部を備えていることを特徴とする撮像装置。
9. 請求項８の撮像装置において、撮像素子の出力信号はビデオ信号形式であることを特徴とする撮像装置。
10. 請求項８の撮像装置において、さらに、
    ピーク検出保持部にアナログ信号形式で保持されているピーク値を読み出してデジタル信号形式に変換するＡ／Ｄ変換回路と、変換結果のデジタルピーク値とピーク検出保持部から読み出したピーク時間とを画素対応で記憶するデジタルメモリとを備えていることを特徴とする撮像装置。
11. 請求項１０の撮像装置において、さらに、
    デジタルメモリから各画素のピーク値とピーク時間とを読み出し、出力画像を生成する画像処理部を備えていることを特徴とする撮像装置。
12. 請求項１１の撮像装置において、生成する出力画像は、各画素ごとのピーク値をピーク時間に基づいて画面に表示する動画像であることを特徴とする撮像装置。
13. 請求項１１の撮像装置において、生成する出力画像は、各画素ごとのピーク値をカラーあるいは濃度で表示したピーク値画像と、各画素ごとのピーク時間をカラーあるいは濃度で表示したピーク時間画像とであることを特徴とする撮像装置。

Images