JP3858094B2 - 再現性のある現象の画像撮像方法及び装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
指定画素読み出し機能を有する撮像素子を用いて高速撮像を実現する方法及び装置に関するもので、特に、バイオ分野における生体試料の蛍光観察等において、再現性のある現象をより少ない試行回数で高時間分解能記録する事に関するものである。
【０００２】
【従来の技術】
バイオ分野における生体試料の蛍光観察が行われている。神経活動の電気的な計測は、古くから微小電極を用いておこなわれており、現在でもバイオ研究において活用されている。電極を用いた電気的な測定法は、時間分解能の点で非常に優れており、最低でも１０ｋＨｚのサンプリングレートで現象を捉える事が可能である。しかしながら、この計測法の最大の短所は生体試料の一箇所からしか神経活動が記録できないという点であり、最近では、この短所を補う計測法（光計測法）が利用されている。光計測法とは、膜電位感受性色素と呼ばれる分子プローブで生体試料（たとえば、実験動物の露出された大脳皮質や、薄切した脳切片標本など、）を染色し、色素に固有の励起光を照射することによって、生体試料において生じた神経興奮現象（電気的活動）を微弱な（約0.1％）蛍光変化量として捉える、という測定手法である。この蛍光変化を高速撮像カメラによって計測することで、生体試料における電気的な興奮の広がりを二次元的に捉えることが可能となる。光計測法において、サンプリングレートを左右する要因は、撮像装置（ハードウェア）のスペックによって決まるが、現在市販されている神経活動の光計測装置の最高サンプリングレートは２ｋＨｚであり、これ以上の高速な現象（たとえば、神経細胞の発火現象）を忠実に捉える事はできていない。
【０００３】
前述の光計測法は、図８〜図１０（第１の従来技術）或いは図１１（第２の従来技術）に示す以下のような技術によって、サンプリングレートが改善される。図８に示すように、多くの撮像素子は１フレームで全画素を読み出すよう設計されている。図８で、横軸は時間、ｔは、１フレームの撮像開始時刻、Δはサンプリング間隔である。この場合、ハードウェアで決まる最高フレームレートを Ｆ とすると、記録される画像は Δ＝１/Ｆ 期間の平均値となっている。このカメラで高速撮像を実現するためには、毎フレーム毎に行う照射をストロボ的に行い、光の蓄積時間を制限したフレームを得る（図９A及び図９B）。つまり、図９Aのように、時刻aにおいて時間ウィンドウ（Δ/Ｎ 幅：Ｎは所定数）だけ生体試料に励起光をストロボ照射し、フレーム1-aを得る。時刻t+Δ+aにおいて（Δ/Ｎ幅）のストロボ照射を行ない、フレーム2-aを得る。同様に、フレーム3-a、4-a、、、、と得る。図９Bは、時間ウィンドウΔ/Ｎだけ図９Aの場合よりも、ストロボ照射時刻をずらした場合の図である。ここで、時刻b (b= a+Δ/Ｎ)である。図９Aの場合と同様、時間ウィンドウΔ/Ｎだけストロボ照射を行い、その時得られるフレームを1-b, 2-b、、、、とする。このように、同様の測定を図１０のように、時刻t〜t+Δについては、1-c,1-d,1-e,,,, 時刻t〜t+２Δについては、2-c, 2-d, 2-e,,, といったように、ストロボ照射する時間ウィンドウ（Δ/Ｎ 幅）をＮ回,時間シフトさせ、Ｎ回の試行を行えば、結果的には、低速カメラを用いても、Ｎ倍高速な現象の撮像が可能である。
【０００４】
図１１は、第２の従来技術を説明する図である。撮像素子が読み出し画素を選択して読み出せる機構である場合、予め読み出し画素数を制限すれば（ｍ画素読み出し/全画素数Ｍ）、Ｍ/ｍ倍の高速撮像が可能である。図１１に例として７ｘ７ピクセルサイズの撮像素子を使用した場合を記した。あらかじめ黒で塗りつぶしたピクセル（１〜１５）からしか測定を行なわないように、ハードウェア上で設定し、測定を行なうことで、１５画素読み出し／全画素数４９、すなわち、４９／１５＝3.27 倍、全画素を読み出す場合よりも高速に撮像する事が可能となる。
【０００５】
【発明が解決しようとする課題】
バイオ分野における生体試料の観察等においては、高速に光量変化する画素とほとんど変化がない画素が混在している。
図８〜図１０に示した第１の従来技術の場合、基本的に全画素を一様に扱うので、視野に含まれる測定対象以外の無効画素まで高速撮像の対象となってしまう。全画素数の数〜数十％程度しか有効画素がないような試料の場合には、後段でのメモリ有効利用等の観点で極めて不利である。
【０００６】
図１１に示した第２の従来技術の場合、測定対象毎に読み出す画素を手動で選択しなければならない。また、一度選択した画素については、第１の従来技術の場合と同様、重み付けなく一様に扱われる。この選択画素の中により高速な変化を伴う対象、比較的低速な変化の対象が混ざっていてもこれらを同等に扱うことになる。
本発明は、係る問題点を解決して、高速に光量変化する画素のみを可能な限り高速に追跡する撮像装置を提供することを目的としている。
【０００７】
【課題を解決するための手段】
本発明の画像撮影方法は、指定画素読み出し機能を有する撮像素子を用いて再現性のある現象を撮影した画像をフレームメモリに記録して、該フレームメモリから画像を読み出す。複数回の撮影を行い、該撮影結果を撮像素子から読み出すに際して、複数回の撮影毎に読み出す画素を判定する。読み出す画素の判定を、撮影を重ねる毎に輝度変化量が小さい画素の読み出しを行わないように設定して、複数回の撮影結果を合成した画像をフレームメモリから読み出すことにより、フレームレートの増加した撮影を行うことを可能にする。
【０００８】
また、本発明の画像撮像装置は、複数回の撮影結果を合成した画像をフレームメモリから読み出す画像読み出し部と、撮影結果を前記撮像素子から読み出すに際して、複数回の撮影毎に読み出す画素を判定する読み出し画素判定処理部とを備えている。そして、この読み出す画素の判定を、撮影を重ねる毎に輝度変化量が小さい画素の読み出しを行わないように設定して、フレームレートの増加した撮影を行うことを可能にする。
【０００９】
【発明の実施の形態】
図１は、本発明を具体化する高速撮像装置を例示する図である。例示の高速撮像装置は、指定画素読み出し機能を有する撮像素子と、読み出した画像をデジタル変換して記録するフレームメモリと、フレームメモリの内容から次の試行で読み出す画素を判定する読み出し画素判定処理部と、数回の試行結果を合成した結果だけをフレームメモリから読み出す画像読み出し部から構成される。図１において、撮像素子の任意のピクセルが、読み出し画素判定処理部においてX座標、Y座標を指示する事によって、選択可能である。選択したピクセルにおいて光電変換された信号はアナログ・ディジタル変換ブロックを介して（図中A/D）、フレームメモリに記録される。フレームメモリに記録された情報は画像読み出し部からの制御によりフレーム情報が取り出される。読み出し画素判定処理部はフレームメモリの情報を読み取り、撮像素子周辺に配置するX座標指示部、Y座標指示部に、次回読み出すべき座標を指示するコマンドを送る事ができる。
【００１０】
次に、このような撮像装置を用いて、高速に光量変化する画素のみを可能な限り高速に追跡することについて、説明する。撮像デバイス及びAD コンバータ動作の為のクロックは、ハードウェアの仕様上、上限スペックと考えられるクロックを使用し、可能な限り高速で読み出せるシステムとする。
このようなシステムにおいて、読み出すピクセルを減少させる事ができれば、図２に示すように必然的に読み出し時間が短縮され、フレームレートが増加する。
【００１１】
図２において、Ａ図は６ｘ６＝３６ピクセルから構成されるフレームを読み出した場合、Ｂ図は、読み出しピクセル数を限定して、１８ピクセルから読み出した場合の例である。撮像素子およびADコンバータを駆動する為のクロックは同一であるから、３６ピクセル全てを１フレームとして読み出す場合の時間はＡ図のように３６クロック期間となる。この時間をΔとすると、限定した１８ピクセルを読み出すのに要する時間は、１８クロック＝Δ/２、となり、サンプリングレートが二倍に向上する。つまり、Ｂ図の例での任意の１８ピクセルは、３６クロック期間中に２回サンプルされる事になる。
【００１２】
バイオ分野における生体試料の観察等において、読み出すピクセルを減少させる方法について図３〜図６を参照して説明する。図３は、動作説明図である。Aは、神経細胞を６x６＝３６ピクセルを有する撮像素子によって、撮像している様子である。Bは、Aに示したピクセル１〜３において記録された光シグナル波形を示している。測定視野中、測定対象が図３Aに示すように配置していたとする。測定対象をカバーしている画素は限られており、画素３においては測定対象が含まれない無効な画素である。今、各画素で記録されるべき光量変化の時間トレースが図３Bであった場合を想定する。画素１においては、比較的ゆるやかな時間変化の光量変化、画素２は急峻な光量変化、画素３は変化なし（ノイズレベル）である。
【００１３】
図４Ａに示すように、第１回目の撮影ではフレームレートＦ＝1/Δで全画素を撮像する。各画素での値は期間Δでの平均値であるから、図４Ｂのようなデジタルサンプル値となる。次に行われる第２回目の撮影では全画素を読み出すのではなく、輝度（ｔ，[xi,yi]）−輝度（ｔ+Δｔ，[xi,yi]）の絶対値が、任意に定めたε１より大きい判定基準を満たす値のみを読み出す。つまり、フレーム間での光量変化がある値ε１より大きい画素のみを記録する。この場合、画素３は基準を満たさないため除外される。
【００１４】
全画素のうち、半分のピクセルつまり、３６/２＝１８ピクセルにおける記録が画素３のように、基準を満たさない場合を想定すると、図５Ａに示すように２回目の撮影では、フレームレートが２倍に増加した状態で上記基準を満たした画素１や２のようなピクセルが読み出される。フレームレートが２倍になる原理は図２を参照して前述した。この結果、各画素での値は期間Δ/２での平均値であるから、図５Ｂのようなデジタルサンプル値となる。さらに次の第３回目の撮影では、輝度（ｔ，[xi,yi]）−輝度（ｔ+Δｔ，[xi,yi]）の絶対値が任意に定めたε２より大きい判定基準を満たす値のみを読み出す。つまり、フレーム間での光量変化がある値ε２より大きい画素のみを記録する。この場合、画素１は基準を満たさないため除外される。
【００１５】
さらに、前回読み出した１８ピクセルのうち、半分のピクセル（９ピクセル）における記録が画素1のように、基準を満たさない場合を想定すると、図６Ａに示すように３回目の撮影では、フレームレートが更に２倍に増加した状態で上記基準を満たした画素２相当のピクセルのみが読み出される。この結果、各画素での値は期間Δ/４での平均値であるから、図６Ｂに示すようなデジタルサンプル値となる。さらに次の第４回目の撮影では、輝度（ｔ，[xi,yi]）−輝度（ｔ+Δｔ，[xi,yi]）の絶対値が任意に定めたε３より大きい判定基準を満たす値のみを読み出す。といったように、順次続いてゆき、読み出し画素数が、実験者が予め、指定した画素数以下になるまで、測定を繰り返してゆく。もしくは、全ての画素が判定値ε３以下であった場合、即ち、輝度（ｔ，[xi,yi]）−輝度（ｔ+Δｔ，[xi,yi]）の絶対値が任意に定めたε３より小さい場合、これで撮像を終了する。各画素によりサンプルされた間隔が異なるため、高速サンプルを行わなかった画素は、データ補間を行い、各撮影での画像を合成して最終的な動画像データの出力を行う。データ補間に関しては、例えば、第一回目の撮影において記録された連続した２フレームの平均値を補間データとして使用する事ができる。
【００１６】
この例では、説明を簡略にする為、フレームレートをｘ２、ｘ４倍に上がる場合を示したが、読み出し画素数が1/k になった場合、フレームレートも1/kになる。
つまり、ｎを総読み出し画素数、δを１画素のみを読み出す時のフレーム間隔で定義すると、フレームレートＦは、F= １/ nδで撮像することができるという事である。また、フレームレートを上げることにより、撮像に必要な照射光量が異なるが、フレームレートに同期して光源を調整し、自動的に照明制御を行う可能性もある。
【００１７】
図７は、図３〜図６を参照して説明した動作を一般化して示すフローチャートである。全ピクセルについて、読み出しするかしないかの判定用のフラグ（Flag(xi,yi)）を有して、Flag(xi,yi)が１に設定されているピクセルのみ読み出すよう構成している。第一回目の撮影では、Flag(xi,yi)はすべての座標において1に設定されている。Flag(xi,yi)のうち“１”の総数を任意に定めた値λより大きい場合、次のステップへ移る、小さい場合は、測定を終了する。任意に定められるλは、全画素数のうち最低限、どれだけの画素数が必要かを実験者が定める事ができる。Flag(xi,yi)＝１の総数とλとの判定がクリアされた場合、フレームレートＦ＝1/nδ（ｎは、読み出し画素数、δは、１画素のみを読み出す時のフレーム間隔）で撮像を行なう。Flag(xi,yi)＝１の座標(xi,yi)の輝度データについて輝度データの読み出しを行なう。Flag(xi,yi)＝０の座標(xi,yi)の輝度データについては、データ補間プロセスを経て、フレームメモリにデータを書き込む。データ補間に関しては、例えば、第二回目の撮影でフレームレートが二倍に増加していた場合、第一回目の撮影において記録された連続した２フレームの平均値を補間データとして使用する事ができる。ｎ倍のフレームレート増加を伴っていた場合は、連続した２フレームの値間を線形にｎ等分して補間データを得ることもできる。
【００１８】
(xi,yi)において、読み出されたデータは任意に定めたε(k)との比較が行なわれる。フレーム間での光量変化、即ち、輝度（ｔ，[xi,yi]）−輝度（ｔ+Δｔ，[xi,yi]）の絶対値が、ε(k)より小さい(xi,yi)のFlag(xi,yi)を０にしてフレームメモリに輝度データを格納する。もしくは、輝度（ｔ，[xi,yi]）−輝度（ｔ+Δｔ，[xi,yi]）の絶対値がε(k)より大きい(xi,yi)のFlag(xi,yi)は１にして、かつ、ε(k)=ε(k+1)に設定して、フレームメモリに輝度データを格納する。
【００１９】
全画素読み出したか否かについての判定（すなわち、読み出し画素数n回フレームメモリにデータを書きこんだかの判定）を行ない、否の場合、残りのFlag(xi,yi)＝１の座標(xi,yi)の輝度データについて輝度データの読み出しを行なう。１フレームの処理が終了したと判断された場合、すなわち、すべてのFlag(xi,yi)＝１の座標(xi,yi)の輝度データ読み出しが終了した場合、予め指定した撮影予定時間分のフレーム数を獲得したかの判定を行い撮影を終了する。
【００２０】
本発明は、複数回の撮影によって順次フレームレートが増加してゆくものである。すなわち、再現性のある現象の撮影に限定される。バイオイメージング分野において、電気刺激を施した際に生体標本において惹起される神経活動伝播パターンなどのような現象は、電気刺激を与えるタイミングにより測定現象を同期させる事ができる。このような電気刺激タイミングをもって、毎撮影のトリガー信号とする事で、本件のような「再現性の求められる現象」は容易に作り出す事ができる。
【００２１】
【発明の効果】
画像の各画素によってサンプルレートが異なる動画像が得られる。そのサンプルレートの違いは、測定対象のみに依存する。高速な光量変化を伴う画素ほどより高速サンプルされるから、高速な生体現象をより忠実に記録することが可能となる。
【図面の簡単な説明】
【図１】本発明の構成図である。
【図２】読み出し画素数とフレームレートの関係を示す説明図である。Ａ；画素数３６ピクセルのフレームを読み出す場合を示している。Ｂ；画素数１８ピクセルのフレームを読み出す場合を示している。
【図３】動作説明図である。A；神経細胞を６x６ピクセルを有する撮像素子によって、撮像している様子である。B;Aに示したピクセル１〜３において記録された光シグナル波形を示している。
【図４】第一回撮影時の説明図である。フレームレートＦ＝1/Δ
【図５】第二回撮影時の説明図である。フレームレートＦは、図３の場合の二倍である。
【図６】第三回撮影時の説明図である。フレームレートＦは、図４の場合の二倍である。
【図７】図２〜図５を一般化したフローチャートである。
【図８】第１の従来技術その１の説明図である。
【図９】第１の従来技術その２の説明図である。
【図１０】第１の従来技術その３の説明図である。
【図１１】第２の従来技術の説明図である。

Claims (2)

1. 指定画素読み出し機能を有する撮像素子を用いて再現性のある現象を撮影した画像をフレームメモリに記録して、該フレームメモリから画像を読み出す画像撮像方法において、
   複数回の撮影を行い、該撮影結果を前記撮像素子から読み出すに際して、複数回の撮影毎に読み出す画素を判定し、
   前記読み出す画素の判定を、撮影を重ねる毎に輝度変化量が小さい画素の読み出しを行わないように設定して、
   前記複数回の撮影結果を合成した画像をフレームメモリから読み出すことにより、フレームレートの増加した撮影を行うことから成る画像撮像方法。
2. 指定画素読み出し機能を有する撮像素子を用いて撮影した再現性のある現象を画像をフレームメモリに記録して、該フレームメモリから画像を読み出す画像撮像装置において、
   複数回の撮影結果を合成した画像をフレームメモリから読み出す画像読み出し部と、
   撮影結果を前記撮像素子から読み出すに際して、前記複数回の撮影毎に読み出す画素を判定する読み出し画素判定処理部と、を備え、
   前記読み出す画素の判定を、撮影を重ねる毎に輝度変化量が小さい画素の読み出しを行わないように設定して、フレームレートの増加した撮影を行うことから成る画像撮像装置。

Images