JP4024367B2 - 多板式撮像装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、インターライン・トランスファ型（インターライン型、ＩＴ型とも呼ばれる）などのＣＣＤ（Charge Coupled Device ：固体撮像素子）を撮像素子を複数個用いた多板式撮像装置に係り、とくに、その多重記録および高速化の機能改善に関する。
【０００２】
【従来の技術】
従来、ＣＣＤなどの撮像素子を用いた撮像装置は、家庭用ビデオカメラやデジタルカメラなどの一般用途向けの機種から、多重記録や高速撮像の機能を備えた特殊用途の機種まで多岐にわたり、広く使用されている。この内、特殊用途の装置は、スポーツ選手の運動動作の解析やスポーツ勝敗の判定に有用であるばかりでなく、様々な学術研究や工業生産分野での動態解析に著しい有用性を発揮している。
【０００３】
高速度撮像はスローモーション再生など、種々の分野で有用である。スローモーション再生を行うには、規格速度（ＮＴＳＣ方式のときは３０画面／秒、ＰＡＬ方式のときは２５画面／秒）より大きい速度で撮像し、その画像データを規格速度で再生するとスローモーション映像を見ることができる。例えば、規格速度のｎ倍の速度で撮像した画像データを規格速度で再生すると、被写体の動きを１／ｎに遅くして観察することができる。一般に、このような高速度撮像の１つの手法として、ＣＣＤ型撮像素子やＭＯＳ型撮像素子などの撮像素子のクロック周波数を上げることで反応速度を速くすることが知られている。
【０００４】
しかし、この撮像素子の反応速度自体に一定の物理的制限があるので、クロック周波数を上げることに拠る撮像速度の高速化にも限界がある。この限界以上の高速化を実現するには、その１つの手法として、１画面（画像）当たりの記録素子数を減らすことがある。例えば、６４０×４８０画素、３０画面／秒の規格の撮像素子があった場合、記録素子数を３２０×２４０画素と１／４に減じると、原理的には撮像速度を４倍の１２０画面／秒に上げることができる。このような部分的な撮像を実行するには、各水平方向の走査を水平方向ラインの途中の所定位置で中止し、次の水平方向走査に移行する一方で、水平走査を特定の水平方向ラインで打ち切り、次画面の走査に移行するように、走査制御する必要がある。撮像素子の内、ＭＯＳ型撮像素子は水平、垂直方向の任意の画素（絵素）の受光素子から走査を開始し、その走査を途中位置で打ち切り、次のラインに走査を移行させることができる。したがって、ＭＯＳ型撮像素子については、上記のような部分読出しの走査制御を行うことができる。
【０００５】
一方、多重記録は、時間経過の異なる複数枚の画像を互いに重ね合わせて１フレーム（１画面または１周期）で表示し、通常写真カメラのシャッタを開放した状態で、ストロボを点滅させたときの多重露光写真と同じ効果を得る撮像手法である。この多重記録を行うには、ＩＴ型のＣＣＤ撮像素子の場合、１フレームの時間内に２次元配置の複数個のフォトダイオードから垂直転送ＣＣＤへの一括転送を複数回行って、１画面期間中の時間経過の異なる電荷（画素データ）を垂直転送ＣＣＤで蓄える。この垂直転送ＣＣＤへの複数回の一括転送は転送ゲートパルスで制御される。一括転送を行っている間は、垂直転送ＣＣＤから水平転送ＣＣＤへの転送を行わないようにすることで、垂直転送ＣＣＤには複数入光が重複蓄積される。しかし、この転送を単純に重複させただけで、転送電荷が時間的に分離されていない場合、多重記録された画像はブレた映像の重なりとしてならない。このため、シャッタ機能により多重記録の１回当たりの露光時間（電荷蓄積時間）が十分に短くなるように制御される。
【０００６】
垂直転送ＣＣＤに重複蓄積された電荷は、垂直転送ＣＣＤおよび水平転送ＣＣＤを駆動して順次読み出される。第ｎフレームにおけるフォトダイオードから垂直転送ＣＣＤへの複数回の一括転送と、これに続く第ｎ＋１フレームにおける垂直・水平転送駆動とを繰り返すことで、多重露光された画像が読み出される。これにより、外部装置としてのストロボ装置が不要で、屋外のような明るい自然光や連続照明光の下でストロボ写真と同等のストロボ効果が得られる。
【０００７】
この多重記録において、フォトダイオードから垂直転送ＣＣＤへの転送パルス回数で決まる一括転送の回数や、シャッタパルスから転送ゲートパルスまでの期間で決まる露光時間は任意に設定できる。
【０００８】
【発明が解決しようとする課題】
上述した従来の撮像装置においては、標準のテレビ用のＣＣＤ型撮像素子は感度が高いという利点から、家庭用、業務用のビデオカメラの撮影素子として多用されているが、この種の撮像装置には未だ以下のような問題が残されていた。
【０００９】
まず、撮像高速化についての問題は以下のようである。ＣＣＤ型撮像素子の場合、ＭＯＳ型とは異なり、水平方向のラインの途中で走査を打ち切って次ラインに移行することも、また、画面の途中で走査を打ち切って次画面に移行することもできない。このため、ＣＣＤ型撮像素子については、受光部を部分的に覆う光学的マスクや、不要電荷を捨てる部分読み出しの手法を使用しない限り、部分読出しの走査制御を行うことができない。
【００１０】
この光学マスクを利用した場合でも、幾分とも光の回折現象は避けられないので、非遮光面（部分受光面）に入射した光は遮光面に回り込んで入射し、この入射に拠る電荷は素子本来の暗電流によるノイズと合成され、受光面全体に重畳してしまう。したがって、このＣＣＤ型撮像素子で撮像された画像はぼけてしまい、画質が劣る。また、画面サイズおよび撮像速度は通常、用途に応じて選択・変更できることが望ましいが、光学マスクを利用する場合、マスクそのものを交換可能な構造や可変サイズのマスク構造を採用する必要がある。しかし、このような構造は複雑化かつ大形化して、製造コストの上昇を招くとともに、光の回折現象の程度が多くなり、上述した画質の劣化がより顕著になる。
【００１１】
また、部分読出しに際し、光学マスクを利用せず、電子的に不要電荷を棄却する方式の場合、部分読出しの対象画素数を減らしても、その棄却時間（空読出し時間）が加わるため、その減少に割りには撮像速度の上昇の比率が芳しくない。つまり、部分読出しを行って解像度を犠牲にする割には撮像速度の高速化のメリットが少ないという問題があった。
【００１２】
一方、多重記録に関しては以下のような問題があった。ＣＣＤ型撮像素子を通常使用する場合（多重記録しない場合）、電荷がフォトダイオードに蓄積（露光）している間に、先に垂直転送ＣＣＤ（垂直転送路）に転送された電荷を水平転送ＣＣＤ（水平転送路）に垂直転送し、水平転送路から映像信号として出力される。これに対し、多重記録の場合、フォトダイオードから垂直転送ＣＣＤに電荷が複数回、一括転送された後で、垂直転送ＣＣＤから水平転送ＣＣＤへの転送が実行される。このため、水平転送ＣＣＤへの電荷転送の周期は、読み出し専用の周期となり、この期間にフォトダイオードから垂直転送ＣＣＤへの転送実行は不可となる。このため、通常のＣＣＤ使用の態様に比べて（すなわち多重記録を行わない場合に比べて）、単位時間当たりの撮像周期が長くなる。つまり、撮像速度は普通、約１／２になって、遅くなってしまう。
【００１３】
また、撮像周期の内、約半分の読み出し専用の転送周期には露光ができない、ブラックアウトの周期になる。これはフィルム式映画カメラにおいて、フィルム掻き落とし周期の間はシャッタを閉じ、露光を防ぐ状態と同様である。このフィルム式カメラでは、この露光不可の期間を周期で表し、シャッタ開角度として表現される。このように、多重露光ＣＣＤカメラの場合も、フィルム式カメラのシャッタ開角度と同様に、撮像周期の約半分がブラックアウトの周期となり、その分、動態解析における解析度合を低下させている。
【００１４】
本発明は、このような従来技術が有する未解決の問題に鑑みてなされたもので、映像の画質を維持しながら、比較的簡単な駆動パルスの制御を行うだけで、撮像速度をより高速化または超高速化した多板式撮像装置を提供することを、第１の目的とする。
【００１５】
また本発明は、多重記録を行う場合、画質を維持しながら、比較的簡単な駆動パルスの制御を行うだけで、撮像速度をより高速化した多板式撮像装置を提供することを、第２の目的とする。
【００１６】
さらに本発明は、３板式カラーカメラなどの複数個の撮像センサを用いた多板式撮像装置の撮像機能の多様化、豊富化を図る手段として既存装置に容易に搭載できる機能であって、撮像装置の構造自体を何等変更することなく、高画質を維持する一方で、比較的簡単な駆動パルスの変更制御を行うだけで、動態解析などに好適な多重記録を高速で行うことができる機能を提供することを、第３の目的とする。
【００１７】
【課題を解決するための手段】
上記課題を解決するため、本発明に係る多板式撮像装置は、入射光を少なくとも第１の光路の光と第２の光路の光に分割する光学系と、前記第１の光路の光を第１のフレーム周期にて露光し電荷に変換する第１のセンサと、前記第２の光路の光を前記第１のフレーム周期に続く第２のフレーム周期にて露光し電荷に変換する第２のセンサと、前記第１及び第２のセンサを露光するタイミングと、露光によって得られた電荷を転送するタイミングとを制御する露光・転送制御手段と、を具備し、前記露光・転送制御手段は、前記第１のフレーム周期で前記第１のセンサを多重露光し、前記第２のフレーム周期で前記第１のセンサの多重露光によって得られた電荷を転送すると共に、前記第２のフレーム周期で前記第２のセンサを多重露光し、前記第２のフレーム周期に続く前期第１のフレーム周期で前記第２のセンサの多重露光によって得られた電荷を転送し、この処理を繰り返し行う、ことを特徴とする。
【００２８】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
【００２９】
第１の実施の形態
第１の実施形態を図１〜図６を参照して説明する。
【００３０】
図１に示す高速度撮像装置は、撮像対象からの反射光を入射させる撮像部１１と、この撮像部１１に接続された駆動回路１２および処理回路１３と、処理回路１３に接続されたモニタ１４とを備える。
【００３１】
撮像部１１は、光学系としての対物レンズ１１ａと、この対物レンズ１１ａを介して伝達する光を入射させるセンサ部１１ｂとを備える。このセンサ部１１ｂは、複数個のエリアイメージセンサとして３個のＣＣＤ型撮像素子を備えた３板式に構成されている。
【００３２】
一例として、撮像部１１ｂは、入射光を互いに直交する３方向に分割するキュービックタイプのプリズム２１と、このプリズムの分割光を受ける赤、青、緑色のフィルタ２２ａ，２２ｂ，２２ｃと、このフィルタそれぞれの出力光を受光する３個のＣＣＤ型撮像素子２３ａ，２３ｂ，２３ｃとを備える。このため、対物レンズ１１ａから入射した光はプリズム２１により３分割され、この分割光それぞれが赤色フィルタ２２ａ，青色フィルタ２２ｂ，緑色フィルタ２２ｃを通って各色成分の光に変換される。この赤色成分、青色成分、緑色成分の光はそれぞれにあてがわれたＣＣＤ型撮像素子２３ａ，２３ｂ，２３ｃに入射する。
【００３３】
ＣＣＤ型撮像素子２３ａ，２３ｂ，２３ｃのそれぞれは、図２に示すように、半導体の薄膜積層技術によって、例えばｎ⁻基板上に形成した１チップのインターライン・トランスファ型（ＩＴ型：インターライン型とも呼ばれる）のＣＣＤ型撮像素子から成る。図２に模式的に示すように、この各ＣＣＤ型撮像素子では、かかる薄膜積層技術によって、複数の受光部３１…３１としてのフォトダイオードがｘｙ面の２次元的に配置される。なお、同図において、ｘ軸方向を横方向、ｙ軸方向を縦方向と便宜上呼びことにし、横方向の同一列の受光部をラインと呼ぶ。
【００３４】
縦方向の各列を成す受光部３１…３１に隣接して垂直転送路３２としての垂直転送ＣＣＤが縦方向に形成され、全体として、受光部３１…３１と垂直転送路３２が縦方向に交互に並んで配置されている。垂直転送部３２…３２の縦方向の一方の端部には水平転送路３３としての水平転送ＣＣＤが薄膜積層技術により形成されている。垂直転送路３２…３２は水平転送路３３に繋がれ、電荷が渡されるようになっている。また、水平転送路３３に接続された出力アンプ３４も形成されている。
【００３５】
各受光部３１は、１フレームの画像を形成する画素信号の素になる電荷を生成する。つまり、各受光部３１には入射光量に対応した電荷が蓄積される。垂直転送路３２…３２および水平転送路３３には駆動回路１２から転送用の駆動信号が供給され、これより各受光部３１の蓄積電荷が転送路３２…３２、３３を介して、例えば２相駆動方式で読み出される。
【００３６】
図３には、各ＣＣＤ型撮像素子１１ｂの積層断面を部分的に示す。同図において、ｎ⁻基板とｐウエル層との間にパルス電圧（Ｖsub ）を印加することで、受光部２１で形成した電荷が不要なとき、この電荷を直接基板に掃き出し、転送路の電荷に影響を与えない状態で不要電荷をクリアする電子シャッタの機能を果たすようになっている。
【００３７】
駆動回路１２は、２相駆動方式でセンサ部１１ｂを駆動するに必要な駆動信号を出力する。これを実行するため、駆動回路１２は、基準となるクロック信号を発生するクロック発生器４１と、撮像装置の駆動モードを手動選択可能なモード信号を出力するモード切換スイッチ４２と、クロック信号およびモード信号を入力してセンサ部１１ｂの駆動をモード別に制御する読出しコントローラ４３とを備える。読出しコントローラ４３は、一例として、図示しないが、クロック信号数を計測するカウントと、その計測値が各種の所定数に達したときに各種のパルス信号（駆動信号）を発生する複数個のパルス発生器とを備える。このパルス信号は、各ＣＣＤ型撮像素子に供給される。読出しコントローラ４３はＣＰＵを備えて構成してもよい。
【００３８】
各ＣＣＤ型撮像素子に供給する各種のパルス信号には、電子シャッタパルスＳＨ、全ての受光部３１…３１から垂直転送路３２に一括して電荷転送するための転送ゲートパルスＰＶ、電荷を垂直転送するための２相の垂直転送信号Ｖ１，Ｖ２、および電荷を水平転送するための２相の読出しクロックＨ１，Ｈ２が含まれる。
【００３９】
処理回路１３は、３個のＣＣＤ型撮像素子２３ａ，２３ｂ，２３ｃのそれぞれの各出力系毎に、増幅器５１ａ（５１ｂ，５１ｃ）、Ａ／Ｄ変換器５２ａ（５２ｂ，５２ｃ）、フレームメモリ５３、映像プロセッサ５４、およびＤ／Ａ変換器５５をこの順に備える。映像プロセッサ５４は、ＣＰＵ（またはこの機能を担うデジタル信号回路）およびメモリなどを備え、波形整形（ノイズ除去）、信号補正などの信号処理を行うとともに、指定駆動モードに対応した映像データをフレーム毎に作成する。この映像データはＤ／Ａ変換器５５を介してモニタ１４に送られる。これにより、３個のＣＣＤ型撮像素子２３ａ，２３ｂ，２３ｃから読み出される電荷信号が駆動モード別に画像信号に作成され、モニタ１４に１フレームの画像として表示される。
【００４０】
本撮像装置には、上述した駆動モードとして３種類の駆動モード、すなわち、「カラー撮像モード」、「カラー多重記録モード」、および「高速多重記録モード」が用意されている。操作者は、モード切換スイッチ４２で所望の駆動モードを選択すると、その選択モードを表すスイッチ信号が読出しコントローラ４３に送られるようになっている。読出しコントローラ４３は、かかるスイッチ信号に応じてセンサ部１１ｂの各撮像素子の駆動をパルス制御する。
【００４１】
なお、このスイッチ信号は映像プロセッサ５４にも送られるようになっている。このため映像プロセッサ５４は、スイッチ信号で指定された駆動モードード別の映像信号処理（例えば、カラー処理、疑似カラー処理、白黒処理など）を実施できる。
【００４２】
続いて、本実施形態に係る撮像動作をセンサ部１１ｂの転送動作を中心にして説明する。
【００４３】
＜カラー撮像モード＞
モード切換スイッチ４２を介して、カラー撮像モード（多重記録なし）が指令された場合、この撮像装置は従来と同様に、３板式ＣＣＤカラーカメラとして動作する。対物レンズ１１ａから入射した光はプリズム２１により３分割され、それぞれ赤色、青色、緑色のフィルタ２２ａ，２２ｂ，２２ｃを通って、ＣＣＤ型撮像素子２３ａ，２３ｂ，２３ｃの受光面にそれぞれ入射する。
【００４４】
読出しコントローラ４３からそれぞれの撮像素子２３ａ（２３ｂ，２３ｃ）には、フレーム周期に同期して転送ゲートパルスＰＶ並びに２相方式の垂直転送信号Ｖ１，Ｖ２および読出しクロックＨ１，Ｈ２が送られる。これにより、第ｎフレームの終りに同期して転送ゲームパルスＰＶが与えられると、第ｎフレームで蓄積した受光部３１，…，３１の電荷が一括して垂直転送ＣＣＤ３２，…，３２に転送される。次のｎ＋１フレームが始まると、受光部３１，…，３１に再び露光により電荷蓄積がなされるとともに、垂直転送されたＣＣＤ３２，…，３２に転送された前フレームの電荷が垂直転送信号Ｖ１，Ｖ２により順次垂直転送され、そして水平転送ＣＣＤ３３を介して読出しクロックＨ１，Ｈ２により順次、水平転送されていく。これにより、１フレームの画素信号が読み出される。
【００４５】
以下、同様にしてフレーム毎に読み出され、赤色、青色、緑色のエリア画素信号が形成される。この３原色の映像信号は処理回路１２でカラー系統別に処理されるい。すなわち、デジタルデータとしてメモリ５３ａ，５３ｂ，５３ｃに一度格納され、映像プロセッサ５４により、ノイズ除去などの各種の前処理、カラーへのデータ合成処理、強調処理などの後処理を経て所望態様のカラー映像データに生成される。このカラー映像データはモニタ１４にカラー映像として例えば殆どリアルタイムな映像やフリーズ像として表示される。
【００４６】
＜カラー多重記録モード＞
モード切換スイッチ４２から、このカラー多重記録モードが指令された場合も、撮像装置は３板式ＣＣＤカラーカメラとして動作する。
【００４７】
このモードのときには、読出しコントローラ４３は図４に例示するタイミングで各種の駆動パルスを出力する。つまり、読出しコントローラ４３は、１つのフレーム期間である第ｎフレームにおいて、第１回目のＲ（赤）シャッタパルス、Ｇ（緑）シャッタパルス、およびＢ（青）シャッタパルスを同時に出力する（時刻ｔ１）。次いで、時刻ｔ１から極めて短時間の期間が経過すると、Ｒ転送ゲートパルス、Ｇ転送ゲートパルス、およびＢ転送ゲートパルスを同時に出力する （時刻ｔ２）。このため、３個の撮像素子２３ａ，２３ｂ，２３ｃは、この短時間「ｔ２−ｔ１」の間だけその受光面に光が入射して露光され、この露光による蓄積電荷が垂直転送ＣＣＤ３２，…，３２に一括転送される。次いで、所定時間毎に、このシャッタパルスと転送ゲートパルスによる露光および転送が同一の第ｎフレームにおいて、さらに２回繰り返される。このため、時間的に分離した合計３回の短時間の多重露光状態が得られ、各露光に対応した電荷が垂直転送ＣＣＤ３２，…，３２に蓄積される。
【００４８】
この多重露光期間の後の次フレーム周期は図４に示すように、蓄積電荷に対する読出し周期になる。読出しコントローラ４３は垂直転送信号Ｖ１，Ｖ２および水平転送用の読出しクロックＨ１，Ｈ２を従来周知のタイミングで撮像素子２３ａ，２３ｂ，２３ｃに個別に同期して出力する。このように第ｎフレームの後の１周期は蓄積電荷の読出しに専用的に使用され、多重露光による蓄積電荷が画素毎に読み出される。その次のフレーム周期は、再び、第ｎ＋１フレームに関する多重露光の周期として使われる。
【００４９】
この読みだし電荷は、上述したカラー撮像のときと同様に処理され、モニタ１４には動態解析などに好適な多重露光（記録）を実施したカラー画像が表示される。
【００５０】
＜高速多重記録モード＞
モード切換スイッチ４２から、この高速多重記録モードが指令された場合、撮像装置は３板式ＣＣＤを搭載した、モノクロまたは疑似的にカラー化が可能なカメラとして動作する。
【００５１】
このモードのときには、読出しコントローラ４３は図５に例示するタイミングで各種の駆動パルスを出力する。同図に示すタイミング制御は、Ｒ（赤）とＢ （青）のシャッタパルスおよび転送ゲートパルスを同期させて一体に扱い、Ｇ （緑）のシャッタパルスおよび転送ゲートパルスをＲ（赤）およびＢ（青）のものから１８０度の位相差を持たせて次フレームの信号として扱うことに特徴を有する。
【００５２】
このようにＲ（赤）とＢ（青）を同期させた理由は、通常の光信号には赤成分が約３０％、青成分が約１０％、および緑成分が約６０％含まれると総括できることにある。このため、Ｒ（赤）とＢ（青）の成分を加算して１つの信号として扱えば、概略的ではあるが、格別の信号増強処理を施されなくても、緑成分に対抗できる信号強度になるからで、Ｒ（赤）とＢ（青）を１つのモノクロ信号、またＧ（緑）単独を別のモノクロ信号として扱うことが容易になるからである。
【００５３】
勿論、Ｒ（赤）またはＢ（青）とＧ（緑）とをそれぞれ１つのモノクロ信号として扱うようにしてもよいし、また場合によっては、Ｇ（緑）と他の色とを組み合わせて一体のモノクロ信号とし、残りの１つの色をそれに対抗するモノクロ信号として扱うことも可能である。
【００５４】
図５に示すように、読出しコントローラ４３は、第ｎフレームに対応するフレーム周期において、第１回目のＲ（赤）シャッタパルスおよびＢ（青）シャッタパルスを同期して出力する（時刻ｔ１）。次いで、時刻ｔ１から極めて短時間の期間が経過すると、Ｒ転送ゲートパルスおよびＢ転送ゲートパルスを同期して出力する（時刻ｔ２）。このため、２個の撮像素子２３ａ，２３ｂは、この短時間「ｔ２−ｔ１」の間だけその受光面に光が入射して露光され、この露光に拠る蓄積電荷が垂直転送ＣＣＤ３２，…，３２に一括転送される。次いで、Ｒ（赤）およびＢ（青）の成分に対してのみ、このシャッタパルスと転送ゲートパルスによる露光がこの第ｎフレームにおいて所定時間毎に、２回繰り返される（時刻ｔ３〜ｔ４，ｔ５〜ｔ６）。このため、Ｒ（赤）およびＢ（青）の成分に対し、時間的に分離した合計３回の短時間の多重露光状態が得られ、各露光に対応した電荷が垂直転送ＣＣＤ３２，…，３２に蓄積される。
【００５５】
次いで、次のフレーム周期である第ｎ＋１フレームに入ると、Ｒ（赤）およびＢ（青）の成分に対しては前述と同様に、垂直転送パルスＶ１，Ｖ２と読出しパルスＨ１，Ｈ２に拠る読出しが実施される。この読出しと平行して、今度は、第１回目のＧ（緑）シャッタパルスを出力する（時刻ｔ７）。次いで、時刻ｔ７から極めて短時間の期間が経過すると、Ｇ転送ゲートパルスを出力する（時刻ｔ８）。このため、今度は緑用の撮像素子２３ｃがその短時間「ｔ８〜ｔ７」の間だけ露光され、その電荷が画素毎に一括転送される。次いで、このＧ（緑）の成分に対してのみ、このシャッタパルスと転送ゲートパルスによる露光がこの第ｎ＋１フレームにおいて所定時間毎に、２回繰り返される（時刻ｔ９〜ｔ１０，ｔ１１〜ｔ１２）。このため、Ｇ（緑）の成分に対し、時間的に分離した合計３回の短時間の多重露光状態が得られ、各露光に対応した電荷が垂直転送ＣＣＤ３２，…，３２に蓄積される。
【００５６】
次いで、次の第ｎ＋２フレームに入ると、Ｇ（緑）の光成分に対する垂直転送パルスＶ１，Ｖ２と読出しパルスＨ１，Ｈ２に拠る読出しが実施されるとともに、この読出しに並行して、再び、Ｒ（赤）およびＢ（青）の成分に対する前述と同様の多重露光および電荷転送が行われる。
【００５７】
以下、同様に、Ｒ（赤）およびＢ（青）の成分とＧ（緑）の成分との間で１８０度位相をずらして、交互に、多重露光・一括転送および読出しが繰り返し実施される。
【００５８】
以上の多重露光・一括転送により読み出された信号は各色成分に強度を反映しており、処理回路１３に送られる。処理回路１３において、読み出された撮像信号はその各色成分の系統毎に増幅器５１ａ（〜５１ｃ）で増幅され、Ａ／Ｄ変換器５２ａ（〜５２ｃ）によりデジタル化され、さらにメモリ５３ａ（〜５３ｃ）にフレーム毎に格納される。３個のメモリ５３ａ〜５３ｃにデータ保存されるタイミングは、Ｒ（赤）およびＢ（青）の成分とＧ（緑）の成分との間で１８０度の位相差がある。
【００５９】
映像プロセッサ５４はモード切換スイッチ４２からのスイッチ信号に応答して「高速多重記録モード」の選択であることを既に認識している。このため、映像プロセッサ５４は、メモリ５３ａ〜５３ｃにフレーム毎に格納された色成分毎のデータを２つのモノクローム信号として扱う。つまり、上述したようにＲ（赤）およびＢ（青）の成分用メモリ５３ａ，５３ｂに記憶されているデータを合算して第ｎフレーム用の１つのモノクローム信号としてその映像データを生成する。一方、第ｎ＋１フレームでは、Ｇ（緑）の成分用メモリ５３ｃに記憶されているデータをモノクローム信号としてその映像データを生成する。
【００６０】
この映像データは、フレーム毎にＤ／Ａ変換器５５でアナログ化されてモノクロ（白黒）の多重記録像として、例えば図６に示す如く、モニタ１４に表示される。この表示像は、第ｎフレームについてはＲ（赤）およびＢ（青）の成分を反映したフレーム像、続く第ｎ＋１フレームについてはＧ（緑）の成分を反映したフレーム像、以下同様に、交互のフレーム像で構成される。
【００６１】
このため、ＣＣＤ型撮像素子を用いた多板式撮像装置の多重記録でありながら、各フレーム毎に撮像でき、多重記録を実施しない通常のモノクロ撮像と同じ撮像速度を達成でき、約２倍の高速化を実現できる。また、全部の周期において多重露光が行われるから、従来問題となっていたブラックアウトも無く、多重露光映像の時間分解能も約２倍高くなる。したがって、撮像対象が動態である場合の動態解析の精度に優れた高速の撮像装置を提供できる。
【００６２】
また、赤（Ｒ）と青（Ｂ）の原色成分を組み合わせ、緑（Ｇ）の原色成分を単独で使用しているから、輝度補正処理などを格別実施しなくても、各フレームの輝度レベルがほぼ均等になり、輝度の安定した見易い動態解析の映像を得ることができる。
【００６３】
さらに、本実施形態では、光学マスクなどの機構的部品を付加せずに、撮像素子に与える駆動パルスのタイミングを制御するだけで目的とする多重記録動作を実現させている。このため、センサ部の構造を機械的に複雑化させずに済み、故障なども少ない、比較的安価な装置を提供できる。
【００６４】
さらに、本実施形態の撮像装置は、既存の３板式ＣＣＤカラーカメラを流用し、この駆動タイミングを多重制御するに必要な駆動、制御系の回路、機能の付加のみによって、カラー多重記録モードおよび高速記録モードの動作を付加的に実現できる。このため、既存の３板式ＣＣＤカラーカメラの機能の豊富化、充実化を図って、製品として付加価値を高めることができる。また、ユーザは使用目的に応じてモード切換スイッチを操作するだけで済むから、１台３役の機能の撮像装置を得ることができる。
【００６５】
なお、当然に、上述した高速多重記録モードのみを専用的に実施する高速の撮像装置を、上述した構成および機能によって実現することもできる。
【００６６】
さらに、上述した実施形態では、各撮像素子の出力信号をモノクローム信号として扱ったが、上述の例では赤（Ｒ）と青（Ｂ）の原色成分については同位相で信号検出されるので、カラー被写体についてはそのままでも赤（Ｒ）と青（Ｂ）成分を合成したカラー情報が得られ、これを利用したカラー映像も出力可能である。また、カラー成分のアレンジによって、疑似的なカラー映像を出力するようにしてもよい。
【００６７】
さらにまた、上述の実施形態では、赤（Ｒ）と青（Ｂ）の原色成分を合成し、これに緑（Ｂ）の原色成分を対抗させるようにしたが、この組み合わせ方は任意である。
【００６８】
さらに、上述の実施形態では、赤（Ｒ）、青（Ｂ）、緑（Ｂ）の原色成分を抽出する構成にしたが、これらの原色の補色を扱うようにしてもよい。
【００６９】
またなお、上述した撮像装置は３板式ＣＣＤカラーカメラをベースに構成する例を挙げたが、例えば、図７に示すように（同図において図１と同等の構成要素には同一符号を用いている。また図１で用いた赤、青、緑の各色選択用のフィルタは外している。）、入射光を半透過プリズム６０などの光学系で単純に２分割することで、全色成分を含んだ２個の入射光を形成し、上述と同様に、２個の入射光に拠る撮像素子出力それぞれをモノクローム信号として扱えば、光効率の良い２板式ＣＣＤカメラを構成でき、高速な多重記録を行うことができる。
【００７０】
第２の実施形態
第２の実施の形態を図８を参照して説明する。第２の実施形態に係る多板式撮像装置は、電子シャッタ機能を駆使した撮像の高速化に関する。なお、この第２の実施形態およびこれ以降の実施形態において、第１の実施形態の構成要素と同一または同等のものには同一符号を用い、その説明を省略または簡略化する。
【００７１】
この実施形態の多板式撮像装置における駆動回路１２の読出しコントローラ４３は、図８に示すタイミングで露光および電荷読出しを制御する。この制御では多重露光を行わずに、モノクロ撮像の３倍速を目的とする。
【００７２】
読出しコントローラ４３は、赤（Ｒ），緑（Ｇ），青（Ｂ）のＣＣＤ型撮像素子２３ａ，２３ｂ，２３ｃに供給するゲートパルス（シャッタパルスＳＨおよび転送ゲートパルスＰＶ）のタイミングを、この色順に、１／３周期（１周期は１フレーム）ずつ送らせ、転送ゲートパルスＰＶの後に引き続き、垂直転送信号Ｖ１，Ｖ２および読出しクロックＨ１，Ｈ２を印加するようになっている。
【００７３】
例えば、第ｎ周期では、時刻ｔ１で赤（Ｒ）成分に対するシャッタパルスＳＨを印加し、その微小時間後の時刻ｔ２で転送ゲートパルスＰＶを印加する。この露光および転送に対する電荷読出しは、時刻ｔ２〜ｔ２´間で垂直転送パルスＶ１，Ｖ２および読出しクロックＨ１，Ｈ２によって前述と同様に実施される。これにより第ｘ駒のモノクローム信号が出力される。また、時刻ｔ１から１／３周期遅れた時刻ｔ３で緑（Ｇ）成分に対するシャッタパルスＳＨを印加し、その微小時間後の時刻ｔ４で転送ゲートパルスＰＶを印加する。この露光および転送に対する電荷読出しは、時刻ｔ４〜ｔ４´間で垂直転送パルスＶ１，Ｖ２および読出しクロックＨ１，Ｈ２によって前述と同様に実施される。これにより第ｘ＋１駒のモノクローム信号が出力される。さらに、時刻ｔ３から１／３周期遅れた時刻ｔ５で青（Ｂ）成分に対するシャッタパルスＳＨを印加し、その微小時間後の時刻ｔ６で転送ゲートパルスＰＶを印加する。この露光および転送に対する電荷読出しは、時刻ｔ６〜ｔ６´間で垂直転送パルスＶ１，Ｖ２および読出しクロックＨ１，Ｈ２によって前述と同様に実施される。これにより第ｘ＋２駒のモノクローム信号が出力される。以下、この一連の処理が順に繰り返される。
【００７４】
処理回路１３は１／３周期ずつずれて出力される各原色成分の信号をモノクローム信号として扱い、モノクロ映像のモニタ１４に出力し、表示させる。
【００７５】
この結果、撮像速度が従来のモノクロ撮像に比べて３倍になり（３倍速）、著しい高速化が図られるから、動態解析の時間分解能を著しく向上させることができる。
【００７６】
なお、上述した実施形態において、各色成分に対する露光後の駒読出し期間は垂直転送パルスＶ１，Ｖ２および読出しクロックＨ１，Ｈ２の周波数を変えて、各フレーム周期の２／３に相当する期間で行うようにしてもよい。例えば第ｘ駒の場合の読出し期間はｔ２〜Ｔ６の期間に設定できる。
【００７７】
またなお、この第２の実施形態に係る多板式撮像装置において、各原色成分抽出用のＲ，Ｇ，Ｂフィルタ２２ａ，２２ｂ，２２ｃ（図１参照）を取り外す構成にしてもよい。これにより、３分割されて撮像素子２３ａ，２３ｂ，２３ｃに入射する光には全色成分が含まれるから、撮像信号間の輝度上のバランスが良好な高品質のモノクロ像を提供することができる。
【００７８】
さらに、第２の実施形態に係る位相差方式の多板式撮像装置を多重記録型の装置に変形することもできる。例えば、入射光を２分割し、この分割光をフィルタを介さずに２個のＣＣＤ型撮像素子に個々に入射させる構造を備え、その内の一方の撮像素子で、例えば図９中の時刻ｔ１〜ｔ２間、ｔ３〜ｔ４間、およびｔ５〜ｔ６間で多重露光・電荷転送し、時刻ｔ６以降の１周期で読み出す。もう一方の撮像素子で、例えば図９中の時刻ｔ７〜ｔ８間、ｔ９〜ｔ１０間、およびｔ１１〜ｔ１２間で多重露光・電荷転送し、時刻ｔ１２以降の１周期で読み出す。このように１周期ずつ位相をずらしながら多重露光を行うことで、従来の単板式ＣＣＤカメラによる多重記録に比べて撮像速度が２倍で、かつ、全周期で多重記録できる撮像装置を提供できる。この多重記録（露光）に係る変形構成は、入射光を３分割した各光を受ける３個の撮像素子でも適宜に実施できる。
【００７９】
第３の実施形態
第３の実施の形態を図１０を参照して説明する。第３の実施形態に係る多板式撮像装置は、電子シャッタ機能を駆使した撮像の高速化に関する。
【００８０】
この実施形態の多板式撮像装置における駆動回路１２の読出しコントローラ４３は、図１０に示すタイミングで露光および電荷読出しを制御する。この制御では多重露光を行わないが、例えばモノクロ撮像の超高速化を目的とする。
【００８１】
図１０に示す如く、ＣＣＤ型撮像素子２３ａ〜２３ｃに対するゲートパルス （電子シャッタパルスＳＨおよび転送ゲートパルスＰＶ）は、前述のように１／３周期ではなく、素子間で交互に且つ連続的になるように印加される。すなわち、ある撮像素子２３ａに対する電子シャッタパルスＳＨおよび転送ゲートパルスＰＶによる露光が終わると（例えば時刻ｔ１〜ｔ２）、その終了時刻ｔ２のタイミングで次の撮像素子２３ｂに対する同様の露光が開始される（時刻ｔ２〜ｔ３）。さらに、その終了時刻ｔ３には次の撮像素子２３ｃに対する同様の露光が開始される（時刻ｔ３〜ｔ４）。この連続露光は、各周期毎に繰り返される。この露光による蓄積電荷は、例えば図８のときと同様に、転送ゲートパルスの印加後の一定期間に読み出される。
【００８２】
このように撮像素子２３ａ〜２３ｃの電子シャッタパルスＳＨおよび転送ゲートパルスＰＶの印加タイミングを調整して全体の露光時間を短くすることができ、これにより撮像素子２３ａ〜２３ｃの露光間隔を「１／露光期間」に短縮できる。つまり、多重記録ではないが、センサ数に対応した高速度撮像を実現できる。この撮影速度は、露光期間を秒で表すと、「１／露光期間（駒／秒）」と超高速になる。
【００８３】
第４の実施形態
第４の実施の形態を図１１を参照して説明する。第４の実施形態に係る多板式撮像装置も、電子シャッタ機能を駆使した撮像の多重記録化および高速化に関する。
【００８４】
この実施形態の多板式撮像装置における駆動回路１２の読出しコントローラ４３は、図１１に示すタイミングで露光および電荷読出しを制御する。この制御では多重露光を行い、かつ、例えばモノクロ撮像の高速化を行う。
【００８５】
この図１１のタイミング制御によれば、前述した図１０で説明した「素子間の交互かつ連続する露光」が、同一の第ｎフレームのおいて２回実施される（露光期間＃１，＃２参照）。そして、次の周期で、その２回露光（多重露光）による蓄積電荷が撮像素子２３ａ，２３ｂ，２３ｃそれぞれにて読み出される。さらに、次の周期は第ｎ＋１フレームに相当するが、この周期では第ｎフレームのときと同様に２回露光が撮像素子間で交互かつ連続して実施される。
【００８６】
このため、多重露光により撮像枚数を補うことができ、しかも高速に撮像でき、動態観察をより詳細に実施できるという利点がある。
【００８７】
なお、第３および第４の実施形態の多板式撮像装置は、カラーフィルタを用いないで実施できる。また、撮像素子の数も、２個または４個以上で実施することもできる。さらに、この第３および第４の実施形態で得られる３つの撮像信号はその位相が互いに近いから、動きが比較的遅い被写体に対しては、そのままでもカラー処理できる利点がある。被写体の動きが速い場合には適宜な補正処理を加えることで、カラー化も可能になる。
【００８８】
またなお、本発明に係るＣＣＤ型撮像素子は、上述した実施形態で説明した素子のように、読出し用水平転送路が受光面の片側に１本在る構成のものに限定されるものではない。例えば、高速読出し型として用いられる、水平転送路を片側に並列に複数本配した構成の素子や、水平転送路を受光面の両サイドに分割して１本ずつまたは複数本ずつ配置する構成の素子を用いて本発明を実施し、高速撮像度をさらに向上させるようにしてもよい。
【００８９】
また、本発明に用いる撮像素子はフレーム・インターライン・トランスファ型ＣＣＤであってもよい。
【００９０】
本発明は、前述した実施形態およびその変形例に記載のものに限定されることなく、請求項記載の発明の要旨を逸脱しない範囲で適宜に変形可能である。
【００９１】
【発明の効果】
以上説明したように、本発明にかかる多板式撮像装置は、電子シャッタ機能および転送機能による露光タイミングを改善することにより、映像の画質を維持しながら、撮像速度をより高速化または超高速化した撮像装置を提供するができる。また、これらの利点を享受しながら、同時に、多重記録を行うことができ、被写体の各種の動態解析に威力を発揮できる。さらに、既存の３板式ＣＣＤカラーカメラなどに容易に搭載でき、従来のカラー撮像機能と本発明による撮像機能とを併せて持たせることができるから、多板式撮像装置の撮像機能の多様化、豊富化を図る手段としても非常に有効になる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る多板式撮像装置の構成例を示す概略ブロック図。
【図２】第１の実施形態におけるＣＣＤ型撮像素子の素子構成の概念を示す図。
【図３】電子シャッタ機能を説明するために示したＣＣＤ型撮像素子の断面の一例を示す図。
【図４】第１の実施形態におけるカラー多重記録モード時の多重露光および読出しの制御例の概略を示すタイミングチャート。
【図５】第１の実施形態における高速多重記録モード時の多重露光および読出しの制御例の概略を示すタイミングチャート。
【図６】多重記録の概念を示す説明図。
【図７】第１の実施形態の変形例に係わる多板式撮像装置の構成例を示す概略ブロック図。
【図８】第２の実施形態に係る多板式撮像装置により実行される高速撮像の一例を示すタイミングチャート。
【図９】第２の実施形態の変形例に係る多板式撮像装置により実行される高速撮像の一例を示すタイミングチャート。
【図１０】第３の実施形態に係る多板式撮像装置により実行される高速撮像の一例を示すタイミングチャート。
【図１１】第４の実施形態に係る多板式撮像装置により実行される高速撮像の一例を示すタイミングチャート。
【符号の説明】
１１ 撮像部
１１ａ 対物レンズ
１１ｂ センサ部
１２ 駆動回路
１３ 処理回路
１４ モニタ
２１ プリズム
２２ａ，２２ｂ，２２ｃ カラーフィルタ（撮像体）
２３ａ，２３ｂ，２３ｃ ＣＣＤ型撮像素子（センサ、撮像体）
３１ フォトダイオード（受光部）
３２ 垂直転送ＣＣＤ（蓄積部、垂直転送路）
３３ 水平転送ＣＣＤ（水平転送路）
４１ クロック発生器
４２ モード切換スイッチ
４３ 読出しコントローラ
５４ 映像プロセッサ
６０ 半透過プリズム
ＳＨ 電子シャッタパルス
ＰＶ 転送パルス
Ｖ１，Ｖ２ 垂直転送パルス
Ｈ１，Ｈ２ 読出しクロック（水平転送パルス）

Claims (7)

1. 入射光を少なくとも第１の光路の光と第２の光路の光に分割する光学系と、
   前記第１の光路の光を第１のフレーム周期にて露光し電荷に変換する第１のセンサと、
   前記第２の光路の光を前記第１のフレーム周期に続く第２のフレーム周期にて露光し電荷に変換する第２のセンサと、
   前記第１及び第２のセンサを露光するタイミングと、露光によって得られた電荷を転送するタイミングとを制御する露光・転送制御手段と、
   を具備し、
   前記露光・転送制御手段は、
   前記第１のフレーム周期で前記第１のセンサを多重露光し、前記第２のフレーム周期で前記第１のセンサの多重露光によって得られた電荷を転送すると共に、前記第２のフレーム周期で前記第２のセンサを多重露光し、前記第２のフレーム周期に続く前期第１のフレーム周期で前記第２のセンサの多重露光によって得られた電荷を転送し、この処理を繰り返し行う、
   ことを特徴とする多板式撮像装置。
2. 前記第１のフレーム周期に転送される電荷から第１のフレーム画像を生成し、前記第２のフレーム周期に転送される電荷から第２のフレーム画像を生成し、前記第１のフレーム画像と前記第２のフレーム画像とを順次連続させて多重露光動画を生成する処理回路、
   をさらに備えたことを特徴とする請求項１に記載の多板式撮像装置。
3. 前記光学系は、前記入射光を３つの光路に分割する光学系であり、前記第１の光路として第１の第１光路と第１の第２光路の２つの光路に、前記第２の光路として１つの光路に分割し、
   前記第１のセンサは、前記第１の第１光路の光を電荷に変換する第１の第１センサ、及び前記第１の第２光路の光を電荷に変換する第１の第２センサの２つのセンサからなる、
   ことを特徴とする請求項１に記載の多板式撮像装置。
4. 赤色用フィルタ、青色用フィルタ、及び緑色用フィルタをさらに備え、
   前記第１の第１センサは、前記第１の第１光路に設けられる前記赤色用フィルタを透過した光を電荷に変換し、
   前記第１の第２センサは、前記第１の第２光路に設けられる前記青色用フィルタを透過した光を電荷に変換し、
   前記第２のセンサは、前記第２の光路に設けられる前記緑色用フィルタを透過した光を電荷に変換する、
   ことを特徴とする請求項３に記載の多板式撮像装置。
5. 前記第１のフレーム周期に転送される電荷から第１のフレーム画像を生成し、前記第２のフレーム周期に転送される電荷から第２のフレーム画像を生成し、前記第１のフレーム画像と前記第２のフレーム画像とを順次連続させて多重露光動画を生成する処理回路、
   をさらに備え、
   前記処理回路は、
   前記第１の第１センサから出力される信号強度と前記第１の第２センサから出力される信号強度とを合成してモノクロの前記第１のフレーム画像を生成し、前記第２のセンサから出力される信号強度からモノクロの第２のフレーム画像を生成する、
   ことを特徴とする請求項４に記載の多板式撮像装置。
6. 前記処理回路は、
   モノクロの多重露光動画と、カラーの非多重動画とを切換えて出力可能に構成されたことを特徴とする請求項５に記載の多板式撮像装置。
7. 前記第１、第２のセンサはＣＣＤ撮像素子で構成されるセンサである 、ことを特徴とする請求項１に記載の多板式撮像装置。

Images