JP4917193B2 - 撮像装置 - Google Patents

Description

本発明は、カラー動画像を撮影する撮像装置に関し、特に第１色成分と第２色成分とで電荷蓄積時間の異なるカラー動画像を、撮像中に表示することができる撮像装置に関する。

Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）の色成分を、異なる解像度及び異なる露出時間で撮像する方式が提案されている。入射光を例えばＧ成分（第１色成分）とＲおよびＢ成分（第２色成分）とに分け、これら２つの色成分ごとに別個の撮像素子で撮像を行う技術が特許文献１から特許文献４に開示されている。Ｇの色成分について、高解像度かつ低フレームレートで撮像を行えば、Ｇの色成分については、必要な電荷蓄積時間（露出時間）と空間解像度を確保できるため、充分な光量を得てＳ／Ｎ比が高いＧ画像を得ることができる。一方、ＲおよびＢの色成分について、低解像度かつ高フレームレートで撮像を行えば、ＲおよびＢの色成分については時間的な解像度の高い画像を得ることができる。そして、高解像度かつ低フレームレートで撮像した色成分画像と、低解像度かつ高フレームレートで撮像した色成分画像とから、画像処理により、高解像度かつ高フレームレートの動画像を復元すれば、高解像かつ高フレームレートのカラー動画像を得ることができる。また、特許文献５には、上記の方式を単板カラー撮像素子を用いて行う手法が開示されている。

上記の従来技術による撮像を行った場合において、被写体に動きがあると、電荷蓄積時間の短い色成分の画像では被写体の動きぶれ（ｍｏｔｉｏｎ ｂｌｕｒ）が少なくなる。しかしながら、電荷蓄積時間の長い色成分の画像は、被写体の相対的に大きな動きぶれを含むことになる。これらの色成分画像を単純に重像し、カラー画像を生成すると、電荷蓄積時間の長い色成分の動きぶれによる色ずれが発生する。被写体を撮像する時に、ビューファインダなどの撮像表示装置に前記撮像方式で撮像したカラー画像を表示する場合、上記のような単純に各色成分画像を重像したカラー画像では、色ずれのために被写体の状況を確認しづらいという問題がある。色成分ごとに電荷蓄積時間の異なるカラー画像の合成については、特許文献２に記載の技術が知られている。この技術は、電荷蓄積時間の長い色成分を蓄積する間、電荷蓄積時間の短い色成分画像を読出しごとに加算し、電荷蓄積時間の長い色成分と同一のタイミングで表示装置に出力する。

国際公開第０８／０４７６６４号 特開２００８−２１１２７３号公報 国際公開第２００９／０１９８２３号 国際公開第２００９／０１９８２４号 国際公開第２０１０／０９００２５号

Ｔａｋｅｏ Ａｚｕｍａ，Ｔａｒｏ Ｉｍａｇａｗａ，Ｓａｎｚｏ Ｕｇａｗａ，Ｙｕｓｕｋｅ Ｏｋａｄａ，Ｈｉｒｏｙｏｓｈｉ Ｋｏｍｏｂｕｃｈｉ，Ｍｏｔｏｎｏｒｉ Ｉｓｈｉｉ，Ｓｈｉｇｅｔａｋａ Ｋａｓｕｇａ，Ｙｏｓｈｉｈｉｓａ Ｋａｔｏ，"Ａ ２．２／３−ｉｎｃｈ ４Ｋ２Ｋ ＣＭＯＳ Ｉｍａｇｅ Ｓｅｎｓｏｒ Ｂａｓｅｄ ｏｎ Ｄｕａｌ Ｒｅｓｏｌｕｔｉｏｎ Ａｎｄ Ｅｘｐｏｓｕｒｅ Ｔｅｃｈｎｉｑｕｅ，"Ｐｒｏｃｅｅｄｉｎｇｓ ｉｎ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｏｌｉｄ−Ｓｔａｔｅ Ｃｉｒｃｕｉｔ Ｃｏｎｆｅｒｎｃｅ ２０１０，ｐｐ．４０８−４１０，２０１０． 今川太郎，吾妻健夫，佐藤智和，横矢直和，時空間解像度の異なる動画像を用いた高解像度高フレームレート撮影と露光量確保の両立，映像情報メディア学会誌 Ｖｏｌ．６３，Ｎｏ．８，ｐｐ．１１３９−１１４８，２００９．

上記従来の構成は、電荷蓄積時間が短い色成分の出力を電荷蓄積時間の長い色成分に適合させるため、出力カラー画像のフレームレートが電荷蓄積時間の長い色成分画像のフレームレートに揃えられる。このとき、被写体の動きが大きい場合には、表示装置上で被写体の動きぶれが目立つという課題がある。

一方で、被写体の動きぶれの少ない、高フレームレートのカラー画像を得る方法として、前記カラー動画像の高フレームレート化のための画像処理を行い、その結果得られるカラー画像を表示部に表示することが考えられる。しかしながら、撮像中の被写体の確認に使用するための表示画像を生成する場合は、リアルタイムで被写体の像を表示できる必要がある。このため、高フレームレート化処理を施したカラー画像を表示装置に表示しようとすると、画像処理に要する時間による表示遅延が問題になる。

本発明は、色成分ごとに電荷蓄積時間の異なる撮像方式で撮像されたカラー画像を撮像時に表示することが可能な撮像装置を提供することを目的とする。

本発明の撮像装置は、第１色成分の画素信号の読出しを第１のフレームレートで行い、かつ、前記第１色成分以外の第２色成分の画素信号の読出しを前記第１のフレームレートよりも高い第２のフレームレートで行う撮像部であって、前記第１のフレームレートによって定まる電荷蓄積期間内において、前記第２色成分の画素信号の読出しのタイミングと同期して前記第１色成分の画素信号の非破壊読出しを行う撮像部と、前記第１のフレームレートでの読出しによって得られた前記第１色成分の画素信号、および前記第２のフレームレートでの読出しによって得られた前記第２色成分の画素信号を記録する記録媒体と、表示部と、前記非破壊読出しによって得られた前記第１色成分の画素信号と前記第２のフレームレートでの読出しによって得られた前記第２色成分の画素信号とを用いて前記第２のフレームレートで前記表示部にカラー画像を撮像時に表示させることができるフレームレート補正部とを備える。

ある実施形態において、前記撮像部は、前記第１色成分の画素信号の読出しと、前記第２色成分の画素信号の読出しとを行う撮像素子であって、画素信号の非破壊読出しを行うことができる撮像素子と、前記撮像素子を制御することにより、前記第１色成分の画素信号の読出しを前記第１のフレームレートで行わせ、かつ、前記第２色成分の画素信号の読出しを前記第１のフレームレートよりも高い第２のフレームレートで行わせる撮像制御部であって、前記第１のフレームレートによって定まる電荷蓄積期間内において、前記第２色成分の画素信号の読出しのタイミングと同期して前記第１色成分の画素信号の非破壊読出しを行わせる撮像制御部とを備える。

ある実施形態において、前記フレームレート補正部は、前記非破壊読出しによって得られた前記画素信号を記録するメモリと、前記メモリに記録された画素信号に基づいて、前回の非破壊読出しによって得られた画素信号を、その次の非破壊読出しによって得られた画素信号から減算することによって差分値を求め、前記差分値を前記第２のフレームレートで出力する減算部と、を有する。

ある実施形態において、前記フレームレート補正部は、前記撮像素子における電荷蓄積開始からの経過時間と前記撮像素子から出力される信号との間にある飽和特性に応じて、前記差分値を補正するゲイン補正部を有する。

ある実施形態において、前記ゲイン補正部は、前記減算部の出力について、電荷蓄積開始からの経過時間によって前記減算部の出力が小さくなることを補正するゲイン調整機能を有し、前記第２色成分の画素信号の読出しのタイミングに同期して前記補正を行う。

ある実施形態において、前記ゲイン補正部は、前記第１色成分の画素信号の電荷蓄積開始時点からの経過時間および入射光量の２つのインデックスを有する補正係数テーブルと、前記経過時間及び前記入射光量に基づいて前記ゲイン補正係数テーブルからゲイン補正係数を選択する補正係数選択部と、前記ゲイン補正係数と非破壊読出しによって得られた前記第１色成分の画素信号との乗算を行う乗算部と、を備え、前記経過時間及び前記入射光量に応じて、前記カラー画像の各色成分の信号強度のバランスを維持するように前記補正を行う。

ある実施形態において、前記ゲイン補正部は、前記撮像装置への入射光量が変化しない場合の撮像信号テーブルと、前記減算部の出力と前記撮像信号テーブルの値との比較を行う比較部と、を備え、前記第１色成分の画素信号の非破壊読出し時に、前記減算部の出力と前記撮像信号テーブルの値との差を検出することにより、電荷蓄積中に入射光量が変化した場合でも色成分間のバランスを維持するように前記ゲイン補正係数を選択する。

ある実施形態において、前記ゲイン補正部は、前記第１色成分の画素信号の出力信号を入力とする関数テーブルを有し、前記関数テーブルに保持した関数により、前記ゲイン補正係数及び前記入射光量が変化しない場合の撮像信号を、前記第１色成分の画素信号の非破壊読出し時に計算することが可能である。

ある実施形態において、前記フレームレート補正部は、前記第１色成分の画素信号の電荷蓄積時間の長短に応じ、前記ゲイン補正動作の有無を選択する補正選択部を有している。

ある実施形態において、前記第１色成分はグリーンであり、前記第２色成分はレッドおよびブルーである。

ある実施形態において、前記撮像部は、入射光を前記第１色成分の光と前記第２色成分の光とに分離する光分離素子と、前記第１色成分の光を受ける第１の固体撮像素子と、前記第２色成分の光を受ける第２の固体撮像素子とを有している。

ある実施形態において、前記撮像部は、前記第１色成分の光を受ける複数の画素と前記第２色成分の光を受ける複数の画素とが１つの撮像面内に配列された固体撮像素子を有している。

ある実施形態において、前記第２色成分の画素信号のフレームレートを、前記第１色成分の画素信号のフレームレートに適合するように、前記第２色成分の画素信号をフレーム単位で加算を行う第２のフレームレート補正部と、被写体の動きの大きさに応じて、前記２つのフレームレート補正部の一方を選択する補正方法選択部とを備える。

ある実施形態において、前記第１色成分の画素信号画像生成方法を、前記第２色成分の画素信号の動き情報を元に時空間分解する画像復元部と、ユーザによる録画機能及び再生機能の選択に応じて、前記表示部に表示するカラー動画像を前記フレームレート補正部により生成するか、前記画像復元部により生成するかを選択する表示方法選択部とを備える。

本発明の画像生成方法は、第１色成分の画素信号の読出しを第１のフレームレートで行い、前記第１色成分以外の第２色成分の画素信号の読出しを前記第１のフレームレートよりも高い第２のフレームレートで撮像を行うステップＡと、前記第１のフレームレートによって定まる電荷蓄積期間内において、前記第２色成分の画素信号の読出しのタイミングと同期して前記第１色成分の画素信号の非破壊読出しを行うステップＢと、前記第１のフレームレートでの読出しによって得られた前記第１色成分の画素信号、および前記第２のフレームレートでの読出しによって得られた前記第２色成分の画素信号を記録媒体に記録するステップＣと、前記非破壊読出しによって得られた前記第１色成分の画素信号と前記第２のフレームレートでの読出しによって得られた前記第２色成分の画素信号とを用いて前記第２のフレームレートで前記表示部にカラー画像を撮像時に表示させるステップＤとを含む。

ある実施形態において、前記ステップＤは、前回の非破壊読出しによって得られた信号を、その次の非破壊読出しによって得られた信号から減算することによって差分値を求め、前記差分値を前記第２のフレームレートで出力するステップを含む。

ある実施形態において、前記ステップＤは、電荷蓄積開始からの経過時間と撮像素子から出力される信号との間にある飽和特性に応じて、前記差分値を補正するゲイン補正ステップを含む。

本発明による他の画像生成方法は、第１色成分の画素信号の読出しを第１のフレームレートで行い、前記第１色成分以外の第２色成分の画素信号の読出しを前記第１のフレームレートよりも高い第２のフレームレートで撮像を行うステップＡと、前記第１のフレームレートによって定まる電荷蓄積期間内において、前記第２色成分の画素信号の読出しのタイミングと同期して前記第１色成分の画素信号の非破壊読出しを行うステップＢと、前記第１のフレームレートでの読出しによって得られた前記第１色成分の画素信号、および前記第２のフレームレートでの読出しによって得られた前記第２色成分の画素信号を記録媒体に記録するステップＣと、前記非破壊読出しによって得られた前記第１色成分の画素信号と前記第２のフレームレートでの読出しによって得られた前記第２色成分の画素信号とを用いて前記第２のフレームレートで前記表示部にカラー画像を撮像時に表示させるか、前記第１のフレームレートでの読出しによって得られた前記第１色成分の画素信号を用いて前記表示部に画像を表示させるかを選択するステップＤと、選択された信号を用いて前記表示部に画像を表示させるステップＥとを含む。

本発明のコンピュータプログラムは、画像処理装置に設けられたプロセッサに動画像のデータを生成させるコンピュータプログラムであって、前記コンピュータプログラムは、前記プロセッサに、上記いずれかの撮像装置から、前記非破壊読出しによって得られた前記第１色成分の画素信号と、前記第２のフレームレートでの読出しによって得られた前記第２色成分の画素信号とを受け取るステップと、前回の非破壊読出しによって得られた画素信号を、その次の非破壊読出しによって得られた画素信号から減算することによって差分値を求め、前記差分値を前記第２のフレームレートで出力するステップとを実行させる。

ある実施形態において、前記プロセッサに、前記電荷蓄積開始からの経過時間と前記撮像素子から出力される画素信号との間にある飽和特性に応じて、前記差分値を補正するステップを更に実行させる。

本発明の記録媒体は、上記いずれかのコンピュータプログラムを記録した記録媒体である。

本発明の撮像装置によれば、第１色成分と第２色成分とで電荷蓄積時間の異なる画像を取得する場合において、被写体の動きが大きい場合でも、動きぶれを低減したカラー動画像を撮像中に表示部に表示することができる。

本発明で対象とする撮像装置及び撮像表示装置の概念図である。 本発明の第１実施形態に係る撮像装置の構成を示すブロック図である。 第１実施形態における撮像部の構成例を示すブロック図である。 本発明の実施形態で使用可能な撮像素子の配置例を示す図である。 本発明の実施形態で使用可能な撮像素子の配置例を示す図である。 本発明の実施形態で使用可能な撮像素子の配置例を示す図である。 画素、読出し信号線、および出力信号線の関係を示す図である。 画素の内部構成の一例を示す回路図である。 単板式撮像素子の撮像面の構成例を示す図である。 色ごとに電荷蓄積時間の異なる撮像方式を示した概念図である。 本発明に係るフレームレート補正部の動作イメージ図である。 本発明に係るフレームレート補正制御部の動作イメージ図である。 電荷露出時間の長い色成分の電荷蓄積イメージ図である。 本発明に係るフレームレート補正部におけるゲイン補正部の動作イメージ図である。 本発明の第１実施形態に係るフレームレート補正部の、係数及び信号テーブルを含んだ構成を示すブロック図である。 電荷蓄積時間の長い色成分の、入射光量の違いによる電荷蓄積の様態の変化のイメージ図である。 電荷蓄積時間の長い色成分の、電荷蓄積期間中に入射光量が変化した場合の電荷蓄積様態の変化のイメージ図である。 本発明の第１実施形態に係るフレームレート補正部の、関数テーブルを含んだ構成を示すブロック図である。 本発明の第２実施形態に係るフレームレート補正部の構成を示すブロック図である。 本発明の第３実施形態に係る撮像装置及び撮像表示装置の構成を示すブロック図である。 本発明の第４実施形態に係る撮像装置及び撮像表示装置の構成を示すブロック図である。 本発明の第５実施形態に係る画像表示方法のフローチャートである。 本発明の第３実施形態に係る動き検出動作のイメージ図である。 本発明の第４実施形態に係る画像復元部の構成を示すブロック図である。

以下、図面を参照しながら本発明による撮像装置の実施形態を説明する。

（実施形態１）
図１は、本実施形態における撮像装置の外観を示す斜視図である。図１に示す撮像装置は、本体１２と、本体１２の内部に位置する撮像素子（不図示）に被写体を結像するレンズ１１と、ビューファインダ１３とを備えるビデオカメラ（カムコーダ）である。ビューファインダ１３は、画像の表示部であり、撮影時の被写体を表示する。また、このビューファインダ１３は、撮影の終了後において、撮影された画像（録画画像）を再生して表示することもできる。

図２は、本実施形態に係る撮像装置の構成を示すブロック図である。図２に示すように、本実施形態の撮像装置は、撮像部２０と、フレームレート補正部２２と、表示部２１と、記録部２３と、撮像装置内の各部を制御する主制御部２４と、ユーザからの指示を主制御部に伝達する入力部２５とを備えている。

本実施形態における撮像部２０は、第１色成分の画素信号の読出しを第１のフレームレートで行う第１色成分読出し部２０ａと、第１色成分以外の第２色成分の画素信号の読出しを第１のフレームレートよりも高い第２のフレームレートで行うことができる第２色成分読出し部２０ｂとを有している。本実施形態における第１色成分はグリーン（Ｇ）であり、第２色成分は、レッド（Ｒ）およびブルー（Ｂ）である。ただし、第１色成分および第２色成分を、それぞれ、どの色に設定するかは任意である。また、この撮像部２０は、第１のフレームレートによって定まる電荷蓄積期間内において、第２色成分の画素信号の読出しのタイミングと同期して第１色成分の画素信号の「非破壊読出し」を行うことができる。この「非破壊読出し」については後に詳述する。

図２に示すように、本実施形態では、撮像部２０の第１色成分読出し部２０ａから出力された第１色成分画像は、フレームレート補正部２２および記録部２３に並列的に入力される。一方、撮像部２０の第２色成分読出し部２０ｂから出力された第２色成分画像は、表示部２１および記録部２３に並列的に入力される。すなわち、第１色成分読出し部２０ａから出力された第１色成分画像は、表示部２１に直接に入力されず、フレーム補正部２２を介してから、表示部２１に入力されることになる。

フレームレート補正部２２は、第１色成分読出し部２０ａによって得られた第１色成分画像についてフレームレート補正を行う。そして、第２色成分読出し部２０ｂによって得られた第２色成分画像のフレームレートに合わせたカラー画像を出力し、表示部２１に与える。

本明細書では、撮像部から画像を読出すときのフレームレートを「撮像フレームレート」と称し、表示部に画像を表示するときのフレームレートを「表示フレームレート」と称する場合がある。「撮像フレームレート」とは、「画素信号のリセットを伴う読出し（破壊読出し）の１秒あたりの回数」と定義される。この撮像フレームレートは、一般的な撮像素子のフレームレートが有する通常の意味で使用される。本実施形態では、第１色成分画像についての「撮像フレームレート」は、「表示フレームレート」に一致していない。より具体的には、第１色成分画像の「表示フレームレート」は、「撮像フレームレート」よりも高い。例えば、第１色成分画像の「表示フレームレート」は、第１色成分画像の「撮像フレームレート」の４倍の大きさを有している。一方、本実施形態では、第２色成分画像の「表示フレームレート」は、その「撮像フレームレート」に一致している。

本明細書では、撮像フレームレートと表示フレームレートとの間に差異がある場合において、撮像によって得られた画像から表示のための画像を生成することを、「フレームレート補正」と称することにする。本実施形態では、第１色成分画像について「フレームレート補正」を行うが、第２色成分画像については、「フレームレート補正」を行わない。フレームレート補正は、フレームレート補正部２２によって実行される。

表示部２１は、フレームレート補正部２２によって処理されたカラー画像を撮影時にリアルタイムで表示することができる。記録部２３は、第１及び第２色成分読出し部によって得られた各色成分画像を記録（録画）する。

主制御部２４は、入力部２５から受け取ったユーザの指示に基づいて、撮像部２０による撮影の条件（フレームレート、露出時間、ズーム倍率など）を設定することができる。

上記の構成において、撮像部２０、フレームレート補正部２２、記録部２３、主制御部２４、および入力部２５は、図１に示す本体１２の中に配置され、表示部２１はビューファインダ１３の中に配置される。記録部２３は、本体１２から取り外し可能な記録媒体から構成されていても良い。

図２の構成例において、フレームレート補正部２２は、記憶部２２１と、減算部２２２と、補正制御部２２３と、ゲイン補正部２２４とを有している。記憶部２２１は、第１色成分読出し部２０ａによって撮像される第１色成分画像について、撮像制御部２０１によって規定される時点で非破壊読出しされた画素信号を記憶する。減算部２２２は、記憶部２２１に記憶された前回の非破壊読出し時における画素信号と今回の非破壊読出しにおける画素信号との差分を求める。補正制御部２２３は、画素信号の記憶部２２１への書き込み、及び減算部２２２による記憶部２２１の記憶データの読出しを制御する。ゲイン補正部２２４は、減算部２２２の出力のゲインを調整する。フレームレート補正部２２のより詳細な説明は後述する。

次に、撮像部２０の構成例を説明する。

まず、図３Ａを参照する。図３Ａに示す撮像部２０は、Ｒｃｈ（チャネル）、Ｇｃｈ、Ｂｃｈの各色成分の入射光の強度を電気信号に変換する光電変換機能を有する撮像素子２０１と、各色成分の撮像素子２０１に独立に読出し信号及び画素リセット信号を供給する機能を有する撮像制御部２０２とを備えている。

撮像部２０は、例えば図３Ｂに示すように、３つの撮像素子２０１ａ、２０１ｂ、２０１ｃを備えていてもよい。図３Ｂの例では、撮像部２０が、入射光１０１をＲ光の波長域、Ｇ光の波長域、Ｂ光の波長域に分光する色分解部１０４を備えている。撮像素子２０１ａでＧ画像、撮像素子２０１ｂでＲ画像、撮像素子２０１ｃでＢ画像を取得する。色分解部１０４の面１１５は、相対的に波長が長いＲ光を反射し、残りの波長域の光を透過する。色分解部１０４の面１１６は、相対的に波長が短いＢ光を反射し、残りの波長域の光を透過する。このように、３つの撮像素子を用いるカラー画像を取得する方式を３板式と称する。表示部２０の構成は、図３Ｂに示される３板式の構成例に限定されず、図３Ｃまたは図３Ｄなどに示される構成例を有していても良い。

図３Ｃに示す例では、撮像部２０が、入射光１０１をＧ光（第１色成分）と、ＲおよびＢ光（第２色成分）とに分ける色分解部１０５を備えている。この例では、撮像素子２０１ａでＧ画像、撮像素子２０１ｄでＲ画像およびＢ撮像を取得する。

図３Ｄに示す例では、撮像部２０が、１つの撮像素子２０１ｅでＧ画像、Ｒ画像およびＢ撮像を取得する（単板式）。１つの撮像素子２０１ｅで、色成分ごとに画像を読み出すフレームレート（撮像フレームレート）を変化させるためには、撮像素子２０１として、ＣＣＤではなく、ＣＭＯＳイメージセンサを用いる必要がある。３板式であれば、ＣＣＤを用いても良い。

次に、図３Ｅおよび図３Ｆを参照しながら、撮像素子２０１の撮像面に形成されている画素の構成例を説明する。図３Ｅは、複数の画素のうちの１つの画素と、この画素に接続された読出し信号線４２および出力信号線４４とを模式的に示す図である。読出し信号線４２上の読出し信号は入力端子４０５を介して画素に与えられる。一方、画素から出力される画素信号は、出力端子４０６を介して出力信号線４４に与えられる。

図３Ｆは、各画素の回路構成の一例を示す図である。撮像素子２０１の撮像面には、多数の画素が行および列状に配列されており、各画素は、基本的に図３Ｆに示す構成を有している。

図３Ｆに示すように、各画素は、入射光の量に応じた量の電荷を光電変換によって生成し、蓄積するフォトダイオード４０１を備える。フォトダイオード４０１にはスイッチ４０２が接続されている。スイッチ４０２は、入力端子４０５が受け取る信号に応答して、オン状態とオフ状態とを切り換える。スイッチ４０２がオフ状態からオン状態に切り替わると、フォトダイオード４０１に蓄積されていた電荷に応じた電位がアナログバッファ４０４のゲートに与えられる。その結果、アナログバッファ４０４は、フォトダイオード４０１に蓄積された電荷の量に応じた信号を、「画素信号」として出力端子４０６に出力することができる。

スイッチ４０３及びアナログバッファ４０４のドレインには、画素バイアスが与えられている。スイッチ４０３がオン状態になると、アナログバッファ４０４のゲートに画素バイアスが印加され、画素信号がリセットされる。

読出し信号は、図３Ｅに示す読出し信号線４２を介して入力端子４０５に与えられ、スイッチ４０２をオフ状態からオン状態にする信号である。一方、画素信号は、読出し信号の入力に応答して、出力端子４０６から出力信号線４４に出力される信号である。すなわち、画素信号は、読出し信号が与えられたタイミングにおいてフォトダイオード４０１に蓄積されている電荷の量を示す信号である。通常、読出し信号が入力端子４０５に与えられ、出力端子から画素信号が出力された後、画素リセットが行われる。その結果、フォトダイオード４０１に蓄積されていた電荷はリセットされる。

本明細書における「非破壊読出し」とは、出力端子４０６から画素信号を読み出した後、画素リセットを行うことなく、フォトダイオード４０１における電荷の蓄積を継続する読出しを意味する。このような「非破壊読出し」を行っても、フォトダイオード４０１における電荷蓄積量はリセットされない。

再び図３Ａを参照する。撮像制御部２０２は、各色成分の撮像素子２０１に対し、読出し信号及び画素リセット信号を供給するタイミングによって、（i）長時間の電荷蓄積時間、低フレームレートの撮像条件で撮像する第１の撮像条件と、（ii）短時間の電荷蓄積時間、高フレームレートの撮像条件で撮像する第２の撮像条件とを、Ｒ成分、Ｇ成分、Ｂ成分の各色ごとに個別に設定する。

図３Ａは、撮像部２０の一例として、Ｇ成分を第１色成分、Ｒ及びＢ成分を第２色成分に設定した場合の構成を示しているが、第１色成分および第２色成分は、上記の例に限定されない。

なお、図３Ａに示す例では、Ｒ成分、Ｇ成分、Ｂ成分の各々画像を、それぞれ、３つの撮像素子２０１で取得している。このような構成の撮像部２０は、図３Ｂに示すように、入射光をＲ成分、Ｇ成分、Ｂ成分の３つに分離する色分解素子１０４を備えることによって実現される。この場合、図３Ｂに示す撮像素子２０１ａ、２０１ｂ、２０１ｃの撮像面にはカラーフィルタは不要である。しかし、図３Ｃに示すように、１つの撮像素子２０１ｄで、ＲおよびＢ成分の撮像が行われる場合には、この撮像素子２０１ｄには、Ｒを透過するカラーフィルタ（Ｒフィルタ）およびＢを透過するカラーフィルタ（Ｂフィルタ）が配列されたカラーフィルタアレイが配置される。また、図３Ｄに示すように、１つの撮像素子２０１ｅで、Ｇ、ＲおよびＢ成分の撮像が行われる場合、撮像素子２０１ｅには、Ｇを透過するカラーフィルタ（Ｇフィルタ）、ＲフィルタおよびＢフィルタが配列されたカラーフィルタアレイが配置される。

第１色成分画像は、長時間露光、低フレームレートの撮像条件で撮像される。本実施形態における「低フレームレート」とは、第２色成分についての撮像フレームレートの数分の１から２０分の１程度である。また、本実施形態における「長時間の電荷蓄積時間」とは、この撮像フレームレートの値で決まる１フレームの時間を上限とし、かつ、上記の「短時間の電荷蓄積時間」よりも長い電荷蓄積時間である。

第２色成分画像は、短時間露光、高フレームレートの撮像条件で撮像される。本実施形態における高フレームレートとは、例えば３０ｆｐｓ（フレーム毎秒）から６０ｆｐｓ程度までの範囲にある。また、本実施形態における「短時間の電荷蓄積時間」とは、最長でもフレームレートで決まる１フレームの上限（本実施形態の場合、３０分の１秒から６０分の１秒程度）以下の時間の露光である。

なお、上で述べた短時間の電荷蓄積、長時間の電荷蓄積、高フレームレート、低フレームレートという言葉の意味は相対的なものである。すなわち、カラー画像の第１色成分についての電荷蓄積時間は、第２色成分についての電荷蓄積時間よりも長く、第１色成分のフレームレートは第２色成分のそれよりも低ければよく、上記に例示した数値の範囲に限定するものではない。

本実施形態では、色成分ごとに画像を読み出すフレームレート（撮像フレームレート）を変化させるが、例えば特許文献１に記載の技術のように、撮像フレームレートに加えて撮像時の画素の密度を色成分毎に変化させることができる。第１色成分のフレームレートは第２色成分のそれよりも低いため、典型的な例では、第１色成分の画素数が第２色成分の画素数よりも高く設定される。その場合、第１色成分および第２色成分の画像を合成してカラー画像を表示部２３に表示するには、色成分毎に異なる画素数を一致させることが好ましい。

撮像時に表示部２３にカラー画像を表示させる場合は、高い空間解像度は要求されないため、画素数の多い色成分の画像、ここでは、第１色成分の画像を構成する画素の数を減少させることができる。図３Ｂに示す３板式の場合、典型的な例では、高空間解像度の色成分（第１色成分）の撮像素子２０１ａの画素数は、低空間解像度の色成分（第２色成分）の撮像素子２０１ｂ、２０１ｃあるいは２０１ｄよりも多い。この場合、第１色成分の撮像素子２０１ａにおける複数の近傍画素からの出力を加算することにより、その色成分画像を構成する画素の数を簡単に減少させることができる。一方、図３Ｄに示す単板式の場合は、色ごとに画素数の異なる撮像を行う手法として、特許文献５に開示されているような、第２色成分について隣接する同色の画素を空間的に加算（ビニング）する方式が知られている。このような場合は、低空間解像度の色成分（第２色成分）の画像について、画素補間を行うことにより、その色成分の画像の空間解像度を高め、高空間解像度の色成分（第１色成分）画像の画素数に一致させることもできる。また一方で、上記ビニング操作を撮像部２０の外で行う構成とし、表示部２１にビニング前の第２色成分画像を入力できるような構成とすることで、表示部２１に入力されるすべての色成分の画素数を一致させることができる。表示部２１は撮像時の被写体の状態を一時的に表示する装置であるため、必ずしもＳ／Ｎの高い画像は必要とされず、前記のように第２色成分画像のビニングが省略され、Ｓ／Ｎが十分に改善されていない画像が入力されても、実用上問題はない。

図３Ｇは、非特許文献１に記載の単板撮像素子の構成を示す。図３Ｇにおいて、符号Ｒは、入射光のＲ成分の強度を検出する画素、符号Ｂは、入射光のＢ成分の強度を検出する画素、符号ＧｒおよびＧｂは、入射光のＧ成分の強度を検出する画素を示す。この撮像素子では、Ｒ画素およびＧ画素が水平方向に交互に配置されている行（ＲＧ行）と、Ｂ画素およびＧ画素が水平方向に交互に配置されている行（ＢＧ行）が、垂直方向に交互に配置されている。

以下、ＲＧ行のＧ画素をＧｒ画素、ＢＧ行のＧ画素をＧｂ画素と称する。非特許文献１では、Ｇ画素の露出時間をＲおよびＢ画素の露出時間より長くし、低いフレームレートで出力することを仮定している。図３Ｇに示すように、各画素へ読み出し信号を伝達する読み出し信号線、および画素出力信号をＡＤ変換などの次段の処理に伝達する出力信号線を、Ｒ、Ｂ画素およびＧ画素で別個に配置している。その結果、各画素行に沿って、Ｒ画素またはＢ画素に接続された読み出し信号線とＧ画素に接続された読み出し信号線とからなる２本の信号線が水平方向に延びている。一方、各画素列に沿って、Ｒ画素またはＢ画素に接続された出力信号線とＧ画素に接続された出力信号線とからなる２本の信号線が垂直方向に延びている。このような構成にすることで、Ｒ、Ｂ画素およびＧ画素に独立に読み出し信号を与え、かつ、各色画素から並列に出力を得る（読み出しを行う）ことができる。なお、単板式撮像素子における撮像面の構成は、図３Ｇに示される例に限定されない。

図３Ａに示すように、撮像制御部２０２は主制御部２４に接続されており、主制御部２４は入力部２５に接続されている。

再び図２を参照する。

表示部２１は、フレームレート補正部２２によって補正された第１色成分画像と、第２色成分画像とを合成してカラー画像を表示する。

記録部２３は、低フレームレートの第１色成分画像と、高フレームレートの第２色成分画像とを記録する。なお、記録部２３は表示部２１に包含され、表示部２１に入力される画像（フレームレート補正部２２の出力）と同一の画像を記録してもかまわない。

フレームレート補正部２２は、第１色成分画像を、第２色成分画像と同一のフレームレート（表示フレームレート）で表示部２１に出力するための補正を行う。

以下、フレームレート補正部２２を詳細に説明する。

図４は、撮像制御部２０２による非破壊読出しを行わず、第１色成分画像及び第２色成分画像を、それぞれの電荷蓄積時間に応じて読出す場合の蓄積電荷量と時間との関係を示す図である。一例として第１色成分画像の電荷蓄積時間を第２色成分画像の電荷蓄積時間の４倍としている。第１色成分画像の電荷蓄積時間が第２色成分画像の電荷蓄積時間より長ければよく、この数値に限定するものではない。

図４において、丸印を付した時点で読出しが行われる。図４の例によると、第２色成分画像の読出しを４度行う間、第１色成分画像は画素出力を蓄積し続ける。第１色成分画像の撮像フレームレートは第２色成分画像の撮像フレームレートの１／４であり、第１色成分画像は、第２色成分画像における４フレーム分の時間が経過した時点で読み出される。第１色成分画像の１フレーム中に、第２色成分画像の読出しは４回行われ、その読出しの各々において画素信号のリセットが行われる。第１色成分画像の１フレームが終了した後、第１色成分の画素出力がリセットされる。本実施形態では、第１色成分画像の１フレーム中に非破壊読出しを行う。

以下、フレームレート補正部２２の動作について、図５を参照しながら更に詳細に説明する。

本実施形態では、第１色成分画像について電荷を蓄積し続けている間も、第２色成分画像の読出しタイミングに合わせて非破壊読出しが行われる。具体的には、図５（ａ)に示す３つの時点５１、５２、５３において、画素信号をリセットすることなく、電荷蓄積を継続しながら、非破壊的に画素信号の読出しが行われる。

時点５１で読出された画素信号（図５（ａ）の差分５５に相当）は、表示部２１にそのまま出力されると同時に、記憶部２２１に記憶される。その後、時点５２での読出し時に、図２の減算部２２２によって、記憶部２２１に記憶された時点５１における画素信号と、時点５２で読出しされた画素信号との差分５６を求め、表示部２１に出力する。同時に、時点５２における読出し信号を、記憶部２２１に記憶させる。

前記動作を、時点５３、及び時点５４のそれぞれでも行う。それぞれの時点５３、５４における表示部２１への出力は、同図の差分５７及び５８に等しい。同図の例において、時点５４で第１色成分の画素信号はリセットされる。

図５（ｂ）は、第２色成分の４つの電荷蓄積期間に等しい４つの期間に蓄積された第１色成分の電荷量を示している。

次に、図６を参照しながら、フレームレート補正部２２における補正制御部２２３の動作について説明する。

補正制御部２２３は、第１色成分の画素信号の電荷蓄積開始時点からの第２色成分の読出し回数に応じて、非破壊読出しされた第１色成分の画素信号の記憶部２２１への書き込み、及び読出しを制御する。図６の例によると、記憶部２２１は２つのメモリ６１及びメモリ６２を備えている。第１色成分画像の電荷蓄積が開始した時点から最初の非破壊読出し時（図５における時点５１）は、図６（ａ）に示すように、第１色成分の画素信号がメモリ６１及びメモリ６２の双方に記録され、また減算部２２２を動作させず、読み出された画素信号をそのまま表示部２１に出力する。続いて、第１色成分画像の次の非破壊読出し時（図５における時点５２）には、図６（ｂ）に示すような構成とする。どちらか一方のメモリ、例えばメモリ６１に記憶されているデータと、今回非破壊読出しされた画素信号を減算部２２２に入力し、その差分を表示部２１に出力する。また、それと同時に、今回、非破壊読出しされた画素信号を、他方のメモリ、例えばメモリ６２に記憶させる。続いて、さらにその次の非破壊読出し時（図５における時点５３）には、図６（ｃ）に示す構成とする。図６（ｂ）で前回非破壊読出しされた画素信号が記憶されたメモリ、例えばメモリ６２に記憶されているデータと、今回非破壊読出しされた画素信号とを減算部２２２に入力し、その差分を表示部２１に表示する。それと同時に、今回非破壊読出しされた画素信号を、他方のメモリ、例えばメモリ６１に記憶させる。その後、第１色成分画像の非破壊読出しのたびに図６（ｂ）、及び図６（ｃ）の構成を繰り返し、第１色成分の画素信号がリセットされた時点で、図６（ａ）の構成に戻る。

なお、図２及び図６において、記憶部２２１は二つのメモリを備えているが、メモリを一つにし、減算部２２２への読出しが完了した後に、メモリに非破壊読出し信号を書き込む構成にしてもよい。

本実施形態では、図２に示すように、演算部２２２によって得られた画素信号の差分は、ゲイン補正部２２４に入力される。ゲイン補正部２２４は、表示部２１の入力となる減算部２２２の出力のゲインを調整する。第１色成分の画素信号のように、電荷蓄積時間が長くなり、蓄積電荷量が増大すると、一般に、図７（ａ）に示すように、画素信号は飽和する。これは、例えば、撮像素子２０において、画素信号を増幅する増幅器が、すべての入力に対して同一のゲインを有するわけではなく、入力信号が大きくなるにつれゲインが減少することによる。このとき、第２色成分の読出し時点における減算部２２２の出力は、図７（ｂ）における高さ７５〜７８で示されるように、時間経過とともに減少する。よって、時点７３や時点７４における読出しでは、実際に蓄積された電荷量に比べて小さな差分が得られるため、表示部２１に表示されるカラー画像は、第１色成分が減少した、不自然な色味の画像となる。

図８（ａ）は、飽和が起こった場合における第１色成分の画素信号と蓄積時間との関係を示す図である。図８（ｂ）は、ゲイン補正部２２４の効果を示す図である。第１色成分の電荷蓄積開始時点からの経過時間が長くなるほど、前述した差分に大きなゲイン係数を乗じるという補正を行うと、図８（ｂ）に示すように、２点鎖線で示す大きさの信号を得ることができる。図８（ｂ）に示す高さ８１、８２、８３、８４は、補正後の差分値である。この補正により、第１色成分画像の読出し開始時点からの経過時間に伴う減算部２２３の出力低下を避けることができる。

次に、上記の補正を行うゲイン補正部２２４の構成例を説明する。

図９は、フレームレート補正部２２に含まれるゲイン補正部２２４の構成例を示すブロック図である。ゲイン補正部２２４は、ゲイン補正用の係数を保持しておく補正係数テーブル９１と、補正係数テーブル９１から適切な補正係数を選択する補正係数選択部９２と、減算部２２２の出力とゲイン補正係数との乗算を行う乗算部９３と、第１色成分画像の電荷蓄積期間中に撮像素子２０への入射光量が変化しない場合に得られる画素信号値を保持しておく期待値テーブル９４と、期待値テーブル９４の信号値と減算部２２２との出力との大小を比較し、補正係数選択部９２の制御を行う比較部９５とを備えている。

補正係数テーブル９１は、第１色成分画像の電荷蓄積開始からの経過時間に加え、撮像素子２０に入射する光の強度、すなわち第１色成分の画素信号の大きさの２つのインデックスを持つ。補正係数選択部９２は、補正係数テーブル９１から適切な補正係数を選択し、乗算部９３に出力する。乗算部９３は、該ゲイン補正係数と、減算部２２３の出力を乗じ、乗算結果を表示部２１に出力する。

補正係数選択部９２は、入射光量が所定値より大きいときゲイン補正の程度を大きくし、前記所定値以下のときにはゲイン補正の程度を小さくするように、撮像素子２０への入射光量に対して適応的に補正係数テーブル９１を用いてゲイン補正係数を選択する。前記所定値は、例えば、電荷蓄積開始から第１回目の非破壊読出し信号値が画素飽和信号レベルの４０％に設定される。図１０は、入射光量の違いによる第１色成分の画素信号の時間変化を模式的に示した図である。図１０によると、入射光量が大きいとき（図１０（ａ））、画素信号は電荷蓄積時間の経過とともに飽和する。一方、入射光量が小さいとき、画素信号は飽和レベルまで達せず、図１０（ｂ）に示したような、飽和せずにより直線的に近い増加を示す。このような場合に、図１０（ａ）のような時間変化を想定してゲイン補正係数を決定すると、図１０（ｂ）の二点鎖線に示すように、電荷蓄積開始時点から長時間経過した後の第１色成分画像の補正出力が、不自然に大きな値となる。ゲイン補正係数テーブル９１は、前記入射光量の影響を鑑み、第１色成分画像の電荷蓄積開始からの経過時間と、撮像素子２０への入射光量の二つのインデックスを有する。

表１は、補正係数テーブル９１の一例を示す。

表１において、第１フレーム信号電圧は、第１色成分画像の電荷蓄積開始時点から、第２色成分における１フレーム分の蓄積時間が経過した時点での第１色成分の画素信号を示す。また第２フレーム、第３フレームという表現は、第１色成分画像の電荷蓄積開始時点からの第２色成分のフレーム番号に該当する。同表に示すように、該ゲイン補正係数は、第１色成分の第１フレーム信号電圧が小さいときは時間経過による変化は小さいが、前記第１フレーム信号電圧が大きくなると、時間とともに大きく変化していく。

図９における期待値テーブル９４と、比較部９５は、第１色成分画像の電荷蓄積期間中に撮像素子２０への入射光量が変化した場合に、その変化に動的に対応する機能を有する。期待値テーブル９４及び比較部９５の動作について、図１１を参照しながら説明する。

図１１は、第１色成分画像の電荷蓄積期間中に、撮像素子２０への入射光量が変化した場合の画素信号及び減算部２２３の出力を示す。図１１（ａ）は、電荷蓄積開始時点より撮像素子２０への入射光量が減少した場合を示し、図１１（ｂ）は、電荷蓄積開始時点より前記入射光量が増加した場合を示す。

図１１（ｂ）において、第１色成分画像の電荷蓄積中に前記入射光量が増加し、画素信号が飽和するレベルに達した場合、信号が飽和した後は、図１１（ｂ）下段に示すように減算部２２３の出力が小さくなる。このとき、第１色成分画像の電荷蓄積開始時点においてゲイン補正係数選択部９２によって選択されたゲイン補正係数を使用し続けると、ゲインの補正の程度は小さくなり（例えば、表１における第１フレーム信号電圧＝１０ｍＶのときの係数値を参照）、後の非破壊読出しにおける画素信号の飽和に対するゲイン補正が不十分となる。

第１色成分画像の電荷蓄積期間において入射光量が変化しない場合の画素信号の期待値を期待値テーブル９４に保持しておき、比較部９５において第１色成分画像の非破壊読出しのたびに減算部２２３の出力と比較することで、入射光量の変化を検出し、それに合わせて適切なゲイン補正係数を選択することができる。なお、期待値テーブル９４も、補正係数テーブル９１と同様、第１色成分画像の電荷蓄積開始からの経過時間と撮像素子２０への入射光量の２つのインデックスを有する。表２に、期待値テーブル９４の一例を示す。

表２における、第１フレーム出力信号、及び第２フレーム等の表現は、表１と同一のものを指す。

なお、補正係数テーブル９１及び期待値テーブル９４は、撮像素子２０１における画素の電荷蓄積特性、あるいは撮像素子２０１内の増幅器の特性に依存するため、本発明に係る撮像装置において使用する撮像素子ごとに設定される必要がある。補正係数テーブル９１及び期待値テーブル９４は、例えば、撮像素子２０１を作成した時点でその特性を調べ、その結果を元に作成することができる。

なお、補正係数テーブル９１と期待値テーブル９４は、それらの代わりに、該係数値及び撮像信号の期待値を算出する関数を保持し、本実施形態におけるテーブル参照時に前記関数によって前記係数値及び撮像信号の期待値を計算する構成としてもよい。前記構成とした場合の、フレームレート補正部１２０１のブロック図を図１２に示す。図１２において、ゲイン補正部２２４は、補正係数計算部１２０２と、ゲイン補正係数を計算するための関数を保持する関数テーブル１２０３と、期待値計算部１２０４と、撮像素子２０への入射光量が変化しない場合の撮像信号を計算するための関数を保持する関数テーブル１２０５を有する。

このとき、関数テーブル１２０３に保持されるゲイン補正係数（ｋとおく）の計算式は、例えば、

として与えられる。ここで、ｔは第１色成分画像の電荷蓄積開始からの経過時間、αは表１における第１フレーム出力電圧の大きさによって決まる定数である。また、関数テーブル１２０５に保持される撮像信号の期待値（Ｖｅとおく）の計算式は、例えば、

として与えられる。ここで、Ｅは撮像素子２０１内の画素信号増幅器の電源電圧、ｔは第１色成分画像の電荷蓄積開始からの経過時間、αは表２における第１フレーム出力電圧の大きさによって決まる定数である。

なお、前記（数１）及び（数２）は、増幅器の入力が大きくなったときの非線形性を指数関数で表現した例であるが、これらは撮像素子２０１の画素ごとに決まる特性であるため、（数１）及び（数２）に示した数式に制限されるものではなく、また本発明に係る撮像装置において使用する撮像素子ごとに設定される必要がある。

本実施形態の構成により、色成分ごとに電荷蓄積時間の異なるカラー画像を撮像した場合に、色成分ごとの電荷蓄積時間の違いによる色ずれのないカラー画像を、大規模な画像処理を行うことなく生成し、カメラのビューファインダなどに表示することが可能となる。

また、カラー画像の表示フレームレートは電荷蓄積時間の短い色成分画像の表示フレームレートに適合されるため、被写体の動きが大きい場合にも、動きぶれを程度が小さいカラー画像を生成することができる。さらに、本実施形態におけるゲイン補正部２２４により、時間経過に伴う第１色成分画像の輝度値が小さくなる問題を解決することができる。

なお、本実施形態では、第１色成分について、比較的高いレートで非破壊読出しを行う一方で、長時間の電荷蓄積時間かつ低フレームレートでの撮像を行っている。もし、非破壊読出しを行う代わりに、そのタイミングでリセットを伴う破壊読出しを行うことも理論的には可能である。そのような短時間の電荷蓄積時間かつ高フレームレートでの撮像を行った後、複数フレームにわたって画像データを加算すれば、長時間の電荷蓄積時間かつ低フレームレートでの撮像によって得られる画像を得ることも可能になる。しかし、短い蓄積時間で得られる画像データを加算することによって得られる画像は、実際に長時間の電荷蓄積によって得られた画像よりも、多くのノイズを含む。非特許文献２は、実際に露出時間を長くして撮像した場合と、短時間の電荷蓄積時間によって得られた画像をデジタル的に加算した場合に得られる画像に混入するノイズを説明している。この文献によれば、デジタル加算によって得られる画像には、長時間蓄積によって得られる画像の３倍程度多いノイズが混入される。

本実施形態では、第１色成分については、実際に電荷蓄積時間が十分に長い画像（低フレームレートの画像）を取得しながら、リアルタイムの表示に必要な画像を非破壊読出しによって取得している。

（実施形態２）
次に、本発明による撮像装置の第２の実施形態を説明する。本実施形態の撮像装置は、第１色成分画像の電荷蓄積時間の長さに応じて、第１実施形態に記載のゲイン補正動作の有無を選択可能にする構成を備えている。

図１３は、本実施形態に係る撮像装置の構成を示すブロック図である。同図中の撮像部２０、記憶部２２１、減算部２２２、補正制御部２２３、ゲイン補正部２２４、表示部２１は、それぞれ、第１実施形態において対応する構成要素と同一の機能を有する。本実施形態と実施形態１との相違点は、本実施形態において、フレームレート補正部１３０１が補正選択部１３０２を有していることにある。

ユーザが入力部２５に入力した撮影条件に基づいて主制御部２４は、第１色成分画像のフレームレートおよび第２色成分画像のフレームレートを決定する。これにより、第１色成分画像の電荷蓄積時間の長さが定まる。補正方法選択部１３０２は、第１色成分画像の電荷蓄積時間の長さに応じて、ゲイン補正部２２４の動作を行うか否かを選択する。第１色成分画像の電荷蓄積時間が短い場合、例えば第１色成分画像の電荷蓄積時間が第２色成分画像の２フレーム分の蓄積時間に等しい場合は、第１色成分の画素信号は飽和の影響が顕著になる前にリセットされる。この場合は、ゲイン補正動作を行う必要がないため、補正方法選択部１３０２の働きにより、ゲイン補正部２２４を動作させないようにすることができる。具体的には、補正方法選択部１３０２が減算部２２２の出力を、そのまま、表示部２１に与える。

本実施形態の構成により、第１実施形態において第２色成分の読出し時点ごとに行っていた、第１色成分の画素信号のゲイン補正動作を省略できる。このため、画像生成に伴う表示遅延をさらに小さくすることができる。

（実施形態３）
次に、本発明による撮像装置の第３の実施形態を説明する。

本実施形態の撮像装置は、第１色成分画像のフレームレートを第２色成分画像のフレームレートに適合させるフレームレート補正部（第１のフレームレート補正部）２２と、第２色成分画像のフレームレートを第１色成分画像のフレームレートに適合させる第２のフレームレート補正部１４０２とを有する。そのため、被写体の動きの大きさに基づいて、第１および第２のフレームレート補正部２２、１４０２いずれかを選択できる。

図１４は、本実施形態に係る撮像装置の構成を示すブロック図である。

本実施形態の撮像装置は、第１及び第２実施形態におけるフレームレート補正部２２に加え、第２色成分画像のフレームレートを第１色成分画像のフレームレートに適合させるフレームレート補正部１４０２を備えている。また、本実施形態の撮像装置は、２つのフレームレート補正部２２及び１４０２のどちらを使用するかを選択する補正方法選択部１４０１と、動き検出部１４０３とを有する。

第２色成分画像を表示させるためのフレームレートを第１色成分画像のフレームレートに適合させるには、例えば、第１色成分の相対的に長い電荷蓄積期間中に読み出された複数フレームの第２色成分画像を加算すればよい。一方、第１色成分画像を表示するためのフレームレートを第２色成分画像のフレームレートに適合させるには、実施形態１、２について説明したフレームレート補正部２２を動作させればよい。

本実施形態では、補正方法選択部１４０１が、動き検出部１４０３による検出結果に基づいて、表示部２１に与える画像データのフレームレートを決定する。すなわち、被写体の動きが少ない場合には、第２色成分画像のフレームレートを、第１色成分のフレームレートに合わせる。逆に被写体の動きが大きな場合には、第１色成分画像のフレームレートを、第２色成分のフレームレートに合わせる。

なお、動き検出部１４０３は、例えば、ブロックマッチング、勾配法、位相相関法等の既存の公知技術によって、動き（オプティカルフロー）を検出する。動きの大きさを自動的に検出する方法の一例を説明する。

図１７（ａ）および（ｂ）は、ブロックマッチングによって動き検出を行うときの基準フレームと参照フレームとを示している。動き検出部１４０３は、基準とするフレーム（動きを求めるべく着目しているｔ番目のフレーム）内に、図１７（ａ）に示す窓領域Ａを設定する。そして、窓領域内のパターンと類似するパターンを参照フレーム内で探索する。参照フレームとして、例えば着目フレームの次のフレームが利用されることが多い。

探索範囲は、図１７（ｂ）に示すように、通常、移動量ゼロの位置Ｂを基準に予め一定の範囲（同図１７（ｂ）中のＣ）が設定される。また、パターンの類似の度合い（程度）は、（数３）に示す残差平方和（ＳＳＤ：Ｓｕｍ ｏｆ Ｓｑｕａｒｅ Ｄｉｆｆｅｒｒｅｎｃｅｓ）や、（数４）に示す残差絶対値和（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅｄ Ｄｉｆｆｅｒｅｎｃｅｓ）を評価値として計算することによって評価する。

（数３）および（数４）において、Ｉ（ｘ，ｙ，ｔ）は、画像内の位置（ｘ，ｙ）、フレーム番号ｔにおける画素の信号値である。また、ｘ，ｙ∈Ｗは、基準フレームの窓領域内に含まれる画素の座標値を意味する。

動き検出部１４０３は、探索範囲内で（ｕ，ｖ）を変化させることにより、上記評価値を最小とする（ｕ，ｖ）の組を探索し、これをフレーム間での動きベクトルＶとする。窓領域の設定位置を順次シフトさせることによって、動きを画素毎もしくはブロック毎（例えば８画素×８画素）に求める。

動きの大きさを自動的に検出してフレームレート補正法を選択する場合は、例えば、前記方法によって求められた動きに対し、下記（数５）によって求めた画像内の全画素における動きの大きさの平均値が８画素以上であればフレームレート補正部２２を、それ以下であればフレームレート補正部１４０２を使用する、というように自動的に選択させる。

（数５）において、ｕｍｅａｎ（ｔ）はｔ番目のフレームにおける全画素の動きの大きさの平均値、Ｎは１フレームにおける全画素数、Ωは１フレームにおける全画素の座標値を意味する。

なお、本実施形態において、上記の２種のフレームレート補正法は、入力画像すべてに対し同一の方法を選択するようにしてもよいし、入力画像の部分ごとに異なる方法が選択される構成でもかまわない。入力画像の部分ごとにフレームレート補正法を変える場合は、例えば（数５）におけるｕｍｅａｎ（ｔ）を画像全体でなく、ある大きさの画像ブロックごとに求め、ｕｍｅａｎ（ｔ）が８画素以上であるブロックはフレームレート補正部２２に、そうでないブロックはフレームレート補正部１４０２に入力されるような構成とすることで実現できる。

本実施形態において、被写体の動きが小さいときに、第２色成分画像のフレームレートを第１色成分画像のフレームレートに適合させることにより、電荷蓄積が十分に行われた、Ｓ／Ｎの高いカラー画像を得ることができる。被写体の動きが小さいため、電荷蓄積時間を長くしても、表示部２１に出力されるカラー画像に動きぶれは目立たない。

（実施形態４）
次に、本発明による撮像装置の第４の実施形態を説明する。

本実施形態は、第１あるいは第２実施形態のフレームレート補正部に加え、他の画像復元部を備えている。そして、ユーザの本撮像表示装置の用途、例えば、録画時に用いるか再生時に用いるかの指示に基づいて、そのいずれかを選択できるようにした構成である。

図１５は、本実施形態に係る構成を示すブロック図である。本実施形態において、第１または第２実施形態おけるフレームレート補正部と同様の構成を有するフレームレート補正部１５０２と、第１色成分画像の高フレームレート化処理を行う画像処理部１５０３と、フレームレート補正部１５０２および画像処理部１５０３のどちらを使用するかを選択する表示方法選択部１５０１を有する。また、本実施形態の撮像装置は、ユーザからの録画／再生の指示を受けつけ、主制御部２４に伝達する入力部１５０４を有している。

画像処理部１５０３の動作の一例について、図１８を参照しながら説明する。画像処理部１５０３の構成および動作は、特許文献３および特許文献４に開示されている装置および動作と同様であり得る。ここに、特許文献３および特許文献４の開示の全体を援用する。

図１８の例によると、本実施形態において、画像処理部１５０３は、第１色成分画像の表示フレームレートを第２色成分画像に適合させる処理を行う第１色成分アップコンバータ１８０１と、第２色成分画像から動きを検出する動き検出部１８０２から構成される。

画像処理部１５０３の動作は、第１色成分画像について、動き検出部１８０２によって例えば前記（数３）あるいは（数４）により求めた動きを元に、時空間的に分解する処理である。第１色成分画像ｇＬの復元画像ｇＨは、下記の（数６）を最小化するｇＨとして求められる。

ここで、ｇＨ、ｇＬは動画像の各画素を要素とする縦ベクトル、Ｈは長時間露光による光の加算をモデル化した行列、λsは滑らかさ拘束に対する重み、Ｑsは滑らかさ拘束、λmは動き拘束に対する重み、Ｑmは動き拘束をモデル化した行列を表している。なお、ｇＨ、ｇＬは、動画像における全ての位置及び全てのフレームにおける画素値を並べたベクトルである。

以下、（数７）、（数８）及び（数９）に、前記（数６）右辺の各項の詳細な式を示す。

なお、上記（数７）、（数８）、（数９）において、ｇＨ（ｘ，ｙ，ｔ）、ＨｇＨ（ｘ，ｙ，ｔ）、ＱｓｇＨ（ｘ，ｙ，ｔ）、ＱｍｇＨ（ｘ，ｙ，ｔ）は、それぞれ（数６）におけるｇＨ、ＨｇＨ、ＱｓｇＨ、ＱｍｇＨの位置（ｘ，ｙ）、フレーム番号ｔに相当する要素である。また、（数８）、（数９）において、ｘｍａｘ、ｙｍａｘ、ｔｍａｘはそれぞれｘ方向画素番号、ｙ方向画素番号、フレーム番号の最大値を示す。また、（数９）におけるｕ（ｘ，ｙ，ｔ）及びｖ（ｘ，ｙ，ｔ）は、動き検出部１８０２によって求められた、位置（ｘ，ｙ）及びフレーム番号ｔの画素位置におけるｘ方向及びｙ方向の動きの大きさである。動き検出部１８０２は、例えば実施形態３の方法で動きを検出する。なお、（数７）においては、第１色成分画像の電荷蓄積時間は、第２色成分画像の電荷蓄積時間の４倍であると仮定しているが、本発明は、この値に制限されるものではない。

第１色成分アップコンバータ１８０１は、下記（数１０）に基づいて（数６）を最小化するｇＨを得る。

その結果、第１色成分アップコンバータ１８０１は、（数１１）に示す連立方程式を解くことによってｇＨを得る。

（数１１）は、共役勾配法や最急降下法等の既存の数値計算法（連立方程式の解法）を用いることによって解くことができる。

本実施形態において、本撮像装置の出力画像を撮像中の被写体の確認に用いるのでなく、録画後に鑑賞目的で再生するのに使用する場合、実施形態１のフレームレート補正部を用いる場合よりも高画質のカラー画像を表示することができる。なお、高フレームレート化処理は、撮像装置内に組み込んだ画像処理部１５０３によって行ってもよいし、記録部２３から撮像画像を外部演算装置に転送した上で、該演算装置内で行ってもよい。高フレームレート化処理を撮像装置内の画像処理部１５０３において行う場合でも、該処理は録画されたカラー画像を対象とするため、リアルタイムに行う必要はない。そのため、リアルタイムの高フレームレート化処理を行う場合に比べ、該処理に必要な回路規模を抑えることができる。

なお、本実施形態における画像処理部１５０４は、実施形態１から実施形態３のいずれか任意の撮像装置に組み込まれ、記録部２３からのデータを読み出して処理するために用いられてもよい。この場合、画像処理部１５０４によって得られたカラー画像は、撮像が完了した後、外部の表示装置に表示され得る。また、この画像処理部１５０４は、実施形態１から実施形態３のいずれか任意の撮像装置の記録部２３から読み出されたデータを、撮像装置の外部で処理するために使用されてもよい。画像処理部１５０４の構成および動作は、上述したものに限定されない。

（実施形態５）
図１６に、本実施形態におけるコンピュータプログラムのフローチャートの一例を示す。

本実施形態におけるコンピュータプログラムは、前記の各実施形態に係る撮像装置に設けられたプロセッサに各種のステップを実行させる指令のセットである。上記の実施形態では、フレームレート補正部２２、１２０１、１３０１、１４０２が減算部２２２、ゲイン補正部２２４、およびその他の構成要素を備えているが、これらの構成要素は、特別のハードウェアによって実現されても良いし、ハードウェアおよびソフトウェアの組み合わせによって実現されても良い。本実施形態では、撮像装置に設けられたプロセッサによって上記の構成要素の少なくとも一部が実現され得る。

本実施形態のコンピュータプログラムは、上記の各実施形態における撮像装置から、非破壊読出しによって得られた第１色成分の画素信号と、第２のフレームレートでの読出しによって得られた第２色成分の画像信号を受け取るステップと、前回の非破壊読出しによって得られた信号を、その次の非破壊読出しによって得られた信号から減算することによって差分値を求め、差分値を第２のフレームレートで出力するステップとを実行させる点に特徴を有している。

本発明の好ましい実施形態におけるコンピュータプログラムに従ってプロセッサが実行する方法は、表示部の画像を撮像時の被写体の確認に用いるか、録画された動画像を再生するときに用いるかを選択する表示方法選択ステップ１６０１と、被写体の動きの大きさに応じてフレームレート補正方法を選択する補正方法選択ステップ１６０２と、非破壊読出しされた第１色成分の信号の差分を取る減算ステップ１６０３と、前記減算ステップの出力のゲイン補正を行うゲイン補正ステップ１６０４と、第２色成分画像のフレームレートを第１色成分画像と同一のフレームレートに補正するフレームレート補正ステップ１６０５と、第１及び第２色成分画像から高フレームレートのカラー画像を生成する高フレームレート化処理ステップ１６０６を包含している。

表示方法選択ステップ１６０１の動作は実施形態４における表示方法選択部１５０１の動作と同一である。補正方法選択ステップ１６０２の動作は実施形態３における補正方法選択部１４０１の動作と同一である。減算ステップ１６０３の動作は実施形態１における減算部２２３の動作と同一である。ゲイン補正ステップ１６０４の動作は実施形態１におけるゲイン補正部２２４の動作と同一である。フレームレート補正ステップ１６０５の動作は実施形態３におけるフレームレート補正部１４０２の動作と同一である。高フレームレート化処理ステップ１６０６の動作は実施形態４における画像復元部１５０３の動作と同一である。

上記の各ステップの全てをプロセッサによって実行させる必要はなく、一部のステップは、専用のハードウェアによって実行させても良い。このプログラムは、記録媒体に記録された形態で存在する。

本発明は、第１色成分と第２色成分について異なる露出時間（電荷蓄積時間）で撮像されたカラー動画像を表示する撮像表示装置、そのような装置が組み込まれた映像機器やシステム、映像合成装置、映像編集装置、画像復元装置等として利用できる。また、コンピュータプログラムとしても実現することが可能である。

１１…レンズ
１２…本体
１３…ビューファインダ
２０…撮像部
２１…表示部
２２…フレームレート補正部
２３…記録部
２４…主制御部
２５…入力部
４２…読出し信号線
４４…出力信号線
９１…補正係数テーブル
９２…補正係数選択部
８３、９３…乗算部
８４、９４…期待値テーブル
９５…比較部
１０１…入射光
１０４…色分解部
２０１…撮像素子
２０１ａ…撮像素子（Ｇ用）
２０１ｂ…撮像素子（Ｒ用）
２０１ｃ…撮像素子（Ｂ用）
２０１ｄ…撮像素子（Ｒ、Ｂ用）
２０１ｅ…撮像素子（Ｒ、Ｇ、Ｂ用）
２０２…撮像制御装置
２２１…記憶部
２２２…減算部
２２３…補正制御部
２２４…ゲイン補正部
１２０１…フレームレート補正部
１２０２…ゲイン補正係数計算部
１２０３…関数テーブル
１２０４…出力信号期待値計算部
１２０５…関数テーブル
１３０１…フレームレート補正部
１３０２…補正方法選択部
１４０１…補正方法選択部
１４０２…第２色成分画像のフレームレートを第１色成分画像に適合させるフレームレート補正部
１４０３…動き検出部
１５０１…表示方法選択部
１５０２…フレームレート補正部
１５０３…画像処理部
１５０４…入力部
１８０１…第１色成分アップコンバータ
１８０２…動き検出部

Claims (21)

1. 第１色成分の画素信号の読出しを第１のフレームレートで行い、かつ、前記第１色成分以外の第２色成分の画素信号の読出しを前記第１のフレームレートよりも高い第２のフレームレートで行う撮像部であって、前記第１のフレームレートによって定まる電荷蓄積期間内において、前記第２色成分の画素信号の読出しのタイミングと同期して前記第１色成分の画素信号の非破壊読出しを行う撮像部と、
   前記第１のフレームレートでの読出しによって得られた前記第１色成分の画素信号、および前記第２のフレームレートでの読出しによって得られた前記第２色成分の画素信号を記録する記録媒体と、
   表示部と、
   前記非破壊読出しによって得られた前記第１色成分の画素信号と前記第２のフレームレートでの読出しによって得られた前記第２色成分の画素信号とを用いて前記第２のフレームレートで前記表示部にカラー画像を撮像時に表示させることができるフレームレート補正部と、
   を備える撮像装置。
2. 前記撮像部は、
   前記第１色成分の画素信号の読出しと、前記第２色成分の画素信号の読出しとを行う撮像素子であって、画素信号の非破壊読出しを行うことができる撮像素子と、
   前記撮像素子を制御することにより、前記第１色成分の画素信号の読出しを前記第１のフレームレートで行わせ、かつ、前記第２色成分の画素信号の読出しを前記第１のフレームレートよりも高い第２のフレームレートで行わせる撮像制御部であって、前記第１のフレームレートによって定まる電荷蓄積期間内において、前記第２色成分の画素信号の読出しのタイミングと同期して前記第１色成分の画素信号の非破壊読出しを行わせる撮像制御部と、
   を備える請求項１に記載の撮像装置。
3. 前記フレームレート補正部は、
   前記非破壊読出しによって得られた前記画素信号を記録するメモリと、
   前記メモリに記録された画素信号に基づいて、前回の非破壊読出しによって得られた画素信号を、その次の非破壊読出しによって得られた画素信号から減算することによって差分値を求め、前記差分値を前記第２のフレームレートで出力する減算部と、
   を有する請求項１または２に記載の撮像装置。
4. 前記フレームレート補正部は、
   前記撮像素子における電荷蓄積開始からの経過時間と前記撮像素子から出力される信号との間にある飽和特性に応じて、前記差分値を補正するゲイン補正部を有する請求項３に記載の撮像装置。
5. 前記ゲイン補正部は、前記減算部の出力について、電荷蓄積開始からの経過時間によって前記減算部の出力が小さくなることを補正するゲイン調整機能を有し、前記第２色成分の画素信号の読出しのタイミングに同期して前記補正を行う、請求項４に記載の撮像装置。
6. 前記ゲイン補正部は、
   前記第１色成分の画素信号の電荷蓄積開始時点からの経過時間および入射光量の２つのインデックスを有する補正係数テーブルと、
   前記経過時間及び前記入射光量に基づいて前記ゲイン補正係数テーブルからゲイン補正係数を選択する補正係数選択部と、
   前記ゲイン補正係数と非破壊読出しによって得られた前記第１色成分の画素信号との乗算を行う乗算部と、
   を備え、
   前記経過時間及び前記入射光量に応じて、前記カラー画像の各色成分の信号強度のバランスを維持するように前記補正を行う、請求項４または５に記載の撮像装置。
7. 前記ゲイン補正部は、
   前記撮像装置への入射光量が変化しない場合の撮像信号テーブルと、
   前記減算部の出力と前記撮像信号テーブルの値との比較を行う比較部と、
   を備え、
   前記第１色成分の画素信号の非破壊読出し時に、前記減算部の出力と前記撮像信号テーブルの値との差を検出することにより、電荷蓄積中に入射光量が変化した場合でも色成分間のバランスを維持するように前記ゲイン補正係数を選択する、請求項４から６のいずれかに記載の撮像装置。
8. 前記ゲイン補正部は、前記第１色成分の画素信号の出力信号を入力とする関数テーブルを有し、
   前記関数テーブルに保持した関数により、前記ゲイン補正係数及び前記入射光量が変化しない場合の撮像信号を、前記第１色成分の画素信号の非破壊読出し時に計算することが可能である、請求項７に記載の撮像装置。
9. 前記フレームレート補正部は、前記第１色成分の画素信号の電荷蓄積時間の長短に応じ、前記ゲイン補正動作の有無を選択する補正選択部を有している請求項４から８のいずれかに記載の撮像装置。
10. 前記第１色成分はグリーンであり、前記第２色成分はレッドおよびブルーである、請求項１から９のいずれかに記載の撮像装置。
11. 前記撮像部は、
    入射光を前記第１色成分の光と前記第２色成分の光とに分離する光分離素子と、
    前記第１色成分の光を受ける第１の固体撮像素子と、
    前記第２色成分の光を受ける第２の固体撮像素子と、
    を有している請求項１から１０のいずれかに記載の撮像装置。
12. 前記撮像部は、
    前記第１色成分の光を受ける複数の画素と前記第２色成分の光を受ける複数の画素とが１つの撮像面内に配列された固体撮像素子を有している請求項１から１０のいずれかに記載の撮像装置。
13. 前記第２色成分の画素信号のフレームレートを、前記第１色成分の画素信号のフレームレートに適合するように、前記第２色成分の画素信号をフレーム単位で加算を行う第２のフレームレート補正部と、
    被写体の動きの大きさに応じて、前記２つのフレームレート補正部の一方を選択する補正方法選択部と、
    を備える請求項１から１２のいずれかに記載の撮像装置。
14. 前記第１色成分の画素信号画像生成方法を、前記第２色成分の画素信号の動き情報を元に時空間分解する画像復元部と、
    ユーザによる録画機能及び再生機能の選択に応じて、前記表示部に表示するカラー動画像を前記フレームレート補正部により生成するか、前記画像復元部により生成するかを選択する表示方法選択部と、
    を備える請求項１から１３のいずれかに記載の撮像装置。
15. 第１色成分の画素信号の読出しを第１のフレームレートで行い、前記第１色成分以外の第２色成分の画素信号の読出しを前記第１のフレームレートよりも高い第２のフレームレートで撮像を行うステップＡと、
    前記第１のフレームレートによって定まる電荷蓄積期間内において、前記第２色成分の画素信号の読出しのタイミングと同期して前記第１色成分の画素信号の非破壊読出しを行うステップＢと、
    前記第１のフレームレートでの読出しによって得られた前記第１色成分の画素信号、および前記第２のフレームレートでの読出しによって得られた前記第２色成分の画素信号を記録媒体に記録するステップＣと、
    前記非破壊読出しによって得られた前記第１色成分の画素信号と前記第２のフレームレートでの読出しによって得られた前記第２色成分の画素信号とを用いて前記第２のフレームレートで前記表示部にカラー画像を撮像時に表示させるステップＤと、
    を含む画像生成方法。
16. 前記ステップＤは、前回の非破壊読出しによって得られた信号を、その次の非破壊読出しによって得られた信号から減算することによって差分値を求め、前記差分値を前記第２のフレームレートで出力するステップを含む、請求項１５に記載の画像生成方法。
17. 前記ステップＤは、電荷蓄積開始からの経過時間と撮像素子から出力される信号との間にある飽和特性に応じて、前記差分値を補正するゲイン補正ステップを含む請求項１６に記載の画像生成方法。
18. 第１色成分の画素信号の読出しを第１のフレームレートで行い、前記第１色成分以外の第２色成分の画素信号の読出しを前記第１のフレームレートよりも高い第２のフレームレートで撮像を行うステップＡと、
    前記第１のフレームレートによって定まる電荷蓄積期間内において、前記第２色成分の画素信号の読出しのタイミングと同期して前記第１色成分の画素信号の非破壊読出しを行うステップＢと、
    前記第１のフレームレートでの読出しによって得られた前記第１色成分の画素信号、および前記第２のフレームレートでの読出しによって得られた前記第２色成分の画素信号を記録媒体に記録するステップＣと、
    前記非破壊読出しによって得られた前記第１色成分の画素信号と前記第２のフレームレートでの読出しによって得られた前記第２色成分の画素信号とを用いて前記第２のフレームレートで前記表示部にカラー画像を撮像時に表示させるか、前記第１のフレームレートでの読出しによって得られた前記第１色成分の画素信号を用いて前記表示部に画像を表示させるかを選択するステップＤと、
    選択された信号を用いて前記表示部に画像を表示させるステップＥと、
    を含む画像生成方法。
19. 画像処理装置に設けられたプロセッサに動画像のデータを生成させるコンピュータプログラムであって、
    前記コンピュータプログラムは、前記プロセッサに、
    請求項１から１４のいずれかに記載の撮像装置から、前記非破壊読出しによって得られた前記第１色成分の画素信号と、前記第２のフレームレートでの読出しによって得られた前記第２色成分の画素信号とを受け取るステップと、
    前回の非破壊読出しによって得られた画素信号を、その次の非破壊読出しによって得られた画素信号から減算することによって差分値を求め、前記差分値を前記第２のフレームレートで出力するステップと、
    を実行させる、コンピュータプログラム。
20. 前記プロセッサに、
    前記電荷蓄積開始からの経過時間と前記撮像素子から出力される画素信号との間にある飽和特性に応じて、前記差分値を補正するステップを更に実行させる請求項１９に記載のコンピュータプログラム。
21. 請求項１９または２０に記載のコンピュータプログラムを記録した記録媒体。

Images