JP4598162B2 - 撮像処理装置 - Google Patents

Description

本発明は、動画像の画像処理に関する。より具体的には、撮影された動画像の解像度およびフレームレートの少なくとも一方を画像処理によって高くした動画像を生成する技術に関する。

特許文献１は、単板撮像素子を用いたカラー画像撮影を行う技術を開示している。たとえば図１５は、特許文献１の単板撮像素子に装着される、ベイヤー配列と呼ばれる配列のカラーフィルターアレイの一例を示す。図中の"Ｒ"、"Ｇ"、"Ｂ"はそれぞれ「赤」、「緑」、「青」のフィルターを示している（以下、本明細書および図面において同様の表記を採用する）。

図１５に示すベイヤー配列のカラーフィルターを透過した光は、撮像素子の各画素に入射する。撮像素子の各画素から出力される信号は、Ｒ，Ｇ，Ｂいずれかの色についての値を持つ。

この説明から明らかな通り、撮像素子の各「画素」とは、各色のカラーフィルターを透過した光を受け、受けた光の強さに応じた信号を出力する撮像素子の１単位である。

一方、上記のようにして撮像された画像を表示する際には、各画素においてＲ，Ｇ，Ｂ（もしくはＹ，Ｐｂ，Ｐｒ等の３色）の値が必要である。そこで、非特許文献１〜３は、撮像素子の各画素において取得されていない色の画素値を演算によって復元し、撮像素子の各画素におけるＲ，Ｇ，Ｂの画素値を求めることによって、画素数が多いカラー画像を得る方法を開示している。

米国特許第３９７１０６５号明細書

Ｄａｎｉｅｌ Ｋｅｒｅｎ， Ｍａｒｇａｒｉｔａ Ｏｓａｄｃｈｙ，"Ｒｅｓｔｏｒｉｎｇ ｓｕｂｓａｍｐｌｅｄ ｃｏｌｏｒ ｉｍａｇｅｓ"，Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ，１１，ｐｐ．１９７−２０２，１９９９ Ｒｏｎ Ｋｉｍｍｅｌ，"Ｄｅｍｏｓａｉｃｉｎｇ： Ｉｍａｇｅ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｆｒｏｍ Ｃｏｌｏｒ ＣＣＤ Ｓａｍｐｌｅｓ"，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ， Ｖｏｌ．８， Ｎｏ．９， Ｓｅｐｔｅｍｂｅｒ １９９９ Ｄａｖｉｄ Ａｌｌｅｙｓｓｏｎ，Ｓａｂｉｎｅ Ｓｕ¨ｓｓｔｒｕｎｋ，"Ｌｉｎｅａｒ Ｄｅｍｏｓａｉｃｉｎｇ Ｉｎｓｐｉｒｅｄ ｂｙ ｔｈｅ Ｈｕｍａｎ Ｖｉｓｕａｌ Ｓｙｓｔｅｍ"，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ， Ｖｏｌ．１４，Ｎｏ．４， Ａｐｒｉｌ ２００５

しかしながら、従来の撮像処理装置では、高解像度化を図る目的で撮像素子の画素寸法が小型化されるにつれて、撮像素子の１画素に入射する光量が減少していた。その結果、各画素の信号対雑音比（Ｓ／Ｎ）の低下につながり、画質を維持することが困難であった。

本発明の目的は、撮像素子のＳ／Ｎの低下を抑えながら、画質を維持する撮像処理装置を提供することにある。

本発明による撮像処理装置は、光学素子と、複数の色からなるカラーフィルターアレイが装着された単板撮像素子であって、前記光学素子に導かれて前記カラーフィルターアレイを透過した光の量に応じた値を出力し、フレーム時刻毎に前記複数の色ごとの画像の取得を可能にする単板撮像素子と、複数のフレーム時刻にわたって得られた各画像の、前記複数の色における第１色に対応する値を加算する第１の加算部と、同じフレーム時刻に撮影された画像の、前記複数の色における、前記第１色以外の第２色に対応する複数の値を加算する第２の加算部と、前記第１の加算部により加算された前記第１色に基づく画像、および、前記第２の加算部により加算された前記第２色に基づく画像から、各フレーム時刻における複数の色を含む画像を復元する画像復元部とを備えている。

前記カラーフィルターアレイは、前記複数の色として、前記第１色および前記第２色のいずれとも異なる第３の色を含んでおり、前記第２の加算部は、同じフレーム時刻に撮影された画像の、前記第３色に対応する複数の値を加算し、前記画像復元部は、前記第２の加算部により加算された前記第２色の画像および前記第３色の画像から動きを検出し、検出した動きに関する動き情報を出力する動き検出部と、前記第１色の画像、前記第２色の画像および前記第３の画像と、動き検出部により検出された動き情報とに基づいて、各フレーム時刻における複数の色を含む画像を復元する復元部とを備えていてもよい。

前記撮像処理装置は、前記第２の加算部、および、前記第１の加算部の動作を制御する制御部をさらに備え、前記制御部は、前記単板撮像素子が受けた光の量または画素値に応じて、または、ユーザが指定した動作モードに応じて、前記第２の加算部、および、前記第１の加算部が加算する対象の画素の数を制御してもよい。

単板撮像素子は積層型であってもよい。

前記第１色は緑、前記第２色および前記第３色は赤および青であってもよい。

本発明による撮像処理装置は、赤、緑、青および白のカラーフィルターアレイが装着された単板撮像素子であって、前記カラーフィルターアレイを透過した光の量に応じた値を出力し、フレーム時刻毎に前記カラーフィルターアレイの色ごとの画像の取得を可能にする単板撮像素子と、複数のフレーム時刻にわたって得られた、前記赤、前記緑および前記青の各画像に対応する値を加算する第１の加算部と、前記白色の画像から動きを検出し、検出した動きに関する動き情報を出力する動き検出部と、前記第１の加算部により加算された前記赤、前記緑および前記青の各画像、前記白色の画像、および、前記動き情報に基づいて、各フレーム時刻における前記赤、前記緑および前記青を含む画像を復元する画像復元部とを備えている。

本発明による撮像処理装置は、赤、緑、青および白のカラーフィルターアレイが装着された単板撮像素子であって、前記カラーフィルターアレイを透過した光の量に応じた値を出力し、フレーム時刻毎に前記カラーフィルターアレイの色ごとの画像の取得を可能にする単板撮像素子と、複数のフレーム時刻にわたって得られた、前記赤、前記緑および前記青の各画像に対応する値を加算する第１の加算部と、同じフレーム時刻に撮影された白色の画像に対応する複数の値を加算する第２の加算部と、前記第２の加算部により加算された前記白色の画像から動きを検出し、検出した動きに関する動き情報を出力する動き検出部と、前記第１の加算部により加算された前記赤、前記緑および前記青の各画像、前記第２の加算部により加算された白色の画像、および、前記動き情報に基づいて、各フレーム時刻における前記赤、前記緑および前記青を含む画像を復元する画像復元部とを備えている。

前記第１の加算部は、前記単板撮像素子における露光時間を複数のフレーム時刻にわたる長さにすることにより、前記赤、前記緑および前記青の各画像に対応する値を加算しており、前記第１の加算部は、前記赤、前記緑および前記青に対して露光時間を変化させてもよい。

本発明によるコンピュータプログラムは、光学素子と、複数の色からなるカラーフィルターアレイが装着された単板撮像素子であって、前記光学素子に導かれて前記カラーフィルターアレイを透過した光の量に応じた値を出力し、フレーム時刻毎に前記複数の色ごとの画像の取得を可能にする単板撮像素子とを備えた撮像処理装置に実装されたコンピュータによって実行され、前記コンピュータプログラムは、前記コンピュータに対し、複数のフレーム時刻にわたって得られた各画像の、前記複数の色における第１色に対応する値を加算するステップと、同じフレーム時刻に撮影された画像の、前記複数の色における、前記第１色以外の第２色に対応する複数の値を加算するステップと、前記第１の加算部により加算された前記第１色に基づく画像、および、前記第２の加算部により加算された前記第２色に基づく画像から、各フレーム時刻における複数の色を含む画像を復元するステップとを実行させる。

本発明の撮像処理装置によれば、単板撮像素子に時間加算と空間加算の機能を付加し、画素毎に時間加算もしくは空間加算された入力画像に対して復元処理を行うという構成により、撮像時に光量を確保しつつ高解像度かつ高フレームレートの画像を推定し復元することが可能になる。

実施形態１における撮像処理装置１００の構成を示すブロック図である。 画像復元部１０５のより詳細な構成の一例を示す構成図である。 （ａ）および（ｂ）は、ブロックマッチングによって動き検出を行うときの基準フレームと参照フレームとを示す図である。（ａ）は、基準フレームとなる、時刻ｔにおける画像を示す図であり、（ｂ）は、参照フレームとなる、時刻ｔ+Δｔにおける画像を示す図である。 （ａ）および（ｂ）は、２×２画素の空間加算をする際の仮想的サンプル位置を示す。 復元処理部２０２の構成の一例を示す図である。 ＲＧＢ色空間と球面座標系（θ、ψ、ｒ）との対応例を示す。 実施形態２による撮像処理装置３００の構成を示す構成図である。 配置と露光時間が、Ｒ，Ｇ，Ｂについては長時間露光されるように設定され、白については短時間露光されるように設定されている撮像素子の構成例を示す。 実施形態３における撮像処理装置４００の構成を示すブロック図である。 長時間露光するＲＧＢの露光開始と終了のタイミングが揃っている場合の例を示す図である。 長時間露光するＲＧＢの露光開始と終了のタイミングがずれている場合の例を示す図である。 カラーフィルターアレイと露光時間との組み合わせの他の例を示す図である。 （ａ）は３板式の撮像素子用に用いられる薄膜光学フィルターの分光特性を示す図であり、（ｂ）は単板用に用いられる染料フィルターの分光特性を示す図である。 （ａ）はグローバルシャッタを用いた露光タイミングを示す図であり、（ｂ）はフォーカルプレーン現象発生時の露光タイミングを示す図である。 従来技術の単板撮像素子に装着される、ベイヤー配列と呼ばれる配列のカラーフィルターアレイの一例を示す。

以下、添付の図面を参照しながら、本発明による撮像処理装置の実施形態を説明する。

（実施形態１）
図１は、本実施形態における撮像処理装置１００の構成を示すブロック図である。図１において、撮像処理装置１００は、光学系１０１と、単板カラー撮像素子１０２と、２つの加算部（すなわち第１の加算部である時間加算部１０３および第２の加算部である空間加算部１０４と、画像復元部１０５とを備えている。以下、撮像処理装置１００の各構成要素を詳細に説明する。

光学系１０１は、被写体の像を撮像素子の像面に結像する。

単板カラー撮像素子１０２は、カラーフィルターアレイが装着された単板撮像素子である。単板カラー撮像素子１０２は、光学系１０１によって結ばれた光（光学像）を光電変換し、それによって得られた電気信号を出力する。この電気信号の値は、単板カラー撮像素子１０２の各画素値である。単板カラー撮像素子１０２からは、各画素に入射した光の量に応じた画素値が出力される。同じフレーム時刻に撮影された同じ色の画素値により、その色ごとの画像が得られる。全ての色の画像により、カラー画像が得られる。

時間加算部１０３は、カラー撮像素子１２によって撮像されたカラー画像の第１色の光電変換値を時間方向に複数フレーム加算する。ここで、「時間方向への加算」とは、連続する複数のフレーム（画像）の各々において共通の画素座標値を有する各画素の画素値を加算することである。具体的には、２フレームから９フレーム程度の範囲で、画素座標値が同じ画素の画素値を加算する。

空間加算部１０４は、カラー撮像素子１２によって撮像されたカラー画像の第２色、第３色の光電変換値を空間方向に複数画素分加算する。ここで、「空間方向への加算」とは、ある時刻に撮影された１フレーム（画像）を構成する複数の画素の画素値を加算することである。具体的には、画素値が加算される「複数の画素」の例は、水平２画素×垂直１画素、水平１画素×垂直２画素、水平２画素×垂直２画素、水平２画素×垂直３画素、水平３画素×垂直２画素、水平３画素×垂直３画素、等である。これらの複数の画素に関する画素値（光電変換値）を空間方向に加算する。

画像復元部１０５は、時間加算部１０３によって時間加算された第１色画像、および、空間加算部１０４によって空間加算された第２色画像および第３色画像の各データを受け取り、これらに画像復元を行うことによって各画素における第１色から第３色の値を推定しカラー画像を復元する。

図２は、画像復元部１０５のより詳細な構成の一例を示す構成図である。図２において、画像復元部１０５以外の構成は、図１と同一である。画像復元部１０５は、動き検出部２０１および復元処理部２０２を有している。

動き検出部２０１は、ブロックマッチング、勾配法、位相相関法等の公知技術により、空間加算された第２色画像、第３色画像のデータから、動き（オプティカルフロー）を検出する。動き検出部２０１は、検出されたこの動きの情報（動き情報）を出力する。公知技術として、たとえばP. Anandan. "Computaional framework and an algorithm for the measurement of visual motion", International Journal of Computer Vision, Vol. 2, pp. 283−310, 1989が知られている。

図３（ａ）および（ｂ）は、ブロックマッチングによって動き検出を行うときの基準フレームと参照フレームとを示している。動き検出部２０１は、基準とするフレーム（動きを求めるべく着目している時刻ｔにおける画像）内に、図３（ａ）に示す窓領域Ａを設定する。そして、窓領域内のパターンと類似するパターンを参照フレーム内で探索する。参照フレームとして、たとえば着目フレームの次のフレームが利用されることが多い。

探索範囲は、図３（ｂ）に示すように、通常、移動量ゼロの位置Ｂを基準に予め一定の範囲（同図３（ｂ）中のＣ）が設定される。また、パターンの類似の度合い（程度）は、（数１）に示す残差平方和（ＳＳＤ：Ｓｕｍ ｏｆ Ｓｑｕａｒｅ Ｄｉｆｆｅｒｒｅｎｃｅｓ）や、（数２）に示す残差絶対値和（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅｄ Ｄｉｆｆｅｒｅｎｃｅｓ）を評価値として計算することによって評価する。

（数１）および（数２）において、ｆ（ｘ、ｙ、ｔ）は画像すなわち画素値の時空間的な分布であり、ｘ，ｙ∈Ｗは、基準フレームの窓領域内に含まれる画素の座標値を意味する。

動き検出部２０１は、探索範囲内で（ｕ，ｖ）を変化させることにより、上記評価値を最小とする（ｕ，ｖ）の組を探索し、これをフレーム間での動きベクトルとする。窓領域の設定位置を順次シフトさせることによって、動きを画素毎もしくはブロック毎（例えば８画素×８画素）に求める。

ここで、本願発明ではカラーフィルターアレイを装着した単板カラー画像の３色中の２色の空間加算画像に対して動き検出を行うため、探索範囲内での（ｕ，ｖ）の変化ステップには注意が必要である。

図４（ａ）は、２×２画素の空間加算をする際の仮想的サンプル位置を示す。ここでは、Ｇを第１色とし、ＲとＢを第２色、第３色とする。なお、単に「Ｒ」，「Ｇ」，「Ｂ」と記載したときは、その色成分のみを含む画像を意味することもある。

図４（ｂ）は、図４（ａ）のＲとＢを２×２画素の空間加算した場合の、仮想的なサンプル位置を示す。この場合、仮想的なサンプル位置は、ＲもしくはＢだけについては、４画素おきに均等な配置になっているが、ＲとＢの双方を同時に含むサンプル位置は非均等になっている。そのため、（数１）もしくは（数２）による（ｕ，ｖ）を、この場合４画素おきに変化させる必要がある。もしくは、図４（ｂ）に示す仮想的なサンプル位置のＲとＢの値から、各画素におけるＲとＢの値を公知の補間方法によって求めた上で、上記の（ｕ，ｖ）を１画素おきに変化させるようにしてもよい。

上記の様にして得られた（数１）または（数２）を最小にする（ｕ，ｖ）の近傍での（ｕ，ｖ）の値の分布に対して、１次ないし２次関数を当てはめる（等角フィッテング法やパラボラフィッティング法として知られる公知の技術）ことによって、サブピクセル精度の動き検出を行う。

＜各画素におけるＧの画素値の復元＞
復元処理部２０２は、次式を最小化して、各画素におけるＧの画素値を計算する。

ここで、Ｈはサンプリング過程、ｆは復元すべき高空間解像度かつ高時間解像度のＧ画像、ｇは撮像部１０１によって撮像されたＧの画像、Ｍはべき指数、Ｑは復元すべき画像ｆが満たすべき条件、すなわち拘束条件である。

ｆおよびｇは、動画像の各画素値を要素とする縦ベクトルである。以下では、画像についてのベクトル表記は、画素値をラスタースキャン順に並べた縦ベクトルを意味し、関数表記は、画素値の時空間的分布を意味する。画素値としては、輝度値の場合は、１画素につき１個の値を考えればよい。ｆの要素数は、例えば、復元すべき動画像を横２０００画素、縦１０００画素、３０フレームとすると、２０００×１０００×３０＝６０００００００となる。

図４、図１５に示すようなベイヤー配列の撮像素子で撮像する場合、ｇの要素数はｆの２分の１となり、３０００００００となる。ｆの縦横の画素数と信号処理に用いるフレーム数は、画像復元部１０５によって設定される。サンプリング過程Ｈは、ｆをサンプリングする。Ｈは、行数がｇの要素数と等しく、列数がｆの要素数と等しい行列である。

現在一般に普及しているコンピュータでは、動画像の画素数（例えば幅２０００画素×高さ１０００画素）とフレーム数（例えば３０フレーム）に関する情報量が多すぎるため、（数２）を最小化するｆを単一の処理で求めることはできない。この場合、時間的、空間的な部分領域についてｆの一部を求める処理を繰り返すことにより、復元すべき動画像ｆを計算することができる。

次に、サンプリング過程Ｈの定式化を簡単な例を用いて説明する。幅２画素（ｘ＝１，２）、高さ２画素（ｙ＝１，２）、２フレーム（ｔ＝１，２）の画像をベイヤー配列の撮像素子で撮像し、Ｇを２フレーム分時間加算する場合のＧの撮像過程について考える。

これらによれば、サンプリング過程Ｈは以下のように定式化される。

（数４）において、Ｇ₁₁₁〜Ｇ₂₂₂は各画素におけるＧの値を示し、３個の添字は順にｘ、ｙ、ｔの値を示す。ｇはベイヤー配列の撮像素子により撮像して得た画像なので、その画素数は、全画素読み出しした画像の２分の１である。

（数３）のべき指数Ｍの値は、特に限定するものではないが、演算量の観点から、１または２が好ましい。

（数６）は、ｆをベイヤー配列の撮像素子により撮像してｇを得る過程を示す。逆に、ｇからｆを復元する問題は、一般に逆問題といわれる。拘束条件Ｑがない場合、下記（数７）を最小化するｆは無数に存在する。

これは、サンプリングされない画素値に任意の値を入れても（数７）が成り立つことにより、容易に説明できる。そのため、（数７）の最小化によってｆを一意に解くことはできない。

ｆについての一意な解を得るために、Ｑとして、画素値ｆの分布に関する滑らかさの拘束や、ｆから得られる画像の動きの分布に関する滑らかさの拘束を与える。

画素値ｆの分布に関する滑らかさの拘束としては、以下の拘束式を用いる。

ここで、∂ｆ／∂ｘは復元すべき動画像の画素値のｘ方向の１階の微分値を要素とする縦ベクトル、∂ｆ／∂ｙは復元すべき動画像の画素値のｙ方向の１階の微分値を要素とする縦ベクトル、∂²ｆ／∂ｘ²は復元すべき動画像の画素値のｘ方向の２階の微分値を要素とする縦ベクトル、∂²ｆ／∂ｙ²は復元すべき動画像の画素値のｙ方向の２階の微分値を要素とする縦ベクトルである。また、｜｜はベクトルのノルムを表す。べき指数ｍの値は、（数２）、（数７）におけるべき指数Ｍと同様に、１または２が望ましい。

なお、上記の偏微分値∂ｆ／∂ｘ、∂ｆ／∂ｙ、∂²ｆ／∂ｘ²、∂²ｆ／∂ｙ²は、着目画素近傍の画素値による差分展開により、例えば（数１０）により近似計算することができる。

差分展開は上記（数１０）に限らず、例えば（数１１）の様に、近傍の他の画素を参照するようにしてもよい。

（数１１）は（数１０）による計算値に対して、近傍で平均化することになる。これにより、空間解像度は低下するが、ノイズの影響を受けにくくできる。さらに、両者の中間的なものとして、０≦α≦１の範囲のαで重み付けをして、以下の式を採用してもよい。

差分展開をどのように計算するかに関して、処理結果の画質がより改善されるようにノイズレベルに応じてαを予め決めてもよいし、もしくは、回路規模や演算量を少しでも小さくするために、（数１０）を用いるようにしてもよい。

なお、画像ｆの画素値の分布に関する滑らかさの拘束としては、（数８）、（数９）に限らず、例えば、（数１３）に示す２階の方向微分の絶対値のｍ乗を用いても良い。

ここで、ベクトルｎ_minおよび角度θは１階の方向微分の２乗が最小になる方向であり、下記（数１４）によって与えられる。

さらに、画像ｆの画素値の分布に関する滑らかさの拘束としては、下記（数１５）から（数１７）のいずれかのＱを用いて、ｆの画素値のこう配に応じて拘束条件を適応的に変化させてもよい。

（数１５）から（数１７）において、ｗ（ｘ，ｙ）は画素値のこう配の関数であり、拘束条件に対する重み関数である。例えば、下記（数１８）に示す画素値のこう配成分のべき乗和が、大きい場合にはｗ（ｘ，ｙ）の値が小さく、逆の場合にはｗ（ｘ，ｙ）の値が大きくなるようにすると、ｆのこう配に応じて拘束条件を適応的に変化させることができる。

このような重み関数を導入することにより、復元される画像ｆが必要以上に平滑化されることを防ぐことができる。

また、（数１８）に示す輝度こう配の成分の２乗和の代わりに、（数１９）に示す方向微分のべき乗の大小によって、重み関数ｗ（ｘ，ｙ）を定義してもよい。

ここで、ベクトルｎ_maxおよび角度θは方向微分が最大になる方向であり、下記（数２０）によって与えられる。

（数８）、（数９）、（数１３）〜（数１７）に示したような、動画像ｆの画素値の分布に関する滑らかさの拘束を導入して（数２）を解く問題は、公知の解法（有限要素法等の変分問題の解法）によって計算することができる。

ｆに含まれる画像の動きの分布に関する滑らかさの拘束としては、下記（数２１）または（数２２）を用いる。

ここで、ｕは動画像ｆから得られる各画素についての動きベクトルのｘ方向の成分を要素とする縦ベクトル、ｖは動画像ｆから得られる各画素についての動きベクトルのｙ方向の成分を要素とする縦ベクトルである。

ｆから得られる画像の動きの分布に関する滑らかさの拘束としては、（数１７）、（数１８）に限らず、例えば（数２３）、（数２４）に示す１階または２階の方向微分としてもよい。

さらに、（数２５）〜（数２８）に示すように、（数１７）〜（数２０）の拘束条件を、ｆの画素値のこう配に応じて適応的に変化させてもよい。

ここで、ｗ（ｘ，ｙ）は、ｆの画素値のこう配に関する重み関数と同一のものであり、（数１８）に示す画素値のこう配の成分のべき乗和、または、（数１９）に示す方向微分のべき乗によって定義されるものである。

このような重み関数を導入することにより、ｆの動き情報が必要以上に平滑化されることを防ぐことができ、その結果、復元される画像ｆが必要以上に平滑化されることを防ぐことができる。

（数２１）〜（数２８）に示したような、画像ｆから得られる動きの分布に関する滑らかさの拘束を導入して（数２）を解く問題は、復元すべき画像ｆと動き情報（ｕ，ｖ）が相互に依存するため、ｆについての滑らかさの拘束を用いる場合と比較して複雑な計算が必要となる。

これに対しては、公知の解法（ＥＭアルゴリズム等を用いた変分問題の解法）によって計算することができる。その際、繰り返し計算に、復元すべき画像ｆと動き情報（ｕ，ｖ）の初期値が必要になる。ｆの初期値としては、入力画像の補間拡大画像を用いればよい。

一方、動き情報としては、動き検出部２０１において（数１）ないし（数２）を計算して求めた動き情報を用いる。その結果、復元処理部２０２において、上述のごとく、（数２１）〜（数２８）に示したような、画像ｆから得られる動きの分布に関する滑らかさの拘束を導入して（数２）を解くことにより、超解像処理結果の画質を向上させることができる。

復元処理部２０２における処理は、（数８）、（数９）、（数１３）〜（数１７）に示した画素値の分布に関する滑らかさの拘束のいずれかと、（数２１）〜（数２８）に示した動きの分布に関する滑らかさの拘束のいずれかの両方を組み合わせて、（数２９）のように同時に用いてもよい。

ここで、Ｑｆ はｆの画素値のこう配に関する滑らかさの拘束、Ｑｕｖはｆから得られる画像の動きの分布に関する滑らかさの拘束、λ１ ，λ２ はＱｆ とＱｕｖの拘束に関する重みである。

画素値の分布に関する滑らかさの拘束と、画像の動きの分布に関する滑らかさの拘束の両方を導入して（数３）を解く問題も、公知の解法（ＥＭアルゴリズム等を用いた変分問題の解法）によって計算することができる。

また、動きに関する拘束は、（数２１）〜（数２８）に示した動きベクトルの分布の滑らかさに関するものに限らず、対応点間の残差（動きベクトルの始点と終点間における画素値の差）を評価値として、これを小さくするようにしてもよい。対応点間の残差は、ｆを関数ｆ（ｘ，ｙ，ｔ）として表すと、

と表せる。

ｆをベクトルとして、画像全体について考えると、各画素における残差は下記（数３１）に示すようにベクトル表現できる。

残差の平方和は下記（数３２）に示すように表すことができる。

（数３１）、（数３２）において、Ｈ_mはベクトルｆの要素数（時空間の総画素数）×ｆの要素数の行列である。Ｈ_mは、各行において、動きベクトルの視点と終点に相当する要素だけが０でない値を持ち、それ以外の要素は０の値を持つ。動きベクトルが整数精度の場合、視点と終点に相当する要素が、それぞれ、−１と１の値を持ち、他の要素は０である。

動きベクトルがサブピクセル精度の場合には、動きベクトルのサブピクセル成分の値に応じて、終点近傍の複数の画素に相当する複数の要素が値を持つことになる。

（数３２）をＱｍとおき、拘束条件を（数３３）のようにしてもよい。

ここで、λ３は拘束条件Ｑｍに関する重みである。

以上述べた方法によってＲとＢの低解像度動画像から抽出した動き情報を用いることにより、ベイヤー配列の撮像素子によって撮像されたＧの動画像（複数フレームにわたって露光された画像）を高時空間解像度化することができる。

＜各画素におけるＲ，Ｂの画素値の復元＞
ＲとＢについては、図５に示すように、補間拡大したＲ画像、Ｂ画像に、前記高時空間解像度化したＧの高周波成分を重畳することにより、簡易な処理によってより高解像度化した結果をカラー画像として出力できる。その際、高周波数域以外（中低周波数域の）のＲ、Ｇ，Ｂ間の局所的な相関関係に応じて、上記重畳する高域成分の振幅を制御することにより、偽色の発生を抑え、見た目に自然な高解像度化処理を行うことができる。

また、Ｒ，Ｂについても、Ｇの高域を重畳して高解像度化するので、より安定した高解像度化が可能となる。

図５は、上述の動作を行う復元処理部２０２の構成の一例である。復元処理部２０２は、Ｇ復元部５０１と、サブサンプリング部５０２と、Ｇ補間部５０３と、Ｒ補間部５０４と、Ｒ用ゲイン制御部５０５と、Ｂ補間部５０６と、Ｂ用ゲイン制御部５０７とを備えている。

Ｇ復元部５０１は、上述したＧの復元を行う。

サブサンプリング部５０２は、高解像度化したＧをＲ，Ｂと同じ画素数に間引く。

Ｇ補間部５０３は、サブサンプリングによって画素値が失われた画素における画素値を補間によって計算する。

Ｒ補間部５０４は、Ｒを補間する。

Ｒ用ゲイン制御部５０５は、Ｒに重畳するＧの高域成分に対するゲイン係数を計算する。

Ｂ補間部５０６は、Ｂを補間する。

Ｂ用ゲイン制御部５０７は、Ｂに重畳するＧの高域成分に対するゲイン係数を計算する。

以下、上述の復元処理部２０２の動作を説明する。

Ｇ復元部５０１は、Ｇを高解像度高フレームレート画像として復元する。Ｇ復元部５０１は、復元結果を出力画像のＧ成分として出力する。当該Ｇ成分はサブサンプリング部５０２に入力される。サブサンプリング部５０２は、入力されたＧ成分を間引く（サブサンプリングする）。

Ｇ補間部５０３は、サブサンプリング部５０２で間引かれたＧ画像を補間する。これにより、サブサンプリングによって画素値が失われた画素における画素値が、周囲の画素値からの補間によって計算される。このようにして補間計算されたＧ画像を、Ｇ復元部５０１の出力から差し引くことによって、Ｇの高空間周波数成分が抽出される。

一方、Ｒ補間部５０４は、空間加算されたＲ画像をＧと同じ画素数になるよう補間拡大する。Ｒ用ゲイン制御部５０５は、Ｇ補間部５０３の出力（すなわち、Ｇの低空間周波成分）とＲ補間部５０４の出力との間での、局所的な相関係数を計算する。局所的な相関係数として、例えば（数３４）により、着目画素（ｘ，ｙ）の近傍３×３画素における相関係数が計算される。

このようにして計算されたＲとＧの低空間周波数成分における相関係数を、Ｇの高空間周波数成分に乗じた後、Ｒ補間部５０４の出力に加算することにより、Ｒ成分の高解像度化が行なわれる。

Ｂ成分についてもＲ成分と同様に処理する。すなわち、Ｂ補間部５０６は、空間加算されたＢ画像を、Ｇと同じ画素数になるよう補間拡大する。Ｂ用ゲイン制御部５０７は、Ｇ補間部５０３の出力（すなわち、Ｇの低空間周波成分）とＢ補間部５０６の出力との間での、局所的な相関係数を計算する。局所的な相関係数として、例えば（数３５）により、着目画素（ｘ，ｙ）の近傍３×３画素における相関係数が計算される。

このようにして計算されたＢとＧの低空間周波数成分における相関係数を、Ｇの高空間周波数成分に乗じた後、Ｂ補間部５０６の出力に加算することにより、Ｂ成分の高解像度化が行なわれる。

なお、上述した復元部２０２におけるＧおよびＲ，Ｂの画素値の計算方法は一例であり、他の計算方法を採用してもよい。例えば復元部２０２においてＲ，Ｇ，Ｂの画素値を同時に計算してもよい。

すなわち復元部２０２において、目的とするカラー画像ｇにおける各色の画像の空間的変化パターンが近い程度を表す評価関数Ｊを設定し、評価関数Ｊを最小化する目的画像ｇを求める。空間的変化パターンが近いことは、青画像、赤画像、および緑画像の空間的変化が相互に相似していることを意味する。評価関数Ｊの一例を（数３６）に示す。

評価関数Ｊは、生成したい高解像度カラー画像（目的画像）ｇを構成する赤、緑、および青の各色の画像（画像ベクトルとしてＲ_H、Ｇ_H、Ｂ_Hと表記）の関数として定義される。（数３６）におけるＨ_R、Ｈ_G、Ｈ_Bは、それぞれ、目的画像ｇの各色画像Ｒ_H、Ｇ_H、Ｂ_Hから、各色の入力画像Ｒ_L、Ｇ_L、Ｂ_L（ベクトル表記）への低解像度化変換を表す。Ｈ_RおよびＨ_G、Ｈ_Bは、それぞれ、例えば（数３７）（数３８）（数３９）に示されるような低解像度化の変換である。

入力画像の画素値は、目的画像の対応する位置を中心とした、局所領域の画素値の重み付け和となっている。

（数３７）、（数３８）、（数３９）において、Ｒ_H（ｘ，ｙ）Ｇ_H（ｘ，ｙ）Ｂ_H（ｘ，ｙ）は、それぞれ、目的画像ｇの画素位置（ｘ，ｙ）における赤（Ｒ）の画素値、緑（Ｇ）の画素値、青（Ｂ）の画素値を示す。また、Ｒ_L（ｘ_RL，ｙ_RL）、Ｇ_L（ｘ_GL，ｙ_GL）、Ｂ_L（ｘ_BL，ｙ_BL）は、それぞれ、赤入力画像の画素位置（ｘ_RL，ｙ_RL）の画素値、緑入力画像の画素位置（ｘ_GL，ｙ_GL）の画素値、青入力画像の画素位置（ｘ_BL，ｙ_BL）の画素値を示している。ｘ（ｘ_RL）、ｙ（ｙ_RL）、ｘ（ｘ_GL）、ｙ（ｙ_GL）、ｘ（ｘ_BL）、ｙ（ｙ_BL）は、それぞれ、入力画像の赤画像の画素位置（ｘ_RL，ｙ_RL）に対応する目的画像の画素位置のｘ、ｙ座標と、入力画像の緑画像の画素位置（ｘ_GL，ｙ_GL）に対応する目的画像の画素位置のｘ、ｙ座標と、入力画像の青画像の画素位置（ｘ_BL，ｙ_BL）に対応する目的画像の画素位置のｘ、ｙ座標とを表している。また、ｗ_Rとｗ_Gとｗ_Bは、赤画像と緑画像と青画像の入力画像の画素値に対する目的画像の画素値の重み関数をそれぞれ示している。なお、（ｘ’，ｙ’）∈Ｃは、ｗ_Rとｗ_Gとｗ_Bとが定義される局所領域の範囲を示している。

低解像度化画像および入力画像の対応画素位置における画素値の差の２乗和を、評価関数の評価条件として設定する（（数３０）の第１項、第２項、および第３項）。つまり、これらの評価条件は、低解像度化画像に含まれる各画素値を要素とするベクトルと、入力画像に含まれる各画素値を要素とするベクトルとの差分ベクトルの大きさを表す値により設定される。

（数３６）の第４項のＱ_sは、画素値の空間的な滑らかさを評価する評価条件である。

Ｑ_sの例であるＱ_s1およびＱ_s2を（数４０）および（数４１）に示す。

（数４０）において、θ_H（ｘ，ｙ）、ψ_H（ｘ，ｙ）、ｒ_H（ｘ，ｙ）は、目的画像の画素位置（ｘ，ｙ）における赤、緑、青のそれぞれの画素値で表される３次元直交色空間（いわゆるＲＧＢ色空間）内の位置を、ＲＧＢ色空間に対応する球面座標系（θ、ψ、ｒ）で表現した場合の座標値である。ここで、θ_H（ｘ，ｙ）とψ_H（ｘ，ｙ）は２種類の偏角を表し、ｒ_H（ｘ，ｙ）は動径を表す。

図６は、ＲＧＢ色空間と球面座標系（θ、ψ、ｒ）との対応例を示す。

図６では、一例として、θ＝０°かつψ＝０°の方向をＲＧＢ色空間のＲ軸の正方向とし、θ＝９０°かつψ＝０°の方向をＲＧＢ色空間のＧ軸の正方向としている。ここで、偏角の基準方向は、図６に示す方向に限定されることなく、他の方向であってもよい。このような対応に従って、画素ごとに、ＲＧＢ色空間の座標値である赤、緑、青のそれぞれの画素値を、球面座標系（θ、ψ、ｒ）の座標値に変換する。

目的画像の各画素の画素値をＲＧＢ色空間内の３次元ベクトルとして考えた場合に、３次元ベクトルをＲＧＢ色空間に対応付けられる球面座標系（θ、ψ、ｒ）で表現することにより、画素の明るさ（信号強度、輝度も同義である）は、ベクトルの大きさを表すｒ軸の座標値に相当する。また、画素の色彩（色相、色差、彩度などを含む色情報）を表すベクトルの向きは、θ軸およびψ軸の座標値によって規定される。このため、球面座標系（θ、ψ、ｒ）を用いることにより、画素の明るさおよび色彩を規定するｒ、θ、ψの３つのパラメータを個別に取り扱うことができる。

（数４０）は、目的画像の球面座標系で表現された画素値の、ｘｙ空間方向の２階差分値の２乗和を定義している。（数４０）は、目的画像内で空間的に隣り合う画素における球面座標系で表現された画素値の変化が一様であるほど、値が小さくなる条件Ｑ_s1を定義している。画素値の変化が一様であることは、画素の色が連続していることに対応する。条件Ｑ_s1の値が小さくあるべきということは、目的画像内の空間的に隣り合う画素の色が連続すべきということを表している。

画像中において画素の明るさの変化および画素の色彩の変化は、物理的に異なる事象から生じ得る。このため、（数４０）に示すように、画素の明るさの連続性（ｒ軸の座標値の変化の一様性）に関する条件（（数４０）の大括弧内の第３項）と、画素の色彩の連続性（θ軸およびψ軸の座標値の変化の一様性）に関する条件（（数４０）の大括弧内の第１項および第２項）とを個別に設定することにより、望ましい画質が得やすくなる。

λθ（ｘ，ｙ）、λψ（ｘ，ｙ）、およびλ_r（ｘ，ｙ）は、それぞれ、θ軸、ψ軸、およびｒ軸の座標値を用いて設定される条件に対して、目的画像の画素位置（ｘ，ｙ）において適用される重みである。これらの値は、予め定めておく。簡単には、λθ（ｘ，ｙ）＝λψ（ｘ，ｙ）＝１．０、λ_r（ｘ，ｙ）＝０．０１のように、画素位置やフレームに依らずに設定してもよい。また、好ましくは、画像中の画素値の不連続性などが予測できる位置において、この重みを小さく設定してもよい。画素値が不連続であることは、入力画像のフレーム画像内の隣り合う画素における画素値の差分値や２階差分値の絶対値が一定値以上であることにより判断してもよい。

画素の色彩の連続性に関する条件に適用する重みを、画素の明るさの連続性に関する条件に適用する重みよりも大きくしておくことが望ましい。これは、被写体表面の凹凸や動きによる被写体表面の向き（法線の向き）の変化によって、画像中の画素の明るさが色彩に比べて変化しやすい（変化の一様性に乏しい）ことによる。

なお、（数４０）では、目的画像の球面座標系で表現された画素値の、ｘｙ空間方向の２階差分値の２乗和を条件Ｑ_s1として設定したが、２階差分値の絶対値和、または１階差分値の２乗和もしくは絶対値和を条件として設定してもよい。

上記説明ではＲＧＢ色空間に対応付けられる球面座標系（θ、ψ、ｒ）を用いて色空間条件を設定したが、用いる座標系は球面座標系に限るものではなく、画素の明るさと色彩とを分離しやすい座標軸を有する新たな直交座標系において条件を設定することで、前述と同様の効果が得られる。

新たな直交座標系の座標軸は、例えば、入力動画像または基準となる他の動画像に含まれる画素値のＲＧＢ色空間内での頻度分布を主成分分析することで固有ベクトルの方向を求め、求めた固有ベクトルの方向に設ける（固有ベクトル軸とする）ことができる。

（数４１）において、Ｃ₁（ｘ，ｙ）、Ｃ₂（ｘ，ｙ）、Ｃ₃（ｘ，ｙ）は、目的画像の画素位置（ｘ，ｙ）における赤、緑、青のそれぞれの画素値であるＲＧＢ色空間の座標値を、新たな直交座標系の座標軸Ｃ₁、Ｃ₂、Ｃ₃の座標値に変換する回転変換である。

（数４１）は、目的画像の新たな直交座標系で表現された画素値の、ｘｙ空間方向の２階差分値の２乗和を定義している。（数４１）は、目的画像の各フレーム画像内で空間的に隣り合う画素における新たな直交座標系で表現された画素値の変化が一様である（つまり画素値が連続している）ほど、値が小さくなる条件Ｑ_s2を定義している。

条件Ｑ_s2の値が小さくあるべきことは、目的画像内の空間的に隣り合う画素の色が連続すべきことを表している。

λ_C1（ｘ，ｙ）、λ_C2（ｘ，ｙ）、λ_C3（ｘ，ｙ）はそれぞれ、Ｃ₁軸、Ｃ₂軸、Ｃ₃軸の座標値を用いて設定される条件に対して、目的画像の画素位置（ｘ，ｙ）において適用される重みであり、予め定めておく。

Ｃ₁軸、Ｃ₂軸、Ｃ₃軸が固有ベクトル軸である場合、各固有ベクトル軸に沿ってλ_C1（ｘ，ｙ）、λ_C2（ｘ，ｙ）、λ_C3（ｘ，ｙ）の値を個別に設定することで、固有ベクトル軸によって異なる分散の値に応じて好適なλの値を設定できるという利点がある。すなわち、非主成分の方向には分散が小さく、２階差分の２乗和が小さくなることが期待できるため、λの値を大きくする。逆に、主成分の方向にはλの値を相対的に小さくする。

以上、２種類の条件Ｑ_s1、Ｑ_s2の例を説明した。条件Ｑ_sとしては、Ｑ_s1、Ｑ_s2いずれを用いることもできる。

例えば、（数４０）に示される条件Ｑ_s1を用いた場合、球面座標系（θ、ψ、ｒ）を導入することにより、色情報を表すθ軸およびψ軸の座標値、ならびに信号強度を表すｒ軸の座標値のそれぞれの座標値を個別に用いて条件を設定し、かつ条件の設定に際して色情報と信号強度とにそれぞれ好適な重みパラメータλを付与できるので、高画質の画像の生成が容易になるという利点がある。

（数４１）に示される条件Ｑ_s2を用いた場合、ＲＧＢ色空間の座標値から線型（回転）変換によって得られる新たな直交座標系の座標値で条件を設定するため、演算が簡素化できる利点がある。

また、固有ベクトル軸を新たな直交座標系の座標軸Ｃ₁、Ｃ₂、Ｃ₃とすることにより、より多くの画素が影響を受ける色の変化を反映した固有ベクトル軸の座標値を用いて条件を設定できる。このため、単純に赤、緑、青の各色コンポーネントの画素値を用いて条件を設定する場合と比べて、得られる目的画像の画質の向上が期待できる。

なお、評価関数Ｊは、上記に限定するものではなく、（数３６）の項を類似式からなる項と置換し、また異なる条件を表す新たな項を追加してもよい。

次に、（数３６）の評価関数Ｊの値をできるだけ小さく（望ましくは最小に）する目的画像の各画素値を求めることによって、目的画像の各色画像Ｒ_H、Ｇ_H、Ｂ_Hを生成する。評価関数Ｊを最小にする目的画像ｇは、例えば、Ｊを目的画像の各色画像Ｒ_H、Ｇ_H、Ｂ_Hの各画素値成分で微分した式を全て０とおいた（数４２）の方程式を解いて求めてもよく、また最急勾配法などの反復演算型の最適化手法を用いて求めてもよい。

なお、本実施形態では、出力するカラー画像をＲ、Ｇ、Ｂとして説明したが、例えばＹ、Ｐｂ、Ｐｒ等のＲＧＢ以外のカラー画像を出力することももちろんできる。すなわち、上記（数４２）と、下記（数４３）とから、（数４４）に示す変数変換を行うことができる。

さらに、Ｐｂ、ＰｒはＹと比べて水平画素数が半分であることを考慮して、下記（数４５）の関係を利用することにより、Ｙ_H、Ｐｂ_L、Ｐｒ_Lについての連立方程式を立てることができる。

この場合、連立方程式で解くべき変数の総数をＲＧＢの場合と比べて３分の２に低減させることができ、演算量を低減できる。

以上述べたように、本実施形態によれば、単板撮像素子に時間加算と空間加算の機能を付加し、画素毎に時間加算もしくは空間加算された入力画像に対して復元処理を施すことによって、撮像時に光量を確保しつつ高解像度かつ高フレームレートの画像（空間加算と時間加算を行わずに全画素を読み出した画像）を推定し復元することができる。

（実施形態２）
実施形態１では、Ｒ、Ｂについての空間的な加算の画素数と、Ｇについての時間的な加算の画素数があらかじめ決まっている場合について説明した。本実施形態では、光量に応じて上記加算画素数をコントロールする場合について説明する。

図７は、本実施形態による撮像処理装置３００の構成を示す構成図である。図７において、図１と同じ動作をする構成要素には、図１と同一の符号を付し、説明を省略する。以下、制御部１０７の動作を説明する。

制御部７は、光量に応じて時間加算部１０３、空間加算部１０４による加算画素数を変更する。光量の検出は、撮像素子からの読み出し信号の全平均、色毎の平均を見てもよいし、時間加算後や空間加算後の信号を見てもよいし、画像復元１０５によって復元された画像の輝度レベルを見てもよいし、別途センサを設けるようにしてもよい。そして、光量が十分な場合（飽和レベルの半分以上の場合）には、加算読み出しを行わずに、1フレームに対して全画素を読み出す。光量が不足し、飽和レベルの１／２、１／３、１／４、１／６，１／９と低下するにつれ、制御部は時間加算部１０３、空間加算部１０４における時間加算のフレーム数と空間加算の画素数を、それぞれ、２，３，４，６，９と切り替えて制御する。

これにより、カメラへの入射光量に応じて加算処理を切り替えることが可能となり、低光量時から高光量時まで、シームレスに光量に応じた処理を行うことができ、ダイナミックレンジを拡大して、飽和を抑えて撮像することが可能となる。

なお、上記加算画素数の制御は画像全体に対して制御するものに限らず、場所毎、領域毎に適応的に切り替えるようにしてもよいことは言うまでもない。

なお、上述の説明から明らかなように、光量に代えて、画素値を利用して加算処理を切り替えるよう、制御部７を動作させてもよい。または、ユーザからの指定によって動作モードを変更することにより、加算処理を切り替えてもよい。

（実施形態３）
実施形態１および２では、ベイヤー配列のカラーフィルターアレイを用いて撮像する場合を主に説明した。本実施形態においては、異なる種類のカラーフィルターアレイを用いた撮像素子の例を説明する。

図８は、配置と露光時間が、Ｒ，Ｇ，Ｂについては長時間露光されるように設定され、白については短時間露光されるように設定されている撮像素子の構成例を示す。なお、説明の便宜上、図８には、２×２画素の最小単位のみが示されている。

ここで、カラーフィルターの「白」とは色フィルターがない状態、もしくは、赤外光や紫外光を遮断し可視光を透過する透明フィルターを示す。

図９は、本実施形態における撮像処理装置４００の構成を示すブロック図である。撮像処理装置４００は、撮像素子６０１と、時間加算部６０２と、動き検出部６０３と、復元処理部６０４とを備えている。

撮像素子６０１は、図８に示す様にＲ，Ｇ，Ｂ，白のカラーフィルターアレイを装着して、通常の１フレーム分の蓄積時間で撮影を行う。

時間加算部６０２は、Ｒ，Ｇ，Ｂの画素値を時間方向に、例えば３フレーム分加算する。なお、撮像素子６０１において、画素単位で露光時間を変更できるのであれば、３フレーム分の加算蓄積を画素部で行い、時間加算部６０２をなくした構成にしてもよい。

動き検出部６０３は、短時間露光で撮影した白の情報から、動き情報を検出する。動き検出の具体的な方法は、実施形態１におけるＲ、Ｂに対する動き検出と同様である。

復元処理部６０４は、動き検出部６０３が検出した動き情報と、時間加算部６０２によって時間加算されたＲ，Ｇ，Ｂ画像と撮像素子６０１で撮像された白画像を入力し、各画素の各フレームにおけるＲ，Ｇ，Ｂの画素値を復元し出力する。

以上述べたように、本実施形態によれば、単板撮像素子に時間加算の機能を付加し、画素毎に時間加算もしくは空間加算された入力画像に対して復元処理を施すことによって、撮像時に光量を確保しつつ高解像度かつ高フレームレートの画像（空間加算と時間加算を行わずに全画素を読み出した画像）を推定し復元することができる。

なお、本実施形態では、白画素についての空間加算を行わない場合について説明したが、白画素について空間加算を行うようにしてもよい。

なお、長時間露光するＲＧＢの露光開始と終了のタイミングは、図１０に示すように揃っていてもよいが、必ずしもこれに限るものではない。例えば、図１１に示すように開始および終了のタイミングがずれていてもよい。その場合、Ｒ，Ｇ，Ｂのサンプリング時間がずれていることが、時間解像度の向上に繋がる。

なお、カラーフィルターアレイと露光時間の組み合わせは、本実施形態における図８に示すものに限らず、例えば、図１２に示すものにし、Ｒ，Ｇ，Ｂの画素について空間加算を行うようにしても、同様の効果を得ることができ、本発明に含まれる。

なお、実施形態１から３では、撮像時のカラーフィルターアレイとして原色系のＲＧＢフィルターを用いる場合について説明したが、カラーフィルターアレイとしてはこれに限る必要はない。補色系のＣＭＹ（シアン、マゼンタ、イエロー）フィルターを用いてもよい。ＣＭＹフィルターを用いると、色再現性の面でＲＧＢフィルターに及ばないが、光量の面では概ね２倍有利になる。

なお、上述の各実施形態において、異なる色フィルターと時間加算、空間加算によって撮像される画素値（時間加算後、空間加算後の画素値、すなわち、光量に相当）の範囲は、広い色範囲を扱えることが当然望ましい。例えば、実施形態１，２の場合、空間加算を２画素とすると時間加算が２フレームを用いて時間加算を行い、空間加算を４画素とすると４フレームを用いて時間加算を行った。このように、例えば、時間加算を行うフレーム数などを事前に揃えておくことが望ましい。また、実施形態３の場合、Ｒ，Ｇ，Ｂの時間加算を３フレームとすることで、白画素との光量を概略揃えることができる。

一方、特殊な例として、被写体の色が特定の色に偏っているときには、例えば原色系のフィルターを用いる場合、Ｒ，Ｇ、Ｂで時間加算、空間加算の画素数を適応的に変えることで、ダイナミックレンジを各色毎に有効に使うことができる。

＜フィルターの分光特性の説明＞
なお、本発明の各実施形態においては単板式の撮像素子を用いたものについて説明したが、３板式の撮像素子用に用いられる薄膜光学フィルターと、単板用に用いられる染料フィルターとでは、図１３に示す様に、分光特性が異なる。薄膜光学フィルターは分光特性の透過率の立ち上がりが、染料フィルターのそれと比べて急峻であり、ＲＧＢ間で透過率の相互の重なりが少ない。これに対して、染料フィルターは透過率の立ち上がりが、薄膜光学フィルターのそれと比べて急峻でなく、ＲＧＢ間で透過率の相互の重なりが多い。

本発明の各実施形態においては、Ｒ、Ｂの画像から検出した動き情報を用いてＧの時間加算画像を時間的、空間的に分解するため、染料フィルターの様にＧの情報がＲ，Ｂに含まれている方が、Ｇの処理にとって好ましい。

＜フォーカルプレーン現象の補正＞
なお、上述したいずれの実施形態においても、１フレームの画像内の色毎の各画素について、露光の開始と終了時間が同一（すなわち、いわゆるグローバルシャッタを用いた撮影）であるとして説明した。たとえば図１４（ａ）は、グローバルシャッタを用いた露光タイミングを示している。

しかしながら、本発明の適用可能な範囲はこれに限るものではない。たとえば図１４（ｂ）に示す様な、ＣＭＯＳ撮像素子での撮影時にしばしば問題となるフォーカルプレーン現象についても、各素子の露光タイミングが異なっていることを定式化することにより、グローバルシャッタを用いて撮影した画像を復元することができる。

上述の実施形態では、撮像処理装置は、図に示す種々の構成を有するとして説明した。たとえば、画像復元部１０５（図１、図２）などは、機能的に見たブロックとして記載されていた。これらの機能ブロックは、ハードウェア的には、デジタル信号プロセッサ（ＤＳＰ）のような１つの半導体チップまたはＩＣによって実現することも可能であるし、たとえばコンピュータとソフトウェア（コンピュータプログラム）とを用いて実現することもできる。コンピュータ（プロセッサ）は、たとえば撮像処理装置に実装されていてもよく、コンピュータプログラムを実行することにより、たとえば時間加算部１０３、空間加算部１０４および画像復元部１０５の処理の少なくとも１つを実現することが可能である。

本発明の撮像処理装置は、低光量時の高解像度撮影や小型画素による撮像に有用である。また、処理部は装置としての実施に限らず、プログラムとしても適用が可能である。

１００ 撮像処理装置
１０１ 光学系
１０２ 単板カラー撮像素子
１０３、６０２ 時間加算部（第１の加算部）
１０４ 空間加算部（第２の加算部）
１０５ 画像復元部

Claims (14)

1. 光学素子と、
   複数の色からなるカラーフィルターアレイが装着された単板撮像素子であって、前記光学素子に導かれて前記カラーフィルターアレイを透過した光の量に応じた値を出力し、フレーム時刻毎に前記複数の色ごとの画像の取得を可能にする単板撮像素子と、
   複数のフレーム時刻にわたって得られた各画像の、前記複数の色における第１色に対応する値を加算する第１の加算部と、
   同じフレーム時刻に撮影された画像の、前記複数の色における、前記第１色以外の第２色に対応する複数の値を加算する第２の加算部と、
   前記第１の加算部により加算された前記第１色に基づく画像、および、前記第２の加算部により加算された前記第２色に基づく画像から、各フレーム時刻における複数の色を含む画像を復元する画像復元部と、
   を備えた、撮像処理装置。
2. 前記カラーフィルターアレイは、前記複数の色として、前記第１色および前記第２色のいずれとも異なる第３の色を含んでおり、
   前記第２の加算部は、同じフレーム時刻に撮影された画像の、前記第３色に対応する複数の値を加算し、
   前記画像復元部は、
   前記第２の加算部により加算された前記第２色の画像および前記第３色の画像から動きを検出し、検出した動きに関する動き情報を出力する動き検出部と、
   前記第１色の画像、前記第２色の画像および前記第３の画像と、動き検出部により検出された動き情報とに基づいて、各フレーム時刻における複数の色を含む画像を復元する復元部と
   を備えた、請求項１に記載の撮像処理装置。
3. 前記第２の加算部、および、前記第１の加算部の動作を制御する制御部をさらに備え、
   前記制御部は、前記単板撮像素子が受けた光の量または画素値に応じて、または、ユーザが指定した動作モードに応じて、前記第２の加算部、および、前記第１の加算部が加算する対象の画素の数を制御する、請求項１に記載の撮像処理装置。
4. 単板撮像素子は積層型である、請求項１から３のいずれかに記載の撮像処理装置。
5. 前記第１色は緑、前記第２色および前記第３色は赤および青である、請求項２に記載の撮像処理装置。
6. 赤、緑、青および白のカラーフィルターアレイが装着された単板撮像素子であって、前記カラーフィルターアレイを透過した光の量に応じた値を出力し、フレーム時刻毎に前記カラーフィルターアレイの色ごとの画像の取得を可能にする単板撮像素子と、
   複数のフレーム時刻にわたって得られた、前記赤、前記緑および前記青の各画像に対応する値を加算する第１の加算部と、
   前記白色の画像から動きを検出し、検出した動きに関する動き情報を出力する動き検出部と、
   前記第１の加算部により加算された前記赤、前記緑および前記青の各画像、前記白色の画像、および、前記動き情報に基づいて、各フレーム時刻における前記赤、前記緑および前記青を含む画像を復元する画像復元部と、
   を備えた、撮像処理装置。
7. 赤、緑、青および白のカラーフィルターアレイが装着された単板撮像素子であって、前記カラーフィルターアレイを透過した光の量に応じた値を出力し、フレーム時刻毎に前記カラーフィルターアレイの色ごとの画像の取得を可能にする単板撮像素子と、
   複数のフレーム時刻にわたって得られた、前記赤、前記緑および前記青の各画像に対応する値を加算する第１の加算部と、
   同じフレーム時刻に撮影された白色の画像に対応する複数の値を加算する第２の加算部と、
   前記第２の加算部により加算された前記白色の画像から動きを検出し、検出した動きに関する動き情報を出力する動き検出部と、
   前記第１の加算部により加算された前記赤、前記緑および前記青の各画像、前記第２の加算部により加算された白色の画像、および、前記動き情報に基づいて、各フレーム時刻における前記赤、前記緑および前記青を含む画像を復元する画像復元部と、
   を備えた、撮像処理装置。
8. 前記第１の加算部は、前記単板撮像素子における露光時間を複数のフレーム時刻にわたる長さにすることにより、前記赤、前記緑および前記青の各画像に対応する値を加算しており
   前記第１の加算部は、前記赤、前記緑および前記青に対して露光時間を変化させる、請求項６または７に記載の撮像処理装置。
9. 光学素子と、
   複数の色からなるカラーフィルターアレイが装着された単板撮像素子であって、前記光学素子に導かれて前記カラーフィルターアレイを透過した光の量に応じた値を出力し、フレーム時刻毎に前記複数の色ごとの画像の取得を可能にする単板撮像素子と
   を備えた撮像処理装置に実装されたコンピュータによって実行されるコンピュータプログラムであって、
   前記コンピュータプログラムは、前記コンピュータに対し、
   複数のフレーム時刻にわたって得られた各画像の、前記複数の色における第１色に対応する値を加算するステップと、
   同じフレーム時刻に撮影された画像の、前記複数の色における、前記第１色以外の第２色に対応する複数の値を加算するステップと、
   前記第１の加算部により加算された前記第１色に基づく画像、および、前記第２の加算部により加算された前記第２色に基づく画像から、各フレーム時刻における複数の色を含む画像を復元するステップと
   を実行させる、コンピュータプログラム。
10. 光学素子と、
    複数の色からなるカラーフィルターアレイが装着された単板撮像素子であって、前記光学素子に導かれて前記カラーフィルターアレイを透過した光の量に応じた値を出力し、フレーム時刻毎に前記複数の色ごとの画像の取得を可能にする単板撮像素子と
    を備えた撮像処理装置によって取得された、前記複数の色ごとの画像を処理する方法であって、
    複数のフレーム時刻にわたって得られた各画像の、前記複数の色における第１色に対応する値を加算する第１の加算ステップと、
    同じフレーム時刻に撮影された画像の、前記複数の色における、前記第１色以外の第２色に対応する複数の値を加算する第２の加算ステップと、
    前記第１の加算ステップにより加算された前記第１色に基づく画像、および、前記第２の加算ステップにより加算された前記第２色に基づく画像から、各フレーム時刻における複数の色を含む画像を復元するステップと
    を包含する、画像処理方法。
11. 赤、緑、青および白のカラーフィルターアレイが装着された単板撮像素子であって、前記カラーフィルターアレイを透過した光の量に応じた値を出力し、フレーム時刻毎に前記カラーフィルターアレイの色ごとの画像の取得を可能にする単板撮像素子を備えた撮像処理装置によって取得された、前記カラーフィルターアレイの色ごとの画像を処理する方法であって、
    複数のフレーム時刻にわたって得られた、前記赤、前記緑および前記青の各画像に対応する値を加算する第１の加算ステップと、
    前記白色の画像から動きを検出し、検出した動きに関する動き情報を出力するステップと、
    前記第１の加算ステップにより加算された前記赤、前記緑および前記青の各画像、前記白色の画像、および、前記動き情報に基づいて、各フレーム時刻における前記赤、前記緑および前記青を含む画像を復元するステップと
    を包含する、画像処理方法。
12. 赤、緑、青および白のカラーフィルターアレイが装着された単板撮像素子であって、前記カラーフィルターアレイを透過した光の量に応じた値を出力し、フレーム時刻毎に前記カラーフィルターアレイの色ごとの画像の取得を可能にする単板撮像素子を備えた撮像処理装置に実装されたコンピュータによって実行されるコンピュータプログラムであって、
    前記コンピュータプログラムは、前記コンピュータに対し、
    複数のフレーム時刻にわたって得られた、前記赤、前記緑および前記青の各画像に対応する値を加算するステップと、
    前記白色の画像から動きを検出し、検出した動きに関する動き情報を出力するステップと、
    加算する前記ステップにより加算された前記赤、前記緑および前記青の各画像、前記白色の画像、および、前記動き情報に基づいて、各フレーム時刻における前記赤、前記緑および前記青を含む画像を復元するステップと
    を実行させる、コンピュータプログラム。
13. 赤、緑、青および白のカラーフィルターアレイが装着された単板撮像素子であって、前記カラーフィルターアレイを透過した光の量に応じた値を出力し、フレーム時刻毎に前記カラーフィルターアレイの色ごとの画像の取得を可能にする単板撮像素子を備えた撮像処理装置によって取得された、前記カラーフィルターアレイの色ごとの画像を処理する方法であって、
    複数のフレーム時刻にわたって得られた、前記赤、前記緑および前記青の各画像に対応する値を加算する第１の加算ステップと、
    同じフレーム時刻に撮影された白色の画像に対応する複数の値を加算する第２の加算ステップと、
    前記第２の加算ステップにより加算された前記白色の画像から動きを検出し、検出した動きに関する動き情報を出力するステップと、
    前記第１の加算ステップにより加算された前記赤、前記緑および前記青の各画像、前記第２の加算ステップにより加算された白色の画像、および、前記動き情報に基づいて、各フレーム時刻における前記赤、前記緑および前記青を含む画像を復元するステップと
    を包含する、画像処理方法。
14. 赤、緑、青および白のカラーフィルターアレイが装着された単板撮像素子であって、前記カラーフィルターアレイを透過した光の量に応じた値を出力し、フレーム時刻毎に前記カラーフィルターアレイの色ごとの画像の取得を可能にする単板撮像素子を備えた撮像処理装置に実装されたコンピュータによって実行されるコンピュータプログラムであって、
    前記コンピュータプログラムは、前記コンピュータに対し、
    複数のフレーム時刻にわたって得られた、前記赤、前記緑および前記青の各画像に対応する値を加算する第１の加算ステップと、
    同じフレーム時刻に撮影された白色の画像に対応する複数の値を加算する第２の加算ステップと、
    前記第２の加算ステップにより加算された前記白色の画像から動きを検出し、検出した動きに関する動き情報を出力するステップと、
    前記第１の加算ステップにより加算された前記赤、前記緑および前記青の各画像、前記第２の加算ステップにより加算された白色の画像、および、前記動き情報に基づいて、各フレーム時刻における前記赤、前記緑および前記青を含む画像を復元するステップと
    を実行させる、コンピュータプログラム。

Images