JPWO2009019824A1 - 撮像処理装置および撮像装置、画像処理方法およびコンピュータプログラム - Google Patents

Abstract

各カメラへ入射する光量の低下をなくし、高解像度で、かつ、高フレームレートの動画像を生成可能な画像処理装置および方法を提供する。撮像処理装置は、可視光を、少なくとも第１および第２色成分に分離する分離部と、第１色成分の動画像を撮影する第１撮像部であって、第１電荷蓄積期間で露光して、動画像の各画像を第１空間解像度で、かつ、第１時間解像度で撮影する第１撮像部と、第２色成分の動画像を撮影する第２撮像部であって、第１電荷蓄積期間よりも長い第２電荷蓄積期間で露光して、動画像の各画像を第１空間解像度よりも高い第２空間解像度で、かつ、第１時間解像度よりも低い第２時間解像度で撮影する第２撮像部と、第１および第２の撮像部における撮像条件を制御する制御部と、第１色成分および第２色成分の各動画像の情報に基づいて、時空間解像度を高めた第２成分の動画像を生成する処理部とを備えている。

Description

本発明は、動画像の画像処理に関する。より具体的には、撮影された動画像の解像度およびフレームレートの少なくとも一方を画像処理によって高くした動画像を生成する技術に関する。

近年映像入力の分野では、携帯電話用カメラやデジタルスチルカメラの多画素化、画素ピッチの小型化が進んでいる。

空間解像度は、画像撮像機器に必要とされる画質に応じて多岐にわたって使い分けられている。たとえばＴＶ電話の解像度はＱＣＩＦ（Ｑｕａｒｔｅｒ Ｃｏｍｍｏｎ Ｉｎｔｅｒｍｅｄｉａｔｅ Ｆｏｒｍａｔ、横１７６画素、縦１４４画素）程度、または、ＱＶＧＡ（Ｑｕａｒｔｅｒ Ｖｉｄｅｏ Ｇｒａｐｈｉｃｓ Ａｒｒａｙ、横３２０画素、縦１４４画素）程度の比較的低画素数である。一方、デジタル一眼レフカメラの解像度は１０００万画素を超えている。

時間解像度もまた多岐にわたって使い分けられている。たとえばＨＤＴＶまでの画素数の時間解像度については、民生機器によるビデオレート（３０フレーム／秒）での撮像が実現されている。しかしながら、それ以上の画素数での撮像については、そのフレームレートは、デジタルスチルカメラに搭載されている連写機能による毎秒数フレームにとどまっている。

一方、映像表示の分野では、フラットテレビが急激な勢いで普及している。これに伴い、今後様々な解像度のカメラとディスプレイの組み合わせにより、ユーザが映像を視聴することが予測される。

入力側のカメラの時空間解像度（「時間解像度および空間解像度」を意味する。以下同様）と出力側のディスプレイの時空間解像度を比較すると、現状の民生機器では出力側のディスプレイの方が高い。そのため、出力側の性能を最大限発揮させる映像を一般ユーザが手軽に入力できる状況にない。

このような状況になった理由として、これまでは読み出しスピードがボトルネックとなっていたことが挙げられる。高空間解像度の撮影は毎秒５フレーム程度までに限られ、逆に、毎秒３０フレームの撮影はＨＤＴＶの空間解像度までに限られていた。したがって、高い空間解像度画像で、かつ高いフレームレートで撮像は困難であった。

上記の課題に対し、たとえば特許文献１から３は、高空間解像度と高フレームレートの撮像を両立するための方式として、２系統のカメラにより時間解像度と空間解像度の異なる画像を入力し、信号処理によって高空間解像度で高フレームレートの画像を生成する方式を提案している。これらの特許文献には図１８に示す構成が記載されている。

図１８は、従来の撮像装置の構成を示す。撮像装置に入射した光は、その一部がハーフミラー１７１を透過し、第１カメラ１７２に入射する。その結果、低解像度、高フレームレートの動画像が撮影される。一方、撮像装置に入射した光のうち、ハーフミラー１７１で反射した光は、第２カメラ１７３に入射する。その結果、高解像度、低フレームレートの動画像が撮影される。

アップコンバータ１７４は、第１カメラ１７２および第２カメラ１７３で撮影された各動画像を受け取り、画像処理を行って、高解像度、高フレームレートの動画像を出力する。
特開平７−１４３４３９号公報 特表２００５−５１５６７５号公報 特開２００５―３１８５４８号公報

しかしながら、上述の撮像装置は、基本的にはモノクロ画像に対する処理を想定して構成されているため、赤（Ｒ），緑（Ｇ），青（Ｂ）の３チャネルからなるカラー画像に適用すると、処理量が３倍必要になる。また、処理後の画像中のエッジ付近でＲ，Ｇ，Ｂの各色に相関がなくなるために偽色が発生することがあり、画質低下を引き起こしていた。

本発明は上述の課題を解決するものであって、その目的は、演算量を低減させ、かつ、偽色の発生を抑えて、カラー画像の高解像度化を行うことにある。

本発明による撮像処理装置は、可視光を、第１色成分、第２色成分および第３色成分に分離する分離部と、前記第１色成分および第３色成分の動画像を撮影する第１撮像部であって、第１電荷蓄積期間で露光して、前記動画像を構成する各画像を第１空間解像度で、かつ、第１時間解像度で撮影する第１撮像部と、前記第２色成分の動画像を撮影する第２撮像部であって、前記第１電荷蓄積期間よりも長い第２電荷蓄積期間で露光して、前記動画像を構成する各画像を前記第１空間解像度よりも高い第２空間解像度で、かつ、前記第１時間解像度よりも低い第２時間解像度で撮影する第２撮像部と、前記第１の撮像部および前記第２の撮像部における撮像条件を制御する制御部と、前記第１色成分の動画像の情報、および、前記第２色成分の動画像の情報に基づいて、時空間解像度を高めた前記第２成分の動画像を生成する第１アップコンバータと、前記第１色成分および前記第３色成分の各動画像の情報、および、時空間解像度を高めた前記第２成分の動画像の情報に基づいて、空間解像度を高めた前記第１色成分および前記第３色成分の動画像を生成する第２アップコンバータとを備えている。

前記第２アップコンバータは、時空間解像度を高めた前記第２成分の動画像を空間的に低解像度化するダウンコンバータと、空間解像度を低下させた前記第２成分の動画像および時空間解像度を高めた前記第２成分の動画像の関係に基づいて、解像度が低い動画像から解像度が高い動画像を生成するための復元フィルタの係数を推定する係数推定部と、推定された前記係数を利用して、前記第１色成分および前記第３色成分の動画像の空間解像度を高めて出力する復元フィルタとを備えていてもよい。

前記第２アップコンバータは、時空間解像度を高めた前記第２成分の動画像を空間的に低解像度化するダウンコンバータを備えており、前記第２アップコンバータは、前記ダウンコンバータによって空間解像度を低下させた前記第２成分の動画像および時空間解像度を高めた前記第２成分の動画像の関係を学習して、学習結果に基づいて、前記第１色成分および前記第３色成分の動画像の空間解像度を高めて出力してもよい。

前記第２アップコンバータは、時空間解像度を高めた前記第２成分の動画像を空間的に低解像度化するダウンコンバータを備えており、前記第２アップコンバータは、予め定められた、前記ダウンコンバータによって空間解像度を低下させた前記第２成分の動画像および時空間解像度を高めた前記第２成分の動画像の関係に関する学習パターンに基づいて、前記第１色成分および前記第３色成分の動画像の空間解像度を高めて出力してもよい。

前記第２アップコンバータは、時空間解像度を高めた前記第２成分の動画像を空間的に低解像度化するダウンコンバータと、前記第１色成分および前記第３色成分の動画像を空間的に補間拡大する補間拡大部と、補間拡大された前記第１色成分および前記第３色成分の動画像の局所的な相関を示す相関値を演算する相関演算部とを備えており、時空間解像度を高めた前記第２成分の動画像の広域成分、および、前記相関値に基づいて、前記第１色成分および前記第３色成分の動画像に対応する広域成分を生成し、補間拡大された前記第１色成分および前記第３色成分の動画像に重畳して、空間解像度を高めた前記第１色成分および前記第３色成分の動画像を出力してもよい。

前記第２アップコンバータは、前記ダウンコンバータによって空間解像度を低下させた前記第２成分の動画像と時空間解像度を高めた前記第２成分の動画像との差を演算して、時空間解像度を高めた前記第２成分の動画像の広域成分を生成してもよい。

前記第２アップコンバータは、時空間解像度を高めた前記第２成分の動画像の広域成分と前記相関値とを乗算することにより、前記第１色成分および前記第３色成分の動画像に対応する広域成分を生成してもよい。

前記第２アップコンバータは、前記第１色成分および前記第３色成分の動画像の各フレームを空間的に補間拡大する補間拡大部を有していてもよい。

前記第２アップコンバータは、時空間解像度を高めた前記第２成分の動画像を空間的に低解像度化するダウンコンバータと、前記第１色成分および前記第３色成分の動画像を空間的に補間拡大する補間拡大部と、時空間解像度を高めた前記第２成分の動画像、および、補間拡大された前記第１色成分および前記第３色成分の動画像に基づいて、輝度成分を計算する輝度計算部と、空間的に低解像度化された前記第２成分の動画像、および、補間拡大された前記第１色成分および前記第３色成分の動画像に基づいて、色差成分を計算する色差計算部とを生成してもよい。

前記第２色成分は緑であってもよい。

前記第２色成分は、赤、緑および青のいずれかから選択可能であってもよい。

本発明による撮像処理方法は、撮像装置によって撮影された動画像の情報を処理する画像処理方法であって、前記撮像装置は、可視光を、第１色成分、第２色成分および第３色成分に分離する分離部と、前記第１色成分および第３色成分の動画像を撮影する第１撮像部であって、第１電荷蓄積期間で露光して、前記動画像を構成する各画像を第１空間解像度で、かつ、第１時間解像度で撮影する第１撮像部と、前記第２色成分の動画像を撮影する第２撮像部であって、前記第１電荷蓄積期間よりも長い第２電荷蓄積期間で露光して、前記動画像を構成する各画像を前記第１空間解像度よりも高い第２空間解像度で、かつ、前記第１時間解像度よりも低い第２時間解像度で撮影する第２撮像部と、前記第１の撮像部および前記第２の撮像部における撮像条件を制御する制御部とを有しており、前記撮像処理方法は、前記第１色成分の動画像の情報、および、前記第２色成分の動画像の情報に基づいて、時空間解像度を高めた前記第２成分の動画像を生成するステップと、前記第１色成分および前記第３色成分の各動画像の情報、および、時空間解像度を高めた前記第２成分の動画像の情報に基づいて、空間解像度を高めた前記第１色成分および前記第３色成分の動画像を生成するステップとを包含する。

本発明によるコンピュータプログラムは、画像処理装置に設けられたプロセッサに、撮像装置によって撮影された動画像の情報を処理させるコンピュータプログラムであって、前記撮像装置は、可視光を、第１色成分、第２色成分および第３色成分に分離する分離部と、前記第１色成分および第３色成分の動画像を撮影する第１撮像部であって、第１電荷蓄積期間で露光して、前記動画像を構成する各画像を第１空間解像度で、かつ、第１時間解像度で撮影する第１撮像部と、前記第２色成分の動画像を撮影する第２撮像部であって、前記第１電荷蓄積期間よりも長い第２電荷蓄積期間で露光して、前記動画像を構成する各画像を前記第１空間解像度よりも高い第２空間解像度で、かつ、前記第１時間解像度よりも低い第２時間解像度で撮影する第２撮像部と、前記第１の撮像部および前記第２の撮像部における撮像条件を制御する制御部とをさらに有しており、前記コンピュータプログラムは、前記プロセッサに、前記第１色成分の動画像の情報、および、前記第２色成分の動画像の情報に基づいて、時空間解像度を高めた前記第２成分の動画像を生成するステップと、前記第１色成分および前記第３色成分の各動画像の情報、および、時空間解像度を高めた前記第２成分の動画像の情報に基づいて、空間解像度を高めた前記第１色成分および前記第３色成分の動画像を生成するステップとを実行させる。

本発明の撮像処理装置によれば、解像度とフレームレートが異なる複数の色成分の動画像から、解像度とフレームレートがともに高い多色動画像を生成することが可能になる。複数の色成分の動画像の各々は、ハーフミラーなどを用いることなく、たとえばダイクロイックミラーを用いて、入射光を色成分ごとに分離して撮影される。そのため、ＨＤＴＶ以上に高解像度化したカラー画像を動画として得るという効果や、ＨＤＴＶ用のカラーカメラをより小型化できる。

実施形態１による撮像処理装置１の構成を示す図である。 Ｇ用アップコンバータ１０６の構成をより詳細に示す図である。 （ａ）および（ｂ）は、ブロックマッチングによって動き検出を行うときの基準フレームと参照フレームとを示す図である。 ２×２画素のカラー画像を構成するＲ，Ｇ，Ｂ画素群を示す図である。 大きな画像中の局所領域を構成する画素ｉ、ｉ＋１、ｉ＋ｗおよびｉ＋ｗ＋１を示す図である。 ＲとＢの局所的な相関ρと重みＷとの関係を示す図である。 Ｒ，Ｂ用アップコンバータ１０７の構成をより詳細に示す図である。 他の例によるＲ，Ｂ用アップコンバータ１０７の構成を詳細に示す図である。 相関値ρと重みＷ２との関係の例を示す図である。 Ｒ，Ｂ用アップコンバータ１０７の構成の変形例を示す図である。 実施形態１の変形例による撮像処理装置１１の構成を示す図である。 撮像処理装置１を一般化した撮像処理装置１３の構成を示す図である。 実施形態２による撮像装置９０１、ネットワーク９０２および処理装置９０３で構成された画像処理システムの例を示す図である。 コンピュータによって構成された画像処理装置のハードウェアを示す図である。 本発明の処理の手順を示すフローチャートである。 図１５に示すステップＳ１０３の詳細な処理の手順を示すフローチャートである。 他の例によるステップＳ１０３の詳細な処理の手順を示すフローチャートである。 従来の撮像装置の構成を示す図である。 ２×２×２画素のカラー画像を構成するＲ，Ｇ，Ｂ画素群を示す図である。 着目画素とその近傍３画素のカラー画像を構成するＲ，Ｇ，Ｂ画素群を示す図である。

符号の説明

１０１ レンズ系
１０２ ダイクロイックミラー
１０３ 第１の撮像部
１０４ 第２の撮像部
１０５ 画像処理部
１０６ Ｇ用アップコンバータ
１０７ Ｒ，Ｂ用アップコンバータ
１２０ 制御部

以下、添付の図面を参照しながら、本発明による撮像処理装置の実施形態を説明する。

（実施形態１）
図１は、本実施形態による撮像処理装置１の構成を示す。撮像処理装置１は、レンズ系１０１と、ダイクロイックミラー１０２と、第１の撮像部１０３と、第２の撮像部１０４と、画像処理部１０５と、制御部１２０とを有している。

以下では、まず各構成要素の機能を概説し、その後、撮像処理装置１の動作に関連して各構成要素の動作を詳述する。

レンズ系１０１は、撮像処理装置１の外部から入射した光、すなわち被写体の像を集束させる。

ダイクロイックミラー１０２は、光の赤（Ｒ）成分および青（Ｂ）成分を透過させ、光の緑（Ｇ）成分を反射する。すなわちダイクロイックミラー１０２は、入射した光を、赤（Ｒ）成分および青（Ｂ）成分と、緑（Ｇ）成分とに分離する。なお、以下では、赤成分を「Ｒ成分」、緑成分を「Ｇ成分」、青成分を「Ｂ成分」とも記述する。

第１の撮像部１０３は、入射光（ここでは光のＲ成分およびＢ成分）に基づいて、短時間の露光時間、低解像度および高フレームレートでＲ成分およびＢ成分の動画像をそれぞれ撮影する。そして、得られたデータを出力する。なお、Ｒ成分の動画像およびＢ成分の動画像をそれぞれ取得するために、第１の撮像部１０３は内部にダイクロイックミラーを有し、かつ、Ｒ成分およびＢ成分を検出する撮像素子を備えていてもよい。

第２の撮像部１０４は、入射光（ここでは光のＧ成分）に基づいて、長時間の露光時間、高解像度および低フレームレートで動画像を撮影し、Ｇ成分の動画像のデータを出力する。

画像処理部１０５は、Ｒ成分およびＢ成分の光に対応する動画像のデータ、およびＧ成分の光に対応する動画像のデータを受け取り、それぞれを、画像処理によって高解像度および高フレームレートの動画像に変換して出力する。

画像処理部１０５は、Ｇ用アップコンバータ１０６およびＲ，Ｂ用アップコンバータ１０７を備えている。

Ｇ用アップコンバータ１０６は、Ｇ成分のフレームレートを高めた高解像度、高フレームレートの動画像のデータを生成する。Ｒ，Ｂ用アップコンバータ１０７は、Ｒ成分およびＢ成分の解像度を高め、高解像度、高フレームレートの動画像のデータを生成する。動画像は、１枚または複数枚の画像を所定のフレームレートで連続して切り替えて表示される。Ｒ，Ｂ用アップコンバータ１０７による解像度を高める処理は、動画像を構成する各画像の画素数を増加させることを意味する。

Ｇ用アップコンバータ１０６およびＲ，Ｂ用アップコンバータ１０７の詳細は後述する。

制御部１２０は、第１の撮像部１０３および第２の撮像部１０４を利用して動画像を撮影するときの撮像条件を制御する。そしてその制御情報を、Ｇ用アップコンバータ１０６およびＲ，Ｂ用アップコンバータ１０７に出力する。

次に、撮像処理装置１の動作とともに各構成要素の動作を詳述する。

レンズ系１０１は、被写体の像が、第１の撮像部１０３および第２の１０４の撮像素子上に結ばれるよう、その位置が調整される。レンズ系１０１を通った光は、ダイクロイックミラー１０２によってＲ成分、Ｇ成分、Ｂ成分に分離される。

上記Ｒ成分およびＢ成分の動画像は、制御部１２０から指示された撮像条件、すなわち、短時間露光、低解像度、高フレームレートで、第１の撮像部１０３によって撮影される。ここで、「低解像度」とは、例えばＮＴＳＣの１フレームの画素数（水平７２０画素×垂直４８０画素）程度か、もしくは、それ以下のＶＧＡ（Ｖｉｄｅｏ Ｇｒａｐｈｉｃｓ Ａｒｒａｙ：水平６４０画素×垂直４８０画素）程度の画素数の解像度をいう。「高フレームレート」とは、３０ｆｐｓ（フレーム／秒）ないし６０ｆｐｓ程度をいう。「短時間露光」とは、最長でもフレームレートで決まる上限値（本実施の形態の場合、３０分の１秒ないし６０分の１秒）以下の時間で露光することをいう。

上記Ｇ成分の動画像についても、制御部１２０から指示された撮像条件、すなわち、長時間露光、高解像度、低フレームレートの撮像条件で、第２の撮影部１０４によって撮影される。ここで、「高解像度」とは、例えば一般的なデジタルスチルカメラの画素数（例えば水平約４０００画素、垂直約３０００画素）の解像度をいう。「低フレームレート」とは、第１の撮像部１０３の数分の１から１０分の１ないし２０分の１程度のフレームレート（たとえば３ｆｐｓ（フレーム／秒））をいう。「長時間露光」とは、前記低フレームレートの値で決まる時間（たとえば１／３秒）を上限として露出することをいう。

本実施形態においては、第１の撮像部１０３および第２の撮像部１０４は、制御部１２０によって同期制御されて動作する。しかしながら、同期して動作することは必須ではない。

なお、上述した露光時間の長短、解像度の高低、フレームレートの高低は、第１の撮像部１０３および第２の撮像部１０４における相対的な撮像条件を意味する。カラー画像のＲ成分およびＢ成分の露光時間は、Ｇ成分の露光時間よりも短ければよい。Ｒ成分およびＢ成分の解像度（ここでは画素数に対応）はＧ成分のそれよりも低ければよい。Ｒ成分およびＢ成分のフレームレートはＧ成分のそれよりも高ければよい。例示した上述の数値範囲に限定されることはない。

以下、本明細書では、解像度が高く（Ｈ）フレームレートが低い（Ｌ）、Ｇの色成分の動画像をＧHL、解像度が低く（Ｌ）フレームレートが高い（Ｈ）、ＲおよびＢの色成分の動画像をそれぞれＲ_LH、Ｂ_LHのように表記する。１文字目が色成分を表し、２文字目（第１の添え字）が解像度を表し、３文字目（第２の添え字）がフレームレートを表す。

Ｇ用アップコンバータ１０６は、長時間露光、高解像度で低フレームレート撮像されたＧ画像Ｇ_HL、短時間露光、低解像度で高フレームレート撮像されたＲ画像およびＢ画像Ｒ_LH，Ｂ_LHのデータを撮像条件として受け取り、Ｇ_HLを高解像度化しＧ_HHとして出力する。

すなわち、Ｇ用アップコンバータ１０６は、同じ解像度で高フレームレート化した合成動画像を生成する。これは、緑の合成動画像の主観画質が最も良くなるように処理することを意味している。

このように処理する理由は、人の視覚感度は赤、青よりも緑に対して高いという特性を有しており、一般的には緑の合成動画像の主観画質が最も良くなるようにすることが望ましいためである。

緑の合成動画像の主観画質を良くするためには、緑の動画像を高解像度低フレームレートで撮影することが好適な場合が多いと考えられる。例えば、画像中の被写体が静止もしくは動きが小さい場合、緑の動画像を高解像度低フレームレートで撮影すると、赤や青の合成動画像に対して、緑の合成動画像の解像度が高く、その結果主観画質が高くなる。そして、赤や青に比べてさらに緑の動画像のフレームレートを高くすることで、主観画質が良くなることが期待できる。

図２は、Ｇ用アップコンバータ１０６の構成をより詳細に示す。図２において、図１の撮像処理装置の構成要素と共通する構成要素には同じ参照符号を付し、その説明を省略する。

Ｇ用アップコンバータ１０６は、動き検出部１０８および時間解像度アップコンバータ１０９を有している。

動き検出部１０８は、ブロックマッチング、勾配法、位相相関法等の既存の公知技術によって、Ｒ_LH、Ｂ_LHから動き（オプティカルフロー）を検出する。公知技術として、たとえばJ. L. Barron, D. J. Fleet, S. S. Beauchemin, and T. A. Burkitt. “Performance of Optical Flow Techniques”, In Proc. Computer Vision and Pattern Recognition, pp. 236-242, 1992が知られている。

図３（ａ）および（ｂ）は、ブロックマッチングによって動き検出を行うときの基準フレームと参照フレームとを示している。動き検出部１０８は、基準とするフレーム（動きを求めるべく着目している時刻ｔにおける画像）内に、図３（ａ）に示す窓領域Ａを設定する。そして、窓領域内のパターンと類似するパターンを参照フレーム内で探索する。参照フレームとして、たとえば着目フレームの次のフレームが利用されることが多い。

探索範囲は、図３（ｂ）に示すように、通常、移動量ゼロの位置Ｂを基準に予め一定の範囲（同図３（ｂ）中のＣ）が設定される。また、パターンの類似の度合い（程度）は、（数１）に示す残差平飽和（ＳＳＤ：Ｓｕｍ ｏｆ Ｓｑｕａｒｅ Ｄｉｆｆｅｒｒｅｎｃｅｓ）や、（数２）に示す残差絶対値和（ＳＡＤ：Ｓｕｍ ｏｆＡｂｓｏｌｕｔｅｄ Ｄｉｆｆｅｒｅｎｃｅｓ）を評価値として計算することによって評価する。

（数１）および（数２）において、ｘ，ｙ∈Ｗは、基準フレームの窓領域内に含まれる画素の座標値を意味する。

動き検出部１０８は、探索範囲内で（ｕ，ｖ）を変化させることにより、上記評価値を最小とする（ｕ，ｖ）の組を探索し、これをフレーム間での動きベクトルＶとする。窓領域の設定位置を順次シフトさせることによって、動きを画素毎もしくはブロック毎（例えば８画素×８画素）に求める。

再び図２を参照する。時間解像度アップコンバータ１０９は、第１の撮像部１０３によって撮像されたＲ画像Ｒ_LHおよびＢ画像Ｂ_LH、第２の撮影部１０４によって撮像されたＧ画像Ｇ_HL、および、動き検出部１０８によって検出された動きベクトルＶの各データを受け取り、Ｇ_HLを高解像度化しＧ_HHとして出力する。

ここで、Ｇ_HLの高解像度化は、下記の（数３）を最小化するＧ_HHを求めることによって行われる。

ここで、Ｇ_HH、Ｇ_HLは動画像の各画素を要素とする縦ベクトル、Ｈ_Tは長時間露光による光の加算をモデル化した行列、λsは滑らかさ拘束に対する重み、Ｑ_sは滑らかさ拘束、λ_mは動き拘束に対する重み、Ｑ_mは動き拘束、λ_cは色相関拘束に対する重み、Ｈ_Sは高解像度画像と低解像度画像の関係をモデル化した行列、Ｑ_cは色相関拘束を表している。制御部１２０によって第２の撮像部１０４に設定される撮影条件は、少なくとも上記Ｈ_T、Ｑ_s、Ｑ_mおよびＱ_cに反映される。

上記（数３）を最小化するＧ_HHとは、与えられた拘束条件の線形和をもっともよく満足するＧ_HHを意味する。なお、数３の左辺はスカラーである。右辺の各項の導出過程は後述する。

時間解像度アップコンバータ１０９は、下記（数４）に基づいて（数３）を最小化するＧ_HHを得る。

その結果、時間解像度アップコンバータ１０９は、（数５）に示す連立方程式を解くことによってＧ_HHを得る。

（数５）は共役勾配法や最急降下法等の既存の数値計算法（連立方程式の解法）を用いることによって解くことができる。

時間解像度アップコンバータ１０９が、入力されたＧ_HLを上述の手順によって高解像度化しＧ_HHを求める処理は、フレーム数を多くする処理、すなわち時間解像度を高める処理だけでなく、ぼけた画像をくっきりした（シャープな）画像に変換する処理も含んでいる。Ｇ成分の動画像は、第２の撮像部１０４によって高解像度で撮影されているが、長時間露光の影響で画像の一部がぼけていることもありえる。そこで画像のシャープ化処理も含めて「高解像度化」と称している。

以下に、（数３）の各項の意味、働きについてより詳細に説明する。

（数３）の第一項は、高解像度化したＧ_HHから予測される長時間露光画像と、実際に観測した長時間露光画像Ｇ_HLとの差異を示す。これは、高解像度化したＧ_HHと、長時間露光画像Ｇ_HLと画像間の時空間的な対応関係を表している。ここで、Ｈ_Tでは行の数が列の数より少ない。これは、Ｇ_HLが長時間露光画像であって、Ｇ_HHよりもフレームレートが低い（すなわち、トータルの画素数が少ない）ことからも理解できる。そのため、仮に（数３）の左辺を第一項だけにすると、解くべき問題（すなわち連立方程式）が一意に解けない不良設定問題となる。

この不良設定問題を良設定問題に変更するために、（数３）の第一項には第二項以降が付加されている。（数３）の第二項は、画像が一般的に満たしている特性、すなわち近傍画素間の局所的な滑らかさを示す。動画像をI（ｘ，ｙ，ｔ）とすると、局所的な滑らかさは、

として表すことができる。ここで、積分範囲は動画像の占める時空間全体であり、数６の被積分関数中の||・||はベクトルのノルムを示す。（数３）の第二項は、（数６）を差分展開しＩをＧに置き換えて、行列Ｑ_sとベクトルＧ_HHの積の形で表している。

（数３）の第三項は、画像中の動きに関する拘束である。ここでは、動画像中の各点が明るさを変えずに移動していくことを仮定している。第三項中の行列Ｑ_mは、動画像中で検出された動きベクトルの始点と終点の画素に関係する要素だけが、それぞれ１と−１になっている。そのため（Ｑ_mＧ_HH）²は、動きベクトルの始点と終点間の残差の２乗の動画像全体に関する総和となる。

（数３）の第四項は、Ｒ，Ｇ，Ｂ間の局所的な相関に関する拘束である。（数３）の第二項で局所的な滑らかさを仮定しているのと同様、ここでは、局所的なＲ，Ｇ，Ｂの画素値の間での相関（色相関）を仮定する。

いま、簡単のために、図４に示す例で考える。図４は、２×２画素のカラー画像を構成するＲ，Ｇ，Ｂ画素群を示す。ここでは、Ｒ，Ｇ，Ｂ間で相関があると仮定している。すなわち、各画素におけるＲ，Ｇ，Ｂの比が一様であると仮定している。すると下記（数７）が成り立つ。

これら各４つの比から２つを選ぶと、その選び方は4Ｃ2＝６通りであることから、（数８）を得る。

（数８）を行列とベクトルで表すと、（数９）となる。

局所的な領域として２×２画素を考えた場合、ＲＧＢ間の相関は、（数９）の左辺のノルム（数１０）によって評価できる。

ここで、ｑ^Tｑは（数１１）によって表すことができる。

次に、２×２画素よりも大きな画像中の局所領域として２×２画素の領域を考える。図５は、大きな画像中の局所領域を構成する画素ｉ、ｉ＋１、ｉ＋ｗおよびｉ＋ｗ＋１を示す。図５に示すように、局所領域の左上の画素をi番目の画素とすると、右上の画素はｉ+１番目、左下の画素はｉ＋ｗ番目（ここで、ｗは画像の幅の画素数）、右下の画素はｉ＋ｗ＋１番目の画素となる。そのため、この場合（数１１）は（数１２）のように変形される。

画像全体についてＱ_c ^TＱ_cを計算するには、Ｑ_c ^TＱ_cの全要素を０にしたのち、局所領域の左上の画素の位置（すなわちｉ）を順次シフトさせながら、（数１０）で示される局所的な係数を大域的な係数行列Ｑ_c ^TＱ_cに加算してゆけばよい。この時、局所領域の位置を縦横にそれぞれ1画素ずつシフトさせて互いに重なるように配置してもよいし、もしくは、縦横にそれぞれ2画素ずつシフトさせて互いに重ならずに隣接するように配置してもよい。後者の場合には、局所領域境界でアーチファクトが生じる場合がありえるが、より少ない演算量でほぼ同等の効果を得ることができる。

以上述べた手順により、Ｈ_T、Ｑ_s、Ｑ_m、Ｑ_c ^TＱ_cを計算することができる。なお、（数３）の第４項に含まれているＨ_Sは、Ｇ_HHを空間的に低解像度化する作用素である。これは、上記の色相関拘束をＧ_HHの中域とＲ_LH，Ｂ_LHの間で課すために用いられている。

また、各拘束についての重みλ_s、λ_m、λ_cの各値は、生成される画像Ｇ_HHの画質がよくなるように設定する。たとえば（数３）において、これらのパラメータで重み付けした各項（先頭の項を含む４項）の大きさがオーダーとしてほぼ揃うことが、重みλ_s、λ_m、λ_cの値を設定する際のひとつの目安となる。逆にこれら４項の大きさのオーダーが不揃いであると、値の大きな項が拘束条件として支配的になり、値の小さな項は拘束条件として効いていないことになる。

以上のように計算した行列と重みを用いて、観測される画像Ｇ_HLに対して（数５）の連立方程式を解くことにより、Ｇ_HHを生成できる。

なお、（数１２）に示した局所的な領域におけるＲとＢの相関に応じて（数１３）の様に重み付けすることにより、ＲＢ間の相関に応じて視覚的により自然なＧ_HHを再現することができる。

ここで、重みＷの分布としては、局所領域内のＲとＢの相関値（−１から１）に応じて、０から１の値をとるように設定する。たとえば図６は、ＲとＢの局所的な相関ρと重みＷとの関係を示す。図４に示す２×２画素の領域に関して、ＲとＢの局所的な相関値ρは（数１４）によって示される。

ＲとＢの局所的な相関値ρが得られると、図６の関係に基づいて重みＷが決定される。

なお、局所的なＲとＢの相関は、必ずしも２×２画素の領域について求める必要はなく、３×３画素、４×４画素、５×５画素等のより広い範囲の矩形領域について求めてもよい。また、円形や４角形以上の多角形等の領域について求めたり、ガウシン関数等により着目画素位置近傍を重視するような重みをつけて計算してもよい。このような計算方法により、画像のパターンに対して、相関値の計算をより等方性のあるものにできる。

なお、本実施の形態においては、色相関に関する拘束Ｑ_cをＲ，Ｇ，Ｂのレベルそのものを用いて計算したが、レベルそのものの代わりにＲ，Ｇ，Ｂのこう配を用いても同様の効果を得ることができる。その様な例について以下に説明する。

動画像中の動きに関しては、対応点間で明るさが一定であると仮定すると、画像中の動きベクトル（ｕ，ｖ）について、オプティカルフローの関係が近似的に成り立つことが知られている。Ｒ，Ｇ，Ｂそれぞれについてのオプティカルフローの式は（数１５）となる。

ここで、画像中の動きベクトル（ｕ，ｖ）がＲ，Ｇ，Ｂ間で同じであるとすると、（数１６）を得る。

（数１６）において、Ｒ，Ｇは１画素の値について考えている。しかしながら、∂／∂ｘ，∂／∂ｙは差分展開により行列として表現できるので、Ｒ，Ｇをベクトルとして考えると、動画像全体について（数１７）を得る。

画像全体について、（数１７）の各式を可能な限り同時に成立させるために、（数１８）を最小化するＧ_HHを求める。

（数１８）を最小化するＧ_HHを求めるためには、（数１８）をＧ_HHで偏微分して得られる式をゼロにするＧ_HHを求めればよい。これにより（数１９）を得る。

（数１９）と（数３）の第４項との比較より、（数２０）を得る。

なお、局所的な相関関係は、ここまでで説明したような空間的な近傍についてのものに限る必要はなく、時間的空間的近傍について考えてももちろんよい。例えば、その一例として図２０の様な近傍領域について考えることにより、より安定した効果を得ることができる。図１９は、２×２×２画素のカラー画像を構成するＲ，Ｇ，Ｂ画素群を示す。ここでは、Ｒ，Ｇ，Ｂ間で相関があると仮定している。すなわち、各画素におけるＲ，Ｇ，Ｂの比が一様であると仮定している。すると下記（数２１）が成り立つ。

これら各８つの比から２つを選ぶと、その選び方は_８Ｃ_２＝２８通りであることから、（数２２）（数２３）を得る。

（数２２）（数２３）を行列とベクトルで表すと、（数２４）（数２５）となる。

（数２４）（数２５）より以下の関係を得る。

局所的な領域として２×２×２画素を考えた場合、ＲＧＢ間の相関は、（数２５）の左辺のノルム（数２７）によって評価できる。

２×２×２画素よりも大きな画像中の局所領域として２×２×２画素の領域を考える場合には、先に２×２画素の空間的な近傍領域について考えた場合と同様に、局所的な関係を大域的な関係式に順次加算していくことにより、大域的な関係式を得ることができる。

なお、上記２×２×２画素の近傍領域について局所的な相関関係を考えるかわりに、図２０に示すように、着目画素と着目画素に時間的、空間的に隣接する３画素の計４画素のみについて局所的な相関関係を考えてもよい。この場合、２×２×２画素の近傍領域について局所的な相関関係を考えるよりも少ない演算量で、ほぼ同様の効果を得ることができる。

さらに、上記の様な形で時間方向の近傍領域について局所的な相関関係を考えるかわりに、オプティカルフローの方向、すなわち、動きベクトルの方向に沿って局所的な相関関係を仮定することにより、オプティカルフロー（動きベクトル場）が正しく求められている場合には、よりいっそう安定した効果を得ることができる。さらに、動きベクトルがサブピクセル精度で得られている場合には、小数点以下の動きベクトルの値を用いた重み付けにより、サブピクセル精度の動き情報を有効に用いることができる。

上述の（数３）に関しては、右辺第１項から第４項までの拘束条件は、必ずしもそれら全てを同時に用いる必要はない。以下のような変形例を用いてもよい。すなわち、（数１）の第１項と第２項のみを利用して

としてもよい。または、（数３）の第１項と第４項のみに基づく（数２９）を利用してもよい。

または、（数３）の第１項と第２項と第３項のみに基づく（数３０）を利用してもよい。

または、第１項と第２項と第４項のみに基づく（数３１）を利用してもよい。

これらの変形例によれば、（数３）に示す４項全ての拘束条件を用いて（数１）によって計算するよりも少ない演算量でＧ成分の高解像度化を実現できる。ただし、拘束条件を緩和することになるため、生成される画像の高解像度感が多少低下することがある。

また、動き検出が難しいシーンでは、動き検出の結果を用いない数式（（数２８）、（数２９）または（数３１））によって高解像度化処理を行うことにより、出力される画像の画質に関して、動きの誤検出によるアーティファクト（画像の乱れ、ノイズ）の発生を抑えることができる。シーンからの動き検出が難しいか否かは、（ａ）時間的に双方向に動き検出を行った結果の差異から判断したり、（ｂ）（数１）、（数２）に示した動き検出時の評価値の探索範囲内での最小値から判断することができる。

前者（ａ）の場合、基準フレームの画像中の（ｘ，ｙ）において、時間的に順方向の動き検出結果が（ｕ，ｖ）であるとすると、次に順方向の動き検出時の参照フレームを基準に逆方向に動き検出をして、（ｘ＋ｕ，ｙ＋ｖ）における動き検出結果が（−ｕ，−ｖ）であれば、双方向の動き検出において一貫性があり信頼できる。一方、（−ｕ，−ｖ）と異なる場合、例えば一定のしきい値以上の差異がある場合には、動き検出が難しい状況であると判断できる。

また、後者（ｂ）の場合も同様に、ＳＳＤやＳＡＤの動き検出時の評価値の探索範囲内での最小値について、例えば予め定めたしきい値以上である場合、動き検出が難しい状況であると判断できる。

また、色相関のないシーンについては、（数２８）や（数３０）を用いればよい。（数１３）に示す重み付け方法によれば、色相関のないシーンを処理すると重みが小さくなる。よって、その場合には自動的に（数３０）を用いていることになる。

再び図１を参照する。Ｒ，Ｂ用アップコンバータ１０７は、Ｇ用アップコンバータ１０６によって高解像度化されたＧ成分の動画像を用いて、第１の撮像部１０３によって、短時間露光、低解像度、高フレームレートの撮像条件で撮像されたＲ，Ｂ成分の動画像を高解像度化する。

以下、図７を参照しながら、Ｒ，Ｂ成分の動画像を高解像度化する処理を詳細に説明する。

図７は、Ｒ，Ｂ用アップコンバータ１０７の構成をより詳細に示す。図７において、図１の撮像処理装置の構成要素と共通する構成要素には同じ参照符号を付し、その説明を省略する。

Ｒ，Ｂ用アップコンバータ１０７は、ダウンコンバータ１１０と、係数推定部１１１と、復元フィルタ１１２とを有している。

ダウンコンバータ１１０は、Ｇ用アップコンバータ１０６によって高解像度化されたＧ成分（Ｇ_HH）を空間的に低解像化し、Ｇ_LHを出力する。係数推定部１１１は、Ｇ_HHとＧ_LHから復元フィルタ１１２（復元フィルタＨ+）のフィルタ係数を推定する。復元フィルタ１１２として、ウィーナフィルタや一般逆フィルタ等の公知のフィルタを用いることができる。これらの復元フィルタは、Ｇ_HHとＧ_LHの関係を用いて、低解像度側の信号から高解像度側の信号を推定するものである。復元フィルタ１１２は、係数推定部１１１によって推定されたフィルタ係数を用いて、Ｒ_LH，Ｂ_LHからＲ_HH，Ｂ_HHを復元する。

なお、Ｒ，Ｂ用アップコンバータ１０７におけるＲ，Ｂの高解像度化処理は、上述の、いわゆる再構成型の処理に限る必要はなく、他の高解像度化処理によって行ってもよい。他の例による高解像度化処理を以下に説明する。

図８は、他の例によるＲ，Ｂ用アップコンバータ１０７の構成を詳細に示す。ここで、Ｒ，Ｂ用アップコンバータ１０７は、ＲとＢの相関に応じてＧの高域成分を、補間拡大したＲ成分およびＢ成分に重畳することにより、Ｒ成分およびＢ成分を高解像度化する。

図８に示されるＲ，Ｂ用アップコンバータ１０７は、ダウンコンバータ１１３と、補間拡大部１１４と、局所相関演算部１１５と、重み生成部１１６と、カウンタ１１７と、画像メモリ１１８と、正規化部１１９とを有している。

Ｒ，Ｂ用アップコンバータ１０７は、動画像を構成するフレーム単位で処理を行う。まず、各フレーム処理の初めに、カウンタ１１７の内容と画像メモリ１１８の内容を、たとえば０で埋めることにより、クリアする。

低解像度化部１１３はＧ用アップコンバータ１０６によって高解像度化されたＧ成分（Ｇ_HH）を空間的に低解像化し、Ｇ_LHを出力する。

補間拡大部１１４は、低解像度、高フレームレートで撮像されたＲ_LH，Ｂ_LHと撮影条件とを受け取り、Ｒ_LHとＢ_LHとをＧ_HHと同じ画素数になる様に補間拡大する。

局所相関演算部１１５は、２×２画素や３×３画素程度の局所的な領域に関し、Ｒ_LHとＢ_LHの局所的な相関値を計算する。２×２画素について局所的な相関値ρを計算するときは、局所相関演算部１１５は、たとえば（数１４）を利用することができる。

重み生成部１１６は、局所相関演算部１１５によって計算された相関値に応じた重みを生成する。図９は、相関値ρと重みＷ２との関係の例を示す。重み生成部１１６は、相関値ρと図９に示す関係とに基づいて、重みＷ２を求める。

図８に示されるように、重み生成部１１６によって生成され、出力された重みと、Ｇ_HHとＧ_LHの差（すなわちＧの高域成分）とが乗算され、画像メモリ１１８が更新される。より詳しくは、乗算が行われた後、画像メモリ１１８内の画素データの格納位置に応じたアドレスが特定される。そして、乗算結果とそのアドレスに保持されていた値とが加算され、そのアドレスの値が加算結果に書き換えられる。

このとき、画像メモリ１１８に書き込みを行う対象は、１画素でもよく、または、局所的な相関値を計算した範囲でもよい。ただし、後者の様に複数画素について高域成分を重畳する場合、局所相関を計算する領域の設定の仕方（すなわち画像内でのインクリメントの仕方）によっては、同一画素に複数回、高域成分を重畳することになる。そのような場合を考慮して、図８のＲ，Ｂ用アップコンバータ１０７では、カウンタ１１７を利用する。カウンタ１１７は、高域成分を重畳した回数を各画素について記憶する。

正規化部１１９は、複数回重畳した高域成分を、カウンタ１１７に１画素毎に記憶されている書き込み回数値で除算する。正規化された高域成分は、補間拡大部１１４によって補間拡大されたＲ，Ｂ画像に重畳され、Ｒ_HH，Ｂ_HHとして出力される。

以上述べた方法によって、Ｒ，Ｂを高解像度化することにより、局所的な色バランスを保った状態でＲとＢとを高解像度化することができ、その結果、偽色の発生を抑えた高解像度化を行うことができる。

なお、図９には相関値と重みの関係の一例として線形な関係の場合を示した。しかしこれは例であり、撮像時や表示時のγ特性を考慮して非線形な関係にしてもよい。また、前記の重みを、Ｒについては（Ｒの局所平均）／（Ｇの局所平均）で正規化し、Ｂについては（Ｂの局所平均）／（Ｇの局所平均）で正規化してもよい。この正規化により、Ｒ、Ｇ、Ｂの画素値に応じて、ＲとＢ重畳するＧの高域成分の振幅を調節することができ、過度な高域の重畳による観察時の違和感を低減できる。ここで、Ｒ、Ｇ、Ｂの局所平均としては、補間拡大したＲ_ＬＨ、Ｂ_ＬＨや図８のダウンコンバータ１１３でＧ_ＨＨをダウンコンバートしたＧ_ＬＨの画素値を用いればよい。

なお、補間拡大したＲ、Ｂ画像に対する高域成分の重畳を１画素につき１回だけ行うように動作させるとすると、図８の画像メモリ１１８、カウンタ１１７、正規化部１１９は不要であり、図１０に示す構成を採用することができる。図１０は、Ｒ，Ｂ用アップコンバータ１０７の構成の変形例を示す。図１０に示すように、図８と比較するとより簡単な構成でＲ，Ｂ用アップコンバータ１０７を実現することができ、かつ、同様の効果を得ることができる。

なお、Ｒ，Ｂ用アップコンバータ１０７におけるＲ，Ｂの高解像度化処理は、上述したいわゆる再構成型の超解像処理や、Ｇの高域成分をＲおよびＢ成分に重畳する処理に限る必要はない。高解像度化したＧ成分とそれを低解像度化したもの（上記Ｇ_LHとＧ_HH）との間の関係を学習し、学習結果に基づいてＲ成分、Ｂ成分を高解像度化するようにしてもよい。

なお、学習は入力された画像の処理過程において行うものに限らず、予め事前に学習パターンを用意して行うようにしてもよい。この場合には、低解像度のＧ成分と高解像度のＧ成分の関係を学習する方法だけでなく、低解像のＲＧＢ成分と高解像度のＲＧＢ成分の関係を学習することも可能である。

これまでの説明では、出力信号はＲ，Ｇ，Ｂの各色成分であるとした。以下では、ＲＧＢの各出力信号を輝度成分と色差成分に変換して出力する撮像処理装置を説明する。

図１１は、本実施形態の変形例による撮像処理装置１１の構成を示す。図１１において、上述した撮像処理装置の構成要素と共通する構成要素には同じ参照符号を付し、その説明を省略する。

画像処理部１０５は、Ｇ用アップコンバータ１０６、補間拡大部１１４、およびダウンコンバータ１１３に加え、さらに色差計算部１２９および輝度計算部１３０を有する。

制御部１２０は、補間拡大部１１４によって補間拡大されたＲ成分、Ｂ成分の信号、および、低解像度化部１１３で低解像度化されたＧ成分の信号を受け取り、（数３２）の計算によって色差信号（Ｃｂ信号、Ｃｒ信号）に変換して出力する。

輝度計算部１３０は、補間拡大部１１４によって補間拡大されたＲ成分、Ｂ成分の信号、および、Ｇ用アップコンバータで高解像度化されたＧ成分の信号を受け取り、（数３３）の計算によって輝度信号（Ｙ信号）に変換して出力する。

上述の色差計算部１２９および輝度計算部１３０の説明から理解されるように、色差成分Ｃｂ、Ｃｒの計算には低解像度化したＧを用い、一方、輝度成分Ｙの計算には高解像度化されたＧを用いている。これにより、偽色の発生を抑えつつ、出力される画像の高解像度化を実現できる。

なお、画像処理部１０５の後段にＹ、Ｃｂ、Ｃｒの各信号をＲＧＢの各信号へ変換するブロックをさらに設けて、ＲＧＢ成分の信号を出力する構成にしてもよい。

なお、本実施形態による撮像処理装置およびその変形例による撮像処理装置は、Ｇ成分を高解像度、長時間露光、低フレームレートで撮像し、Ｒ成分およびＢ成分を低解像度、短時間露光、高フレームレートで撮像するとした。しかしながら、これは例である。どの色成分（波長帯）を高解像度、長時間露光、低フレームレートで撮像するかについては、他の例を採用することが可能である。

たとえば、海やプール等、水中のシーンを撮像する場合の様に、シーン中にＢ成分が強く現れることが事前に分っている場合には、Ｂ成分を高解像度、長時間露光、低フレームレートで撮像し、Ｒ成分およびＧ成分を低解像度、短時間露光、高フレームレートで撮像することにより、観察者により高解像度感のある画像を提示することができる。

たとえば図１２は、撮像処理装置１を一般化した撮像処理装置１３の構成を示す。図１２において、図１の撮像処理装置の構成要素と共通する構成要素には同じ参照符号を付し、その説明を省略する。

撮像処理装置１３は、Ｒ成分撮像部１３１と、Ｇ成分撮像部１３２と、Ｂ成分撮像部１３３と、制御部１３４と、切替部１３５と、ＨＬ用アップコンバータ１３６と、ＬＨ用アップコンバータ１３７と、出力部１３８とを有している。以下、撮像処理装置１３の動作とともに各構成要素の機能を説明する。

光学系１０１を通った可視光は、ダイクロイックプリズムで波長分解され、Ｒ成分撮像素子１３１、Ｇ成分撮像素子１３２、Ｂ成分撮像素子１３３によって撮像される。ＲＧＢ各成分の撮像部１３１，１３２，１３３の読み出し画素数は、ビニング読み出し方法により、個別に、かつ動的に設定できる。「ビニング読み出し方法」とは、隣接する画素に蓄積された電荷を加算して読み出す方法である。また、各撮像部１３１，１３２，１３３では、露光時間、フレームレートについても同様に設定可能とする。読み出し時の条件設定は、制御部１３４によって行われる。

制御部１３４は、シーン中の色成分の分布に応じて、Ｒ成分撮像素子１３１、Ｇ成分撮像素子１３２、Ｂ成分撮像素子１３３のうちのいずれかを、高解像度、長時間露光、低フレームレート（実施の形態１におけるＧに相当）に設定し、残りを低解像度、短時間露光、高フレームレート（実施の形態１におけるＲ，Ｂに相当）に設定する。

なお、撮像開始時にはシーン中の色成分の分布が未知であるので、例えばＧを高解像度、長時間露光、低フレームレートに設定する様にすればよい。

切替部１３５は、制御部によるＲＧＢ各成分の撮像部１３１，１３２，１３３の設定に応じて、高解像度、長時間露光、低フレームレートでの撮像が設定されている成分の撮像データがＨＬ用アップコンバータ１３６に入力され、残りの成分のデータがＬＨ用アップコンバータ１３７に入力されるように切り替え動作を行う。

ＨＬ用アップコンバータ１３６は、Ｇ用アップコンバータ１０６（たとえば図１）と同じ処理を行い、高解像度、長時間露光、低フレームレートで撮像された成分の動画像を空間的に高解像化する。

ＬＨ用アップコンバータ１３７は、低解像度、短時間露光、高フレームレートで撮像された２系統（２つの色成分）の動画像と、ＨＬ用アップコンバータ１３６で高解像度化された動画像とを受け取り、Ｒ，Ｂ用アップコンバータ１０７（たとえば図１）と同じ処理により、その２系統の動画像を空間的に高解像化する。

出力部１３８は、ＨＬ用アップコンバータ１３６とＬＨ用アップコンバータ１３７によってそれぞれ高解像度化された動画像を受け取り、制御部１３４による設定に応じて、ＲＧＢ３系統の動画を出力する。もちろん、出力部１３８が輝度信号（Ｙ）および色差信号（Ｃｂ，Ｃｒ）信号等の、他の信号形式に変換して出力するようにしてもよい。

（実施形態２）
上述の実施形態１においては、撮像処理と高解像度化処理とが同一のシステムによって行われる例を説明した。しかしながら、両処理は必ずしも同一のシステムで行われる必要はない。

本実施形態においては、撮像処理と高解像度化処理とが異なるシステムにおいて行われる例を説明する。

図１３は、本実施形態による撮像装置９０１、ネットワーク９０２および処理装置９０３で構成された画像処理システムの例を示す。ネットワーク９０２に代えて、メディア９０６を用いても、本実施形態による画像処理システムを構成することができる。図１４において、実施形態１の撮像処理装置（たとえば図１）の構成要素と共通する構成要素には同じ参照符号を付し、その説明を省略する。

撮像装置９０１は、レンズ系１０１と、ダイクロイックミラー１０２と、第１の撮像部１０３と、第２の撮像部１０４と、撮影モード設定部９０４とを有している。

第１の撮像部１０３は、カラー画像のＲ成分とＢ成分とを短時間の露光時間で、低解像度かつ高フレームレートで撮像し、Ｒ画像Ｒ_LHおよびＢ画像Ｂ_LHを出力する。第２の撮像部１０４は、カラー画像のＧ成分を長時間の露光時間で、高解像度かつ低フレームレートで撮像し、Ｇ画像G_HLを出力する。

撮影モード設定部９０４は、例えば第２の撮像部１０４におけるフレームレート、露光時間等の、設定が可変な撮影条件を設定し、設定した条件を示す情報を映像信号のヘッダ中のコメント領域に書き込み、または、別途データとして出力部９０５を介してネットワーク９０２に出力する。

出力部９０５は、撮像装置９０１によって撮像されたＧ画像Ｇ_HL、Ｒ画像Ｒ_LH、Ｂ画像Ｂ_LH、および、それらの撮影条件の情報をネットワーク９０２またはメディア９０６に出力する。

処理装置９０３は、画像処理部１０５を有している。画像処理部１０５は、ネットワーク９０２またはメディア９０６を介して、上記Ｇ_HL、Ｒ_LH、Ｂ_LHおよびその撮影条件の情報を受け取り、実施形態１において説明した処理により、これらを空間的、時間的に高解像度化したＧ_HH、Ｒ_HH、Ｂ_HHを出力する。

以上の構成により、撮像装置と処理装置とが別体で構成され、空間的に離れて存在していても、ネットワーク９０２またはメディア９０６を介して動画像信号および撮影条件の情報を授受できるように構成することにより、処理装置が高時空間解像度の動画像を出力できる。

なお、ネットワーク９０２は家庭内に構築されたＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）でもよいし、インターネットなどのＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）でもよい。または、ＵＳＢ規格やＩＥＥＥ１３９４規格の通信回線でもよい。さらに無線でも有線でもよい。上述のメディア９０６は、光ディスクや取り外し可能なハードディスクなどのリムーバブルディスク、フラッシュメモリカードが含まれる。

上述の各実施形態では、撮像処理装置は、図に示す種々の構成を有するとして説明した。たとえば、各構成に含まれる画像処理部などは、機能的に見たブロックとして記載されていた。これらの機能ブロックは、ハードウェア的には、デジタル信号プロセッサ（ＤＳＰ）のような１つの半導体チップまたはＩＣによって実現することも可能であるし、たとえばコンピュータとソフトウェア（コンピュータプログラム）とを用いて実現することもできる。

たとえば、図１４は、コンピュータによって構成された画像処理装置のハードウェアを示す。

各実施形態の画像処理装置の各機能ブロックと、図１５に示すハードウェアとの対応関係は以下のとおりである。以下では例として、主に図１に示す画像処理装置１を挙げて説明する。

撮像処理装置１のレンズ系１０１、ダイクロイックミラー１０２、第１の撮像部１０３および第２の撮像部１０４は、図１５に示すカメラ１５１およびＡ／Ｄ変換器１５２に対応する。また、画像処理部１０５が実際の処理で利用する一時バッファ（図示せず）やメディア９０６は、図１５に示すフレームメモリ１５３またはハードディスクドライブ（ＨＤＤ）１６０に対応する。そして制御部１２０および画像処理部１０５は、コンピュータプログラムを実行した図１５のＣＰＵ１５４によって実現される。

図１４のコンピュータを動作させるコンピュータプログラムは、たとえばＲＯＭ１５５に保持されている。または、光ディスク、磁気ディスクに格納されていてもよい。また、有線や無線のネットワーク、放送などを介して伝送され、コンピュータのＲＡＭ１５６に取り込まれてもよい。

コンピュータプログラムは、プロセッサであるＣＰＵ１５４によってＲＡＭ１５６に読み出されて展開される。ＣＰＵ１５４はコンピュータプログラムの実態であるコード化された各命令を実行する。命令の実行結果として得られたデジタル画像信号は、フレームメモリ１５７に送られて一時的に保持され、Ｄ／Ａ変換器１５８によってアナログ信号に変換され、ディスプレイ１５９に送られ、表示される。

画像処理部１０５を実現するコンピュータプログラムの処理は、たとえば次に説明するフローチャートにしたがって記述されている。

たとえば図１５は、本発明の処理の手順を示すフローチャートである。この処理は、実施形態１による処理として説明するが、実施形態２の撮像装置９０１および処理装置９０３によって個別に行われる処理として把握することもできる。

まずＳ１０１において、第１の撮像部１０３および第２の撮像部１０４は、長時間露光高解像度低フレームレートのＧ画像Ｇ_HLと短時間露光低解像度高フレームレートのＲ画像Ｒ_LH、Ｂ画像Ｂ_LHとを撮像する。ステップＳ１０２において、画像処理部１０５のＧ用アップコンバータ１０６は、Ｇ成分の動画像を高解像度化する。より具体的には、ステップＳ１０４とＳ１０５とに分けることができる。ステップＳ１０４において、Ｇ用アップコンバータ１０６の動き検出部１０８は、動き検出を行う。ステップＳ１０５において、時間解像度アップコンバータ１０９は、動き検出の結果等を利用して、（数４）に基づいて（数３）を最小化するＧ_HHを求める。

次のステップＳ１０３において、Ｒ，Ｂ用アップコンバータ１０７は、Ｒ成分およびＢ成分の各動画像を高解像度化する。その後、制御部１２０は、撮像が完了したか否かを判定し、完了していないと判定すると処理はステップＳ１０１から繰り返され、完了したと判定すると処理は終了する。

図１６は、図１５に示すステップＳ１０３の詳細な処理の手順を示すフローチャートである。この処理は、図７に示すＲ，Ｂ用アップコンバータ１０７の処理に対応する。

図１６のステップＳ１０６において、ダウンコンバータ１１０は、撮像条件に基づいてＧ_HHを低解像度化する。ステップＳ１０７において、係数推定部１１１は復元フィルタ１１２に適用するための係数を推定する。ステップＳ１０８において、推定された係数が復元フィルタ１１２に適用され、復元フィルタ１１２は、Ｒ_LHおよびＢ_LHを高解像度化し、Ｒ_HHおよびＢ_HHを出力する。

図１７は、他の例によるステップＳ１０３の詳細な処理の手順を示すフローチャートである。この処理は、図８に示すＲ，Ｂ用アップコンバータ１０７の処理に対応する。

ステップＳ１０９において、ダウンコンバータ１１３は、撮像条件に基づいてＧ_HHを低解像度化する。ステップＳ１１０において、Ｇ_HHからＧ_LHが減算される。

一方、ステップＳ１１１において、補間拡大部１１４が撮像条件に基づいてＲ_LHおよびＢ_LHを補間拡大すると、その信号に基づいて、ステップＳ１１２において局所相関演算部１１５が局所的な相関値を計算する。

そしてステップＳ１１３において、重み生成部１１６が重みを生成すると、ステップＳ１１４においてカウンタ１１７が高域成分を重畳した回数を各画素について記憶する。ステップＳ１１５において、重み生成部１１６によって生成され、出力された重みと、Ｇ_HHとＧ_LHの差（すなわちＧの高域成分）とが乗算され、ステップＳ１１６において画像メモリ１１８が更新される。

ステップＳ１１７において、正規化部１１９は、画像メモリ１１８に保持された、複数回重畳した高域成分を、カウンタ１１７に１画素毎に記憶されている書き込み回数値で除算して、正規化する。

そしてステップＳ１１８において、正規化された高域成分は、補間拡大部１１４によって補間拡大されたＲ，Ｂ画像に重畳され、Ｒ_HH，Ｂ_HHとして出力される。

以上、本発明の各実施形態を説明した。実施形態１および２においては、Ｒ，Ｇ，Ｂの３成分をダイクロイックミラーで分離する場合について説明したが、色成分の分離の形態はこれに限るものではない。たとえば単一の素子で深さ方向に、順に、Ｒ＋Ｇ＋Ｂ、Ｒ＋Ｇ、Ｒと３層に分けて撮像する撮像素子を用いても、Ｒ＋ＧもしくはＲ＋Ｇ＋Ｂを高解像度、長時間露光、低フレームレートで撮像し、その他を低解像度、短時間、低フレームレートで撮像した画像を受け取って処理することで、同様の効果を得ることができる。

本発明の撮像装置および処理装置は、撮像素子サイズを小型化したカメラによる高精細画像の撮像とその再生装置、システムとして有用である。また、コンピュータプログラムとしても実現することが可能である。

本発明は、動画像の画像処理に関する。より具体的には、撮影された動画像の解像度およびフレームレートの少なくとも一方を画像処理によって高くした動画像を生成する技術に関する。

近年映像入力の分野では、携帯電話用カメラやデジタルスチルカメラの多画素化、画素ピッチの小型化が進んでいる。

空間解像度は、画像撮像機器に必要とされる画質に応じて多岐にわたって使い分けられている。たとえばＴＶ電話の解像度はＱＣＩＦ（Ｑｕａｒｔｅｒ Ｃｏｍｍｏｎ Ｉｎｔｅｒｍｅｄｉａｔｅ Ｆｏｒｍａｔ、横１７６画素、縦１４４画素）程度、または、ＱＶＧＡ（Ｑｕａｒｔｅｒ Ｖｉｄｅｏ Ｇｒａｐｈｉｃｓ Ａｒｒａｙ、横３２０画素、縦１４４画素）程度の比較的低画素数である。一方、デジタル一眼レフカメラの解像度は１０００万画素を超えている。

時間解像度もまた多岐にわたって使い分けられている。たとえばＨＤＴＶまでの画素数の時間解像度については、民生機器によるビデオレート（３０フレーム／秒）での撮像が実現されている。しかしながら、それ以上の画素数での撮像については、そのフレームレートは、デジタルスチルカメラに搭載されている連写機能による毎秒数フレームにとどまっている。

一方、映像表示の分野では、フラットテレビが急激な勢いで普及している。これに伴い、今後様々な解像度のカメラとディスプレイの組み合わせにより、ユーザが映像を視聴することが予測される。

入力側のカメラの時空間解像度（「時間解像度および空間解像度」を意味する。以下同様）と出力側のディスプレイの時空間解像度を比較すると、現状の民生機器では出力側のディスプレイの方が高い。そのため、出力側の性能を最大限発揮させる映像を一般ユーザが手軽に入力できる状況にない。

このような状況になった理由として、これまでは読み出しスピードがボトルネックとなっていたことが挙げられる。高空間解像度の撮影は毎秒５フレーム程度までに限られ、逆に、毎秒３０フレームの撮影はＨＤＴＶの空間解像度までに限られていた。したがって、高い空間解像度画像で、かつ高いフレームレートで撮像は困難であった。

上記の課題に対し、たとえば特許文献１から３は、高空間解像度と高フレームレートの撮像を両立するための方式として、２系統のカメラにより時間解像度と空間解像度の異なる画像を入力し、信号処理によって高空間解像度で高フレームレートの画像を生成する方式を提案している。これらの特許文献には図１８に示す構成が記載されている。

図１８は、従来の撮像装置の構成を示す。撮像装置に入射した光は、その一部がハーフミラー１７１を透過し、第１カメラ１７２に入射する。その結果、低解像度、高フレームレートの動画像が撮影される。一方、撮像装置に入射した光のうち、ハーフミラー１７１で反射した光は、第２カメラ１７３に入射する。その結果、高解像度、低フレームレートの動画像が撮影される。

アップコンバータ１７４は、第１カメラ１７２および第２カメラ１７３で撮影された各動画像を受け取り、画像処理を行って、高解像度、高フレームレートの動画像を出力する。
特開平７−１４３４３９号公報 特表２００５−５１５６７５号公報 特開２００５―３１８５４８号公報

しかしながら、上述の撮像装置は、基本的にはモノクロ画像に対する処理を想定して構成されているため、赤（Ｒ），緑（Ｇ），青（Ｂ）の３チャネルからなるカラー画像に適用すると、処理量が３倍必要になる。また、処理後の画像中のエッジ付近でＲ，Ｇ，Ｂの各色に相関がなくなるために偽色が発生することがあり、画質低下を引き起こしていた。

本発明は上述の課題を解決するものであって、その目的は、演算量を低減させ、かつ、偽色の発生を抑えて、カラー画像の高解像度化を行うことにある。

本発明による撮像処理装置は、可視光を、第１色成分、第２色成分および第３色成分に分離する分離部と、前記第１色成分および第３色成分の動画像を撮影する第１撮像部であって、第１電荷蓄積期間で露光して、前記動画像を構成する各画像を第１空間解像度で、かつ、第１時間解像度で撮影する第１撮像部と、前記第２色成分の動画像を撮影する第２撮像部であって、前記第１電荷蓄積期間よりも長い第２電荷蓄積期間で露光して、前記動画像を構成する各画像を前記第１空間解像度よりも高い第２空間解像度で、かつ、前記第１時間解像度よりも低い第２時間解像度で撮影する第２撮像部と、前記第１の撮像部および前記第２の撮像部における撮像条件を制御する制御部と、前記第１色成分の動画像の情報、および、前記第２色成分の動画像の情報に基づいて、時空間解像度を高めた前記第２成分の動画像を生成する第１アップコンバータと、前記第１色成分および前記第３色成分の各動画像の情報、および、時空間解像度を高めた前記第２成分の動画像の情報に基づいて、空間解像度を高めた前記第１色成分および前記第３色成分の動画像を生成する第２アップコンバータとを備えている。

前記第２アップコンバータは、時空間解像度を高めた前記第２成分の動画像を空間的に低解像度化するダウンコンバータと、空間解像度を低下させた前記第２成分の動画像および時空間解像度を高めた前記第２成分の動画像の関係に基づいて、解像度が低い動画像から解像度が高い動画像を生成するための復元フィルタの係数を推定する係数推定部と、推定された前記係数を利用して、前記第１色成分および前記第３色成分の動画像の空間解像度を高めて出力する復元フィルタとを備えていてもよい。

前記第２アップコンバータは、時空間解像度を高めた前記第２成分の動画像を空間的に低解像度化するダウンコンバータを備えており、前記第２アップコンバータは、前記ダウンコンバータによって空間解像度を低下させた前記第２成分の動画像および時空間解像度を高めた前記第２成分の動画像の関係を学習して、学習結果に基づいて、前記第１色成分および前記第３色成分の動画像の空間解像度を高めて出力してもよい。

前記第２アップコンバータは、時空間解像度を高めた前記第２成分の動画像を空間的に低解像度化するダウンコンバータを備えており、前記第２アップコンバータは、予め定められた、前記ダウンコンバータによって空間解像度を低下させた前記第２成分の動画像および時空間解像度を高めた前記第２成分の動画像の関係に関する学習パターンに基づいて、前記第１色成分および前記第３色成分の動画像の空間解像度を高めて出力してもよい。

前記第２アップコンバータは、時空間解像度を高めた前記第２成分の動画像を空間的に低解像度化するダウンコンバータと、前記第１色成分および前記第３色成分の動画像を空間的に補間拡大する補間拡大部と、補間拡大された前記第１色成分および前記第３色成分の動画像の局所的な相関を示す相関値を演算する相関演算部とを備えており、時空間解像度を高めた前記第２成分の動画像の広域成分、および、前記相関値に基づいて、前記第１色成分および前記第３色成分の動画像に対応する広域成分を生成し、補間拡大された前記第１色成分および前記第３色成分の動画像に重畳して、空間解像度を高めた前記第１色成分および前記第３色成分の動画像を出力してもよい。

前記第２アップコンバータは、前記ダウンコンバータによって空間解像度を低下させた前記第２成分の動画像と時空間解像度を高めた前記第２成分の動画像との差を演算して、時空間解像度を高めた前記第２成分の動画像の広域成分を生成してもよい。

前記第２アップコンバータは、時空間解像度を高めた前記第２成分の動画像の広域成分と前記相関値とを乗算することにより、前記第１色成分および前記第３色成分の動画像に対応する広域成分を生成してもよい。

前記第２アップコンバータは、前記第１色成分および前記第３色成分の動画像の各フレームを空間的に補間拡大する補間拡大部を有していてもよい。

前記第２アップコンバータは、時空間解像度を高めた前記第２成分の動画像を空間的に低解像度化するダウンコンバータと、前記第１色成分および前記第３色成分の動画像を空間的に補間拡大する補間拡大部と、時空間解像度を高めた前記第２成分の動画像、および、補間拡大された前記第１色成分および前記第３色成分の動画像に基づいて、輝度成分を計算する輝度計算部と、空間的に低解像度化された前記第２成分の動画像、および、補間拡大された前記第１色成分および前記第３色成分の動画像に基づいて、色差成分を計算する色差計算部とを生成してもよい。

前記第２色成分は緑であってもよい。

前記第２色成分は、赤、緑および青のいずれかから選択可能であってもよい。

本発明による撮像処理方法は、撮像装置によって撮影された動画像の情報を処理する画像処理方法であって、前記撮像装置は、可視光を、第１色成分、第２色成分および第３色成分に分離する分離部と、前記第１色成分および第３色成分の動画像を撮影する第１撮像部であって、第１電荷蓄積期間で露光して、前記動画像を構成する各画像を第１空間解像度で、かつ、第１時間解像度で撮影する第１撮像部と、前記第２色成分の動画像を撮影する第２撮像部であって、前記第１電荷蓄積期間よりも長い第２電荷蓄積期間で露光して、前記動画像を構成する各画像を前記第１空間解像度よりも高い第２空間解像度で、かつ、前記第１時間解像度よりも低い第２時間解像度で撮影する第２撮像部と、前記第１の撮像部および前記第２の撮像部における撮像条件を制御する制御部とを有しており、前記撮像処理方法は、前記第１色成分の動画像の情報、および、前記第２色成分の動画像の情報に基づいて、時空間解像度を高めた前記第２成分の動画像を生成するステップと、前記第１色成分および前記第３色成分の各動画像の情報、および、時空間解像度を高めた前記第２成分の動画像の情報に基づいて、空間解像度を高めた前記第１色成分および前記第３色成分の動画像を生成するステップとを包含する。

本発明によるコンピュータプログラムは、画像処理装置に設けられたプロセッサに、撮像装置によって撮影された動画像の情報を処理させるコンピュータプログラムであって、前記撮像装置は、可視光を、第１色成分、第２色成分および第３色成分に分離する分離部と、前記第１色成分および第３色成分の動画像を撮影する第１撮像部であって、第１電荷蓄積期間で露光して、前記動画像を構成する各画像を第１空間解像度で、かつ、第１時間解像度で撮影する第１撮像部と、前記第２色成分の動画像を撮影する第２撮像部であって、前記第１電荷蓄積期間よりも長い第２電荷蓄積期間で露光して、前記動画像を構成する各画像を前記第１空間解像度よりも高い第２空間解像度で、かつ、前記第１時間解像度よりも低い第２時間解像度で撮影する第２撮像部と、前記第１の撮像部および前記第２の撮像部における撮像条件を制御する制御部とをさらに有しており、前記コンピュータプログラムは、前記プロセッサに、前記第１色成分の動画像の情報、および、前記第２色成分の動画像の情報に基づいて、時空間解像度を高めた前記第２成分の動画像を生成するステップと、前記第１色成分および前記第３色成分の各動画像の情報、および、時空間解像度を高めた前記第２成分の動画像の情報に基づいて、空間解像度を高めた前記第１色成分および前記第３色成分の動画像を生成するステップとを実行させる。

本発明の撮像処理装置によれば、解像度とフレームレートが異なる複数の色成分の動画像から、解像度とフレームレートがともに高い多色動画像を生成することが可能になる。複数の色成分の動画像の各々は、ハーフミラーなどを用いることなく、たとえばダイクロイックミラーを用いて、入射光を色成分ごとに分離して撮影される。そのため、ＨＤＴＶ以上に高解像度化したカラー画像を動画として得るという効果や、ＨＤＴＶ用のカラーカメラをより小型化できる。

以下、添付の図面を参照しながら、本発明による撮像処理装置の実施形態を説明する。

（実施形態１）
図１は、本実施形態による撮像処理装置１の構成を示す。撮像処理装置１は、レンズ系１０１と、ダイクロイックミラー１０２と、第１の撮像部１０３と、第２の撮像部１０４と、画像処理部１０５と、制御部１２０とを有している。

以下では、まず各構成要素の機能を概説し、その後、撮像処理装置１の動作に関連して各構成要素の動作を詳述する。

レンズ系１０１は、撮像処理装置１の外部から入射した光、すなわち被写体の像を集束させる。

ダイクロイックミラー１０２は、光の赤（Ｒ）成分および青（Ｂ）成分を透過させ、光の緑（Ｇ）成分を反射する。すなわちダイクロイックミラー１０２は、入射した光を、赤（Ｒ）成分および青（Ｂ）成分と、緑（Ｇ）成分とに分離する。なお、以下では、赤成分を「Ｒ成分」、緑成分を「Ｇ成分」、青成分を「Ｂ成分」とも記述する。

第１の撮像部１０３は、入射光（ここでは光のＲ成分およびＢ成分）に基づいて、短時間の露光時間、低解像度および高フレームレートでＲ成分およびＢ成分の動画像をそれぞれ撮影する。そして、得られたデータを出力する。なお、Ｒ成分の動画像およびＢ成分の動画像をそれぞれ取得するために、第１の撮像部１０３は内部にダイクロイックミラーを有し、かつ、Ｒ成分およびＢ成分を検出する撮像素子を備えていてもよい。

第２の撮像部１０４は、入射光（ここでは光のＧ成分）に基づいて、長時間の露光時間、高解像度および低フレームレートで動画像を撮影し、Ｇ成分の動画像のデータを出力する。

画像処理部１０５は、Ｒ成分およびＢ成分の光に対応する動画像のデータ、およびＧ成分の光に対応する動画像のデータを受け取り、それぞれを、画像処理によって高解像度および高フレームレートの動画像に変換して出力する。

画像処理部１０５は、Ｇ用アップコンバータ１０６およびＲ，Ｂ用アップコンバータ１０７を備えている。

Ｇ用アップコンバータ１０６は、Ｇ成分のフレームレートを高めた高解像度、高フレームレートの動画像のデータを生成する。Ｒ，Ｂ用アップコンバータ１０７は、Ｒ成分およびＢ成分の解像度を高め、高解像度、高フレームレートの動画像のデータを生成する。動画像は、１枚または複数枚の画像を所定のフレームレートで連続して切り替えて表示される。Ｒ，Ｂ用アップコンバータ１０７による解像度を高める処理は、動画像を構成する各画像の画素数を増加させることを意味する。

Ｇ用アップコンバータ１０６およびＲ，Ｂ用アップコンバータ１０７の詳細は後述する。

制御部１２０は、第１の撮像部１０３および第２の撮像部１０４を利用して動画像を撮影するときの撮像条件を制御する。そしてその制御情報を、Ｇ用アップコンバータ１０６およびＲ，Ｂ用アップコンバータ１０７に出力する。

次に、撮像処理装置１の動作とともに各構成要素の動作を詳述する。

レンズ系１０１は、被写体の像が、第１の撮像部１０３および第２の１０４の撮像素子上に結ばれるよう、その位置が調整される。レンズ系１０１を通った光は、ダイクロイックミラー１０２によってＲ成分、Ｇ成分、Ｂ成分に分離される。

上記Ｒ成分およびＢ成分の動画像は、制御部１２０から指示された撮像条件、すなわち、短時間露光、低解像度、高フレームレートで、第１の撮像部１０３によって撮影される。ここで、「低解像度」とは、例えばＮＴＳＣの１フレームの画素数（水平７２０画素×垂直４８０画素）程度か、もしくは、それ以下のＶＧＡ（Ｖｉｄｅｏ Ｇｒａｐｈｉｃｓ Ａｒｒａｙ：水平６４０画素×垂直４８０画素）程度の画素数の解像度をいう。「高フレームレート」とは、３０ｆｐｓ（フレーム／秒）ないし６０ｆｐｓ程度をいう。「短時間露光」とは、最長でもフレームレートで決まる上限値（本実施の形態の場合、３０分の１秒ないし６０分の１秒）以下の時間で露光することをいう。

上記Ｇ成分の動画像についても、制御部１２０から指示された撮像条件、すなわち、長時間露光、高解像度、低フレームレートの撮像条件で、第２の撮影部１０４によって撮影される。ここで、「高解像度」とは、例えば一般的なデジタルスチルカメラの画素数（例えば水平約４０００画素、垂直約３０００画素）の解像度をいう。「低フレームレート」とは、第１の撮像部１０３の数分の１から１０分の１ないし２０分の１程度のフレームレート（たとえば３ｆｐｓ（フレーム／秒））をいう。「長時間露光」とは、前記低フレームレートの値で決まる時間（たとえば１／３秒）を上限として露出することをいう。

本実施形態においては、第１の撮像部１０３および第２の撮像部１０４は、制御部１２０によって同期制御されて動作する。しかしながら、同期して動作することは必須ではない。

なお、上述した露光時間の長短、解像度の高低、フレームレートの高低は、第１の撮像部１０３および第２の撮像部１０４における相対的な撮像条件を意味する。カラー画像のＲ成分およびＢ成分の露光時間は、Ｇ成分の露光時間よりも短ければよい。Ｒ成分およびＢ成分の解像度（ここでは画素数に対応）はＧ成分のそれよりも低ければよい。Ｒ成分およびＢ成分のフレームレートはＧ成分のそれよりも高ければよい。例示した上述の数値範囲に限定されることはない。

以下、本明細書では、解像度が高く（Ｈ）フレームレートが低い（Ｌ）、Ｇの色成分の動画像をＧHL、解像度が低く（Ｌ）フレームレートが高い（Ｈ）、ＲおよびＢの色成分の動画像をそれぞれＲ_LH、Ｂ_LHのように表記する。１文字目が色成分を表し、２文字目（第１の添え字）が解像度を表し、３文字目（第２の添え字）がフレームレートを表す。

Ｇ用アップコンバータ１０６は、長時間露光、高解像度で低フレームレート撮像されたＧ画像Ｇ_HL、短時間露光、低解像度で高フレームレート撮像されたＲ画像およびＢ画像Ｒ_LH，Ｂ_LHのデータを撮像条件として受け取り、Ｇ_HLを高解像度化しＧ_HHとして出力する。

すなわち、Ｇ用アップコンバータ１０６は、同じ解像度で高フレームレート化した合成動画像を生成する。これは、緑の合成動画像の主観画質が最も良くなるように処理することを意味している。

このように処理する理由は、人の視覚感度は赤、青よりも緑に対して高いという特性を有しており、一般的には緑の合成動画像の主観画質が最も良くなるようにすることが望ましいためである。

緑の合成動画像の主観画質を良くするためには、緑の動画像を高解像度低フレームレートで撮影することが好適な場合が多いと考えられる。例えば、画像中の被写体が静止もしくは動きが小さい場合、緑の動画像を高解像度低フレームレートで撮影すると、赤や青の合成動画像に対して、緑の合成動画像の解像度が高く、その結果主観画質が高くなる。そして、赤や青に比べてさらに緑の動画像のフレームレートを高くすることで、主観画質が良くなることが期待できる。

図２は、Ｇ用アップコンバータ１０６の構成をより詳細に示す。図２において、図１の撮像処理装置の構成要素と共通する構成要素には同じ参照符号を付し、その説明を省略する。

Ｇ用アップコンバータ１０６は、動き検出部１０８および時間解像度アップコンバータ１０９を有している。

動き検出部１０８は、ブロックマッチング、勾配法、位相相関法等の既存の公知技術によって、Ｒ_LH、Ｂ_LHから動き（オプティカルフロー）を検出する。公知技術として、たとえばJ. L. Barron, D. J. Fleet, S. S. Beauchemin, and T. A. Burkitt. “Performance of Optical Flow Techniques”, In Proc. Computer Vision and Pattern Recognition, pp. 236-242, 1992が知られている。

図３（ａ）および（ｂ）は、ブロックマッチングによって動き検出を行うときの基準フレームと参照フレームとを示している。動き検出部１０８は、基準とするフレーム（動きを求めるべく着目している時刻ｔにおける画像）内に、図３（ａ）に示す窓領域Ａを設定する。そして、窓領域内のパターンと類似するパターンを参照フレーム内で探索する。参照フレームとして、たとえば着目フレームの次のフレームが利用されることが多い。

探索範囲は、図３（ｂ）に示すように、通常、移動量ゼロの位置Ｂを基準に予め一定の範囲（同図３（ｂ）中のＣ）が設定される。また、パターンの類似の度合い（程度）は、（数１）に示す残差平飽和（ＳＳＤ：Ｓｕｍ ｏｆ Ｓｑｕａｒｅ Ｄｉｆｆｅｒｒｅｎｃｅｓ）や、（数２）に示す残差絶対値和（ＳＡＤ：Ｓｕｍ ｏｆＡｂｓｏｌｕｔｅｄ Ｄｉｆｆｅｒｅｎｃｅｓ）を評価値として計算することによって評価する。

（数１）および（数２）において、ｘ，ｙ∈Ｗは、基準フレームの窓領域内に含まれる画素の座標値を意味する。

動き検出部１０８は、探索範囲内で（ｕ，ｖ）を変化させることにより、上記評価値を最小とする（ｕ，ｖ）の組を探索し、これをフレーム間での動きベクトルＶとする。窓領域の設定位置を順次シフトさせることによって、動きを画素毎もしくはブロック毎（例えば８画素×８画素）に求める。

再び図２を参照する。時間解像度アップコンバータ１０９は、第１の撮像部１０３によって撮像されたＲ画像Ｒ_LHおよびＢ画像Ｂ_LH、第２の撮影部１０４によって撮像されたＧ画像Ｇ_HL、および、動き検出部１０８によって検出された動きベクトルＶの各データを受け取り、Ｇ_HLを高解像度化しＧ_HHとして出力する。

ここで、Ｇ_HLの高解像度化は、下記の（数３）を最小化するＧ_HHを求めることによって行われる。

ここで、Ｇ_HH、Ｇ_HLは動画像の各画素を要素とする縦ベクトル、Ｈ_Tは長時間露光による光の加算をモデル化した行列、λsは滑らかさ拘束に対する重み、Ｑ_sは滑らかさ拘束、λ_mは動き拘束に対する重み、Ｑ_mは動き拘束、λ_cは色相関拘束に対する重み、Ｈ_Sは高解像度画像と低解像度画像の関係をモデル化した行列、Ｑ_cは色相関拘束を表している。制御部１２０によって第２の撮像部１０４に設定される撮影条件は、少なくとも上記Ｈ_T、Ｑ_s、Ｑ_mおよびＱ_cに反映される。

上記（数３）を最小化するＧ_HHとは、与えられた拘束条件の線形和をもっともよく満足するＧ_HHを意味する。なお、数３の左辺はスカラーである。右辺の各項の導出過程は後述する。

時間解像度アップコンバータ１０９は、下記（数４）に基づいて（数３）を最小化するＧ_HHを得る。

その結果、時間解像度アップコンバータ１０９は、（数５）に示す連立方程式を解くことによってＧ_HHを得る。

（数５）は共役勾配法や最急降下法等の既存の数値計算法（連立方程式の解法）を用いることによって解くことができる。

時間解像度アップコンバータ１０９が、入力されたＧ_HLを上述の手順によって高解像度化しＧ_HHを求める処理は、フレーム数を多くする処理、すなわち時間解像度を高める処理だけでなく、ぼけた画像をくっきりした（シャープな）画像に変換する処理も含んでいる。Ｇ成分の動画像は、第２の撮像部１０４によって高解像度で撮影されているが、長時間露光の影響で画像の一部がぼけていることもありえる。そこで画像のシャープ化処理も含めて「高解像度化」と称している。

以下に、（数３）の各項の意味、働きについてより詳細に説明する。

（数３）の第一項は、高解像度化したＧ_HHから予測される長時間露光画像と、実際に観測した長時間露光画像Ｇ_HLとの差異を示す。これは、高解像度化したＧ_HHと、長時間露光画像Ｇ_HLと画像間の時空間的な対応関係を表している。ここで、Ｈ_Tでは行の数が列の数より少ない。これは、Ｇ_HLが長時間露光画像であって、Ｇ_HHよりもフレームレートが低い（すなわち、トータルの画素数が少ない）ことからも理解できる。そのため、仮に（数３）の左辺を第一項だけにすると、解くべき問題（すなわち連立方程式）が一意に解けない不良設定問題となる。

この不良設定問題を良設定問題に変更するために、（数３）の第一項には第二項以降が付加されている。（数３）の第二項は、画像が一般的に満たしている特性、すなわち近傍画素間の局所的な滑らかさを示す。動画像をI（ｘ，ｙ，ｔ）とすると、局所的な滑らかさは、

として表すことができる。ここで、積分範囲は動画像の占める時空間全体であり、数６の被積分関数中の||・||はベクトルのノルムを示す。（数３）の第二項は、（数６）を差分展開しＩをＧに置き換えて、行列Ｑ_sとベクトルＧ_HHの積の形で表している。

（数３）の第三項は、画像中の動きに関する拘束である。ここでは、動画像中の各点が明るさを変えずに移動していくことを仮定している。第三項中の行列Ｑ_mは、動画像中で検出された動きベクトルの始点と終点の画素に関係する要素だけが、それぞれ１と−１になっている。そのため（Ｑ_mＧ_HH）²は、動きベクトルの始点と終点間の残差の２乗の動画像全体に関する総和となる。

（数３）の第四項は、Ｒ，Ｇ，Ｂ間の局所的な相関に関する拘束である。（数３）の第二項で局所的な滑らかさを仮定しているのと同様、ここでは、局所的なＲ，Ｇ，Ｂの画素値の間での相関（色相関）を仮定する。

いま、簡単のために、図４に示す例で考える。図４は、２×２画素のカラー画像を構成するＲ，Ｇ，Ｂ画素群を示す。ここでは、Ｒ，Ｇ，Ｂ間で相関があると仮定している。すなわち、各画素におけるＲ，Ｇ，Ｂの比が一様であると仮定している。すると下記（数７）が成り立つ。

これら各４つの比から２つを選ぶと、その選び方は4Ｃ2＝６通りであることから、（数８）を得る。

（数８）を行列とベクトルで表すと、（数９）となる。

局所的な領域として２×２画素を考えた場合、ＲＧＢ間の相関は、（数９）の左辺のノルム（数１０）によって評価できる。

ここで、ｑ^Tｑは（数１１）によって表すことができる。

次に、２×２画素よりも大きな画像中の局所領域として２×２画素の領域を考える。図５は、大きな画像中の局所領域を構成する画素ｉ、ｉ＋１、ｉ＋ｗおよびｉ＋ｗ＋１を示す。図５に示すように、局所領域の左上の画素をi番目の画素とすると、右上の画素はｉ+１番目、左下の画素はｉ＋ｗ番目（ここで、ｗは画像の幅の画素数）、右下の画素はｉ＋ｗ＋１番目の画素となる。そのため、この場合（数１１）は（数１２）のように変形される。

画像全体についてＱ_c ^TＱ_cを計算するには、Ｑ_c ^TＱ_cの全要素を０にしたのち、局所領域の左上の画素の位置（すなわちｉ）を順次シフトさせながら、（数１０）で示される局所的な係数を大域的な係数行列Ｑ_c ^TＱ_cに加算してゆけばよい。この時、局所領域の位置を縦横にそれぞれ1画素ずつシフトさせて互いに重なるように配置してもよいし、もしくは、縦横にそれぞれ2画素ずつシフトさせて互いに重ならずに隣接するように配置してもよい。後者の場合には、局所領域境界でアーチファクトが生じる場合がありえるが、より少ない演算量でほぼ同等の効果を得ることができる。

以上述べた手順により、Ｈ_T、Ｑ_s、Ｑ_m、Ｑ_c ^TＱ_cを計算することができる。なお、（数３）の第４項に含まれているＨ_Sは、Ｇ_HHを空間的に低解像度化する作用素である。これは、上記の色相関拘束をＧ_HHの中域とＲ_LH，Ｂ_LHの間で課すために用いられている。

また、各拘束についての重みλ_s、λ_m、λ_cの各値は、生成される画像Ｇ_HHの画質がよくなるように設定する。たとえば（数３）において、これらのパラメータで重み付けした各項（先頭の項を含む４項）の大きさがオーダーとしてほぼ揃うことが、重みλ_s、λ_m、λ_cの値を設定する際のひとつの目安となる。逆にこれら４項の大きさのオーダーが不揃いであると、値の大きな項が拘束条件として支配的になり、値の小さな項は拘束条件として効いていないことになる。

以上のように計算した行列と重みを用いて、観測される画像Ｇ_HLに対して（数５）の連立方程式を解くことにより、Ｇ_HHを生成できる。

なお、（数１２）に示した局所的な領域におけるＲとＢの相関に応じて（数１３）の様に重み付けすることにより、ＲＢ間の相関に応じて視覚的により自然なＧ_HHを再現することができる。

ここで、重みＷの分布としては、局所領域内のＲとＢの相関値（−１から１）に応じて、０から１の値をとるように設定する。たとえば図６は、ＲとＢの局所的な相関ρと重みＷとの関係を示す。図４に示す２×２画素の領域に関して、ＲとＢの局所的な相関値ρは（数１４）によって示される。

ＲとＢの局所的な相関値ρが得られると、図６の関係に基づいて重みＷが決定される。

なお、局所的なＲとＢの相関は、必ずしも２×２画素の領域について求める必要はなく、３×３画素、４×４画素、５×５画素等のより広い範囲の矩形領域について求めてもよい。また、円形や４角形以上の多角形等の領域について求めたり、ガウシン関数等により着目画素位置近傍を重視するような重みをつけて計算してもよい。このような計算方法により、画像のパターンに対して、相関値の計算をより等方性のあるものにできる。

なお、本実施の形態においては、色相関に関する拘束Ｑ_cをＲ，Ｇ，Ｂのレベルそのものを用いて計算したが、レベルそのものの代わりにＲ，Ｇ，Ｂのこう配を用いても同様の効果を得ることができる。その様な例について以下に説明する。

動画像中の動きに関しては、対応点間で明るさが一定であると仮定すると、画像中の動きベクトル（ｕ，ｖ）について、オプティカルフローの関係が近似的に成り立つことが知られている。Ｒ，Ｇ，Ｂそれぞれについてのオプティカルフローの式は（数１５）となる。

ここで、画像中の動きベクトル（ｕ，ｖ）がＲ，Ｇ，Ｂ間で同じであるとすると、（数１６）を得る。

（数１６）において、Ｒ，Ｇは１画素の値について考えている。しかしながら、∂／∂ｘ，∂／∂ｙは差分展開により行列として表現できるので、Ｒ，Ｇをベクトルとして考えると、動画像全体について（数１７）を得る。

画像全体について、（数１７）の各式を可能な限り同時に成立させるために、（数１８）を最小化するＧ_HHを求める。

（数１８）を最小化するＧ_HHを求めるためには、（数１８）をＧ_HHで偏微分して得られる式をゼロにするＧ_HHを求めればよい。これにより（数１９）を得る。

（数１９）と（数３）の第４項との比較より、（数２０）を得る。

なお、局所的な相関関係は、ここまでで説明したような空間的な近傍についてのものに限る必要はなく、時間的空間的近傍について考えてももちろんよい。例えば、その一例として図２０の様な近傍領域について考えることにより、より安定した効果を得ることができる。図１９は、２×２×２画素のカラー画像を構成するＲ，Ｇ，Ｂ画素群を示す。ここでは、Ｒ，Ｇ，Ｂ間で相関があると仮定している。すなわち、各画素におけるＲ，Ｇ，Ｂの比が一様であると仮定している。すると下記（数２１）が成り立つ。

これら各８つの比から２つを選ぶと、その選び方は_８Ｃ_２＝２８通りであることから、（数２２）（数２３）を得る。

（数２２）（数２３）を行列とベクトルで表すと、（数２４）（数２５）となる。

（数２４）（数２５）より以下の関係を得る。

局所的な領域として２×２×２画素を考えた場合、ＲＧＢ間の相関は、（数２５）の左辺のノルム（数２７）によって評価できる。

２×２×２画素よりも大きな画像中の局所領域として２×２×２画素の領域を考える場合には、先に２×２画素の空間的な近傍領域について考えた場合と同様に、局所的な関係を大域的な関係式に順次加算していくことにより、大域的な関係式を得ることができる。

なお、上記２×２×２画素の近傍領域について局所的な相関関係を考えるかわりに、図２０に示すように、着目画素と着目画素に時間的、空間的に隣接する３画素の計４画素のみについて局所的な相関関係を考えてもよい。この場合、２×２×２画素の近傍領域について局所的な相関関係を考えるよりも少ない演算量で、ほぼ同様の効果を得ることができる。

さらに、上記の様な形で時間方向の近傍領域について局所的な相関関係を考えるかわりに、オプティカルフローの方向、すなわち、動きベクトルの方向に沿って局所的な相関関係を仮定することにより、オプティカルフロー（動きベクトル場）が正しく求められている場合には、よりいっそう安定した効果を得ることができる。さらに、動きベクトルがサブピクセル精度で得られている場合には、小数点以下の動きベクトルの値を用いた重み付けにより、サブピクセル精度の動き情報を有効に用いることができる。

上述の（数３）に関しては、右辺第１項から第４項までの拘束条件は、必ずしもそれら全てを同時に用いる必要はない。以下のような変形例を用いてもよい。すなわち、（数１）の第１項と第２項のみを利用して

としてもよい。または、（数３）の第１項と第４項のみに基づく（数２９）を利用してもよい。

または、（数３）の第１項と第２項と第３項のみに基づく（数３０）を利用してもよい。

または、第１項と第２項と第４項のみに基づく（数３１）を利用してもよい。

これらの変形例によれば、（数３）に示す４項全ての拘束条件を用いて（数１）によって計算するよりも少ない演算量でＧ成分の高解像度化を実現できる。ただし、拘束条件を緩和することになるため、生成される画像の高解像度感が多少低下することがある。

また、動き検出が難しいシーンでは、動き検出の結果を用いない数式（（数２８）、（数２９）または（数３１））によって高解像度化処理を行うことにより、出力される画像の画質に関して、動きの誤検出によるアーティファクト（画像の乱れ、ノイズ）の発生を抑えることができる。シーンからの動き検出が難しいか否かは、（ａ）時間的に双方向に動き検出を行った結果の差異から判断したり、（ｂ）（数１）、（数２）に示した動き検出時の評価値の探索範囲内での最小値から判断することができる。

前者（ａ）の場合、基準フレームの画像中の（ｘ，ｙ）において、時間的に順方向の動き検出結果が（ｕ，ｖ）であるとすると、次に順方向の動き検出時の参照フレームを基準に逆方向に動き検出をして、（ｘ＋ｕ，ｙ＋ｖ）における動き検出結果が（−ｕ，−ｖ）であれば、双方向の動き検出において一貫性があり信頼できる。一方、（−ｕ，−ｖ）と異なる場合、例えば一定のしきい値以上の差異がある場合には、動き検出が難しい状況であると判断できる。

また、後者（ｂ）の場合も同様に、ＳＳＤやＳＡＤの動き検出時の評価値の探索範囲内での最小値について、例えば予め定めたしきい値以上である場合、動き検出が難しい状況であると判断できる。

また、色相関のないシーンについては、（数２８）や（数３０）を用いればよい。（数１３）に示す重み付け方法によれば、色相関のないシーンを処理すると重みが小さくなる。よって、その場合には自動的に（数３０）を用いていることになる。

再び図１を参照する。Ｒ，Ｂ用アップコンバータ１０７は、Ｇ用アップコンバータ１０６によって高解像度化されたＧ成分の動画像を用いて、第１の撮像部１０３によって、短時間露光、低解像度、高フレームレートの撮像条件で撮像されたＲ，Ｂ成分の動画像を高解像度化する。

以下、図７を参照しながら、Ｒ，Ｂ成分の動画像を高解像度化する処理を詳細に説明する。

図７は、Ｒ，Ｂ用アップコンバータ１０７の構成をより詳細に示す。図７において、図１の撮像処理装置の構成要素と共通する構成要素には同じ参照符号を付し、その説明を省略する。

Ｒ，Ｂ用アップコンバータ１０７は、ダウンコンバータ１１０と、係数推定部１１１と、復元フィルタ１１２とを有している。

ダウンコンバータ１１０は、Ｇ用アップコンバータ１０６によって高解像度化されたＧ成分（Ｇ_HH）を空間的に低解像化し、Ｇ_LHを出力する。係数推定部１１１は、Ｇ_HHとＧ_LHから復元フィルタ１１２（復元フィルタＨ+）のフィルタ係数を推定する。復元フィルタ１１２として、ウィーナフィルタや一般逆フィルタ等の公知のフィルタを用いることができる。これらの復元フィルタは、Ｇ_HHとＧ_LHの関係を用いて、低解像度側の信号から高解像度側の信号を推定するものである。復元フィルタ１１２は、係数推定部１１１によって推定されたフィルタ係数を用いて、Ｒ_LH，Ｂ_LHからＲ_HH，Ｂ_HHを復元する。

なお、Ｒ，Ｂ用アップコンバータ１０７におけるＲ，Ｂの高解像度化処理は、上述の、いわゆる再構成型の処理に限る必要はなく、他の高解像度化処理によって行ってもよい。他の例による高解像度化処理を以下に説明する。

図８は、他の例によるＲ，Ｂ用アップコンバータ１０７の構成を詳細に示す。ここで、Ｒ，Ｂ用アップコンバータ１０７は、ＲとＢの相関に応じてＧの高域成分を、補間拡大したＲ成分およびＢ成分に重畳することにより、Ｒ成分およびＢ成分を高解像度化する。

図８に示されるＲ，Ｂ用アップコンバータ１０７は、ダウンコンバータ１１３と、補間拡大部１１４と、局所相関演算部１１５と、重み生成部１１６と、カウンタ１１７と、画像メモリ１１８と、正規化部１１９とを有している。

Ｒ，Ｂ用アップコンバータ１０７は、動画像を構成するフレーム単位で処理を行う。まず、各フレーム処理の初めに、カウンタ１１７の内容と画像メモリ１１８の内容を、たとえば０で埋めることにより、クリアする。

低解像度化部１１３はＧ用アップコンバータ１０６によって高解像度化されたＧ成分（Ｇ_HH）を空間的に低解像化し、Ｇ_LHを出力する。

補間拡大部１１４は、低解像度、高フレームレートで撮像されたＲ_LH，Ｂ_LHと撮影条件とを受け取り、Ｒ_LHとＢ_LHとをＧ_HHと同じ画素数になる様に補間拡大する。

局所相関演算部１１５は、２×２画素や３×３画素程度の局所的な領域に関し、Ｒ_LHとＢ_LHの局所的な相関値を計算する。２×２画素について局所的な相関値ρを計算するときは、局所相関演算部１１５は、たとえば（数１４）を利用することができる。

重み生成部１１６は、局所相関演算部１１５によって計算された相関値に応じた重みを生成する。図９は、相関値ρと重みＷ２との関係の例を示す。重み生成部１１６は、相関値ρと図９に示す関係とに基づいて、重みＷ２を求める。

図８に示されるように、重み生成部１１６によって生成され、出力された重みと、Ｇ_HHとＧ_LHの差（すなわちＧの高域成分）とが乗算され、画像メモリ１１８が更新される。より詳しくは、乗算が行われた後、画像メモリ１１８内の画素データの格納位置に応じたアドレスが特定される。そして、乗算結果とそのアドレスに保持されていた値とが加算され、そのアドレスの値が加算結果に書き換えられる。

このとき、画像メモリ１１８に書き込みを行う対象は、１画素でもよく、または、局所的な相関値を計算した範囲でもよい。ただし、後者の様に複数画素について高域成分を重畳する場合、局所相関を計算する領域の設定の仕方（すなわち画像内でのインクリメントの仕方）によっては、同一画素に複数回、高域成分を重畳することになる。そのような場合を考慮して、図８のＲ，Ｂ用アップコンバータ１０７では、カウンタ１１７を利用する。カウンタ１１７は、高域成分を重畳した回数を各画素について記憶する。

正規化部１１９は、複数回重畳した高域成分を、カウンタ１１７に１画素毎に記憶されている書き込み回数値で除算する。正規化された高域成分は、補間拡大部１１４によって補間拡大されたＲ，Ｂ画像に重畳され、Ｒ_HH，Ｂ_HHとして出力される。

以上述べた方法によって、Ｒ，Ｂを高解像度化することにより、局所的な色バランスを保った状態でＲとＢとを高解像度化することができ、その結果、偽色の発生を抑えた高解像度化を行うことができる。

なお、図９には相関値と重みの関係の一例として線形な関係の場合を示した。しかしこれは例であり、撮像時や表示時のγ特性を考慮して非線形な関係にしてもよい。また、前記の重みを、Ｒについては（Ｒの局所平均）／（Ｇの局所平均）で正規化し、Ｂについては（Ｂの局所平均）／（Ｇの局所平均）で正規化してもよい。この正規化により、Ｒ、Ｇ、Ｂの画素値に応じて、ＲとＢ重畳するＧの高域成分の振幅を調節することができ、過度な高域の重畳による観察時の違和感を低減できる。ここで、Ｒ、Ｇ、Ｂの局所平均としては、補間拡大したＲ_ＬＨ、Ｂ_ＬＨや図８のダウンコンバータ１１３でＧ_ＨＨをダウンコンバートしたＧ_ＬＨの画素値を用いればよい。

なお、補間拡大したＲ、Ｂ画像に対する高域成分の重畳を１画素につき１回だけ行うように動作させるとすると、図８の画像メモリ１１８、カウンタ１１７、正規化部１１９は不要であり、図１０に示す構成を採用することができる。図１０は、Ｒ，Ｂ用アップコンバータ１０７の構成の変形例を示す。図１０に示すように、図８と比較するとより簡単な構成でＲ，Ｂ用アップコンバータ１０７を実現することができ、かつ、同様の効果を得ることができる。

なお、Ｒ，Ｂ用アップコンバータ１０７におけるＲ，Ｂの高解像度化処理は、上述したいわゆる再構成型の超解像処理や、Ｇの高域成分をＲおよびＢ成分に重畳する処理に限る必要はない。高解像度化したＧ成分とそれを低解像度化したもの（上記Ｇ_LHとＧ_HH）との間の関係を学習し、学習結果に基づいてＲ成分、Ｂ成分を高解像度化するようにしてもよい。

なお、学習は入力された画像の処理過程において行うものに限らず、予め事前に学習パターンを用意して行うようにしてもよい。この場合には、低解像度のＧ成分と高解像度のＧ成分の関係を学習する方法だけでなく、低解像のＲＧＢ成分と高解像度のＲＧＢ成分の関係を学習することも可能である。

これまでの説明では、出力信号はＲ，Ｇ，Ｂの各色成分であるとした。以下では、ＲＧＢの各出力信号を輝度成分と色差成分に変換して出力する撮像処理装置を説明する。

図１１は、本実施形態の変形例による撮像処理装置１１の構成を示す。図１１において、上述した撮像処理装置の構成要素と共通する構成要素には同じ参照符号を付し、その説明を省略する。

画像処理部１０５は、Ｇ用アップコンバータ１０６、補間拡大部１１４、およびダウンコンバータ１１３に加え、さらに色差計算部１２９および輝度計算部１３０を有する。

制御部１２０は、補間拡大部１１４によって補間拡大されたＲ成分、Ｂ成分の信号、および、低解像度化部１１３で低解像度化されたＧ成分の信号を受け取り、（数３２）の計算によって色差信号（Ｃｂ信号、Ｃｒ信号）に変換して出力する。

輝度計算部１３０は、補間拡大部１１４によって補間拡大されたＲ成分、Ｂ成分の信号、および、Ｇ用アップコンバータで高解像度化されたＧ成分の信号を受け取り、（数３３）の計算によって輝度信号（Ｙ信号）に変換して出力する。

上述の色差計算部１２９および輝度計算部１３０の説明から理解されるように、色差成分Ｃｂ、Ｃｒの計算には低解像度化したＧを用い、一方、輝度成分Ｙの計算には高解像度化されたＧを用いている。これにより、偽色の発生を抑えつつ、出力される画像の高解像度化を実現できる。

なお、画像処理部１０５の後段にＹ、Ｃｂ、Ｃｒの各信号をＲＧＢの各信号へ変換するブロックをさらに設けて、ＲＧＢ成分の信号を出力する構成にしてもよい。

なお、本実施形態による撮像処理装置およびその変形例による撮像処理装置は、Ｇ成分を高解像度、長時間露光、低フレームレートで撮像し、Ｒ成分およびＢ成分を低解像度、短時間露光、高フレームレートで撮像するとした。しかしながら、これは例である。どの色成分（波長帯）を高解像度、長時間露光、低フレームレートで撮像するかについては、他の例を採用することが可能である。

たとえば、海やプール等、水中のシーンを撮像する場合の様に、シーン中にＢ成分が強く現れることが事前に分っている場合には、Ｂ成分を高解像度、長時間露光、低フレームレートで撮像し、Ｒ成分およびＧ成分を低解像度、短時間露光、高フレームレートで撮像することにより、観察者により高解像度感のある画像を提示することができる。

たとえば図１２は、撮像処理装置１を一般化した撮像処理装置１３の構成を示す。図１２において、図１の撮像処理装置の構成要素と共通する構成要素には同じ参照符号を付し、その説明を省略する。

撮像処理装置１３は、Ｒ成分撮像部１３１と、Ｇ成分撮像部１３２と、Ｂ成分撮像部１３３と、制御部１３４と、切替部１３５と、ＨＬ用アップコンバータ１３６と、ＬＨ用アップコンバータ１３７と、出力部１３８とを有している。以下、撮像処理装置１３の動作とともに各構成要素の機能を説明する。

光学系１０１を通った可視光は、ダイクロイックプリズムで波長分解され、Ｒ成分撮像素子１３１、Ｇ成分撮像素子１３２、Ｂ成分撮像素子１３３によって撮像される。ＲＧＢ各成分の撮像部１３１，１３２，１３３の読み出し画素数は、ビニング読み出し方法により、個別に、かつ動的に設定できる。「ビニング読み出し方法」とは、隣接する画素に蓄積された電荷を加算して読み出す方法である。また、各撮像部１３１，１３２，１３３では、露光時間、フレームレートについても同様に設定可能とする。読み出し時の条件設定は、制御部１３４によって行われる。

制御部１３４は、シーン中の色成分の分布に応じて、Ｒ成分撮像素子１３１、Ｇ成分撮像素子１３２、Ｂ成分撮像素子１３３のうちのいずれかを、高解像度、長時間露光、低フレームレート（実施の形態１におけるＧに相当）に設定し、残りを低解像度、短時間露光、高フレームレート（実施の形態１におけるＲ，Ｂに相当）に設定する。

なお、撮像開始時にはシーン中の色成分の分布が未知であるので、例えばＧを高解像度、長時間露光、低フレームレートに設定する様にすればよい。

切替部１３５は、制御部によるＲＧＢ各成分の撮像部１３１，１３２，１３３の設定に応じて、高解像度、長時間露光、低フレームレートでの撮像が設定されている成分の撮像データがＨＬ用アップコンバータ１３６に入力され、残りの成分のデータがＬＨ用アップコンバータ１３７に入力されるように切り替え動作を行う。

ＨＬ用アップコンバータ１３６は、Ｇ用アップコンバータ１０６（たとえば図１）と同じ処理を行い、高解像度、長時間露光、低フレームレートで撮像された成分の動画像を空間的に高解像化する。

ＬＨ用アップコンバータ１３７は、低解像度、短時間露光、高フレームレートで撮像された２系統（２つの色成分）の動画像と、ＨＬ用アップコンバータ１３６で高解像度化された動画像とを受け取り、Ｒ，Ｂ用アップコンバータ１０７（たとえば図１）と同じ処理により、その２系統の動画像を空間的に高解像化する。

出力部１３８は、ＨＬ用アップコンバータ１３６とＬＨ用アップコンバータ１３７によってそれぞれ高解像度化された動画像を受け取り、制御部１３４による設定に応じて、ＲＧＢ３系統の動画を出力する。もちろん、出力部１３８が輝度信号（Ｙ）および色差信号（Ｃｂ，Ｃｒ）信号等の、他の信号形式に変換して出力するようにしてもよい。

（実施形態２）
上述の実施形態１においては、撮像処理と高解像度化処理とが同一のシステムによって行われる例を説明した。しかしながら、両処理は必ずしも同一のシステムで行われる必要はない。

本実施形態においては、撮像処理と高解像度化処理とが異なるシステムにおいて行われる例を説明する。

図１３は、本実施形態による撮像装置９０１、ネットワーク９０２および処理装置９０３で構成された画像処理システムの例を示す。ネットワーク９０２に代えて、メディア９０６を用いても、本実施形態による画像処理システムを構成することができる。図１４において、実施形態１の撮像処理装置（たとえば図１）の構成要素と共通する構成要素には同じ参照符号を付し、その説明を省略する。

撮像装置９０１は、レンズ系１０１と、ダイクロイックミラー１０２と、第１の撮像部１０３と、第２の撮像部１０４と、撮影モード設定部９０４とを有している。

第１の撮像部１０３は、カラー画像のＲ成分とＢ成分とを短時間の露光時間で、低解像度かつ高フレームレートで撮像し、Ｒ画像Ｒ_LHおよびＢ画像Ｂ_LHを出力する。第２の撮像部１０４は、カラー画像のＧ成分を長時間の露光時間で、高解像度かつ低フレームレートで撮像し、Ｇ画像G_HLを出力する。

撮影モード設定部９０４は、例えば第２の撮像部１０４におけるフレームレート、露光時間等の、設定が可変な撮影条件を設定し、設定した条件を示す情報を映像信号のヘッダ中のコメント領域に書き込み、または、別途データとして出力部９０５を介してネットワーク９０２に出力する。

出力部９０５は、撮像装置９０１によって撮像されたＧ画像Ｇ_HL、Ｒ画像Ｒ_LH、Ｂ画像Ｂ_LH、および、それらの撮影条件の情報をネットワーク９０２またはメディア９０６に出力する。

処理装置９０３は、画像処理部１０５を有している。画像処理部１０５は、ネットワーク９０２またはメディア９０６を介して、上記Ｇ_HL、Ｒ_LH、Ｂ_LHおよびその撮影条件の情報を受け取り、実施形態１において説明した処理により、これらを空間的、時間的に高解像度化したＧ_HH、Ｒ_HH、Ｂ_HHを出力する。

以上の構成により、撮像装置と処理装置とが別体で構成され、空間的に離れて存在していても、ネットワーク９０２またはメディア９０６を介して動画像信号および撮影条件の情報を授受できるように構成することにより、処理装置が高時空間解像度の動画像を出力できる。

なお、ネットワーク９０２は家庭内に構築されたＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）でもよいし、インターネットなどのＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）でもよい。または、ＵＳＢ規格やＩＥＥＥ１３９４規格の通信回線でもよい。さらに無線でも有線でもよい。上述のメディア９０６は、光ディスクや取り外し可能なハードディスクなどのリムーバブルディスク、フラッシュメモリカードが含まれる。

上述の各実施形態では、撮像処理装置は、図に示す種々の構成を有するとして説明した。たとえば、各構成に含まれる画像処理部などは、機能的に見たブロックとして記載されていた。これらの機能ブロックは、ハードウェア的には、デジタル信号プロセッサ（ＤＳＰ）のような１つの半導体チップまたはＩＣによって実現することも可能であるし、たとえばコンピュータとソフトウェア（コンピュータプログラム）とを用いて実現することもできる。

たとえば、図１４は、コンピュータによって構成された画像処理装置のハードウェアを示す。

各実施形態の画像処理装置の各機能ブロックと、図１５に示すハードウェアとの対応関係は以下のとおりである。以下では例として、主に図１に示す画像処理装置１を挙げて説明する。

撮像処理装置１のレンズ系１０１、ダイクロイックミラー１０２、第１の撮像部１０３および第２の撮像部１０４は、図１５に示すカメラ１５１およびＡ／Ｄ変換器１５２に対応する。また、画像処理部１０５が実際の処理で利用する一時バッファ（図示せず）やメディア９０６は、図１５に示すフレームメモリ１５３またはハードディスクドライブ（ＨＤＤ）１６０に対応する。そして制御部１２０および画像処理部１０５は、コンピュータプログラムを実行した図１５のＣＰＵ１５４によって実現される。

図１４のコンピュータを動作させるコンピュータプログラムは、たとえばＲＯＭ１５５に保持されている。または、光ディスク、磁気ディスクに格納されていてもよい。また、有線や無線のネットワーク、放送などを介して伝送され、コンピュータのＲＡＭ１５６に取り込まれてもよい。

コンピュータプログラムは、プロセッサであるＣＰＵ１５４によってＲＡＭ１５６に読み出されて展開される。ＣＰＵ１５４はコンピュータプログラムの実態であるコード化された各命令を実行する。命令の実行結果として得られたデジタル画像信号は、フレームメモリ１５７に送られて一時的に保持され、Ｄ／Ａ変換器１５８によってアナログ信号に変換され、ディスプレイ１５９に送られ、表示される。

画像処理部１０５を実現するコンピュータプログラムの処理は、たとえば次に説明するフローチャートにしたがって記述されている。

たとえば図１５は、本発明の処理の手順を示すフローチャートである。この処理は、実施形態１による処理として説明するが、実施形態２の撮像装置９０１および処理装置９０３によって個別に行われる処理として把握することもできる。

まずＳ１０１において、第１の撮像部１０３および第２の撮像部１０４は、長時間露光高解像度低フレームレートのＧ画像Ｇ_HLと短時間露光低解像度高フレームレートのＲ画像Ｒ_LH、Ｂ画像Ｂ_LHとを撮像する。ステップＳ１０２において、画像処理部１０５のＧ用アップコンバータ１０６は、Ｇ成分の動画像を高解像度化する。より具体的には、ステップＳ１０４とＳ１０５とに分けることができる。ステップＳ１０４において、Ｇ用アップコンバータ１０６の動き検出部１０８は、動き検出を行う。ステップＳ１０５において、時間解像度アップコンバータ１０９は、動き検出の結果等を利用して、（数４）に基づいて（数３）を最小化するＧ_HHを求める。

次のステップＳ１０３において、Ｒ，Ｂ用アップコンバータ１０７は、Ｒ成分およびＢ成分の各動画像を高解像度化する。その後、制御部１２０は、撮像が完了したか否かを判定し、完了していないと判定すると処理はステップＳ１０１から繰り返され、完了したと判定すると処理は終了する。

図１６は、図１５に示すステップＳ１０３の詳細な処理の手順を示すフローチャートである。この処理は、図７に示すＲ，Ｂ用アップコンバータ１０７の処理に対応する。

図１６のステップＳ１０６において、ダウンコンバータ１１０は、撮像条件に基づいてＧ_HHを低解像度化する。ステップＳ１０７において、係数推定部１１１は復元フィルタ１１２に適用するための係数を推定する。ステップＳ１０８において、推定された係数が復元フィルタ１１２に適用され、復元フィルタ１１２は、Ｒ_LHおよびＢ_LHを高解像度化し、Ｒ_HHおよびＢ_HHを出力する。

図１７は、他の例によるステップＳ１０３の詳細な処理の手順を示すフローチャートである。この処理は、図８に示すＲ，Ｂ用アップコンバータ１０７の処理に対応する。

ステップＳ１０９において、ダウンコンバータ１１３は、撮像条件に基づいてＧ_HHを低解像度化する。ステップＳ１１０において、Ｇ_HHからＧ_LHが減算される。

一方、ステップＳ１１１において、補間拡大部１１４が撮像条件に基づいてＲ_LHおよびＢ_LHを補間拡大すると、その信号に基づいて、ステップＳ１１２において局所相関演算部１１５が局所的な相関値を計算する。

そしてステップＳ１１３において、重み生成部１１６が重みを生成すると、ステップＳ１１４においてカウンタ１１７が高域成分を重畳した回数を各画素について記憶する。ステップＳ１１５において、重み生成部１１６によって生成され、出力された重みと、Ｇ_HHとＧ_LHの差（すなわちＧの高域成分）とが乗算され、ステップＳ１１６において画像メモリ１１８が更新される。

ステップＳ１１７において、正規化部１１９は、画像メモリ１１８に保持された、複数回重畳した高域成分を、カウンタ１１７に１画素毎に記憶されている書き込み回数値で除算して、正規化する。

そしてステップＳ１１８において、正規化された高域成分は、補間拡大部１１４によって補間拡大されたＲ，Ｂ画像に重畳され、Ｒ_HH，Ｂ_HHとして出力される。

以上、本発明の各実施形態を説明した。実施形態１および２においては、Ｒ，Ｇ，Ｂの３成分をダイクロイックミラーで分離する場合について説明したが、色成分の分離の形態はこれに限るものではない。たとえば単一の素子で深さ方向に、順に、Ｒ＋Ｇ＋Ｂ、Ｒ＋Ｇ、Ｒと３層に分けて撮像する撮像素子を用いても、Ｒ＋ＧもしくはＲ＋Ｇ＋Ｂを高解像度、長時間露光、低フレームレートで撮像し、その他を低解像度、短時間、低フレームレートで撮像した画像を受け取って処理することで、同様の効果を得ることができる。

本発明の撮像装置および処理装置は、撮像素子サイズを小型化したカメラによる高精細画像の撮像とその再生装置、システムとして有用である。また、コンピュータプログラムとしても実現することが可能である。

実施形態１による撮像処理装置１の構成を示す図である。 Ｇ用アップコンバータ１０６の構成をより詳細に示す図である。 （ａ）および（ｂ）は、ブロックマッチングによって動き検出を行うときの基準フレームと参照フレームとを示す図である。 ２×２画素のカラー画像を構成するＲ，Ｇ，Ｂ画素群を示す図である。 大きな画像中の局所領域を構成する画素ｉ、ｉ＋１、ｉ＋ｗおよびｉ＋ｗ＋１を示す図である。 ＲとＢの局所的な相関ρと重みＷとの関係を示す図である。 Ｒ，Ｂ用アップコンバータ１０７の構成をより詳細に示す図である。 他の例によるＲ，Ｂ用アップコンバータ１０７の構成を詳細に示す図である。 相関値ρと重みＷ２との関係の例を示す図である。 Ｒ，Ｂ用アップコンバータ１０７の構成の変形例を示す図である。 実施形態１の変形例による撮像処理装置１１の構成を示す図である。 撮像処理装置１を一般化した撮像処理装置１３の構成を示す図である。 実施形態２による撮像装置９０１、ネットワーク９０２および処理装置９０３で構成された画像処理システムの例を示す図である。 コンピュータによって構成された画像処理装置のハードウェアを示す図である。 本発明の処理の手順を示すフローチャートである。 図１５に示すステップＳ１０３の詳細な処理の手順を示すフローチャートである。 他の例によるステップＳ１０３の詳細な処理の手順を示すフローチャートである。 従来の撮像装置の構成を示す図である。 ２×２×２画素のカラー画像を構成するＲ，Ｇ，Ｂ画素群を示す図である。 着目画素とその近傍３画素のカラー画像を構成するＲ，Ｇ，Ｂ画素群を示す図である。

１０１ レンズ系
１０２ ダイクロイックミラー
１０３ 第１の撮像部
１０４ 第２の撮像部
１０５ 画像処理部
１０６ Ｇ用アップコンバータ
１０７ Ｒ，Ｂ用アップコンバータ
１２０ 制御部

Claims (13)

1. 可視光を、第１色成分、第２色成分および第３色成分に分離する分離部と、
   前記第１色成分および第３色成分の動画像を撮影する第１撮像部であって、第１電荷蓄積期間で露光して、前記動画像を構成する各画像を第１空間解像度で、かつ、第１時間解像度で撮影する第１撮像部と、
   前記第２色成分の動画像を撮影する第２撮像部であって、前記第１電荷蓄積期間よりも長い第２電荷蓄積期間で露光して、前記動画像を構成する各画像を前記第１空間解像度よりも高い第２空間解像度で、かつ、前記第１時間解像度よりも低い第２時間解像度で撮影する第２撮像部と、
   前記第１の撮像部および前記第２の撮像部における撮像条件を制御する制御部と、
   前記第１色成分の動画像の情報、および、前記第２色成分の動画像の情報に基づいて、時空間解像度を高めた前記第２成分の動画像を生成する第１アップコンバータと、
   前記第１色成分および前記第３色成分の各動画像の情報、および、時空間解像度を高めた前記第２成分の動画像の情報に基づいて、空間解像度を高めた前記第１色成分および前記第３色成分の動画像を生成する第２アップコンバータと
   を備えた撮像処理装置。
2. 前記第２アップコンバータは、
   時空間解像度を高めた前記第２成分の動画像を空間的に低解像度化するダウンコンバータと、
   空間解像度を低下させた前記第２成分の動画像および時空間解像度を高めた前記第２成分の動画像の関係に基づいて、解像度が低い動画像から解像度が高い動画像を生成するための復元フィルタの係数を推定する係数推定部と、
   推定された前記係数を利用して、前記第１色成分および前記第３色成分の動画像の空間解像度を高めて出力する復元フィルタと
   を備えた、請求項１に記載の撮像処理装置。
3. 前記第２アップコンバータは、時空間解像度を高めた前記第２成分の動画像を空間的に低解像度化するダウンコンバータを備えており、
   前記第２アップコンバータは、前記ダウンコンバータによって空間解像度を低下させた前記第２成分の動画像および時空間解像度を高めた前記第２成分の動画像の関係を学習して、学習結果に基づいて、前記第１色成分および前記第３色成分の動画像の空間解像度を高めて出力する、請求項１に記載の撮像処理装置。
4. 前記第２アップコンバータは、時空間解像度を高めた前記第２成分の動画像を空間的に低解像度化するダウンコンバータを備えており、
   前記第２アップコンバータは、予め定められた、前記ダウンコンバータによって空間解像度を低下させた前記第２成分の動画像および時空間解像度を高めた前記第２成分の動画像の関係に関する学習パターンに基づいて、前記第１色成分および前記第３色成分の動画像の空間解像度を高めて出力する、請求項１に記載の撮像処理装置。
5. 前記第２アップコンバータは、
   時空間解像度を高めた前記第２成分の動画像を空間的に低解像度化するダウンコンバータと、
   前記第１色成分および前記第３色成分の動画像を空間的に補間拡大する補間拡大部と、
   補間拡大された前記第１色成分および前記第３色成分の動画像の局所的な相関を示す相関値を演算する相関演算部と
   を備えており、時空間解像度を高めた前記第２成分の動画像の広域成分、および、前記相関値に基づいて、前記第１色成分および前記第３色成分の動画像に対応する広域成分を生成し、補間拡大された前記第１色成分および前記第３色成分の動画像に重畳して、空間解像度を高めた前記第１色成分および前記第３色成分の動画像を出力する、請求項１に記載の撮像処理装置。
6. 前記第２アップコンバータは、前記ダウンコンバータによって空間解像度を低下させた前記第２成分の動画像と時空間解像度を高めた前記第２成分の動画像との差を演算して、時空間解像度を高めた前記第２成分の動画像の広域成分を生成する、請求項５に記載の撮像処理装置。
7. 前記第２アップコンバータは、時空間解像度を高めた前記第２成分の動画像の広域成分と前記相関値とを乗算することにより、前記第１色成分および前記第３色成分の動画像に対応する広域成分を生成する、請求項６に記載の撮像処理装置。
8. 前記第２アップコンバータは、前記第１色成分および前記第３色成分の動画像の各フレームを空間的に補間拡大する補間拡大部を有する、請求項１に記載の撮像処理装置。
9. 前記第２アップコンバータは、
   時空間解像度を高めた前記第２成分の動画像を空間的に低解像度化するダウンコンバータと、
   前記第１色成分および前記第３色成分の動画像を空間的に補間拡大する補間拡大部と、
   時空間解像度を高めた前記第２成分の動画像、および、補間拡大された前記第１色成分および前記第３色成分の動画像に基づいて、輝度成分を計算する輝度計算部と、
   空間的に低解像度化された前記第２成分の動画像、および、補間拡大された前記第１色成分および前記第３色成分の動画像に基づいて、色差成分を計算する色差計算部と
   を生成する、請求項１に記載の撮像処理装置。
10. 前記第２色成分は緑である、請求項１に記載の撮像処理装置。
11. 前記第２色成分は、赤、緑および青のいずれかから選択可能である、請求項１に記載の撮像処理装置。
12. 撮像装置によって撮影された動画像の情報を処理する画像処理方法であって、
    前記撮像装置は、
    可視光を、第１色成分、第２色成分および第３色成分に分離する分離部と、
    前記第１色成分および第３色成分の動画像を撮影する第１撮像部であって、第１電荷蓄積期間で露光して、前記動画像を構成する各画像を第１空間解像度で、かつ、第１時間解像度で撮影する第１撮像部と、
    前記第２色成分の動画像を撮影する第２撮像部であって、前記第１電荷蓄積期間よりも長い第２電荷蓄積期間で露光して、前記動画像を構成する各画像を前記第１空間解像度よりも高い第２空間解像度で、かつ、前記第１時間解像度よりも低い第２時間解像度で撮影する第２撮像部と、
    前記第１の撮像部および前記第２の撮像部における撮像条件を制御する制御部と
    を有しており、
    前記第１色成分の動画像の情報、および、前記第２色成分の動画像の情報に基づいて、時空間解像度を高めた前記第２成分の動画像を生成するステップと、
    前記第１色成分および前記第３色成分の各動画像の情報、および、時空間解像度を高めた前記第２成分の動画像の情報に基づいて、空間解像度を高めた前記第１色成分および前記第３色成分の動画像を生成するステップと
    を包含する画像処理方法。
13. 画像処理装置に設けられたプロセッサに、撮像装置によって撮影された動画像の情報を処理させるコンピュータプログラムであって、
    前記撮像装置は、
    可視光を、第１色成分、第２色成分および第３色成分に分離する分離部と、
    前記第１色成分および第３色成分の動画像を撮影する第１撮像部であって、第１電荷蓄積期間で露光して、前記動画像を構成する各画像を第１空間解像度で、かつ、第１時間解像度で撮影する第１撮像部と、
    前記第２色成分の動画像を撮影する第２撮像部であって、前記第１電荷蓄積期間よりも長い第２電荷蓄積期間で露光して、前記動画像を構成する各画像を前記第１空間解像度よりも高い第２空間解像度で、かつ、前記第１時間解像度よりも低い第２時間解像度で撮影する第２撮像部と、
    前記第１の撮像部および前記第２の撮像部における撮像条件を制御する制御部と
    を有しており、
    前記コンピュータプログラムは、前記プロセッサに、
    前記第１色成分の動画像の情報、および、前記第２色成分の動画像の情報に基づいて、時空間解像度を高めた前記第２成分の動画像を生成するステップと、
    前記第１色成分および前記第３色成分の各動画像の情報、および、時空間解像度を高めた前記第２成分の動画像の情報に基づいて、空間解像度を高めた前記第１色成分および前記第３色成分の動画像を生成するステップと
    を実行させる、コンピュータプログラム。

Images