JP4359650B2 - 画像データ生成装置、画像データ生成方法、および画像データ生成プログラム - Google Patents

Description

本発明は、高解像度化画像を高フレームレートで撮影する装置、撮影する方法、撮影記録再生する装置、撮影記録再生する方法、および撮影記録するプログラムに関するものである。

近年、撮像素子の高密度化が進み、デジタルビデオカメラやデジタルスチルカメラの高精細化が著しい。画像の解像度が高いほど、目の前のシーンを詳細に記録できるため、高解像度撮影のニーズは一般的に高い。

解像度は、空間解像度と時間解像度の２つに分類される。前者は、１枚の画像を構成する画素数に対応する。同じ大きさの撮像センサで画素数の多い方が空間解像度の高い撮像センサとなり、被写体の細部まで精細に記録できるため、臨場感の高い高画質の静止画が撮影できる。一方、後者は、単位時間あたりに撮像される画像の枚数に相当する。例えば１秒間に撮影される画像の枚数が多い撮像センサの方が時間解像度の高い撮像センサとなり、被写体の早い動きも細かく撮影できるため、動きの滑らかな動画像が撮影できる。

目の前のシーンをありのままに撮影したい場合、空間解像度と時間解像度をともに高く設定することが多く、従って、データ量が膨大になる。例えば、ＤＶ方式のビデオカメラの場合、画像サイズは７２０画素×４８０ラインであり、フレームレートを秒３０枚とすると、２４ビットＲＧＢカラー信号のデータ転送レートは２４９Ｍｂｐｓ（ｂｉｔ ｐｅｒ ｓｅｃｏｎｄ）（＝ ７２０画素×４８０ライン×２４ｂｉｔ×３０枚）となる。ハイビジョン方式では、画像サイズが１９２０画素×１０８０ラインとなり、データ転送レートは６倍の１．５Ｇｂｐｓ（＝ １９２０画素×１０８０ライン×２４ｂｉｔ×３０枚）となる。更に時間解像度を２倍にし、フレームレートを秒６０枚とすると、３Ｇｂｐｓとなる。このようなデータ転送レートで、カメラの撮像センサの出力から記録メディアへの書き込みまで、あるいはディスプレイの走査までを行う必要がある。一般に、民生用ビデオ機器では、これらのデータ転送レートは負荷が大き過ぎるため、データの冗長性を使用してデータを圧縮し、機器の小型化、低消費電力化、コストダウンなどを図っている。また業務用ビデオ機器でも、データ圧縮によるデータ量の削減は頻繁に使われており、オリジナルのデータ転送レートのまま動作する機器は編集向けの高価なシステムだけである。

このように、空間解像度と時間解像度がともに高い高画質画像を、できるだけ低いデータ転送レートでやりとりするには、必要なデータのみを取得し、冗長性を低くすることが肝心である。そこで、画像取得の段階で必要なデータのみを取得する方式は有効である。例えば、特許文献１は、図２８（ａ）に示すように、高空間解像度・低時間解像度の画像データ１と低空間解像度・高時間解像度の画像データ２を取得し、画像処理で図２８（ｂ）の高空間解像度・高時間解像度の画像データ３を生成する技術を開示している。

例えば、図２８の撮影時間が１秒で、画像データ１の画像サイズを１９２０画素×１０８０ライン、画像データ２の画像サイズを６４０画素×３６０ラインとした場合、図２８（ａ）の８ビット輝度信号のデータ転送レートは、５４Ｍｂｐｓ（＝ １９２０画素×１０８０ライン×８ｂｉｔ×２枚 ＋ ６４０画素×３２０ライン×８ｂｉｔ×１３枚）となる。一方、図２８（ｂ）は、１９２０画素×１０８０ラインが８枚であり、８ビット輝度信号のデータ転送レートは、１３３Ｍｂｐｓ（＝ １９２０画素×１０８０ライン×８ｂｉｔ×８枚）となる。図２８（ｂ）のデータ転送レートは、図２８（ａ）の約２．４倍に拡大されている。

図２９は、画像データ３を生成するフローチャートであり、画像データ２の低空間解像度画像で動きベクトルを推定し、その結果から画像データ１の高空間解像度画像の動き補償を行い、動き補償された高空間解像度画像のＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）スペクトルを、それに対応する時間の低空間解像度画像のＤＣＴスペクトルと合成し、逆ＤＣＴ変換で目的の高空間解像度・高時間解像度の画像を得る。

図３０は、画像データ１と画像データ２を取得するための複合センサカメラ４の構成例である。複合センサカメラ４は、同一視野を有する２種類の画像データを取り込むためのカメラであり、プリズムやハーフミラー等の分光素子５と、２枚のレンズ６と、高空間解像度・低時間解像度カメラ７と、低空間解像度・高時間解像度カメラ８とを備える。分光素子５は、入射光９の一部を反射する。２枚のレンズ６は分光素子５で反射した光および透過した光をそれぞれ集光する。高空間解像度・低時間解像度カメラ７は、一方のレンズ６で集光された光を高空間解像度・低時間解像度で撮像し、画像データ１を出力する。低空間解像度・高時間解像度カメラ８は、他方のレンズ６で集光された光を低空間解像度・高時間解像度で撮像し、画像データ２を出力する。

特開２００５−３１８５４８号公報（図２、図３、図５）

しかしながら、前記従来の技術では、撮像センサの感度とＲＧＢカラー撮影の点で以下のような課題を有していた。すなわち、複合センサカメラ４は、分光素子５によって、入射光９を高空間解像度・低時間解像度カメラ７と、低空間解像度・高時間解像度カメラ８に分配するため、それぞれのカメラに入射する光量が１／２に減少する。入射光量の減少は、撮像画像のＳＮ比（Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ Ｒａｔｉｏ）を低下させ、画質を劣化させる可能性が高まる。一方、ＳＮ比の低下を防ぐために、露出時間を長くすると、ブラーが発生する可能性が高くなり、画質劣化を引き起こす可能性が高くなる。

また、ＲＧＢカラー画像を撮影するには、図３１に示すように、複合センサカメラ４を３つ用意することになり（それぞれ、複合センサカメラ４１、複合センサカメラ４２、複合センサカメラ４３とする）、入射光９を３つの複合センサカメラ４１〜４３に分配するために、２つの色分解フィルタ（色分解フィルタ１０、１１）が必要になる。色分解フィルタ１０は、例えば、長波長域（概ね６００ｎｍ〜７８０ｎｍ）を反射し、残りの波長域を透過する。反射光１２は、複合センサカメラ４１へ入射し、長波長域の撮像が行われ、Ｒ画像が得られる。一方、色分解フィルタ１０の透過光１３は、色分解フィルタ１１に入射し、例えば、短波長域（概ね３８０ｎｍ〜５００ｎｍ）が反射され、残りの波長域を透過する。反射光１４は、複合センサカメラ４２へ入射し、短波長域の撮像が行われ、Ｂ画像が得られる。色分解フィルタ１１の透過光１５は、色分解フィルタ１０の反射光１２と色分解フィルタ１１の反射光以外の光であり、残った中波長域（概ね５００ｎｍ〜６００ｎｍ）が透過する。透過光１５は複合センサカメラ４３に入射し、中波長域の撮像が行われ、Ｇ画像が得られる。以上のように、複合センサカメラへの色分解フィルタ１０、１１の追加は、カメラのサイズを大きくし、カメラの操作性や可搬性を低下させる。

一方、カメラのサイズが大きくならないように、図３２の構成例のように、高空間解像度・低時間解像度カメラ７と、低空間解像度・高時間解像度カメラ８の前に、例えば図３３に示すような色フィルタ１６を配置して、ＲＧＢに色分解する方式も考えられる。すなわち、色フィルタ１６の中で、画素２０に位置する色フィルタは中波長域のＧのみを透過し、それ以外の長波長域Ｒと短波長域Ｂを吸収してＧ画像を生成する。同様に、画素２１に位置する色フィルタは長波長域のＲのみを透過し、それ以外の中波長域Ｇと短波長域Ｂを吸収してＲ画像を生成する。画素２２に位置する色フィルタは短波長域のＢのみを透過し、それ以外の長波長域Ｒと中波長域Ｇを吸収してＢ画像を生成する。このように、色フィルタ１６は、不要な波長域の光を吸収して色分解するため、光の利用効率はモノクロカメラより低くなる。ＲＧＢ３色に分解されるため、概ね、１／３がカメラに入射し、２／３が色フィルタ１６に吸収される計算になる。

本発明は、上記従来の課題を解決するものであり、カメラ構成は従来のカラーカメラと同様で、かつ光の利用効率を低下させることなく、高空間解像度・高時間解像度の画像データを取得できる装置、方法、プログラムおよび撮影記録再生システムを提供することを目的とする。

本発明の画像データ生成装置は、入射光を複数の波長域に分光する分光部と、各々が入射光に応じたアナログ信号を出力する複数の光電変換素子単位が配列された複数の撮像部を備え、前記複数の撮像部が、それぞれ、前記分光部によって分光された波長域が異なる光を受けて撮像を行い、前記アナログ信号を各波長域ごとに出力する撮像装置と、複数の光電変換素子単位から出力された前記アナログ信号を加算する機能を備え、前記光電変換素子単位から出力されたアナログ信号、または、前記加算されたアナログ信号をデジタル信号に変換するＡＤ変換部と、前記デジタル信号の周波数スペクトル分布データを生成する空間周波数算出部と、前記周波数スペクトル分布データを参照して、前記ＡＤ変換部において前記アナログ信号が加算される前記光電変化素子単位の個数を、波長域ごとに指定できる帯域分配算出部と、前記ＡＤ変換部から出力された前記デジタル信号の周波数スペクトル分布データにおける高周波成分を増加させる超解像部とを備えている。

好ましい実施形態において、前記超解像部は、前記ＡＤ変換部における前記アナログ信号の加算によって失われた前記周波数スペクトル分布データにおける高周波成分の少なくとも一部を復元する。

好ましい実施形態において、前記分光部は、前記被写体からの光を、赤色光、緑色光および青色光に分光し、前記撮像素子部は、前記赤色光、緑色光および青色光を受光して、Ｒ画像、Ｇ画像、Ｂ画像を出力し、前記ＡＤ変換部は、Ｒ画像のデータ転送レートと、Ｇ画像のデータ転送レートと、Ｂ画像のデータ転送レートの合計が、所定の値になるように前記撮像素子部の出力するアナログ信号を加算し、前記帯域分配算出部は、Ｒ画像、Ｇ画像、Ｂ画像に対して、所定の周波数帯域で周波数スペクトルのエネルギーを算出し、前記Ｒ画像、Ｇ画像、Ｂ画像の各々における周波数スペクトルのエネルギーの比を前記ＡＤ変換のアナログ信号の加算個数の逆数の比とする。

好ましい実施形態において、前記帯域分配算出部は、前記ＡＤ変換部におけるアナログ信号の加算方法を前記超解像部に入力し、低解像度化処理に用いる。

好ましい実施形態において、前記超解像部は、前記帯域分配算出部が指定した波長域に応じてＡＤ変換部が生成した低空間解像度・高時間解像度画像と高空間解像度・低時間解像度画像を取得し、低空間解像度画像と高空間解像度画像の対応関係に基づいて、高空間解像度・低時間解像度画像の時間解像度を低空間解像度・高時間解像度画像の時間解像度へ変換して、高空間解像度・高時間解像度を生成する。

好ましい実施形態において、前記撮像素子部は、前記分光された光の光量を計測する露出計測部を有し、前記ＡＤ変換部は、前記計測された光量が所定の値に達するようにアナログ信号を加算する。

本発明の画像データ生成方法は、被写体からの光を分光するステップと、前記分光された光を受光してアナログ信号を出力するステップと、前記アナログ信号を複数個加算する機能を備え、前記加算機能を施したアナログ信号、あるいは、前記加算機能を施こさないアナログ信号をデジタル信号に変換するステップと、前記デジタル信号の周波数スペクトルのエネルギーの大きさに従って、前記アナログ信号の加算個数を波長域ごとに指定するステップと、前記アナログ信号の加算によって消失した周波数成分の少なくとも一部を復元するステップとを備える。

本発明のプログラムは、撮像部を備える画像データ生成装置に、画像データを生成する処理を実行させるプログラムであって、前記画像データを生成する処理は、被写体からの分光された光を前記撮像部で受光して前記撮像部でアナログ信号を出力するステップと、前記アナログ信号を複数個加算したアナログ信号、あるいは、前記加算しないアナログ信号をデジタル信号に変換するステップと、前記デジタル信号の周波数スペクトルのエネルギーの大きさに従って、前記アナログ信号の加算個数を波長域ごとに指定するステップと、前記アナログ信号の加算によって消失した周波数成分の少なくとも一部を復元するステップとを前記画像データ生成装置に実行させる。

本発明の撮像装置は、入射光を複数の波長域に分光する分光部と、各々が入射光に応じたアナログ信号を出力する複数の光電変換素子単位が配列された複数の撮像部を備え、前記複数の撮像部が、それぞれ、前記分光部によって分光された波長域が異なる光を受けて撮像を行い、前記アナログ信号を各波長域ごとに出力する撮像素子と、複数の光電変換素子単位から出力された前記アナログ信号を加算する機能を備え、前記光電変換素子単位から出力されたアナログ信号、または、前記加算されたアナログ信号をデジタル信号に変換するＡＤ変換部と、前記デジタル信号の周波数スペクトル分布データを生成する空間周波数算出部と、前記周波数スペクトル分布データを参照して、前記ＡＤ変換部において前記アナログ信号が加算される前記光電変化素子単位の個数を、波長域ごとに指定できる帯域分配算出部とを備える。

本発明の画像処理装置は、上記の撮像装置によって生成された前記デジタル信号および前記ＡＤ変換部において前記アナログ信号が加算された前記光電変化素子単位の個数を示すビニング処理情報を受け取る入力部と、前記超解像部は、前記ＡＤ変換部における前記アナログ信号の加算によって失われた前記周波数スペクトル分布データにおける高周波成分の少なくとも一部を復元する。

好ましい実施形態において、前記入力部は、前記デジタル信号および前記ビニング処理情報が記録されている記憶媒体を受容する構造を有している。

本発明によれば、撮像センサのデータ転送レートを超える大容量の高空間解像度且つ高時間解像度の画像データを従来の３板式カラーカメラと同様の構成で取得できる。そのため、可搬性や経済性などを損ねることなく、より解像度の高い高画質画像を得ることができる。

本発明の実施形態１に係る画像データ生成装置の構成を示すブロック図である。 Ｒ撮像センサ部１０５を例として、Ｇ撮像センサ部１０６、Ｂ撮像センサ部１０７がともに有するビニング機能を説明する図である。 Ｒ撮像センサ部１０５、Ｇ撮像センサ部１０６、Ｂ撮像センサ部１０７の空間解像度と時間解像度の関係を模式的に表わした図である。 ウェーブレット変換の例を示す図である。 ハール型のマザーウェーブレットを説明する図である。 所定の周波数以上のスペクトルを示す図である。 画像データ生成装置７００の動作タイミングを説明する図である。 本発明の実施形態２に係る画像データ生成装置１００の構成を示すブロック図である。 空間解像度アップコンバータ部１１２がＲ画像１１７とＢ画像１１９の空間解像度を高解像度化する概念を模式的に表わした図である。 時間解像度アップコンバータ部１１３がＧ画像１１８の時間解像度を高解像度化する概念を模式的に表わした図である。 時間解像度アップコンバータ部１１３がＧ画像１２２を生成する原理を説明する図である。 画像特徴ベクトルをウェーブレット変換の係数を要素とする多次元ベクトルで表現する方法を説明する図である。 スケールレベルｎ＝２のときの画像特徴量を画素ごとに算出する方法を説明する図である。 空間解像度アップコンバータ部１１２の構成を示すブロック図である。 時間解像度アップコンバータ部１１３の構成を示すブロック図である。 画像データ生成装置１００の動作フローを説明する図である。 本発明の実施形態３に係る画像データ生成装置２００の構成を示すブロック図である。 時間解像度アップコンバータ部２４５の構成を示すブロック図である。 空間解像度アップコンバータ部２４４の構成を示すブロック図である。 本発明の実施形態４に係る画像データ生成装置８００の構成を示すブロック図である。 画像データ生成装置８００の動作タイミングを説明する図である。 本発明の実施形態５に係る画像データ生成装置３００の構成を示すブロック図である。 本発明の実施形態６に係る画像データ生成装置４００の構成を示すブロック図である。 ＲＢ高域調整部４０２の構成を示すブロック図である。 局所的な領域内の例を示す図である。 ＲとＢの局所的な相関ρと重みＷの関係の例を示す図である。 本発明の実施形態７に係る撮像装置の構成を示すブロック図である。 本発明の実施形態７に係る画像処理装置の構成を示すブロック図である。 高空間解像度・低時間解像度の画像データ１と低空間解像度・高時間解像度の画像データ２を取得し、高空間解像度・高時間解像度の画像データ３を生成する概念を説明する図である。 画像データ３を生成するフローチャートを示す図である。 画像データ１と画像データ２を取得するための複合センサカメラの構成例を示す図である。 ＲＧＢカラー撮影の構成を説明する図である。 ＲＧＢカラー撮影のための複合センサカメラの構成例を示す図である。 色フィルタ１６の詳細を説明する図である。

以下、図面を参照して本発明の実施形態を詳細に説明する。

本明細書および図面では、簡単のため、記号Ｒ、Ｇ、Ｂにより、それぞれ赤色、緑色、青色を示すものとする。Ｒ画像とは光の赤色成分に対応した画像を指し、Ｇ画像とは光の緑色成分に対応した画像を指し、Ｂ画像とは光の青色成分に対応した画像を指している。

（実施形態１）
図１は、本発明の実施形態１による画像データ生成装置７００を示すブロック図である。

画像データ生成装置７００は、入射光１０１を受光して撮影画像を記録し、撮影画像を再生する際に高解像度化処理を施して、高空間解像度・高時間解像度のＲＧＢ画像（Ｒ_OUT Ｇ_OUT Ｂ_OUT）１０２を出力する。画像データ生成装置７００は、波長域ごとに空間周波数スペクトルを算出する。本実施形態では、「波長域」が、Ｒ、Ｇ、Ｂの３つに区分されている。以下、本明細書では、波長域の各々を「色チャネル」と称することとする。画像データ生成装置７００は、色チャネルごとに空間周波数スペクトルを算出した後、最も高い空間周波数成分を有する色チャネルでＨＬ画像を取得し、その他の色チャネルでＬＨ画像を取得する。更に、この画像データ生成装置７００は、低空間解像度画像と高空間解像度画像の対応関係に基づいて、ＨＬ画像の時間解像度をＬＨ画像の時間解像度へ変換して、ＨＨ画像を生成する。

画像データ生成装置７００は、図１に示すように、撮影部１０３、色分解部１０４、Ｒ撮像センサ部１０５、Ｇ撮像センサ部１０６、Ｂ撮像センサ部１０７、空間周波数算出部１８６、色チャネル帯域分配算出部１８７、超解像部２４０、出力部１１４を備えている。

撮影部１０３は、入射光１０１を受光し、カラー画像Ｒ₁Ｇ₁Ｂ₁を出力する。色分解部１０４は、入射光１０１を長波長域Ｒ、中波長域Ｇ、短波長域Ｂに分光する分光部であり、Ｒ撮像センサ部１０５でＲ₁画像、Ｇ撮像センサ部１０６でＧ₁画像、Ｂ撮像センサ部１０７でＢ₁画像が撮影できるように色分解を行う。面１１５は、図３１の色分解フィルタ１０に相当し、長波長域Ｒの光を反射し、残りの波長域の光を透過する。面１１６は、図３１の色分解フィルタ１１に相当し、短波長域Ｂの光を反射し、残りの波長域の光を透過する。

図２は、Ｒ撮像センサ部１０５を例として、Ｇ撮像センサ部１０６、Ｂ撮像センサ部１０７が有するビニング（画素加算または画素混合）機能を説明する図である。

通常、撮像部の撮像面において撮像のための光電変換を行う物理的な最小単位は、「画素」と呼ばれている。しかし、本発明を正確に説明するためには、画像を構成する単位である「画素」と、撮像部の撮像面において撮像のための光電変換を行う物理的な最小単位とを区別する必要がある。このため、本明細書では、撮像部の撮像面において光電変換を行う物理的な最小単位を「光電変換素子単位」と称することとする。光電変換素子単位は、光電変換素子に入射した光の強度（光量）に応じた大きさの電気信号（アナログ信号）を出力する。なお、撮像センサ部の構成および動作を説明する際、簡単のため、「光電変換素子単位」の個数を「画素数」と称する場合がある。

本実施形態のＲ撮像センサ部１０５は、図２（ａ）に示すように、多数の光電変換素子単位が二次元的に配列された撮像面を有している。また、Ｒ撮像センサ部１０５は、ＡＤ変換部２２０を有し、光電変換素子単位のアナログ信号をデジタル信号に変換する。図２（ｂ）は、２画素×２ラインの例として、ビニング部２２１を説明する図である。

図２（ｂ）に示される光電変換素子単位２２２、２２３、２２４、２２５から出力され４つのアナログ信号は、加算器２２６において加算され、ＡＤ変換部２２０へ入力される。４つのアナログ信号の加算によって、データ量は１／４に縮小し、ＡＤ変換部２２０のデータ転送レートは、光電変換素子単位の数（画素数）に対して、１／４に低下する。仮に、Ｒ撮像センサ部１０５の画素数とライン数がハイビジョンサイズとして１９２０画素×１０８０ラインの場合、２画素×２ラインのビニング処理を施すと、９６０画素×５４０ラインのＲ₁画像がデジタル信号で得られる。

なお、後述するように、ビニング部２２１は、図２（ｂ）に示す色チャネル帯域分配算出部１８７が出力した色チャネル帯域分配信号２３０に従って、ビニングする画素数とライン数を決定する。本実施形態では、説明の都合上、Ｇ撮像センサ部１０６の画素数とライン数をハイビジョンサイズとして、１９２０画素×１０８０ラインとする。Ｒ撮像センサ部１０５およびＢ撮像センサ部１０７における画素数およびライン数は、それぞれ、Ｇ撮像センサ部１０６における画素数およびライン数の１／４であり、４８０画素×２７０ラインとする。一方、Ｇ撮像センサ部１０６と他の撮像センサ部との間にある時間解像度の関係は、空間解像度の逆になる。すなわち、Ｇ撮像センサ部１０６の時間解像度は２ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）、Ｒ撮像センサ部１０５およびＢ撮像センサ部１０７の時間解像度は１５ｆｐｓである。このように、本実施形態におけるＧ撮像センサ部１０６は低時間解像度、Ｒ撮像センサ部１０５とＢ撮像センサ部１０７は高時間解像度を有する。

また、ビニング部２２１におけるビニング処理内容は、各色チャネルで任意に設定でき、ビニングする画素数とライン数を、例えばＲ撮像センサ部１０５とＢ撮像センサ部１０７で同一にする必然性はない。

図３は、Ｒ撮像センサ部１０５、Ｇ撮像センサ部１０６、Ｂ撮像センサ部１０７の空間解像度と時間解像度の関係を模式的に表した図である。Ｇ撮像センサ部１０６が撮影するＧ画像１１８は、時間ｔ１と時間ｔ１５の２枚撮影され、Ｒ撮像センサ部１０５が撮影するＲ画像１１７とＢ撮像センサ部１０７が撮影するＢ画像１１９は、時間ｔ１から時間ｔ１５の１５枚撮影される。

ここで、ＲＧＢの各画像の空間解像度と時間解像度の高低をＸ_S,Tという表記法で表す。ＸはＲ、あるいはＧ、あるいはＢ、ＳはＨ（高空間解像度）、あるいはＬ（低空間解像度）、ＴはＨ（高時間解像度）、あるいはＬ（低時間解像度）である。

すなわち、Ｘは、ＲＧＢ画像の種類を表し、Ｓは空間解像度の高低、Ｔは時間解像度の高低を表す。解像度の高低は相対的に決まり、本実施例では、各解像度は以下の通りである。
高空間解像度：１９２０画素×１０８０ライン
低空間解像度：４８０画素×２７０ライン
高時間解像度：１５ｆｐｓ
低時間解像度：２ｆｐｓ

図３に示すように、Ｇ撮像センサ部１０６の出力であるＧ画像は、高空間解像度・低時間解像度であるため、Ｇ_H,Lと表記する。一方、Ｒ撮像センサ部１０５の出力であるＲ画像とＢ撮像センサ部１０７の出力であるＢ画像は、低空間解像度・高時間解像度であるため、それぞれＲ_L,H、Ｂ_L,Hと表記する。

再び図１を参照する。

空間周波数算出部１８６は、Ｒ₁画像、Ｇ₁画像、Ｂ₁画像の空間周波数分布を算出する。空間周波数の算出方法は任意であるが、例えば、フーリエ変換やウェーブレット変換などを利用する。図４は、ウェーブレット変換の例を示す図であり、スケールｎの多重解像度表現である。スケール１では、隣接画素との輝度差が算出され、スケール２へ降りる際に複数画素での平滑化が施される。スケール２での隣接画素との輝度差が算出されるが、スケール２の各画素は、スケール１の複数画素が平滑化されたものであり、スケール２の方が低い周波数成分となる。従って、スケール１からスケールｎまで計算を進めることで、高周波成分から徐々に周波数の低い他成分へシフトし、ウェーブレット係数Ｖ，Ｈ，Ｄが空間周波数スペクトルを形成する。

ハール型のマザーウェーブレットを用いた場合、図５（ａ）に示すように、Ｖは処理対象の画素６０の右隣接画素６１との差分値、Ｈは処理対象の画素６０の下隣接画素６２との差分値、Ｄは斜下隣接画素６３との差分値、Ｌは処理対象の画素６０を含む右、下、斜下の４つの画素の平均値である。図５（ａ）はスケール１に相当し、図５（ｂ）はスケール２に相当する。スケール２では、スケール１における４画素の平均値である出力Ｌが差分値の計算対象になり、スケール２における出力Ｖはブロック６４とブロック６５の差分値、スケール２における出力Ｈはブロック６４とブロック６６の差分値、スケール２における出力Ｄはブロック６４とブロック６７の差分値となる。また、スケール２における出力Ｌはブロック６４からブロック６７の平均値となる。

図１の色チャネル帯域分配算出部１８７は、Ｒ₁画像、Ｇ₁画像、Ｂ₁画像の空間周波数スペクトルに従って、Ｒ撮像センサ部１０５、Ｇ撮像センサ部１０６、Ｂ撮像センサ部１０７のそれぞれのビニングのブロックサイズを決定する。高い空間周波数を有する色チャネルの撮影画像については、高域の情報を取得するために、ビニング処理を行わないようにする。ビニング処理を行うと、空間周波数の高い情報（高域情報）が失われる。一方、高い空間周波数成分を持たない色チャネルの撮影画像については、高域の情報を取得する必要がないため、ビニング処理を行うことによって帯域を制限し、データ転送レートを低くする。

例えば、図６に示すように、所定の周波数以上のスペクトルのエネルギーＥを式（１）で算出し、この大きさの比率で、式（２）に従って、Ｒ、Ｇ、Ｂの各色チャネルの帯域を分配することができる。

ここで、ｆは空間周波数、ｎ_iは空間周波数ｆⁱの頻度、ｗ_R、ｗ_G、ｗ_BはＲＧＢ各撮像センサに対する帯域分配の比率を表わす。各撮像センサのＡＤ変換部２２０の最大データ転送レートがｐであるとすると、Ｒ撮像センサ部１０５のデータ転送レートｐ_Rは、以下の（式３）で表される。

同様に、Ｇ撮像センサ部１０６のデータ転送レートｐ_Gは、以下の（式４）で表される。

Ｂ撮像センサ部１０７のデータ転送レートｐ_Bは、以下の（式５）で表される。

このようにして決定されたＲ撮像センサ部１０５のデータ転送レートｐ_R、Ｇ撮像センサ部１０６のデータ転送レートｐ_G、Ｂ撮像センサ部１０７のデータ転送レートｐ_Bは、図１に示す色チャネル帯域分配信号２３０として、Ｒ撮像センサ部１０５、Ｇ撮像センサ部１０６、Ｂ撮像センサ部１０７のビニング部２２１に供給され、色チャネルごとにデータ転送レートが制御される。

なお、Ｒ、Ｇ、Ｂの各波長域における空間周波数のスペクトル分布は、被写体の種類に依存するため、被写体の種類を特定することにより、その空間周波数スペクトルのパターンを推定し、色チャネルの帯域分配比率を決定することや、帯域分配比率の計算を簡単にすることが可能である。例えば、青い色が一様に広がる背景が撮像範囲の大部分を占める場合、一般にＢ画像の空間周波数は低くなる傾向がある。そのような場合、Ｂ撮像センサ部１０７のデータ転送レートｐ_Bを最も低く設定するようにすることが可能である。このように被写体の種類（撮影モード）に応じて単純にデータ転送レートの配分を決定すれば、色チャネル帯域分配算出部１８７による処理を単純化できる。

超解像部２４０は、Ｒ₁画像、Ｇ₁画像、Ｂ₁画像の高解像度化を行い、Ｒ撮像センサ部１０５、Ｇ撮像センサ部１０６、Ｂ撮像センサ部１０７のビニング処理で失われた空間周波数成分を復元して、高空間解像度・高時間解像度のＲＧＢ画像（Ｒ_OUT Ｇ_OUT Ｂ_OUT）１０２を出力する。

ビニング処理は、超解像処理からみると空間解像度を落とす低解像度化処理に相当する。一般に、超解像処理は、低解像化処理の逆問題として扱われる。すなわち、解像度を低下させる処理の逆の処理を施せば、解像度を高めることができる。従って、超解像処理を設計するにあたっては、低解像度化処理のモデル化が重要なタスクとなる。逆の言い方をすれば、低解像度化モデルが不明のまま、高解像度化処理を設計することは、通常、非常に困難である。画像データ生成装置７００におけるビニング処理は、低解像度化処理そのものであり、モデル生成を行う必要もないため、高い品質で超解像処理が実行できる。以上のような背景から、色チャネル帯域分配算出部１８７は、ビニング処理の内訳の詳細を、ビニング処理詳細信号７０１として、超解像部２４０に伝える。

以上のように、Ｒ撮像センサ部１０５、Ｇ撮像センサ部１０６、Ｂ撮像センサ部１０７のビニング処理と超解像部２４０の超解像処理は、互いに関係し合い、この２つの関係を色チャネル帯域分配算出部１８７が結び付けている。すなわち、色チャネル帯域分配算出部１８７は、Ｒ撮像センサ部１０５、Ｇ撮像センサ部１０６、Ｂ撮像センサ部１０７からのデータ転送レートの上限を踏まえながら、できるだけ高い空間周波数成分を残すようにビニング処理を制御する。同時に、色チャネル帯域分配算出部１８７は、ビニング処理詳細信号７０１を超解像部２４０に与えることで、空間解像度の低解像度化モデルを既知とし、ビニング処理で失われた空間周波数成分の推定精度を高めることができ、結果的に、Ｒ撮像センサ部１０５、Ｇ撮像センサ部１０６、Ｂ撮像センサ部１０７からのデータ転送レートの上限を超えることが可能となる。

出力部１１４は、超解像部２４０からの出力である高空間解像度・高時間解像度のＲＧＢ画像（Ｒ_OUT Ｇ_OUT Ｂ_OUT）１０２を画像データ生成装置７００の外部へ出力する。

図７は、画像データ生成装置７００の動作タイミングを説明する図である。

時間ｔ１において、読み出し７１０が動作し、Ｒ撮像センサ部１０５、Ｇ撮像センサ部１０６、Ｂ撮像センサ部１０７から第１番目の画素データが読み出される。ただし、現段階では、空間周波数分析は成されていないため、色チャネルごとに個別のビニング処理を施すことができない。そこで、たとえば、各色チャネルに２×２のビニング処理を施して、全色チャネルで同一レートのデータ転送を行う。

時間ｔ２において、読み出し７１０が動作し、Ｒ撮像センサ部１０５、Ｇ撮像センサ部１０６、Ｂ撮像センサ部１０７から第２番目の画素データが読み出される。また、周波数解析７１１が動作し、空間周波数算出部１８６で第１番目の画素データの空間周波数が算出される。現段階では、画素データが１つしかないため、空間周波数は直流成分を出力することになるが、時間が進むに従って、複数の画素データが蓄積されてきて、近傍画素との輝度変化を反映した空間周波数が算出できる。なお、実装上は、後述するように、複数の画素データを一旦メモリに蓄積し、これを読み出して処理をする形式になる。ただし、ここでは、動作タイミングの説明のために、メモリへのアクセスや複数画素データの取り扱いに関しては説明を割愛し、実装上の説明は後に詳述する。

時間ｔ３において、読み出し７１０と周波数解析７１１が動作するとともに、新たに帯域分配７１２と超解像処理７１４が同時に動作を開始する。帯域分配７１２は、色チャネル帯域分配算出部１８７の動作で、時間ｔ３では第１番目の画素に対して各色チャネルへの帯域分配が成される。超解像処理７１４は、超解像部２４０の動作で、時間ｔ３では第１番目の画素に対して超解像処理が成される。第１番目のビニング処理が、たとえば２×２のビニング処理であった場合、超解像部２４０は、縦横ともに画素数を２倍に拡大する処理を実行する。なお、実装上は、後述するように、複数の画素データを一旦メモリに蓄積し、これを読み出して処理をする形式になる。ただし、ここでは、動作タイミングの説明のために、メモリへのアクセスや複数画素データの取り扱いに関しては説明を割愛し、実装上の説明は後に詳述する。

時間ｔ４において、読み出し７１０、周波数解析７１１、帯域分配７１２、超解像処理７１４が動作するとともに、新たにビニング処理７１３と画像出力７１５が同時に動作を開始する。画像出力７１５は、出力部１１４の動作であり、第１番目の画素が出力される。ビニング処理７１３は、Ｒ撮像センサ部１０５、Ｇ撮像センサ部１０６、Ｂ撮像センサ部１０７の動作で、色チャネル帯域分配算出部１８７が出力した色チャネル帯域分配信号２３０に従って設定された条件で、第１番目の画素に対してビニング処理が成される。これ以降、ビニング処理が有効となるため、実質的には、時間ｔ５以降からビニング処理が動作する形になる。時間ｔ５で読み出し７１０を受けた画素データ７１６は、時間ｔが進むごとに、周波数解析７１１、帯域分配７１２、超解像処理７１４、画像出力７１５を経て、時間ｔ８で画像データ生成装置７００から出力される。

以上より、図７の動作タイミングにおける時間軸をパイプライン処理の動作クロックとするならば、Ｒ撮像センサ部１０５、Ｇ撮像センサ部１０６、Ｂ撮像センサ部１０７から画素データが読み出され、これらの空間周波数分布からビニング処理へ反映されるまでに４クロック分のタイムラグは存在することになる。また、画像データ生成装置７００が起動してから最初の画素データが出力されるまでに３クロック分のタイムラグがあり、引き続く４クロック分は各色チャネルで同一の処理が成され、５クロック目以降に、色チャネル個別の処理が成されることになる。従って、色チャネル個別のビニング処理と超解像処理は、８クロック目で初めて有効となり、以降はクロック単位ですべての処理が実行される。

（実施形態２）
図８は、本発明の実施形態２による画像データ生成装置１００の構成を示すブロック図である。なお、図１に示す画像データ生成装置７００と同様の部分については同じ符号を付し、詳細な説明を省略する。

画像データ生成装置１００は、図８に示すように、撮影部１０３、色分解部１０４、Ｒ撮像センサ部１０５、Ｇ撮像センサ部１０６、Ｂ撮像センサ部１０７、撮影画像記録部１０８、撮影画像書き込み部１０９、空間周波数算出部１８６、色チャネル帯域分配算出部１８７、色チャネル帯域分配情報書き込み部１８８、メモリ部１１０、撮影情報読み出し部１１１、超解像部２４０、出力部１１４、系統識別信号発生部１８５を備えている。

撮影画像記録部１０８は、撮影部１０２が出力したＲ₁画像、Ｇ₁画像、Ｂ₁画像を記録・再生する。

撮影画像記録部１０８に含まれる撮影画像書き込み部１０９は、Ｒ₁画像、Ｇ₁画像、Ｂ₁画像をメモリ部１１０に書き込み、撮影画像を記録する。

撮像画像記録部１０８内の色チャネル帯域分配情報書き込み部１８８は、Ｒ撮像センサ部１０５のデータ転送レートｐ_R、Ｇ撮像センサ部１０６のデータ転送レートｐ_G、Ｂ撮像センサ部１０７のデータ転送レートｐ_Bをメモリ部１１０に書き込む。ただし、撮影画像書き込む部１０９がメモリ部１１０に記録したＲ画像、Ｇ画像、Ｂ画像のヘッダ部にデータ転送レートを書き込み、画像データとデータ転送レートの関係を結び付ける。

撮像画像記録部１０８内の撮影情報読み出し部１１１は、メモリ部１１０からＲ画像、Ｇ画像、Ｂ画像をＡ系統５０とＢ系統５１の２系統で読み出す。Ａ系統５０は、後述するように、時間解像度アップコンバータ部１１３で低空間解像度の画像と高空間解像度の関係を学習するために、Ｒ画像、Ｇ画像、Ｂ画像をメモリ部１１０から読み出す。Ｂ系統５１は、撮影画像を再生し、高空間解像度・高時間解像度のＲＧＢ画像（Ｒ_OUT Ｇ_OUT Ｂ_OUT）１０２を出力するために、Ｒ画像、Ｇ画像、Ｂ画像をメモリ部１１０から読み出す。

撮影画像書き込み部１０９が、図３に示した空間解像度と時間解像度の２４ビットＲＧＢ画像をメモリ部１１０に記録する場合、データ転送レートは、４９Ｍｂｐｓ（＝ （１９２０画素×１０８０ライン×８ｂｉｔ×２枚）＋（４８０画素×２７０ライン×８ｂｉｔ×１５枚）×２チャンネル）となる。撮影情報読み出し部１１１も同じデータ転送レートで動作する。なお、Ｒ画像、Ｇ画像、Ｂ画像のデータ転送レートは、各画像のヘッダ部から読み出す。メモリ部１１０は、磁性体を利用したハードディスクや半導体メモリなど、任意の記録メディアが利用可能である。記録メディアを画像データ生成装置１００から取り外せるリムーバブル型にすれば、画像データ生成装置１００で記録した撮影画像を他の機器との間で移動、あるいはコピーが可能である。

超解像部２４０は、撮影画像記録部１０８から読み出したＲ画像、Ｇ画像、Ｂ画像の高解像度化を行い、空間解像度アップコンバータ部１１２と時間解像度アップコンバータ部１１３からなる。

空間解像度アップコンバータ部１１２は、図９に示すように、Ｒ画像１１７とＢ画像１１９の空間解像度を高解像度化し、Ｒ画像とＢ画像の画素数とライン数をＧ画像１１８と同じ１９２０画素×１０８０ラインへ変換して、Ｒ画像１２０とＢ画像１２１を出力する。空間解像度が高解像度化されたことを表記上に反映させるために、ＳとＴの添字を追加する。すなわち、空間解像度が高解像度化されたＲ画像１２０は、Ｒ_LH,Hと表記する。また、Ｂ画像１２１は、Ｂ_LH,Hと表記する。

時間解像度アップコンバータ部１１３は、図１０に示すように、Ｇ画像１１８の時間解像度を高解像度化し、Ｇ画像の枚数がＲ画像１１７とＢ画像１１９と同じ１５ｆｔｐであるＧ画像１２２を出力する。時間解像度が高解像度化されたＧ画像１２２は、Ｇ_H,LHと表記する。

図８に示す画像データ生成装置１００の各構成要素、例えば、撮影画像記録部１０８、空間解像度アップコンバータ部１１２、時間解像度アップコンバータ部１１３等は、半導体集積回路等の回路素子により実現され得る。これらの構成要素は１チップ上に集積されて形成されてもよいし、別々の部品として形成されてもよい。また、ＣＰＵ（中央演算処理装置）とそのＣＰＵを動作させるプログラムを格納した記憶媒体等により実現されてもよい。

図１１は、時間解像度アップコンバータ部１１３がＧ画像１２２（図１０）を生成する原理を説明する図である。図１１（ａ）は、低空間解像度の画像と高空間解像度の画像の関係を学習する原理を示し、図１１（ｂ）は前記学習した空間解像度の関係を参照して、Ｇ画像１２２を生成する原理を示す。

図１１（ａ）において、ベース画像組１３０は、図１０における時刻ｔ１、あるいは時刻ｔ１５の同じタイミングで取得されたＲ画像１１７とＧ画像１１８とＢ画像１１９の組を表す。「時間ｔ１から時間ｔ１５に渡るＲ画像１１７」と「時刻ｔ１、あるいは時刻ｔ１５のＲ画像１１７」を区別するために、後者をＲベース画像１３１とする。同様に、「時間ｔ１から時間ｔ１５に渡るＧ画像１１８」と「時刻ｔ１、あるいは時刻ｔ１５のＧ画像１１８」を区別するために、後者をＧベース画像１３２とする。「時間ｔ１から時間ｔ１５に渡るＢ画像１１９」と「時刻ｔ１、あるいは時刻ｔ１５のＢ画像１１９」を区別するために、後者をＢベース画像１３３とする。ベース画像組１３０の中のＧベース画像１３２を元手に、時刻ｔ２から時刻ｔ１４の欠落するＧ画像を生成することから、Ｇベース画像１３２がＧ画像生成用のリソースに位置付けられる。欠落するＧ画像の生成は、時刻ｔ２から時刻ｔ１４で常に撮影されているＲ画像とＢ画像を頼りに、Ｇベース画像１３２の中から適切なＧ画像生成用リソースを見つけ出す問題になる。そこで、ＲＧＢ画像がすべて揃っているベース画像組１３０を用いて、Ｒベース画像１３１とＢベース画像１３３の低空間解像度とＧベース画像１３２の高空間解像度の関係を構築し、Ｇ画像生成用データベース部１４０に格納する。

Ｒベース画像１３１とＢベース画像１３３は、Ｇ画像との対応関係を取るために、例えば補間拡大で空間解像度を高解像度化し、画素数とライン数をＧ画像に一致させる。補間によるアップサンプリングは、既存の情報を内挿して画素数とライン数を増やすため、高周波成分の生成には限界があり、一般にボケ感を伴った拡大画像が生成される。すなわち、補間拡大で復元できる波形周波数の上限は、内挿点の前後２点の重み付けをｓｉｎｃ関数に基づいて決定したＣｕｂｉｃ ｃｏｎｖｏｌｕｔｉｏｎを用いれば、サンプリング周波数の１／２となる。しかし、Ｒ画像とＢ画像は、空間高解像度化のリソースをＧ画像から見つけ出すために参照される情報であり、高空間解像度の画像を持つ高周波成分まで完全に復元する必要はない。内挿によって既存の情報から中間的な値が算出されれば、空間高解像度化のリソースをＧ画像から見つけ出すことは可能である。

補間拡大されたＲ画像１３４とＢ画像１３５、そしてＧベース画像１３２は周波数解析手段を用いて、画像特徴量に変換される。図１１において、画像特徴量の表記にはｆを用い、例えばＧ_H,Lが画像特徴量に変換されたものは、ｆＧ_H,Lと表記する。画像特徴量の次元数がｑ次元の場合、ｆＧ_H,LはＧ_H,Lと同じ画像サイズの画像をｑ枚有する状態になる。

本発明において、画像特徴量の定義は任意であるが、例えば、図１２に示すように、ウェーブレット変換の係数を要素とする多次元ベクトルで表現する。すなわち、ｎ個のスケールそれぞれにおいてウェーブレット変換の出力Ｖ、Ｈ、Ｄ、Ｌを求め、これらを階層ごとに束ねることによって、（３ｎ＋１）次元ベクトルを得る。スケールレベルｎが３の場合、画像特徴量は、１０次元の画像特徴ベクトル（ｗ₁， ｗ₂， …， ｗ₁₀）になる。ウェーブレット変換の出力Ｖ、Ｈ、Ｄ、Ｌは、ハール型のマザーウェーブレットを用いた場合に得られる係数であり、図５（ａ）と図５（ｂ）を用いて説明した方法で算出される。

図１３は、スケールレベルｎ＝２を例にとって、画像特徴量を画素ごとに算出する方法を説明する図である。図１３（ａ）は、画素７０の画像特徴量（ｗ₁, ｗ₂, …, ｗ₇）_1,1を算出する方法を示している。ブロック７１内の１６画素がウェーブレット変換で参照されて、７次元の画像特徴量が算出される。同様に、図１３（ｂ）は、画素７２の画像特徴量（ｗ₁, ｗ₂, …, ｗ₇）_1,2を算出する方法を示している。ブロック７３内の１６画素がウェーブレット変換で参照されて、７次元の画像特徴量が算出される。図１３（ｃ）は、画素７４の画像特徴量（ｗ₁, ｗ₂, …, ｗ₇）_1,3を算出する方法を示している。ブロック７５内の１６画素がウェーブレット変換で参照されて、７次元の画像特徴量が算出される。以上のように、ウェーブレット変換で参照されるブロックが、１画素ごとに移動することで、画素ごとに画像特徴量が算出される。

低空間解像度の画像にはＲ画像とＢ画像の２つがある。このため、図１１に示すｑ次元の画像特徴ベクトルＲ画像１３６とｑ次元の画像特徴ベクトルＢ画像１３７とを組み合わせて、２ｑ次元の画像特徴ベクトルＲＢ画像１３８を得る。Ｇベース画像１３２も同様に画像特徴量に変換され、ｑ次元の画像特徴ベクトルＧ画像１３９を生成する。

Ｇ画像生成用データベース部１４０は、同じ画素位置にある画像特徴ベクトルＲＢ画像１３８の画像特徴量と画像特徴ベクトルＧ画像１３９の画像特徴ベクトルを対応付け、低空間解像度の画像特徴ベクトルを高空間解像度の画像特徴ベクトルに置換する辞書として機能する。本実施形態では、Ｇ画像は１９２０画素×１０８０ラインであり、およそ２０７万組の画像特徴ベクトルの置換情報がＧ画像生成用データベース部１４０に格納される。また、Ｇ画像は時間ｔ１と時間ｔ１５で２枚取得できるため、空間高解像度化で参照できる画像特徴ベクトル置換情報は、およそ４１４万組になる。時間ｔ２から時間ｔ１４で欠落するＧ画像を、およそ４１４万組のＧ画像の画像特徴ベクトルから選び出して作り出すことになる。

図１１（ｂ）において、画像組１５０は、時間ｔ２から時間ｔ１４におけるＲ画像１５１とＢ画像１５２の組を表す。Ｒ画像１５１とＢ画像１５２は、図１１（ａ）と同じ補間拡大方法によって、Ｇ画像と同じ画素数とライン数に変換されて、Ｒ画像１５３とＢ画像１５４が生成される。Ｒ画像１５３とＢ画像１５４は、図１１（ａ）と同じ方法で画像特徴量に変換され、ｑ次元の画像特徴ベクトルＲ画像１５５とｑ次元の画像特徴ベクトルＢ画像１５６が生成される。ｑ次元の画像特徴ベクトルＲ画像１５５とｑ次元の画像特徴ベクトルＢ画像１５６は組み合わせて、２ｐ次元の画像特徴ベクトルＲＢ画像１５７とする。２ｐ次元の画像特徴ベクトルＲＢ画像１５７は、画素ごとに、Ｇ画像生成用データベース部１４０の２ｑ次元の画像特徴ベクトルＲＢ画像１３８と画像特徴ベクトルの類似度が比較され、類似ＲＢ画像特徴ベクトル１５８が選び出される。画像特徴ベクトルＧ画像１３９から類似ＲＢ画像特徴ベクトル１５８と同じ画素位置にある画像特徴ベクトルを引き出し、これを類似Ｇ画像特徴ベクトル１５９とする。

類似ＲＢ画像特徴ベクトル１５８を選び出す具体的な方法は任意である。例えば、２ｐ次元の画像特徴ベクトルＲＢ画像１５７との距離が最も短い画像特徴量ベクトルをＧ画像生成用データベース部１４０から選び出してもよい。あるいは、２ｐ次元の画像特徴ベクトルＲＢ画像１５７との距離が所定の基準距離より短い候補画像特徴量ベクトルを複数抽出し、前記複数抽出された候補画像特徴量ベクトルと同じ画素位置にある画像特徴ベクトルを画像特徴ベクトルＧ画像１３９から引き出し、これらを平均して、類似Ｇ画像特徴ベクトル１５９としてもよい。

更に、２ｑ次元の画像特徴ベクトルＲＢ画像１５７との距離が短い方から順に、例えば３つ、候補画像特徴量ベクトルとして選び出し、同じ画素位置にある画像特徴ベクトルを画像特徴ベクトルＧ画像１３９から引き出して、これらを平均し、類似Ｇ画像特徴ベクトル１５９とする方法などもある。

前記類似Ｇ画像特徴ベクトル１５９は高空間解像度の画像特徴量であり、類似ＲＢ画像特徴ベクトル１５８が類似Ｇ画像特徴ベクトル１５９に置換されたことで空間解像度が高められる。画像特徴ベクトルＲＢ画像１５７の全画素でＧ画像生成用データベース部１４０を参照して類似Ｇ画像特徴ベクトル１５９への置換が成され、置換画像特徴ベクトルＧ画像１６０が生成される。置換画像特徴ベクトルＧ画像１６０は画像特徴量変換の逆変換が施されて、輝度画像に戻り、置換高解像度化Ｇ画像１６１が生成される。置換高解像度化Ｇ画像１６１を時間ｔ２から時間ｔ１４で算出すれば、図１０におけるＧ画像１２２が生成され、時間解像度が高解像度化される。

なお、図１１において、Ｒ画像１３１の画像サイズは、Ｒ撮像センサ部１０５に対するビニング設定で決まる。同様に、Ｂ画像１３３の画像サイズは、Ｂ撮像センサ部１０７に対するビニング設定で決まる。従って、Ｒ画像１３１とＢ画像１３３の画像サイズが異なる場合もあるが、各画像サイズは補間拡大によって、高解像度画像であるＧ画像の画像サイズに統一されるため、Ｒ画像１３４とＢ画像１３５の画像サイズは一致する。

図１４は、空間解像度アップコンバータ部１１２の構成を示すブロック図である。Ａ系統５０からの入力とＢ系統５１からの入力は、系統識別信号１７６に従って、Ｂ用セレクタ１８２、Ｒ用セレクタ１８３、Ｇ用セレクタ１８４で切り替えられる。Ｂ用補間拡大部１７０は、低空間解像度・高時間解像度のＢ画像１５１の空間解像度を補間拡大で高解像度化し、高空間解像度・高時間解像度のＢ画像１５３を出力する。Ｒ用補間拡大部１７１は、低空間解像度・高時間解像度のＲ画像１５２の空間解像度を補間拡大で高解像度化し、高空間解像度・高時間解像度のＲ画像１５４を出力する。図１１（ａ）のベース画像１３０に含まれる高空間解像度・低時間解像度のＧ画像１３２は、撮影画像の再生時には、高解像度化処理が不要である。そのため、高空間解像度・低時間解像度のＧ画像１３２は、空間解像度アップコンバータ部１１２ではスルーで出力される。なお、Ｂ用補間拡大部１７０とＲ用補間拡大部１７１を１つにまとめ、時分割で、例えば最初にＢ画像を補間拡大、次にＲ画像を補間拡大という構成であっても構わない。

図１５は、時間解像度アップコンバータ部１１３の構成を示すブロック図である。

Ａ系統５０は、Ｇ画像生成用データベース部１４０のデータベースを生成するために、図８のメモリ部１１０から読み出した撮影画像を、Ｂ用画像特徴量変換部１７２、Ｒ用画像特徴量変換部１７３、およびＧ用画像特徴量変換部１７４に供給する。Ｂ用画像特徴量変換部１７２およびＲ用画像特徴量変換部１７３は、後述するように、撮影画像再生時のＢ系統５１からも撮影画像の供給を受ける。このため、Ａ系統５０からの撮影画像と、Ｂ系統５１からの撮影画像は、Ｂ用セレクタ１７４とＲ用セレクタ１７５で切り替えられる。セレクタの入力切り替えには、系統識別信号１７６を用い、Ａ系統５０とＢ系統５１のどちらかをＢ用画像特徴量変換部１７２とＲ用画像特徴量変換部１７３に供給する。

図８のメモリ部１１０から読み出され撮影画像は、Ｂ用画像特徴量変換部１７２とＲ用画像特徴量変換部１７３で画像特徴ベクトルに変換された後は、Ｂ用セレクタ１７７とＲ用セレクタ１７８を経て、Ｇ画像生成用データベース部１４０の入力側に設定される。これは、図１１（ａ）における画像特徴ベクトルＲＢ画像１３８の画像特徴量に相当する。一方、Ｇ用画像特徴量変換部１７４の出力は、Ｇ画像生成用データベース部１４０の出力側に設定される。これは、図１１（ａ）における画像特徴ベクトルＧ画像１３９の画像特徴ベクトルに相当する。

以上の動作により、図１１（ａ）に示した低空間解像度の画像と高空間解像度の画像の対応関係の学習が完了する。Ｇ画像生成用データベース部１４０には、磁性体を利用したハードディスクや半導体メモリなど、任意の記録メディアが利用可能である。記録メディアを撮影記録再生装置１００から取り外せるリムーバブル型にすれば、Ｇ画像生成用データベース部１４０のデータを他の機器との間で移動、あるいはコピーが可能である。また、リムーバブル型の記録メディアの代わりに、ネットワークとの通信機能を持つインターフェイスを用いることも可能である。

Ｂ系統５１は、撮影画像の再生時にメモリ部１１０から読み出した撮影画像を時間解像度アップコンバータ部１１３に供給する。図３の時間ｔ１と時間ｔ１５では、高空間解像度のＧ画像１１８が撮像されているため、時間解像度アップコンバータ部１１３でＧ画像を生成する必要はない。そこで、図３の時間ｔ１や時間ｔ１５のように、高空間解像度のＧ画像１１８が存在する場合は、そのままスルーで出力する。一方、図３の時間ｔ２から時間ｔ１４のように、Ｇ画像１１８が欠落している部分は、図１０のＧ画像１２２のように、高空間解像度のＧ画像１２２を生成する。この切り替えを行うために、Ｇ用セレクタ１７９を使い、Ｇ画像１１８の有無をＧ画像識別信号１７９ａで与える。

Ｂ系統５１から供給されたＲ画像とＢ画像は、空間解像度アップコンバータ部１１２で一旦、空間解像度が高解像度化された画像であり、図１１のＲ画像１５３とＢ画像１５４に相当する。これらは、そのまま出力画像となって、出力Ｂ画像１９０と出力Ｒ画像１９１として、時間解像度アップコンバータ部１１３から出力される。同時に、図１１の置換高解像度化Ｇ画像１６１を生成するために、Ｂ用セレクタ１７４とＲ用セレクタ１７５を介して、それぞれＢ用画像特徴量変換部１７２とＲ用画像特徴量変換部１７３に供給される。Ｂ用画像特徴量変換部１７２は、図１１（ｂ）の画像特徴ベクトルＢ画像１５６を出力し、Ｒ用画像特徴量変換部１７３は、図１１（ｂ）の画像特徴ベクトルＲ画像１５５を出力する。画像特徴ベクトルＲ画像１５５および画像特徴ベクトルＢ画像１５６は、類似画像特徴量検出部１８０で組み合わされ、画像特徴ベクトルＲＢ画像１５７となる。

引き続き、Ｇ画像生成用データベース部１４０の入力側に系統Ａ５０から書き込まれた画像特徴ベクトルＲＢ画像１３８と距離を比較して類似ＲＢ画像特徴ベクトル１５８を検出し、Ｇ画像生成用データベース部１４０の出力側に格納されたＧ画像特徴ベクトルを類似Ｇ画像特徴ベクトル１５９として出力する。類似Ｇ画像特徴ベクトル１５９は、Ｇ用画像特徴量逆変換部１８１で輝度画像に戻り、出力Ｇ画像１９２を得る。

系統識別信号発生部１８５は、系統識別信号１７６を発生し、撮影画像記録部１０８、空間解像度アップコンバータ部１１２、時間解像度アップコンバータ部１１３に入力する。撮影画像記録部１０８では、撮影画像読み出し部１１１において、系統識別信号１７６により、Ａ系統５０からの読み出しか、Ｂ系統５１からの読み出しかを切り替える。空間解像度アップコンバータ部１１２と時間解像度アップコンバータ部１１３では、Ａ系統５０からの入力か、Ｂ系統５１からの入力かを切り替える。系統識別信号１７６がＡ系統５０を指定した場合、撮影画像読み出し部１１１は、メモリ部１１０から、図５（ａ）に示すベース画像組１３０のみを読出し、空間解像度アップコンバータ部１１２でＲ画像とＢ画像の空間解像度を補間拡大でＧ画像と一致させ、時間解像度アップコンバータ部１１３でＧ画像生成用データベース部１４０に画像特徴ベクトルＲＢ画像１３８と画像特徴ベクトルＧ画像１３９が格納される。一方、系統識別信号１７６がＢ系統５１を指定した場合、撮影画像読み出し部１１１は、メモリ部１１０から、撮影画像を順次読出し、空間解像度アップコンバータ部１１２でＲ画像とＢ画像の空間解像度を補間拡大でＧ画像と一致させ、時間解像度アップコンバータ部１１３でＧ画像生成用データベース部１４０を参照して置換高解像度化Ｇ画像１６１が生成される。

なお、図１１を参照して行った説明では、ベース画像組１３０は、時刻ｔ１、あるいは時刻ｔ１５に取得されたとしたが、時刻ｔ１と時刻ｔ１５の両方のタイミンクで取得された情報をベース画像組１３０に組み込んでも構わない。ベース画像組１３０に組み込む画像の数は任意であり、本発明はこれらに制限を設けない。

また、ベース画像組組み込まれる複数枚の画像の時間間隔は任意であり、本発明はこれらに制限を設けない。

また、Ｇ画像生成用データベース部１４０が持つ画像特徴量が互いに類似していて、冗長性が高い場合、類似データを１つの代表データに集約するクラスタリング処理でＧ画像生成用データベース部１４０の規模を小さくしても構わない。例えば、７２０画素×４８０ラインのベース画像を３枚用いた場合、図６におけるスケールを３段階とするならば、１０次元の画像特徴量ベクトルが、約１００万組（ ＝ ７２０画素×４８０ライン×３枚）算出される。そこで、乱数発生などを利用して、例えば、１万本の画像特徴量ベクトルを初期クラスタ中心として設定し、各クラスタ中心の画像特徴量ベクトルに最も近い画像特徴量ベクトルを前記１００万本の画像特徴量ベクトルから検出する。検出された画像特徴量ベクトルは、クラスタ中心の画像特徴量ベクトルとの平均が算出され、新たなクラスタ中心として更新される。前記１００万本の画像特徴量ベクトルすべてが、クラスタ中心の画像特徴量ベクトルと平均されるまでクラスタ中心の更新を繰り返して、最終的に、１万本の画像特徴量ベクトルに集約する。クラスタリング以外に、主成分分析を用いることも可能であり、上記１００万本の画像特徴量ベクトルから成る分布の広がりを、複数の基底ベクトルの線形結合で表現して、冗長性を削減する。

図１６は、画像データ生成装置１００の動作フローを説明する図である。図１６（ａ）は、撮影記録時の動作フローであり、図１６（ｂ）は、撮影画像の再生時の動作フローである。図１６（ａ）において、撮影が開始される（ステップＳ０１）と、撮影部１０３は入射光１０１を受光して、高空間解像度・低時間解像度のＧ画像１１８、低空間解像度・高時間解像度のＲ画像１１７とＢ画像１１９を出力する（ステップＳ０２）。撮影画像記録部１０８は、撮影画像書き込み部１０９によって、Ｒ画像１１７、Ｇ画像１１８、Ｂ画像１１９をメモリ部１１０に記録する（ステップＳ０３）。図１６（ｂ）において、撮影画像の再生が開始される（ステップＳ０４）と、系統識別信号発生部１８５が系統識別信号１７６を発生し、Ａ系統５０を指定する（ステップＳ０５）。撮影画像記録部１０８は、撮影画像読み出し部１１１によって、メモリ部１１０からベース画像組１３０を読み出す（ステップＳ０６）。ベース画像組１３０は、空間解像度アップコンバータ部１１２でＲ画像１３１とＢ画像１３２の空間解像度を補間拡大され（ステップＳ０７）、時間解像度アップコンバータ部１１３のＧ画像生成用データベース部１４０に画像特徴ベクトルＲＢ画像１３８と画像特徴ベクトルＧ画像１３９を格納する（ステップＳ０８）。

前記ステップＳ０８終了後、系統識別信号発生部１８５は、系統識別信号１７６をＢ系統５１に切り替える（ステップＳ０９）。撮影画像記録部１０８は、撮影画像読み出し部１１１によって、メモリ部１１０から順次、撮影画像を読み出す（ステップＳ１０）。前記撮影画像は、空間解像度アップコンバータ部１１２でＲ画像１５１とＢ画像１５２の空間解像度が補間拡大され（ステップＳ１１）、時間解像度アップコンバータ部１１３のＧ画像生成用データベース部１４０を参照して置換高解像度化Ｇ画像１６１を算出し（ステップＳ１２）、補間拡大されたＲ画像１５３とＢ画像１５４ともに出力部１１４から外部に出力される（ステップＳ１３）。

なお、Ｇ画像生成用データベース部１４０に登録された画像特徴ベクトルは、再生動作が終了しても保持されるようにしておけば、次の再生時には、ステップＳ０５からステップＳ０８を省略でき、ステップＳ０９からスタートできる。特に、同じシーンを撮影している場合は、Ｇ画像生成用データベース部１４０の画像特徴ベクトルを再利用できる可能性が高いため、高空間解像度・高時間解像度のＲＧＢ画像（Ｒ_OUT Ｇ_OUT Ｂ_OUT）１０２の画質を落とさずに、素早く再生画像を生成できる。メモリ部１１０から新たなベース画像組１３０が読み出された際には、Ａ系統５０に切り替え、ステップＳ０５からステップＳ０８によって、Ｇ画像生成用データベース部１４０の画像特徴ベクトルを更新する。

以上のような画像データ生成装置１００を用いれば、現行の３板式カメラの構成をそのまま利用して、高空間解像度・高時間解像度の画質の高い画像が撮影、記録、再生できる。例えば、７２０画素×４８０ラインの標準テレビ用のカメラで、１９２０画素×１０８０ラインのハイビジョン映像を撮影できる。標準テレビ用カメラの光電変換素子単位は、ハイビジョンカメラよりも大きく、高感度撮影ができ、より手軽に高画質の撮影が可能になる。

（実施形態３）
次に、本発明による画像データ生成装置の第３の実施形態を説明する。

本実施形態の画像データ生成装置では、実施形態１、２と異なり、撮影画像の空間周波数を色チャネルの帯域分配に利用するだけでなく、ビニングによって消失した空間周波数成分を復元する超解像処理にも利用する。

図１７は、本実施形態に係る画像データ生成装置２００の構成を示すブロック図である。なお、図８に示す画像データ生成装置１００と同様の部分については同じ符号を付し、詳細な説明を省略する。画像データ生成装置２００は、撮影部１０３、色分解部１０４、Ｒ撮像センサ部１０５、Ｇ撮像センサ部１０６、Ｂ撮像センサ部１０７、空間周波数算出部２４１、色チャネル帯域分配算出部２４２、超解像部２４３、出力部１１４、系統識別信号発生部１８５を備えている。

空間周波数算出部２４１は、図８の空間周波数算出部１８６と同様に、Ｒ₁画像、Ｇ₁画像、Ｂ₁画像の空間周波数分布を算出する。ただし、この算出結果が、色チャネル帯域分配算出部２４２を介して光電変換素子単位のビニング処理に使われるだけでなく、超解像部２４３にも入力され、高解像度化にも用いられる。すなわち、図１５を参照して説明した時間解像度アップコンバータ部１１３は、本実施形態でも、画像特徴量を用いて高解像度化を行うが、本実施形態では、画像特徴量となる空間周波数の算出を空間周波数算出部２４１が担当する。このため、時間解像度アップコンバータ部２４５内に画像特徴量変換部を持つ必要がなくなる。図１８は、時間解像度アップコンバータ２４５のブロック図を示す。図１５の時間解像度アップコンバータ部１１３と比べて、画像特徴量算出がなくなり、構造がシンプルになる。ただし、出力Ｂ画像１９０と出力Ｒ画像１９１は、高解像度化処理を掛けず、そのまま出力されるため、画像特徴量を輝度信号に変換するために、輝度信号変換部２４６が必要になる。

なお、図１７は、本実施形態の撮影機能を説明するための図面であるため、図８と比較すると、記録機能を実行する構成要素が明示されていない。図８の撮影画像記録部１０８が有する超解像の学習用の画像を出力するＡ系統と超解像の対象画像を流すＢ系統を選択する機能は、図１７に示す構成例では、空間周波数算出部２４１に組み込まれる。

色チャネル帯域分配算出部２４２は、ビニング設定用に、各色チャネルの帯域分配の情報を撮影部１０３だけでなく、空間解像度アップコンバータ部２４４と時間解像度アップコンバータ部２４５にも各色チャネルの帯域分配の情報を与え、低解像度画像の超解像処理に利用する。

空間解像度アップコンバータ部２４４は、図１４で説明した空間解像度アップコンバータ部１１２と同様、Ｒ画像、Ｇ画像、Ｂ画像の画像サイズを高空間解像度・高時間解像度のＲＧＢ画像（Ｒ_OUT Ｇ_OUT Ｂ_OUT）１０２の画像サイズに変換する。ただし、図１９に示したように、空間解像度アップコンバータ部２４４への入力は、空間周波数スペクトルとなっているため、輝度信号変換部２４６で輝度値に戻し、Ｂ用補間拡大部１７０とＢ用補間拡大部１７１に供給する。

なお、画像データ生成装置２００の基本的機能は図１７の構成で完結するが、撮影画像の記録・再生機能を追加しても構わない。

以上のような画像データ生成装置２００を用いれば、現行の３板式カメラの構成をそのまま利用して、高空間解像度・高時間解像度の画質の高い画像が撮影、記録、再生できる。特に、色チャネルの帯域分配と超解像処理の両方に必要とされる空間周波数スペクトルの算出を共有化するため、機器の小型化や軽量化、コストダウンなどのメリットを実現する。

（実施形態４）
本実施形態では、色チャネルの帯域分配を算出する際に、入射光量の不足によって発生したノイズを除去するビニング処理を考慮できる画像データ生成装置について説明する。

図２０は、本発明の実施形態４に係る画像データ生成装置８００の構成を示すブロック図である。なお、図１に示す画像データ生成装置７００と同様の部分については同じ符号を付し、詳細な説明を省略する。画像データ生成装置８００は、撮影部１０３、色分解部１０４、Ｒ撮像センサ部１０５、Ｇ撮像センサ部１０６、Ｂ撮像センサ部１０７、空間周波数算出部１８６、色チャネル帯域分配算出部１８７、超解像部２４０、出力部１１４、Ｒ用露出計２５０、Ｇ用露出計２５１、Ｂ用露出計２５２を備えている。

Ｒ用露出計２５０は、Ｒ撮像センサ部１０５の周辺部に取り付けられ、入射光の周辺光を捉えて、Ｒ撮像センサ部１０５の露光量を計測する。露光量が不足する場合は、ノイズが発生し、画質劣化につながる。そこで、Ｒ用露出計２５０が計測した露光量を色チャネル帯域分配部１８７へ入力し、所定の露光基準量に満たない場合、色チャネル帯域分配信号２３０によって、Ｒ撮像センサ部１０５のＡＤ変換部にビニングの指示を出し、ビニングによる平滑化でノイズを除去する。Ｇ用露出計２５１とＢ用露出計２５２も同様である。

ところで、ビニング処理は、空間解像度という観点から見れば、解像度を低くする処理にあたる。従って、画像データ生成装置８００は、自分自身で低解像度の詳細、すなわち、低解像度化モデルを有することになる。一般に、超解像処理は、低解像化モデルの逆問題として扱われる。すなわち、解像度を低下させる処理の逆の処理を施せば、解像度を高めることができる。従って、超解像処理を設計するにあたっては、低解像度化モデルの把握が重要になる。逆の言い方をすれば、低解像度化モデルが不明のまま、高解像度化処理を設計することは、通常、非常に困難である。低解像度化モデルが不明の場合は、経験的に汎用性の高いモデルを仮に設定することが多く、例えば、ガウス分布による平滑化などが用いられる。また、ビニング処理と同一である複数画素の平均化も、経験的に選択される場合もある。ただし、本実施形態の特徴は、時々刻々と変化する露光量に応じてビニング処理の内容も更新され、時々刻々と変化する低解像度化モデルに追従して、高解像度化処理を柔軟に変更できるところにある。

また、露光計は、色チャネルごとに設けられているため、ビニング設定は、各色チャネルで個別の内容となる。すなわち、低解像度化モデルが色チャネルごとに異なり、経験的な対応がより困難であることが容易に理解できる。

以上のように、Ｒ用露出計２５０、Ｇ用露出計２５１、Ｂ用露出計２５２を用いることで、光量不足によるノイズ発生の度合いを評価することができ、これに応じて、ビニング処理でノイズ除去の対策を打つことができる。加えて、ビニング処理で失った空間周波数成分を超解像処理で復元することができ、これらすべての処理を色チャネル帯域分配算出部１８７が結び付けている。すなわち、色チャネル帯域分配算出部１８７は、Ｒ撮像センサ部１０５、Ｇ撮像センサ部１０６、Ｂ撮像センサ部１０７からのデータ転送レートの上限と光量不足に起因するノイズ発生を踏まえながら、できるだけ高い空間周波数成分を残すようにビニング処理を制御する。同時に、色チャネル帯域分配算出部１８７は、ビニング処理詳細信号７０１を超解像部２４０に与えることで、空間解像度の低解像度化モデルを既知とし、ビニング処理で失われた空間周波数成分の推定精度を高めることができ、結果的に、Ｒ撮像センサ部１０５、Ｇ撮像センサ部１０６、Ｂ撮像センサ部１０７からのデータ転送レートの上限を超えることが可能となる。

図２１は、画像データ生成装置８００の動作タイミングを説明する図である。

時間ｔ１において、読み出し７１０が動作し、Ｒ撮像センサ部１０５、Ｇ撮像センサ部１０６、Ｂ撮像センサ部１０７から第１番目の画素データが読み出される。ただし、現段階では、空間周波数分析は成されていないため、色チャネルごとに個別のビニング処理を施すことができない。そこで、たとえば、各色チャネルに２×２のビニング処理を施して、全色チャネルで同一レートのデータ転送を行う。

時間ｔ２において、読み出し７１０が動作し、Ｒ撮像センサ部１０５、Ｇ撮像センサ部１０６、Ｂ撮像センサ部１０７から第２番目の画素データが読み出される。また、露光量検出８０１が動作し、Ｒ用露出計２５０、Ｇ用露出計２５１、Ｂ用露出計２５２で第１番目の画素データの露光量が計測される。

時間ｔ３において、読み出し７１０と露光量検出８０１が動作するとともに、周波数解析７１１が動作し、空間周波数算出部１８６で第１番目の画素データの空間周波数が算出される。

時間ｔ４において、読み出し７１０、露光量検出８０１、周波数解析７１１が動作するとともに、新たに帯域分配７１２と超解像処理７１４が同時に動作を開始する。帯域分配７１２は、色チャネル帯域分配算出部１８７の動作で、時間ｔ４では第１番目の画素に対して各色チャネルへの帯域分配が成される。超解像処理７１４は、超解像部２４０の動作で、時間ｔ４では第１番目の画素に対して超解像処理が成される。

時間ｔ５において、読み出し７１０、露光量検出８０１、周波数解析７１１、帯域分配７１２、超解像処理７１４が動作するとともに、新たにビニング処理７１３と画像出力７１５が同時に動作を開始する。画像出力７１５は、出力部１１４の動作であり、第１番目の画素が出力される。ビニング処理７１３は、Ｒ撮像センサ部１０５、Ｇ撮像センサ部１０６、Ｂ撮像センサ部１０７の動作で、色チャネル帯域分配算出部１８７が出力した色チャネル帯域分配信号２３０に従って設定された条件で、第１番目の画素に対してビニング処理が成される。これ以降、ビニング処理が有効となるため、実質的には、時間ｔ６以降からビニング処理が動作する形になる。時間ｔ６で読み出し７１０を受けた画素データ８０２は、時間ｔが進むごとに、周波数解析７１１、帯域分配７１２、超解像処理７１４、画像出力７１５を経て、時間ｔ１０で画像データ生成装置８００から出力される。

以上より、図２１の動作タイミングにおける時間軸をパイプライン処理の動作クロックとするならば、Ｒ撮像センサ部１０５、Ｇ撮像センサ部１０６、Ｂ撮像センサ部１０７から画素データが読み出され、これらの空間周波数分布からビニング処理へ反映されるまでに５クロック分のタイムラグは存在することになる。また、画像データ生成装置８００が起動してから最初の画素データが出力されるまでに４クロック分のタイムラグがあり、引き続く５クロック分は各色チャネルで同一の処理が成され、６クロック目以降に、色チャネル個別の処理が成されることになる。従って、色チャネル個別のビニング処理と超解像処理は、１０クロック目で初めて有効となり、以降はクロック単位ですべての処理が実行される。

（実施形態５）
図２２は、本発明の実施形態５に係る画像データ生成装置３００の構成を示すブロック図である。なお、図２０に示す画像データ生成装置８００と図８に示す画像データ生成装置１００と同様の部分については同じ符号を付し、詳細な説明を省略する。画像データ生成装置３００は、撮影部１０３、色分解部１０４、Ｒ撮像センサ部１０５、Ｇ撮像センサ部１０６、Ｂ撮像センサ部１０７、撮影画像記録部１０８、撮影画像書き込み部１０９、空間周波数算出部１８６、色チャネル帯域分配算出部１８７、色チャネル帯域分配情報書き込み部１８８、メモリ部１１０、撮影情報読み出し部１１１、超解像部２４０、出力部１１４、系統識別信号発生部１８５、Ｒ用露出計２５０、Ｇ用露出計２５１、Ｂ用露出計２５２を備えている。

色チャネル帯域分配情報書き込み部１８８は、色チャネル帯域分配算出部１８７で時々刻々と変化するビニング処理の詳細をメモリ部１１０に逐次記録する。撮影情報読み出し部１１１は、撮影画像とともに色チャネル帯域分配情報を読み出し、超解像部２４０に入力し、Ｇ画像生成用データベース部１４０の画像特徴量が逐次更新される。

本実施形態では、ビニング処理が低解像度処理そのものであり、低解像度化処理の逆問題である超解像処理をより良い状態で解けることを意味する。一般的には、低解像度化モデルが不明の場合が多く、経験的に汎用性の高いモデルを仮に設定する。例えば、ガウス分布による平滑化などが用いられる。また、ビニング処理と同一である複数画素の平均化も、経験的に選択される場合もあるが、本実施形態の特徴は、時々刻々と変化する露光量に応じて色チャネル帯域分配算出部１８７がビニング処理の内容を更新し、時々刻々と変化する低解像度化モデルに追従して、高解像度化処理を柔軟に変更できるところにある。

また、露光計は、色チャネルごとに設けられているため、ビニング設定は、各色チャネルで個別の内容となる。すなわち、低解像度化モデルが色チャネルごとに異なり、経験的な対応がより困難であることが容易に理解できる。

以上のような画像データ生成装置３００を用いれば、現行の３板式カメラの構成をそのまま利用して、高空間解像度・高時間解像度の画質の高い画像が撮影、記録、再生できる。特に、ビニング処理を露光不足に起因するノイズの除去に利用でき、かつ、ビニングによって空いた帯域分を高空間解像度画像のデータ転送読み出しに振り分けられる。

（実施形態６）
本実施形態では、低空間解像度・高時間解像度画像の空間解像度を高解像度化できる画像データ生成装置について説明する。

図２３は、本発明の実施形態６に係る画像データ生成装置４００の構成を示すブロック図である。なお、図８に示す画像データ生成装置１００と同様の部分については同じ符号を付し、詳細な説明を省略する。

画像データ生成装置３００は、撮影部１０３、色分解部１０４、Ｒ撮像センサ部１０５、Ｇ撮像センサ部１０６、Ｂ撮像センサ部１０７、撮影画像記録部１０８、撮影画像書き込み部１０９、空間周波数算出部１８６、色チャネル帯域分配算出部１８７、色チャネル帯域分配情報書き込み部１８８、メモリ部１１０、撮影情報読み出し部１１１、超解像部２４０、出力部１１４、系統識別信号発生部１８５、ＲＢ高域調整部４０２を備えている。

ＲＢ高域調整部４０２は、Ｒ画像とＢ画像の相関に応じて、Ｇの高域成分を補間拡大したＲとＢに重畳することにより、Ｒ画像とＢ画像を高解像度化する。図２４は、ＲＢ高域調整部４０２の構成例を示している。図２４のＲＢ高域調整部４０２は、低解像度化部４０３、局所相関演算部４０４、重み生成部４０５、カウンタ４０６、画像メモリ４０７、重み正規化部４０８を備えている。

ＲＢ高域調整部４０２における処理は、フレーム単位で行われる。まず、各フレーム処理の初めに、カウンタ４０６の内容と画像メモリ４０７の内容を０クリアする。

低解像度化部４０３は、時間解像度アップコンバータ部１１３によって高解像度化されたＧ成分、Ｇ_HLHを空間的に低解像化しＧ_H,LH,Lを出力する。上述したように、本発明における画像データ生成装置は、ビニング設定という低解像度化モデルを、装置自身で有しているため、正確な低解像度化処理が保証される特徴を持っている。ビニング処理が時々刻々と変化する場合は、低解像度化手段４０３を逐次更新することで、ＲＢ高域調整部４０２はダイナミックに動作可能となる。

Ｒ_LH,HとＢ_LH,Hは、空間解像度アップコンバータ部１１２で補間拡大されたＲ画像とＢ画像であり、時間解像度アップコンバータ部１１３で生成されたＧ_HLHと同じ画素数、ライン数を有する。

局所相関演算手段４０４は、例えば、図２５に示す２×２画素程度の局所的な領域内でＲ_LH,HとＢ_LH,Hの相関値を、（式６）によって計算する。

なお、局所的なＲとＢの相関は、必ずしも２×２画素の領域について求める必要はなく、３×３画素、４×４画素、５×５画素等のより広い範囲の矩形領域について求めてもよく、また、円形や４角形以上の多角形等の領域について求めたり、ガウス関数等により着目画素位置近傍を重視するような重みをつけて計算してもよい。

重み生成部４０５は、局所相関演算部４０４が計算した相関値に応じた重みを生成する。相関値と重みの関係は、例えば、図２６を用い、正の相関が高いほど、重みＷを大きくして、Ｇ_HHとＧ_LHの差（すなわちＧの高域成分）の重畳を強める。負の相関がある場合は、Ｇ_HHとＧ_LHの差（すなわちＧの高域成分）の重畳を行わず、重みＷは０とする。重みＷを乗算したＧ_HHとＧ_LHの差（すなわちＧの高域成分）は、画像メモリ４０７の画素位置に応じたアドレスに加算してゆく。この時、画像メモリ４０７に書き込みを行う範囲は、１画素でもよく、また、局所的な相関値を計算した範囲でもよい。ただし、後者のように複数画素について高域成分を重畳する場合、局所相関を計算する領域の設定の仕方（すなわち画像内でのインクリメントの仕方）によっては、同一画素に複数回、高域波形を重畳することになる。ここでは、そのような場合を考え、高域波形を重畳した回数を、カウンタ４０６において、各画素について記憶する。

正規化部４０８では、複数回重畳した高域波形をカウンタ４０６に１画素ごとに記憶されている書き込み回数値で除算する。正規化された高域信号は、Ｒ_LH,HとＢ_LH,Hに重畳され、Ｒ_OUT、Ｂ_OUTとして出力される。

以上のような撮影記録再生装置４００を用いれば、現行の３板式カメラの構成をそのまま利用して、高空間解像度・高時間解像度の画質の高い画像が撮影、記録、再生できる。特に、Ｒ，Ｂを高解像度化することにより、局所的な色バランスを保った状態でＲとＢを高解像度化することができ、その結果、偽色の発生を抑えた高解像度化を行うことができる。

（実施形態７）
図２７Ａは、本発明による撮像装置の実施形態を示すブロック図であり、図２７Ｂは、本発明による画像処理装置の実施形態を示すブロック図である。

図２７Ａに示す撮像装置５００は、図８に示す画像データ生成装置１００と同様に、撮影部１０３、色分解部１０４、Ｒ撮像センサ部１０５、Ｇ撮像センサ部１０６、Ｂ撮像センサ部１０７、撮影画像記録部１０８、撮影画像書き込み部１０９、空間周波数算出部１８６、色チャネル帯域分配算出部１８７、色チャネル帯域分配情報書き込み部１８８を備えている。

しかし、撮像装置５００は、超解像部２４０などは備えておらず、また、撮影画像記録部１０８も、メモリ部１１０Ａと、このメモリ部１１０Ａから読み出したデータを外部に出力するための撮影情報読み出し出力部２３００とを備えている点で、実施形態２における画像テータ生成装置１００（図８）と異なっている。

撮影画像のデータがメモリ部１１０Ａに記録されるまでの働きは、実施形態１と同様であるため、ここでは説明を繰り返さないこととする。

本実施形態では、撮影情報読み出し出力部２３００が、不図示の通信ラインまたは電話回線などを介して、メモリ部１１０Ａに記録されたデータを図２７Ｂに示すような画像処理装置に送出することができる。このとき、ビニングによって消失した空間周波数成分を復元するために必要な情報として、ビニング処理の設定に関する情報（例えば色チャネルごとのデータ転送レートを示す情報など）を画像処理装置に送信する必要がある。

図２７Ｂの画像処理装置６００は、実施形態２の画像データ生成装置１００（図８）から撮像部１０３および撮影画像書き込み部１０９などを取り除いた構成を備えている。この画像処理装置６００は、図２７Ａに示される撮像装置５００から送られてきたデータを受け取る入力部２３１０を備えており、この入力部２３１０はメモリ部１１０Ｂに上記データを記録することができる。メモリ部１１０Ｂに記録されたデータは、撮影情報読み出し部１１１Ｂによって読み出される。撮影情報読み出し部１１１Ｂによって読み出されるデータの処理は、実施形態２の画像データ生成装置１００について説明した動作と同様である。

図２７Ａに示す撮像装置５００と図２７Ｂに示す画像処理装置６００との間では、有線または無線を介してデータの転送が行われるが、このようなデータの転送は、リムーバルメモリを介して行ってよい。例えば、図２７Ａに示すメモリ部１１０Ａの一部または全部がリムーバブルメモリ（例えばメモリカード）によって実現される場合、そのリムーバブルメモリを、図２７Ｂのメモリ部１１０Ｂまたはその一部として画像処理装置６００に装着すれば、撮影情報を撮像装置５００から画像処理装置６００に転送することが可能である。なお、リムーバブルメモリには、ビニングによって消失した空間周波数成分を復元するために必要な情報として、ビニング処理の設定に関する情報も記録される。

このように本実施形態では、撮像処理を行う部分（カメラ）と超解像処理を行う部分とが一体化されておらず、別々の装置として必要な処理動作を実行することができる。このため、撮像装置を小型軽量化することが可能である。また、画像処理装置６００は、パーソナルコンピュータなどの汎用コンピュータに所望のアルゴリズムを実行するプログラムをインストールすることによっても実現され得る。更に、本実施形態の画像処理装置６００は、ＨＤＤ（ハードディスクドライブ）や光ディスクに画像を記録することのできるレコーダや、薄型テレビなどの画像表示装置に好適に内蔵され得る。

なお、上述した本発明の各実施形態における「空間周波数」は、周波数を算出するドメインを空間から時間に変えることで、「時間周波数」に置き換えることができる。空間周波数を算出するには、複数の画素データをメモリに蓄え、空間的に隣接する、あるいは近傍にある画素との輝度差を取り扱う。一方、時間周波数を算出するには、複数フレームの画素データをメモリに蓄え、時間的に隣接する、あるいは近傍にある画素との輝度差を取り扱う。

なお、上述した本発明の各実施形態各構成要素は、ハードウェアにより実現されてもよいし、ソフトウェアにより実現されてもよい。例えば、上述した画像データ生成処理の少なくとも一部が、コンピュータにより実行可能なプログラムまたはコンピュータによって実現されてもよい。

以上のように本発明は、ビデオムービーカメラ、テレビ、動画撮影機能が付いたデジタルスチルカメラなどビデオ機器全般において有用である。また、広く普及しているパーソナルコンピュータおいても有用である。

１００、２００、３００、４００ 画像データ生成装置
１０１ 入射光
１０２ 高空間解像度・高時間解像度のＲＧＢ画像（Ｒ_OUT Ｇ_OUT Ｂ_OUT）
１０３ 撮影部
１０４ 色分解部
１０５ Ｒ撮像センサ部
１０６ Ｇ撮像センサ部
１０７ Ｂ撮像センサ部
１０８ 撮影画像記録部
１０９ 撮影画像書き込み部
１１０ メモリ部
１１１ 撮影画像読み出し部
１１２ 空間解像度アップコンバータ部
１１３ 時間解像度アップコンバータ部
１１４ 出力部
１８５ 系統識別信号発生部
１８６ 空間周波数算出部
１８７ 色チャネル帯域分配算出部
１８８ 色チャネル帯域分配情報書き込み部
５００ 撮像装置
６００ 画像処理装置

Claims (11)

1. 入射光を複数の波長域に分光する分光部と、
   各々が入射光に応じたアナログ信号を出力する複数の光電変換素子単位が配列された複数の撮像部を備え、前記複数の撮像部が、それぞれ、前記分光部によって分光された波長域が異なる光を受けて撮像を行い、前記アナログ信号を各波長域ごとに出力する撮像装置と、
   複数の光電変換素子単位から出力された前記アナログ信号を加算する機能を備え、前記光電変換素子単位から出力されたアナログ信号、または、前記加算されたアナログ信号をデジタル信号に変換するＡＤ変換部と、
   前記デジタル信号の周波数スペクトル分布データを生成する空間周波数算出部と、
   前記周波数スペクトル分布データを参照して、前記ＡＤ変換部において前記アナログ信号が加算される前記光電変化素子単位の個数を、波長域ごとに指定できる帯域分配算出部と、
   前記ＡＤ変換部から出力された前記デジタル信号の周波数スペクトル分布データにおける高周波成分を増加させる超解像部と
   を備える、画像データ生成装置。
2. 前記超解像部は、前記ＡＤ変換部における前記アナログ信号の加算によって失われた前記周波数スペクトル分布データにおける高周波成分の少なくとも一部を復元する、請求項１に記載の画像データ生成装置。
3. 前記分光部は、前記被写体からの光を、赤色光、緑色光および青色光に分光し、
   前記撮像素子部は、前記赤色光、緑色光および青色光を受光して、Ｒ画像、Ｇ画像、Ｂ画像を出力し、
   前記ＡＤ変換部は、Ｒ画像のデータ転送レートと、Ｇ画像のデータ転送レートと、Ｂ画像のデータ転送レートの合計が、所定の値になるように前記撮像素子部の出力するアナログ信号を加算し、
   前記帯域分配算出部は、Ｒ画像、Ｇ画像、Ｂ画像に対して、所定の周波数帯域で周波数スペクトルのエネルギーを算出し、前記Ｒ画像、Ｇ画像、Ｂ画像の各々における周波数スペクトルのエネルギーの比を前記ＡＤ変換のアナログ信号の加算個数の逆数の比とする、請求項１に記載の画像データ生成装置。
4. 前記帯域分配算出部は、前記ＡＤ変換部におけるアナログ信号の加算方法を前記超解像部に入力し、低解像度化処理に用いる、請求項１に記載の画像データ生成装置。
5. 前記超解像部は、
   前記帯域分配算出部が指定した波長域に応じてＡＤ変換部が生成した低空間解像度・高時間解像度画像と高空間解像度・低時間解像度画像を取得し、
   低空間解像度画像と高空間解像度画像の対応関係に基づいて、高空間解像度・低時間解像度画像の時間解像度を低空間解像度・高時間解像度画像の時間解像度へ変換して、高空間解像度・高時間解像度を生成する、請求項１に記載の画像データ生成装置。
6. 前記撮像素子部は、前記分光された光の光量を計測する露出計測部を有し、
   前記ＡＤ変換部は、前記計測された光量が所定の値に達するようにアナログ信号を加算する請求項１に記載の画像データ生成装置。
7. 被写体からの光を分光するステップと、
   前記分光された光を受光してアナログ信号を出力するステップと、
   前記アナログ信号を複数個加算する機能を備え、前記加算機能を施したアナログ信号、あるいは、前記加算機能を施こさないアナログ信号をデジタル信号に変換するステップと、
   前記デジタル信号の周波数スペクトルのエネルギーの大きさに従って、前記アナログ信号の加算個数を波長域ごとに指定するステップと、
   前記アナログ信号の加算によって消失した周波数成分の少なくとも一部を復元するステップと
   を備える画像データ生成方法。
8. 撮像部を備える画像データ生成装置に、画像データを生成する処理を実行させるプログラムであって、
   前記画像データを生成する処理は、
   被写体からの分光された光を前記撮像部で受光して前記撮像部でアナログ信号を出力するステップと、
   前記アナログ信号を複数個加算したアナログ信号、あるいは、前記加算しないアナログ信号をデジタル信号に変換するステップと、
   前記デジタル信号の周波数スペクトルのエネルギーの大きさに従って、前記アナログ信号の加算個数を波長域ごとに指定するステップと、
   前記アナログ信号の加算によって消失した周波数成分の少なくとも一部を復元するステップと
   を前記画像データ生成装置に実行させる、プログラム。
9. 入射光を複数の波長域に分光する分光部と、
   各々が入射光に応じたアナログ信号を出力する複数の光電変換素子単位が配列された複数の撮像部を備え、前記複数の撮像部が、それぞれ、前記分光部によって分光された波長域が異なる光を受けて撮像を行い、前記アナログ信号を各波長域ごとに出力する撮像素子と、
   複数の光電変換素子単位から出力された前記アナログ信号を加算する機能を備え、前記光電変換素子単位から出力されたアナログ信号、または、前記加算されたアナログ信号をデジタル信号に変換するＡＤ変換部と、
   前記デジタル信号の周波数スペクトル分布データを生成する空間周波数算出部と、
   前記周波数スペクトル分布データを参照して、前記ＡＤ変換部において前記アナログ信号が加算される前記光電変化素子単位の個数を、波長域ごとに指定できる帯域分配算出部と、
   を備える、撮像装置。
10. 請求項９に記載されている撮像装置によって生成された前記デジタル信号および前記ＡＤ変換部において前記アナログ信号が加算された前記光電変化素子単位の個数を示すビニング処理情報を受け取る入力部と、
    前記超解像部は、前記ＡＤ変換部における前記アナログ信号の加算によって失われた前記周波数スペクトル分布データにおける高周波成分の少なくとも一部を復元する、画像処理装置。
11. 前記入力部は、前記デジタル信号および前記ビニング処理情報が記録されている記憶媒体を受容する構造を有している、請求項１０に記載の画像処理装置。

Images