JP4327246B2 - 多色画像処理装置及び信号処理装置 - Google Patents

Description

本発明は、解像度およびフレームレートの両方を高めたカラー動画像を生成する画像処理技術に関している。

近年、画像撮像機器の分野では、デジタルビデオカメラやデジタルスチルカメラの高画質化や多機能化が急速に進んでいる。これら画像撮像機器で得られる動画像の画質に関わる主な指標は、１フレームあたりの画素数（解像度）、１秒あたりのフレーム数（フレームレート）、および雑音に対する画像信号の比率（ＳＮ比）である。解像度の点では、ＴＶ電話のＱＣＩＦ程度の画素数のものから、デジタル１眼レフカメラの１０００万画素を超えるものまで多岐にわたる。フレームレートの点では、デジタルスチルカメラの連写機能などの毎秒数フレームのものから、ビデオカメラでは３０フレーム／秒、特殊な高速撮影カメラでは１０００フレーム／秒を越えるものまで多岐にわたる。

しかしながら、撮像機器で広く用いられている撮像素子（例えばＣＣＤやＣＭＯＳイメージセンサ）は、画素データの読み出し速度を向上するのが困難であり、一定の上限値がある。そのため、高解像度と高フレームレートとを同時に満たす動画像の撮像は困難である。

従来の高解像度かつ高フレームレートの撮像を行う装置としては、図３７に示すように、フィールド毎に読み出し位置を変えて読み出した複数フィールドの画像（１：ｎインターレース画像１７１）から、１フレームの画像（フルフレーム画像１７２）を合成するものがあった。特許文献１には、フィールド間の動き情報を用いて、そのような方法で読み出した画像から高解像度のフレーム画像を生成する装置が記載されている。

画像のナイキスト周波数は、空間的なサンプリング周波数、すなわち画像の画素数によって決まる。図３７に示す３ライン間引きの場合、３フィールドで１フレームの画像が構成される。この場合、各フィールドのライン数はフレーム画像の３分の１になるため、フィールド画像におけるライン方向に垂直な方向のサンプリング周波数は、フレーム画像における同方向のサンプリング周波数の３分の１になる。ナイキスト周波数は、サンプリング周波数の半分であるため、フィールド画像におけるライン方向に垂直な方向のナイキスト周波数も、フレーム画像における同方向のナイキスト周波数の３分の１になる。

フィールド画像のナイキスト周波数以上の高周波成分がフレーム画像中に含まれていると、フィールド画像では折り返し成分（エイリアシング）が発生する。一般には、折り返し成分はナイキスト周波数以下の周波数成分に対して外乱もしくはノイズとして重畳されることになる。しかし、折り返し成分を含む複数の画像と、画像間のずれに相当するお互いの位置関係がわかると、個々の画像の解像度以上の解像度を復元できることが、超解像という技術として知られている。例えば、被写体とカメラが相対的に静止している場合には、複数のフィールド画像からフレーム画像を復元できる。この時、各フィールド画像におけるナイキスト周波数は、フレーム画像のナイキスト周波数以下なので、各フィールド画像に、フィールド画像のナイキスト周波数以上の信号が折り返し成分として含まれる。そのため、復元されたフレーム画像において、この折り返し成分を高域成分（フィールド画像のナイキスト周波数成分以上の高周波数成分）として復元できる。

被写体とカメラの位置関係が時間的に変化する場合でも、カメラから見た被写体の動きが正しくわかれば、それを考慮することにより、上記の静止の場合と同様に高周波成分を含む画像を復元することができる。
特開２００７−０２８２０８号公報

しかしながら、従来のフィールド毎に読み出し位置を変えて読み出した画像に対する高解像度化処理では、各フィールドに折り返し成分が含まれ、かつ、フィールド間の動きが正確に検出される場合において高解像度の画像が復元される。しかし、各フィールドに折り返し成分が含まれる場合は、フィールド間での動きを正確に検出することが難しくなる。各フィールドに折り返し成分が含まれると、フィールド間での動き検出が困難になるのは、折り返し成分が折り返ってない信号に対して外乱成分となるためである。

折り返し成分は、サンプリング位置、原信号の時空間周波数と位相によって決まるので、一般には２つのフィールド画像間で一致しない。その結果、動き検出時にはこれがノイズとなり、動き検出精度を低下させる。そのため、特許文献１に開示されている方式の場合、インターレース数ｎが大きくなるにつれて、フィールド間での動きを正確に検出するのが難しくなるという課題があった。

本発明は、上記課題を解決するために成されたものであり、インターレース数ｎが大きくなってもフィールド間で正確な動き推定が可能な多色画像処理装置、および多色画像処理方法を提供することにある。

本発明の他の目的は、上記課題を解決するための撮像装置、信号処理装置、およびコンピュータプログラムを提供することにある。

本発明の多色画像処理装置は、可視光を少なくとも第１の色成分の光および前記第１の色成分とは異なる第２の色成分の光に分離する色分離部と、前記第１の色成分の光および第２の色成分の光をそれぞれ受ける第１撮像素子および第２撮像素子とを備える撮像部であって、前記第１撮像素子によって得られる前記第１の色成分の画像を、前記第１撮像素子の画素配列上でフィールド毎に読み出し画素を間引いて取得し、前記第２撮像素子によって得られる前記第２の色成分の画像を、前記第２撮像素子の画素配列上でフィールド毎に取得する撮像部と、前記第２の色成分の画像に基づいて、第２の色成分の画像によって構成される動画像中の動きを推定して動き情報を出力する動き推定部と、前記第１の色成分の画像と前記動き情報とに基づいて、各フィールドにおける第１の色成分の合成画像を生成し、前記第１の色成分の画像よりも空間解像度が高い第１の合成画像として出力する画像生成部と、前記第１の合成画像と前記第２の色成分の画像に基づいて、前記第１の色成分および前記第２の色成分を含む多色動画像を生成して出力する多色画像合成部とを備える。

好ましい実施形態において、前記第１撮像素子における読み出し画素の位置をフィールド毎に替えることによって、前記撮像部は、ｎフィールド（ｎは２以上の整数）から１フレームを構成する前記第１の色成分の画像を取得する。

好ましい実施形態において、前記画像生成部は、前記動き情報に基づいて、前記第１の合成画像の空間解像度を、前記第１の色成分の画像の空間解像度のｎ倍にする。

好ましい実施形態において、前記第１の合成画像の空間解像度は、前記第２の色成分の画像の空間解像度よりも高い。

好ましい実施形態において、前記撮像部は、前記第２撮像素子の画素配列上で前記第１撮像素子における各画素よりも大きなサイズを有する少なくとも１つの画素を読み出し画素の最小単位として、前記第２の色成分の画像を取得する。

好ましい実施形態において、前記第１の合成画像および前記第２の画像に基づいて、前記第１の合成画像の情報を用いて前記第２の画像の解像度を高くした第２の合成画像を生成して出力する高解像度化部を備え、前記多色画像合成部は、前記第１の合成画像および前記第２の合成画像に基づいて前記第１の色成分および前記第２の色成分を含む多色動画像を生成して出力する。

好ましい実施形態において、前記第２の合成画像の空間解像度は、前記第１の合成画像の空間解像度に等しい。

好ましい実施形態において、前記撮像部が前記第１撮像素子の画素配列上でフィールド毎に選択する読み出し画素の配列パターンは、前記画素配列上で直線的に並んだ複数の画素から構成される第１のパターンである。

好ましい実施形態において、前記撮像部が前記第１撮像素子の画素配列上でフィールド毎に選択する読み出し画素の配列パターンは、前記画素配列上で離散的に分布する複数の画素から構成される第２のパターンである。

好ましい実施形態において、前記撮像部が前記第１撮像素子の画素配列上でフィールド毎に選択する読み出し画素の配列パターンは、前記画素配列上で直線的に並んだ複数の画素から構成される第１のパターンと、前記画素配列上で離散的に分布する複数の画素から構成される第２のパターンとの間で切り替えられる。

好ましい実施形態において、前記色分離部は、可視光を前記第１の色成分の光および第２の色成分の光に分離するとともに、前記第１および第２色成分とは異なる第３の色成分の光に分離する構成を有しており、前記撮像部は、前記第３の色成分の光を受ける第３撮像素子を更に備え、前記第３の色成分の画像を、前記第３撮像素子の画素配列上でフィールド毎に取得し、前記動き推定部は、前記第２および第３の画像に基づいて前記第２および第３の画像から構成される動画像中の動きを推定して前記動き情報を出力し、前記多色画像合成部は、前記第１の合成画像および第２の色成分の画像に加え、前記第３の色成分の画像に基づき、前記第１の色成分、第２の色成分、および第３の色成分を含む多色動画像を生成して出力する。

好ましい実施形態において、前記第２の色成分の画像と前記第３の色成分の画像は、画素の空間配置が異なる。

好ましい実施形態において、前記第１の色成分は緑である。

好ましい実施形態において、前記撮像部は、前記第１撮像素子の前面に配置された空間光変調素子を有しており、前記空間光変調素子は、前記第１撮像素子の各画素に対向して光透過をＯＮ／ＯＦＦする複数の画素を有し、前記第１撮像素子の各画素の一部分に選択的に光を入射させる。

本発明の撮像装置は、可視光を少なくとも第１の色成分の光および前記第１の色成分とは異なる第２の色成分の光に分離する色分離部と、前記第１の色成分の光および第２の色成分の光をそれぞれ受ける第１撮像素子および第２撮像素子とを備える撮像装置であって、前記第１撮像素子によって得られる前記第１の色成分の画像を、前記第１撮像素子の画素配列上でフィールド毎に読み出し画素を間引いて取得し、前記第２撮像素子によって得られる前記第２の色成分の画像を、前記第２撮像素子の画素配列上でフィールド毎に取得する。

好ましい実施形態において、前記第１の色成分の画像および第２の色成分の画像を記録する蓄積部を更に有する。

本発明の信号処理装置は、ｎフィールド（ｎは２以上の整数）から１フレームが構成された第１の色成分の画像、および、１フィールドから１フレームが構成された、前記第１の色成分とは異なる第２の色成分の画像に基づいて多色動画像を出力する信号処理装置であって、前記第２の色成分の画像に基づいて、第２の色成分の画像から構成される動画像中の動き情報を出力する動き推定部と、前記第１の色成分の画像と前記動き情報に基づいて、各フィールドにおける第１の色成分の合成画像を生成し、前記第１の色成分の画像より空間解像度が高い第１の合成画像として出力する画像生成部と、前記第１の合成画像と前記第２の色成分の画像に基づいて、前記第１の色成分および前記第２の色成分を含む多色動画像を生成して出力する多色画像合成部とを備える。

本発明の多色画像処理方法は、ｎフィールド（ｎは２以上の整数）から１フレームが構成された第１の色成分の画像、および、１フィールドから１フレームが構成された、前記第１の色成分とは異なる第２の色成分の画像に基づいて多色動画像を出力する多色画像処理方法であって、前記第１の色成分の画像を取得するステップと、前記第２の色成分の画像を取得するステップと、前記第２の色成分の画像に基づいて、前記第２の色成分の画像から構成される動画像中の動き情報を推定して出力する動き推定ステップと、前記第１の色成分の画像と前記動き情報に基づいて、第１の色成分の画像を取得するフレームレートよりも高いフレームレートで第１の合成画像を出力する動き補償ステップと、第１の色成分の合成画像および第２の色成分の画像に基づいて、前記第１の色成分および第２の色成分を含む多色動画像を生成して出力する多色画像合成ステップとを含む。

本発明のプログラムは、ｎフィールド（ｎは２以上の整数）から１フレームが構成された第１の色成分の画像、および１フィールドから１フレームが構成された第２の色成分の画像に基づいて多色動画像を出力する信号処理装置を動作させるプログラムであって、前記第２の色成分の画像に基づいて第２の色成分の画像から構成される動画像中の動き情報を出力するステップと、前記第１の色成分の画像および前記動き情報に基づいて各フィールドにおける第１の色成分の合成画像を生成し、前記第１の色成分の画像より空間解像度が高い第１の合成画像として出力するステップと、前記第１の合成画像および前記第２の色成分の画像に基づいて前記第１の色成分および前記第２の色成分を含む多色動画像を生成して出力するステップとを前記信号処理装置に実行させる。

本願記載の発明は、第１の色成分（通常はＧ成分）の動画像に多くの折り返し成分が含まれる場合にも、折り返し成分が含まれない動画像を利用して動き補償を行うため、第１の色成分の動画像の解像度を高めて高画質の多色動画像を得ることが可能になる。

本発明による多色画像処理装置は、図１に示すように、可視光を複数の光に分離する色分離部１０と、分離された光をそれぞれ受ける第１撮像素子１２および第２撮像素子１４とを有する撮像部１０１を備えている。より具体的に、色分離部１０は、可視光を、少なくとも第１の色成分の光、および、第１の色成分とは異なる第２の色成分の光に分離する。この撮像部１０１は、第１の色成分の画像を、第１撮像素子１２の画素配列上でフィールド毎に読み出し画素を間引いて取得する。また、第２の色成分の画像については、第２撮像素子１４の画素配列上でフィールド毎に読み出し画素を間引かず取得することができる。こうしてフィールド毎に取得される複数の画像から「動画像」が構成される。本明細書において、フィールド毎に取得される複数の画像の集合を簡単に「動画像」と称する場合がある。

好ましい実施形態における撮像部１０１は、可視光を第１の色成分（グリーン：Ｇ）、第２の色成分（レッド：Ｒ）、および第３の色成分（ブルー：Ｂ）の光に分離することができる。図２は、このような撮像部１０１の構成例を示す図である。図２に示す撮像部は、入力光をＲ、Ｇ、Ｂの波長域に応じて選択的に透過または反射するダイクロイックミラー１１を備え、それぞれの波長域の光線をＲ、Ｇ、Ｂ用の撮像素子１３、１５、１７上に結像することができる。この例では、ダイクロイックミラー１１が図１の色分離部１０として機能する。また、Ｇ用の撮像素子１５が第１撮像素子１２として機能し、Ｒ用の撮像素子１３が第２撮像素子１４として機能する。Ｂ用の撮像素子１７は、図１に示されていない第３の撮像素子として機能することになる。なお、第２撮像素子１２の色は、Ｒである必要はなく、Ｂであってもよい。

このように本発明における撮像部は、典型的には３色の色成分毎に動画像を取得するが、色成分の数は２色であっても良いし、４色以上であってもよい。すなわち、多色画像処理装置の「多色」とは、「複数の色」を意味し、色の数の多寡は問わない。

図２に示す例では、撮像素子におけるＲおよびＢの画素寸法がＧの画素寸法よりも大きく、ＲおよびＢの空間解像度は、Ｇの空間解像度よりも低く設定されている。すなわち、ＲおよびＢ用撮像素子１３、１７の画素配列上では、Ｇ用撮像素子１５における各画素よりも大きなサイズを有する画素を読み出し画素の最小単位としてＢおよびＲの画像が取得される。なお、Ｒ、Ｂ用撮像素子とＧ用撮像素子とが同一の画素寸法を有している場合は、ＲおよびＢについて、複数の画素を読み出し画素の最小単位として画像を取得すれば、それらの画素寸法を実質的に拡大した効果を得ることができる。

空間解像度を相対的に高く設定する色成分としては、Ｒ、ＢよりもＧを選択することが好ましい。この理由は、Ｇの色に対する人の視覚感度が他の色に対する視覚感度よりも高く、人の視覚がＧの空間解像度に対して最も敏感だからである。ただし、本発明における第１の色成分は、Ｇに限定されるわけではなく、他の色を第１の色成分として選択してもよい。

本発明の好ましい実施形態では、Ｇの動画像について、ｎフィールド（ｎは２以上の整数）から１フレームを構成するようにして、Ｇ用撮像素子における読み出し画素の位置をフィールド毎に替えている（画素間引き）。一方、ＲおよびＢの動画像については、１フィールドから１フレームを構成する。図３は、この様子を模式的に示す平面図であり、各撮像素子の撮像面における画素配列の一部のみを示している。図３に示す例において、Ｇの撮像は、Ｇ用撮像素子における画素配列から複数の行ラインを間引いた読み出し（マルチインターレース読み出し）によって行われている。図３において、Ｇの画素配列のうち、太い実線で囲まれた画素が読み出し画である。フィールド毎に、読み出し画素のラインがシフトしている。一方、ＲおよびＢの撮像は、ＲおよびＢ用撮像素子における画素配列の各行ラインを間引くことなく読み出して行われている。すなわち、いずれのフィールドにおいても、画素配列のすべての画素が読み出され、読み出し画素の間引きは行われない。

本発明では、このようして得られたＲおよびＢの動画像に基づいて、動画像中の動きを推定し、「動き情報」を求める。間引きを行うことなく取得した動画像から動きを推定するため、前述の従来技術で生じ得る問題を回避し、精度の高い動き情報を得ることが可能になる。

本発明では、この動き情報を利用して、Ｇの動画像から、その空間解像度を高めたＧの合成画像を生成する。図４は、原画像４０１および出力画像４０２を構成するＧ、Ｒ、Ｂについて、それぞれ、空間解像度を模式的に示している。図４は、Ｇ、Ｒ、Ｂの各々の３フィールドについて、実際に読み出される画素および実際に出力される画素を示しており、点線は実際には読み出されなかった画素を示している。図４では、間引きされないＲおよびＢの画像についても、その空間解像度が高められているが、ＲおよびＢの空間解像度の向上は、高解像度化されたＧの合成画像を利用して行われる。

このような空間解像度の向上は、図１に示す信号処理部１０４の働きによって実現される。信号処理部１０４は、後に詳しく説明するように、第２の色成分の動画像中の動きを推定して動き情報を出力する動き推定部１０７と、この動き情報を利用して第１の色成分の合成画像を生成する画像生成部１０８と、原画像よりも解像度を高めた多色動画像を生成して出力する多色画像合成部１０９とを含んでいる。

（実施形態１）
まず、図５を参照しながら、本発明による多色画像処理装置の第１の実施形態を説明する。

本実施形態の多色画像処理装置は、可視光をＲ、Ｇ、Ｂの光に分離して前述の動画像（図４の原画像４０１）を取得する撮像部１０１と、原画像を蓄積する蓄積部１０６と、蓄積部１０６に蓄積された原画像を用いて時空間解像度を改善する処理を行う信号処理部１０４とを備えている。

蓄積部１０６は、原画像を記憶するメモリ１０３と、原画像をメモリ１０３に書き込む書き込み制御部１０２とを含んでいる。メモリ１０３としては、画像データの記憶に適した記憶素子が使用されるが、この装置に内蔵されている必要はなく、着脱可能な記憶媒体であってもよい。

信号処理部１０４は、動き推定部１０７、画像生成部１０８、多色画像合成部１０９を含んでいる。図５に示す構成例では、撮像部１０１の撮像動作および信号処理部１０４の信号処理の条件を設定する設定部１０５を更に備えているが、撮像部１０１および信号処理部１０４の動作を可変にする必要がない場合は、設定部１０５を設ける必要はない。設定部１０５は、１対ｎインターレースのｎの値、信号処理部１０４が生成する高解像度画像の大きさ（サイズ）、およびフレームレートなどを設定する機能を有している。

本実施形態における撮像部１０１は、好適には図２に示す構成を有しており、例えば図３に示すようなフィールド画像からなる原画像を生成する。この例の撮像部１０１は、Ｇについて１対６のインターレース画像を原画像として取得するが、ＲおよびＢについては、ノンインターレース画像を原画像として取得する。すなわち、Ｇについては、水平方向に並んだ画素からなる画素行のうち、垂直方向に周期６行で位置する画素行のみから間引き読み出しを行うが、ＲおよびＢについては、Ｇよりも解像度が低く、画素寸法の大きな撮像素子を用いて全画素読み出しを行っている。この例では、間引きの割合を１：６に設定しているが、１：ｎ（ｎは２以上の整数）であれば、ｎ＝６に限定されない。ｎは、例えば１０程度または１０以下の値に設定され得る。

本実施形態では、撮像部１０１によってＧの１対ｎインターレース動画像、並びにＲおよびＢの低解像度動画像が取得され、図４に示す原画像４０１が得られる。信号処理部１０４は、各画像がフィールド画像ではなくフレーム画像である動画像（フルフレーム動画像）を、図４に示す出力画像４０２として出力することができる。

図６は、ｎ＝３のときのマルチインターレース（１対３インターレース）読み出しの動作を示している。図６に示されるｘｙｔ座標におけるｘは、撮像面の水平方向軸、ｙは撮像面の垂直方向軸、ｔは時間軸である。図６において、２０１，２０２，２０３，…，２０ｋは、所定の時間間隔で撮像および読み出しがなされたＧのフィールド画像を示す。図中の実線は、Ｇ用撮像素子に対して実際に読み出しを行うラインを示しており、破線は、Ｇ用撮像素子に対して読み出しを行わないラインを示している。

図６に示す例では、読み出しを行うラインが、３フィールド周期でフィールド毎に変化している。すなわち、読み出しラインが互いに異なる３枚のフィールドによって１フレームの全画素が読み出されている。マルチインターレース読み出しにより、読み出しレート（１秒あたりに読み出す画素数）が同一の場合、各時刻における画像の画素数が減るため、空間的解像度は減少するものの、動画像の時間的解像度は高めることができる。なお、このような間引き読み出しは、Ｇについて行うが、Ｒ，Ｂについては、Ｇよりも解像度の低く画素寸法が大きい撮像素子を用いて、全画素読み出しを行う。

本実施形態では、信号処理部１０４による時空間解像度の改善処理の効果を高めるために、読み出される画素の位置が時空間領域において均等となるように、インターレースの順番を設定する。

以下、図７を参照しながら、この点を説明する。図７は、ｎ＝８のときのインターレースの順番の一例を示す図であり、撮像素子３０１の撮像面を模式的に示している。

図７では、読み出し順の一例として、第１フィールドでは３ライン目から８ラインおきに読み出し、第２フィールドでは６ライン目から８ラインおきに読み出し、第３フィールドでは２ライン目から８ラインおきに読み出している。つまり、隣接するフィールド同士で読み出しラインが連続しないようにしている。

次に、図８〜図１３を参照しながら、読み出される画素の位置が時空間領域において均等となるように設定した、インターレースの順番の例を説明する。これらの図では、画像のｙ方向（ライン）と時間ｔ方向（フィールド）との２次元平面において、読み出しラインの順番を示しており、ハッチングされた箇所が実際に読み出される画素（ライン）を表している。図８〜図１３では、それぞれ、ｎライン・ｎフィールド分しか図示していないが、実際の読み出しは、図示したパターンをｙｔ平面において時空間的に展開して用いればよい。これらの図のうち、例えば図９は、ｎ＝７の場合を示しており、読み出すラインの順番が、３→６→１→４→７→２→５の順に設定されている。

図８〜図１３に示すような読み出し順は、例えば次のようにして決定すればよい。すなわち、補間すべき画素（ハッチが付されていない画素）と補間の際に参照する最近傍の読み出し画素（ハッチが付された画素）との距離ｄ

（（ｙ，ｔ）は補間すべき画素の座標値、（ｙs，ｔs）は距離ｄを最小にする参照画素の座標値、λは重み係数）に着目し、全ての補間すべき画素についてのこの距離ｄの平均値が最小になるような読み出し順を決定すればよい。
あるいは、読み出し画素同士の距離ｄ

（（ｙs，ｔs）は着目している読み出し画素の座標値、（ｙsｍ，ｔsｍ）は（ｙs，ｔs）に最も近い他の読み出し画素の座標値）に着目し、全ての読み出し画素についてのこの距離ｄの平均値が最小になるような読み出し順を、決定してもよい。

なお、ここでは、ｎ＝４〜９の場合について示したが、ｎがそれ以外の値の場合であっても、上述したような手法により、読み出される画素の位置が時空間領域において均等となるようにインターレースの順番を設定できる。

図４では、１チャンネルの読み出し系統を用いる場合を示しているが、図１４に示すように、例えば２つの撮像素子４０１、４０２を用い、２チャンネルの読み出し系統でＧ用動画像の空間解像度を高めてもよい。

書き込み制御部１０２は、撮像部１０１によって取得されたＧのマルチインターレース画像と、ＲおよびＢの全画素読み出し画像とを、メモリ１０３に書き込む。数フィールドの遅延が許される場合、メモリ１０３には現フィールドを含む前後ｎフィールド程度を記憶することが望ましい。一方、遅延が許されない場合には、現フィールドおよびその前のｎフィールド程度を記憶することが望ましい。

次に、図１５〜図１８を参照しつつ、間引き処理による高解像度の原理を説明する。

図１５は、ある正弦波の周波数領域でのスペクトルを示している。図１６は、周波数がｆｘの正弦波を示すグラフであり、このグラフの横軸は時間、縦軸は例えば輝度である。この正弦波を特定の周波数でサンプリングする場合を考える。サンプリング周波数が正弦波の周波数ｆｘに等しい場合、サンプリングは、例えば図１６に示す○印の位置で行われることになる。サンプリングされた信号は、○印のポイントを結んだ直線上にあるため、その周波数領域でのスペクトルは、図１７に示す周波数ｆ１に等しい。

図１７には、ナイキスト周波数ｆ０が示されている。ナイキスト周波数ｆ０は、サンプリング周波数ｆｘの半分である。サンプリングされた信号の周波数ｆ１は、ナイキスト周波数ｆ０を中心として正弦波の周波数ｆｘの反転された位置に存在するため、折り返し成分と呼ばれる。すなわち、ナイキスト周波数ｆ０から正弦波の周波数ｆｘまでの範囲にある高周波成分は、ナイキスト周波数以下の低周波成分（折り返しノイズ）となる。周波数の異なる多数の正弦波が重ね合わされた信号をサンプリングする場合、そのサンプリング対象となる信号の周波数は分布を有している。したがって、特定の周波数（ｆｘ）でサンプリングを行うと、その半分の周波数であるナイキスト周波数ｆ０からサンプリング周波数ｆｘまでの高周波成分に起因して折り返しノイズが発生し、本来の低周波数成分に重畳されることになる。

図１６に示すグラフの横軸は時間ｔであるが、この横軸を撮像面上における垂直方向の座標軸と考えてもよい。その場合、図１６の正弦波は、前記座標軸上における空間的な輝度分布を示す信号波形に相当することになる。実際の撮像素子上に形成される二次元像の空間周波数も分布を有している。このような像を有限の画素でサンプリングする場合、ナイキスト周波数を超える高周波成分は折り返しノイズとして低周波成分に重畳される（エイリアシング）。

図１６の正弦波をサンプリング周波数ｆｘでサンプリングする場合、図１６の×印のポイントでサンプリングを行うことも可能である。×印のポイントは、前述の○印のポイントから時間軸上で半周期だけシフトしている。この場合も、サンプリングによって得られた信号の周波数は、○印のサンプリングと同様に、図１７の周波数ｆ１で表される。

このような折り返し成分を含む画像間の相対的な位置関係がわかると、図１８に示すように、元の高周波成分（周波数Ｆｘ）を得ることが可能になる。すなわち、図１６に示す○印のポイント（周波数ｆ１）と、×印のポイント（周波数ｆ１）とを結ぶことにより、もとの正弦波（周波数ｆｘ）を復元できる。すなわち、○印の位置でサンプリングしたデータと、×印の位置でサンプリングしたデータとを用いることにより、もとの信号を復元することができる。

以上の説明から明らかなように、本実施形態では、間引き処理（マルチインターレース）を行うことによって得られたフィールド画像を複数用いることにより、より解像度の高い（空間周波数の高い）画像を復元することが可能になる。このような解像度の高い画像を復元するために、個々のフィールド画像に含まれる折り返しノイズ（エイリアシング）を利用している。ただし、このような復元は、画像が静止している場合に完全に実現するが、被写体が運動しているような場合は、動き補償が必要になる。

以下、本実施形態で行う高解像度化の具体的な手法を詳細に説明する。

＜Ｇの高解像度化＞
信号処理部１０４は、メモリ１０３に蓄えられたＧの１対ｎインターレース画像とＲ，Ｂの全画素読み出し画像とを読み出し、次式を最小化して、時空間解像度の改善処理を行う。

ここで、Ｈはサンプリング過程、ｆは復元すべき高空間解像度かつ高時間解像度のＧ画像、ｇは撮像部１０１によって撮像されたＧの１対ｎインターレース画像、Ｍはべき指数、Ｑは復元すべき画像ｆが満たすべき条件（すなわち拘束条件）である。

ｆおよびｇは、動画像の各画素値を要素とする縦ベクトルである。画素値としては、輝度値の場合は、１画素につき１個の値を考えればよい。ｆの要素数は、例えば、復元すべき動画像を横２０００画素、縦１０００画素、３０フレームとすると、２０００×１０００×３０＝６０００００００となる。

ｎ＝１０で１：１０インターレース撮像する場合、ｇの要素数はｆの１０分の１となり、６００００００となる。ｆの縦横の画素数と信号処理に用いるフレーム数は、設定部１０５によって設定される。サンプリング過程Ｈは、ｎフィールド周期でｆをサンプリングする。Ｈは、行数がｇの要素数と等しく、列数がｆの要素数と等しい行列である。

現在一般に普及しているコンピュータでは、動画像の画素数（例えば幅２０００画素×高さ１０００画素）とフレーム数（例えば３０フレーム）に関する情報量が多すぎるため、（数２）を最小化するｆを単一の処理で求めることはできない。この場合、時間的、空間的な部分領域についてｆの一部を求める処理を繰り返すことにより、復元すべき動画像ｆを計算することができる。

次に、サンプリング過程Ｈの定式化を簡単な例を用いて説明する。幅２画素（ｘ＝１，２）、高さ２画素（ｙ＝１，２）、２フレーム（ｔ＝１，２）の画像を１：２（ｎ＝２）インターレースでサンプリングする場合、

より、サンプリング過程は

と定式化される。

（数３）において、Ｉは各画素におけるＧの値を示し、３個の添字は順にｘ、ｙ、ｔの値を示す。ｇは１対ｎインターレース読み出しによって得た画像なので、その画素数は、全画素読み出しした画像のｎ分の１である。

（数２）のべき指数Ｍの値は、特に限定するものではないが、演算量の観点から、１または２が好ましい。

（数５）は、ｆをインターレースによりサンプリングしてｇを得る過程を示すが、逆に、ｇからｆを復元する問題は、一般に逆問題といわれるものである。拘束条件Ｑのない場合、

を最小化するｆは無数に存在する（サンプリングされない画素値は任意の値を取り得るため）。そのため、（数６）の最小化によってｆを一意に解くことはできない。

ｆについての一意な解を得るために、Ｑとして、画素値ｆの分布に関する滑らかさの拘束や、ｆから得られる画像の動きの分布に関する滑らかさの拘束を与える。

画素値ｆの分布に関する滑らかさの拘束としては、

や、

を用いる。

ここで、∂ｆ／∂ｘは復元すべき動画像の各画素における画素値Ｉ（ｘ，ｙ，ｔ）のｘ方向の１階の微分値を要素とする縦ベクトルである。また、∂ｆ／∂ｙは復元すべき動画像の各画素における画素値Ｉ（ｘ，ｙ，ｔ）のｙ方向の１階の微分値を要素とする縦ベクトルである。また、∂²ｆ／∂ｘ²は復元すべき動画像の各画素における画素値Ｉ（ｘ，ｙ，ｔ）のｘ方向の２階の微分値を要素とする縦ベクトルである。また、∂²ｆ／∂ｙ²は復元すべき動画像の各画素における画素値Ｉ（ｘ，ｙ，ｔ）のｙ方向の２階の微分値を要素とする縦ベクトルである。また、｜｜はベクトルのノルムを表す。べき指数ｍの値は、（数２）、（数６）におけるべき指数Ｍと同様に、１または２が望ましい。

なお、画像ｆの画素値Ｉの分布に関する滑らかさの拘束としては、（数７）、（数８）に限らず、例えば、（数９）に示す２階の方向微分の絶対値のｍ乗を用いても良い。

ここで、ベクトルｎ_minおよび角度θは１階の方向微分の２乗が最小になる方向であり、

である。

さらに、画像ｆの画素値Ｉの分布に関する滑らかさの拘束としては、

または、

または、

として、ｆの画素値のこう配に応じて拘束条件を適応的に変化させてもよい。ここで、ｗ（ｘ，ｙ）は画素値のこう配の関数であり、拘束条件に対する重み関数である。例えば、

に示す画素値のこう配成分のべき乗和が、大きい場合にはｗ（ｘ，ｙ）の値が小さく、逆の場合にはｗ（ｘ，ｙ）の値が大きくなるようにすると、ｆの輝度こう配に応じて拘束条件を適応的に変化させることができる。このような重み関数を導入することにより、復元される画像ｆが必要以上に平滑化されることを防ぐことができる。

また、（数７）に示す輝度こう配の成分の２乗和の代わりに、（数１５）に示す方向微分のべき乗の大小によって、重み関数ｗ（ｘ，ｙ）を定義してもよい。

ここで、ベクトルｎ_maxおよび角度θは方向微分が最大になる方向であり、

である。

（数７）〜（数９）、（数１１）〜（数１３）に示したような、動画像ｆの画素値Ｉの分布に関する滑らかさの拘束を導入して（数２）を解く問題は、公知の解法（有限要素法等の変分問題の解法）によって計算することができる。

ｆに含まれる画像の動きの分布に関する滑らかさの拘束としては、

または

を用いる。

ここで、ｕは動画像ｆから得られる各画素についての動きベクトルのｘ方向の成分を要素とする縦ベクトル、ｖは動画像ｆから得られる各画素についての動きベクトルのｙ方向の成分を要素とする縦ベクトルである。

ｆから得られる画像の動きの分布に関する滑らかさの拘束としては、（数１７）、（数１８）に限らず、例えば（数１９）、（数２０）に示す１階または２階の方向微分としてもよい。

さらに、（数２１）〜（数２４）に示すように、（数１７）〜（数２０）の拘束条件を、ｆの画素値のこう配に応じて適応的に変化させてもよい。

ここで、ｗ（ｘ，ｙ）は、ｆの画素値のこう配に関する重み関数と同一のものであり、（数７）に示す画素値のこう配の成分の２乗和、または、（数１２）に示す方向微分の２乗によって定義されるものである。

このような重み関数を導入することにより、ｆの動き情報が必要以上に平滑化されることを防ぐことができ、その結果、復元される画像ｆが必要以上に平滑化されることを防ぐことができる。

（数１７）〜（数２４）に示したような、画像ｆから得られる動きの分布に関する滑らかさの拘束を導入して（数２）を解く問題は、ｆについての滑らかさの拘束を用いる場合と比較して複雑な計算が必要となる。これは、復元すべき画像ｆと動き情報（ｕ，ｖ）が相互に依存するためである。

これに対しては、公知の解法（ＥＭアルゴリズム等を用いた変分問題の解法）によって計算することができる。その際、繰り返し計算に、復元すべき画像ｆと動き情報（ｕ，ｖ）の初期値が必要になる。ｆの初期値としては、入力画像の補間拡大画像を用いればよい。

一方、動き情報（ｕ，ｖ）の初期値としては、従来の方法では、折返し情報を含んだ入力画像に対する動き検出結果を用いざるを得なかった。この場合、折り返し成分が動き検出にとってノイズとなるため、正確な動き検出結果を得ることが困難になり、その結果として、超解像処理結果の画質が低下するという課題があった。

これに対して、本実施形態では、Ｇについてはマルチインターレースの撮像をする一方で、Ｒ，Ｂについては、低解像度ながら全画素の読み出しを行う。そして、動き推定部１０７は、Ｒ，Ｂの全画素読み出しを行った画像からブロックマッチング等の既存の動き検出方法により、動き情報を検出する。このため、従来のマルチインターレース画像に対する動き検出と比べ、精度よく動き情報を得ることができる。その結果、画像生成部１０８において、上述のごとく、（数１７）〜（数２４）に示したような、画像ｆから得られる動きの分布に関する滑らかさの拘束を導入して（数２）を解くことにより、超解像処理結果の画質を向上させることができる。

画像生成部１０８における処理は、（数７）〜（数９）、（数１１）〜（数１３）に示した画素値の分布に関する滑らかさの拘束のいずれかと、（数１７）〜（数２４）に示した動きの分布に関する滑らかさの拘束のいずれかの両方を組み合わせて、（数２５）のように同時に用いてもよい。

ここで、Ｑｆ はｆの画素値のこう配に関する滑らかさの拘束、Ｑｕｖはｆから得られる画像の動きの分布に関する滑らかさの拘束、λ１ ，λ２ はＱｆ とＱｕｖの拘束に関する重みである。

画素値の分布に関する滑らかさの拘束と、画像の動きの分布に関する滑らかさの拘束の両方を導入して（数２）を解く問題も、公知の解法（ＥＭアルゴリズム等を用いた変分問題の解法）によって計算することができる。

また、動きに関する拘束は、（数１７）〜（数２４）に示した動きベクトルの分布の滑らかさに関するものに限らず、対応点間の残差（動きベクトルの始点と終点間における画素値の差）を評価値として、これを小さくするようにしてもよい。対応点間の残差は、ｆを連続関数ｆ（ｘ，ｙ，ｔ）として表すと、

と表せる。

ｆをベクトルとして、画像全体について考えると、各画素における残差は

として、ベクトル表現できる。残差の平飽和は

として表せる。

（数２７）、（数２８）において、Ｈ_mはベクトルｆの要素数（時空間の総画素数）×ｆの要素数の行列である。Ｈ_mは、各行において、動きベクトルの視点と終点に相当する要素だけが０でない値を持ち、それ以外の要素は０の値を持つ。動きベクトルが整数精度の場合、視点と終点に相当する要素が、それぞれ、−１と１の値を持ち、他の要素は０である。

動きベクトルがサブピクセル精度の場合には、動きベクトルのサブピクセル成分の値に応じて、終点近傍の複数の画素に相当する複数の要素が値を持つことになる。

（数２８）をＱｍとおき、拘束条件を（数２９）のようにしてもよい。

ここで、λ３は拘束条件Ｑｍに関する重みである。

＜Ｒ，Ｂの高解像度化＞
以上述べた方法により、動き推定部１０７でＲとＢの低解像度動画像から抽出した動き情報を用いることにより、画像生成部１０８でＧの１対ｎインターレース動画像を高解像度化することができる。

ＲとＢについては、多色画像合成部１０９で補間拡大し、これを上記高解像度化したＧ画像と合成して出力することにより、高解像度化した結果（図４の出力画像４０２）をカラー画像として出力できる。

なお、図１９に示すように、高解像度化部１１０を新たに設け、高解像度化部１１０において、補間拡大したＲ画像、Ｂ画像に、前記高解像度化したＧの高周波成分を重畳することで、多色画像合成部１１１において、次のように処理することもできる。たとえば、前述の高解像度化部１１０の画像と上記高解像度化したＧと合成し出力することにより、簡易な処理によってより高解像度化した結果をカラー画像として出力できる。その際、高周波数域以外（中低周波数域の）のＲ、Ｇ，Ｂ間の局所的な相関関係に応じて、上記重畳する高域成分の振幅を制御することにより、偽色の発生を抑え、見た目に自然な高解像度化処理を行うことができる。

また、ＲとＢの低解像度撮像は、本実施形態では簡単のために、光学的に同一位置に配置した素子で行っているが、これに限られない。たとえば、ＲとＢの配置を半画素ずらした構成（いわゆる画素ずらし）にすることによって、動き検出結果の空間解像度を高めることができる。その結果、Ｇの高解像度化をより安定化させることができる。

さらに、Ｒ，Ｂについても、Ｇの高域を重畳して高解像度化するので、より安定した高解像度化が可能となる。

なお、画像生成部１０８におけるＧおよびＲ，Ｂの画素値の計算方法は、上記のものに限る必要はなく、例えば次のようにしてＲ，Ｇ，Ｂの画素値を同時に計算してもよい。

図３８は、Ｒ，Ｇ，Ｂの画素値を同時に計算する多色画像処理装置の構成図である。図３８において、図１と同じ動作をする構成要素には、図１と同一の符号を付し、説明を省略する。以下、多色画像生成部１１０の動作を詳細に説明する。

画像生成部１１０では、目的とするカラー画像ｇにおける各色の画像の空間的変化パターンが近い程度を表す評価関数Ｊを設定し、評価関数Ｊを最小化する目的画像ｇを求める。空間的変化パターンが近いことは、青画像、赤画像、および緑画像の空間的変化が相互に相似していることを意味する。評価関数Ｊの一例を（数３０）に示す。

評価関数Ｊは、生成したい高解像度カラー画像（目的画像）ｇを構成する赤、緑、および青の各色の画像（画像ベクトルとしてＲ_H、Ｇ_H、Ｂ_Hと表記）の関数として定義される。（数３０）におけるＨ_R、Ｈ_G、Ｈ_Bは、それぞれ、目的画像ｇの各色画像Ｒ_H、Ｇ_H、Ｂ_Hから、各色の入力画像Ｒ_L、Ｇ_L、Ｂ_L（ベクトル表記）への低解像度化変換を表す。Ｈ_RおよびＨ_G、Ｈ_Bは、それぞれ、例えば（数３１）（数３２）（数３３）に示されるような低解像度化の変換である。

入力画像の画素値は、目的画像の対応する位置を中心とした、局所領域の画素値の重み付け和となっている。

（数３１）、（数３２）、（数３３）において、Ｒ_H（ｘ，ｙ）、Ｇ_H（ｘ，ｙ）、Ｂ_H（ｘ，ｙ）は、それぞれ、目的画像ｇの画素位置（ｘ，ｙ）における赤（Ｒ）の画素値、緑（Ｇ）の画素値、青（Ｂ）の画素値を示す。また、Ｒ_L（ｘ_RL，ｙ_RL）、Ｇ_L（ｘ_GL，ｙ_GL）Ｂ_L（ｘ_BL，ｙ_BL）は、それぞれ、赤入力画像の画素位置（ｘ_RL，ｙ_RL）の画素値、緑入力画像の画素位置（ｘ_GL，ｙ_GL）の画素値、青入力画像の画素位置（ｘ_BL，ｙ_BL）の画素値を示している。ｘ（ｘ_RL）、ｙ（ｙ_RL）、ｘ（ｘ_GL）、ｙ（ｙ_GL）、ｘ（ｘ_BL）、ｙ（ｙ_BL）は、それぞれ、入力画像の赤画像の画素位置（ｘ_RL，ｙ_RL）に対応する目的画像の画素位置のｘ、ｙ座標と、入力画像の緑画像の画素位置（ｘ_GL，ｙ_GL）に対応する目的画像の画素位置のｘ、ｙ座標と、入力画像の青画像の画素位置（ｘ_BL，ｙ_BL）に対応する目的画像の画素位置のｘ、ｙ座標とを表している。また、ｗ_Rとｗ_Gとｗ_Bは、赤画像と緑画像と青画像の入力画像の画素値に対する目的画像の画素値の重み関数をそれぞれ示している。なお、（ｘ’，ｙ’）∈Ｃは、ｗ_Rとｗ_Gとｗ_Bとが定義される局所領域の範囲を示している。

低解像度化画像（緑画像の場合は同じ解像度の画像）および入力画像の対応画素位置における画素値の差の２乗和を、評価関数の評価条件として設定する（（数３０）の第１項、第２項、および第３項）。つまり、これらの評価条件は、低解像度化画像に含まれる各画素値を要素とするベクトルと、入力画像に含まれる各画素値を要素とするベクトルとの差分ベクトルの大きさを表す値により設定される。

（数３０）の第４項のＱ_sは、画素値の空間的な滑らかさを評価する評価条件である。

Ｑ_sの例であるＱ_s1およびＱ_s2を（数３４）および（数３５）に示す。

（数３４）において、θ_H（ｘ，ｙ）、ψ_H（ｘ，ｙ）、ｒ_H（ｘ，ｙ）は、目的画像の画素位置（ｘ，ｙ）における赤、緑、青のそれぞれの画素値で表される３次元直交色空間（いわゆるＲＧＢ色空間）内の位置を、ＲＧＢ色空間に対応する球面座標系（θ、ψ、ｒ）で表現した場合の座標値である。ここで、θ_H（ｘ，ｙ）とψ_H（ｘ，ｙ）は２種類の偏角を表し、ｒ_H（ｘ，ｙ）は動径を表す。

図３９に、ＲＧＢ色空間と球面座標系（θ、ψ、ｒ）との対応例を示す。

図３９では、一例として、θ＝０の方向をＲＧＢ色空間のＲ軸の正方向とし、ψ＝０の方向をＲＧＢ色空間のＧ軸の正方向としている。ここで、偏角の基準方向は、図３９に示す方向に限定されることなく、他の方向であってもよい。このような対応に従って、画素ごとに、ＲＧＢ色空間の座標値である赤、緑、青のそれぞれの画素値を、球面座標系（θ、ψ、ｒ）の座標値に変換する。

目的画像の各画素の画素値をＲＧＢ色空間内の３次元ベクトルとして考えた場合に、３次元ベクトルをＲＧＢ色空間に対応付けられる球面座標系（θ、ψ、ｒ）で表現することにより、画素の明るさ（信号強度、輝度も同義である）は、ベクトルの大きさを表すｒ軸の座標値に相当する。また、画素の色彩（色相、色差、彩度などを含む色情報）を表すベクトルの向きは、θ軸およびψ軸の座標値によって規定される。このため、球面座標系（θ、ψ、ｒ）を用いることにより、画素の明るさおよび色彩を規定するｒ、θ、ψの３つのパラメータを個別に取り扱うことができる。

（数３４）は、目的画像の球面座標系で表現された画素値の、ｘｙ空間方向の２階差分値の２乗和を定義している。（数３４）は、目的画像内で、空間的に隣り合う画素における球面座標系で表現された画素値の変化が一様であるほど、値が小さくなる条件Ｑ_s1を定義している。画素値の変化が一様であることは、画素の色が連続していることに対応する。条件Ｑ_s1の値が小さくあるべきということは、目的画像内の空間的に隣り合う画素の色が連続すべきということを表している。

画像中において画素の明るさの変化と画素の色彩の変化とは、物理的に異なる事象から生じ得る。このため、（数３４）に示すように、画素の明るさの連続性（ｒ軸の座標値の変化の一様性）に関する条件（（数３４）の大括弧内の第３項）と、画素の色彩の連続性（θ軸およびψ軸の座標値の変化の一様性）に関する条件（（数３４）の大括弧内の第１項および第２項）とを個別に設定することにより、望ましい画質が得やすくなる。

λθ（ｘ，ｙ）、λψ（ｘ，ｙ）、およびλ_r（ｘ，ｙ）は、それぞれ、θ軸、ψ軸、およびｒ軸の座標値を用いて設定される条件に対して、目的画像の画素位置（ｘ，ｙ）において適用される重みである。これらの値は、予め定めておく。簡単には、λθ（ｘ，ｙ）＝λψ、（ｘ，ｙ）＝１．０、λ_r（ｘ，ｙ）＝０．０１のように、画素位置やフレームに依らずに設定してもよい。また、好ましくは、画像中の画素値の不連続性などが予測できる位置において、この重みを小さく設定してもよい。画素値が不連続であることは、入力画像のフレーム画像内の隣り合う画素における画素値の差分値や２階差分値の絶対値が、一定値以上であることにより判断してもよい。

画素の色彩の連続性に関する条件に適用する重みを、画素の明るさの連続性に関する条件に適用する重みよりも大きくしておくことが望ましい。これは、被写体表面の凹凸や動きによる被写体表面の向き（法線の向き）の変化によって、画像中の画素の明るさが色彩に比べて変化しやすい（変化の一様性に乏しい）ことによる。

なお、（数３４）では、目的画像の球面座標系で表現された画素値の、ｘｙ空間方向の２階差分値の２乗和を条件Ｑ_s1として設定したが、２階差分値の絶対値和、または１階差分値の２乗和もしくは絶対値和を条件として設定してもよい。

上記説明ではＲＧＢ色空間に対応付けられる球面座標系（θ、ψ、ｒ）を用いて色空間条件を設定したが、用いる座標系は球面座標系に限るものではない。たとえば、画素の明るさと色彩とを分離しやすい座標軸を有する新たな直交座標系において条件を設定することで、前述と同様の効果が得られる。

例えば、入力動画像または基準となる他の動画像に含まれる画素値のＲＧＢ色空間内での頻度分布を主成分分析することで固有ベクトルの方向を求める。この求めた固有ベクトルの方向に、新たな直交座標系の座標軸を設ける（固有ベクトル軸とする）ことができる。

（数３５）において、Ｃ₁（ｘ，ｙ）、Ｃ₂（ｘ，ｙ）、Ｃ₃（ｘ，ｙ）は、目的画像の画素位置（ｘ，ｙ）における赤、緑、青のそれぞれの画素値であるＲＧＢ色空間の座標値を、新たな直交座標系の座標軸Ｃ₁、Ｃ₂、Ｃ₃の座標値に変換する回転変換である。

（数３５）は、目的画像の新たな直交座標系で表現された画素値の、ｘｙ空間方向の２階差分値の２乗和を定義している。（数３５）は、目的画像の各フレーム画像内で、空間的に隣り合う画素における新たな直交座標系で表現された画素値の変化が一様である（つまり画素値が連続している）ほど、値が小さくなる条件Ｑ_s2を定義している。

条件Ｑ_s2の値が小さくあるべきことは、目的画像内の空間的に隣り合う画素の色が連続すべきことを表している。

λ_C1（ｘ，ｙ）、λ_C2（ｘ，ｙ）、λ_C3（ｘ，ｙ）はそれぞれ、Ｃ₁軸、Ｃ₂軸、Ｃ₃軸の座標値を用いて設定される条件に対して、目的画像の画素位置（ｘ，ｙ）において適用される重みであり、予め定めておく。

Ｃ₁軸、Ｃ₂軸、Ｃ₃軸が固有ベクトル軸である場合、各固有ベクトル軸に沿ってλ_C1（ｘ，ｙ）、λ_C2（ｘ，ｙ）、λ_C3（ｘ，ｙ）の値を個別に設定することで、固有ベクトル軸によって異なる分散の値に応じて好適なλの値を設定できる。すなわち、非主成分の方向には分散が小さく、２階差分の２乗和が小さくなることが期待できるため、λの値を大きくする。逆に、主成分の方向にはλの値を相対的に小さくする。

以上、２種類の条件Ｑ_s1、Ｑ_s2の例を説明した。条件Ｑ_sとしては、Ｑ_s1、Ｑ_s2いずれを用いることもできる。

例えば、（数３４）に示される条件Ｑ_s1を用いた場合、球面座標系（θ、ψ、ｒ）を導入することにより、色情報を表すθ軸およびψ軸の座標値、ならびに信号強度を表すｒ軸の座標値のそれぞれの座標値を個別に用いて条件を設定し、かつ条件の設定に際して色情報と信号強度とにそれぞれ好適な重みパラメータλを付与できる。そのため、高画質の画像の生成が容易になるという利点がある。

（数３５）に示される条件Ｑ_s2を用いた場合、ＲＧＢ色空間の座標値から線型（回転）変換によって得られる新たな直交座標系の座標値で条件を設定するため、演算が簡素化できる利点がある。

また、固有ベクトル軸を新たな直交座標系の座標軸Ｃ₁、Ｃ₂、Ｃ₃とすることにより、より多くの画素が影響を受ける色の変化を反映した固有ベクトル軸の座標値を用いて条件を設定できる。このため、単純に赤、緑、青の各色コンポーネントの画素値を用いて条件を設定する場合と比べて、得られる目的画像の画質の向上が期待できる。

なお、評価関数Ｊは、上記に限定するものではなく、（数３０）の項を類似式からなる項と置換し、また異なる条件を表す新たな項を追加してもよい。

次に、（数３０）の評価関数Ｊの値をできるだけ小さく（望ましくは最小に）する目的画像の各画素値を求めることによって、目的画像の各色画像Ｒ_H、Ｇ_H、Ｂ_Hを生成する。評価関数Ｊを最小にする目的画像ｇは、例えば、Ｊを目的画像の各色画像Ｒ_H、Ｇ_H、Ｂ_Hの各画素値成分で微分した式を全て０とおいた（数３６）の方程式を解いて求めてもよい。また最急勾配法などの反復演算型の最適化手法を用いて求めてもよい。

＜システム動作＞
図２０は、本実施形態に係る撮像装置の動作タイミングの一例を示す図である。

撮像部１０１によって露光、撮像されたフィールド画像は、図２０に示すように、順次メモリ１０３に書き込まれる。信号処理部１０４は、着目フィールドとその前後のフィールドの画像が書き込まれたタイミングで、時空間解像度改善処理を実行する。このような動作により、高解像度画像がフィールド毎に生成される。

信号処理部１０４による時空間解像度改善処理は、数フィールド毎（ｎ１フィールド毎）に行い、ｎ１フィールド分の高解像度画像を一括して生成してもよい。また、マルチインターレース画像の全体を一旦蓄積してから、信号処理部１０４が全フィールドについて時空間解像度改善処理を実行し、全フィールドの高解像度画像を生成するようにしてもよい。この場合、マルチインターレース画像全体を蓄積するために、必要となるメモリ容量が大きくなる。

特定のフィールドについてのみ、高空間解像度画像を生成することも可能である。表示側のディスプレイの性能にあわせて、時空間解像度を適切に変更したり、高時空間解像度の画像の一部の領域だけを表示させたりしてもよい。すなわち、本実施形態における原画像は、１フレームの解像度がＣＩＦやＮＴＳＣ程度の画素数のものから、ＨＤＴＶやそれ以上の４ｋ×２ｋ（水平４０００画素×垂直２０００画素）や８ｋ×４ｋ（水平８０００画素×垂直４０００画素）までの画素数のものを、用いることができる。

原画像のフィールド周期は、例えば、６０分の１秒ないし３０分の１秒程度である。一方、出力画像としては、原画像と同様に、ＣＩＦやＮＴＳＣから４ｋ×２ｋ、８ｋ×４ｋの解像度のフレーム画像を、３０フレーム／秒または６０フレーム／秒の動画像として生成することができる。さらに、ディスプレイの方式に応じて、出力画像を１：２のフィールド画像とすることも、もちろん可能である。

以上述べたように本実施形態によると、マルチインターレース撮像したＧの画像と全画素読み出ししたＲ，Ｂの画像を入力として、Ｒ，Ｂの画像から抽出した動き情報を用いて、マルチインターレース撮像したＧの画像に対して時空間解像度を改善する処理を行うことにより、時空間解像度がより高い動画像を生成することができる。

Ｇのマルチインターレース画像において、時間的空間的に概ね均等な間隔で画素を読み出すことにより、生成される高解像度画像の精度がより高まる。これは、時空間解像度改善処理の際に、画素値を決定する着目画素と、演算に用いる参照画素（実際に読み出された画素）との時間的、空間的な距離が、均等に小さくなるためである。

（実施形態２）
以下、本発明による多色画像処理装置の第２の実施形態を説明する。

実施形態１の装置では、撮像部１０１の画素配列に対するアクセスの単位がライン毎であり、ＣＣＤ撮像素子およびＣＭＯＳ撮像素子の両方を用いて実現することができる。本実施形態では、画素配列に対するアクセスの単位をライン毎ではなく、画素毎に行う。このような撮像方式は、ＣＭＯＳ撮像素子のようにランダムアクセスが可能な撮像素子を用いて容易に実現することができる。

本実施形態の基本的な構成は、図５に示す構成と同様であり、異なる点は、撮像部１０１が備える撮像素子の動作にある。このため、実施形態１と異なる部分についてのみ、説明を行う。

まず、図２１を参照する。図２１は、図３に相当する図面であり、本実施形態における撮像部の動作を模式的に示している。

本実施形態では、図２１に示すように、原画像のＧ成分について、読み出し画素位置が互いに異なるｎ（ｎは３以上の整数）枚のフィールドによって１フレームの全画素が読み出される。

図２２〜図２５は、本変形例における読み出し画素配置の一例を示している。図２２〜図２５は、それぞれ、ｎ＝４，８，９，１０の場合を示している。各図は、連続するｎフィールドについて、画像のｘｙ平面において読み出される画素の位置を示しており、ハッチが付された箇所が、実際に読み出される画素を表している。ｘｙｔ空間内の読み出し画素の配置も、実施形態１で説明した読み出しライン順の決定方法と同様の計算によって、決定することができる。

図２２〜図２５では、それぞれ、（ｎ×ｎ）画素・ｎフィールド分しか図示していないが、実際の読み出しは、図示したパターンをｘｙ平面において空間的に展開し、時間的に繰り返し用いればよい。ｎの値は、ｎ＝４，８，９，１０の場合に限定されず、それ以外の値であってもよい。

実施形態１における読み出し方法は、ｘ方向には密なサンプリングを行い、ｙ方向にはフィールド毎に異なるラインにおいてサンプリングを行うものといえる。これに対して、本実施形態に係る読み出し方法では、ｘｙｔ時空間内でのサンプル位置をより均一にすることができるので、信号処理部１０４による時空間解像度改善処理がより効果的に実現される。

このように、第１色成分の動画像を取得する際において撮像素子の画素配列上でフィールド毎に読み出し画素を間引いて取得する仕方は、マルチインターレース読み出し方式のようにライン単位である必要は無い。たとえば、本実施形態におけるように画素単位であってもよい。いずれの読み出し方式が適しているかは、シーンに含まれる被写体の模様や被写体の動きに依存している。例えば、被写体に水平横方向に延びる縞模様が多く含まれる場合は、実施形態２における読み出し方式が適している。このように、シーンの種類に応じて画素の間引きパターンを切り替えるようにしてもよい。この切り替えは、ユーザが前もって複数のシーンモードから選択したモードに応じて決定されても良いし、実際に撮像された動画像に基づいて間引きパターンが切り替えられても良い。

（実施形態３）
上記の実施形態１、２では、撮像時の露光時間が各フィールド期間程度までであるが、Ｇ成分画像の露光時間は、このような値に限定されず、フィールド期間のｎ倍（全画素を読み出すのに要するフィールド数）まで長くすることができる。

Ｇ成分画像の露光時間をフィールド期間よりも長くする場合、（数３）から（数５）に示したサンプリング過程の一部を変更する必要がある。しかし、実際に読み出すフィールド期間以外のフィールド期間に無駄にしていた光量を有効に使うことができる。

簡単のために、幅２画素（ｘ＝１，２）、高さ２画素（ｙ＝１，２）、２フレーム（ｔ＝１，２）の画像を１：２（ｎ＝２）インターレースでサンプリングする場合のサンプリング過程Ｈの定式化について、以下に説明する。

幅２画素（ｘ＝１，２）、高さ２画素（ｙ＝１，２）の画像を１：２（ｎ＝２）インターレースでサンプリングする場合、

より、サンプリング過程は

と定式化される。

（数３９）において、Ｉは各画素におけるＧの値を示し、３個の添字は順にｘ、ｙ、ｔの値を示す。ｇは１対ｎインターレース読み出しによって得た画像なので、その画素数は、全画素読み出しした画像のｎ分の１である。

（実施形態４）
以下、本発明による多色画像処理装置の第４の実施形態を説明する。

実施形態１における多色画像処理装置と本実施形態における多色画像処理装置との間にある差異は、基本的には、撮像部１０１の構成にある。このため、以下においては、撮像部１０１の構成と動作を説明する。

本実施形態の撮像部１０１では、図２６に示すように、Ｇ用撮像素子１５の前面に、液晶透過板１８を配置し、Ｇの露光時間を各フィールド期間以下に設定して行う。図２６では、簡単のため、Ｇ用撮像素子１５の画素のうち、水平横方向に一列に配列された６個の画素のみが示され、液晶透過板１８についても、これら６個の画素に対向する部分のみが図示されている。

液晶透過板１８は、その画素単位で光の透過をＯＮ／ＯＦＦできる「空間光変調素子」として機能する。液晶透過板１８は、具体的には、一対の透明基板で液晶層を挟み込む構造を有しており、透明電極には画素単位で液晶層に局所的な電圧印加を可能にする透明電極が設けられている。選択された画素に対応する液晶部分に電圧を印加することによって液晶分子の向きを制御し、個々の画素を透過する光の量を調整することができる。

液晶透過板１８におけるｎ個の画素（図２６の例では、ｎ＝３）が、Ｇ用撮像素子１５の１つの画素に対向しており、液晶透過板１８における縦方向の画素ピッチは、撮像素子１５における縦方向の画素ピッチのｎ分の１である。

本実施形態では、このような構成の撮像部を備えるため、図２７に示すように、フィールド毎に液晶透過板１８の光を透過するラインを切り替えることが可能になる。図２７（ａ）〜（ｃ）は、それぞれ、異なる時刻における液晶透過板１８の光透過状態を示している。図中、ハッチングされた画素は光を遮断するＯＦＦ状態の画素を示し、空白の画素は光を透過するＯＮ状態の画素を示している。

図２７（ａ）に示す状態では、液晶透過板１８の３つの画素行のうち、最上行の画素のみが光を透過するが、図２７（ｂ）および図２７（ｃ）に示す状態では、それぞれ、真ん中の行の画素および最下行の画素のみが光を透過する。

このように液晶透過位置のＯＮ／ＯＦＦをライン単位で制御すれば、Ｇ用撮像素子１５の１行分の画素が３行分の画素として動作することが可能になる。すなわち、Ｇ用撮像素子１５の画素サイズをＲ，Ｂ用撮像素子の画素サイズに比べて小さくする必要がなくなるため、Ｒ、Ｇ、Ｂのすべてについて同一集積度の撮像素子を用いることができ、コストの点で有利になる。

図２６および図２７に示す例では、ｎ＝３であるため、実際の画素ピッチよりも縦方向について３倍の高い解像度を実現することが可能なる。ｎの値を４以上にすれば、更に解像度を高めることが可能になる。

このような液晶透過板を用いて撮像素子の解像度を実効的に高める技術は、実施形態２における撮像部にも適用できる。液晶透過板１８を実施形態２に適用する場合は、図２８に示すように、縦横の画素ピッチが撮像素子の画素ピッチよりも細かい液晶透過板１８をＧ用撮像素子１５の前に配置することが考えられる。そして、例えば図２９に示すようにフィールド毎に液晶透過板１８の光を透過する画素を切り替えればよい。図２８に示す例では、液晶透過板１８の６個の画素がＧ用撮像素子１５の１個の画素に対向している。このような構成を採用することにより、図２９（ａ）〜（ｆ）に示すように、第１フィールドから第６フィールドの６つのフィールド画像を取得することが可能になる。

図２８および図２９の例で、液晶透過板１８の画素ピッチがＧ用撮像素子１５のピッチに対して、横方向に３分の１、縦方向に２分の１に設定されているため、実際の画素ピッチよりも６倍に解像度を高めることができる。なお、液晶透過位置の画素ピッチと撮像素子の画素ピッチとの関係は、上記の場合に限定されない。

＜モノクロ出力＞
上記の各実施形態は、画像処理の結果としてカラー画像を出力する構成を備えているが、出力画像は、必ずしもカラー画像である必要はなく、用途によってはモノクロ画像で構わない。そのような場合には、Ｒ，Ｂについての高解像度化処理をせず、Ｇの処理結果のみをモノクロ画像として出力すればよい。

図３０は、モノクロ出力を行う場合における動作の概念を示す説明図である。このように出力画像がモノクロの場合、入力は必ずしも３チャンネルである必要はなく、間引き読み出しがなされる第１の色成分の画像と、低解像度で全画素読み出しがなされる第２の色成分の画像とが入力されれば良い。

なお、各実施形態においては、Ｇについてマルチインターレース読み出し等の方式で間引き読み出しを行い、ＲとＢについては、低解像度、短時間露光、高フレームレートで撮像しているが、どの波長帯について間引き読み出しするかは、上記の例に限るものではない。人の視角感度の特性を考慮すると、一般的にはＧの間引き読み出しを行い、処理部で高解像度化することが望ましい。しかし、例えば、海やプール等、水中のシーンを撮像する場合のように、シーン中にＢの成分が強く現れることが事前に分っている場合には、Ｂの間引き読み出しを行ってもよい。この場合、ＲとＧを低解像度、短時間露光、高フレームレートで撮像し、処理部でＢを高解像度化することにより、観察者により高解像度感のある画像を提示することができる。

いずれの色成分について画素を間引した撮像を行うかは、実際のシーンに含まれる色成分の分布を検知して動的に切り替えても良い。そのような切替えを実現するには、例えば図３１に示すように、撮像部１０６と信号処理部１０４との間に切り替え制御部１１２を設けることが考えられる。そして、シーン中の色成分の分布に応じて、Ｒ、Ｇ、Ｂのうちで最も多い色成分の撮像素子においてマルチインターレース読み出しなどの撮像動作を撮像部１０６に実行させればよい。

＜画像処理方法＞
次に、図３２を参照して、本発明による画像処理方法の実施形態を説明する。図３２は、本実施形態の画像処理方法を示すフローチャートである。

本実施形態画像処理方法では、図３２に示すように、まず、原画像を撮像する撮像ステップＳ１１を実行した後、撮像した原画像データをメモリに蓄積するデータ蓄積ステップＳ１２を実行する。その後、蓄積された原画像を用いて高解像度画像を生成する信号処理ステップＳ１３を実行する。

全画素を読み出すために必要なフィールドの数であるｎの値は固定されていてもよいが、撮影前にこれを設定するようにしてもよい。図３３は、この場合の画像処理方法を示すフローチャートである。この場合、図３２に示す各ステップＳ１１〜Ｓ１３の前処理として、ｎの値を設定する設定ステップＳ２１が実行される。

図３２および図３３に示す信号処理のステップＳ１３は、例えば図２に示される信号処理部１０４によって実行される。このような信号処理部１０４に含まれる動き推定部１０７、画像生成部１０８、および多色画像合成部１０９は、それぞれ、別個のハードウェアから実現されていても良い。また、ハードウェアおよびソフトウェアの組合せから実現されていても良い。言い換えると、動き推定部１０７、画像生成部１０８、および多色画像合成部１０９の各々に対応する専用の画像処理回路から信号処理部１０４を構成しても良い。また、所定のプログラムを用いて汎用のコンピュータやデジタル信号処理装置を動作させることにより、これらを動き推定部１０７、画像生成部１０８、および多色画像合成部１０９として機能させても良い。

本発明によるプログラムは、ｎフィールド（ｎは２以上の整数）から１フレームが構成された第１の色成分の画像、および１フィールドから１フレームが構成された第２の色成分の画像に基づいて多色動画像を出力する信号処理装置を動作させるプログラムである。具体的には、第２の色成分の画像に基づいて第２の色成分の画像から構成される動画像中の動き情報を出力するステップと、第１の色成分の画像と動き情報に基づいて各フィールドにおける第１の色成分の合成画像を生成し、第１の色成分の画像より空間解像度が高い第１の合成画像として出力するステップと、第１の合成画像と第２の色成分の画像に基づいて第１の色成分および第２の色成分を含む多色動画像を生成して出力するステップを信号処理装置に実行させる。

このようなプログラムの全体または一部は、記録媒体に記録された状態で存在するほか、有線または無線の伝送媒体を介して送受信され得る。このプログラムは、信号処理装置に製造段階ら組み込まれて使用させるだけではなく、メモリカードなどの記録媒体や、インターネットまたはデジタル放送を介して信号処理装置にインストールされて使用され得る。

本発明による多色画像処理装置は、撮像部および信号処理部を備えているが、撮像部と信号処理部は、１つの筐体によって一体化された装置を構成する必要はなく、一方が、他方との間で信号の送受信を実行し得る形態で適宜結合すれば良い。

図３４は、撮像部１０１と信号処理部１０４とが異なる場所に位置する画像処理システムを構成している例を示している。図３４の例では、インターネットまたはイントラネットに代表されるネットワーク網１２２により、撮像部１０１とサーバ１２１とが接続されている。サーバ１２１は、図５に示す蓄積部１０６および信号処理部１０４を備えている。

撮像部１０１によって撮像された原画像は、ネットワーク網１２２を介してサーバ１２１の蓄積部１０６に蓄積される。サーバ１２１は、携帯型の撮像部１０１を所有するユーザの自宅に設置されたホームサーバであっても良いし、またはユーザに対して画像処理サービスを提供する者が所有するサーバであってもよい。

撮像部１０１からネットワーク網１２２に送出されるデータには、原画像だけではなく、画像処理に必要な読み出しパターンを規定する各種の情報が付加されることになる。このような付加情報には、例えば図３または図２１に示す画素読み出しパターンの種類を識別する情報や、ｎ値を示す情報などが含まれる。

図３５は、本発明の多色画像処理装置によって実現される画像処理システムの他の構成例を示している。図３５のシステムが、図３４のシステムと異なる点は、ｎ値を設定する設定部１３１が設けられている点にある。この設定部１３１は、図３６に示すように、撮像部１０１から物理的に離れた場所にあって、ネットワーク１２２を介して接続されていてもよい。このような画像処理システムは、撮像部１３１が遠隔操作される場合に有効である。例えば撮像部１３１の位置または角度が遠隔から操作され、被写体が任意に選択される場合、設定部１３１には、ｎ値のみならず、撮像部１３１の遠隔操作に必要な情報も入力されることになる。

上記の図３４〜図３６に示す例では、蓄積部１０６が信号処理部１０４とともに同一サーバ１２１内に設けられているが、撮像部１０１にも、蓄積部１０６と同様の蓄積部が設けられていてもよい。そのような蓄積部がネットワーク１２２を介することなく直接に撮像部１０１と接続されている場合、撮像部１０１によって所得された動画像は、ネットワーク１２２を介してサーバ１２１に送出される前において、一旦、その蓄積部（不図示）に蓄積されることになる。

このように、本発明による画像処理装置は、撮像素子サイズを小型化したカメラによる高精細画像の撮像とその再生装置、システム等として有用である。本発明によれば、例えばＣＣＤ素子のようなライン単位のアクセスを行う素子や、ＣＭＯＳ素子のようなランダムアクセスが可能な撮像素子を用いて撮像した、複数フィールドによって１フレーム分の画素が読み出されている第１の色成分の動画像と、低解像度で全画素読み出しをした第２、第３の色成分の動画像を用いて、時空間解像度が改善された第１の色成分の動画像やカラー動画像を生成することができる。これにより、例えば、携帯電話、デジタルスチルカメラ等の連写機能等で撮影された画像から高時空間解像度の動画を生成したり、また、監視用カメラの映像から高時空間解像度の動画を生成したりすることも可能になる。

本発明の多色画像処理装置、撮像装置、撮像方法、およびプログラムは、限られた画素数の撮像素子を用いて高解像度のカラー動画像を得ることができるため、ビデオカメラなどの各種の装置に好適に利用され得る。

本発明による多色画像処理装置の構成を示すブロック図である。 ダイクロイックプリズムによるＲ、Ｇ、Ｂ成分の分離を示す図である。 本発明の実施形態１に係る撮像部１０１の撮像動作を模式的に示す図である。 本発明の実施形態１に係る多色画像処理装置の動作を模式的に示す図である。 本発明の実施形態１に係る多色画像処理装置のブロック図である。 マルチインターレース読み出しの動作を概念的に示す図である。 インターレースの順番の一例を示す図である。 ｎ＝４の場合における読み出しライン順の一例を示す図である。 ｎ＝５の場合における読み出しライン順の一例を示す図である。 ｎ＝６の場合における読み出しライン順の一例を示す図である。 ｎ＝７の場合における読み出しライン順の一例を示す図である。 ｎ＝８の場合における読み出しライン順の一例を示す図である。 ｎ＝９の場合における読み出しライン順の一例を示す図である。 ２チャンネルの読み出し系統を用いた構成を示す概念図である。 ある正弦波の周波数領域でのスペクトルを示す図である。 時間領域の正弦波を示す図である。 ナイキスト周波数に対する折り返しを説明する図である。 高周波数成分の復元を説明する図である。 本発明の実施形態１に係る撮像装置のブロック図である。 図２の撮像装置の動作タイミングの一例を示す図である。 本発明の実施形態１の変形例に係る撮像部１０１の撮像動作のイメージ図である。 ｎ＝４の場合の、各フィールドにおける読み出し画素の配置の例を示す図である。 ｎ＝８の場合の、各フィールドにおける読み出し画素の配置の例を示す図である。 ｎ＝９の場合の、各フィールドにおける読み出し画素の配置の例を示す図である。 ｎ＝１０の場合の、各フィールドにおける読み出し画素の配置の例を示す図である。 本発明の実施形態１に係る撮像部の構成の１例を示す図である。 本発明の実施形態１に係る撮像部の動作の１例を示す図である。 本発明の実施形態１の変形例に係る撮像部の構成の１例を示す概念図である。 （ａ）から（ｆ）は、本発明の実施形態１の変形例に係る撮像部の動作の１例を示す概念図である。 モノクロ画像を出力する撮像装置の動作のイメージ図である。 色分布を検出する多色画像処理装置の構成例を示す図である。 本発明の実施形態に係る画像処理方法を示すフローチャートである。 本発明の一実施形態に係る画像処理方法を示すフローチャートである。 本発明に係る撮像システムの構成の一例を示す図である。 本発明に係る撮像システムの構成の一例を示す図である。 本発明に係る撮像システムの構成の一例を示す図である。 従来の撮像システムの動作を示す概念図である。 Ｒ，Ｇ，Ｂの画素値を同時に計算する多色画像処理装置の構成図である。 ＲＧＢ色空間と球面座標系（θ、ψ、ｒ）との対応例を示す図である。

１０１ 撮像部
１０２ 書き込み制御部
１０３ メモリ
１０４ 信号処理部
１０５ 設定部
１０６ 蓄積部
４０１ 原画像
４０２ 出力画像

Claims (17)

1. 可視光を少なくとも第１の色成分の光および前記第１の色成分とは異なる第２の色成分の光に分離する色分離部と、前記第１の色成分の光および第２の色成分の光をそれぞれ受ける第１撮像素子および第２撮像素子とを備える撮像部であって、前記第１撮像素子によって得られる前記第１の色成分の画像を、前記第１撮像素子の画素配列上でフィールド毎に読み出し画素を間引いて取得し、前記第２撮像素子によって得られる前記第２の色成分の画像を、前記第２撮像素子の画素配列上でフィールド毎に取得する撮像部と、
   前記第２の色成分の画像に基づいて、第２の色成分の画像によって構成される動画像中の動きを推定して動き情報を出力する動き推定部と、
   前記第１の色成分の画像と前記動き情報とに基づいて、各フィールドにおける第１の色成分の合成画像を生成し、前記第１の色成分の画像よりも空間解像度が高い第１の合成画像として出力する画像生成部と、
   前記第１の合成画像と前記第２の色成分の画像に基づいて、前記第１の色成分および前記第２の色成分を含む画像を生成して出力する多色画像合成部と、
   を備える多色画像処理装置。
2. 前記第１撮像素子における読み出し画素の位置をフィールド毎に替えることによって、前記撮像部は、ｎフィールド（ｎは２以上の整数）から１フレームを構成する前記第１の色成分の画像を取得する請求項１に記載の多色画像処理装置。
3. 前記画像生成部は、前記動き情報に基づいて、前記第１の合成画像の空間解像度を、前記第１の色成分の画像の空間解像度のｎ倍にする請求項２に記載の多色画像処理装置。
4. 前記第１の合成画像の空間解像度は、前記第２の色成分の画像の空間解像度よりも高い請求項３に記載の多色画像処理装置。
5. 前記撮像部は、前記第２撮像素子の画素配列上で前記第１撮像素子における各画素よりも大きなサイズを有する少なくとも１つの画素を読み出し画素の最小単位として前記第２の色成分の画像を取得する請求項４に記載の多色画像処理装置。
6. 前記第１の合成画像および前記第２の画像に基づいて、前記第１の合成画像の情報を用いて前記第２の画像の解像度を高くした第２の合成画像を生成して出力する高解像度化部を備え、
   前記多色画像合成部は、前記第１の合成画像および前記第２の合成画像に基づいて前記第１の色成分および前記第２の色成分を含む画像を生成して出力する請求項１に記載の多色画像処理装置。
7. 前記第２の合成画像の空間解像度は、前記第１の合成画像の空間解像度に等しい請求項６に記載の多色画像処理装置。
8. 前記撮像部が前記第１撮像素子の画素配列上でフィールド毎に選択する読み出し画素の配列パターンは、前記画素配列上で直線的に並んだ複数の画素から構成される第１のパターンである、請求項１に記載の多色画像処理装置。
9. 前記撮像部が前記第１撮像素子の画素配列上でフィールド毎に選択する読み出し画素の配列パターンは、前記画素配列上で離散的に分布する複数の画素から構成される第２のパターンである、請求項１に記載の多色画像処理装置。
10. 前記撮像部が前記第１撮像素子の画素配列上でフィールド毎に選択する読み出し画素の配列パターンは、前記画素配列上で直線的に並んだ複数の画素から構成される第１のパターンと、前記画素配列上で離散的に分布する複数の画素から構成される第２のパターンとの間で切り替えられる請求項１に記載の多色画像処理装置。
11. 前記色分離部は、可視光を前記第１の色成分の光および第２の色成分の光に分離するとともに、前記第１および第２色成分とは異なる第３の色成分の光に分離する構成を有しており、
    前記撮像部は、前記第３の色成分の光を受ける第３撮像素子を更に備え、前記第３の色成分の画像を、前記第３撮像素子の画素配列上でフィールド毎に取得し、
    前記動き推定部は、前記第２および第３の画像に基づいて前記第２および第３の画像から構成される動画像中の動きを推定して前記動き情報を出力し、
    前記多色画像合成部は、前記第１の合成画像および第２の色成分の画像に加え、前記第３の色成分の画像に基づき、前記第１の色成分、第２の色成分、および第３の色成分を含む画像を生成して出力する請求項１に記載の多色画像処理装置。
12. 前記第２の色成分の画像と前記第３の色成分の画像は、画素の空間配置が異なる請求項３に記載の多色画像処理装置。
13. 前記第１の色成分は緑である請求項１に記載の多色画像処理装置。
14. 前記撮像部は、前記第１撮像素子の前面に配置された空間光変調素子を有しており、
    前記空間光変調素子は、前記第１撮像素子の各画素に対向して光透過をＯＮ／ＯＦＦする複数の画素を有し、前記第１撮像素子の各画素の一部分に選択的に光を入射させる請求項１に記載の多色画像処理装置。
15. ｎフィールド（ｎは２以上の整数）から１フレームが構成された第１の色成分の画像、および、１フィールドから１フレームが構成された、前記第１の色成分とは異なる第２の色成分の画像に基づいて画像を出力する信号処理装置であって、
    前記第２の色成分の画像に基づいて、第２の色成分の画像から構成される動画像中の動き情報を出力する動き推定部と、
    前記第１の色成分の画像と前記動き情報に基づいて、各フィールドにおける第１の色成分の合成画像を生成し、前記第１の色成分の画像より空間解像度が高い第１の合成画像として出力する画像生成部と、
    前記第１の合成画像と前記第２の色成分の画像に基づいて、前記第１の色成分および前記第２の色成分を含む画像を生成して出力する多色画像合成部と、
    を備える信号処理装置。
16. ｎフィールド（ｎは２以上の整数）から１フレームが構成された第１の色成分の画像、および、１フィールドから１フレームが構成された、前記第１の色成分とは異なる第２の色成分の画像に基づいて画像を出力する多色画像処理方法であって、
    前記第１の色成分の画像を取得するステップと、
    前記第２の色成分の画像を取得するステップと、
    前記第２の色成分の画像に基づいて、前記第２の色成分の画像から構成される動画像中の動き情報を推定して出力する動き推定ステップと、
    前記第１の色成分の画像と前記動き情報に基づいて、第１の色成分の画像を取得するフレームレートよりも高いフレームレートで第１の色成分の合成画像を出力する動き補償ステップと、
    第１の色成分の合成画像および第２の色成分の画像に基づいて、前記第１の色成分および第２の色成分を含む画像を生成して出力する多色画像合成ステップと、
    を含む多色画像処理方法。
17. ｎフィールド（ｎは２以上の整数）から１フレームが構成された第１の色成分の画像、および１フィールドから１フレームが構成された第２の色成分の画像に基づいて画像を出力する信号処理装置を動作させるプログラムであって、
    前記第２の色成分の画像に基づいて第２の色成分の画像から構成される動画像中の動き情報を出力するステップと、
    前記第１の色成分の画像および前記動き情報に基づいて各フィールドにおける第１の色成分の合成画像を生成し、前記第１の色成分の画像より空間解像度が高い第１の合成画像として出力するステップと、
    前記第１の合成画像および前記第２の色成分の画像に基づいて前記第１の色成分および前記第２の色成分を含む画像を生成して出力するステップと、
    を前記信号処理装置に実行させるプログラム。

Images