JP5159461B2 - 画像処理装置、画像処理方法及び撮像装置 - Google Patents

Description

本発明は、取得した原画像に対して画像処理を行う画像処理装置及び画像処理方法、並びに、デジタルビデオカメラ等の撮像装置に関する。

多画素から成る静止画像を撮影可能な撮像素子（イメージセンサ）にて動画像を撮影する場合、撮像素子からの画素信号の読み出し速度に応じて、フレームレートを低く抑える必要がある。高フレームレートを実現するためには、画素信号の加算読み出し或いは間引き読み出しを行って画像データを減らす必要がある。

但し、撮像素子上の画素間隔は水平及び垂直方向において均等であるにも拘らず、加算読み出し或いは間引き読み出しを行うと、画素信号が存在する間隔が不均等となる。この不均等に配列された画素信号を有する画像をそのまま表示すると、ジャギーや偽色が発生する。この問題を回避するための手法として、画素信号が存在する画素間隔が均等となるように補間処理を行う手法が提案されている（例えば、特許文献１及び２参照）。

この手法を、図５８を参照して説明する。図５８において、ブロック９０１は、単板方式を採用した撮像素子の受光画素前面に配置されたカラーフィルタ配列（ベイヤー配列）を示している。ブロック９０２は、加算読み出しを行うことによって、この撮像素子から得られるＲ、Ｇ及びＢ信号の存在位置を示している。加算読み出しでは、注目位置の近傍画素における画素信号が加算され、加算信号が注目位置の画素信号として撮像素子から読み出される。例えば、Ｇ信号が生成されるべき注目位置の、左斜め上、右斜め上、左斜め下及び右斜め下に隣接する実際の受光画素の画素信号を加算することによって、注目位置のＧ信号が生成される。図５８では、黒塗りの丸によってＧ信号についての注目位置を示すと共に該丸に接続される矢印によって信号加算の様子を示しているが、Ｂ及びＲ信号についても、同様の加算読み出しが行われる。

ブロック９０２に示されるように、加算読み出しを行って得られる画像の画素間隔は不均等である。この不均等な画素間隔を均等な画素間隔に修正するための補間処理を行うことで、ブロック９０３及び９０４に示されるような画素信号配列を有する画像が得られる。つまり、Ｒ、Ｇ及びＢ信号が、ベイヤー配列のように配列された画像が得られる。このブロック９０４にて示される画像（ＲＡＷデータ）に対して、所謂デモザイキング処理（色同時化処理）を行うことで、ブロック９０５に示される出力画像が得られる。出力画像は、水平及び垂直方向に均等な間隔で画素が配列された二次元画像であり、出力画像における各画素に対してＲ、Ｇ及びＢ信号が夫々割り当てられる。

また、このようにして得られる出力画像に含まれるノイズを低減する手法として、複数フィールド（フレーム）の画像を用いてノイズの除去を行う手法が提案されている（例えば、特許文献３参照）。

特開２００３−０９２７６４号公報 特開２００３−２９９１１２号公報 特開２０００−２０１２８３号公報

図５８に示すような従来手法を用いて得た出力画像では、Ｒ、Ｇ及びＢ信号が存在する画素間隔が均等となるため、ジャギーや偽色の発生が抑制される。しかしながら、加算読み出しに由来する画素間隔の不均等を解消すべく、画素間隔を均等化するための補間処理を実行している。このような補間処理の実行は、必然的に、解像感の劣化（実質的な解像度の劣化）を招く。また、画素信号の間引き読み出しを行う場合にも、同様の問題が生じる。

また、出力画像からノイズを低減させる場合、ノイズはランダムに発生するため、従来手法のように複数フレームの画像を利用すると好適である。しかしながら、ノイズを低減するために用いる画像を一時的に保持するフレームメモリが必要となるため、回路規模が増大化することが問題となる。特に、ノイズ低減以外の処理（例えば、解像感を向上させる処理）を行うためにも画像が必要となりフレームメモリが設けられるため、全体で多数のフレームメモリが設けられて回路規模が増大化する。

そこで本発明は、画素信号の加算読み出し又は間引き読み出しを行った場合に生じ得る解像感劣化の抑制及びノイズの低減に寄与するとともに、回路規模の増大化を抑制した画像処理装置及び撮像装置並びに画像処理方法を提供することを目的とする。

単板方式の撮像素子に二次元配列された受光画素群の画素信号の加算読み出し又は間引き読み出しを行う読出手段を有し、加算又は間引きの対象となる受光画素の組み合わせが異なる複数の読み出しパターンを用いることにより、画素信号を有する画素位置が連続するフレーム間で互いに異なる原画像を順次取得する原画像取得手段と、当該原画像取得手段によって順次取得される前記原画像に所定の画像処理を施して第１画像を順次生成する画像処理手段と、当該画像処理手段によって生成される前記第１画像に、所定の画像を順次合成して第２画像を順次生成する合成手段と、当該合成手段によって生成される前記第２画像を一時的に記憶する記憶手段と、を備え、前記合成手段が、前記記憶手段に記憶された前記第２画像を前記第１画像に合成して、前記第２画像を順次生成することを特徴とする。

このような構成とすると、過去に生成した第２画像を第１画像に合成することによって、新たな第２画像が生成されることとなる。そのため、第２画像は、過去に生成された第１画像を順次合成して得られる画像となる。例えば、前記合成手段が、ｎフレームの前記第１画像に、（ｎ−１）フレームの前記第２画像を合成して、ｎフレームの前記第２画像を生成することとしても構わない。

また、具体的に例えば、前記画像処理手段が、前記原画像の画素信号群に含まれる同一色の画素信号同士を混合し、その混合によって得られた画素信号を補間画素位置毎に一つずつ備えた前記第１画像を生成する色補間処理手段であるとともに、前記第２画像が、前記補間画素位置毎に画素信号を一つずつ備える画像であり、前記第２画像に備えられる画素信号に基づいて、前記補間画素位置毎に異色の画素信号を複数備える出力合成画像を生成する色同時化手段を、さらに備える。

尚、以下の第１〜第６実施例においては、上記の第１画像の一例として色補間画像を挙げ、上記の第２画像の一例として合成画像を挙げて夫々説明する。

また、具体的に例えば、前記画像処理手段が、前記原画像の画素信号群に含まれる同一色の画素信号同士を混合し、その混合によって得られた画素信号を補間画素位置毎に一つずつ備えた色補間画像を生成する色補間処理手段と、前記色補間処理手段によって生成される前記色補間画像に備えられる画素信号に基づいて、前記補間画素位置毎に異色の画素信号を複数備える前記第１画像を生成する色同時化手段と、を備えるものであり、前記第２画像が、前記補間画素位置毎に異色の画素信号を複数備える画像である。

尚、以下の第７実施例においては、上記の第１画像の一例として色同時化画像を挙げ、上記の第２画像の一例として出力合成画像を挙げて夫々説明する。

そして例えば、前記第１画像及び前記第２画像の夫々で対応する画素信号の画像内における位置が等しい、又は、対応する画素信号の画像内における位置が所定の大きさだけずれたものであり、前記合成手段が、前記第１画像及び前記第２画像の夫々で対応する画素信号同士を混合することにより、前記第２画像を生成する。

これにより、対応しない画素信号を合成することにより、第２画像が劣化することを抑制することが可能となる。尚、以下の第１〜第７実施例においては、画素信号の画像内における位置の一例として、水平画素位置ｉ及び垂直画素位置ｊを挙げて説明する。

また例えば、前記合成手段によって合成される前記第１画像及び前記第２画像間における物体の動きを検出する動き検出手段をさらに備え、前記合成手段が、前記動きの大きさに基づいて前記第２画像の生成を行う。

例えば、動き検出手段は、第１画像及び第２画像間のオプティカルフローを求めることによって、物体の動きを検出することとしても構わない。

また、具体的に例えば、前記合成手段が、前記動き検出手段によって検出された前記第１画像及び前記第２画像間における物体の動きの大きさに基づいて重み係数を設定する重み係数設定手段を有し、前記重み係数に従って前記第１画像及び前記第２画像の画素信号を混合することにより前記第２画像を生成する。

これにより、第２画像における輪郭部のぼけや二重像の発生を抑制することが可能となる。

さらに例えば、前記合成手段によって合成を行う前記第１画像について、ある注目した画素の周辺の画素の特徴を示す画像特徴量を算出する画像特徴量算出手段をさらに備え、前記重み係数設定手段が、前記動き検出手段によって検出される物体の動きの大きさと、前記画像特徴量算出手段によって算出される前記画像特徴量とに基づいて、前記重み係数を設定する。

画像特徴量として例えば、第１画像の画素信号の標準偏差や、高周波成分（例えば、第１画像のハイパスフィルタ処理結果）、エッジ成分（例えば、第１画像の微分フィルタ処理結果）などを用いることができる。また、画像特徴量算出手段が、第１画像の輝度を示す画素信号から画像特徴量を算出することとしても構わない。

また例えば、前記複数の読み出しパターンを用いて前記原画像を順次取得することにより、前記色同時化手段（合成手段）にて時系列上に並ぶ出力合成画像列（第２画像列）が生成され、当該画像処理装置は、前記出力合成画像列（第２画像列）に対して画像圧縮処理を施すことにより、フレーム内符号化画像及びフレーム間予測符号化画像を含む圧縮動画像を生成する画像圧縮手段をさらに備え、前記画像圧縮手段は、前記出力合成画像列（第２画像列）を形成する各出力合成画像（第２画像）に対応して設定された重み係数に基づいて、前記出力合成画像列（第２画像列）の中から前記フレーム内符号化画像の対象となる前記出力合成画像（第２画像）を選択する。

本発明に係る撮像装置は、単板方式の撮像素子と、上記の何れかに記載の画像処理装置と、を備えたことを特徴とする。

本発明に係る画像処理方法は、単板方式の撮像素子に二次元配列された受光画素群の画素信号の加算読み出し又は間引き読み出しを、加算又は間引きの対象となる受光画素の組み合わせが異なる複数の読み出しパターンを用いることにより行い、画素信号を有する画素位置が連続するフレーム間で互いに異なる原画像を取得する第１ステップと、当該第１ステップによって取得された前記原画像に所定の画像処理を施して第１画像を生成する第２ステップと、当該第２ステップによって生成された前記第１画像に、所定の画像を合成して第２画像を生成する第３ステップと、当該第３ステップによって生成された前記第２画像を一時的に記憶する第４ステップと、を備え、前記第１〜前記第４ステップを繰り返すことで、順次前記第２画像を生成及び記憶するとともに、前記第３ステップが、過去に生成して記憶した前記第２画像を、前記第１画像に合成するものである。

本発明によれば、第１画像及び第２画像を合成することにより、画素信号の加算読み出し又は間引き読み出しを行った場合に生じ得る解像感劣化の抑制や、ノイズの低減化を図ることができる。また、合成に用いる画像が、順次入力される第１画像の他には第２画像のみとなるため、１枚の第２画像を記憶する記憶手段を備えるだけで上記の合成を行うことが可能となる。そのため、回路規模の増大化を抑制することが可能となる。

本発明の意義ないし効果は、以下に示す実施の形態の説明によりさらに明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。

以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。後に第１〜第７実施例を説明するが、まず、各実施例に共通する事項又は各実施例にて参照される事項について説明する。

図１は、本発明の実施形態に係る撮像装置１の全体ブロック図である。撮像装置１は、例えば、デジタルビデオカメラである。撮像装置１は、動画像及び静止画像を撮影可能となっていると共に、動画像撮影中に静止画像を同時に撮影することも可能となっている。

［基本的な構成の説明］
撮像装置１は、撮像部１１と、ＡＦＥ（Analog Front End）１２と、映像信号処理部１３と、マイク１４と、音声信号処理部１５と、圧縮処理部１６と、ＤＲＡＭ（Dynamic Random Access Memory）などの内部メモリ１７と、ＳＤ（Secure Digital）カードや磁気ディスクなどの外部メモリ１８と、伸張処理部１９と、ＶＲＡＭ（Video Random Access Memory）２０と、音声出力回路２１と、ＴＧ（タイミングジェネレータ）２２と、ＣＰＵ（Central Processing Unit）２３と、バス２４と、バス２５と、操作部２６と、表示部２７と、スピーカ２８と、を備えている。操作部２６は、録画ボタン２６ａ、シャッタボタン２６ｂ及び操作キー２６ｃ等を有している。撮像装置１内の各部位は、バス２４又は２５を介して、各部位間の信号（データ）のやり取りを行う。

ＴＧ２２は、撮像装置１全体における各動作のタイミングを制御するためのタイミング制御信号を生成し、生成したタイミング制御信号を撮像装置１内の各部に与える。タイミング制御信号は、垂直同期信号Ｖｓｙｎｃと水平同期信号Ｈｓｙｎｃを含む。ＣＰＵ２３は、撮像装置１内の各部の動作を統括的に制御する。操作部２６は、ユーザによる操作を受け付ける。操作部２６に与えられた操作内容は、ＣＰＵ２３に伝達される。撮像装置１内の各部は、必要に応じ、信号処理時に一時的に各種のデータ（デジタル信号）を内部メモリ１７に記録する。

撮像部１１は、撮像素子（イメージセンサ）３３の他、図示されない光学系、絞り及びドライバを備える。被写体からの入射光は、光学系及び絞りを介して、撮像素子３３に入射する。光学系を構成する各レンズは、被写体の光学像を撮像素子３３上に結像させる。ＴＧ２２は、上記タイミング制御信号に同期した、撮像素子３３を駆動するための駆動パルスを生成し、該駆動パルスを撮像素子３３に与える。

撮像素子３３は、ＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等からなる固体撮像素子である。撮像素子３３は、光学系及び絞りを介して入射した光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２に出力する。より具体的には、撮像素子３３は、マトリクス状に二次元配列された複数の受光画素（図１において不図示）を備え、各撮影において、各受光画素は露光時間に応じた電荷量の信号電荷を蓄える。蓄えた信号電荷の電荷量に比例した大きさを有する各受光画素からの電気信号は、ＴＧ２２からの駆動パルスに従って、後段のＡＦＥ１２に順次出力される。

ＡＦＥ１２は、撮像素子３３（各受光画素）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換してから映像信号処理部１３に出力する。ＡＦＥ１２における信号増幅の増幅度はＣＰＵ２３によって制御される。映像信号処理部１３は、ＡＦＥ１２の出力信号によって表される画像に対して各種画像処理を施し、画像処理後の画像についての映像信号を生成する。映像信号は、通常、画像の輝度を表す輝度信号Ｙと、画像の色を表す色差信号Ｕ及びＶと、から構成される。

マイク１４は撮像装置１の周辺音をアナログの音声信号に変換し、音声信号処理部１５は、このアナログの音声信号をデジタルの音声信号に変換する。

圧縮処理部１６は、映像信号処理部１３からの映像信号を、所定の圧縮方式を用いて圧縮する。動画像または静止画像の撮影及び記録時において、圧縮された映像信号は外部メモリ１８に記録される。また、圧縮処理部１６は、音声信号処理部１５からの音声信号を、所定の圧縮方式を用いて圧縮する。動画像撮影及び記録時において、映像信号処理部１３からの映像信号と音声信号処理部１５からの音声信号は、圧縮処理部１６にて時間的に互いに関連付けられつつ圧縮され、圧縮後のそれらは外部メモリ１８に記録される。

録画ボタン２６ａは、動画像の撮影及び記録の開始／終了を指示するための押しボタンスイッチであり、シャッタボタン２６ｂは、静止画像の撮影及び記録を指示するための押しボタンスイッチである。

撮像装置１の動作モードには、動画像及び静止画像の撮影が可能な撮影モードと、外部メモリ１８に格納された動画像及び静止画像を表示部２７に再生表示する再生モードと、が含まれる。操作キー２６ｃに対する操作に応じて、各モード間の遷移は実施される。

撮影モードでは、所定のフレーム周期にて順次撮影が行われ、撮像素子３３から撮影画像列が取得される。撮影画像列に代表される画像列とは、時系列で並ぶ画像の集まりを指す。また、画像を表すデータを画像データと呼ぶ。画像データも、映像信号の一種と考えることができる。１つのフレーム周期分の画像データによって１枚分の画像が表現される。映像信号処理部１３は、ＡＦＥ１２の出力信号によって表される画像に対して各種画像処理を施すが、この画像処理を施す前の、ＡＦＥ１２の出力信号そのものによって表される画像を、原画像と呼ぶ。従って、１つのフレーム周期分の、ＡＦＥ１２の出力信号によって、１枚の原画像が表現される。

撮影モードにおいて、ユーザが録画ボタン２６ａを押下すると、ＣＰＵ２３の制御の下、その押下後に得られる映像信号及びそれに対応する音声信号が、順次、圧縮処理部１６を介して外部メモリ１８に記録される。動画像撮影の開始後、再度ユーザが録画ボタン２６ａを押下すると、映像信号及び音声信号の外部メモリ１８への記録は終了し、１つの動画像の撮影は完了する。また、撮影モードにおいて、ユーザがシャッタボタン２６ｂを押下すると、静止画像の撮影及び記録が行われる。

再生モードにおいて、ユーザが操作キー２６ｃに所定の操作を施すと、外部メモリ１８に記録された動画像又は静止画像を表す圧縮された映像信号は、伸張処理部１９にて伸張されＶＲＡＭ２０に書き込まれる。尚、撮影モードにおいては、通常、録画ボタン２６ａ及びシャッタボタン２６ｂに対する操作内容に関係なく、映像信号処理１３による映像信号の生成が逐次行われており、その映像信号はＶＲＡＭ２０に書き込まれる。

表示部２７は、液晶ディスプレイなどの表示装置であり、ＶＲＡＭ２０に書き込まれている映像信号に応じた画像を表示する。また、再生モードにおいて動画像を再生する際、外部メモリ１８に記録された動画像に対応する圧縮された音声信号も、伸張処理部１９に送られる。伸張処理部１９は、受け取った音声信号を伸張して音声出力回路２１に送る。音声出力回路２１は、与えられたデジタルの音声信号をスピーカ２８にて出力可能な形式の音声信号（例えば、アナログの音声信号）に変換してスピーカ２８に出力する。スピーカ２８は、音声出力回路２１からの音声信号を音声（音）として外部に出力する。

［撮像素子の受光画素配列］
図２は、撮像素子３３の有効領域内の受光画素配列を示している。撮像素子３３の有効領域は長方形形状を有しており、その長方形の一頂点を撮像素子３３の原点と捉える。原点が撮像素子３３の有効領域の左上隅に位置するものとする。撮像素子３３の垂直方向における有効画素数と水平方向における有効画素数との積（例えば、数１００〜数１０００の二乗）に相当する個数の受光画素が二次元配列されることによって、撮像素子３３の有効領域が形成される。撮像素子３３の有効領域内の各受光画素をＰ_S［ｘ，ｙ］にて表す。ここで、ｘ及びｙは整数である。撮像素子３３の原点から見て、右側に位置する受光画素ほど、対応する変数ｘの値が大きくなり、下側に位置する受光画素ほど、対応する変数ｙの値が大きくなるものとする。撮像素子３３において、上下方向は垂直方向に対応し、左右方向は水平方向に対応する。

図２では、便宜上、１０×１０の受光画素領域のみを図示しており、この受光画素領域を符号２００によって参照する。以下の説明では、受光画素領域２００内の受光画素に特に注目する。受光画素領域２００内には、不等式「１≦ｘ≦１０」及び「１≦ｙ≦１０」を満たす合計１００個の受光画素Ｐ_S［ｘ，ｙ］が示されている。受光画素領域２００内に属する受光画素群の内、受光画素Ｐ_S［１，１］の配置位置が最も撮像素子３３の原点に近く、受光画素Ｐ_S［１０，１０］の配置位置が最も撮像素子３３の原点から遠い。

撮像装置１は、１枚のイメージセンサのみを用いる、いわゆる単板方式を採用している。図３は、撮像素子３３の各受光画素の前面に配置されたカラーフィルタの配列を示している。図３に示される配列は、一般に、ベイヤー配列と呼ばれる。カラーフィルタには、光の赤成分のみを透過させる赤フィルタと、光の緑成分のみを透過させる緑フィルタと、光の青成分のみを透過させる青フィルタと、がある。赤フィルタは、受光画素Ｐ_S［２ｎ_A−１，２ｎ_B］の前面に配置され、青フィルタは、受光画素Ｐ_S［２ｎ_A，２ｎ_B−１］の前面に配置され、緑フィルタは、受光画素Ｐ_S［２ｎ_A−１，２ｎ_B−１］又はＰ_S［２ｎ_A，２ｎ_B］の前面に配置される。ここで、ｎ_A及びｎ_Bは整数である。尚、図３並びに後述の図５等において、赤フィルタに対応する部位をＲにて表し、緑フィルタに対応する部位をＧにて表し、青フィルタに対応する部位をＢにて表す。

赤フィルタ、緑フィルタ、青フィルタが前面に配置された受光画素を、夫々、赤受光画素、緑受光画素、青受光画素とも呼ぶ。各受光画素は、カラーフィルタを介して自身に入射した光を光電変換によって電気信号に変換する。この電気信号は、受光画素の画素信号を表し、以下、それを「受光画素信号」と呼ぶこともある。赤受光画素、緑受光画素及び青受光画素は、夫々、光学系の入射光の、赤成分、緑成分及び青成分にのみ反応する。

撮像素子３３から受光画素信号を読み出す方式には、全画素読み出し方式、加算読み出し方式、間引き読み出し方式がある。全画素読み出し方式にて撮像素子３３から受光画素信号を読み出す場合、撮像素子３３の有効領域内に位置する全ての受光画素からの受光画素信号が個別にＡＦＥ１２を介して映像信号処理部１３に与えられる。加算読み出し方式及び間引き読み出し方式については、後述される。尚、以下の説明では、記述の簡略化上、ＡＦＥ１２における信号増幅及びデジタル化を無視して考える。

［原画像の画素配列］
図４（ａ）は、原画像の画素配列を示している。図４（ａ）では、図２の受光画素領域２００に対応する、原画像の一部画像領域のみを示している。原画像を含む任意の画像は、二次元直交座標系である画像座標面ＸＹ上に二次元配列された画素群から形成されている、と考えることができる（図４（ｂ）参照）。

記号Ｐ［ｘ，ｙ］は、受光画素Ｐ_S［ｘ，ｙ］に対応する、原画像上の画素を表す。撮像素子３３の原点に対応する原画像の原点から見て、右側に位置する画素ほど、対応する記号Ｐ［ｘ，ｙ］中の変数ｘの値が大きくなり、下側に位置する画素ほど、対応する記号Ｐ［ｘ，ｙ］中の変数ｙの値が大きくなるものとする。原画像において、上下方向は垂直方向に対応し、左右方向は水平方向に対応する。

また、以下の説明において、撮像素子３３の位置を記号［ｘ，ｙ］にて表すと共に、原画像を含む任意の画像上の位置（画像座標面ＸＹ上の位置）も記号［ｘ，ｙ］にて表す。撮像素子３３における位置［ｘ，ｙ］は、受光画素Ｐ_S［ｘ，ｙ］の、撮像素子３３上の位置と合致し、画像（画像座標面ＸＹ）における位置［ｘ，ｙ］は、原画像の画素Ｐ［ｘ，ｙ］の位置と合致する。但し、撮像素子３３の各受光画素及び原画像上の各画素は、水平及び垂直方向においてゼロではない一定の大きさを有してため、厳密には、撮像素子３３における位置［ｘ，ｙ］は、受光画素Ｐ_S［ｘ，ｙ］の中心位置と合致し、画像（画像座標面ＸＹ）における位置［ｘ，ｙ］は、原画像の画素Ｐ［ｘ，ｙ］の中心位置と合致する。また、以下の説明では、画素（又は受光画素）の位置を示すことを明示すべく、記号［ｘ，ｙ］を、画素位置を表す記号としても用いることがある。

尚、原画像上の１画素の、水平方向の幅をＷｐで表す（図４（ａ）参照）。原画像上の１画素の、垂直方向の幅もＷｐである。従って、画像（画像座標面ＸＹ）上において、位置［ｘ，ｙ］と位置［ｘ＋１，ｙ］との距離及び位置［ｘ，ｙ］と位置［ｘ，ｙ＋１］との距離は、共にＷｐである。

全画素読み出し方式を用いた場合、ＡＦＥ１２から出力される、受光画素Ｐ_S［ｘ，ｙ］の受光画素信号は、原画像の画素Ｐ［ｘ，ｙ］の画素信号となる。図５に、全画素読み出し方式を用いて得た原画像２２０における、画素信号のイメージ図を示す。図５及び後述する図６（ａ）〜（ｅ）では、図示の簡略化上、画素位置［１，１］〜［４，４］に対応する部分のみを示している。また、図５及び後述する図６（ａ）〜（ｅ）では、画素信号が表す色成分（Ｒ、Ｇ又はＢ）を、画素位置に対応させて示している。

原画像２２０において、画素位置［２ｎ_A−１，２ｎ_B］の画素信号は、ＡＦＥ１２から出力される赤受光画素Ｐ_S［２ｎ_A−１，２ｎ_B］の受光画素信号であり、画素位置［２ｎ_A，２ｎ_B−１］の画素信号は、ＡＦＥ１２から出力される青受光画素Ｐ_S［２ｎ_A，２ｎ_B−１］の受光画素信号であり、画素位置［２ｎ_A−１，２ｎ_B−１］又はＰ［２ｎ_A，２ｎ_B］の画素信号は、ＡＦＥ１２から出力される緑受光画素Ｐ_S［２ｎ_A−１，２ｎ_B−１］又はＰ_S［２ｎ_A，２ｎ_B］の受光画素信号である（ｎ_A及びｎ_Bは整数）。このように、全画素読み出し方式を用いた場合、画像上での画素間隔は、撮像素子３３上の受光画素間隔と同様、均等となっている。

原画像２２０では、１つの画素位置に対して、赤成分、緑成分及び青成分の内の何れかの１つの色成分のみの画素信号が存在している。映像信号処理部１３は、補間処理を用い、画像を形成する各々の画素に対して、３つの色成分の画素信号を割り当てるための処理を行う。このように、ある画素位置の色信号を補間によって生成する処理を色補間処理と呼ぶ。特に、ある画素位置に３つの色成分の画素信号が夫々含まれるようにする色補間処理は、一般にデモザイキング処理とも呼ばれ、色同時化処理と呼ばれることもある。

以下、原画像を含む任意の画像において、赤成分、緑成分及び青成分のデータを表す画素信号を、夫々、Ｒ信号、Ｇ信号及びＢ信号と呼ぶ。また、Ｒ信号、Ｇ信号及びＢ信号の何れかを色信号と呼ぶこともあり、それらを総称して、色信号と呼ぶこともある。

図６（ａ）〜（ｃ）は、原画像２２０に対して施される色補間処理の概念図であり、図６（ｄ）〜（ｅ）は、原画像２２０に色補間処理を施すことによって得られた色補間画像２３０のイメージ図である。図６（ａ）〜（ｃ）は、夫々、Ｇ、Ｂ及びＲ信号に対する色補間処理の概念図であり、図６（ｄ）〜（ｅ）では、色補間画像２３０の各画素位置にＧ、Ｂ及びＲ信号が存在している様子が示されている。図６（ａ）〜（ｃ）において、丸で囲まれたＧ、Ｂ及びＲは、夫々、周辺画素（矢印の根元に位置する画素）を用いた補間処理によって得られたＧ、Ｂ及びＲ信号を表している。尚、図示の煩雑化防止のため、色補間画像２３０におけるＧ、Ｂ及びＲ信号を別個に示しているが、原画像２２０から１枚の色補間画像２３０が生成される。

周知の如く、原画像２２０に対する色補間処理では、注目画素の周辺画素における着目色の画素信号を混合することによって、注目画素における着目色の画素信号が生成される。例えば、図６（ａ）に示す如く、原画像２２０における画素位置［３，１］、［２，２］、［４，２］及び［３，３］の画素信号の平均信号が、色補間画像２３０における画素位置［３，２］のＧ信号として生成され、原画像２２０における画素位置［２，２］、［１，３］、［３，３］及び［２，４］の画素信号の平均信号が、色補間画像２３０における画素位置［２，３］のＧ信号として生成される。原画像２２０における画素位置［２，２］及び［３，３］の画素信号は、そのまま、夫々、色補間画像２３０における画素位置［２，２］及び［３，３］のＧ信号とされる。同様に、周知の信号補間方法に従って、色補間画像２３０における各画素のＢ及びＲ信号も生成される。

撮像装置１は、加算読み出し方式又は間引き読み出し方式の利用時に特徴的な動作を行う。以下に、この特徴的な動作の実現方法を説明する実施例として、第１〜第７実施例を説明する。矛盾なき限り、或る実施例に記載した事項は他の実施例にも適用される。

＜＜第１実施例＞＞
まず、第１実施例について説明する。第１実施例では、撮像素子３３から画素信号を読み出す方式として、複数の受光画素信号を加算しながら読み出す加算読み出し方式を用いる。この際、用いる加算パターンを複数の加算パターンの間で順次変更させながら加算読み出しを行う。加算パターンとは、加算の対象となる受光画素の組み合わせパターンを意味する。用いられる複数の加算パターンは、互いに異なる第１、第２、第３及び第４の加算パターンの内の、２以上の加算パターンを含む。

図７（ａ）、（ｂ）、図８（ａ）及び（ｂ）は、夫々、第１、第２、第３及び第４の加算パターンを用いた場合の信号加算の様子を示す。図７（ａ）、（ｂ）、図８（ａ）及び（ｂ）に対応する第１、第２、第３及び第４の加算パターンを、夫々、加算パターンＰ_A1、Ｐ_A2、Ｐ_A3及びＰ_A4によって参照することもある。図９（ａ）、（ｂ）、（ｃ）及び（ｄ）は、夫々、第１、第２、第３及び第４の加算パターンを用いて加算読み出しを行った場合に得られる、原画像の画素信号の様子を示す。上述したように、受光画素Ｐ_S［１，１］〜Ｐ_S［１０，１０］から成る受光画素領域２００に注目する（図２参照）。

図７（ａ）、（ｂ）、図８（ａ）及び（ｂ）に示される黒塗りの丸は、夫々、第１、第２、第３及び第４の加算パターンを用いた場合に想定される仮想的な受光画素の配置位置を示している。図７（ａ）、（ｂ）、図８（ａ）及び（ｂ）において、黒塗りの丸の周囲に示された矢印は、その丸に対応する仮想的な受光画素の画素信号を生成するために、該仮想的な受光画素の周辺受光画素の画素信号が加算される様子を示している。

第１の加算パターンとしての加算パターンＰ_A1を用いる場合は、
撮像素子３３の画素位置［２＋４ｎ_A，２＋４ｎ_B］及び［３＋４ｎ_A，３＋４ｎ_B］に仮想的な緑受光画素が配置され、撮像素子３３の画素位置［３＋４ｎ_A，２＋４ｎ_B］に仮想的な青受光画素が配置され、撮像素子３３の画素位置［２＋４ｎ_A，３＋４ｎ_B］に仮想的な赤受光画素が配置される、と想定する。
第２の加算パターンとしての加算パターンＰ_A2を用いる場合は、
撮像素子３３の画素位置［４＋４ｎ_A，４＋４ｎ_B］及び［５＋４ｎ_A，５＋４ｎ_B］に仮想的な緑受光画素が配置され、撮像素子３３の画素位置［５＋４ｎ_A，４＋４ｎ_B］に仮想的な青受光画素が配置され、撮像素子３３の画素位置［４＋４ｎ_A，５＋４ｎ_B］に仮想的な赤受光画素が配置される、と想定する。
第３の加算パターンとしての加算パターンＰ_A3を用いる場合は、
撮像素子３３の画素位置［４＋４ｎ_A，２＋４ｎ_B］及び［５＋４ｎ_A，３＋４ｎ_B］に仮想的な緑受光画素が配置され、撮像素子３３の画素位置［５＋４ｎ_A，２＋４ｎ_B］に仮想的な青受光画素が配置され、撮像素子３３の画素位置［４＋４ｎ_A，３＋４ｎ_B］に仮想的な赤受光画素が配置される、と想定する。
第４の加算パターンとしての加算パターンＰ_A4を用いる場合は、
撮像素子３３の画素位置［２＋４ｎ_A，４＋４ｎ_B］及び［３＋４ｎ_A，５＋４ｎ_B］に仮想的な緑受光画素が配置され、撮像素子３３の画素位置［３＋４ｎ_A，４＋４ｎ_B］に仮想的な青受光画素が配置され、撮像素子３３の画素位置［２＋４ｎ_A，５＋４ｎ_B］に仮想的な赤受光画素が配置される、と想定する。
尚、ｎ_A及びｎ_Bは、上述したように、整数である。

１つの仮想的な受光画素の画素信号は、その仮想的な受光画素の左斜め上、右斜め上、左斜め下及び右斜め下に隣接する実際の受光画素の画素信号の加算信号とされる。例えば、加算パターンＰ_A1を用いる場合において、画素位置［２，２］に配置される仮想的な緑受光画素の画素信号は、実際の緑受光画素Ｐ_S［１，１］、［３，１］、［１，３］及び［３，３］の画素信号の加算信号とされる。このように、同一色のカラーフィルタが配置された４つの受光画素の画素信号を加算することによって、その４つの受光画素の中心に位置する１つの仮想的な受光画素の画素信号を形成する。これは、どの加算パターン（後述する加算パターンＰ_B1〜Ｐ_B4、Ｐ_C1〜Ｐ_C4及びＰ_D1〜Ｐ_D4を含む）を用いた場合も同じである。

そして、位置［ｘ，ｙ］に配置された仮想的な受光画素の画素信号が、画像上の位置［ｘ，ｙ］の画素信号として取り扱われるように原画像が取得される。

従って、第１の加算パターン（Ｐ_A1）を用いた加算読み出しによって得られる原画像は、図９（ａ）に示す如く、画素位置［２＋４ｎ_A，２＋４ｎ_B］及び［３＋４ｎ_A，３＋４ｎ_B］に配置された、Ｇ信号のみを有する画素と、画素位置［３＋４ｎ_A，２＋４ｎ_B］に配置された、Ｂ信号のみを有する画素と、画素位置［２＋４ｎ_A，３＋４ｎ_B］に配置された、Ｒ信号のみを有する画素と、を備えた画像となる。
同様に、第２の加算パターン（Ｐ_A2）を用いた加算読み出しによって得られる原画像は、図９（ｂ）に示す如く、画素位置［４＋４ｎ_A，４＋４ｎ_B］及び［５＋４ｎ_A，５＋４ｎ_B］に配置された、Ｇ信号のみを有する画素と、画素位置［５＋４ｎ_A，４＋４ｎ_B］に配置された、Ｂ信号のみを有する画素と、画素位置［４＋４ｎ_A，５＋４ｎ_B］に配置された、Ｒ信号のみを有する画素と、を備えた画像となる。
同様に、第３の加算パターン（Ｐ_A3）を用いた加算読み出しによって得られる原画像は、図９（ｃ）に示す如く、画素位置［４＋４ｎ_A，２＋４ｎ_B］及び［５＋４ｎ_A，３＋４ｎ_B］に配置された、Ｇ信号のみを有する画素と、画素位置［５＋４ｎ_A，２＋４ｎ_B］に配置された、Ｂ信号のみを有する画素と、画素位置［４＋４ｎ_A，３＋４ｎ_B］に配置された、Ｒ信号のみを有する画素と、を備えた画像となる。
同様に、第４の加算パターン（Ｐ_A4）を用いた加算読み出しによって得られる原画像は、図９（ｄ）に示す如く、画素位置［２＋４ｎ_A，４＋４ｎ_B］及び［３＋４ｎ_A，５＋４ｎ_B］に配置された、Ｇ信号のみを有する画素と、画素位置［３＋４ｎ_A，４＋４ｎ_B］に配置された、Ｂ信号のみを有する画素と、画素位置［２＋４ｎ_A，５＋４ｎ_B］に配置された、Ｒ信号のみを有する画素と、を備えた画像となる。

第１、第２、第３及び第４の加算パターンを用いた加算読み出しによって得られる原画像を、以下、夫々、第１、第２、第３及び第４の加算パターンの原画像と呼ぶ。また、或る原画像において、Ｒ、Ｇ又はＢ信号を有する画素を実画素とも呼び、Ｒ、Ｇ及びＢ信号の何れもが存在しない画素を空白画素とも呼ぶ。従って例えば、第１の加算パターンの原画像では、位置［２＋４ｎ_A，２＋４ｎ_B］、［３＋４ｎ_A，３＋４ｎ_B］、［３＋４ｎ_A，２＋４ｎ_B］又は［２＋４ｎ_A，３＋４ｎ_B］に配置される画素のみが実画素であり、それ以外の画素（例えば、位置［１，１］に配置される画素）は空白画素である。

図１０は、図１の映像信号処理部１３として用いられる映像信号処理部１３ａの内部ブロック図を含む、図１の撮像装置１の一部ブロック図である。映像信号処理部１３ａは、符号５１〜５６によって参照される各部位を備える。また図１１は、図１０の映像信号処理部１３ａの動作を示すフローチャートである。図１０及び図１１を用いて、映像信号処理部１３ａの構成及び動作の概要について説明する。尚、図１１は、１枚の画像の処理について示したフローチャートである。

最初に、ＡＦＥ１２から映像信号処理部１３ａにＲＡＷデータ（原画像を表す画像データ）が入力される（ＳＴＥＰ１）。このＲＡＷデータは、映像信号処理部１３ａ内の色補間処理部５１に入力される。

色補間処理部５１は、ＳＴＥＰ１で得られたＲＡＷデータに色補間処理を施す（ＳＴＥＰ２）。ＲＡＷデータ（原画像）は、色補間処理が施されることによってＲ、Ｇ及びＢ信号（色補間画像）に変換される。また、色補間画像を構成するＲ、Ｇ及びＢ信号は、順次画像合成部５４に入力される。

色補間処理部５１でのフレーム周期が経過するごとに、撮像素子３３からＡＦＥ１２を介して第１、第２、・・・、第（ｎ−１）、第ｎフレームの原画像が順次取得され、色補間処理部５１により、第１、第２、・・・、第（ｎ−１）、第ｎフレームの原画像から夫々第１、第２、・・・、第（ｎ−１）、第ｎフレームの色補間画像が生成される。

ＳＴＥＰ２で生成された色補間画像（以下、現フレームの色補間画像とも呼ぶ）は画像合成部５４に入力され、画像合成部５４において１フレーム前に出力された合成画像（以下、前フレームの合成画像とも呼ぶ）と合成される。そして、この合成処理によって合成画像が生成される（ＳＴＥＰ３）。ここで、色補間処理部５１から画像合成部５４に入力される第１、第２、・・・、第（ｎ−１）、第ｎフレームの色補間画像からは、夫々第１、第２、・・・、第（ｎ−１）、第ｎフレームの合成画像が生成されることとする（但し、ｎは２以上の整数）。即ち、第ｎフレームの色補間画像と第（ｎ−１）フレームの合成画像とが合成されることにより、第ｎフレームの合成画像が生成されることとなる。

ＳＴＥＰ３の合成を行うために、フレームメモリ５２は、画像合成部５４から出力される合成画像を一時記憶する。ここで、画像合成部５４に第ｎフレームの色補間画像が入力される場合であれば、フレームメモリ５２には第（ｎ−１）フレームの合成画像が記憶されていることとなる。そして、画像合成部５４は、フレームメモリ５２に記憶した前フレームの合成画像を構成する信号と、色補間処理部５１から入力される現フレームの色補間画像を構成する信号と、の夫々を順次入力させるとともに合成し、合成画像を構成する信号を順次出力する。

動き検出部５３は、現時点において色補間処理部５１から出力されている現フレームの色補間画像と、フレームメモリ５２に記憶されている前フレームの合成画像と、に基づいて、これらの画像間における物体の動きを検出する。例えば、隣接フレーム間のオプティカルフローを求めることにより、動きを検出する。この場合、第ｎフレームの色補間画像の画像データと、第（ｎ−１）フレームの合成画像の画像データと、に基づいて両画像間におけるオプティカルフローを求める。動き検出部５３は、そのオプティカルフローから両画像間における動きの大きさ及び向きを検出する。この動き検出部５３の検出結果は画像合成部５４に入力され、画像合成部５４による合成処理（ＳＴＥＰ３）において利用される。

ＳＴＥＰ３で生成された合成画像は、色同時化処理部５５に入力される。色同時化処理部５５は、入力される合成画像に色同時化処理（デモザイキング）を施すことで出力合成画像を生成する（ＳＴＥＰ４）。また、ＳＴＥＰ４で生成される出力合成画像は、信号処理部５６に入力される。

信号処理部５６は、入力される出力合成画像を構成するＲ、Ｇ及びＢ信号を変換して、輝度信号Ｙ及び色差信号Ｕ及びＶから成る映像信号を生成する（ＳＴＥＰ５）。以上のＳＴＥＰ１〜ＳＴＥＰ５の動作は、夫々のフレームの画像に対して行われる。その結果、夫々のフレームの映像信号（Ｙ、Ｕ及びＶ）が生成され、順次信号処理部５６から出力される。出力される映像信号は圧縮処理部１６に入力され、圧縮処理部１６において所定の画像圧縮方式に従って圧縮符号化される。

尚、図１０に示す構成では、ＡＦＥ１２から圧縮処理部１６に向かって、色補間処理部５１、動き検出部５３、画像合成部５４、色同時化処理部５５及び信号処理部５６が、この順番に配列されているが、この順番を変更することも可能である。以下に、色補間処理の基本方法を説明した後、色補間処理部５１、動き検出部５３、画像合成部５４及び色同時化処理部５５の機能について、詳細に説明する。

［色補間処理の基本方法］
Ｇ信号に着目し、図１２（ａ）及び（ｂ）を参照して、色補間処理の基本方法を説明する。原画像のＧ信号から色補間画像のＧ信号を生成する際、色補間画像上に補間画素位置が定められ、その補間画素位置の近傍位置に存在し且つＧ信号を有する、原画像における複数の実画素が注目される。そして、その注目された複数の実画素におけるＧ信号を混合することによって補間画素位置のＧ信号が生成される。補間画素位置におけるＧ信号を生成するために注目された複数の実画素を、便宜上、参照実画素群と呼ぶ。

参照実画素群を形成する実画素の個数が２であって、参照実画素群が第１及び第２画素から成る場合、式（Ａ１）に従って補間画素位置におけるＧ信号値が算出される。ここで、図１２（ａ）に示す如く、ｄ₁及びｄ₂は、夫々、第１画素の画素位置と補間画素位置との距離及び第２画素の画素位置と補間画素位置との距離である。ここにおける距離は、画像上における距離（画像座標面ＸＹ上の距離）である。原画像における第１及び第２画素のＧ信号値を夫々式（Ａ１）のＶ_G1及びＶ_G2に代入することによって得たＶ_GTは、補間画素位置におけるＧ信号値を表す。つまり、補間画素位置におけるＧ信号値は、参照実画素群のＧ信号値を距離ｄ₁及びｄ₂に応じて線形補間することによって算出される。尚、Ｇ信号値とはＧ信号の値を指す（Ｒ信号値、Ｂ信号値も同様）。

参照実画素群を形成する実画素の個数が４であって、参照実画素群が第１〜第４画素から成る場合も、参照実画素群を形成する実画素の個数が２である場合と同様の線形補間によって、補間画素位置におけるＧ信号値が算出される。つまり、第１〜第４画素の画素位置と補間画素位置との距離ｄ₁〜ｄ₄に応じた比率にて第１〜第４画素のＧ信号値Ｖ_G1〜Ｖ_G4を混合することにより、補間画素位置におけるＧ信号値Ｖ_GTが算出される（図１２（ｂ）参照）。

尚、第１〜第ｍ画素のＧ信号値Ｖ_G1〜Ｖ_Gmを混合し、補間画素位置におけるＧ信号値Ｖ_GTを算出することとしても構わない（ｍは２以上の整数）。参照実画素群を形成する実画素の個数がｍ個であったとしても、上述した方法と同様の方法（即ち、画素位置と補間画素位置との距離ｄ₁〜ｄ_mに応じた比率で混合を行う方法）で線形補間を行うことにより、Ｇ信号値Ｖ_GTを算出することが可能である。Ｇ信号に着目して、色補間処理の基本方法を説明したが、Ｂ信号及びＲ信号に対しても、同様の方法に従って色補間処理がなされる。即ち、着目色が緑、青及び赤の何れであるかに拘らず、上述の基本方法に従って着目色の色信号に対する色補間処理がなされる。Ｂ又はＲ信号に対する色補間処理を考える場合は、上述の“Ｇ”を“Ｂ”又は“Ｒ”に読み替えれば足る。

［色補間処理部］
色補間処理部５１は、ＡＦＥ１２から得られる原画像に対して色補間処理を施すことによって色補間画像を生成する。第１実施例及び後述する第２〜第５及び第７実施例において、ＡＦＥ１２から色補間処理部５１に与えられる原画像は、例えば第１、第２、第３又は第４の加算パターンの原画像となる。故に、色補間処理の対象となる原画像における画素間隔（隣接する実画素の間隔）は、図９（ａ）〜（ｄ）に示す如く、不均等である。このような原画像に対して、色補間処理部５１は、上述の基本方法に従う色補間処理を実行する。

図１３（ａ）〜（ｃ）及び図１４（ａ）〜（ｃ）を参照して、第１の加算パターンの原画像２５１から色補間画像２６１を生成するための色補間処理を説明する。図１３（ａ）〜（ｃ）は、夫々、補間画素位置のＧ、Ｂ及びＲ信号を生成するために、原画像２５１の実画素のＧ、Ｂ及びＲ信号が混合される様子を示す図である。図１４（ａ）〜（ｃ）は、夫々、色補間画像２６１上のＧ、Ｂ及びＲ信号を示す図である。図１３（ａ）〜（ｃ）に示される黒塗りの丸は、夫々、色補間画像２６１におけるＧ、Ｂ及びＲ信号が生成されるべき補間画素位置を示し、各黒塗りの丸の周囲に示された黒及び灰色の矢印は、補間画素位置の色信号を生成するために複数の色信号が混合される様子を示している。尚、図示の煩雑化防止のため、色補間画像２６１におけるＧ、Ｂ及びＲ信号を別個に示しているが、原画像２５１から１枚の色補間画像２６１が生成される。

まず、図１３（ａ）及び図１４（ａ）を参照し、原画像２５１におけるＧ信号から色補間画像２６１におけるＧ信号を生成するための色補間処理を説明する。不等式“２≦ｘ≦７”及び“２≦ｙ≦７”を満たす位置［ｘ，ｙ］を内包するブロック２４１に注目する。そして、ブロック２４１内に属する実画素のＧ信号から生成される、色補間画像２６１の補間画素位置のＧ信号を考える。尚、補間画素位置に対して生成されるＧ信号（又はＢ信号若しくはＲ信号）を、特に、補間Ｇ信号（又は補間Ｂ信号若しくは補間Ｒ信号）とも呼ぶ。

ブロック２４１内に属する、原画像２５１上の実画素のＧ信号から、色補間画像２６１に設定される２つの補間画素位置３０１及び３０２についての補間Ｇ信号が生成される。補間画素位置３０１は［３．５，３．５］であり、この補間画素位置３０１の補間Ｇ信号は、実画素Ｐ［２，２］、Ｐ［６，２］、Ｐ［２，６］及びＰ［６，６］のＧ信号を用いて求められる。一方、補間画素位置３０２は［５．５，５．５］であり、この補間画素位置３０２の補間Ｇ信号は、実画素Ｐ［３，３］、Ｐ［７，３］、Ｐ［３，７］及びＰ［７，７］のＧ信号を用いて求められる。

図１４（ａ）では、補間画素位置３０１及び３０２に生成される補間Ｇ信号を夫々符号３１１及び３１２によって指し示している。補間画素位置３０１に生成される補間Ｇ信号３１１の値は、原画像２５１における実画素Ｐ［２，２］、Ｐ［６，２］、Ｐ［２，６］及びＰ［６，６］の画素値（即ちＧ信号値）を、夫々の実画素と補間画素位置３０１との距離に応じた比率で混合することによって生成される。同様に、補間画素位置３０２に生成される補間Ｇ信号３１２の値は、原画像２５１における実画素Ｐ［３，３］、Ｐ［７，３］、Ｐ［３，７］及びＰ［７，７］の画素値（即ちＧ信号値）を、夫々の実画素と補間画素位置３０２との距離に応じた比率で混合することによって生成される。尚、画素値とは、画素信号の値を指す。

ブロック２４１に注目した場合は、２つの補間画素位置３０１及び３０２が設定されて、それらに対する補間Ｇ信号３１１及び３１２が生成される。注目するブロックを、ブロック２４１を起点として、水平方向、垂直方向に４画素ずつずらして、順次、同様の補間Ｇ信号の生成処理を行う。これにより、図２１（ａ）に示すような、色補間画像２６１上のＧ信号が生成される。図２１（ａ）におけるＧ１_2,2及びＧ１_3,3は、夫々、図１４（ａ）の補間Ｇ信号３１１及び３１２に対応している。図２１（ａ）に対する詳細な説明は後述することとし、先に、Ｂ及びＲ信号に対する色補間処理と、第２〜第４の加算パターンを用いた場合の色補間処理を説明する。

図１３（ｂ）及び図１４（ｂ）を参照し、原画像２５１におけるＢ信号から色補間画像２６１におけるＢ信号を生成するための色補間処理を説明する。ブロック２４１に注目し、ブロック２４１内に属する実画素のＢ信号から生成される、色補間画像２６１の補間画素位置のＢ信号を考える。

ブロック２４１内に属する実画素のＢ信号から、色補間画像２６１に設定される補間画素位置３２１についての補間Ｂ信号が生成される。補間画素位置３２１は［３．５，５．５］であり、この補間画素位置３２１の補間Ｂ信号は、実画素Ｐ［３，２］、Ｐ［７，２］、Ｐ［３，６］及びＰ［７，６］のＢ信号を用いて求められる。

図１４（ｂ）では、補間画素位置３２１に生成される補間Ｂ信号を符号３３１によって指し示している。補間画素位置３２１に生成される補間Ｂ信号３３１の値は、原画像２５１における実画素Ｐ［３，２］、Ｐ［７，２］、Ｐ［３，６］及びＰ［７，６］の画素値（即ちＢ信号値）を、夫々の実画素と補間画素位置３２１との距離に応じた比率で混合することによって生成される。

ブロック２４１に注目した場合は補間画素位置３２１が設定されて、これに対する補間Ｂ信号３３１が生成される。注目するブロックを、ブロック２４１を起点として、水平方向、垂直方向に４画素ずつずらして、順次、同様の補間Ｂ信号の生成処理を行う。これにより、図２１（ｂ）に示すような、色補間画像２６１上のＢ信号が生成される。図２１（ｂ）におけるＢ１_2,3は、図１４（ｂ）の補間Ｂ信号３３１に対応している。

図１３（ｃ）及び図１４（ｃ）を参照し、原画像２５１におけるＲ信号から色補間画像２６１におけるＲ信号を生成するための色補間処理を説明する。ブロック２４１に注目し、ブロック２４１内に属する実画素のＲ信号から生成される、色補間画像２６１の補間画素位置のＲ信号を考える。

ブロック２４１内に属する実画素のＲ信号から、色補間画像２６１に設定される補間画素位置３４１についての補間Ｒ信号が生成される。補間画素位置３４１は［５．５，３．５］であり、この補間画素位置３４１の補間Ｒ信号は、実画素Ｐ［２，３］、Ｐ［６，３］、Ｐ［２，７］及びＰ［６，７］のＲ信号を用いて求められる。

図１４（ｃ）では、補間画素位置３４１に生成される補間Ｒ信号を符号３５１によって指し示している。補間画素位置３４１に生成される補間Ｒ信号３５１の値は、原画像２５１における実画素Ｐ［２，３］、Ｐ［６，３］、Ｐ［２，７］及びＰ［６，７］の画素値（即ちＲ信号値）を、夫々の実画素と補間画素位置３４１との距離に応じた比率で混合することによって生成される。

ブロック２４１に注目した場合は補間画素位置３４１が設定されて、これに対する補間Ｒ信号３５１が生成される。注目するブロックを、ブロック２４１を起点として、水平方向、垂直方向に４画素ずつずらして、順次、同様の補間Ｒ信号の生成処理を行う。これにより、図２１（ｃ）に示すような、色補間画像２６１上のＲ信号が生成される。図２１（ｃ）におけるＲ１_3,2は、図１４（ｃ）の補間Ｒ信号３５１に対応している。

第２、第３、第４加算パターンの原画像に対する色補間処理を説明する。第２、第３、第４加算パターンの原画像を、夫々、符号２５２、２５３及び２５４によって参照し、原画像２５２、２５３及び２５４から生成される色補間画像を符号２６２、２６３及び２６４によって参照する。

図１５（ａ）〜（ｃ）は、夫々、色補間画像２６２における補間画素位置のＧ、Ｂ及びＲ信号を生成するために、原画像２５２の実画素のＧ、Ｂ及びＲ信号が混合される様子を示す図である。図１６（ａ）〜（ｃ）は、夫々、色補間画像２６２上のＧ、Ｂ及びＲ信号を示す図である。図１７（ａ）〜（ｃ）は、夫々、色補間画像２６３における補間画素位置のＧ、Ｂ及びＲ信号を生成するために、原画像２５３の実画素のＧ、Ｂ及びＲ信号が混合される様子を示す図である。図１８（ａ）〜（ｃ）は、夫々、色補間画像２６３上のＧ、Ｂ及びＲ信号を示す図である。図１９（ａ）〜（ｃ）は、夫々、色補間画像２６４における補間画素位置のＧ、Ｂ及びＲ信号を生成するために、原画像２５４の実画素のＧ、Ｂ及びＲ信号が混合される様子を示す図である。図２０（ａ）〜（ｃ）は、夫々、色補間画像２６４上のＧ、Ｂ及びＲ信号を示す図である。

図１５（ａ）〜（ｃ）に示される黒塗りの丸は、夫々、色補間画像２６２におけるＧ、Ｂ又はＲ信号が生成されるべき補間画素位置を示し、図１７（ａ）〜（ｃ）に示される黒塗りの丸は、夫々、色補間画像２６３におけるＧ、Ｂ又はＲ信号が生成されるべき補間画素位置を示し、図１９（ａ）〜（ｃ）に示される黒塗りの丸は、夫々、色補間画像２６４におけるＧ、Ｂ又はＲ信号が生成されるべき補間画素位置を示している。各黒塗りの丸の周囲に示された黒色及び灰色の矢印は、補間画素位置の色信号を生成するために複数の色信号が混合される様子を示している。尚、図示の煩雑化防止のため、色補間画像２６２におけるＧ、Ｂ及びＲ信号を別個に示しているが、原画像２５２から１枚の色補間画像２６２が生成される。色補間画像２６３及び２６４についても同様である。

第１の加算パターンの原画像における実画素の存在位置を基準として、第２の加算パターンの原画像における実画素の存在位置は右方向に２・Ｗｐ分且つ下方向に２・Ｗｐ分だけずれており、第３の加算パターンの原画像における実画素の存在位置は右方向に２・Ｗｐ分だけずれており、第４の加算パターンの原画像における実画素の存在位置は下方向に２・Ｗｐ分だけずれている（図４（ａ）も参照）。

上記のように、加算パターンが異なると原画像における実画素の存在位置が異なるものとなる。しかしながら、夫々の色信号が生成される補間画素位置はどの加算パターンにおいても同様の位置となり、かつ均等な（隣接する色信号間の距離が等しい）ものとなる。具体的には、補間Ｇ信号であれば補間画素位置は［１．５＋４ｎ_C，１．５＋４ｎ_D］及び［３．５＋４ｎ_C，３．５＋４ｎ_D］となり、補間Ｂ信号であれば補間画素位置は［３．５＋４ｎ_C，１．５＋４ｎ_D］となり、補間Ｒ信号であれば補間画素位置は［１．５＋４ｎ_C，３．５＋４ｎ_D］となる（尚、ｎ_C及びｎ_Dは整数である）。このように、補間Ｇ信号、補間Ｂ信号及び補間Ｒ信号の夫々の補間画素位置は、所定の位置となる。

そのため、補間Ｇ信号、補間Ｂ信号及び補間Ｒ信号を求めるために用いるＧ信号、Ｂ信号及びＲ信号を有する実画素の位置と、補間Ｇ信号、補間Ｂ信号及び補間Ｒ信号が生成される補間画素位置と、の相対的な位置関係は、以下に示すように加算パターンに応じて異なるものとなる。したがって、第２〜第４の加算パターンを用いて得られる原画像に対する色補間処理の方法は、原画像に応じて（使用する加算パターンに応じて）異なるものとなる。以下に、第２〜第４パターンを用いて得られる原画像に対する色補間処理の具体的な方法と、得られる色補間画像について説明する。

第２の加算パターンについて示す図１５（ａ）〜（ｃ）に対応する原画像２５２に関しては、不等式“４≦ｘ≦９”及び“４≦ｙ≦９”を満たす位置［ｘ，ｙ］を内包するブロック２４２に注目し、そのブロック２４２内に属する実画素のＧ信号、Ｂ信号及びＲ信号から、図１６に示す色補間画像２６２に設定される補間画素位置についての補間Ｇ信号、補間Ｂ信号及び補間Ｒ信号を生成する。補間Ｇ信号は、実画素Ｐ［４，４］、Ｐ［８，４］、Ｐ［４，８］及びＰ［８，８］のＧ信号を用いて求められるもの（補間画素位置［５．５，５．５］）と、実画素Ｐ［５，５］、Ｐ［９，５］、Ｐ［５，９］及びＰ［９，９］のＧ信号を用いて求められるもの（補間画素位置［７．５，７．５］）と、の二つがある。補間画素位置［７．５，５．５］の補間Ｂ信号は、実画素Ｐ［５，４］、Ｐ［９，４］、Ｐ［５，８］及びＰ［９，８］のＢ信号を用いて求められる。補間画素位置［５．５，７．５］の補間Ｒ信号は、実画素Ｐ［４，５］、Ｐ［８，５］、Ｐ［４，９］及びＰ［８，９］のＲ信号を用いて求められる。

第３の加算パターンについて示す図１７（ａ）〜（ｃ）に対応する原画像２５３に関しては、不等式“４≦ｘ≦９”及び“２≦ｙ≦７”を満たす位置［ｘ，ｙ］を内包するブロック２４３に注目し、そのブロック２４３内に属する実画素のＧ信号、Ｂ信号及びＲ信号から、図１８に示す色補間画像２６３に設定される補間画素位置についての補間Ｇ信号、補間Ｂ信号及び補間Ｒ信号を生成する。補間Ｇ信号は、実画素Ｐ［４，２］、Ｐ［８，２］、Ｐ［４，６］及びＰ［８，６］のＧ信号を用いて求められるもの（補間画素位置［７．５，３．５］）と、実画素Ｐ［５，３］、Ｐ［９，３］、Ｐ［５，７］及びＰ［９，７］のＧ信号を用いて求められるもの（補間画素位置［５．５，５．５］）と、の二つがある。補間画素位置［７．５，５．５］の補間Ｂ信号は、実画素Ｐ［５，２］、Ｐ［９，２］、Ｐ［５，６］及びＰ［９，６］のＢ信号を用いて求められる。補間画素位置［５．５，３．５］の補間Ｒ信号は、実画素Ｐ［４，３］、Ｐ［８，３］、Ｐ［４，７］及びＰ［８，７］のＲ信号を用いて求められる。

第４の加算パターンについて示す図１９（ａ）〜（ｃ）に対応する原画像２５４に関しては、不等式“２≦ｘ≦７”及び“４≦ｙ≦９”を満たす位置［ｘ，ｙ］を内包するブロック２４４に注目し、そのブロック２４４内に属する実画素のＧ信号、Ｂ信号及びＲ信号から、図２０に示す色補間画像２６４に設定される補間画素位置についての補間Ｇ信号、補間Ｂ信号及び補間Ｒ信号を生成する。補間Ｇ信号は、実画素Ｐ［２，４］、Ｐ［６，４］、Ｐ［２，８］及びＰ［６，８］のＧ信号を用いて求められるもの（補間画素位置［５．５，５．５］）と、実画素Ｐ［３，５］、Ｐ［７，５］、Ｐ［３，９］及びＰ［７，９］のＧ信号を用いて求められるもの（補間画素位置［３．５，７．５］）と、の二つがある。補間画素位置［３．５，５．５］の補間Ｂ信号は、実画素Ｐ［３，４］、Ｐ［７，４］、Ｐ［３，８］及びＰ［７，８］のＢ信号を用いて求められる。補間画素位置［５．５，７．５］の補間Ｒ信号は、実画素Ｐ［２，５］、Ｐ［６，５］、Ｐ［２，９］及びＰ［６，９］のＲ信号を用いて求められる。

そして、注目するブロック２４２〜２４４の夫々を、ブロック２４２〜２４４を起点として、水平方向、垂直方向に４画素ずつずらして、順次、同様の補間Ｇ信号、補間Ｂ信号及び補間Ｒ信号の生成処理を行う。すると、図２２（ａ）〜（ｃ）、図２３（ａ）〜（ｃ）及び図２４（ａ）〜（ｃ）に示すような、色補間画像２６２〜２６４上のＧ信号、Ｂ信号及びＲ信号が生成される。

図２１（ａ）〜（ｃ）は、夫々、色補間画像２６１のＧ、Ｂ及びＲ信号の存在位置を示す図であり、図２２（ａ）〜（ｃ）は、夫々、色補間画像２６２のＧ、Ｂ及びＲ信号の存在位置を示す図である。また、図２３（ａ）〜（ｃ）は、夫々、色補間画像２６３のＧ、Ｂ及びＲ信号の存在位置を示す図であり、図２４（ａ）〜（ｃ）は、夫々、色補間画像２６４のＧ、Ｂ及びＲ信号の存在位置を示す図である。

図２１（ａ）〜（ｃ）では、夫々、色補間画像２６１上のＧ、Ｂ及びＲ信号が丸によって示されており、丸の中に示された記号は、その丸に対応するＧ、Ｂ及びＲ信号を表している。図２２（ａ）〜（ｃ）では、夫々、色補間画像２６２上のＧ、Ｂ及びＲ信号が丸によって示されており、丸の中に示された記号は、その丸に対応するＧ、Ｂ及びＲ信号を表している。図２３（ａ）〜（ｃ）では、夫々、色補間画像２６３上のＧ、Ｂ及びＲ信号が丸によって示されており、丸の中に示された記号は、その丸に対応するＧ、Ｂ及びＲ信号を表している。図２４（ａ）〜（ｃ）では、夫々、色補間画像２６４上のＧ、Ｂ及びＲ信号が丸によって示されており、丸の中に示された記号は、その丸に対応するＧ、Ｂ及びＲ信号を表している。

色補間画像２６１におけるＧ、Ｂ及びＲ信号を表す記号として、夫々、Ｇ１_i,j、Ｂ１_i,j及びＲ１_i,jを用い、色補間画像２６２におけるＧ、Ｂ及びＲ信号を表す記号として、夫々、Ｇ２_i,j、Ｂ２_i,j及びＲ２_i,jを用いる。また、色補間画像２６３におけるＧ、Ｂ及びＲ信号を表す記号として、夫々、Ｇ３_i,j、Ｂ３_i,j及びＲ３_i,jを用い、色補間画像２６４におけるＧ、Ｂ及びＲ信号を表す記号として、夫々、Ｇ４_i,j、Ｂ４_i,j及びＲ４_i,jを用いる。ｉ及びｊは、整数である。尚、Ｇ１_i,j〜Ｇ４_i,jを、Ｇ信号の値を表す記号として用いることもある（Ｂ１_i,j〜Ｂ４_i,j、Ｒ１_i,j〜Ｒ４_i,jに対しても同様）。

色補間画像２６１の注目画素の色信号Ｇ１_i,j、Ｂ１_i,j及びＲ１_i,jにおけるｉ及びｊは、夫々、色補間画像２６１の注目画素の水平画素番号及び垂直画素番号を示している（色信号Ｇ２_i,j〜Ｇ４_i,j、Ｂ２_i,j〜Ｂ４_i,j及びＲ２_i,j〜Ｒ４_i,jについても同様）。

第１の加算パターンの原画像を用いて生成される色補間画像２６１における色信号Ｇ１_i,j、Ｂ１_i,j及びＲ１_i,jの配置について説明する。図２１（ａ）〜（ｃ）に示す如く、色補間画像２６１の位置［１．５，１．５］を信号基準位置として捉え、この信号基準位置における信号の水平画素番号ｉを１、垂直画素番号ｊを１とする。即ち、色補間画像２６１では、位置［１．５，１．５］のＧ信号をＧ１_1,1とする。
信号基準位置（位置［１．５，１．５］）から右方向に向かって色補間画像２６１上の信号を走査した時、Ｇ１_1,1、Ｂ１_2,1、Ｇ１_3,1、Ｂ１_4,1・・・、の色信号がこの順番で存在する。
信号基準位置（位置［１．５，１．５］）から下方向に向かって色補間画像２６１上の信号を走査した時、Ｇ１_1,1、Ｒ１_1,2、Ｇ１_1,3、Ｒ１_1,4・・・、の色信号がこの順番で存在する。
また、上記のように、所定の補間画素位置に夫々の色信号が配置される。したがって、水平画素番号ｉが偶数かつ垂直画素番号ｊが奇数である色信号はＢ信号となり、水平画素番号ｉが奇数かつ垂直画素番号ｊが偶数である色信号はＲ信号となる。そして、水平画素番号ｉ及び垂直画素番号ｊがともに偶数または奇数となる色信号がＧ信号となる。

第２の加算パターンの原画像を用いて生成される色補間画像２６２における色信号Ｇ２_i,j、Ｂ２_i,j及びＲ２_i,jの配置について説明する。図２２（ａ）〜（ｃ）に示す如く、色補間画像２６２の位置［３．５，３．５］を信号基準位置として捉え、この信号基準位置における信号の水平画素番号ｉを１、垂直画素番号ｊを１とする。即ち、色補間画像２６２では、位置［３．５，３．５］のＧ信号をＧ２_1,1とする。
信号基準位置（位置［３．５，３．５］）から右方向に向かって色補間画像２６２上の信号を走査した時、Ｇ２_1,1、Ｒ２_2,1、Ｇ２_3,1、Ｒ２_4,1・・・、の色信号がこの順番で存在する。
信号基準位置（位置［３．５，３．５］）から下方向に向かって色補間画像２６２上の信号を走査した時、Ｇ２_1,1、Ｂ２_1,2、Ｇ２_1,3、Ｂ２_1,4・・・、の色信号がこの順番で存在する。
また、上記のように、所定の補間画素位置に夫々の色信号が配置される。したがって、水平画素番号ｉが奇数かつ垂直画素番号ｊが偶数である色信号はＢ信号となり、水平画素番号ｉが偶数かつ垂直画素番号ｊが奇数である色信号はＲ信号となる。そして、水平画素番号ｉ及び垂直画素番号ｊがともに偶数または奇数となる色信号がＧ信号となる。

第３の加算パターンの原画像を用いて生成される色補間画像２６３における色信号Ｇ３_i,j、Ｂ３_i,j及びＲ３_i,jの配置について説明する。図２３（ａ）〜（ｃ）に示す如く、色補間画像２６３の位置［３．５，１．５］を信号基準位置として捉え、この信号基準位置における信号の水平画素番号ｉを１、垂直画素番号ｊを１とする。即ち、色補間画像２６３では、位置［３．５，１．５］のＢ信号をＢ３_1,1とする。
信号基準位置（位置［３．５，１．５］）から右方向に向かって色補間画像２６３上の信号を走査した時、Ｂ３_1,1、Ｇ３_2,1、Ｂ３_3,1、Ｇ３_4,1・・・、の色信号がこの順番で存在する。
信号基準位置（位置［３．５，１．５］）から下方向に向かって色補間画像２６３上の信号を走査した時、Ｂ３_1,1、Ｇ３_1,2、Ｂ３_1,3、Ｇ３_1,4・・・、の色信号がこの順番で存在する。
また、上記のように、所定の補間画素位置に夫々の色信号が配置される。したがって、水平画素番号ｉ及び垂直画素番号ｊがともに奇数である色信号はＢ信号となり、水平画素番号ｉ及び垂直画素番号ｊがともに偶数である色信号はＲ信号となる。そして、水平画素番号ｉが偶数かつ垂直画素番号ｊが奇数となる色信号と、水平画素番号ｉが奇数かつ垂直画素番号ｊが偶数となる色信号と、はＧ信号となる。

第４の加算パターンの原画像を用いて生成される色補間画像２６４における色信号Ｇ４_i,j、Ｂ４_i,j及びＲ４_i,jの配置について説明する。図２４（ａ）〜（ｃ）に示す如く、色補間画像２６４の位置［１．５，３．５］を信号基準位置として捉え、この信号基準位置における信号の水平画素番号ｉを１、垂直画素番号ｊを１とする。即ち、色補間画像２６４では、位置［１．５，３．５］のＲ信号をＲ４_1,1とする。
信号基準位置（位置［１．５，３．５］）から右方向に向かって色補間画像２６４上の信号を走査した時、Ｒ４_1,1、Ｇ４_2,1、Ｒ４_3,1、Ｇ４_4,1・・・、の色信号がこの順番で存在する。
信号基準位置（位置［１．５，３．５］）から下方向に向かって色補間画像２６４上の信号を走査した時、Ｒ４_1,1、Ｇ４_1,2、Ｒ４_1,3、Ｇ４_1,4・・・、の色信号がこの順番で存在する。
また、上記のように、所定の補間画素位置に夫々の色信号が配置される。したがって、水平画素番号ｉ及び垂直画素番号ｊがともに偶数である色信号はＢ信号となり、水平画素番号ｉ及び垂直画素番号ｊがともに奇数である色信号はＲ信号となる。そして、水平画素番号ｉが偶数かつ垂直画素番号ｊが奇数となる色信号と、水平画素番号ｉが奇数かつ垂直画素番号ｊが偶数となる色信号と、はＧ信号となる。

また、色補間画像２６１〜２６４における色信号の存在位置は、どの加算パターンを用いる場合であっても、位置［２×（ｉ−１）＋信号基準位置（水平），２×（ｊ−１）＋信号基準位置（垂直）］となる。例えば、第１の加算パターンを用いた場合のＧ１_2,4の位置は、位置［２×（２−１）＋１．５，２×（４−１）＋１．５］、即ち位置［３．５，７．５］となる。

尚、図１３、図１５、図１７及び図１９に示した夫々の補間方法は一例に過ぎず、他の補間方法を採用しても構わない。例えば、参照実画素の数を上記の方法（４個）と異なるものとしても構わないし、補間画素の信号値を算出するために用いる実画素を上記の方法と異なるものとしても構わない。但し、上記の方法のように、補間画素位置に近い実画素を用いて補間を行うこととすると、より正確な補間画素の信号値を求めることが可能となるため好ましい。

また、補間画素位置（色信号の位置）を、上記の位置と異なるものとしても構わない。例えば、補間Ｂ信号の位置と、補間Ｒ信号の位置とを入れ替えても構わないし、補間Ｂ信号及び補間Ｒ信号の位置と、補間Ｇ信号の位置と、を入れ替えても構わない。但し、上記のように何れの加算パターンを用いた原画像から得られる色補間画像においても、同様の補間画素位置（位置［ｘ、ｙ］が等しく生成される色信号の種類が同じ）になるものとする。

［動き検出部］
図１０の動き検出部５３の機能について説明する。動き検出部５３は、上述した例のように、フレームメモリに５２に記憶される第（ｎ−１）フレームの合成画像の画像データと、第ｎフレームの色補間画像の画像データと、に基づいて両画像間のオプティカルフローを求めることにより、動きを検出することとする。合成画像は、色補間画像２６１〜２６４と同様に等間隔の画像となる。即ち、上述した補間画素位置に、夫々Ｇ信号、Ｂ信号及びＲ信号が存在する画像となる。

図２６（ａ）〜（ｃ）を参照して合成画像における夫々の色信号について説明する。図２６（ａ）〜（ｃ）は、合成画像の夫々の色信号を示した図である。図２６（ａ）〜（ｃ）では、Ｇ信号をＧｃ_i,j、Ｂ信号をＢｃ_i,j、Ｒ信号をＲｃ_i,jで示している。図２６（ａ）〜（ｃ）に示す如く、合成画像の色信号であるＧｃ_i,j、Ｂｃ_i,j及びＲｃ_i,jは、第１の加算パターンの原画像を用いて生成される色補間画像２６１の色信号であるＧ１_i,j、Ｂ１_i,j及びＲ１_i,jと、等しい位置［ｘ、ｙ］に存在する。換言すると、ある位置［ｘ、ｙ］に存在する色信号の水平画素番号ｉと垂直画素番号ｊとが、色補間画像２６１と合成画像２７０とで等しいものとなる。即ち、水平画素番号ｉ及び垂直画素番号ｊが、色補間画像２６１と合成画像２７０とで対応したものとなる。

ここで例として、図２２（ａ）〜（ｃ）に示される色補間画像２６２と、フレームメモリ５２に記憶される合成画像２７０（図２６（ａ）〜（ｃ）参照）と、の間のオプティカルフローの導出方法を説明する。図２５に示す如く、動き検出部５３は、まず、色補間画像２６２のＲ、Ｇ及びＢ信号から輝度画像２６２Ｙを生成し、合成画像２７０のＲ、Ｇ及びＢ信号から輝度画像２７０Ｙを生成する。輝度画像は、輝度信号のみを含む濃淡画像である。輝度画像２６２Ｙ及び２７０Ｙの夫々は、輝度信号を有する画素を水平及び垂直方向に等間隔で配置することによって形成される。尚、図２５における“Ｙ”は、輝度信号を表している。

輝度画像２６２Ｙ上の注目画素の輝度信号は、該注目画素に位置する或いは該注目画素の近傍に位置する、色補間画像２６２上の、Ｇ、Ｂ及びＲ信号から導出される。例えば、輝度画像２６２Ｙの、位置［５．５，５．５］における輝度信号を生成する場合は、色補間画像２６２のＧ信号Ｇ２_2,2を位置［５．５，５．５］のＧ信号としてそのまま利用し、色補間画像２６２のＢ信号Ｂ２_1,2及びＢ２_3,2から位置［５．５，５．５］のＢ信号を線形補間によって算出し、色補間画像２６２のＲ信号Ｒ２_2,1及びＲ２_2,3から位置［５．５，５．５］のＲ信号を線形補間によって算出する（図２２（ａ）〜（ｃ）参照）。そして、色補間画像２６２に基づいて算出した、位置［５．５，５．５］のＧ、Ｂ及びＲ信号から、輝度画像２６２Ｙにおける位置［５．５，５．５］の輝度信号を算出する。算出された輝度信号は、輝度画像２６２Ｙ上の、位置［５．５，５．５］に存在する画素の輝度信号として取り扱われる。

輝度画像２７０Ｙの、位置［５．５，５．５］における輝度信号を生成する場合は、例えば合成画像２７０のＧ信号Ｇｃ_3,3を位置［５．５，５．５］のＧ信号としてそのまま利用し、合成画像２７０のＢ信号Ｂｃ_2,3及びＢ２_4,3から位置［５．５，５．５］のＢ信号を線形補間によって算出し、合成画像２７０のＲ信号Ｒｃ_3,2及びＲｃ_3,4から位置［５．５，５．５］のＲ信号を線形補間によって算出する（図２６（ａ）〜（ｃ）参照）。そして、合成画像２７０に基づいて算出した、位置［５．５，５．５］のＧ、Ｂ及びＲ信号から、輝度画像２６２Ｙにおける位置［５．５，５．５］の輝度信号を算出する。算出された輝度信号は、輝度画像２６２Ｙ上の、位置［５．５，５．５］に存在する画素の輝度信号として取り扱われる。

輝度画像２６２Ｙ上の、位置［５．５，５．５］に存在する画素と、輝度画像２７０Ｙ上の、位置［５．５，５．５］に存在する画素は、互いに対応する画素である。位置［５．５，５．５］における輝度信号の算出方法を説明したが、他の位置に対しても同様の方法に従って輝度信号が算出される。これにより、輝度画像２６２Ｙ上の任意の画素位置［ｘ，ｙ］の輝度信号と、輝度画像２７０Ｙ上の任意の画素位置［ｘ，ｙ］の輝度信号が算出される。

動き検出部５３は、輝度画像２６２Ｙ及び２７０Ｙを生成した後、輝度画像２６２Ｙの輝度信号と輝度画像２７０Ｙの輝度信号を対比することによって、輝度画像２６２Ｙ−２７０Ｙ間におけるオプティカルフローを求める。オプティカルフローの導出方法として、ブロックマッチング法、代表点マッチング法、勾配法などを利用することができる。求めたオプティカルフローは、輝度画像２６２Ｙ−２７０Ｙ間における、画像上の被写体（物体）の動きを表す動きベクトルによって表現される。動きベクトルは、その動きの向き及び大きさを示す二次元量である。動き検出部５３は、輝度画像２６２Ｙ−２７０Ｙ間に対して求めたオプティカルフローを、画像２６２−２７０間におけるオプティカルフローとして取り扱って、それを動き検出結果として出力する。

尚、“輝度画像２６２Ｙ−２７０Ｙ間におけるオプティカルフロー（又は動きベクトル）”とは、“輝度画像２６２Ｙと輝度画像２７０Ｙとの間におけるオプティカルフロー（又は動きベクトル）”を意味する。輝度画像２６２Ｙ及び２７０Ｙ以外の複数画像に対して、オプティカルフロー、動きベクトル若しくは動き又はそれらに関連する事項を述べる際も、同様の記載方法を採用する。従って、例えば、“色補間画像２６２−合成画像２７０間におけるオプティカルフロー”とは、“色補間画像２６２と合成画像２７０との間におけるオプティカルフロー”を指す。

また、上記の輝度画像の生成方法は一例に過ぎず、他の生成方法を採用しても構わない。例えば、所定の位置（上記例では［５．５，５．５］）の夫々の色信号を補間によって求めるために用いる色信号を、上記の例と異なるものとしても構わない。

また、上記の例のように、色信号が存在し得る補間画素位置（位置［１．５＋２ｎ_E，１．５＋２ｎ_F］、但し、ｎ_E及びｎ_Fは整数）のＧ信号、Ｂ信号及びＲ信号を補間によって夫々求め、輝度画像を生成しても構わないし、実画素と同じ位置（即ち、［１，１］、［１，２］、・・・、［２，１］、［２，２］・・・となる位置）のＧ信号、Ｂ信号及びＲ信号を補間によって夫々求め、輝度画像を生成しても構わない。

［画像合成部］
図１０の画像合成部５４の機能について説明する。画像合成部５４は、色補間処理部５１から出力される色補間画像の色信号と、フレームメモリ５２に記憶されている合成画像の色信号と、動き検出部５３から入力される動き検出結果とに基づいて、合成画像を生成する。

画像合成部５４は、合成処理を行うに際して、現フレームの色補間画像と前フレームの合成画像とを参照する。このとき、合成される色補間画像の生成に用いられる原画像の加算パターンが時間によって変化すると、合成する色信号の位置［ｘ、ｙ］が異なる問題や、画像合成部５４から出力される合成画像の色信号（Ｇｃ_i,j、Ｂｃ_i,j及びＲｃ_i,j）の位置［ｘ、ｙ］が一定にならずに画像全体が動いてしまう問題が生じ得る。これを回避すべく、一連の合成画像を生成する際に合成基準画像を設定する。そして、例えばフレームメモリ５２や色補間処理部５１から読み出す画像データを制御することにより、上記の加算パターンの時間的な変化に起因する問題に対応する。尚、以下では、第１の加算パターンの原画像を用いて生成される色補間画像２６１が合成基準画像として設定される場合を例に挙げて説明する。

また、以下では、動き検出部５３から出力される動き検出結果については考慮せず、色補間画像間と合成画像とが所定の割合（重み係数：ｋ）で合成される場合について説明する。この重み係数ｋは、生成される現フレームの合成画像の信号値に対する、前フレームの合成画像の信号値の割合（寄与率）を示すものとする。一方、生成される現フレームの合成画像の信号値に対する、現フレームの色補間画像の信号値の割合は（１−ｋ）で表される。

以上の想定の下、図２１（ａ）〜（ｃ）及び図２６（ａ）〜（ｃ）を参照しつつ、第１の加算パターンの原画像を用いて生成される色補間画像２６１と、合成画像２７０（前フレーム）とから１枚の合成画像２７０（現フレーム）を生成する処理方法について説明する。

上述のように、色補間画像２６１の色信号Ｇ１_i,j、Ｂ１_i,j及びＲ１_i,jと、合成画像２７０の色信号Ｇｃ_i,j、Ｂｃ_i,j及びＲｃ_i,jと、は等しい位置に存在する。そのため、本例では、下記式（Ｂ１）〜（Ｂ３）に従って、色補間画像２６１のＧ、Ｂ及びＲ信号値と、合成画像２７０のＧ、Ｂ及びＲ信号値と、を加重加算することにより現フレームの合成画像２７０のＧ、Ｂ及びＲ信号値Ｇｃ_i,j、Ｂｃ_i,j及びＲｃ_i,jを算出する。尚、下記式（Ｂ１）〜（Ｂ３）中において、前フレームの合成画像２７０のＧ、Ｂ及びＲ信号値を、Ｇｐｃ_i,j、Ｂｐｃ_i,j及びＲｐｃ_i,jとし、現フレームの合成画像２７０のＧ、Ｂ及びＲ信号値と区別する。

式（Ｂ１）〜（Ｂ３）に示すように、前フレームの合成画像２７０のＧ、Ｂ及びＲ信号値Ｇｐｃ_i,j、Ｂｐｃ_i,j及びＲｐｃ_i,jと、色補間画像２６１のＧ、Ｂ及びＲ信号値Ｇ１_i,j、Ｂ１_i,j及びＲ１_i,jとは、水平画素番号ｉ及び垂直画素番号ｊをずらすことなく合成を行う。これによって、現フレームの合成画像２７０のＧ、Ｂ及びＲ信号値Ｇｃ_i,j、Ｂｃ_i,j及びＲｃ_i,jを得ることができる。

また、図２２（ａ）〜（ｃ）及び図２６（ａ）〜（ｃ）を参照しつつ、第２の加算パターンの原画像を用いて生成される色補間画像２６２と、合成画像２７０（前フレーム）とから１枚の合成画像２７０（現フレーム）を生成する処理方法について説明する。

色補間画像２６２（第２の加算パターン）と、合成画像２７０（第１の加算パターンと同様）は、等しい位置［ｘ、ｙ］を示す水平画素番号ｉ及び垂直画素番号ｊが異なるものとなる。具体的には、色補間画像２６２の色信号Ｇ２_i-1,j-1、Ｂ２_i-1,j-1及びＲ２_i-1,j-1と、合成画像２７０の色信号Ｇｃ_i,j、Ｂｃ_i,j及びＲｃ_i,jとが夫々等しい位置を示したものとなる。そのため、本例では、下記式（Ｂ４）〜（Ｂ６）に従って、色補間画像２６２のＧ、Ｂ及びＲ信号値と、合成画像２７０のＧ、Ｂ及びＲ信号値と、を加重加算することにより現フレームの合成画像２７０のＧ、Ｂ及びＲ信号値Ｇｃ_i,j、Ｂｃ_i,j及びＲｃ_i,jを算出する。尚、下記式（Ｂ４）〜（Ｂ６）中においても、前フレームの合成画像２７０のＧ、Ｂ及びＲ信号値を、Ｇｐｃ_i,j、Ｂｐｃ_i,j及びＲｐｃ_i,jとし、現フレームの合成画像２７０のＧ、Ｂ及びＲ信号値と区別する。

式（Ｂ４）〜（Ｂ６）に示すように、本例の場合は水平画素番号ｉ及び垂直画素番号ｊをずらして合成する。具体的には、前フレームの合成画像２７０のＧ、Ｂ及びＲ信号値Ｇｐｃ_i,j、Ｂｐｃ_i,j及びＲｐｃ_i,jと、色補間画像２６２のＧ、Ｂ及びＲ信号値Ｇ２_i-1,j-1、Ｂ２_i-1,j-1及びＲ２_i-1,j-1と、を合成する。これによって、現フレームの合成画像２７０のＧ、Ｂ及びＲ信号値Ｇｃ_i,j、Ｂｃ_i,j及びＲｃ_i,jを得ることができる。

また、図２３（ａ）〜（ｃ）及び図２６（ａ）〜（ｃ）を参照しつつ、第３の加算パターンの原画像を用いて生成される色補間画像２６３と、合成画像２７０（前フレーム）とから１枚の合成画像２７０（現フレーム）を生成する処理方法について説明する。

色補間画像２６３（第３の加算パターン）と、合成画像２７０（第１の加算パターンと同様）は、等しい位置［ｘ、ｙ］を示す水平画素番号ｉが異なるものとなる。具体的には、色補間画像２６３の色信号Ｇ３_i-1,j、Ｂ３_i-1,j及びＲ３_i-1,jと、合成画像２７０の色信号Ｇｃ_i,j、Ｂｃ_i,j及びＲｃ_i,jとが夫々等しい位置を示したものとなる。そのため、本例では、下記式（Ｂ７）〜（Ｂ９）に従って、色補間画像２６３のＧ、Ｂ及びＲ信号値と、合成画像２７０のＧ、Ｂ及びＲ信号値と、を加重加算することにより現フレームの合成画像２７０のＧ、Ｂ及びＲ信号値Ｇｃ_i,j、Ｂｃ_i,j及びＲｃ_i,jを算出する。尚、下記式（Ｂ７）〜（Ｂ９）中においても、前フレームの合成画像２７０のＧ、Ｂ及びＲ信号値を、Ｇｐｃ_i,j、Ｂｐｃ_i,j及びＲｐｃ_i,jとし、現フレームの合成画像２７０のＧ、Ｂ及びＲ信号値と区別する。

式（Ｂ７）〜（Ｂ９）に示すように、本例の場合は水平画素番号ｉ及び垂直画素番号ｊをずらして合成する。具体的には、前フレームの合成画像２７０のＧ、Ｂ及びＲ信号値Ｇｐｃ_i,j、Ｂｐｃ_i,j及びＲｐｃ_i,jと、色補間画像２６３のＧ、Ｂ及びＲ信号値Ｇ３_i-1,j、Ｂ３_i-1,j及びＲ３_i-1,jと、を合成する。これによって、現フレームの合成画像２７０のＧ、Ｂ及びＲ信号値Ｇｃ_i,j、Ｂｃ_i,j及びＲｃ_i,jを得ることができる。

また、図２４（ａ）〜（ｃ）及び図２６（ａ）〜（ｃ）を参照しつつ、第４の加算パターンの原画像を用いて生成される色補間画像２６４と、合成画像２７０（前フレーム）とから１枚の合成画像２７０（現フレーム）を生成する処理方法について説明する。

色補間画像２６４（第４の加算パターン）と、合成画像２７０（第１の加算パターンと同様）は、等しい位置［ｘ、ｙ］を示す垂直画素番号ｊが異なるものとなる。具体的には、色補間画像２６４の色信号Ｇ４_i,j-1、Ｂ４_i,j-1及びＲ４_i,j-1と、合成画像２７０の色信号Ｇｃ_i,j、Ｂｃ_i,j及びＲｃ_i,jとが夫々等しい位置を示したものとなる。そのため、本例では、下記式（Ｂ１０）〜（Ｂ１２）に従って、色補間画像２６３のＧ、Ｂ及びＲ信号値と、合成画像２７０のＧ、Ｂ及びＲ信号値と、を加重加算することにより現フレームの合成画像２７０のＧ、Ｂ及びＲ信号値Ｇｃ_i,j、Ｂｃ_i,j及びＲｃ_i,jを算出する。尚、下記式（Ｂ１０）〜（Ｂ１２）中においても、前フレームの合成画像２７０のＧ、Ｂ及びＲ信号値を、Ｇｐｃ_i,j、Ｂｐｃ_i,j及びＲｐｃ_i,jとし、現フレームの合成画像２７０のＧ、Ｂ及びＲ信号値と区別する。

式（Ｂ１０）〜（Ｂ１２）に示すように、本例の場合は水平画素番号ｉ及び垂直画素番号ｊをずらして合成する。具体的には、前フレームの合成画像２７０のＧ、Ｂ及びＲ信号値Ｇｐｃ_i,j、Ｂｐｃ_i,j及びＲｐｃ_i,jと、色補間画像２６４のＧ、Ｂ及びＲ信号値Ｇ４_i,j-1、Ｂ４_i,j-1及びＲ４_i,j-1と、を合成することにより、現フレームの合成画像２７０のＧ、Ｂ及びＲ信号値Ｇｃ_i,j、Ｂｃ_i,j及びＲｃ_i,jを得ることができる。

尚、第１の加算パターンの原画像を用いて生成される色補間画像２６１を合成基準画像としたが、他の加算パターンの原画像を用いて生成される色補間画像２６２〜２６４を合成基準画像としても構わない。即ち、合成画像２７０の色信号Ｇｃ_i,j、Ｂｃ_i,j及びＲｃ_i,jが、第１の加算パターンの原画像を用いて生成される色補間画像２６１の色信号Ｇ１_i,j、Ｂ１_i,j及びＲ１_i,jと等しい位置［ｘ、ｙ］に存在するものとしたが、他の加算パターンの原画像を用いて生成される色補間画像２６２〜２６４の色信号（Ｇ２_i,j〜Ｇ４_i,j、Ｂ２_i,j〜Ｂ４_i,j及びＲ２_i,j〜Ｒ４_i,j）と等しい位置［ｘ、ｙ］に存在するものとしても構わない。

また、動き検出部５３による輝度画像の比較の際に、上記式（Ｂ１）〜（Ｂ１２）に示す対応関係を用いても構わない。特に、動き検出部５３が夫々の補間画素位置の輝度信号を求めて輝度画像を生成する場合、得られる輝度信号の水平画素番号ｉ及び垂直画素番号ｊを合成時と同様にずらして比較することとする。このように比較することで、夫々の輝度Ｙが示す位置［ｘ、ｙ］がずれることを抑制することができる。

［色同時化処理部］
図１０の色同時化処理部５５の機能について説明する。上述したように、色同時化処理部５３は、画像合成部５４から出力される合成画像に色同時化処理（デモザイキング）を施すことで出力合成画像を生成し、出力する。色同時化処理とは、１つの補間画素位置に３つの色信号が備えられている画像を生成する処理であり、必要となるＧ信号、Ｂ信号及びＲ信号は、後述のように補間によって夫々求める。

図２７（ａ）〜（ｃ）を参照して、出力合成画像について説明する。図２７（ａ）〜（ｃ）は、出力合成画像の夫々の色信号について示した図である。２７（ａ）〜（ｃ）では、出力合成画像２８０のＧ信号をＧｏ_i,j、Ｂ信号をＢｏ_i,j、Ｒ信号をＲｏ_i,jで示す。図２７（ａ）〜（ｃ）に示す如く、出力合成画像２８０のＧ信号Ｇｏ_i,j、Ｂ信号Ｂｏ_i,j及びＲ信号Ｒｏ_i,jと、合成画像２７０（図２６（ａ）〜（ｃ）参照）の色信号Ｇｃ_i,j、Ｂｃ_i,j及びＲｃ_i,jと、は等しい位置［ｘ、ｙ］に存在する。換言すると、ある位置［ｘ、ｙ］に存在する色信号の水平画素番号ｉと垂直画素番号ｊとが、合成画像２７０と出力合成画像２８０とで等しいものとなる。即ち、水平画素番号ｉ及び垂直画素番号ｊが、合成画像２７０と出力合成画像２８０とで対応したものとなる。

但し、出力合成画像２８０では、色信号Ｇｏ_i,j、Ｂｏ_i,j及びＲｏ_i,jの３つの信号が、位置［１．５＋２×（ｉ−１），１．５＋２×（ｊ−１）］に色成分として揃って存在することとなる。この点において、ある補間画素位置に一つの色信号のみが存在し得る合成画像２７０と異なる。

色同時化処理を行う場合、例えば信号値Ｇｏ_1,1として、合成画像２７０の信号値Ｇｃ_1,1をそのまま用いても構わない。また、信号値Ｇｏ_2,1を、合成画像２７０の信号値Ｇｃ_1,1と信号値Ｇｃ_3,1とを線形補間することによって求めても構わない（図２６（ａ）参照）。Ｂ信号、Ｒ信号も同様であり、例えば信号値Ｂｏ_2,1として、合成画像２７０の信号値Ｂｃ_2,1をそのまま用いても構わない。また、信号値Ｂｏ_3,1を、合成画像２７０の信号値Ｂｃ_2,1と信号値Ｂｃ_4,1とを線形補間することによって求めても構わない（図２６（ｂ）参照）。また、信号値Ｒｏ_1,2として、合成画像２７０の信号値Ｒｃ_1,2をそのまま用いても構わない。また、信号値Ｒｏ_2,2は、合成画像２７０の信号値Ｒｃ_1,2と信号値Ｒｃ_3,2とを線形補間することによって求めても構わない（図２６（ｃ）参照）。

以上に示すような方法によって、全ての補間画素位置に対して色信号Ｇｏ_i,j、Ｂｏ_i,j及びＲｏ_i,jの３つの信号を生成することで、出力合成画像を生成する。

尚、上記の補間方法は一例に過ぎず、他の方法で補間を行うことにより、色同時化処理を行っても構わない。例えば、夫々の色信号を補間によって求めるために用いる色信号を、上記の例と異なるものとしても構わない。また、求める色信号の周辺に存在する４つの色信号を用いて、補間を行うこととしても構わない。

上述のような出力合成画像の生成手法に基づく効果について考察する。まず、図５８に対応する従来手法では、加算読み出しを行った原画素を補間するためジャギーや偽色を抑制することができるが、補間によって得られる画像の解像感が劣化する（図５８のブロック９０２及び９０３参照）。これに対して本発明に係る第１実施例では、時間的に異なる加算パターンを用いて原画像を読み出し、これらの原画像から時間的に異なる色補間画像を生成する（図２２〜図２４参照）。そして、時間的に異なる色補間画像と、前フレームの合成画像（図２６参照）と、を合成することにより現フレームの合成画像を得る。この合成画像より得られる出力合成画像（図２７参照）は、図５８の出力画像（図５８のブロック９０５参照）と比べて生成に用いる画素が多いため、解像感の向上が図られる。また、図５８に対応する従来手法と同様に、ジャギーや偽色を抑制することができる。

さらに、撮像される画像においてノイズはランダムに発生するため、現フレームより前の色補間画像を順次合成して生成される前フレームの合成画像は、ノイズが低減されたものとなる。そのため、前フレームの合成画像を合成に利用することで、得られる現フレームの合成画像及び出力合成画像のノイズを低減することができる。そのため、ジャギー及び偽色とノイズとを同時に低減することができる。

また、ジャギー及び偽色とノイズとを低減するための合成が一度だけであり、合成する画像は、順次入力される現フレームの色補間画像と、前フレームの合成画像だけである。そのため、合成を行うために記憶する画像が前フレームの合成画像だけとなる。したがって、合成を行うために必要とするフレームメモリ５２を１つ（１フレーム分）とすることが可能となり、回路構成の簡略化や小型化を図ることが可能となる。

尚、ＡＦＥ１２から色補間処理部５１に入力される原画像について、原画像に生成される加算パターンが異なるものとして説明したが、フレームごとに異ならせても構わない。例えば、第１の加算パターン及び第２の加算パターンが交互に用いられることとしても構わないし、第１〜第４の加算パターンが順に（サイクリックに）用いられることとしても構わない。

＜＜第２実施例＞＞
次に、第２実施例について説明する。第１実施例では、動き検出部５３の出力を無視して画像合成部５４による合成処理を中心に述べたが、第２実施例では、動き検出部５３が検出した動きを考慮した画像合成部５４の構成及び動作を説明する。図２８は、第２実施例に係る、図１の撮像装置１の一部ブロック図であり、図２８には、図１の映像信号処理部１３として用いられる映像信号処理部１３ａの内部ブロック図が示されていると共に、画像合成部５４の内部ブロック図が示されている。

図２８の画像合成部５４は、重み係数算出部６１及び合成処理部６２を備える。重み係数算出部６１及び合成処理部６２を除く映像信号処理部１３ａ内の構成及び動作は、第１実施例で述べたものと同じであるため、以下、重み係数算出部６１及び合成処理部６２の動作について説明する。第１実施例で述べた事項は、矛盾無き限り、第２実施例にも適用される。

第１実施例において説明したように、動き検出部５３は、現フレームの色補間画像と前フレームの合成画像とに基づいて動き検出結果を出力する。そして、画像合成部５４は、動き検出結果に基づいて、合成処理に用いる重み係数を設定する。第２実施例では、この動き検出部５３から出力される動き検出結果と、動き検出結果に応じて設定される重み係数ｗと、について中心に説明する。また、以下では説明の具体化のため、現フレームの色補間画像が、第１の加算パターンの原画像を用いて生成された色補間画像２６１（図２１参照）である場合について説明する。

動き検出部５３は、色補間画像２６１−合成画像２７０間に対して、例えば上述した方法で動きベクトル（オプティカルフロー）を求め、画像合成部５４の重み係数算出部６１に出力する。重み係数算出部６１は、入力される動きベクトルの大きさ｜Ｍ｜に基づいて重み係数ｗを算出する。この際、大きさ｜Ｍ｜が増大するに従って重み係数ｗが小さくなるように重み係数ｗを算出する。但し、重み係数ｗ（及び後述のｗ_i,j）の上限値（重み係数最大値）及び下限値を、夫々Ｚ及び０とする。

図２９は、重み係数ｗと大きさ｜Ｍ｜との関係例を示す図である。この関係例を採用する場合、式“ｗ＝−Ｋ・｜Ｍ｜＋Ｚ”に従って重み係数ｗが算出される。但し、｜Ｍ｜＞Ｚ／Ｋの範囲内では、ｗ＝０である。また、Ｋは、所定の正の値を有する、｜Ｍ｜とｗとの関係式における傾きである。

動き検出部５３により色補間画像２６１−合成画像２７０間に対して求められたオプティカルフローは、画像座標面ＸＹ上の様々な位置における動きベクトルの束によって形成される。例えば、色補間画像２６１及び合成画像２７０の夫々の全体画像領域が複数の一部画像領域に分割され、１つの一部画像領域に対して夫々１つの動きベクトルが求められる。今、図３０（ａ）に示す如く、色補間画像２６１又は合成画像２７０である画像２９０の全体画像領域が９つの一部画像領域ＡＲ₁〜ＡＲ₉に分割され、一部画像領域ＡＲ₁〜ＡＲ₉の夫々に対して１つずつ動きベクトルが求められた場合を想定する。勿論、一部画像領域の個数を９以外にすることも可能である。図３０（ｂ）に示す如く、一部画像領域ＡＲ₁〜ＡＲ₉に対して求められた、色補間画像２６１−合成画像２７０間の動きベクトルを、夫々符号Ｍ₁〜Ｍ₉によって表す。動きベクトルＭ₁〜Ｍ₉の大きさは、夫々、｜Ｍ₁｜〜｜Ｍ₉｜によって表される。尚、図３０（ｂ）中、符号２９１及び２９２で示した画像は、色補間画像及び合成画像を夫々示すものとする。

重み係数算出部６１は、動きベクトルＭ₁〜Ｍ₉の大きさ｜Ｍ₁｜〜｜Ｍ₉｜に基づいて、画像座標面ＸＹ上の様々な位置における重み係数ｗを算出する。水平画素番号及び垂直画素番号が夫々ｉ及びｊである場合の重み係数ｗをｗ_i,jにて表す。重み係数ｗ_i,jは、合成画像の色信号Ｇｃ_i,j、Ｂｃ_i,j及びＲｃ_i,jを有する画素（画素位置）に対する重み係数であり、その画素の属する一部画像領域についての動きベクトルから算出される。従って例えば、Ｇ信号Ｇｃ_1,1が存在する画素位置［１．５，１．５］が一部画像領域ＡＲ₁に属するのであれば、大きさ｜Ｍ₁｜に基づき、式“ｗ_1,1＝−Ｋ・｜Ｍ₁｜＋Ｚ”に従って重み係数ｗ_1,1が算出され（但し、｜Ｍ₁｜＞Ｚ／Ｋの範囲内では、ｗ_1,1＝０）、Ｇ信号Ｇｃ_1,1が存在する画素位置［１．５，１．５］が一部画像領域ＡＲ₂に属するのであれば、大きさ｜Ｍ₂｜に基づき、式“ｗ_1,1＝−Ｋ・｜Ｍ₂｜＋Ｚ”に従って重み係数ｗ_1,1が算出される（但し、｜Ｍ₂｜＞Ｚ／Ｋの範囲内では、ｗ_1,1＝０）。

合成処理部６２は、現時点において色補間処理部５１から出力されている現フレームについての色補間画像２６１のＧ、Ｂ及びＲ信号と、フレームメモリ５２に記憶されている前フレームの合成画像２７０のＧ、Ｂ及びＲ信号とを、重み係数算出部６１にて算出された重み係数ｗ_i,jに応じた比率にて合成する。即ち、上記式（Ｂ１）〜（Ｂ３）に示す重み係数ｋとして、重み係数ｗ_i,jを用いて合成する。これにより、現フレームについての合成画像２７０を生成する。

現フレームの色補間画像と前フレームの合成画像との合成によって合成画像を生成する際、両画像間における被写体の動きが比較的大きいと、この合成画像から生成される出力合成画像において輪郭部がぼやけてしまう、或いは、二重像が表れるおそれがある。そこで、上述の如く、両画像間における動きベクトルの大きさが比較的大きいならば、合成によって生成される現フレームの合成画像に対する前フレームの合成画像の寄与率（重み係数ｗ_i,j）を低下させる。これにより、出力合成画像においる輪郭部のぼけや二重像の発生が抑制される。

また、重み係数ｗ_i,jを算出するために用いる動き検出結果を、現フレームの色補間画像と、前フレームの合成画像から検出することとしている。即ち、合成のために記憶している前フレームの合成画像を利用することとしている。そのため、動き検出のための画像（例えば、連続する２枚の色補間画像など）を別途記憶する必要をなくすことができる。したがって、備えるフレームメモリ５２を１つ（１フレーム分）とすることが可能となり、回路構成の簡略化や小型化を図ることが可能となる。

尚、上述の例では、画像座標面ＸＹ上の様々な位置における重み係数ｗ_i,jを設定するようにしているが、現フレームの色補間画像と前フレームの合成画像とを合成する際に設定される重み係数の個数を１つとし、その１つの重み係数を全体画像領域に対して共通使用するようにしてもよい。例えば、動きベクトルＭ₁〜Ｍ₉を平均化することによって、色補間画像２６１−合成画像２７０間の、被写体の平均的な動きを表す平均動きベクトルＭ_AVEを求め、平均動きベクトルＭ_AVEの大きさ｜Ｍ_AVE｜を用いて、式“ｗ＝−Ｋ・｜Ｍ_AVE｜＋Ｚ”に従って１つの重み係数ｗを算出する（但し、｜Ｍ_AVE｜＞Ｚ／Ｋの範囲内ではｗ＝０）。そして、｜Ｍ_AVE｜を用いて算出した重み係数ｗを上記式（Ｂ１）〜（Ｂ１２）の重み係数ｋに代入して得られる各式に従って、信号値Ｇｃ_i,j、Ｂｃ_i,j及びＲｃ_i,jを求めるようにしてもよい。

＜＜第３実施例＞＞
次に、第３実施例について説明する。第３実施例では、重み係数を設定する際に、色補間画像及び合成画像の画像間における被写体の動きに加えて画像特徴量も考慮するものとする。画像特徴量とは、ある注目した画素の周辺の画素の特徴を示したものである。また、図３１は、第３実施例に係る図１の撮像装置１の一部ブロック図である。図３１には、図１の映像信号処理部１３として用いられる映像信号処理部１３ｂの内部ブロック図が示されている。

映像信号処理部１３ｂは、符号５１〜５３、５４ｂ、５５及び５６によって参照される各部位を備え、その内、符号５１〜５３、５５及び５６によって参照される各部位は、図１０に示すそれらと同じものである。図３１の画像合成部５４ｂは、画像特徴量算出部７０、重み係数算出部７１及び合成処理部７２を備える。画像合成部５４ｂを除く映像信号処理部１３ｂ内の構成及び動作は、第１又は第２実施例で述べた、映像信号処理部１３ａ内のそれらと同じであるため、以下、画像合成部５４ｂの構成及び動作について説明する。第１及び第２実施例で述べた事項は、矛盾無き限り、第３実施例にも適用される。

説明の具体化のため、第３実施例においても第２実施例と同様に、合成に用いられる現フレームの色補間画像が、第１の加算パターンの原画像を用いて生成された色補間画像２６１（図２１参照）である場合について説明する。また、第３実施例では、画像特徴量算出部７０によって算出される画像特徴量Ｃ_oと、画像特徴量Ｃ_oに応じて設定される重み係数ｗと、について中心に説明する。

画像特徴量算出部７０は、色補間処理部５１から出力されている現フレームの色補間画像２６１のＧ、Ｂ及びＲ信号を入力信号として受け、この入力信号に基づいて、現フレームの色補間画像２６１の画像特徴量を算出する。また、画像特徴量算出部７０は、現フレームの色補間画像２６１の輝度画像２６１Ｙ（図２２参照）を用いて、画像特徴量Ｃ_oを算出する。

画像特徴量Ｃ_oとして、例えば、下記式（Ｃ１）を用いて算出される、輝度画像２６１Ｙの標準偏差σを利用することができる。下記式（Ｃ１）において、ｎは算出に用いる画素数を表し、ｘ_kは画素の輝度値、ｘ_aveは算出に用いる画素の輝度値の平均値を表す。

尚、この標準偏差σを、一部画像領域ＡＲ₁〜ＡＲ₉ごとの値としても構わないし、輝度画像２６１Ｙの全体の値としても構わない。また、標準偏差σを、一部画像領域ＡＲ₁〜ＡＲ₉ごとに算出した標準偏差を平均化した値としても構わない。

また例えば、輝度画像２６１Ｙにおける所定の高域周波数成分Ｈをハイパスフィルタによって抽出することによって得られる値を、画像特徴量Ｃ_oに利用することも可能である。より具体的に、例えば、ハイパスフィルタを所定のフィルタサイズを有するラプラシアンフィルタ（例えば、図３２（ａ）に示す３×３のラプラシアンフィルタ）にて形成し、そのラプラシアンフィルタを輝度画像２６１Ｙの各画素に作用させる空間フィルタリングを行う。そうすると、ハイパスフィルタからは、そのラプラシアンフィルタのフィルタ特性に応じた出力値が順次得られる。そして、これらの値を用いて高域周波数成分Ｈを算出する。尚、上記のハイパスフィルタの出力値の絶対値（ハイパスフィルタによって抽出された高域周波数成分の大きさ）を積算し、積算した値を高域周波数成分Ｈとしても構わない。

また、高域周波数成分Ｈを、画素ごとの値としても構わないし、輝度画像２６１Ｙの一部画像領域ＡＲ₁〜ＡＲ₉ごとの値としても構わないし、輝度画像２６１Ｙの全体の値としても構わない。また、高域周波数成分Ｈを、画素ごとに算出した高周波成分を一部画像領域ＡＲ₁〜ＡＲ₉ごとで夫々平均化した値としても構わない。また、高域周波数成分Ｈを、一部画像領域ＡＲ₁〜ＡＲ₉ごとに算出した高周波成分を平均化した値としても構わない。

さらに例えば、輝度画像２６１Ｙにおけるエッジ成分Ｐ（画素の変化量）を微分フィルタによって抽出することによって得られる値を、画像特徴量Ｃ_oに利用することも可能である。より具体的に、例えば、微分フィルタを所定のフィルタサイズを有するプレウィットフィルタ（例えば、図３２（ｂ）に示す３×３のプレウィットフィルタ）にて形成し、そのプレウィットフィルタを輝度画像２６１Ｙの各画素に作用させる空間フィルタリングを行う。そうすると、微分フィルタからは、その微分フィルタのフィルタ特性に応じた出力値が順次得られる。そして、これらの値を用いてエッジ成分Ｐを算出する。尚、水平方向のエッジ成分Ｐ_xと、垂直方向のエッジ成分Ｐ_yとを別々に算出することが可能であり、下記式（Ｃ２）及び（Ｃ３）を用いてエッジ成分Ｐを算出しても構わない。

上記式（Ｃ２）及び（Ｃ３）に示す例では、エッジ成分Ｐとして、水平方向のエッジ成分Ｐ_xと、垂直方向のエッジ成分Ｐ_yとの中の大きい方の値を利用することとしている。尚、エッジ成分Ｐを、画素ごとの値としても構わないし、輝度画像２６１Ｙの一部画像領域ＡＲ₁〜ＡＲ₉ごとの値としても構わないし、輝度画像２６１Ｙの全体の値としても構わない。また、エッジ成分Ｐを、画素ごとに算出したエッジ成分を一部画像領域ＡＲ₁〜ＡＲ₉ごとで夫々平均化した値としても構わない。また、エッジ成分Ｐを、一部画像領域ＡＲ₁〜ＡＲ₉ごとに算出したエッジ成分を平均化した値としても構わない。

以上のように算出される夫々の値（標準偏差σ、高域周波数成分Ｈ及びエッジ成分Ｐ）は、大きいほど注目した画素の周辺の画素の輝度の変化が大きいことを示し、小さいほど注目した画素の周辺の画素の輝度の変化が小さいことを示す。そのため、下記式（Ｃ４）に示すように、上記の夫々の値を加重加算して組み合わせた値を、画像特徴量Ｃ_oとすることも可能である。尚、下記式中、Ａ〜Ｃは、夫々の値の大きさを調整したり加算割合を設定したりするための係数である。

上記のように、画像特徴量Ｃ_oに寄与する夫々の値（標準偏差σ、高域周波数成分Ｈ及びエッジ成分Ｐ）は、一部画像領域ＡＲ₁〜ＡＲ₉ごとに算出することが可能である。そのため、画像特徴量Ｃ_oも一部画像領域ＡＲ₁〜ＡＲ₉ごとに算出することが可能である。尚、以下の説明においては、画像特徴量Ｃ_oが一部画像領域ＡＲ₁〜ＡＲ₉ごとに算出されるものとし、一部画像領域ＡＲ_mに対する画像特徴量を、画像特徴量Ｃ_omで表すこととする。但し、本例の場合ｍは、１≦ｍ≦９を満たす整数とする。

画像特徴量算出部７０は、画像特徴量Ｃ_o1〜Ｃ_o9に基づいて、上述した重み係数最大値Ｚ₁〜Ｚ₉（図２９参照）を一部画像領域ＡＲ₁〜ＡＲ₉ごとに算出する。重み係数最大値Ｚ_mは、図３２（ｃ）に示す如く、画像特徴量Ｃ_omがゼロ以上かつ所定の画像特徴量閾値Ｃ_TH1より小さい値である場合（０≦Ｃ_om＜Ｃ_TH1）、１に設定される。また、画像特徴量Ｃ_omが所定の画像特徴量閾値Ｃ_TH2以上の値である場合（Ｃ_TH2≦Ｃ_m）は、０．５に設定される。但し、Ｃ_TH1＞０、Ｃ_TH2＞０、Ｃ_TH1＜Ｃ_TH2である。

また、重み係数最大値Ｚ_mは、所定の画像特徴量閾値Ｃ_TH1以上でありかつ所定の画像特徴量閾値Ｃ_TH2より小さい場合（Ｃ_TH1≦Ｃ_om＜Ｃ_TH2）は、画像特徴量Ｃ_omの値に応じて１〜０．５の間の値に設定される。この場合、画像特徴量Ｃ_omの値が大きいほど重み係数最大値Ｚ_mが小さい値となる。より具体的には例えば、式“Ｚ_m＝−Θ・Ｃ_om＋１”に従って算出される。ここで、Θ＝０．５／（Ｃ_TH2−Ｃ_TH1）であり、所定の正の値を有する、画像特徴量Ｃ_omと重み係数最大値Ｚ_mとの関係式における傾きである。

第２実施例において説明したように、重み係数算出部７１は、動き検出部５３から出力される動き検出結果に応じて重み係数ｗ_i,jを設定する。本実施例ではこのとき、重み係数算出部７１が、上記のように画像特徴量算出部７０から出力される画像特徴量Ｃ_omに応じて、重み係数ｗ_i,jの最大値である重み係数最大値Ｚ_mを決定することとなる。

撮像される画像においてノイズはランダムに発生するため、現フレームより前の色補間画像を順次合成して生成されている前フレームの合成画像２７０（図２６参照）は、ノイズが低減されたものとなる。また、現フレームの色補間画像２６１（図２１参照）の平坦画像領域（画像特徴量Ｃ_omが比較的小さい画像領域）は、ジャギーが目立ちにくく合成によってジャギーを低減する意義が小さいため、前フレームの寄与率が高くなっても問題がない。そこで、このような画像領域については、重み係数最大値Ｚ_mを大きくして前フレームの合成画像２７０の寄与率が大きくなることを許容する。このように重み係数最大値Ｚ_mを設定することによって、第１及び第２実施例で説明した合成画像から生成される出力合成画像よりも、さらにノイズが低減された出力合成画像を得ることが可能となる。

一方、画像特徴量Ｃ_omが比較的大きい画像領域はエッジを多く含む画像領域であるため、ジャギーが目立ちやすい。そのため、画像合成によるジャギー低減効果が大きい。そこで、効果的な合成を実現するために、重み係数最大値Ｚ_mを０．５に近い値とする。このように構成すると、動きがない画像領域においては、現フレームの合成画像に対する色補間画像２６１と前フレームの合成画像２７０との寄与率がともに０．５に近い値となる。そのため、ジャギーを効果的に低減することが可能となる。

したがって、ジャギー低減が必要とされる画像領域においては効果的にジャギーを低減するとともに、ジャギー低減があまり必要とされない画像領域ではさらなるノイズ低減を行うことが可能となる。

尚、画像特徴量Ｃ_oは、上記のように領域ごとに設定しても構わないし、画素ごとに設定しても構わないし、画像ごとに設定しても構わない。また、傾きＫ（図２９参照）が、重み係数最大値Ｚに応じて可変となるものとしても構わない。また、画像特徴量Ｃ_oを算出するための式（Ｃ４）は一例に過ぎず、これ以外の方法で画像特徴量Ｃ_oを算出しても構わない。例えば、標準偏差σや高域周波数成分Ｈ、エッジ成分Ｐの少なくとも一つを用いないこととしても構わないし、他の成分（例えば、一部画像領域ＡＲ₁〜ＡＲ₉内や画像内における画素の信号値の最大値と最小値との差など）を考慮して算出することとしても構わない。

＜＜第４実施例＞＞
次に、第４実施例を説明する。第４実施例では、圧縮処理部１６（図１等参照）にて採用可能な、特異な画像圧縮方法を説明する。第４実施例では、圧縮処理部１６が、映像信号に対する代表的な圧縮方式である、ＭＰＥＧ（Moving Picture Experts Group）圧縮方式を採用して映像信号の圧縮を行う場合を想定する。ＭＰＥＧでは、フレーム間差分を利用して、圧縮動画像であるＭＰＥＧ動画像を生成する。図３３に、このＭＰＥＧ動画像の構成を模式的に示す。ＭＰＥＧ動画像は、３種類のピクチャ、即ち、Ｉピクチャ、Ｐピクチャ及びＢピクチャから構成される。

Ｉピクチャは、フレーム内符号化画像（Intra-Coded Picture）であり、１枚のフレームの映像信号を当該フレーム画像内で符号化した画像である。Ｉピクチャ単独で１枚のフレームの映像信号を復号することが可能である。

Ｐピクチャは、フレーム間予測符号化画像（Predictive-Coded Picture）であり、時間的に先のＩピクチャまたはＰピクチャから予測される画像である。Ｐピクチャの対象となる元の画像と当該Ｐピクチャから見て時間的に先のＩピクチャまたはＰピクチャとの差分を圧縮符号化したデータにより、Ｐピクチャが形成される。Ｂピクチャは、フレーム内挿双方向予測符号化画像（Bidirectionally Predictive-Coded Picture）であり、時間的に後及び先のＩピクチャまたはＰピクチャから双方向予測される画像である。Ｂピクチャの対象となる元の画像と、当該Ｂピクチャから見て時間的に後のＩピクチャまたはＰピクチャとの差分及び当該Ｂピクチャから見て時間的に前のＩピクチャまたはＰピクチャとの差分を圧縮符号化したデータにより、Ｂピクチャが形成される。

ＭＰＥＧ動画像は、ＧＯＰ（Group Of Pictures）を単位として構成されている。ＧＯＰは、圧縮及び伸張が行われる単位であり、１つのＧＯＰは、或るＩピクチャから次のＩピクチャまでのピクチャで構成される。１又は２以上のＧＯＰにてＭＰＥＧ動画像は構成される。或るＩピクチャから次のＩピクチャまでのピクチャ枚数は、固定されることもあるが、ある程度の範囲内で変動させることも可能である。

ＭＰＥＧに代表される、フレーム間差分を利用した画像圧縮方式を用いる場合、ＩピクチャはＢ及びＰピクチャの何れにも差分データを提供するため、Ｉピクチャの画質はＭＰＥＧ動画像の全体画質に大きな影響を与える。これを考慮し、ノイズやジャギーが効果的に低減されていると判断される画像番号を映像信号処理部１３又は圧縮処理部１６にて記録しておき、画像圧縮の際、記録している画像番号に対応する出力合成画像を優先的にＩピクチャの対象として利用する。これにより、圧縮によって得られたＭＰＥＧ動画像の全体的な画質を向上させることができる。

図３４を参照して、より具体的な例を説明する。第４実施例に係る映像信号処理部１３として、図２８又は図３１に示される映像信号処理部１３ａ又は１３ｂが用いられる。今、色補間処理部５１によって、第ｎ、第（ｎ＋１）、第（ｎ＋２）、第（ｎ＋３）、第（ｎ＋４）・・・フレームの原画像から第ｎ、第（ｎ＋１）、第（ｎ＋２）、第（ｎ＋３）、第（ｎ＋４）・・・フレームの色補間画像３５１、３５２、３５３及び３５４・・・、が生成され、画像合成部５４又は５４ｂにおいて、色補間画像３５１及び合成画像３６０から合成画像３６１、色補間画像３５２及び合成画像３６１から合成画像３６２、色補間画像３５３及び合成画像３６２から合成画像３６３、色補間画像３５４及び合成画像３６３から合成画像３６４、・・・が生成された場合を考える。さらにこの場合、生成された合成画像３６１〜３６４から、色同時化処理部５５によって出力画像信号３７１〜３７４が夫々生成される。

注目した色補間画像及び合成画像から１枚の合成画像を生成する手法は、第２又は第３実施例で述べた手法と同じであり、注目した色補間画像及び合成画像に対して算出された重み係数ｗ_i,jに従う合成によって１枚の合成画像が生成される。その１枚の合成画像を生成する際に使用した重み係数ｗ_i,jは、水平画素番号ｉ及び垂直画素番号ｊに応じて様々な値を取りうる（図２９（ｃ）参照）。また、重み係数ｗ_i,jを算出する過程で用いた重み係数最大値Ｚも、例えば、一部画像領域ＡＲ₁〜ＡＲ₉ごとに様々な値を取りうる（図３２（ｃ）参照）。本実施例では、重み係数ｗ_i,j及び重み係数最大値Ｚ_mを用いて総合重み係数を算出する。尚、総合重み係数は、例えば重み係数算出部６１又は７１によって算出される（図２８又は図３１参照）。

総合重み係数を求める場合、まず、重み係数ｗ_i,jを重み係数最大値Ｚ_mで割った値（即ち、ｗ_i,j／Ｚ_m）をそれぞれの画素（または、一部画像領域）ごとに求める。そして、この値を画像全体で平均化した値を、総合重み係数として設定する。尚、画像全体ではなく、画像の中央部などの所定の領域で上記値を平均化して得られる値を、総合重み係数として設定しても構わない。また、注目した色補間画像及び合成画像に対して設定される重み係数の個数を１つにすることが可能であることを第２実施例にて述べたが、このように設定される重み係数の個数が１つである場合は、その１つの重み係数を重み係数最大値Ｚで割った値を総合重み係数として機能させるとよい。

合成画像３６１〜３６４に対して算出された総合重み係数を、夫々、ｗ_T1〜ｗ_T4にて表す。合成画像３６１〜３６４を指し示す符号３６１〜３６４は、対応する合成画像の画像番号を表している。また、出力合成画像３７１〜３７４を指し示す符号３７１〜３７４は、対応する出力合成画像の画像番号を表している。出力合成画像３７１〜３７４と、総合重み係数ｗ_T1〜ｗ_T4と、は互いに関連付けられて、圧縮処理部１６が参照可能なように映像信号処理部１３ａ又は１３ｂ内に記録される（図２８又は図３１を参照）。

比較的大きな総合重み係数に対応する出力合成画像は、ジャギー及びノイズが比較的大きく低減されている画像であると推測される。そこで、圧縮処理部１６は、比較的大きな総合重み係数に対応する出力合成画像を優先的にＩピクチャの対象として利用する。従って、出力合成画像３７１〜３７４の中から１枚の出力合成画像をＩピクチャの対象として選択する場合、総合重み係数ｗ_T1〜ｗ_T4の値が最も大きい出力合成画像をＩピクチャの対象として選択する。例えば、総合重み係数ｗ_T1〜ｗ_T4の内、総合重み係数ｗ_T2が最も大きければ、出力合成画像３７２がＩピクチャの対象として選択され、出力合成画像３７２と出力合成画像３７１、３７３及び３７４とに基づいて、Ｐ及びＢピクチャが生成される。出力合成画像３７４以降に得られる複数の出力合成画像の中からＩピクチャの対象を選択する場合も同様である。

圧縮処理部１６は、Ｉピクチャの対象として選択された出力合成画像を、ＭＰＥＧ圧縮方式に従って符号化することによりＩピクチャを生成すると共に、Ｉピクチャの対象として選択された出力合成画像とＩピクチャの対象として選択されなかった出力合成画像とに基づいてＰ及びＢピクチャを生成する。

＜＜第５実施例＞＞
次に、第５実施例について説明する。第１〜第４実施例では、図７（ａ）、（ｂ）、図８（ａ）及び（ｂ）に対応する加算パターンＰ_A1〜Ｐ_A4を、原画像を取得するための第１〜第４の加算パターンとして用いることを想定しているが、原画像を取得するための加算パターンとして、加算パターンＰ_A1〜Ｐ_A4と異なる加算パターンを用いることも可能である。利用可能な加算パターンには、加算パターンＰ_B1〜Ｐ_B4、加算パターンＰ_C1〜Ｐ_C4及び加算パターンＰ_D1〜Ｐ_D4が含まれる。

加算パターンＰ_B1〜Ｐ_B4を利用する場合、加算パターンＰ_B1〜Ｐ_B4は、夫々、第１〜第４実施例における第１、第２、第３及び第４の加算パターンとして機能する。
加算パターンＰ_C1〜Ｐ_C4を利用する場合、加算パターンＰ_C1〜Ｐ_C4は、夫々、第１〜第４実施例における第１、第２、第３及び第４の加算パターンとして機能する。
加算パターンＰ_D1〜Ｐ_D4を利用する場合、加算パターンＰ_D1〜Ｐ_D4は、夫々、第１〜第４実施例における第１、第２、第３及び第４の加算パターンとして機能する。

図３５（ａ）〜（ｄ）は、夫々、加算パターンＰ_B1〜Ｐ_B4を用いた場合の信号加算の様子を示し、図３６（ａ）〜（ｄ）は、夫々、加算パターンＰ_B1〜Ｐ_B4を用いて加算読み出しを行った場合における、原画像の画素信号の様子を示す。
図３７（ａ）〜（ｄ）は、夫々、加算パターンＰ_C1〜Ｐ_C4を用いた場合の信号加算の様子を示し、図３８（ａ）〜（ｄ）は、夫々、加算パターンＰ_C1〜Ｐ_C4を用いて加算読み出しを行った場合における、原画像の画素信号の様子を示す。
図３９（ａ）〜（ｄ）は、夫々、加算パターンＰ_D1〜Ｐ_D4を用いた場合の信号加算の様子を示し、図４０（ａ）〜（ｄ）は、夫々、加算パターンＰ_D1〜Ｐ_D4を用いて加算読み出しを行った場合における、原画像の画素信号の様子を示す。

図３５（ａ）〜（ｄ）において、黒塗りの丸は、夫々、加算パターンＰ_B1〜Ｐ_B4を第１〜第４の加算パターンとして用いた場合に想定される仮想的な受光画素の配置位置を示している。但し、図３５（ａ）〜（ｄ）では、想定される仮想的な受光画素の内、Ｒ信号に対応する、仮想的な受光画素の配置位置のみを明示している。
図３７（ａ）〜（ｄ）において、黒塗りの丸は、夫々、加算パターンＰ_C1〜Ｐ_C4を第１〜第４の加算パターンとして用いた場合に想定される仮想的な受光画素の配置位置を示している。但し、図３７（ａ）〜（ｄ）では、想定される仮想的な受光画素の内、Ｂ信号に対応する、仮想的な受光画素の配置位置のみを明示している。
図３９（ａ）〜（ｄ）において、黒塗りの丸は、夫々、加算パターンＰ_D1〜Ｐ_D4を第１〜第４の加算パターンとして用いた場合に想定される仮想的な受光画素の配置位置を示している。但し、図３９（ａ）〜（ｄ）では、想定される仮想的な受光画素の内、Ｇ信号に対応する、仮想的な受光画素の配置位置の一部のみを明示している。

図３５（ａ）〜（ｄ）、図３７（ａ）〜（ｄ）及び図３９（ａ）〜（ｄ）において、黒塗りの丸の周囲に示された矢印は、その丸に対応する仮想的な受光画素の画素信号を生成するために、該仮想的な受光画素の周辺受光画素の画素信号が加算される様子を示している。

任意の加算パターンを用いて加算読み出しを行う場合、
撮像素子３３の画素位置［ｐ_G1＋４ｎ_A，ｐ_G2＋４ｎ_B］及び［ｐ_G3＋４ｎ_A，ｐ_G4＋４ｎ_B］に仮想的な緑受光画素が配置され、撮像素子３３の画素位置［ｐ_B1＋４ｎ_A，ｐ_B2＋４ｎ_B］に仮想的な青受光画素が配置され、撮像素子３３の画素位置［ｐ_R1＋４ｎ_A，ｐ_R2＋４ｎ_B］に仮想的な赤受光画素が配置される、と想定する（ｎ_A及びｎ_Bは整数）。但し、
加算パターンＰ_B1、Ｐ_B2、Ｐ_B3及びＰ_B4を用いる場合、（ｐ_G1，ｐ_G2，ｐ_G3，ｐ_G4，ｐ_B1，ｐ_B2，ｐ_R1，ｐ_R2）は、夫々、
（４，２，３，３，３，２，４，３）、（６，４，５，５，５，４，６，５）、
（６，２，５，３，５，２，６，３）及び（４，４，３，５，３，４，４，５）であり、
加算パターンＰ_C1、Ｐ_C2、Ｐ_C3及びＰ_C4を用いる場合、（ｐ_G1，ｐ_G2，ｐ_G3，ｐ_G4，ｐ_B1，ｐ_B2，ｐ_R1，ｐ_R2）は、夫々、
（３，３，２，４，３，４，２，３）、（５，５，４，６，５，６，４，５）、
（５，３，４，４，５，４，４，３）及び（３，５，２，６，３，６，２，５）であり、
加算パターンＰ_D1、Ｐ_D2、Ｐ_D3及びＰ_D4を用いる場合、（ｐ_G1，ｐ_G2，ｐ_G3，ｐ_G4，ｐ_B1，ｐ_B2，ｐ_R1，ｐ_R2）は、夫々、
（３，３，４，４，３，４，４，３）、（５，５，６，６，５，６，６，５）、
（５，３，６，４，５，４，６，３）及び（３，５，４，６，３，６，４，５）である。
尚、（ｐ_G1，ｐ_G2，ｐ_G3，ｐ_G4，ｐ_B1，ｐ_B2，ｐ_R1，ｐ_R2）が（ｐ_G1’，ｐ_G2’，ｐ_G3’，ｐ_G4’，ｐ_B1’，ｐ_B2’，ｐ_R1’，ｐ_R2’）であるとは、ｐ_G1＝ｐ_G1’、ｐ_G2＝ｐ_G2’、ｐ_G3＝ｐ_G3’、ｐ_G4＝ｐ_G4’、ｐ_B1＝ｐ_B1’、ｐ_B2＝ｐ_B2’、ｐ_R1＝ｐ_R1’且つｐ_R2＝ｐ_R2’、であることを意味する。

また、上述の加算パターンＰ_A1、Ｐ_A2、Ｐ_A3及びＰ_A4を用いる場合を、上記と同様の方法で表現すると、（ｐ_G1，ｐ_G2，ｐ_G3，ｐ_G4，ｐ_B1，ｐ_B2，ｐ_R1，ｐ_R2）は、夫々、
（２，２，３，３，３，２，２，３）、（４，４，５，５，５，４，４，５）、
（４，２，５，３，５，２，４，３）及び（２，４，３，５，３，４，２，５）となる。

第１実施例で述べたように、１つの仮想的な受光画素の画素信号は、その仮想的な受光画素の左斜め上、右斜め上、左斜め下及び右斜め下に隣接する実際の受光画素の画素信号の加算信号とされる。そして、位置［ｘ，ｙ］に配置された仮想的な受光画素の画素信号が、画像上の位置［ｘ，ｙ］の画素信号として取り扱われるように原画像が取得される。

従って、任意の加算パターンを用いた加算読み出しによって得られる原画像は、図３６（ａ）〜（ｄ）、図３８（ａ）〜（ｄ）及び図４０（ａ）〜（ｄ）に示す如く、画素位置［ｐ_G1＋４ｎ_A，ｐ_G2＋４ｎ_B］及び［ｐ_G3＋４ｎ_A，ｐ_G4＋４ｎ_B］に配置された、Ｇ信号のみを有する画素と、画素位置［ｐ_B1＋４ｎ_A，ｐ_B2＋４ｎ_B］に配置された、Ｂ信号のみを有する画素と、画素位置［ｐ_R1＋４ｎ_A，ｐ_R2＋４ｎ_B］に配置された、Ｒ信号のみを有する画素と、を備えた画像となる。

尚、加算パターンＰ_A1〜Ｐ_A4から成る加算パターン群、加算パターンＰ_B1〜Ｐ_B4から成る加算パターン群、加算パターンＰ_C1〜Ｐ_C4から成る加算パターン群及び加算パターンＰ_D1〜Ｐ_D4から成る加算パターン群を、夫々、Ｐ_A、Ｐ_B、Ｐ_C及びＰ_Dによって表す。

第１実施例において示したように、図１０の色補間処理部５１は、所定の加算パターン群（Ｐ_A）用いて得られる原画像に色補間処理を施し、所定の補間画素位置（色信号が生成され得る位置［ｘ、ｙ］）に色信号を生成する（図１３、図１５、図１７及び図１９参照）。これは、加算パターン群Ｐ_B、加算パターン群Ｐ_C及び加算パターン群Ｐ_Dを用いる場合であっても同様である。即ち、加算パターン群Ｐ_B〜Ｐ_Dを用いて得られる原画像（図３６、図３８及び図４０参照）に対しても、第１実施例と同様の色補間処理を行い、所定の補間画素位置に色信号を生成する。このとき、第１実施例と同様に、周辺の色信号を用いた補間処理を行う。

尚、色補間処理を行う際に、加算パターン群Ｐ_Aを用いた場合と同じ補間画素位置に色信号を生成しても構わない。また、加算パターン群ごとで、補間画素位置を異ならせても構わない。また、加算パターン群ごとで、補間画素位置を同じものとして生成される色信号の種類を異ならせても構わない。例えば、加算パターン群Ｐ_Aでは位置［１．５，１．５］がＧ信号となるが、加算パターン群Ｐ_Bでは同位置に生成される色信号をＢ信号としても構わない。

また、必ずしも１つの加算パターン群から加算パターンを選択して用いる必要はない。例えば、加算パターンＰ_A1と、加算パターンＰ_B2と、を選択して用いることとしても構わない。但し、画像合成部５４において行う合成処理を簡単にするために、補間画素位置を等しくし、かつ、同じ位置［ｘ、ｙ］に同じ種類の色信号が生成されることとすると好ましい。

＜＜第６実施例＞＞
第１〜第５実施例では、加算読み出しによって原画像の画素信号を取得しているが、間引き読み出しによって原画像の画素信号を取得することも可能である。間引き読み出しを行うことによって原画像の画素信号を取得する実施例を、第６実施例として説明する。間引き読み出しによって原画像の画素信号を取得した場合においても、矛盾無き限り、第１〜第５実施例で述べた事項は適用可能である。

周知の如く、間引き読み出しでは、撮像素子３３の受光画素信号が間引いて読み出される。第６実施例では、原画像の取得に用いる間引きパターンを複数の間引きパターンの間で順次変更させながら間引き読み出しを行う。間引きパターンとは、間引きの対象となる受光画素の組み合わせパターンを意味する。

第１〜第４の間引きパターンから成る間引きパターン群として、間引きパターンＱ_A1〜Ｑ_A4から成る間引きパターン群Ｑ_A、間引きパターンＱ_B1〜Ｑ_B4から成る間引きパターン群Ｑ_B、間引きパターンＱ_C1〜Ｑ_C4から成る間引きパターン群Ｑ_C、又は、間引きパターンＱ_D1〜Ｑ_D4から成る間引きパターン群Ｑ_Dを利用可能である。

図４１（ａ）〜（ｄ）は、夫々、間引きパターンＱ_A1〜Ｑ_A4を示しており、図４２（ａ）〜（ｄ）は、夫々、間引きパターンＱ_A1〜Ｑ_A4を用いて間引き読み出しを行った場合における、原画像の画素信号の様子を示している。
図４３（ａ）〜（ｄ）は、夫々、間引きパターンＱ_B1〜Ｑ_B4を示しており、図４４（ａ）〜（ｄ）は、夫々、間引きパターンＱ_B1〜Ｑ_B4を用いて間引き読み出しを行った場合における、原画像の画素信号の様子を示している。
図４５（ａ）〜（ｄ）は、夫々、間引きパターンＱ_C1〜Ｑ_C4を示しており、図４６（ａ）〜（ｄ）は、夫々、間引きパターンＱ_C1〜Ｑ_C4を用いて間引き読み出しを行った場合における、原画像の画素信号の様子を示している。
図４７（ａ）〜（ｄ）は、夫々、間引きパターンＱ_D1〜Ｑ_D4を示しており、図４８（ａ）〜（ｄ）は、夫々、間引きパターンＱ_D1〜Ｑ_D4を用いて間引き読み出しを行った場合における、原画像の画素信号の様子を示している。

図４１（ａ）〜（ｄ）、図４３（ａ）〜（ｄ）、図４５（ａ）〜（ｄ）及び図４７（ａ）〜（ｄ）において、丸枠内の受光画素の画素信号が原画像の実画素の画素信号として読み出され、水平又は垂直方向に隣接する丸枠間に位置する受光画素の画素信号は間引かれる。

任意の間引きパターンを用いて間引き読み出しを行う場合、
撮像素子３３の画素位置［ｐ_G1＋４ｎ_A，ｐ_G2＋４ｎ_B］及び［ｐ_G3＋４ｎ_A，ｐ_G4＋４ｎ_B］に配置される緑受光画素の画素信号が原画像の画素位置［ｐ_G1＋４ｎ_A，ｐ_G2＋４ｎ_B］及び［ｐ_G3＋４ｎ_A，ｐ_G4＋４ｎ_B］におけるＧ信号として読み出され、撮像素子３３の画素位置［ｐ_B1＋４ｎ_A，ｐ_B2＋４ｎ_B］に配置される青受光画素の画素信号が原画像の画素位置［ｐ_B1＋４ｎ_A，ｐ_B2＋４ｎ_B］におけるＢ信号として読み出され、撮像素子３３の画素位置［ｐ_R1＋４ｎ_A，ｐ_R2＋４ｎ_B］に配置される青受光画素の画素信号が原画像の画素位置［ｐ_R1＋４ｎ_A，ｐ_R2＋４ｎ_B］におけるＲ信号として読み出される（ｎ_A及びｎ_Bは整数）。但し、
間引きパターンＱ_A1、Ｑ_A2、Ｑ_A3及びＱ_A4を用いる場合、（ｐ_G1，ｐ_G2，ｐ_G3，ｐ_G4，ｐ_B1，ｐ_B2，ｐ_R1，ｐ_R2）は、夫々、
（１，１，２，２，２，１，１，２）、（３，３，４，４，４，３，３，４）、
（３，１，４，２，４，１，３，２）及び（１，３，２，４，２，３，１，４）であり、
間引きパターンＱ_B1、Ｑ_B2、Ｑ_B3及びＱ_B4を用いる場合、（ｐ_G1，ｐ_G2，ｐ_G3，ｐ_G4，ｐ_B1，ｐ_B2，ｐ_R1，ｐ_R2）は、夫々、
（３，１，２，２，２，１，３，２）、（５，３，４，４，４，３，５，４）、
（５，１，４，２，４，１，５，２）及び（３，３，２，４，２，３，３，４）であり、
間引きパターンＱ_C1、Ｑ_C2、Ｑ_C3及びＱ_C4を用いる場合、（ｐ_G1，ｐ_G2，ｐ_G3，ｐ_G4，ｐ_B1，ｐ_B2，ｐ_R1，ｐ_R2）は、夫々、
（２，２，１，３，２，３，１，２）、（４，４，３，５，４，５，３，４）、
（４，２，３，３，４，３，３，２）及び（２，４，１，５，２，５，１，４）であり、
間引きパターンＱ_D1、Ｑ_D2、Ｑ_D3及びＱ_D4を用いる場合、（ｐ_G1，ｐ_G2，ｐ_G3，ｐ_G4，ｐ_B1，ｐ_B2，ｐ_R1，ｐ_R2）は、夫々、
（２，２，３，３，２，３，３，２）、（４，４，５，５，４，５，５，４）、
（４，２，５，３，４，３，５，２）及び（２，４，３，５，２，５，３，４）である。

Ｇ、Ｂ又はＲ信号が読み出された画素位置に対応する、原画像上の画素は、Ｇ、Ｂ又はＲ信号が存在する実画素であるが、Ｇ、Ｂ及びＲ信号の何れもが読み出されなかった画素位置に対応する、原画像上の画素は、Ｇ、Ｂ及びＲ信号の何れもが存在しない空白画素である。

図４１、図４３、図４５及び図４７に示すように、各種間引きパターンを用いた間引き読み出しを行って得られる原画像は、実画素の位置が僅かに異なることを除けば、加算読み出しを行って得られる原画像と同様のものとなる（図１３、図１５、図１７及び図１９参照）。したがって、間引きパターン群Ｑ_A〜Ｑ_Dを用いて得られる原画像（図４１、図４３、図４５及び図４７参照）に対しても、第１実施例と同様の色補間処理を行い、所定の補間画素位置に色信号を生成することができる。またこのとき、第１実施例と同様に、周辺の色信号を用いた補間処理を行う。

尚、色補間処理を行う際に、加算パターン群Ｐ_Aを用いた場合と同じ補間画素位置に色信号を生成しても構わないし、異なる補間画素位置に色信号を生成しても構わない。また、間引きパターン群ごとで、補間画素位置を異ならせても構わない。また、間引きパターン群ごとで、補間画素位置を同じものとして生成される色信号の種類を異ならせても構わない。例えば、間引きパターン群Ｑ_Aで位置［１．５，１．５］をＧ信号とした場合に、間引きパターン群Ｑ_Bで同位置に生成される色信号をＢ信号としても構わない。

また、必ずしも１つの間引きパターン群から複数の間引きパターンを選択して用いる必要はない。例えば、間引きパターンＱ_A1と、間引きパターンＱ_B2と、を用いることとしても構わない。但し、画像合成部５４において行う合成処理を簡単にするために、補間画素位置を等しくし、かつ、同じ位置［ｘ、ｙ］に同じ種類の色信号が生成されることとすると好ましい。

上記のように、間引き読み出しによって得られる原画像からも、加算読み出しによって得られる原画像から得られる色補間画像と同様の色補間画像を得ることができる。そのため、両原画像から得られる色補間画像を、等価なものとして取り扱うことができる。したがって、第１〜第４実施例にて述べた事項を、そのまま第６実施例にも適用可能である。基本的には、第１〜第４実施例における加算パターン及び加算読み出しを間引きパターン及び間引き読み出しに置き換えて考えればよい。

即ち例えば、時間的に異なる間引きパターンを用いることによって原画像を取得する。そして、得られる原画像に対して第１実施例にて述べた色補間処理を実行することにより、色補間処理部５１にて色補間画像を生成する一方で、第１実施例にて述べた動き検出処理を実行することにより、動き検出部５３にて現フレームの色補間画像と前フレームの合成画像との動きベクトルを検出する。そして、その検出された動きベクトルに基づきつつ、第１〜第３実施例の何れかにて述べた手法に従って、画像合成部５４又は５４ｂにて現フレームの色補間画像と前フレームの合成画像とから１枚の合成画像を生成する。そして、この合成画像に対して色同時化処理部５５において色同時化処理を行い、出力合成画像を生成する。また、間引き読み出しによって得られた原画像列に基づく出力合成画像列に対して、第４実施例にて述べた画像圧縮技術を適用することも可能である。

尚、時間的に異なる加算パターンを用いる方法、時間的に異なる間引きパターンを用いる方法に限らず、加算パターンと間引きパターンとを交互に用いるなどして、時間的に異なる方法で原画像を生成することとしても構わない。例えば、加算パターンＰ_A1と、間引きパターンＱ_D2と、を交互に用いることとしても構わない。

また、上述してきた加算読み出し方式と間引き読み出し方式を組み合わせた読み出し方式（以下、加算/間引き方式という）を用いて、撮像素子３３の受光画素信号を読み出してもよい。加算/間引き方式を用いた時の読み出しパターンを、加算/間引きパターンという。例として、図４９及び図５０に対応するような加算/間引きパターンを採用することができる。この加算/間引きパターンは、第１の加算/間引きパターンとして機能する。図４９は、第１の加算/間引きパターンを用いた時の、信号加算の様子及び信号間引きの様子を示しており、図５０は、第１の加算/間引きパターンに従って受光画素信号を読み出した時の、原画像の画素信号の様子を示す。

この第１の加算/間引きパターンを用いた場合、
撮像素子３３の画素位置［２＋６ｎ_A，２＋６ｎ_B］及び［３＋６ｎ_A，３＋６ｎ_B］に仮想的な緑受光画素が配置され、撮像素子３３の画素位置［３＋６ｎ_A，２＋６ｎ_B］に仮想的な青受光画素が配置され、撮像素子３３の画素位置［２＋６ｎ_A，３＋６ｎ_B］に仮想的な赤受光画素が配置される、と想定する（ｎ_A及びｎ_Bは整数）。

第１実施例で述べたように、１つの仮想的な受光画素の画素信号は、その仮想的な受光画素の左斜め上、右斜め上、左斜め下及び右斜め下に隣接する実際の受光画素の画素信号の加算信号とされる。そして、位置［ｘ，ｙ］に配置された仮想的な受光画素の画素信号が、画像上の位置［ｘ，ｙ］の画素信号として取り扱われるように原画像が取得される。従って、第１の加算/間引きパターンを用いた読み出しによって得られる原画像は、図５０に示す如く、画素位置［２＋６ｎ_A，２＋６ｎ_B］及び［３＋６ｎ_A，３＋６ｎ_B］に配置された、Ｇ信号のみを有する画素と、画素位置［３＋６ｎ_A，２＋６ｎ_B］に配置された、Ｂ信号のみを有する画素と、画素位置［２＋６ｎ_A，３＋６ｎ_B］に配置された、Ｒ信号のみを有する画素と、を備えた画像となる。

このように、複数の受光画素信号を加算することによって原画像の画素信号が形成されるため、加算/間引き方式は、加算読み出し方式の一種である。同時に、位置［５，ｎ_B］、［６，ｎ_B］、［ｎ_A，５］及び［ｎ_A，６］における受光画素信号は、原画像の画素信号の生成に寄与しない。つまり、原画像の生成に際して、位置［５，ｎ_B］、［６，ｎ_B］、［ｎ_A，５］及び［ｎ_A，６］における受光画素信号は間引かれる。故に、加算/間引き方式は、間引き読み出し方式の一種であるとも言える。

上述したように、加算パターンは、加算の対象となる受光画素の組み合わせパターンを意味し、間引きパターンは、間引きの対象となる受光画素の組み合わせパターンを意味する。これに対し、加算/間引きパターンは、加算及び間引きの対象となる受光画素の組み合わせパターンを意味する。加算/間引き方式を用いる場合も、互いに異なる複数の加算/間引きパターンを設定し、原画像の取得に用いる加算/間引きパターンを該複数の加算/間引きパターンの間で順次変更させながら受光画素信号の読み出しを行い、得られる現フレームの色補間画像と前フレームの合成画像とを合成することによって、１枚の合成画像を生成すればよい。

＜＜第７実施例＞＞
上述の各実施例では、色補間画像と色補間画像と同様に色信号が配置された合成画像とを合成し、得られた合成画像に色同時化処理を施すことによって出力合成画像を得る構成としたが、予め色補間画像に色同時化処理を施して、得られる色同時化画像を合成することで出力合成画像を得る構成とすることも可能である。この構成を第７実施例として説明する。また、上述の各実施例に記載した事項は、矛盾なき限り、第７実施例に適用することができる。

図５１は、第７実施例に係る、図１の撮像装置１の一部ブロック図であり、図５１には、図１の映像信号処理部１３として用いられる映像信号処理部１３ｃの内部ブロック図が示されている。図５１は、第１実施例の映像信号処理部１３ａについて示した図１０に相当するものであり、対比され得るものである。

また、図５２は、図５１の映像信号処理部１３ｃの動作を示すフローチャートである。図５２は、第１実施例の映像信号処理部１３ａの動作について示した図１１に相当するものであり、対比され得るものである。尚、図５２は、図１１と同様に１枚の画像の処理について示したフローチャートである。

図５１に示す映像信号処理部１３は、上述したものと同様の色補間処理部５１を備え、入力される原画像から色補間画像を生成する（ＳＴＥＰ１及びＳＴＥＰ２）。色補間処理部５１を備える構成や、色補間処理部５１の動作については第１実施例において説明したものと同様であるため、詳細な説明については省略する。尚、以下においては、第１〜第４の加算パターンとして加算パターンＰ_A1〜Ｐ_A4を採用するとともに、加算パターンＰ_A1〜Ｐ_A4を用いた原画像が入力される場合を例に挙げて説明するが、第１、第５及び第６実施例で示したような加算パターンや間引きパターン、加算／間引きパターンを用いた原画像が入力されることとしても構わない。

また、色補間画像の生成方法や生成される色補間画像は、第１実施例で説明したものと同様としても構わない（図１３〜図２４参照）。そのため、以下では第１実施例で説明したものと同様の生成方法で生成された、同様の色補間画像を用いる場合について説明する。但し、本実施例では、第１実施例において説明したものと異なる生成方法や、異なる色補間画像を用いることが可能である。尚、第１実施例で説明したものと異なる場合の詳細については、後述する。

ＳＴＥＰ２で生成された色補間画像は、色同時化処理部５５ｃによって色同時化処理が施され、色同時化画像が生成される（ＳＴＥＰ３ａ）。このとき、色同時化処理部５５ｃに第１、第２、・・・、第（ｎ−１）、第ｎフレームの色補間画像が順次入力されるとともに、色同時化処理部５５ｃにより、第１、第２、・・・、第（ｎ−１）、第ｎフレームの色同時化画像が生成される。

生成される色同時化画像について、図５３〜５６を用いて説明する。図５３は、図２１に示した色補間画像２６１（第１の加算パターンを用いて生成された原画像から得られる色補間画像）に色同時化処理を施して得られる色同時化画像３０１を示すものである。図５４は、図２２に示した色補間画像２６２（第２の加算パターンを用いて生成された原画像から得られる色補間画像）に色同時化処理を施して得られる色同時化画像３０２を示すものである。図５５は、図２３に示した色補間画像２６３（第３の加算パターンを用いて生成された原画像から得られる色補間画像）に色同時化処理を施して得られる色同時化画像３０３を示すものである。図５６は、図２４に示した色補間画像２６４（第４の加算パターンを用いて生成された原画像から得られる色補間画像）に色同時化処理を施して得られる色同時化画像３０４を示すものである。

色同時化画像３０１におけるＧ、Ｂ及びＲ信号を表す記号として、夫々、Ｇ１ｓ_i,j、Ｂ１ｓ_i,j及びＲ１ｓ_i,jを用い、色同時化画像３０２におけるＧ、Ｂ及びＲ信号を表す記号として、夫々、Ｇ２ｓ_i,j、Ｂ２ｓ_i,j及びＲ２ｓ_i,jを用いる。また、色補間画像３０３におけるＧ、Ｂ及びＲ信号を表す記号として、夫々、Ｇ３ｓ_i,j、Ｂ３ｓ_i,j及びＲ３ｓ_i,jを用い、色補間画像３０４におけるＧ、Ｂ及びＲ信号を表す記号として、夫々、Ｇ４ｓ_i,j、Ｂ４ｓ_i,j及びＲ４ｓ_i,jを用いる。ｉ及びｊは、整数である。尚、Ｇ１ｓ_i,j〜Ｇ４ｓ_i,jを、Ｇ信号の値を表す記号として用いることもある（Ｂ１ｓ_i,j〜Ｂ４ｓ_i,j、Ｒ１ｓ_i,j〜Ｒ４ｓ_i,jに対しても同様）。

また、色同時化画像３０１の注目画素の色信号Ｇ１ｓ_i,j、Ｂ１ｓ_i,j及びＲ１ｓ_i,jにおけるｉ及びｊは、夫々、色同時化画像３０１の注目画素の水平画素番号及び垂直画素番号を示している（色信号Ｇ２ｓ_i,j〜Ｇ４ｓ_i,j、Ｂ２ｓ_i,j〜Ｂ４ｓ_i,j及びＲ２ｓ_i,j〜Ｒ４ｓ_i,jについても同様）。

色補間画像２６１から生成される色同時化画像３０１における色信号Ｇ１ｓ_i,j、Ｂ１ｓ_i,j及びＲ１ｓ_i,jの配置について説明する。図５３（ａ）〜（ｃ）に示す如く、色同時化画像３０１の位置［１．５，１．５］を信号基準位置として捉え、この信号基準位置における信号の水平画素番号ｉを１、垂直画素番号ｊを１とする。即ち、色同時化画像３０１では、位置［１．５，１．５］のＧ信号をＧ１ｓ_1,1、Ｂ信号をＢ１ｓ_1,1及びＲ信号をＲ１ｓ_1,1とする。そして、位置［２×（ｉ−１）＋１．５，２×（ｊ−１）＋１．５］に、色信号Ｇ１ｓ_i,j、Ｂ１ｓ_i,j及びＲ１ｓ_i,jの夫々が配置される。

色補間画像２６２から生成される色同時化画像３０２における色信号Ｇ２ｓ_i,j、Ｂ２ｓ_i,j及びＲ２ｓ_i,jの配置について説明する。図５４（ａ）〜（ｃ）に示す如く、色同時化画像３０２の位置［３．５，３．５］を信号基準位置として捉え、この信号基準位置における信号の水平画素番号ｉを１、垂直画素番号ｊを１とする。即ち、色同時化画像３０２では、位置［３．５，３．５］のＧ信号をＧ２ｓ_1,1、Ｂ信号をＢ２ｓ_1,1及びＲ信号をＲ２ｓ_1,1とする。そして、位置［２×（ｉ−１）＋３．５，２×（ｊ−１）＋３．５］に、色信号Ｇ２ｓ_i,j、Ｂ２ｓ_i,j及びＲ２ｓ_i,jの夫々が配置される。

色補間画像２６３から生成される色同時化画像３０３における色信号Ｇ３ｓ_i,j、Ｂ３ｓ_i,j及びＲ３ｓ_i,jの配置について説明する。図５５（ａ）〜（ｃ）に示す如く、色同時化画像３０３の位置［３．５，１．５］を信号基準位置として捉え、この信号基準位置における信号の水平画素番号ｉを１、垂直画素番号ｊを１とする。即ち、色同時化画像３０３では、位置［３．５，１．５］のＧ信号をＧ３ｓ_1,1、Ｂ信号をＢ３ｓ_1,1及びＲ信号をＲ３ｓ_1,1とする。そして、位置［２×（ｉ−１）＋３．５，２×（ｊ−１）＋１．５］に、色信号Ｇ３ｓ_i,j、Ｂ３ｓ_i,j及びＲ３ｓ_i,jの夫々が配置される。

色補間画像２６４から生成される色同時化画像３０４における色信号Ｇ４ｓ_i,j、Ｂ４ｓ_i,j及びＲ４ｓ_i,jの配置について説明する。図５６（ａ）〜（ｃ）に示す如く、色同時化画像３０４の位置［１．５，３．５］を信号基準位置として捉え、この信号基準位置における信号の水平画素番号ｉを１、垂直画素番号ｊを１とする。即ち、色同時化画像３０４では、位置［１．５，３．５］のＧ信号をＧ４ｓ_1,1、Ｂ信号をＢ４ｓ_1,1及びＲ信号をＲ４ｓ_1,1とする。そして、位置［２×（ｉ−１）＋１．５，２×（ｊ−１）＋３．５］に、色信号Ｇ４ｓ_i,j、Ｂ４ｓ_i,j及びＲ４ｓ_i,jの夫々が配置される。

上記のように、色同時化処理を行うと１つの補間画素位置に対してＧ、Ｂ及びＲの３つの信号が含まれることとなる。しかしながら、色同時化処理を施す色補間画像に含まれる色信号の位置に応じて、色同時化画像の色信号の水平画素番号ｉ及び垂直画素番号ｊが異なるものとなる。具体的には、色同時化画像３０１〜３０４の夫々の色信号で同じ水平画素番号ｉ及び垂直画素番号ｊを有しているものであったとしても、異なる位置［ｘ、ｙ］の信号を示すものとなる（図５３〜図５６参照）。

ここで、画像合成部５４ｃにおいて生成される出力合成画像は、第１実施例において説明した出力合成画像と同様のものとする。即ち、図２７（ａ）〜（ｃ）に示した出力合成画像２８０と同様のものとする。したがって、Ｇ信号Ｇｏ_i,j、Ｂ信号Ｂｏ_i,j、Ｒ信号Ｒｏ_i,jが、補間画素位置［１．５＋２×（ｉ−１），１．５＋２×（ｊ−１）］に夫々揃って生成されているものとなる。そのため、色同時化画像３０１（図５３（ａ）〜（ｃ）参照）の色信号Ｇ１ｓ_i,j、Ｂ１ｓ_i,j及びＲ１ｓ_i,jと、出力合成画像２８０の色信号Ｇｏ_i,j、Ｂｏ_i,j及びＲｏ_i,jと、は等しい位置［ｘ、ｙ］に存在する。換言すると、ある位置［ｘ、ｙ］に存在する色信号の水平画素番号ｉと垂直画素番号ｊとが、色同時化画像３０１と合成画像２８０とで等しいものとなる。即ち、水平画素番号ｉ及び垂直画素番号ｊが、色同時化画像３０１と出力合成画像２８０とで対応したものとなる。一方、他の色同時化画像３０２〜３０４（図５４〜図５６参照）の色信号の水平画素番号ｉと垂直画素番号ｊと、出力合成画像の色信号の水平画素番号ｉと垂直画素番号ｊと、は対応したものとならない。

ＳＴＥＰ３ａで生成された色同時化画像（以下、現フレームの色同時化画像とも呼ぶ）は画像合成部５４ｃに入力され、画像合成部５４ｃにおいて１フレーム前に出力された出力合成画像（以下、前フレームの出力合成画像とも呼ぶ）と合成される。そして、この合成処理によって出力合成画像が生成される（ＳＴＥＰ４ａ）。ここで、色同時化処理部５５ｃから画像合成部５４ｃに入力される第１、第２、・・・、第（ｎ−１）、第ｎフレームの色補間画像からは、夫々第１、第２、・・・、第（ｎ−１）、第ｎフレームの出力合成画像が生成されることとする（但し、ｎは２以上の整数）。即ち、第ｎフレームの色同時化画像と第（ｎ−１）フレームの出力合成画像とが合成されることにより、第ｎフレームの出力合成画像が生成されることとなる。

ＳＴＥＰ４ａの合成を行うために、フレームメモリ５２ｃは、画像合成部５４ｃから出力される出力合成画像を一時記憶する。ここで、画像合成部５４ｃに第ｎフレームの色同時化画像が入力される場合であれば、フレームメモリ５２ｃには第（ｎ−１）フレームの出力合成画像が記憶されていることとなる。そして、画像合成部５４ｃは、フレームメモリ５２ｃに記憶した前フレームの出力合成画像を構成する信号と、色同時化処理部５５ｃから入力される現フレームの色同時化画像を構成する信号と、の夫々を順次入力させるとともに合成し、現フレームの出力合成画像を構成する信号を順次出力する。

また、ＳＴＥＰ４ａで色同時化画像と出力合成画像とを合成する場合においても、第１実施例のＳＴＥＰ３（図１１参照）における合成と同様の問題が生じ得る。即ち、合成する画像の色信号の位置［ｘ、ｙ］が異なる問題や、画像合成部５４ｃから出力される出力合成画像の信号（Ｇｏ_i,j、Ｂｏ_i,j及びＲｏ_i,j）の位置［ｘ、ｙ］が一定にならず画像全体が動いてしまう問題が生じ得る。これを回避すべく、第１実施例と同様に、一連の出力合成画像を生成する際に合成基準画像を設定する。そして、例えばフレームメモリ５２ｃや色同時化処理部５５ｃから読み出す画像データを制御することにより、これらの問題に対応する。尚、以下では、色同時化画像３０１が合成基準画像として設定される場合について説明する。

合成基準画像を設定して合成を行う場合、第１実施例と同様の方法で合成することとなる。さらに、第１実施例において説明した条件と同様の条件（第１の加算パターンを用いて得られる原画像に基づいた画像（色同時化画像３０１）を合成基準画像にする）としているため、上記式（Ｂ１）〜（Ｂ１２）と同様の方法（同様の水平画素番号ｉ及び垂直画素番号ｊの対応方法）を用いて合成を行うことができる。尚、下記式（Ｄ１）〜（Ｄ１２）中の重み係数ｋは、第１実施例と同様のものである。即ち、動き検出部５３から出力される動き検出結果に応じたものとなる。

色同時化画像３０１と出力合成画像２８０とを合成する場合、下記式（Ｄ１）〜（Ｄ３）に示す式に従って、色同時化画像３０１のＧ、Ｂ及びＲ信号値と、出力合成画像２８０のＧ、Ｂ及びＲ信号値とを加重加算することにより、現フレームの出力合成画像２８０のＧ、Ｂ及びＲ信号値を算出する。尚、下記式（Ｄ１）〜（Ｄ３）中において、前フレームの出力合成画像２８０のＧ、Ｂ及びＲ信号値を、Ｇｐｏ_i,j、Ｂｐｏ_i,j及びＲｐｏ_i,jとし、現フレームの出力合成画像２８０のＧ、Ｂ及びＲ信号値と区別する。

式（Ｄ１）〜（Ｄ３）に示すように、前フレームの出力合成画像２８０のＧ、Ｂ及びＲ信号値Ｇｐｏｃ_i,j、Ｂｐｏ_i,j及びＲｐｏ_i,jと、色同時化画像３０１のＧ、Ｂ及びＲ信号値Ｇ１ｓ_i,j、Ｂ１ｓ_i,j及びＲ１ｓ_i,jとは、水平方向及び垂直方向にずらすことなく合成を行う。これによって、現フレームの出力合成画像２８０のＧ、Ｂ及びＲ信号値Ｇｏ_i,j、Ｂｏ_i,j及びＲｏ_i,jを得ることができる。

また、色同時化画像３０２と出力合成画像２８０とを合成する場合、下記式（Ｄ４）〜（Ｄ６）に示す式に従って、色同時化画像３０２のＧ、Ｂ及びＲ信号値と、出力合成画像２８０のＧ、Ｂ及びＲ信号値とを加重加算することにより、現フレームの出力合成画像２８０のＧ、Ｂ及びＲ信号値を算出する。尚、下記式（Ｄ４）〜（Ｄ６）中においても、前フレームの出力合成画像２８０のＧ、Ｂ及びＲ信号値を、Ｇｐｏ_i,j、Ｂｐｏ_i,j及びＲｐｏ_i,jとし、現フレームの出力合成画像２８０のＧ、Ｂ及びＲ信号値と区別する。

式（Ｄ４）〜（Ｄ６）に示すように、本例の場合は水平画素番号ｉ及び垂直画素番号ｊをずらして合成する。具体的には、前フレームの出力合成画像２８０のＧ、Ｂ及びＲ信号値Ｇｐｏ_i,j、Ｂｐｏ_i,j及びＲｐｏ_i,jと、色同時化画像３０２のＧ、Ｂ及びＲ信号値Ｇ２ｓ_i-1,j-1、Ｂ２ｓ_i-1,j-1及びＲ２ｓ_i-1,j-1と、を合成する。これによって、現フレームの出力合成画像２８０のＧ、Ｂ及びＲ信号値Ｇｏ_i,j、Ｂｏ_i,j及びＲｏ_i,jを得ることができる。

また、色同時化画像３０３と出力合成画像２８０とを合成する場合、下記式（Ｄ７）〜（Ｄ９）に示す式に従って、色同時化画像３０３のＧ、Ｂ及びＲ信号値と、出力合成画像２８０のＧ、Ｂ及びＲ信号値とを加重加算することにより、現フレームの出力合成画像２８０のＧ、Ｂ及びＲ信号値を算出する。尚、下記式（Ｄ７）〜（Ｄ９）中においても、前フレームの出力合成画像２８０のＧ、Ｂ及びＲ信号値を、Ｇｐｏ_i,j、Ｂｐｏ_i,j及びＲｐｏ_i,jとし、現フレームの出力合成画像２８０のＧ、Ｂ及びＲ信号値と区別する。

式（Ｄ７）〜（Ｄ９）に示すように、本例の場合は水平画素番号ｉ及び垂直画素番号ｊをずらして合成する。具体的には、前フレームの出力合成画像２８０のＧ、Ｂ及びＲ信号値Ｇｐｏ_i,j、Ｂｐｏ_i,j及びＲｐｏ_i,jと、色同時化画像３０３のＧ、Ｂ及びＲ信号値Ｇ３ｓ_i-1,j、Ｂ３ｓ_i-1,j及びＲ３ｓ_i-1,jと、を合成する。これによって、現フレームの出力合成画像２８０のＧ、Ｂ及びＲ信号値Ｇｏ_i,j、Ｂｏ_i,j及びＲｏ_i,jを得ることができる。

また、色同時化画像３０４と出力合成画像２８０とを合成する場合、下記式（Ｄ１０）〜（Ｄ１２）に示す式に従って、色同時化画像３０４のＧ、Ｂ及びＲ信号値と、出力合成画像２８０のＧ、Ｂ及びＲ信号値とを加重加算することにより、現フレームの出力合成画像２８０のＧ、Ｂ及びＲ信号値を算出する。尚、下記式（Ｄ１０）〜（Ｄ１２）中においても、前フレームの出力合成画像２８０のＧ、Ｂ及びＲ信号値を、Ｇｐｏ_i,j、Ｂｐｏ_i,j及びＲｐｏ_i,jとし、現フレームの出力合成画像２８０のＧ、Ｂ及びＲ信号値と区別する。

式（Ｄ１０）〜（Ｄ１２）に示すように、本例の場合は水平画素番号ｉ及び垂直画素番号ｊをずらして合成する。具体的には、前フレームの出力合成画像２８０のＧ、Ｂ及びＲ信号値Ｇｐｏ_i,j、Ｂｐｏ_i,j及びＲｐｏ_i,jと、色同時化画像３０３のＧ、Ｂ及びＲ信号値Ｇ４ｓ_i,j-1、Ｂ４ｓ_i,j-1及びＲ４ｓ_i,j-1と、を合成する。これによって、現フレームの出力合成画像２８０のＧ、Ｂ及びＲ信号値Ｇｏ_i,j、Ｂｏ_i,j及びＲｏ_i,jを得ることができる。

上記式（Ｄ１）〜（Ｄ１２）における重み係数ｋを設定するために、動き検出部５３は、入力される色同時化画像及び出力合成画像の夫々の色信号から夫々の輝度信号（輝度画像）を生成し、両輝度画像間のオプティカルフローを求めることにより動きの大きさ及び向きを検出して画像合成部５４ｃに出力する。夫々の輝度画像は、第１実施例と同様に、任意の位置［ｘ、ｙ］のＧ、Ｂ及びＲ信号の信号値を求めることにより生成することができる。尚、第７実施例では、色同時化画像及び出力合成画像の補間画素位置のＧ、Ｂ及びＲ信号の夫々の信号値が既に得られているため、色信号の補間を行うことなく補間画素位置の輝度信号は求めることができる。また、上記式（Ｄ１）〜（Ｄ１２）に示す対応関係を用いてオプティカルフローを求めても構わない。特に、求める輝度信号の水平画素番号ｉ及び垂直画素番号ｊを、合成時と同様にずらして比較することとする。このように比較することで、夫々の輝度信号が示す位置［ｘ、ｙ］がずれることを抑制することができる。

ＳＴＥＰ４ａで得られた出力合成画像は信号処理部５６に入力される。信号処理部５６は、出力合成画像を構成するＲ、Ｇ及びＢ信号を変換して、輝度信号Ｙ及び色差信号Ｕ及びＶから成る映像信号を生成する（ＳＴＥＰ５）。以上のＳＴＥＰ１〜ＳＴＥＰ５の動作は、夫々のフレームの画像に対して行われる。その結果、夫々のフレームの映像信号（Ｙ、Ｕ及びＶ）が生成され、順次信号処理部５６から出力される。出力される映像信号は圧縮処理部１６に入力され、圧縮処理部１６において所定の画像圧縮方式に従って圧縮符号化される。

第７実施例に示すように、色同時化画像と出力合成画像とを合成する構成（色同時化処理を行ったあとに合成処理を行う構成）としても、第１実施例（合成を行ったあとに色同時化処理を行う構成）と同様の効果を得ることができる。即ち、ジャギーや偽色を抑制することができるとともに、解像感の向上を図ることができる。さらに、生成される出力合成画像のノイズを低減することができる。

また、ジャギー及び偽色とノイズとを低減するための合成が一度だけであり、合成する画像が、順次入力される現フレームの色同時化画像と、前フレームの出力合成画像だけとなる。そのため、合成を行うために記憶する画像が前フレームの出力合成画像だけとなる。したがって、備えるフレームメモリ５２ｃを１つ（１フレーム分）とすることが可能となり、回路構成の簡略化や小型化を図ることが可能となる。

さらに第７実施例では、色補間画像２６１〜２６４（図２１〜図２４参照）の色信号の存在位置を限定する必要を無くすことができる。第１実施例では、合成する色補間画像及び合成画像が、１つの補間画素位置にＧ、Ｂ及びＲ信号のいずれか１つが存在するものとなる。そのため、色補間処理によって生成する色信号の補間画素位置を規定して、特定の補間画素位置に特定の種類の色信号が生成されるようにすることで、合成を容易に行うこととしていた。これに対して第７実施例では、合成を行う前に色同時化処理を行うため、色同時化画像及び出力合成画像の１つの補間画素位置には、Ｇ、Ｂ及びＲ信号が全て含まれる。そのため、色補間画像を生成する際に、特定の補間画素位置に特定の種類の色信号を生成することを不要とすることが可能となる。但し、色信号を生成する補間画素位置自体は規定する必要がある。

上記の効果について、具体的に図５７を参照して説明する。図５７は、第７実施例における第４の加算パターンを用いて取得された原画像におけるＧ、Ｂ及びＲ信号が混合される様子を示す図であり、第１実施例について示した図１９に対応するとともに比較され得るものである。第１実施例では、特定の種類の色信号を生成する補間画素位置を規定すると好適であるため、上述のように原画像に応じて色信号の生成方法を異ならせる必要がある。例えば、図１３及び図１９では、黒色及び灰色の矢印で示される色信号の生成方法が異なるものとなる。これに対して第７実施例では、特定の種類の色信号が生成される補間画素位置を規定する必要がないため、図１３及び図５７に示すように、色信号の生成方法を同じものとすることができる。したがって、入力される原画像が時間によって異なるものであったとしても、加算パターン群、間引きパターン群及び加算／間引きパターン群が同じものであれば、入力される異なる種類の原画像に対して同じ色補間処理方法を適用することが可能となる。

また、このようにして得られる色補間画像の色信号の位置［ｘ、ｙ］は、上述のようにずれたものとなるが、パターンは同じものとなる。例えば、水平画素位置ｉ及び垂直画素位置ｊが偶数及び奇数であればＧ信号、水平画素位置ｉが奇数かつ垂直画素位置ｊが偶数であればＢ信号、水平画素位置ｉが偶数かつ垂直画素位置ｊが奇数であればＲ信号となり、原画像によらず等しくなる。そのため、入力される異なる種類の色補間画像の信号に対して同じ色同時化処理方法を適用することが可能となる。

尚、第７実施例は第１実施例と対応するものであるため、第１実施例に適用可能な第２〜第６実施例の構成を、第７実施例にも組み合わせることが可能となる。即ち、第２や第３実施例に示した重み係数の決定方法を第７実施例に適用しても構わないし、第４実施例に示した画像圧縮方法を適用しても構わないし、第５や第６実施例に示した加算パターンや間引きパターン、加算／間引きパターンを第７実施例に適用しても構わない。

＜＜変形等＞＞
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態の変形例または注釈事項として、以下に、注釈１〜注釈３を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。

［注釈１］
上述してきた加算パターンは様々に変形可能である。上述の加算読み出し方式では、４個の受光画素信号を加算することによって原画像上の１つの画素信号を形成しているが、４個以外の複数の受光画素信号（例えば、９個又は１６個の受光画素信号）を加算することによって原画像上の１つの画素信号を形成するようにしてもよい。

同様に、上述してきた間引きパターンも様々に変形可能である。上述の間引き読み出し方式では、水平及び垂直方向に２画素ずつ受光画素信号が間引かれるが、間引かれる受光画素信号の個数は２以外であってもよい。例えば、水平及び垂直方向に４画素ずつ受光画素信号を間引くようにしてもよい。

［注釈２］
図１の撮像装置１は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。特に、映像信号処理部（１３、１３ａ、１３ｂ又は１３ｃ）内で実行される処理の全部又は一部を、ソフトウェアを用いて実現することも可能である。勿論、映像信号処理部をハードウェアのみで形成することも可能である。ソフトウェアを用いて撮像装置１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。

［注釈３］
例えば、以下のように考えることができる。図１のＣＰＵ２３は、原画像の取得の際に、どのような加算パターン又は間引きパターンを用いるかを制御し、この制御の下、撮像素子３３から原画像の画素信号となるべき信号が読み出される。従って、原画像を取得する原画像取得手段は、主としてＣＰＵ２３と映像信号処理部１３によって実現されると考えることもでき、この原画像取得手段に、加算読み出し又は間引き読み出しを行う読出手段が内包されていると考えることもできる。尚、加算読み出し方式と間引き読み出し方式を組み合わせた加算/間引き方式は、上述したように、加算読み出し方式又は間引き読み出し方式の一種であるので、加算読み出し方式による加算／間引きパターンは加算パターン又は間引きパターンの一種であると考えることができると共に、加算読み出し方式による受光画素信号の読み出しは加算読み出し又は間引き読み出しの一種であると考えることができる。

本発明の実施形態に係る撮像装置の全体ブロック図である。 図１の撮像素子の有効領域内における受光画素配列を示す図である。 図１の撮像素子に対するカラーフィルタ配列を示す図である。 図１の撮像装置によって撮影された原画像の画素配列を示す図（ａ）と、原画像を含む任意の画像にとっての画像座標面を示す図（ｂ）である。 全画素読み出し方式を用いて得た原画像における画素信号のイメージ図である。 図５の原画像に対して施される色補間処理の概念図（ａ）〜（ｃ）と、図５の原画像に色補間処理を施すことによって得られた色補間画像のイメージ図（ｄ）〜（ｅ）である。 本発明の第１実施例に係り、第１及び第２の加算パターンを用いた場合における信号加算の様子を示す図である。 本発明の第１実施例に係り、第３及び第４の加算パターンを用いた場合における信号加算の様子を示す図である。 本発明の第１実施例に係り、第１〜第４の加算パターンを用いて加算読み出しを行った場合に得られる原画像の画素信号の様子を示す図である。 本発明の第１実施例に係り、図１の映像信号処理部の内部ブロック図を含む、撮像装置の一部ブロック図である。 本発明の第１実施例に係り、図１０の映像信号処理部の動作を示すフローチャートである。 本発明の第１実施例に係り、複数の画素信号から補間画素位置の画素信号を算出する手法を説明するための図である。 本発明の第１実施例に係り、第１の加算パターンを用いて取得された原画像におけるＧ、Ｂ及びＲ信号が混合される様子を示す図である。 本発明の第１実施例に係り、図１３（ａ）〜（ｃ）に対応する原画像から生成された色補間画像上のＧ、Ｂ及びＲ信号を示す図である。 本発明の第１実施例に係り、第２の加算パターンを用いて取得された原画像におけるＧ、Ｂ及びＲ信号が混合される様子を示す図である。 本発明の第１実施例に係り、図１５（ａ）〜（ｃ）に対応する原画像から生成された色補間画像上のＧ、Ｂ及びＲ信号を示す図である。 本発明の第１実施例に係り、第３の加算パターンを用いて取得された原画像におけるＧ、Ｂ及びＲ信号が混合される様子を示す図である。 本発明の第１実施例に係り、図１７（ａ）〜（ｃ）に対応する原画像から生成された色補間画像上のＧ、Ｂ及びＲ信号を示す図である。 本発明の第１実施例に係り、第４の加算パターンを用いて取得された原画像におけるＧ、Ｂ及びＲ信号が混合される様子を示す図である。 本発明の第１実施例に係り、図１９（ａ）〜（ｃ）に対応する原画像から生成された色補間画像上のＧ、Ｂ及びＲ信号を示す図である。 本発明の第１実施例に係り、図１３（ａ）〜（ｃ）に対応する原画像から生成された色補間画像上のＧ、Ｂ及びＲ信号を示す図である。 本発明の第１実施例に係り、図１５（ａ）〜（ｃ）に対応する原画像から生成された色補間画像上のＧ、Ｂ及びＲ信号を示す図である。 本発明の第１実施例に係り、図１７（ａ）〜（ｃ）に対応する原画像から生成された色補間画像上のＧ、Ｂ及びＲ信号を示す図である。 本発明の第１実施例に係り、図１９（ａ）〜（ｃ）に対応する原画像から生成された色補間画像上のＧ、Ｂ及びＲ信号を示す図である。 本発明の第１実施例に係り、色補間画像及び合成画像とそれに対応する輝度画像を示す図である。 本発明の第１実施例に係り、合成画像上のＧ、Ｂ及びＲ信号の存在位置を示す図である。 本発明の第１実施例に係り、出力合成画像のＧ、Ｂ及びＲ信号の存在位置を示す図である。 本発明の第２実施例に係り、図１の映像信号処理部の内部ブロック図を含む、撮像装置の一部ブロック図である。 本発明の第２実施例に係り、動きベクトルの大きさと、色補間画像及び前フレームの合成画像の合成に利用される重み係数との関係例を示す図である。 １枚の画像の全体画像領域が９つの一部画像領域に分割されている様子を示す図（ａ）と、２枚の画像間における動きベクトル群を示す図（ｂ）である。 本発明の第３実施例に係り、図１の映像信号処理部の内部ブロック図を含む、撮像装置の一部ブロック図である。 本発明の第３実施例に係り、画像特徴量を算出するためのフィルタの例を示す図（ａ）及び（ｂ）、及び、画像特徴量と現フレームの色補間画像及び前フレームの合成画像の合成に利用される基準重み値との関係例を示す図（ｃ）である。 本発明の第４実施例に係るＭＰＥＧ動画像の構成を示す図である。 本発明の第４実施例に係り、色補間画像列と、合成画像と、出力合成画像列と、総合重み係数列と、の関係を示す図である。 本発明の第５実施例に係り、加算パターン群（Ｐ_B1〜Ｐ_B4）を用いた場合における信号加算の様子を示す図である。 本発明の第５実施例に係り、図３５（ａ）〜（ｄ）の加算パターン群を用いて加算読み出しを行った場合に得られる原画像の画素信号の様子を示す図である。 本発明の第５実施例に係り、加算パターン群（Ｐ_C1〜Ｐ_C4）を用いた場合における信号加算の様子を示す図である。 本発明の第５実施例に係り、図３７（ａ）〜（ｄ）の加算パターン群を用いて加算読み出しを行った場合に得られる原画像の画素信号の様子を示す図である。 本発明の第５実施例に係り、加算パターン群（Ｐ_D1〜Ｐ_D4）を用いた場合における信号加算の様子を示す図である。 本発明の第５実施例に係り、図３９（ａ）〜（ｄ）の加算パターン群を用いて加算読み出しを行った場合に得られる原画像の画素信号の様子を示す図である。 本発明の第６実施例に係り、間引きパターン群（Ｑ_A1〜Ｑ_A4）を示す図である。 本発明の第６実施例に係り、図４１（ａ）〜（ｄ）の間引きパターン群を用いて間引き読み出しを行った場合に得られる原画像の画素信号の様子を示す図である。 本発明の第６実施例に係り、間引きパターン群（Ｑ_B1〜Ｑ_B4）を示す図である。 本発明の第６実施例に係り、図４３（ａ）〜（ｄ）の間引きパターン群を用いて間引き読み出しを行った場合に得られる原画像の画素信号の様子を示す図である。 本発明の第６実施例に係り、間引きパターン群（Ｑ_C1〜Ｑ_C4）を示す図である。 本発明の第６実施例に係り、図４５（ａ）〜（ｄ）の間引きパターン群を用いて間引き読み出しを行った場合に得られる原画像の画素信号の様子を示す図である。 本発明の第７実施例に係り、間引きパターン群（Ｑ_D1〜Ｑ_D4）を示す図である。 本発明の第６実施例に係り、図４７（ａ）〜（ｄ）の間引きパターン群を用いて間引き読み出しを行った場合に得られる原画像の画素信号の様子を示す図である。 本発明の第６実施例に係り、加算/間引きパターンを用いた時の、信号加算の様子及び信号間引きの様子を示す図である。 本発明の第６実施例に係り、図４９の加算/間引きパターンに従って受光画素信号を読み出した時の、原画像の画素信号の様子を示す図である。 本発明の第７実施例に係り、図１の映像信号処理部の内部ブロック図を含む、撮像装置の一部ブロック図である。 本発明の第７実施例に係り、図５１の映像信号処理部の動作を示すフローチャートである。 本発明の第７実施例に係り、図２１（ａ）〜（ｃ）に対応する色補間画像から生成された色同時化画像上のＧ、Ｂ及びＲ信号を示す図である。 本発明の第７実施例に係り、図２２（ａ）〜（ｃ）に対応する色補間画像から生成された色同時化画像上のＧ、Ｂ及びＲ信号を示す図である。 本発明の第７実施例に係り、図２３（ａ）〜（ｃ）に対応する色補間画像から生成された色同時化画像上のＧ、Ｂ及びＲ信号を示す図である。 本発明の第７実施例に係り、図２４（ａ）〜（ｃ）に対応する色補間画像から生成された色同時化画像上のＧ、Ｂ及びＲ信号を示す図である。 本発明の第７実施例に係り、第４の加算パターンを用いて取得された原画像におけるＧ、Ｂ及びＲ信号が混合される様子を示す図である。 従来技術に係り、撮像素子の受光画素信号の加算読み出しを行って得た原画像から出力画像を生成する処理を説明するための図である。

符号の説明

１ 撮像装置
１１ 撮像部
１２ ＡＦＥ
１３、１３ａ、１３ｂ、１３ｃ 映像信号処理部
１６ 圧縮処理部
３３ 撮像素子
５１ 色補間処理部
５２、５２ｃ フレームメモリ
５３ 動き検出部
５４、５４ｂ、５４ｃ 画像合成部
５５、５５ｃ 色同時化処理部
５６ 信号処理部
６１、７１ 重み係数算出部
６２、７２ 合成処理部
７０ 画像特徴量算出部

Claims (9)

1. 単板方式の撮像素子に二次元配列された受光画素群の画素信号の加算読み出し又は間引き読み出しを行う読出手段を有し、加算又は間引きの対象となる受光画素の組み合わせが異なる複数の読み出しパターンを用いることにより、画素信号を有する画素位置が連続するフレーム間で互いに異なる原画像を順次取得する原画像取得手段と、
   当該原画像取得手段によって順次取得される前記原画像に所定の画像処理を施して第１画像を順次生成する画像処理手段と、
   当該画像処理手段によって生成される前記第１画像に、所定の画像を順次合成して第２画像を順次生成する合成手段と、
   当該合成手段によって生成される前記第２画像を一時的に記憶する記憶手段と、を備え、
   前記所定の画像処理が、前記原画像の画素信号群に含まれる同一色の画素信号同士を混合し、その混合によって得られた画素信号を補間画素位置毎に一つずつ備えた色補間画像を複数のフレーム間における物体の動きにかかわらず生成する色補間処理を含み、
   前記合成手段が、前記記憶手段に記憶された前記第２画像を前記第１画像に合成して、前記第２画像を順次生成する
   ことを特徴とする画像処理装置。
2. 前記色補間画像が前記第１画像であり、
   前記第２画像が、前記補間画素位置毎に画素信号を一つずつ備える画像であり、
   前記第２画像に備えられる画素信号に基づいて、前記補間画素位置毎に異色の画素信号を複数備える出力合成画像を生成する色同時化手段を、さらに備える
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記画像処理手段が、
   前記色補間画像を生成する色補間処理手段と、
   前記色補間画像に備えられる画素信号に基づいて、前記補間画素位置毎に異色の画素信号を複数備える前記第１画像を生成する色同時化手段と、を備えるものであり、
   前記第２画像が、前記補間画素位置毎に異色の画素信号を複数備える画像である
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記第１画像及び前記第２画像の夫々で対応する画素信号の画像内における位置が等しい、又は、対応する画素信号の画像内における位置が所定の大きさだけずれたものであり、
   前記合成手段が、前記第１画像及び前記第２画像の夫々で対応する画素信号同士を混合することにより、前記第２画像を生成する
   ことを特徴とする請求項２又は請求項３に記載の画像処理装置。
5. 前記合成手段によって合成される前記第１画像及び前記第２画像間における物体の動きを検出する動き検出手段をさらに備え、
   前記合成手段が、前記動きの大きさに基づいて前記第２画像の生成を行う
   ことを特徴とする請求項２〜４の何れかに記載の画像処理装置。
6. 前記合成手段が、前記動き検出手段によって検出された前記第１画像及び前記第２画像間における物体の動きの大きさに基づいて重み係数を設定する重み係数設定手段を有し、前記重み係数に従って前記第１画像及び前記第２画像の画素信号を混合することにより前記第２画像を生成する
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記合成手段によって合成を行う前記第１画像について、ある注目した画素の周辺の画素の特徴を示す画像特徴量を算出する画像特徴量算出手段をさらに備え、
   前記重み係数設定手段が、前記動き検出手段によって検出される物体の動きの大きさと、前記画像特徴量算出手段によって算出される前記画像特徴量とに基づいて、前記重み係数を設定する
   ことを特徴とする請求項６に記載の画像処理装置。
8. 単板方式の撮像素子と、
   請求項１〜７の何れかに記載の画像処理装置と、を備えた
   ことを特徴とする撮像装置。
9. 単板方式の撮像素子に二次元配列された受光画素群の画素信号の加算読み出し又は間引き読み出しを、加算又は間引きの対象となる受光画素の組み合わせが異なる複数の読み出しパターンを用いることにより行い、画素信号を有する画素位置が連続するフレーム間で互いに異なる原画像を取得する第１ステップと、
   当該第１ステップによって取得された前記原画像に所定の画像処理を施して第１画像を生成する第２ステップと、
   当該第２ステップによって生成された前記第１画像に、所定の画像を合成して第２画像を生成する第３ステップと、
   当該第３ステップによって生成された前記第２画像を一時的に記憶する第４ステップと、を備え、
   前記第１〜前記第４ステップを繰り返すことで、順次前記第２画像を生成及び記憶するとともに、
   前記所定の画像処理が、前記原画像の画素信号群に含まれる同一色の画素信号同士を混合し、その混合によって得られた画素信号を補間画素位置毎に一つずつ備えた色補間画像を複数のフレーム間における物体の動きにかかわらず生成する色補間処理を含み、
   前記第３ステップが、過去に生成して記憶した前記第２画像を、前記第１画像に合成するものである
   ことを特徴とする画像処理方法。