JP5202106B2 - 画像処理装置及び撮像装置 - Google Patents

Description

本発明は、取得した原画像に対して画像処理を行う画像処理装置、及び、デジタルビデオカメラ等の撮像装置に関する。

多画素から成る静止画像を撮影可能な撮像素子（イメージセンサ）にて動画像を撮影する場合、撮像素子からの画素信号の読み出し速度に応じて、フレームレートを低く抑える必要がある。高フレームレートを実現するためには、画素信号の加算読み出し或いは間引き読み出しを行って画像データを減らす必要がある。

但し、撮像素子上の画素間隔は水平及び垂直方向において均等であるにも拘らず、加算読み出し或いは間引き読み出しを行うと、画素信号が存在する間隔が不均等となる。この不均等に配列された画素信号を有する画像をそのまま表示すると、ジャギーや偽色が発生する。この問題を回避するための手法として、画素信号が存在する画素間隔が均等となるように補間処理を行う手法が提案されている（例えば、特許文献１及び２参照）

この手法を、図５４を参照して説明する。図５４において、ブロック９０１は、単板方式を採用した撮像素子の受光画素前面に配置されたカラーフィルタ配列（ベイヤー配列）を示している。ブロック９０２は、加算読み出しを行うことによって、この撮像素子から得られるＲ、Ｇ及びＢ信号の存在位置を示している。加算読み出しでは、注目位置の近傍画素における画素信号が加算され、加算信号が注目位置の画素信号として撮像素子から読み出される。例えば、Ｇ信号が生成されるべき注目位置の、左斜め上、右斜め上、左斜め下及び右斜め下に隣接する実際の受光画素の画素信号を加算することによって、注目位置のＧ信号が生成される。図５４では、黒塗りの丸によってＧ信号についての注目位置を示すと共に該丸に接続される矢印によって信号加算の様子を示しているが、Ｂ及びＲ信号についても、同様の加算読み出しが行われる。

ブロック９０２に示されるように、加算読み出しを行って得られる画像の画素間隔は不均等である。この不均等な画素間隔を均等な画素間隔に修正するための補間処理を行うことで、ブロック９０３及び９０４に示されるような画素信号配列を有する画像が得られる。つまり、Ｒ、Ｇ及びＢ信号が、ベイヤー配列のように配列された画像が得られる。このブロック９０４にて示される画像（ＲＡＷデータ）に対して、所謂デモザイキング処理（色同時化処理）を行うことで、ブロック９０５に示される出力画像が得られる。出力画像は、水平及び垂直方向に均等な間隔で画素が配列された二次元画像であり、出力画像における各画素に対してＲ、Ｇ及びＢ信号が割り当てられる。

特開２００３−０９２７６４号公報 特開２００３−２９９１１２号公報

図５４に示すような従来手法を用いて得た出力画像では、Ｒ、Ｇ及びＢ信号が存在する画素間隔が均等となるため、ジャギーや偽色の発生が抑制される。しかしながら、加算読み出しに由来する画素間隔の不均等を解消すべく、画素間隔を均等化するための補間処理を実行している。このような補間処理の実行は、必然的に、解像感の劣化（実質的な解像度の劣化）を招く。また、画素信号の間引き読み出しを行う場合にも、同様の問題が生じる。

そこで本発明は、画素信号の加算読み出し又は間引き読み出しを行った場合に生じ得る解像感劣化の抑制に寄与する画像処理装置及び撮像装置を提供することを目的とする。

本発明に係る画像処理装置は、単板方式の撮像素子に二次元配列された受光画素群の画素信号の加算読み出し又は間引き読み出しを行う読出手段を有し、加算又は間引きの対象となる受光画素の組み合わせが異なる複数の読み出しパターンを用いることにより、画素信号を有する画素位置が互いに異なる複数の原画像を取得する原画像取得手段と、前記原画像ごとに、前記原画像の画素信号群に含まれる同一色の画素信号同士を混合し、その混合によって得られた画素信号を有する補間画像を生成する補間処理手段と、を備えたことを特徴とする。

画素信号を有する画素位置が互いに異なる複数の原画像を取得する原画像取得手段を画像処理装置に設け、原画像ごとに同一色の画素信号混合を行うことによって補間画像を得る。これにより、画素位置間隔を均等化するための、図５４に対応する補間処理を省略することが可能となり、結果、その補間処理に起因する解像感劣化を抑制することが可能となる。尚、この補間処理を行わないことに由来して生じうる問題に対しては、例えば、前記複数の原画像から生成された複数の補間画像を合成することによって、或いは、該複数の補間画像を動画像として出力することによって、対応することができる。

具体的には例えば、各補間画像の画素信号群は、第１の色を含む複数色の画素信号から成り、各補間画像において、前記第１の色の画素信号が存在する画素位置の間隔は不均等である。

画素位置間隔を均等化するための、図５４に対応する補間処理は行われず、各補間画像において、画素位置の間隔は不均等とされる。これにより、図５４に対応する補間処理に起因する解像感劣化を抑制することが可能となる。

具体的には例えば、前記複数の原画像に含まれる着目した１枚の原画像を着目原画像と呼ぶとともに、前記着目原画像から生成される補間画像を着目補間画像と呼び、且つ、前記複数色に含まれる着目色の画素信号を着目色画素信号と呼んだ場合、前記補間処理手段は、前記着目原画像の着目色画素信号が存在する画素位置と異なる位置に補間画素位置を設定して、前記補間画素位置に着目色の画素信号を有する画像を前記着目補間画像として生成し、前記着目補間画像を生成する際、着目色画素信号が存在する、前記着目原画像上の複数の画素位置に注目して、前記複数の画素位置おける複数の着目色画素信号を混合することにより前記補間画素位置に対する画素信号を生成し、前記補間画素位置は、前記複数の画素位置の重心位置に設定される。

例えば、着目原画像及び着目補間画像が、夫々、図１２（ａ）〜（ｃ）に示される原画像２５１及び図１３（ａ）〜（ｃ）に示される色補間画像２６１であって、且つ、着目色が緑であると共に補間画素位置が図１２（ａ）に示される補間画素位置３０１である場合、着目原画像（２５１）の着目色画素信号（Ｇ信号）が存在する画素位置と異なる位置に補間画素位置（３０１）が設定されて、補間画素位置（３０１）に着目色の画素信号（Ｇ信号）を有する画像が着目補間画像（２６１）として生成される。この際、着目色画素信号（Ｇ信号）が存在する、着目原画像（２５１）上の複数の画素位置が注目され、前記複数の画素位置おける複数の着目色画素信号を混合することにより前記補間画素位置（３０１）に対する画素信号が生成される。そして、補間画素位置（３０１）は、前記複数の画素位置の重心位置に設定される。

更に具体的は例えば、前記補間処理手段は、前記複数の着目色画素信号を等比率で混合することによって前記補間画素位置に対する画素信号を生成する。

このような混合によって、前記第１の色の画素信号が存在する画素位置の間隔が不均等となる。

そして例えば、前記補間処理手段により前記複数の原画像から生成された複数の補間画像に基づいて１枚の出力画像を生成する出力画像生成手段を更に備え、前記出力画像は、均等配列された画素位置の夫々に複数色分の画素信号を有し、前記出力画像生成手段は、前記複数の補間画像間で対応する読み出しパターンが異なることに由来する、前記複数の補間画像間における画素位置の相違に基づいて、前記出力画像の生成を行う。

出力画像の画素間隔は均等であるため、出力画像においてジャギーや偽色の発生が抑制される。

また例えば、前記複数の補間画像間における物体の動きを検出する動き検出手段を更に備え、前記出力画像生成手段は、前記画素位置の相違だけでなく前記動きの大きさにも基づいて、前記出力画像の生成を行うようにしてもよい。

より具体的には例えば、前記複数の補間画像は少なくとも第１及び第２の補間画像を含み、前記出力画像生成手段は、前記動き検出手段によって検出された、前記第１の補間画像と前記第２の補間画像との間における物体の動きの大きさに基づいて重み係数を設定する重み係数設定手段を有し、前記重み係数に従って前記第１及び第２の補間画像の画素信号を混合することにより前記出力画像を生成する。

これにより、出力画像における輪郭部のぼけや二重像の発生を抑制することも可能となる。

更に例えば、前記複数の読み出しパターンを用いて前記複数の原画像を取得する動作を繰り返し実行することにより、前記出力画像生成手段にて時系列上に並ぶ出力画像列が生成され、当該画像処理装置は、前記出力画像列に対して画像圧縮処理を施すことにより、フレーム内符号化画像及びフレーム間予測符号化画像を含む圧縮動画像を生成する画像圧縮手段を更に備え、前記画像圧縮手段は、前記出力画像列を形成する各出力画像に対応して設定された重み係数に基づいて、前記出力画像列の中から前記フレーム内符号化画像の対象となる出力画像を選択するようにしてもよい。

これは、圧縮動画像の全体的な画質の向上に寄与する。

また例えば、前記補間処理手段により前記複数の原画像から生成された複数の補間画像を動画像として出力するようにしてもよい。

また例えば、加算又は間引きの対象となる受光画素の組み合わせが異なる複数の読み出しパターンは複数組存在し、当該画像処理装置は、前記複数の補間画像間における物体の動きを検出する動き検出手段を更に備え、検出された動きの向きに基づいて、前記原画像を取得するために用いる読み出しパターンの組を可変設定するようにしてもよい。

これにより、画像中の物体の動きに適した読み出しパターンの組が動的に可変設定される。

本発明に係る撮像装置は、単板方式の撮像素子と、上記の何れかに記載の画像処理装置と、を備えたことを特徴とする。

本発明によれば、画素信号の加算読み出し又は間引き読み出しを行った場合に生じ得る解像感劣化の抑制に寄与する画像処理装置及び撮像装置を提供することが可能となる。

本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。

以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。後に第１〜第８実施例を説明するが、まず、各実施例に共通する事項又は各実施例にて参照される事項について説明する。

図１は、本発明の実施形態に係る撮像装置１の全体ブロック図である。撮像装置１は、例えば、デジタルビデオカメラである。撮像装置１は、動画像及び静止画像を撮影可能となっていると共に、動画像撮影中に静止画像を同時に撮影することも可能となっている。

［基本的な構成の説明］
撮像装置１は、撮像部１１と、ＡＦＥ（Analog Front End）１２と、映像信号処理部１３と、マイク１４と、音声信号処理部１５と、圧縮処理部１６と、ＤＲＡＭ（Dynamic Random Access Memory）などの内部メモリ１７と、ＳＤ（Secure Digital）カードや磁気ディスクなどの外部メモリ１８と、伸張処理部１９と、ＶＲＡＭ（Video Random Access Memory）２０と、音声出力回路２１と、ＴＧ（タイミングジェネレータ）２２と、ＣＰＵ（Central Processing Unit）２３と、バス２４と、バス２５と、操作部２６と、表示部２７と、スピーカ２８と、を備えている。操作部２６は、録画ボタン２６ａ、シャッタボタン２６ｂ及び操作キー２６ｃ等を有している。撮像装置１内の各部位は、バス２４又は２５を介して、各部位間の信号（データ）のやり取りを行う。

ＴＧ２２は、撮像装置１全体における各動作のタイミングを制御するためのタイミング制御信号を生成し、生成したタイミング制御信号を撮像装置１内の各部に与える。タイミング制御信号は、垂直同期信号Ｖｓｙｎｃと水平同期信号Ｈｓｙｎｃを含む。ＣＰＵ２３は、撮像装置１内の各部の動作を統括的に制御する。操作部２６は、ユーザによる操作を受け付ける。操作部２６に与えられた操作内容は、ＣＰＵ２３に伝達される。撮像装置１内の各部は、必要に応じ、信号処理時に一時的に各種のデータ（デジタル信号）を内部メモリ１７に記録する。

撮像部１１は、撮像素子（イメージセンサ）３３の他、図示されない光学系、絞り及びドライバを備える。被写体からの入射光は、光学系及び絞りを介して、撮像素子３３に入射する。光学系を構成する各レンズは、被写体の光学像を撮像素子３３上に結像させる。ＴＧ２２は、上記タイミング制御信号に同期した、撮像素子３３を駆動するための駆動パルスを生成し、該駆動パルスを撮像素子３３に与える。

撮像素子３３は、ＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等からなる固体撮像素子である。撮像素子３３は、光学系及び絞りを介して入射した光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２に出力する。より具体的には、撮像素子３３は、マトリクス状に二次元配列された複数の受光画素（図１において不図示）を備え、各撮影において、各受光画素は露光時間に応じた電荷量の信号電荷を蓄える。蓄えた信号電荷の電荷量に比例した大きさを有する各受光画素からの電気信号は、ＴＧ２２からの駆動パルスに従って、後段のＡＦＥ１２に順次出力される。

ＡＦＥ１２は、撮像素子３３（各受光画素）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換してから映像信号処理部１３に出力する。ＡＦＥ１２における信号増幅の増幅度はＣＰＵ２３によって制御される。映像信号処理部１３は、ＡＦＥ１２の出力信号によって表される画像に対して各種画像処理を施し、画像処理後の画像についての映像信号を生成する。映像信号は、通常、画像の輝度を表す輝度信号Ｙと、画像の色を表す色差信号Ｕ及びＶと、から構成される。

マイク１４は撮像装置１の周辺音をアナログの音声信号に変換し、音声信号処理部１５は、このアナログの音声信号をデジタルの音声信号に変換する。

圧縮処理部１６は、映像信号処理部１３からの映像信号を、所定の圧縮方式を用いて圧縮する。動画像または静止画像の撮影及び記録時において、圧縮された映像信号は外部メモリ１８に記録される。また、圧縮処理部１６は、音声信号処理部１５からの音声信号を、所定の圧縮方式を用いて圧縮する。動画像撮影及び記録時において、映像信号処理部１３からの映像信号と音声信号処理部１５からの音声信号は、圧縮処理部１６にて時間的に互いに関連付けられつつ圧縮され、圧縮後のそれらは外部メモリ１８に記録される。

録画ボタン２６ａは、動画像の撮影及び記録の開始／終了を指示するための押しボタンスイッチであり、シャッタボタン２６ｂは、静止画像の撮影及び記録を指示するための押しボタンスイッチである。

撮像装置１の動作モードには、動画像及び静止画像の撮影が可能な撮影モードと、外部メモリ１８に格納された動画像及び静止画像を表示部２７に再生表示する再生モードと、が含まれる。操作キー２６ｃに対する操作に応じて、各モード間の遷移は実施される。

撮影モードでは、所定のフレーム周期にて順次撮影が行われ、撮像素子３３から撮影画像列が取得される。撮影画像列に代表される画像列とは、時系列で並ぶ画像の集まりを指す。また、画像を表すデータを画像データと呼ぶ。画像データも、映像信号の一種と考えることができる。１つのフレーム周期分の画像データによって１枚分の画像が表現される。映像信号処理部１３は、ＡＦＥ１２の出力信号によって表される画像に対して各種画像処理を施すが、この画像処理を施す前の、ＡＦＥ１２の出力信号そのものによって表される画像を、原画像と呼ぶ。従って、１つのフレーム周期分の、ＡＦＥ１２の出力信号によって、１枚の原画像が表現される。

撮影モードにおいて、ユーザが録画ボタン２６ａを押下すると、ＣＰＵ２３の制御の下、その押下後に得られる映像信号及びそれに対応する音声信号が、順次、圧縮処理部１６を介して外部メモリ１８に記録される。動画像撮影の開始後、再度ユーザが録画ボタン２６ａを押下すると、映像信号及び音声信号の外部メモリ１８への記録は終了し、１つの動画像の撮影は完了する。また、撮影モードにおいて、ユーザがシャッタボタン２６ｂを押下すると、静止画像の撮影及び記録が行われる。

再生モードにおいて、ユーザが操作キー２６ｃに所定の操作を施すと、外部メモリ１８に記録された動画像又は静止画像を表す圧縮された映像信号は、伸張処理部１９にて伸張されＶＲＡＭ２０に書き込まれる。尚、撮影モードにおいては、通常、録画ボタン２６ａ及びシャッタボタン２６ｂに対する操作内容に関係なく、映像信号処理１３による映像信号の生成が逐次行われており、その映像信号はＶＲＡＭ２０に書き込まれる。

表示部２７は、液晶ディスプレイなどの表示装置であり、ＶＲＡＭ２０に書き込まれている映像信号に応じた画像を表示する。また、再生モードにおいて動画像を再生する際、外部メモリ１８に記録された動画像に対応する圧縮された音声信号も、伸張処理部１９に送られる。伸張処理部１９は、受け取った音声信号を伸張して音声出力回路２１に送る。音声出力回路２１は、与えられたデジタルの音声信号をスピーカ２８にて出力可能な形式の音声信号（例えば、アナログの音声信号）に変換してスピーカ２８に出力する。スピーカ２８は、音声出力回路２１からの音声信号を音声（音）として外部に出力する。

［撮像素子の受光画素配列］
図２は、撮像素子３３の有効領域内の受光画素配列を示している。撮像素子３３の有効領域は長方形形状を有しており、その長方形の一頂点を撮像素子３３の原点と捉える。原点が撮像素子３３の有効領域の左上隅に位置するものとする。撮像素子３３の垂直方向における有効画素数と水平方向における有効画素数との積（例えば、数１００〜数１０００の二乗）に相当する個数の受光画素が二次元配列されることによって、撮像素子３３の有効領域が形成される。撮像素子３３の有効領域内の各受光画素をＰ_S［ｘ，ｙ］にて表す。ここで、ｘ及びｙは整数である。撮像素子３３の原点から見て、右側に位置する受光画素ほど、対応する変数ｘの値が大きくなり、下側に位置する受光画素ほど、対応する変数ｙの値が大きくなるものとする。撮像素子３３において、上下方向は垂直方向に対応し、左右方向は水平方向に対応する。

図２では、便宜上、１０×１０の受光画素領域のみを図示しており、この受光画素領域を符号２００によって参照する。以下の説明では、受光画素領域２００内の受光画素に特に注目する。受光画素領域２００内には、不等式「１≦ｘ≦１０」及び「１≦ｙ≦１０」を満たす合計１００個の受光画素Ｐ_S［ｘ，ｙ］が示されている。受光画素領域２００内に属する受光画素群の内、受光画素Ｐ_S［１，１］の配置位置が最も撮像素子３３の原点に近く、受光画素Ｐ_S［１０，１０］の配置位置が最も撮像素子３３の原点から遠い。

撮像装置１は、１枚のイメージセンサのみを用いる、いわゆる単板方式を採用している。図３は、撮像素子３３の各受光画素の前面に配置されたカラーフィルタの配列を示している。図３に示される配列は、一般に、ベイヤー配列と呼ばれる。カラーフィルタには、光の赤成分のみを透過させる赤フィルタと、光の緑成分のみを透過させる緑フィルタと、光の青成分のみを透過させる青フィルタと、がある。赤フィルタは、受光画素Ｐ_S［２ｎ_A−１，２ｎ_B］の前面に配置され、青フィルタは、受光画素Ｐ_S［２ｎ_A，２ｎ_B−１］の前面に配置され、緑フィルタは、受光画素Ｐ_S［２ｎ_A−１，２ｎ_B−１］又はＰ_S［２ｎ_A，２ｎ_B］の前面に配置される。ここで、ｎ_A及びｎ_Bは整数である。尚、図３並びに後述の図５等において、赤フィルタに対応する部位をＲにて表し、緑フィルタに対応する部位をＧにて表し、青フィルタに対応する部位をＢにて表す。

赤フィルタ、緑フィルタ、青フィルタが前面に配置された受光画素を、夫々、赤受光画素、緑受光画素、青受光画素とも呼ぶ。各受光画素は、カラーフィルタを介して自身に入射した光を光電変換によって電気信号に変換する。この電気信号は、受光画素の画素信号を表し、以下、それを「受光画素信号」と呼ぶこともある。赤受光画素、緑受光画素及び青受光画素は、夫々、光学系の入射光の、赤成分、緑成分及び青成分にのみ反応する。

撮像素子３３から受光画素信号を読み出す方式には、全画素読み出し方式、加算読み出し方式、間引き読み出し方式がある。全画素読み出し方式にて撮像素子３３から受光画素信号を読み出す場合、撮像素子３３の有効領域内に位置する全ての受光画素からの受光画素信号が個別にＡＦＥ１２を介して映像信号処理部１３に与えられる。加算読み出し方式及び間引き読み出し方式については、後述される。尚、以下の説明では、記述の簡略化上、ＡＦＥ１２における信号増幅及びデジタル化を無視して考える。

［原画像の画素配列］
図４（ａ）は、原画像の画素配列を示している。図４（ａ）では、図２の受光画素領域２００に対応する、原画像の一部画像領域のみを示している。原画像を含む任意の画像は、二次元直交座標系である画像座標面ＸＹ上に二次元配列された画素群から形成されている、と考えることができる（図４（ｂ）参照）。

記号Ｐ［ｘ，ｙ］は、受光画素Ｐ_S［ｘ，ｙ］に対応する、原画像上の画素を表す。撮像素子３３の原点に対応する原画像の原点から見て、右側に位置する画素ほど、対応する記号Ｐ［ｘ，ｙ］中の変数ｘの値が大きくなり、下側に位置する画素ほど、対応する記号Ｐ［ｘ，ｙ］中の変数ｙの値が大きくなるものとする。原画像において、上下方向は垂直方向に対応し、左右方向は水平方向に対応する。

また、以下の説明において、撮像素子３３の位置を記号［ｘ，ｙ］にて表すと共に、原画像を含む任意の画像上の位置（画像座標面ＸＹ上の位置）も記号［ｘ，ｙ］にて表す。撮像素子３３における位置［ｘ，ｙ］は、受光画素Ｐ_S［ｘ，ｙ］の、撮像素子３３上の位置と合致し、画像（画像座標面ＸＹ）における位置［ｘ，ｙ］は、原画像の画素Ｐ［ｘ，ｙ］の位置と合致する。但し、撮像素子３３の各受光画素及び原画像上の各画素は、水平及び垂直方向においてゼロではない一定の大きさを有してため、厳密には、撮像素子３３における位置［ｘ，ｙ］は、受光画素Ｐ_S［ｘ，ｙ］の中心位置と合致し、画像（画像座標面ＸＹ）における位置［ｘ，ｙ］は、原画像の画素Ｐ［ｘ，ｙ］の中心位置と合致する。また、以下の説明では、画素（又は受光画素）の位置を示すことを明示すべく、記号［ｘ，ｙ］を、画素位置を表す記号としても用いることがある。

尚、原画像上の１画素の、水平方向の幅をＷｐで表す（図４（ａ）参照）。原画像上の１画素の、垂直方向の幅もＷｐである。従って、画像（画像座標面ＸＹ）上において、位置［ｘ，ｙ］と位置［ｘ＋１，ｙ］との距離及び位置［ｘ，ｙ］と位置［ｘ，ｙ＋１］との距離は、共にＷｐである。

全画素読み出し方式を用いた場合、ＡＦＥ１２から出力される、受光画素Ｐ_S［ｘ，ｙ］の受光画素信号は、原画像の画素Ｐ［ｘ，ｙ］の画素信号となる。図５に、全画素読み出し方式を用いて得た原画像２２０における、画素信号のイメージ図を示す。図５及び後述する図６（ａ）〜（ｅ）では、図示の簡略化上、画素位置［１，１］〜［４，４］に対応する部分のみを示している。また、図５及び後述する図６（ａ）〜（ｅ）では、画素信号が表す色成分（Ｒ、Ｇ又はＢ）を、画素位置に対応させて示している。

原画像２２０において、画素位置［２ｎ_A−１，２ｎ_B］の画素信号は、ＡＦＥ１２から出力される赤受光画素Ｐ_S［２ｎ_A−１，２ｎ_B］の受光画素信号であり、画素位置［２ｎ_A，２ｎ_B−１］の画素信号は、ＡＦＥ１２から出力される青受光画素Ｐ_S［２ｎ_A，２ｎ_B−１］の受光画素信号であり、画素位置［２ｎ_A−１，２ｎ_B−１］又はＰ［２ｎ_A，２ｎ_B］の画素信号は、ＡＦＥ１２から出力される緑受光画素Ｐ_S［２ｎ_A−１，２ｎ_B−１］又はＰ_S［２ｎ_A，２ｎ_B］の受光画素信号である（ｎ_A及びｎ_Bは整数）。このように、全画素読み出し方式を用いた場合、画像上での画素間隔は、撮像素子３３上の受光画素間隔と同様、均等となっている。

原画像２２０では、１つの画素位置に対して、赤成分、緑成分及び青成分の内の何れかの１つの色成分のみの画素信号が存在している。映像信号処理部１３は、補間処理を用い、画像を形成する各々の画素に対して、３つの色成分の画素信号を割り当てるための処理を行う。この処理を、色補間処理と呼ぶ。色補間処理は、一般にデモザイキング処理とも呼ばれ、色同時化処理と呼ばれることもある。

以下、原画像を含む任意の画像において、赤成分、緑成分及び青成分のデータを表す画素信号を、夫々、Ｒ信号、Ｇ信号及びＢ信号と呼ぶ。また、Ｒ信号、Ｇ信号及びＢ信号の何れかを色信号と呼ぶこともあり、それらを総称して、色信号と呼ぶこともある。

図６（ａ）〜（ｃ）は、原画像２２０に対して施される色補間処理の概念図であり、図６（ｄ）〜（ｅ）は、原画像２２０に色補間処理を施すことによって得られた色補間画像２３０のイメージ図である。図６（ａ）〜（ｃ）は、夫々、Ｇ、Ｂ及びＲ信号に対する色補間処理の概念図であり、図６（ｄ）〜（ｅ）では、色補間画像２３０の各画素位置にＧ、Ｂ及びＲ信号が存在している様子が示されている。図６（ａ）〜（ｃ）において、丸で囲まれたＧ、Ｂ及びＲは、夫々、周辺画素（矢印の根元に位置する画素）を用いた補間処理によって得られたＧ、Ｂ及びＲ信号を表している。尚、図示の煩雑化防止のため、色補間画像２３０におけるＧ、Ｂ及びＲ信号を別個に示しているが、原画像２２０から１枚の色補間画像２３０が生成される。

周知の如く、原画像２２０に対する色補間処理では、注目画素の周辺画素における着目色の画素信号を混合することによって、注目画素における着目色の画素信号が生成される。例えば、図６（ａ）に示す如く、原画像２２０における画素位置［３，１］、［２，２］、［４，２］及び［３，３］の画素信号の平均信号が、色補間画像２３０における画素位置［３，２］のＧ信号として生成され、原画像２２０における画素位置［２，２］、［１，３］、［３，３］及び［２，４］の画素信号の平均信号が、色補間画像２３０における画素位置［２，３］のＧ信号として生成される。原画像２２０における画素位置［２，２］及び［３，３］の画素信号は、そのまま、夫々、色補間画像２３０における画素位置［２，２］及び［３，３］のＧ信号とされる。同様に、周知の信号補間方法に従って、色補間画像２３０における各画素のＢ及びＲ信号も生成される。

撮像装置１は、加算読み出し方式又は間引き読み出し方式の利用時に特徴的な動作を行う。以下に、この特徴的な動作の実現方法を説明する実施例として、第１〜第８実施例を説明する。矛盾なき限り、或る実施例に記載した事項は他の実施例にも適用される。

＜＜第１実施例＞＞
まず、第１実施例について説明する。第１実施例では、撮像素子３３から画素信号を読み出す方式として、複数の受光画素信号を加算しながら読み出す加算読み出し方式を用いる。この際、用いる加算パターンを複数の加算パターンの間で順次変更させながら加算読み出しを行い、加算パターンの異なる複数の色補間画像を合成することによって１枚の出力合成画像を生成する。加算パターンとは、加算の対象となる受光画素の組み合わせパターンを意味する。用いられる複数の加算パターンは、互いに異なる第１、第２、第３及び第４の加算パターンの内の、２以上の加算パターンを含む。

図７（ａ）、（ｂ）、図８（ａ）及び（ｂ）は、夫々、第１、第２、第３及び第４の加算パターンを用いた場合の信号加算の様子を示す。図７（ａ）、（ｂ）、図８（ａ）及び（ｂ）に対応する第１、第２、第３及び第４の加算パターンを、夫々、加算パターンＰ_A1、Ｐ_A2、Ｐ_A3及びＰ_A4によって参照することもある。図９（ａ）、（ｂ）、（ｃ）及び（ｄ）は、夫々、第１、第２、第３及び第４の加算パターンを用いて加算読み出しを行った場合に得られる、原画像の画素信号の様子を示す。上述したように、受光画素Ｐ_S［１，１］〜Ｐ_S［１０，１０］から成る受光画素領域２００に注目する（図２参照）。

図７（ａ）、（ｂ）、図８（ａ）及び（ｂ）に示される黒塗りの丸は、夫々、第１、第２、第３及び第４の加算パターンを用いた場合に想定される仮想的な受光画素の配置位置を示している。図７（ａ）、（ｂ）、図８（ａ）及び（ｂ）において、黒塗りの丸の周囲に示された矢印は、その丸に対応する仮想的な受光画素の画素信号を生成するために、該仮想的な受光画素の周辺受光画素の画素信号が加算される様子を示している。

第１の加算パターンとしての加算パターンＰ_A1を用いる場合は、
撮像素子３３の画素位置［２＋４ｎ_A，２＋４ｎ_B］及び［３＋４ｎ_A，３＋４ｎ_B］に仮想的な緑受光画素が配置され、撮像素子３３の画素位置［３＋４ｎ_A，２＋４ｎ_B］に仮想的な青受光画素が配置され、撮像素子３３の画素位置［２＋４ｎ_A，３＋４ｎ_B］に仮想的な赤受光画素が配置される、と想定する。
第２の加算パターンとしての加算パターンＰ_A2を用いる場合は、
撮像素子３３の画素位置［４＋４ｎ_A，４＋４ｎ_B］及び［５＋４ｎ_A，５＋４ｎ_B］に仮想的な緑受光画素が配置され、撮像素子３３の画素位置［５＋４ｎ_A，４＋４ｎ_B］に仮想的な青受光画素が配置され、撮像素子３３の画素位置［４＋４ｎ_A，５＋４ｎ_B］に仮想的な赤受光画素が配置される、と想定する。
第３の加算パターンとしての加算パターンＰ_A3を用いる場合は、
撮像素子３３の画素位置［４＋４ｎ_A，２＋４ｎ_B］及び［５＋４ｎ_A，３＋４ｎ_B］に仮想的な緑受光画素が配置され、撮像素子３３の画素位置［５＋４ｎ_A，２＋４ｎ_B］に仮想的な青受光画素が配置され、撮像素子３３の画素位置［４＋４ｎ_A，３＋４ｎ_B］に仮想的な赤受光画素が配置される、と想定する。
第４の加算パターンとしての加算パターンＰ_A4を用いる場合は、
撮像素子３３の画素位置［２＋４ｎ_A，４＋４ｎ_B］及び［３＋４ｎ_A，５＋４ｎ_B］に仮想的な緑受光画素が配置され、撮像素子３３の画素位置［３＋４ｎ_A，４＋４ｎ_B］に仮想的な青受光画素が配置され、撮像素子３３の画素位置［２＋４ｎ_A，５＋４ｎ_B］に仮想的な赤受光画素が配置される、と想定する。
尚、ｎ_A及びｎ_Bは、上述したように、整数である。

１つの仮想的な受光画素の画素信号は、その仮想的な受光画素の左斜め上、右斜め上、左斜め下及び右斜め下に隣接する実際の受光画素の画素信号の加算信号とされる。例えば、加算パターンＰ_A1を用いる場合において、画素位置［２，２］に配置される仮想的な緑受光画素の画素信号は、実際の緑受光画素Ｐ_S［１，１］、［３，１］、［１，３］及び［３，３］の画素信号の加算信号とされる。このように、同一色のカラーフィルタが配置された４つの受光画素の画素信号を加算することによって、その４つの受光画素の中心に位置する１つの仮想的な受光画素の画素信号を形成する。これは、どの加算パターン（後述する加算パターンＰ_B1〜Ｐ_B4、Ｐ_C1〜Ｐ_C4及びＰ_D1〜Ｐ_D4を含む）を用いた場合も同じである。

そして、位置［ｘ，ｙ］に配置された仮想的な受光画素の画素信号が、画像上の位置［ｘ，ｙ］の画素信号として取り扱われるように原画像が取得される。

従って、第１の加算パターン（Ｐ_A1）を用いた加算読み出しによって得られる原画像は、図９（ａ）に示す如く、画素位置［２＋４ｎ_A，２＋４ｎ_B］及び［３＋４ｎ_A，３＋４ｎ_B］に配置された、Ｇ信号のみを有する画素と、画素位置［３＋４ｎ_A，２＋４ｎ_B］に配置された、Ｂ信号のみを有する画素と、画素位置［２＋４ｎ_A，３＋４ｎ_B］に配置された、Ｒ信号のみを有する画素と、を備えた画像となる。
同様に、第２の加算パターン（Ｐ_A2）を用いた加算読み出しによって得られる原画像は、図９（ｂ）に示す如く、画素位置［４＋４ｎ_A，４＋４ｎ_B］及び［５＋４ｎ_A，５＋４ｎ_B］に配置された、Ｇ信号のみを有する画素と、画素位置［５＋４ｎ_A，４＋４ｎ_B］に配置された、Ｂ信号のみを有する画素と、画素位置［４＋４ｎ_A，５＋４ｎ_B］に配置された、Ｒ信号のみを有する画素と、を備えた画像となる。
同様に、第３の加算パターン（Ｐ_A3）を用いた加算読み出しによって得られる原画像は、図９（ｃ）に示す如く、画素位置［４＋４ｎ_A，２＋４ｎ_B］及び［５＋４ｎ_A，３＋４ｎ_B］に配置された、Ｇ信号のみを有する画素と、画素位置［５＋４ｎ_A，２＋４ｎ_B］に配置された、Ｂ信号のみを有する画素と、画素位置［４＋４ｎ_A，３＋４ｎ_B］に配置された、Ｒ信号のみを有する画素と、を備えた画像となる。
同様に、第４の加算パターン（Ｐ_A4）を用いた加算読み出しによって得られる原画像は、図９（ｄ）に示す如く、画素位置［２＋４ｎ_A，４＋４ｎ_B］及び［３＋４ｎ_A，５＋４ｎ_B］に配置された、Ｇ信号のみを有する画素と、画素位置［３＋４ｎ_A，４＋４ｎ_B］に配置された、Ｂ信号のみを有する画素と、画素位置［２＋４ｎ_A，５＋４ｎ_B］に配置された、Ｒ信号のみを有する画素と、を備えた画像となる。

第１、第２、第３及び第４の加算パターンを用いた加算読み出しによって得られる原画像を、以下、夫々、第１、第２、第３及び第４の加算パターンの原画像と呼ぶ。また、或る原画像において、Ｒ、Ｇ又はＢ信号を有する画素を実画素とも呼び、Ｒ、Ｇ及びＢ信号の何れもが存在しない画素を空白画素とも呼ぶ。従って例えば、第１の加算パターンの原画像では、位置［２＋４ｎ_A，２＋４ｎ_B］、［３＋４ｎ_A，３＋４ｎ_B］、［３＋４ｎ_A，２＋４ｎ_B］又は［２＋４ｎ_A，３＋４ｎ_B］に配置される画素のみが実画素であり、それ以外の画素（例えば、位置［１，１］に配置される画素）は空白画素である。

図１０は、図１の映像信号処理部１３として用いられる映像信号処理部１３ａの内部ブロック図を含む、図１の撮像装置１の一部ブロック図である。映像信号処理部１３ａは、符号５１〜５６によって参照される各部位を備える。

色補間処理部５１は、ＡＦＥ１２からのＲＡＷデータに対して色補間処理を施すことにより、ＲＡＷデータをＲ、Ｇ及びＢ信号に変換する。この変換は、フレームごとに実行されて、この変換によって得られたＲ、Ｇ及びＢ信号はフレームメモリ５２に一時記憶される。ＲＡＷデータとは、ＡＦＥ１２の出力信号によって示される、原画像を表す画像データである。

色補間処理部５１での色補間処理によって、１枚の原画像から１枚の色補間画像が生成される。フレーム周期が経過する毎に、撮像素子３３からＡＦＥ１２を介して第１、第２、・・・、第（ｎ−１）、第ｎ番目の原画像が順次取得され、色補間処理部５１により、第１、第２、・・・、第（ｎ−１）、第ｎ番目の原画像から夫々第１、第２、・・・、第（ｎ−１）、第ｎ番目の色補間画像が生成される。ここで、ｎは２以上の整数である。

動き検出部５３は、現時点において色補間処理部５１から出力されている現フレームのＲ、Ｇ及びＢ信号と、フレームメモリ５２に記憶されている前フレームのＲ、Ｇ及びＢ信号と、に基づいて、隣接フレーム間のオプティカルフローを求める。つまり、第（ｎ−１）及び第ｎ番目の色補間画像の画像データに基づいて、両色補間画像間のオプティカルフローを求める。動き検出部５３は、そのオプティカルフローから、両色補間画像間における、動きの大きさ及び向きを検出する。動き検出部５３の検出結果はメモリ５４に記憶される。

画像合成部５５は、色補間処理部５１の出力信号とフレームメモリ５２に記憶されている信号を受け、受けた信号によって表される複数の色補間画像に基づいて１枚の出力合成画像を生成する。この生成の際、メモリ５４に記憶された、動き検出部５３の検出結果も参照される。信号処理部５６は、画像合成部５５から出力される出力合成画像のＲ、Ｇ及びＢ信号を、輝度信号Ｙ及び色差信号Ｕ及びＶから成る映像信号に変換する。この変換によって得られた映像信号（Ｙ、Ｕ及びＶ）は、圧縮処理部１６に送られ、所定の画像圧縮方式に従って圧縮符号化される。

尚、図１０に示す構成では、ＡＦＥ１２から圧縮処理部１６に向かって、色補間処理部５１、フレームメモリ５２、動き量検出部５３、画像合成部５５及び信号処理部５６が、この順番に配列されているが、この順番を変更することも可能である。以下に、色補間処理の基本方法を説明した後、色補間処理部５１、動き量検出部５３及び画像合成部５５の機能について、詳細に説明する。

［色補間処理の基本方法］
Ｇ信号に着目し、図１１（ａ）及び（ｂ）を参照して、色補間処理の基本方法を説明する。原画像のＧ信号から色補間画像のＧ信号を生成する際、色補間画像上に補間画素位置が定められ、その補間画素位置の近傍位置に存在し且つＧ信号を有する、原画像における複数の実画素が注目される。そして、その注目された複数の実画素におけるＧ信号を混合することによって補間画素位置のＧ信号が生成される。補間画素位置におけるＧ信号を生成するために注目された複数の実画素を、便宜上、参照実画素群と呼ぶ。

参照実画素群を形成する実画素の個数が２であって、参照実画素群が第１及び第２画素から成る場合、式（Ａ１）に従って補間画素位置におけるＧ信号値が算出される。ここで、図１１（ａ）に示す如く、ｄ₁及びｄ₂は、夫々、第１画素の画素位置と補間画素位置との距離及び第２画素の画素位置と補間画素位置との距離である。ここにおける距離は、画像上における距離（画像座標面ＸＹ上の距離）である。原画像における第１及び第２画素のＧ信号値を夫々式（Ａ１）のＶ_G1及びＶ_G2に代入することによって得たＶ_GTは、補間画素位置におけるＧ信号値を表す。つまり、補間画素位置におけるＧ信号値は、参照実画素群のＧ信号値を距離ｄ₁及びｄ₂に応じて線形補間することによって算出される。尚、Ｇ信号値とはＧ信号の値を指す（Ｒ信号値、Ｂ信号値も同様）。

参照実画素群を形成する実画素の個数が４であって、参照実画素群が第１〜第４画素から成る場合も、参照実画素群を形成する実画素の個数が２である場合と同様の線形補間によって、補間画素位置におけるＧ信号値が算出される。つまり、第１〜第４画素の画素位置と補間画素位置との距離ｄ₁〜ｄ₄に応じた比率にて第１〜第４画素のＧ信号値Ｖ_G1〜Ｖ_G4を混合することにより、補間画素位置におけるＧ信号値Ｖ_GTが算出される（図１１（ｂ）参照）。

色補間処理部５１では、参照実画素群のＧ信号を混合することによって補間画素位置におけるＧ信号を生成する際、複数の実画素のＧ信号を等比率で混合する（同じ割合にて混合する）。逆に言えば、参照実画素群のＧ信号を等比率で混合することによって信号が補間されるべき位置に、補間画素位置を設定する。この要求を満たすべく、補間画素位置は、参照実画素群を形成する実画素の画素位置の重心位置に設定される。より詳細には、参照実画素群を形成する各実画素の画素位置を結ぶことによって形成される図形の重心位置が、補間画素位置として設定される。

従って、参照実画素群が第１及び第２画素から成る場合は、第１画素の画素位置と第２画素の画素位置とを結ぶ図形（線分）の重心位置、即ち、両画素位置間の中心位置に補間画素位置が設定される。そうすると、必然的にｄ₁＝ｄ₂となるため、式（Ａ１）は下記式（Ａ２）に変形される。つまり、第１及び第２画素のＧ信号値の平均値が、補間画素位置のＧ信号値として算出される。

また、参照実画素群が第１〜４画素から成る場合は、第１〜４画素の画素位置を結ぶことによって形成される四角形の重心位置に補間画素位置が設定され、その補間画素位置のＧ信号値Ｖ_GTは、第１〜４画素のＧ信号値Ｖ_G1〜Ｖ_G4の平均値とされる。

Ｇ信号に着目して、色補間処理の基本方法を説明したが、Ｂ信号及びＲ信号に対しても、同様の方法に従って色補間処理がなされる。即ち、着目色が緑、青及び赤の何れであるかに拘らず、上述の基本方法に従って着目色の色信号に対する色補間処理がなされる。Ｂ又はＲ信号に対する色補間処理を考える場合は、上述の“Ｇ”を“Ｂ”又は“Ｒ”に読み替えれば足る。

［色補間処理部］
色補間処理部５１は、ＡＦＥ１２から得られる原画像に対して色補間処理を施すことによって色補間画像を生成する。第１実施例及び後述する第２〜第６実施例において、ＡＦＥ１２から色補間処理部５１に与えられる原画像は、第１、第２、第３又は第４の加算パターンの原画像である。故に、色補間処理の対象となる原画像における画素間隔（隣接する実画素の間隔）は、図９（ａ）〜（ｄ）に示す如く、不均等である。このような原画像に対して、色補間処理部５１は、上述の基本方法に従う色補間処理を実行する。

図１２（ａ）〜（ｃ）及び図１３（ａ）〜（ｃ）を参照して、第１の加算パターンの原画像２５１から色補間画像２６１を生成するための色補間処理を説明する。図１２（ａ）〜（ｃ）は、夫々、補間画素位置のＧ、Ｂ及びＲ信号を生成するために、原画像２５１の実画素のＧ、Ｂ及びＲ信号が混合される様子を示す図である。図１３（ａ）〜（ｃ）は、夫々、色補間画像２６１上のＧ、Ｂ及びＲ信号を示す図である。図１２（ａ）〜（ｃ）に示される黒塗りの丸は、夫々、色補間画像２６１におけるＧ、Ｂ及びＲ信号が生成されるべき補間画素位置を示し、各黒塗りの丸の周囲に示された矢印は、補間画素位置の色信号を生成するために複数の色信号が混合される様子を示している。尚、図示の煩雑化防止のため、色補間画像２６１におけるＧ、Ｂ及びＲ信号を別個に示しているが、原画像２５１から１枚の色補間画像２６１が生成される。

まず、図１２（ａ）及び図１３（ａ）を参照し、原画像２５１におけるＧ信号から色補間画像２６１におけるＧ信号を生成するための色補間処理を説明する。不等式“２≦ｘ≦７”及び“２≦ｙ≦７”を満たす位置［ｘ，ｙ］を内包するブロック２４１に注目する。そして、ブロック２４１内に属する実画素のＧ信号から生成される、色補間画像２６１の補間画素位置のＧ信号を考える。尚、補間画素位置に対して生成されるＧ信号（又はＢ信号若しくはＲ信号）を、特に、補間Ｇ信号（又は補間Ｂ信号若しくは補間Ｒ信号）とも呼ぶ。

ブロック２４１内に属する、原画像２５１上の実画素のＧ信号から、色補間画像２６１に設定される２つの補間画素位置３０１及び３０２についての補間Ｇ信号が生成される。補間画素位置３０１は、Ｇ信号を有する実画素Ｐ［２，６］、Ｐ［３，７］、Ｐ［３，３］及びＰ［６，６］の画素位置の重心位置［３．５，５．５］である。位置［３．５，５．５］は、位置［３，６］と位置［４，５］の中心位置に相当する。補間画素位置３０２は、Ｇ信号を有する実画素Ｐ［６，２］、Ｐ［７，３］、Ｐ［３，３］及びＰ［６，６］の画素位置の重心位置［５．５，３．５］である。位置［５．５，３．５］は、位置［６，３］と位置［５，４］の中心位置に相当する。

図１３（ａ）では、補間画素位置３０１及び３０２に生成される補間Ｇ信号を夫々符号３１１及び３１２によって指し示している。補間画素位置３０１に生成されるＧ信号３１１の値は、原画像２５１における実画素Ｐ［２，６］、Ｐ［３，７］、Ｐ［３，３］及びＰ［６，６］の画素値（即ちＧ信号値）の平均値とされる。つまり、Ｇ信号３１１にとっての参照実画素群の画素信号を等比率で混合することによってＧ信号３１１が生成される。同様に、補間画素位置３０２に生成されるＧ信号３１２の値は、原画像２５１における実画素Ｐ［６，２］、Ｐ［７，３］、Ｐ［３，３］及びＰ［６，６］の画素値（即ちＧ信号値）の平均値とされる。つまり、Ｇ信号３１２にとっての参照実画素群の画素信号を等比率で混合することによってＧ信号３１２が生成される。尚、画素値とは、画素信号の値を指す。

また、原画像２５１における実画素Ｐ［ｘ，ｙ］のＧ信号は、そのまま、色補間画像２６１の位置［ｘ，ｙ］におけるＧ信号とされる。つまり例えば、原画像２５１における実画素Ｐ［３，３］及びＰ［６，６］のＧ信号（即ち、原画像２５１における位置［３，３］及び［６，６］のＧ信号）は、それぞれ、色補間画像２６１の位置［３，３］及び［６，６］におけるＧ信号３１３及び３１４とされる。他の位置（例えば、位置［２，２］）に対しても同様である。

ブロック２４１に注目した場合は、２つの補間画素位置３０１及び３０２が設定されて、それらに対する補間Ｇ信号３１１及び３１２が生成される。注目するブロックを、ブロック２４１を起点として、水平方向、垂直方向に４画素ずつずらして、順次、同様の補間Ｇ信号の生成処理を行う。これにより、図２０（ａ）に示すような、色補間画像２６１上のＧ信号が生成される。図２０（ａ）におけるＧ１_2,3、Ｇ１_3,2、Ｇ１_2,2及びＧ１_3,3は、夫々、図１３（ａ）のＧ信号３１１、３１２、３１３及び３１４に対応している。図２０（ａ）に対する詳細な説明は後述することとし、先に、Ｂ及びＲ信号に対する色補間処理と、第２〜第４の加算パターンを用いた場合の色補間処理を説明する。

図１２（ｂ）及び図１３（ｂ）を参照し、原画像２５１におけるＢ信号から色補間画像２６１におけるＢ信号を生成するための色補間処理を説明する。ブロック２４１に注目し、ブロック２４１内に属する実画素のＢ信号から生成される、色補間画像２６１の補間画素位置のＢ信号を考える。

ブロック２４１内に属する実画素のＢ信号から、色補間画像２６１に設定される３つの補間画素位置３２１〜３２３についての補間Ｂ信号が生成される。補間画素位置３２１は、Ｂ信号を有する実画素Ｐ［３，２］及びＰ［３，６］の画素位置の重心位置［３，４］と合致する。補間画素位置３２２は、Ｂ信号を有する実画素Ｐ［３，６］及びＰ［７，６］の画素位置の重心位置［５，６］と合致する。補間画素位置３２３は、Ｂ信号を有する実画素Ｐ［３，２］、Ｐ［７，２］、Ｐ［３，６］及びＰ［７，６］の画素位置の重心位置［５，４］と合致する。

図１３（ｂ）では、補間画素位置３２１〜３２３に生成される補間Ｂ信号を夫々符号３３１〜３３３によって指し示している。補間画素位置３２１に生成されるＢ信号３３１の値は、原画像２５１における実画素Ｐ［３，２］及びＰ［３，６］の画素値（即ちＢ信号値）の平均値とされる。つまり、Ｂ信号３３１にとっての参照実画素群の画素信号を等比率で混合することによってＢ信号３３１が生成される。Ｂ信号３３２及び３３３に対しても同様である。即ち、補間画素位置３２２に生成されるＢ信号３３２の値は、原画像２５１における実画素Ｐ［３，６］及びＰ［７，６］の画素値（即ちＢ信号値）の平均値とされ、補間画素位置３２３に生成されるＢ信号３３３の値は、原画像２５１における実画素Ｐ［３，２］、Ｐ［７，２］、Ｐ［３，６］及びＰ［７，６］の画素値（即ちＢ信号値）の平均値とされる。

また、原画像２５１における実画素Ｐ［ｘ，ｙ］のＢ信号は、そのまま、色補間画像２６１の位置［ｘ，ｙ］におけるＢ信号とされる。つまり例えば、原画像２５１における実画素Ｐ［３，６］のＢ信号（即ち、原画像２５１における位置［３，６］のＢ信号）は、色補間画像２６１の位置［３，６］におけるＢ信号３３４とされる。他の位置（例えば、位置［３，２］）に対しても同様である。

ブロック２４１に注目した場合は、３つの補間画素位置３２１〜３２３が設定されて、それらに対する補間Ｂ信号３３１〜３３３が生成される。注目するブロックを、ブロック２４１を起点として、水平方向、垂直方向に４画素ずつずらして、順次、同様の補間Ｂ信号の生成処理を行う。これにより、図２０（ｂ）に示すような、色補間画像２６１上のＢ信号が生成される。

図１２（ｃ）及び図１３（ｃ）を参照し、原画像２５１におけるＲ信号から色補間画像２６１におけるＲ信号を生成するための色補間処理を説明する。ブロック２４１に注目し、ブロック２４１内に属する実画素のＲ信号から生成される、色補間画像２６１の補間画素位置のＲ信号を考える。

ブロック２４１内に属する実画素のＲ信号から、色補間画像２６１に設定される３つの補間画素位置３４１〜３４３についての補間Ｂ信号が生成される。補間画素位置３４１は、Ｒ信号を有する実画素Ｐ［２，３］及びＰ［６，３］の画素位置の重心位置［４，３］と合致する。補間画素位置３４２は、Ｒ信号を有する実画素Ｐ［６，３］及びＰ［６，７］の画素位置の重心位置［６，５］と合致する。補間画素位置３４３は、Ｒ信号を有する実画素Ｐ［２，３］、Ｐ［２，７］、Ｐ［６，３］及びＰ［６，７］の画素位置の重心位置［４，５］と合致する。

図１３（ｃ）では、補間画素位置３４１〜３４３に生成される補間Ｒ信号を夫々符号３５１〜３５３によって指し示している。補間画素位置３４１に生成されるＲ信号３５１の値は、原画像２５１における実画素Ｐ［２，３］及びＰ［６，３］の画素値（即ちＲ信号値）の平均値とされる。つまり、Ｒ信号３５１にとっての参照実画素群の画素信号を等比率で混合することによってＲ信号３５１が生成される。Ｒ信号３５２及び３５３に対しても同様である。即ち、補間画素位置３４２に生成されるＲ信号３５２の値は、原画像２５１における実画素Ｐ［６，３］及びＰ［６，７］の画素値（即ちＲ信号値）の平均値とされ、補間画素位置３４３に生成されるＲ信号３５３の値は、原画像２５１における実画素Ｐ［２，３］、Ｐ［２，７］、Ｐ［６，３］及びＰ［６，７］の画素値（即ちＲ信号値）の平均値とされる。

また、原画像２５１における実画素Ｐ［ｘ，ｙ］のＲ信号は、そのまま、色補間画像２６１の位置［ｘ，ｙ］におけるＲ信号とされる。つまり例えば、原画像２５１における実画素Ｐ［６，３］のＲ信号（即ち、原画像２５１における位置［６，３］のＲ信号）は、色補間画像２６１の位置［６，３］におけるＲ信号３５４とされる。他の位置（例えば、位置［２，３］）に対しても同様である。

ブロック２４１に注目した場合は、３つの補間画素位置３４１〜３４３が設定されて、それらに対する補間Ｒ信号３５１〜３５３が生成される。注目するブロックを、ブロック２４１を起点として、水平方向、垂直方向に４画素ずつずらして、順次、同様の補間Ｒ信号の生成処理を行う。これにより、図２０（ｃ）に示すような、色補間画像２６１上のＲ信号が生成される。

第２、第３、第４加算パターンの原画像に対する色補間処理を説明する。第２、第３、第４加算パターンの原画像を、夫々、符号２５２、２５３及び２５４によって参照し、原画像２５２、２５３及び２５４から生成される色補間画像を符号２６２、２６３及び２６４によって参照する。

図１４（ａ）〜（ｃ）は、夫々、色補間画像２６２における補間画素位置のＧ、Ｂ及びＲ信号を生成するために、原画像２５２の実画素のＧ、Ｂ及びＲ信号が混合される様子を示す図である。図１５（ａ）〜（ｃ）は、夫々、色補間画像２６２上のＧ、Ｂ及びＲ信号を示す図である。図１６（ａ）〜（ｃ）は、夫々、色補間画像２６３における補間画素位置のＧ、Ｂ及びＲ信号を生成するために、原画像２５３の実画素のＧ、Ｂ及びＲ信号が混合される様子を示す図である。図１７（ａ）〜（ｃ）は、夫々、色補間画像２６３上のＧ、Ｂ及びＲ信号を示す図である。図１８（ａ）〜（ｃ）は、夫々、色補間画像２６４における補間画素位置のＧ、Ｂ及びＲ信号を生成するために、原画像２５４の実画素のＧ、Ｂ及びＲ信号が混合される様子を示す図である。図１９（ａ）〜（ｃ）は、夫々、色補間画像２６４上のＧ、Ｂ及びＲ信号を示す図である。

図１４（ａ）〜（ｃ）に示される黒塗りの丸は、夫々、色補間画像２６２におけるＧ、Ｂ又はＲ信号が生成されるべき補間画素位置を示し、図１６（ａ）〜（ｃ）に示される黒塗りの丸は、夫々、色補間画像２６３におけるＧ、Ｂ又はＲ信号が生成されるべき補間画素位置を示し、図１８（ａ）〜（ｃ）に示される黒塗りの丸は、夫々、色補間画像２６４におけるＧ、Ｂ又はＲ信号が生成されるべき補間画素位置を示している。各黒塗りの丸の周囲に示された矢印は、補間画素位置の色信号を生成するために複数の色信号が混合される様子を示している。尚、図示の煩雑化防止のため、色補間画像２６２におけるＧ、Ｂ及びＲ信号を別個に示しているが、原画像２５２から１枚の色補間画像２６２が生成される。色補間画像２６３及び２６４についても同様である。

第２〜第４の加算パターンの原画像に対する色補間処理の方法は、第１の加算パターンに対するそれと同様である。但し、第１の加算パターンの原画像における実画素の存在位置を基準として、第２の加算パターンの原画像における実画素の存在位置は右方向に２・Ｗｐ分且つ下方向に２・Ｗｐ分だけずれており、第３の加算パターンの原画像における実画素の存在位置は右方向に２・Ｗｐ分だけずれており、第４の加算パターンの原画像における実画素の存在位置は下方向に２・Ｗｐ分だけずれている（図４（ａ）も参照）。従って、色補間画像２６１上のＧ、Ｂ及びＲ信号の存在位置を基準として、色補間画像２６２上のＧ、Ｂ及びＲ信号の存在位置は右方向に２・Ｗｐ分且つ下方向に２・Ｗｐ分だけずれており、色補間画像２６３上のＧ、Ｂ及びＲ信号の存在位置は右方向に２・Ｗｐ分だけずれており、色補間画像２６４上のＧ、Ｂ及びＲ信号の存在位置は下方向に２・Ｗｐ分だけずれている。よって、これらのずれに相当する分だけ、色補間画像２６２〜２６４に対する補間画素位置も、色補間画像２６１のそれを基準としてずれる。

例えば、図１４（ａ）等に対応する原画像２５２に関しては、不等式“４≦ｘ≦９”及び“４≦ｙ≦９”を満たす位置［ｘ，ｙ］を内包するブロック２４２に注目し、そのブロック２４２内に属する実画素のＧ信号から、色補間画像２６１に設定される２つの補間画素位置についての補間Ｇ信号を生成する。その２つの補間画素位置の内、一方の補間画素位置は、原画像２５２におけるＧ信号を有する実画素Ｐ［４，８］、Ｐ［５，９］、Ｐ［５，５］及びＰ［８，８］の画素位置の重心位置［５．５，７．５］であり、他方の補間画素位置は、原画像２５２におけるＧ信号を有する実画素Ｐ［８，４］、Ｐ［９，５］、Ｐ［５，５］及びＰ［８，８］の画素位置の重心位置［７．５，５．５］である。

そして、位置［５．５，７．５］に設定される補間画素位置の補間Ｇ信号は、原画像２５２における実画素Ｐ［４，８］、Ｐ［５，９］、Ｐ［５，５］及びＰ［８，８］の画素値の平均値であり、位置［７．５，５．５］に設定される補間画素位置の補間Ｇ信号は、原画像２５２における実画素Ｐ［８，４］、Ｐ［９，５］、Ｐ［５，５］及びＰ［８，８］の画素値の平均値である。また、原画像２５２における実画素Ｐ［ｘ，ｙ］のＧ信号は、そのまま、色補間画像２６２の位置［ｘ，ｙ］におけるＧ信号とされる。

注目するブロックを、ブロック２４２を起点として、水平方向、垂直方向に４画素ずつずらして、順次、同様の補間Ｇ信号の生成処理を行えば、図２１（ａ）に示すような、色補間画像２６２上のＧ信号が生成される。同様にして補間Ｂ及びＲ信号を生成することにより、図２１（ｂ）及び（ｃ）に示すような、色補間画像２６２上のＢ及びＲ信号が生成される。

図２０（ａ）〜（ｃ）は、夫々、色補間画像２６１のＧ、Ｂ及びＲ信号の存在位置を示す図であり、図２１（ａ）〜（ｃ）は、夫々、色補間画像２６２のＧ、Ｂ及びＲ信号の存在位置を示す図である。原画像２５１（又は２５２）から色補間画像２６１（又は２６２）を生成する方法と同様の方法によって、原画像２５３及び２５４から色補間画像２６３及び２６４も生成されるが、色補間画像２６３及び２６４に対応する、図２０（ａ）等のような図面は割愛されている。

図２０（ａ）〜（ｃ）では、夫々、色補間画像２６１上のＧ、Ｂ及びＲ信号が丸によって示されており、丸の中に示された記号は、その丸に対応するＧ、Ｂ及びＲ信号を表している。図２１（ａ）〜（ｃ）では、夫々、色補間画像２６２上のＧ、Ｂ及びＲ信号が丸によって示されており、丸の中に示された記号は、その丸に対応するＧ、Ｂ及びＲ信号を表している。色補間画像２６１におけるＧ、Ｂ及びＲ信号を表す記号として、夫々、Ｇ１_i,j、Ｂ１_i,j及びＲ１_i,jを用い、色補間画像２６２におけるＧ、Ｂ及びＲ信号を表す記号として、夫々、Ｇ２_i,j、Ｂ２_i,j及びＲ２_i,jを用いる。ｉ及びｊは、整数である。尚、Ｇ１_i,j及びＧ２_i,jを、Ｇ信号の値を表す記号として用いることもある（Ｂ１_i,j、Ｂ２_i,j、Ｒ１_i,j及びＲ２_i,jに対しても同様）。

色補間画像２６１の注目画素の色信号Ｇ１_i,j、Ｂ１_i,j及びＲ１_i,jにおけるｉ及びｊは、夫々、色補間画像２６１の注目画素の水平画素番号及び垂直画素番号を示している（色信号Ｇ２_i,j、Ｂ２_i,j及びＲ２_i,jについても同様）。

色補間画像２６１における色信号Ｇ１_i,j、Ｂ１_i,j及びＲ１_i,jの配置を説明する。
図２０（ａ）に示す如く、色補間画像２６１における位置［２，２］には、原画像２５１の位置［２，２］の画素信号と一致するＧ信号が存在するが、この位置［２，２］をＧ信号基準位置として捉え、Ｇ信号基準位置におけるＧ信号をＧ１_1,1とする。
Ｇ信号基準位置（位置［２，２］）から右方向に向かって色補間画像２６１上のＧ信号を走査した時、Ｇ信号Ｇ１_1,1、Ｇ１_2,1、Ｇ１_3,1、Ｇ１_4,1、・・・、がこの順番で存在する。但し、この右方向の走査の際、走査ラインは幅Ｗｐを有しているものとする。従って、Ｇ信号Ｇ１_2,1が存在すべき位置［３．５，１．５］は、この走査ライン上にのる。
Ｇ信号基準位置（位置［２，２］）から下方向に向かって色補間画像２６１上のＧ信号を走査した時、Ｇ信号Ｇ１_1,1、Ｇ１_1,2、Ｇ１_1,3、Ｇ１_1,4、・・・、がこの順番で存在する。但し、この下方向の走査の際、走査ラインは幅Ｗｐを有しているものとする。従って、Ｇ信号Ｇ１_1,2が存在すべき位置［１．５，３．５］は、この走査ライン上にのる。
同様に、色補間画像２６１上のＧ信号Ｇ１_i,jが存在する任意の位置を起点とし、その起点から右方向に向かって色補間画像２６１上のＧ信号を走査した時、Ｇ信号Ｇ１_i,j、Ｇ１_i+1,j、Ｇ１_i+2,j、Ｇ１_i+3,j、・・・、がこの順番で存在し、その起点から下方向に向かって色補間画像２６１上のＧ信号を走査した時、Ｇ信号Ｇ１_i,j、Ｇ１_i,j+1、Ｇ１_i,j+2、Ｇ１_i,j+3、・・・、がこの順番で存在する。但し、この右方向及び下方向の走査の際、走査ラインは幅Ｗｐを有しているものとする。

図２０（ｂ）に示す如く、色補間画像２６１における位置［１，２］には、原画像２５１上の複数の実画素のＢ信号から生成されたＢ信号が存在するが、この位置［１，２］をＢ信号基準位置として捉え、Ｂ信号基準位置におけるＢ信号をＢ１_1,1とする。
Ｂ信号基準位置（位置［１，２］）から右方向に向かって色補間画像２６１上のＢ信号を走査した時、Ｂ信号Ｂ１_1,1、Ｂ１_2,1、Ｂ１_3,1、Ｂ１_4,1、・・・、がこの順番で存在し、Ｂ信号基準位置から下方向に向かって色補間画像２６１上のＢ信号を走査した時、Ｂ信号Ｂ１_1,1、Ｂ１_1,2、Ｂ１_1,3、Ｂ１_1,4、・・・、がこの順番で存在する。同様に、色補間画像２６１上のＢ信号Ｂ１_i,jが存在する任意の位置を起点とし、その起点から右方向に向かって色補間画像２６１上のＢ信号を走査した時、Ｂ信号Ｂ１_i,j、Ｂ１_i+1,j、Ｂ１_i+2,j、Ｂ１_i+3,j、・・・、がこの順番で存在し、その起点から下方向に向かって色補間画像２６１上のＢ信号を走査した時、Ｂ信号Ｂ１_i,j、Ｂ１_i,j+1、Ｂ１_i,j+2、Ｂ１_i,j+3、・・・、がこの順番で存在する。

図２０（ｃ）に示す如く、色補間画像２６１における位置［２，１］には、原画像２５２上の複数の実画素のＲ信号から生成されたＲ信号が存在するが、この位置［２，１］をＲ信号基準位置として捉え、Ｒ信号基準位置におけるＲ信号をＲ１_1,1とする。
Ｒ信号基準位置（位置［２，１］）から右方向に向かって色補間画像２６１上のＲ信号を走査した時、Ｒ信号Ｒ１_1,1、Ｒ１_2,1、Ｒ１_3,1、Ｒ１_4,1、・・・、がこの順番で存在し、Ｒ信号基準位置から下方向に向かって色補間画像２６１上のＲ信号を走査した時、Ｒ信号Ｒ１_1,1、Ｒ１_1,2、Ｒ１_1,3、Ｒ１_1,4、・・・、がこの順番で存在する。同様に、色補間画像２６１上のＲ信号Ｒ１_i,jが存在する任意の位置を起点とし、その起点から右方向に向かって色補間画像２６１上のＲ信号を走査した時、Ｒ信号Ｒ１_i,j、Ｒ１_i+1,j、Ｒ１_i+2,j、Ｒ１_i+3,j、・・・、がこの順番で存在し、その起点から下方向に向かって色補間画像２６１上のＲ信号を走査した時、Ｒ信号Ｒ１_i,j、Ｒ１_i,j+1、Ｒ１_i,j+2、Ｒ１_i,j+3、・・・、がこの順番で存在する。

色補間画像２６１における色信号Ｇ１_i,j、Ｂ１_i,j及びＲ１_i,jの配置状態を説明したが、色補間画像２６２における色信号Ｇ２_i,j、Ｂ２_i,j及びＲ２_i,jの配置状態も同様である。上述の説明文中における、原画像２５１及び色補間画像２６１を夫々原画像２５２及び色補間画像２６２に読み替えると共に、“Ｇ１”、“Ｂ１”及び“Ｒ１”を夫々“Ｇ２”、“Ｂ２”及び“Ｒ２”に読み替えれば、信号Ｇ２_i,j、Ｂ２_i,j及びＲ２_i,jの配置状態は定まる。但し、図２１（ａ）〜（ｃ）に示す如く、色補間画像２６２におけるＧ、Ｂ及びＲ信号基準位置は、夫々、位置［４，４］、［３，４］及び［４，３］であるため、位置［４，４］におけるＧ信号、位置［３，４］におけるＢ信号及び位置［４，３］におけるＲ信号が、夫々、Ｇ２_1,1、Ｂ２_1,1及びＲ２_1,1となる。

色補間画像２６１における色信号の存在位置をより明確に定義する。
図２０（ａ）に示す如く、色補間画像２６１には、位置［２＋４ｎ_A，２＋４ｎ_B］、［３＋４ｎ_A，３＋４ｎ_B］、［３．５＋４ｎ_A，１．５＋４ｎ_B］及び［１．５＋４ｎ_A，３．５＋４ｎ_B］に、Ｇ信号が存在する（ｎ_A及びｎ_Bは整数）。
そして、色補間画像２６１において、
位置［２＋４ｎ_A，２＋４ｎ_B］におけるＧ信号は、（ｉ，ｊ）＝（（２＋４ｎ_A）／２，（２＋４ｎ_B）／２）である時のＧ１_i,jで表され、
位置［３＋４ｎ_A，３＋４ｎ_B］におけるＧ信号は、（ｉ，ｊ）＝（（４＋４ｎ_A）／２，（４＋４ｎ_B）／２）である時のＧ１_i,jで表され、
位置［３．５＋４ｎ_A，１．５＋４ｎ_B］におけるＧ信号は、（ｉ，ｊ）＝（（４＋４ｎ_A）／２，（２＋４ｎ_B）／２）である時のＧ１_i,jで表され、
位置［１．５＋４ｎ_A，３．５＋４ｎ_B］におけるＧ信号は、（ｉ，ｊ）＝（（２＋４ｎ_A）／２，（４＋４ｎ_B）／２）である時のＧ１_i,jで表される。
また、図２０（ｂ）及び（ｃ）に示す如く、色補間画像２６１には、位置［２ｎ_A−１，２ｎ_B］にＢ信号が存在する一方で位置［２ｎ_A，２ｎ_B−１］にＲ信号が存在する（ｎ_A及びｎ_Bは整数）。そして、色補間画像２６１において、位置［２ｎ_A−１，２ｎ_B］におけるＢ信号は（ｉ，ｊ）＝（ｎ_A，ｎ_B）である時のＢ１_i,jで表され、位置［２ｎ_A，２ｎ_B−１］におけるＲ信号は（ｉ，ｊ）＝（ｎ_A，ｎ_B）である時のＲ１_i,jで表される。

色補間画像２６２における色信号の存在位置をより明確に定義する。
図２１（ａ）に示す如く、色補間画像２６２には、位置［４＋４ｎ_A，４＋４ｎ_B］、［５＋４ｎ_A，５＋４ｎ_B］、［５．５＋４ｎ_A，３．５＋４ｎ_B］及び［３．５＋４ｎ_A，５．５＋４ｎ_B］に、Ｇ信号が存在する（ｎ_A及びｎ_Bは整数）。
そして、色補間画像２６２において、
位置［４＋４ｎ_A，４＋４ｎ_B］におけるＧ信号は、（ｉ，ｊ）＝（（２＋４ｎ_A）／２，（２＋４ｎ_B）／２）である時のＧ２_i,jで表され、
位置［５＋４ｎ_A，５＋４ｎ_B］におけるＧ信号は、（ｉ，ｊ）＝（（４＋４ｎ_A）／２，（４＋４ｎ_B）／２）である時のＧ２_i,jで表され、
位置［５．５＋４ｎ_A，３．５＋４ｎ_B］におけるＧ信号は、（ｉ，ｊ）＝（（４＋４ｎ_A）／２，（２＋４ｎ_B）／２）である時のＧ２_i,jで表され、
位置［３．５＋４ｎ_A，５．５＋４ｎ_B］におけるＧ信号は、（ｉ，ｊ）＝（（２＋４ｎ_A）／２，（４＋４ｎ_B）／２）である時のＧ２_i,jで表される。
また、図２１（ｂ）及び（ｃ）に示す如く、色補間画像２６２には、位置［２ｎ_A−１，２ｎ_B］にＢ信号が存在する一方で位置［２ｎ_A，２ｎ_B−１］にＲ信号が存在する（ｎ_A及びｎ_Bは整数）。そして、色補間画像２６２において、位置［２ｎ_A＋１，２ｎ_B＋２］におけるＢ信号は（ｉ，ｊ）＝（ｎ_A，ｎ_B）である時のＢ２_i,jで表され、位置［２ｎ_A＋２，２ｎ_B＋１］におけるＲ信号は（ｉ，ｊ）＝（ｎ_A，ｎ_B）である時のＲ２_i,jで表される。

［動き検出部］
図１０の動き検出部５３の機能について説明する。動き検出部５３は、上述したように、第（ｎ−１）及び第ｎ番目の色補間画像の画像データに基づいて、両色補間画像間のオプティカルフローを求める。第１実施例では、用いられる加算パターンがフレームごとに複数の加算パターンの間で順次変更されるため、第（ｎ−１）及び第ｎ番目の色補間画像に対応する加算パターンは互いに異なる。例えば、第（ｎ−１）及び第ｎ番目の色補間画像の内、一方は、第１の加算パターンの原画像から生成された色補間画像であり、他方は、第２の加算パターンの原画像から生成された色補間画像である。

例として、図２０（ａ）等に示される色補間画像２６１と図２１（ａ）等に示される色補間画像２６２との間のオプティカルフローの導出方法を説明する。図２２に示す如く、動き検出部５３は、まず、色補間画像２６１のＲ、Ｇ及びＢ信号から輝度画像２６１Ｙを生成し、色補間画像２６２のＲ、Ｇ及びＢ信号から輝度画像２６２Ｙを生成する。輝度画像は、輝度信号のみを含む濃淡画像である。輝度画像２６１Ｙ及び２６２Ｙの夫々は、輝度信号を有する画素を水平及び垂直方向に等間隔で配置することによって形成される。尚、図２２における“Ｙ”は、輝度信号を表している。

輝度画像２６１Ｙ上の注目画素の輝度信号は、該注目画素に位置する或いは該注目画素の近傍に位置する、色補間画像２６１上の、Ｇ、Ｒ及びＢ信号から導出される。例えば、輝度画像２６１Ｙの、位置［４，４］における輝度信号を生成する場合は、色補間画像２６１のＧ信号Ｇ１_2,2、Ｇ１_3,3、Ｇ１_3,2及びＧ１_2,3から位置［４，４］のＧ信号を線形補間によって算出し、色補間画像２６１のＢ信号Ｂ１_2,2及びＢ１_3,2から位置［４，４］のＢ信号を線形補間によって算出し、色補間画像２６１のＲ信号Ｒ１_2,2及びＲ１_2,3から位置［４，４］のＲ信号を線形補間によって算出する（図２０（ａ）〜（ｃ）参照）。そして、色補間画像２６１に基づいて算出した、位置［４，４］のＧ、Ｂ及びＲ信号から、輝度画像２６１Ｙにおける位置［４，４］の輝度信号を算出する。算出された輝度信号は、輝度画像２６１Ｙ上の、位置［４，４］に存在する画素の輝度信号として取り扱われる。

輝度画像２６２Ｙの、位置［４，４］における輝度信号を生成する場合は、色補間画像２６２のＢ信号Ｂ２_1,1及びＢ２_2,1から位置［４，４］のＢ信号を線形補間によって算出し、色補間画像２６２のＲ信号Ｒ２_1,1及びＲ２_1,2から位置［４，４］のＲ信号を線形補間によって算出する（図２１（ｂ）及び（ｃ）参照）。位置［４，４］のＧ信号として、色補間画像２６２のＧ信号Ｇ２_1,1をそのまま利用可能である（図２１（ａ）参照）。そして、Ｇ信号Ｇ２_1,1と、色補間画像２６２に基づいて算出した、位置［４，４］のＢ及びＲ信号とから、輝度画像２６２Ｙにおける位置［４，４］の輝度信号を算出する。算出された輝度信号は、輝度画像２６２Ｙ上の、位置［４，４］に存在する画素の輝度信号として取り扱われる。

輝度画像２６１Ｙ上の、位置［４，４］に存在する画素と、輝度画像２６２Ｙ上の、位置［４，４］に存在する画素は、互いに対応する画素である。位置［４，４］における輝度信号の算出方法を説明したが、他の位置に対しても同様の方法に従って輝度信号が算出される。これにより、輝度画像２６１Ｙ上の任意の画素位置［ｘ，ｙ］の輝度信号と、輝度画像２６２Ｙ上の任意の画素位置［ｘ，ｙ］の輝度信号が算出される。

動き検出部５３は、輝度画像２６１Ｙ及び２６２Ｙを生成した後、輝度画像２６１Ｙの輝度信号と輝度画像２６２Ｙの輝度信号を対比することによって、輝度画像２６１Ｙ−２６２Ｙ間におけるオプティカルフローを求める。オプティカルフローの導出方法として、ブロックマッチング法、代表点マッチング法、勾配法などを利用可能である。求めたオプティカルフローは、輝度画像２６１Ｙ−２６２Ｙ間における、画像上の被写体（物体）の動きを表す動きベクトルによって表現される。動きベクトルは、その動きの向き及び大きさを示す二次元量である。動き検出部５３は、輝度画像２６１Ｙ−２６２Ｙ間に対して求めたオプティカルフローを、色補間画像２６１−２６２間におけるオプティカルフローとして取り扱って、それを動き検出結果としてメモリ５４に記憶させる。

隣接フレーム間の動き検出結果は、必要な分だけメモリ５４に記憶しておく。例えば、第（ｎ−３）及び第（ｎ−２）番目の色補間画像間の動き検出結果と、第（ｎ−２）及び第（ｎ−１）番目の色補間画像間の動き検出結果と、第（ｎ−１）及び第ｎ番目の色補間画像間の動き検出結果とをメモリ５４に記憶させておき、それらをメモリ５４から読み出して合成すれば、第（ｎ−３）〜第ｎ番目の色補間画像の内の、任意の２枚の色補間画像間のオプティカルフロー（動きベクトル）を求めることができる。

尚、“輝度画像２６１Ｙ−２６２Ｙ間におけるオプティカルフロー（又は動きベクトル）”とは、“輝度画像２６１Ｙと輝度画像２６２Ｙとの間におけるオプティカルフロー（又は動きベクトル）”を意味する。輝度画像２６１Ｙ及び２６２Ｙ以外の複数画像に対して、オプティカルフロー、動きベクトル若しくは動き又はそれらに関連する事項を述べる際も、同様の記載方法を採用する。従って、例えば、“色補間画像２６１−２６２間におけるオプティカルフロー”とは、“色補間画像２６１と色補間画像２６２との間におけるオプティカルフロー”を指す。

［画像合成部］
図１０の画像合成部５５の機能について説明する。画像合成部５５は、色補間処理部５１から出力される色補間画像の色信号と、フレームメモリ５２に記憶されている１枚以上の他の色補間画像の色信号と、メモリ５４に記憶された動き検出結果とに基づいて、出力合成画像を生成する。

出力合成画像は、対応する加算パターンが互いに異なる複数の色補間画像を参照し、参照した複数の色補間画像の内の１つを合成基準画像と捉えた上で、その複数の色補間画像を合成することにより生成される。この際、合成基準画像として用いられる色補間画像に対応する加算パターンが時間によって変化したならば、被写体が実空間上で静止していたとしても、出力合成画像列において該被写体が動いているように見えてしまう。これを回避すべく、一連の出力合成画像列を生成する際、合成基準画像として用いられる色補間画像に対応する加算パターンが常に同じとなるように、フレームメモリ５２から読み出す画像データを制御する。尚、合成基準画像として用いられない色補間画像を非合成基準画像と呼ぶ。

今、第１及び第２の加算パターンの原画像が交互に撮影され、合成基準画像が第１の加算パターンの原画像から生成された色補間画像であって且つ非合成基準画像が第２の加算パターンの原画像から生成された色補間画像である場合を想定する。従って、第（ｎ−３）、第（ｎ−２）、第（ｎ−１）及び第ｎ番目の原画像が、夫々、第１、第２、第１及び第２の加算パターンの原画像であったならば、第（ｎ−３）及び第（ｎ−１）番目の原画像に基づく色補間画像が合成基準画像となり、第（ｎ−２）及び第ｎ番目の原画像に基づく色補間画像が非合成基準画像となる。また、第１実施例では、時間的に隣接して得られた２枚の色補間画像間において、画像上の被写体の動きが一切ない場合を想定する。

この想定の下、図２３（ａ）〜（ｃ）、図２４（ａ）及び（ｂ）、図２５（ａ）〜（ｃ）を参照しつつ、図２０（ａ）等に示される色補間画像２６１と図２１（ａ）等に示される色補間画像２６２とから１枚の出力合成画像２７０を生成する処理を説明する。図２３（ａ）〜（ｃ）は、出力合成画像２７０上のＧ、Ｂ及びＲ信号を生成するための、色補間画像２６１及び２６２上のＧ、Ｂ及びＲ信号を示す図であり、図２５（ａ）〜（ｃ）は、出力合成画像２７０のＧ、Ｂ及びＲ信号の存在位置を示す図である。図２４（ａ）及び（ｂ）は、出力合成画像２７０上のＢ及びＲ信号を生成するための、色補間画像２６１及び２６２上のＢ及びＲ信号を示す、他の図である。

図２５（ａ）〜（ｃ）に示す如く、出力合成画像２７０は、水平及び垂直方向に均等な間隔で画素（画素位置）が配列された二次元画像であり、出力合成画像２７０の各画素が配置される各画素位置にはＧ、Ｂ及びＲ信号が存在する。つまり、原画像や色補間画像と異なり、出力合成画像２７０において、１つの画素が配置される１つの画素位置に対して、Ｇ、Ｂ及びＲ信号が１つずつ割り当てられる。図２５（ａ）〜（ｃ）に示す如く、画像座標面ＸＹ上（図４（ｂ）参照）における位置［２ｉ−０．５，２ｊ−０．５］に、出力合成画像２７０上の画素の中心位置が配置される（ｉ及びｊは整数）。そして、位置［２ｉ−０．５，２ｊ−０．５］における、出力合成画像２７０のＧ信号、Ｂ信号及びＲ信号を、夫々、Ｇｏ_i,j、Ｂｏ_i,j及びＲｏ_i,jにて表す。尚、Ｇｏ_i,jを、Ｇ信号の値を表す記号として用いることもある（Ｂｏ_i,j及びＲｏ_i,jに対しても同様）。

出力合成画像の注目画素の色信号Ｇｏ_i,j、Ｂｏ_i,j及びＲｏ_i,jにおけるｉ及びｊは、出力合成画像の注目画素の水平画素番号及び垂直画素番号を示している。

図２０（ａ）及び図２１（ａ）等を参照して説明したように、色補間画像２６１と色補間画像２６２との間において、対応する加算パターンが異なることに由来して、Ｇ信号の存在位置が相違し、且つ、Ｂ信号の存在位置が相違し、且つ、Ｒ信号の存在位置が相違する。画像合成部５５は、これらの相違に基づいて、色補間画像２６１のＧ、Ｂ及びＲ信号と色補間画像２６２のＧ、Ｂ及びＲ信号を混合することにより出力合成画像２７０のＧ、Ｂ及びＲ信号を生成する。

具体的には、下記式（Ｂ１）〜（Ｂ３）に従って、色補間画像２６１のＧ、Ｂ及びＲ信号値と色補間画像２６２のＧ、Ｂ及びＲ信号値を加重加算することにより、出力合成画像２７０のＧ、Ｂ及びＲ信号値Ｇｏ_i,j、Ｂｏ_i,j及びＲｏ_i,jを算出する。

式（Ｂ２）及び（Ｂ３）の代わりに、図２４（ａ）及び（ｂ）に対応する式（Ｂ４）及び（Ｂ５）を用いて、Ｂ及びＲ信号値Ｂｏ_i,j及びＲｏ_i,jを算出するようにしてもよい。

具体例として図２３（ａ）〜（ｃ）及び図２４（ａ）及び（ｂ）に、位置［５.５，５.５］に存在する色信号Ｇｏ_3,3、Ｂｏ_3,3及びＲｏ_3,3が生成される様子を示している。図２３（ａ）〜（ｃ）及び図２４（ａ）及び（ｂ）において、色信号Ｇｏ_3,3、Ｂｏ_3,3及びＲｏ_3,3が存在すべき位置に星印を示している。
Ｇ信号Ｇｏ_3,3は、図２３（ａ）に示す如く、位置［６，６］に存在するＧ信号Ｇ１_3,3と位置［５，５］に存在するＧ信号Ｇ２_2,2とを混合することによって生成される。
Ｂ信号Ｂｏ_3,3は、図２３（ｂ）に示す如く、位置［５，６］に存在するＢ信号Ｂ１_3,3と位置［７，４］に存在するＢ信号Ｂ２_3,1とを混合することによって生成される、或いは、図２４（ａ）に示す如く、位置［７，４］に存在するＢ信号Ｂ１_4,2と位置［５，６］に存在するＢ信号Ｂ２_2,2とを混合することによって生成される。
Ｒ信号Ｒｏ_3,3は、図２３（ｃ）に示す如く、位置［６，５］に存在するＲ信号Ｒ１_3,3と位置［４，７］に存在するＲ信号Ｒ２_1,3とを混合することによって生成される、或いは、図２４（ｂ）に示す如く、位置［４，７］に存在するＲ信号Ｒ１_2,4と位置［６，５］に存在するＲ信号Ｒ２_2,2とを混合することによって生成される。

Ｇ１_3,3とＧ２_2,2の混合によってＧｏ_3,3を算出する際の混合比率、
Ｂ１_3,3とＢ２_3,1の混合によってＢｏ_3,3を算出する際の混合比率、
Ｂ１_4,2とＢ２_2,2の混合によってＢｏ_3,3を算出する際の混合比率、
Ｒ１_3,3とＲ２_1,3の混合によってＲｏ_3,3を算出する際の混合比率、及び、
Ｒ１_2,4とＲ２_2,2の混合によってＲｏ_3,3を算出する際の混合比率は、上記式（Ａ１）を参照して説明した、Ｖ_G1とＶ_G2の混合によってＶ_GTを算出する際の混合比率と同様である（図１１（ａ）も参照）。

例えば、Ｂ１_3,3とＢ２_3,1の混合によって位置［５.５，５.５］に存在する信号Ｂｏ_3,3を生成する場合は、信号Ｂ１_3,3が存在する位置［５，６］と位置［５.５，５.５］との距離ｄ₁と、信号Ｂ２_3,1が存在する位置［７，４］と位置［５.５，５.５］との距離ｄ₂との比が、ｄ₁：ｄ₂＝１：３であるので、式（Ｂ２）に示す如く、３：１の比率にてＢ１_3,3とＢ２_3,1を混合する。つまり、位置［５.５，５.５］における信号値は、位置［５，６］及び［７，４］における信号値を基礎とする線形補間によって求められる。

色信号Ｇｏ_3,3、Ｂｏ_3,3及びＲｏ_3,3の算出方法と同様にして、他の位置の色信号Ｇｏ_i,j、Ｂｏ_i,j及びＲｏ_i,jも求めることにより、図２５（ａ）〜（ｃ）に示すような、出力合成画像２７０の各画素位置におけるＧ、Ｂ及びＲ信号が求まる。

上述のような出力合成画像の生成手法に基づく効果について考察する。仮に、原画像が全画素読み出し方式によって得られたものであるならば、図６（ａ）等を参照して説明したように、注目画素の画素信号を補間によって求める際には、注目画素の周辺画素の画素信号を等比率にて（同じ割合にて）混合すればよく、その混合によって、画素信号が本来存在すべき位置に補間画素信号が生成される。ここにおいて“画素信号が本来存在すべき位置”とは、ｉ及びｊが整数となる位置［ｉ，ｊ］を指す。

但し、第１実施例において、ＡＦＥ１２から色補間処理部５１に与えられる原画像は、第１、第２、第３又は第４加算パターンによる原画像である。この場合において、全画素読み出し方式を用いた場合と同様の等比率混合を行えば、画素信号が本来存在すべき位置と異なる位置（例えば、図１２（ａ）の補間画素位置３０１又は３０２）に補間画素信号が生成されると共に、混合によって生成される色補間画像上においてＧ信号が存在する画素の間隔が不均等となる（図２０（ａ）参照）。加えて、１枚の色補間画像上において、色信号の存在位置が、Ｇ、Ｂ及びＲ信号間で互いに異なってくる（図２０（ａ）〜（ｃ）参照）。

図５４に対応する従来手法では、このような不均等を回避すべく、一旦、画素間隔が均等になるように補間処理（図５４のブロック９０２及び９０３参照）を実行してからデモザイキング処理を実行している。この画素間隔を均等化する補間処理を実行すると、必然的に解像感が劣化する（実質的な解像度が劣化する）。一方において、本発明に係る第１実施例では、この不均等性を積極的に利用し、色信号の存在位置が不均等となっている複数の色補間画像を利用して出力合成画像を生成する。色補間画像では色信号の存在位置が不均等であるものの、出力合成画像における画素間隔は均等であるため、従来手法における出力画像（図５４のブロック９０５参照）と同様、ジャギーや偽色は抑制される。加えて、本発明に係る第１実施例では、画素間隔を均等化する補間処理（図５４のブロック９０２及び９０３参照）を行わない分、解像感の劣化が抑制される。即ち、図５４に対応する従来手法と比べて、解像感の向上が図られる。

尚、第１及び第２の加算パターンの原画像に基づく２枚の色補間画像を合成することによって出力合成画像を生成する方法を上述したが、１枚の出力合成画像を生成するための色補間画像の枚数は３以上であってもよい（これは、後述する他の実施例についても当てはまる）。例えば、第１〜第４の加算パターンの原画像に基づく４枚の色補間画像から１枚の出力合成画像を生成するようにしてもよい。但し、１枚の出力合成画像を生成するための複数の色補間画像間において、対応する加算パターンは異なる（これは、後述する他の実施例についても当てはまる）。

＜＜第２実施例＞＞
次に、第２実施例について説明する。第１実施例では、時間的に隣接して得られた２枚の色補間画像間において、画像上の被写体の動きが一切ない場合を想定したが、第２実施例では、その動きを考慮した画像合成部５５の構成及び動作を説明する。図２６は、第２実施例に係る、図１の撮像装置１の一部ブロック図であり、図２６には、図１の映像信号処理部１３として用いられる映像信号処理部１３ａの内部ブロック図が示されていると共に、画像合成部５５の内部ブロック図が示されている。

図２６の画像合成部５５は、重み係数算出部６１及び合成処理部６２を備える。重み係数算出部６１及び合成処理部６２を除く映像信号処理部１３ａ内の構成及び動作は、第１実施例で述べたものと同じであるため、以下、重み係数算出部６１及び合成処理部６２の動作について説明する。第１実施例で述べた事項は、矛盾無き限り、第２実施例にも適用される。

今、第１実施例における想定と同様、第１及び第２の加算パターンの原画像が交互に撮影され、合成基準画像が第１の加算パターンの原画像から生成された色補間画像であって且つ非合成基準画像が第２の加算パターンの原画像から生成された色補間画像である場合を想定する。但し、第２実施例では、時間的に隣接して得られた２枚の色補間画像間において、画像上の被写体の位置は移動しうる。この想定の下、図２０（ａ）等に示される色補間画像２６１と図２１（ａ）等に示される色補間画像２６２とから１枚の出力合成画像２７０を生成する処理を説明する。

重み係数算出部６１は、色補間画像２６１−２６２間に対して求められた動きベクトルをメモリ５４から読み出し、その動きベクトルの大きさ｜Ｍ｜に基づいて、重み係数ｗを算出する。この際、大きさ｜Ｍ｜が増大するに従って重み係数ｗが小さくなるように重み係数ｗを算出する。但し、重み係数ｗ（及び後述のｗ_i,j）の上限値及び下限値は夫々０．５及び０である。

図２７は、重み係数ｗと大きさ｜Ｍ｜との関係例を示す図である。この関係例を採用する場合、式“ｗ＝−Ｋ・｜Ｍ｜＋０．５”に従って重み係数ｗが算出される。但し、｜Ｍ｜＞０．５／Ｋの範囲内では、ｗ＝０である。また、Ｋは、所定の正の値を有する、｜Ｍ｜とｗとの関係式における傾きである。

動き検出部５３により色補間画像２６１−２６２間に対して求められたオプティカルフローは、画像座標面ＸＹ上の様々な位置における動きベクトルの束によって形成される。例えば、色補間画像２６１及び２６２の夫々の全体画像領域が複数の一部画像領域に分割され、１つの一部画像領域に対して１つの動きベクトルが求められる。今、図２８（ａ）に示す如く、色補間画像２６１又は２６２である画像２６０の全体画像領域が９つの一部画像領域ＡＲ₁〜ＡＲ₉に分割され、一部画像領域ＡＲ₁〜ＡＲ₉の夫々に対して１つの動きベクトルが求められた場合を想定する。勿論、一部画像領域の個数を９以外にすることも可能である。図２８（ｂ）に示す如く、一部画像領域ＡＲ₁〜ＡＲ₉に対して求められた、色補間画像２６１−２６２間の動きベクトルを、それぞれ符号Ｍ₁〜Ｍ₉によって表す。動きベクトルＭ₁〜Ｍ₉の大きさは、夫々、｜Ｍ₁｜〜｜Ｍ₉｜によって表される。

重み係数算出部６１は、動きベクトルＭ₁〜Ｍ₉の大きさ｜Ｍ₁｜〜｜Ｍ₉｜に基づいて、画像座標面ＸＹ上の様々な位置における重み係数ｗを算出する。水平画素番号及び垂直画素番号が夫々ｉ及びｊである場合の重み係数ｗをｗ_i,jにて表す。重み係数ｗ_i,jは、色信号Ｇｏ_i,j、Ｂｏ_i,j及びＲｏ_i,jを有する画素（画素位置）に対する重み係数であり、その画素の属する一部画像領域についての動きベクトルから算出される。従って例えば、Ｇ信号Ｇｏ_1,1が存在する画素位置［１．５，１．５］が一部画像領域ＡＲ₁に属するのであれば、大きさ｜Ｍ₁｜に基づき、式“ｗ_1,1＝−Ｋ・｜Ｍ₁｜＋０．５”に従って重み係数ｗ_1,1が算出され（但し、｜Ｍ₁｜＞０．５／Ｋの範囲内では、ｗ_1,1＝０）、Ｇ信号Ｇｏ_1,1が存在する画素位置［１．５，１．５］が一部画像領域ＡＲ₂に属するのであれば、大きさ｜Ｍ₂｜に基づき、式“ｗ_1,1＝−Ｋ・｜Ｍ₂｜＋０．５”に従って重み係数ｗ_1,1が算出される（但し、｜Ｍ₂｜＞０．５／Ｋの範囲内では、ｗ_1,1＝０）。

合成処理部６２は、現時点において色補間処理部５１から出力されている現フレームについての色補間画像のＧ、Ｂ及びＲ信号と、フレームメモリ５２に記憶されている前フレームについての色補間画像のＧ、Ｂ及びＲ信号とを、重み係数算出部６１にて算出された重み係数ｗ_i,jに応じた比率にて混合することにより、現フレームについての出力合成画像２７０を生成する。

図２９（ａ）に示す如く、現フレームについての色補間画像が図２０（ａ）等に対応する色補間画像２６１であって且つ前フレームについての色補間画像が図２１（ａ）等に対応する色補間画像２６２である場合、合成処理部６２は、下記式（Ｃ１）〜（Ｃ３）に従って、色補間画像２６１のＧ、Ｂ及びＲ信号値と色補間画像２６２のＧ、Ｂ及びＲ信号値を加重加算することにより、出力合成画像２７０のＧ、Ｂ及びＲ信号値Ｇｏ_i,j、Ｂｏ_i,j及びＲｏ_i,jを算出する。式（Ｃ２）及び（Ｃ３）の代わりに、式（Ｃ４）及び（Ｃ５）を用いて、Ｂ及びＲ信号値Ｂｏ_i,j及びＲｏ_i,jを算出するようにしてもよい。

一方、図２９（ｂ）に示す如く、現フレームについての色補間画像が図２１（ａ）等に対応する色補間画像２６２であって且つ前フレームについての色補間画像が図２０（ａ）等に対応する色補間画像２６１である場合、合成処理部６２は、下記式（Ｄ１）〜（Ｄ３）に従って、色補間画像２６１のＧ、Ｂ及びＲ信号値と色補間画像２６２のＧ、Ｂ及びＲ信号値を加重加算することにより、出力合成画像２７０のＧ、Ｂ及びＲ信号値Ｇｏ_i,j、Ｂｏ_i,j及びＲｏ_i,jを算出する。式（Ｄ２）及び（Ｄ３）の代わりに、式（Ｄ４）及び（Ｄ５）を用いて、Ｂ及びＲ信号値Ｂｏ_i,j及びＲｏ_i,jを算出するようにしてもよい。

現フレームについての色補間画像と前フレームについての色補間画像との合成によって出力合成画像を生成する際、両色補間画像間における被写体の動きが比較的大きいと、出力合成画像において、輪郭部がぼやけてしまう、或いは、二重像が表れるおそれがある。そこで、上述の如く、両色補間画像間における動きベクトルの大きさが比較的大きいならば、出力合成画像に対する前フレームの寄与率を低下させる。これにより、出力合成画像においる輪郭部のぼけや二重像の発生が抑制される。

尚、上述の例では、画像座標面ＸＹ上の様々な位置における重み係数ｗ_i,jを設定するようにしているが、２枚の色補間画像を合成する際に設定される重み係数の個数を１つとし、その１つの重み係数を全体画像領域に対して共通使用するようにしてもよい。例えば、動きベクトルＭ₁〜Ｍ₉を平均化することによって、色補間画像２６１−２６２間の、被写体の平均的な動きを表す平均動きベクトルＭ_AVEを求め、平均動きベクトルＭ_AVEの大きさ｜Ｍ_AVE｜を用いて、式“ｗ＝−Ｋ・｜Ｍ_AVE｜＋０．５”に従って１つの重み係数ｗを算出する（但し、｜Ｍ_AVE｜＞０．５／Ｋの範囲内ではｗ＝０）。そして、｜Ｍ_AVE｜を用いて算出した重み係数ｗを上記式（Ｃ１）〜（Ｃ５）及び式（Ｄ１）〜（Ｄ５）の重み係数ｗ_i,jに代入して得られる各式に従って、信号値Ｇｏ_i,j、Ｂｏ_i,j及びＲｏ_i,jを求めるようにしてもよい。

＜＜第３実施例＞＞
次に、第３実施例について説明する。第３実施例では、異なる色補間画像間における被写体の動きに加えて画像のコントラストをも考慮する。図３０は、第３実施例に係る、図１の撮像装置１の一部ブロック図である。図３０には、図１の映像信号処理部１３として用いられる映像信号処理部１３ｂの内部ブロック図が示されている。

映像信号処理部１３ｂは、符号５１〜５４、５５ｂ及び５６によって参照される各部位を備え、その内、符号５１〜５４及び５６によって参照される各部位は、図１０に示すそれらと同じものである。図３０の画像合成部５５ｂは、コントラスト算出部７０、重み係数算出部７１及び合成処理部７２を備える。画像合成部５５ｂを除く映像信号処理部１３ｂ内の構成及び動作は、第１又は第２実施例で述べた、映像信号処理部１３ａ内のそれらと同じであるため、以下、画像合成部５５ｂの構成及び動作について説明する。第１及び第２実施例で述べた事項は、矛盾無き限り、第３実施例にも適用される。

今、第１又は第２実施例における想定と同様、第１及び第２の加算パターンの原画像が交互に撮影され、合成基準画像が第１の加算パターンの原画像から生成された色補間画像であって且つ非合成基準画像が第２の加算パターンの原画像から生成された色補間画像である場合を想定する。但し、第３実施例では、第２実施例と同様、時間的に隣接して得られた２枚の色補間画像間において、画像上の被写体の位置は移動しうる。この想定の下、図２０（ａ）等に示される色補間画像２６１と図２１（ａ）等に示される色補間画像２６２とから１枚の出力合成画像２７０を生成する処理を説明する。

コントラスト算出部７０は、現時点において色補間処理部５１から出力されている現フレームについての色補間画像のＧ、Ｂ及びＲ信号と、フレームメモリ５２に記憶されている前フレームについての色補間画像のＧ、Ｂ及びＲ信号とを入力信号として受け、その入力信号に基づいて、現フレーム又は前フレームの様々な画像領域におけるコントラスト量を算出する。今、図２８（ａ）に示す如く、色補間画像２６１又は２６２である画像２６０の全体画像領域が９つの一部画像領域ＡＲ₁〜ＡＲ₉に分割され、一部画像領域ＡＲ₁〜ＡＲ₉の夫々におけるコントラスト量が算出されるものとする。勿論、一部画像領域の個数は９以外であってもよい。一部画像領域ＡＲ₁〜ＡＲ₉に対して求められたコントラスト量を、夫々、Ｃ₁〜Ｃ₉にて表す。

図２０（ａ）等に示される色補間画像２６１と図２１（ａ）等に示される色補間画像２６２との合成に用いられるコントラスト量Ｃ_mは、以下のように算出される（ｍは、１≦ｍ≦９を満たす整数）。
例えば、色補間画像２６１又は２６２の色信号から生成された輝度画像２６１Ｙ又は２６２Ｙ（図２２参照）に注目し、輝度画像２６１Ｙの一部画像領域ＡＲ_mにおける最小輝度値と最大輝度値との差、又は、輝度画像２６２Ｙの一部画像領域ＡＲ_mにおける最小輝度値と最大輝度値との差を求め、求めた差をコントラスト量Ｃ_mとして取り扱う。或いは、それら差の平均値をコントラスト量Ｃ_mとして算出する。
また例えば、輝度画像２６１Ｙ又は２６２Ｙの一部画像領域ＡＲ_mにおける所定の高域周波数成分をハイパスフィルタによって抽出することによってコントラスト量Ｃ_mを求めても良い。より具体的に、例えば、ハイパスフィルタを所定のフィルタサイズを有するラプラシアンフィルタにて形成し、そのラプラシアンフィルタを輝度画像２６１Ｙ又は２６２Ｙの一部画像領域ＡＲ_mの各画素に作用させる空間フィルタリングを行う。そうすると、ハイパスフィルタからは、そのラプラシアンフィルタのフィルタ特性に応じた出力値が順次得られる。このハイパスフィルタの出力値の絶対値（ハイパスフィルタによって抽出された高域周波数成分の大きさ）を積算し、積算値をコントラスト量Ｃ_mとして求めるようにしてもよい。輝度画像２６１Ｙの一部画像領域ＡＲ_mに対して算出した積算値と、輝度画像２６２Ｙの一部画像領域ＡＲ_mに対して算出した積算値との平均値を、コントラスト量Ｃ_mとして取り扱うことも可能である。
上述の如くして求められたコントラスト量Ｃ_mは、対応する画像領域内の画像のコントラストが大きいほど大きな値をとり、それが小さいほど小さな値をとる。

コントラスト算出部７０は、コントラスト量Ｃ₁〜Ｃ₉に基づいて、重み係数の算出に関与する基準動き値Ｍ_Oを一部画像領域ごとに算出する。一部画像領域ＡＲ_mに対して算出される基準動き値Ｍ_Oを特に、Ｍ_Omにて表す。基準動き値Ｍ_Omは、図３１（ａ）に示す如く、コントラスト量Ｃ_mがゼロである場合は最小動き値Ｍ_OMINに設定されると共に、コントラスト量Ｃ_mが所定のコントラスト閾値Ｃ_TH以上である場合は、最大動き値Ｍ_OMAXに設定される。０＜Ｃ_m＜Ｃ_THの範囲内において、コントラスト量Ｃ_mがゼロからコントラスト閾値Ｃ_THに向かって増加するに従い、基準動き値Ｍ_Omは最小動き値Ｍ_OMINから最大動き値Ｍ_OMAXに向かって増加する。より具体的には例えば、０＜Ｃ_m＜Ｃ_THの範囲内では、式“Ｍ_Om＝Θ・Ｃ_m＋Ｍ_OMIN”に従って基準動き値Ｍ_Omが算出される。ここで、Ｃ_TH＞０、０＜Ｍ_OMIN＜Ｍ_OMAX、Θ＝（Ｍ_OMAX−Ｍ_OMIN）／Ｃ_TH、である。尚、図３１（ａ）のグラフでは、基準動き値の代表として基準動き値Ｍ_Oが縦軸

重み係数算出部７１は、コントラスト算出部７０にて算出された基準動き値Ｍ_O1〜Ｍ_O9と、動きベクトルＭ₁〜Ｍ₉の大きさ｜Ｍ₁｜〜｜Ｍ₉｜に基づいて、画像座標面ＸＹ上の様々な位置における重み係数ｗ_i,jを算出する。動きベクトルＭ₁〜Ｍ₉の大きさ｜Ｍ₁｜〜｜Ｍ₉｜の意義は、第２実施例で述べた通りである。重み係数ｗ_i,jは、色信号Ｇｏ_i,j、Ｂｏ_i,j及びＲｏ_i,jを有する画素（画素位置）に対する重み係数であり、その画素の属する一部画像領域についての基準動き値及び動きベクトルから決定される。第２実施例で述べたように、重み係数ｗ_i,jの上限値及び下限値は夫々０．５及び０である。重み係数ｗ_i,jは、この上下限値の範囲内で、基準動き値及び動きベクトルの大きさに基づき設定される。図３１（ｂ）に、重み係数と、基準動き値Ｍ_Om及び動きベクトルの大きさ｜Ｍ_m｜との関係例を示す。

具体的には例えば、Ｇ信号Ｇｏ_1,1が存在する画素位置［１．５，１．５］が一部画像領域ＡＲ₁に属するのであれば、コントラスト量Ｃ₁に基づく基準動き量Ｍ_O1と動きベクトルＭ₁の大きさ｜Ｍ₁｜とに基づき、式“ｗ_1,1＝−Ｋ・（｜Ｍ₁｜−Ｍ_O1）＋０．５”に従って重み係数ｗ_1,1が算出される。但し、｜Ｍ₁｜＜Ｍ_O1の範囲内ではｗ_1,1＝０．５とされ、且つ（｜Ｍ₁｜−Ｍ_O1）＞０．５／Ｋの範囲内ではｗ_1,1＝０とされる。また例えば、Ｇ信号Ｇｏ_1,1が存在する画素位置［１．５，１．５］が一部画像領域ＡＲ₂に属するのであれば、コントラスト量Ｃ₂に基づく基準動き量Ｍ_O2と動きベクトルＭ₂の大きさ｜Ｍ₂｜とに基づき、式“ｗ_1,1＝−Ｋ・（｜Ｍ₂｜−Ｍ_O2）＋０．５”に従って重み係数ｗ_1,1が算出される。但し、｜Ｍ₂｜＜Ｍ_O2の範囲内ではｗ_1,1＝０．５とされ、且つ（｜Ｍ₂｜−Ｍ_O2）＞０．５／Ｋの範囲内ではｗ_1,1＝０とされる。

合成処理部７２は、現時点において色補間処理部５１から出力されている現フレームについての色補間画像のＧ、Ｂ及びＲ信号と、フレームメモリ５２に記憶されている前フレームについての色補間画像のＧ、Ｂ及びＲ信号とを、重み係数算出部７１にて設定された重み係数ｗ_i,jに応じた比率にて混合することにより、現フレームについての出力合成画像２７０を生成する。合成処理部７２による出力合成画像２７０のＧ、Ｂ及びＲ信号値の算出方法は、第２実施例で述べた、合成処理部６２によるそれと同じである。

コントラスト量が比較的大きい画像領域はエッジ成分を多く含む画像領域であり、ジャギーが目立ちやすいため、画像合成によるジャギー低減効果が大きい。一方、コントラスト量が比較的小さい画像領域は平坦画像領域であると考えられ、ジャギーが目立ちにくい（即ち、画像合成を行う意義が少ない）。そこで、現フレームについての色補間画像と前フレームについての色補間画像との合成によって出力合成画像を生成する際、コントラスト量が比較的大きい画像領域に対しては、重み係数を比較的大きく設定して出力合成画像に対する前フレームの寄与率を増加させ、コントラスト量が比較的小さい画像領域に対しては、重み係数を比較的小さく設定して出力合成画像に対する前フレームの寄与率を低下させる。これにより、ジャギー低減が必要な画像部分に対してのみ、適切なジャギー低減効果を得ることができるようになる。

＜＜第４実施例＞＞
次に、第４実施例を説明する。第４実施例では、圧縮処理部１６（図１等参照）にて採用可能な、特異な画像圧縮方法を説明する。第４実施例では、圧縮処理部１６が、映像信号に対する代表的な圧縮方式である、ＭＰＥＧ（Moving Picture Experts Group）圧縮方式を採用して映像信号の圧縮を行う場合を想定する。ＭＰＥＧでは、フレーム間差分を利用して、圧縮動画像であるＭＰＥＧ動画像を生成する。図３２に、このＭＰＥＧ動画像の構成を模式的に示す。ＭＰＥＧ動画像は、３種類のピクチャ、即ち、Ｉピクチャ、Ｐピクチャ及びＢピクチャから構成される。

Ｉピクチャは、フレーム内符号化画像（Intra-Coded Picture）であり、１枚のフレームの映像信号を当該フレーム画像内で符号化した画像である。Ｉピクチャ単独で１枚のフレームの映像信号を復号することが可能である。

Ｐピクチャは、フレーム間予測符号化画像（Predictive-Coded Picture）であり、時間的に先のＩピクチャまたはＰピクチャから予測される画像である。Ｐピクチャの対象となる元の画像と当該Ｐピクチャから見て時間的に先のＩピクチャまたはＰピクチャとの差分を圧縮符号化したデータにより、Ｐピクチャが形成される。Ｂピクチャは、フレーム内挿双方向予測符号化画像（Bidirectionally Predictive-Coded Picture）であり、時間的に後及び先のＩピクチャまたはＰピクチャから双方向予測される画像である。Ｂピクチャの対象となる元の画像と、当該Ｂピクチャから見て時間的に後のＩピクチャまたはＰピクチャとの差分及び当該Ｂピクチャから見て時間的に前のＩピクチャまたはＰピクチャとの差分を圧縮符号化したデータにより、Ｂピクチャが形成される。

ＭＰＥＧ動画像は、ＧＯＰ（Group Of Pictures）を単位として構成されている。ＧＯＰは、圧縮及び伸張が行われる単位であり、１つのＧＯＰは、或るＩピクチャから次のＩピクチャまでのピクチャで構成される。１又は２以上のＧＯＰにてＭＰＥＧ動画像は構成される。或るＩピクチャから次のＩピクチャまでのピクチャ枚数は、固定されることもあるが、ある程度の範囲内で変動させることも可能である。

ＭＰＥＧに代表される、フレーム間差分を利用した画像圧縮方式を用いる場合、ＩピクチャはＢ及びＰピクチャの何れにも差分データを提供するため、Ｉピクチャの画質はＭＰＥＧ動画像の全体画質に大きな影響を与える。これを考慮し、画像合成部において設定された重み係数が比較的大きく、その結果としてジャギーが効果的に低減されていると判断される画像番号を映像信号処理部１３又は圧縮処理部１６にて記録しておき、画像圧縮の際、記録している画像番号に対応する出力合成画像を優先的にＩピクチャの対象として利用する。これにより、圧縮によって得られたＭＰＥＧ動画像の全体的な画質を向上させることができる。

図３３を参照して、より具体的な例を説明する。第４実施例に係る映像信号処理部１３として、図２６又は図３０に示される映像信号処理部１３ａ又は１３ｂが用いられる。今、色補間処理部５１によって、第ｎ、第（ｎ＋１）、第（ｎ＋２）、第（ｎ＋３）、第（ｎ＋４）・・・番目の原画像から第ｎ、第（ｎ＋１）、第（ｎ＋２）、第（ｎ＋３）、第（ｎ＋４）・・・番目の色補間画像３５０、３５１、３５２、３５３及び３５４・・・、が生成され、画像合成部５５又は５５ｂにおいて、色補間画像３５０及び３５１から出力合成画像３６１、色補間画像３５１及び３５２から出力合成画像３６２、色補間画像３５２及び３５３から出力合成画像３６３、色補間画像３５３及び３５４から出力合成画像３６４、・・・が生成された場合を考える。例えば、第ｎ、第（ｎ＋１）、第（ｎ＋２）、第（ｎ＋３）、第（ｎ＋４）番目の原画像は、夫々、第１、第２、第１、第２、第１の加算パターンの原画像である。出力合成画像３６１〜３６４は、出力合成画像３６１、３６２、３６３、３６４の順番で時系列上に並ぶ出力合成画像列を形成する。

注目した２枚の色補間画像から１枚の出力合成画像を生成する手法は、第２又は第３実施例で述べた手法と同じであり、注目した２枚の色補間画像に対して算出された重み係数ｗ_i,jに従う色信号混合によって１枚の出力合成画像が生成される。その１枚の出力合成画像を生成する際に使用した重み係数ｗ_i,jは、水平画素番号ｉ及び垂直画素番号ｊに応じて様々な値を取りうるが、その様々な値を取りうる重み係数ｗ_i,jの平均値を総合重み係数として算出する。総合重み係数は、例えば、重み係数算出部６１又は７１によって算出される（図２６又は図３０参照）。出力合成画像３６１〜３６４に対して算出された総合重み係数を、夫々、ｗ_T1〜ｗ_T4にて表す。尚、注目した２枚の色補間画像に対して設定される重み係数の個数を１つにすることが可能であることを第２実施例にて述べたが、注目した２枚の色補間画像に対して設定される重み係数の個数が１つである場合は、その１つの重み係数を総合重み係数として機能させるとよい。

出力合成画像３６１〜３６４を指し示す符号３６１〜３６４は、対応する出力合成画像の画像番号を表している。出力合成画像の画像番号３６１〜３６４と総合重み係数ｗ_T1〜ｗ_T4は、互いに関連付けられて、圧縮処理部１６が参照可能なように映像信号処理部１３ａ又は１３ｂ内に記録される（図２６又は図３０を参照）。

比較的大きな総合重み係数に対応する出力合成画像は、色信号の混合の程度が比較的大きく、ジャギーが比較的大きく低減されている画像であると推測される。そこで、圧縮処理部１６は、比較的大きな総合重み係数に対応する出力合成画像を優先的にＩピクチャの対象として利用する。従って、出力合成画像３６１〜３６４の中から１枚の出力合成画像をＩピクチャの対象として選択する場合、総合重み係数ｗ_T1〜ｗ_T4の内の最大値に対応する出力合成画像をＩピクチャの対象として選択する。例えば、総合重み係数ｗ_T1〜ｗ_T4の内、総合重み係数ｗ_T2が最大であるのなら、出力合成画像３６２がＩピクチャの対象として選択され、出力合成画像３６２と出力合成画像３６１、３６３及び３６４とに基づいて、Ｐ及びＢピクチャが生成される。出力合成画像３６４以降に得られる複数の出力合成画像の中からＩピクチャの対象を選択する場合も同様である。

圧縮処理部１６は、Ｉピクチャの対象として選択された出力合成画像を、ＭＰＥＧ圧縮方式に従って符号化することによりＩピクチャを生成すると共に、Ｉピクチャの対象として選択された出力合成画像とＩピクチャの対象として選択されなかった出力合成画像とに基づいてＰ及びＢピクチャを生成する。

＜＜第５実施例＞＞
次に、第５実施例について説明する。第１〜第４実施例では、図７（ａ）、（ｂ）、図８（ａ）及び（ｂ）に対応する加算パターンＰ_A1〜Ｐ_A4を、原画像を取得するための第１〜第４の加算パターンとして用いることを想定しているが、原画像を取得するための加算パターンとして、加算パターンＰ_A1〜Ｐ_A4と異なる加算パターンを用いることも可能である。利用可能な加算パターンには、加算パターンＰ_B1〜Ｐ_B4、加算パターンＰ_C1〜Ｐ_C4及び加算パターンＰ_D1〜Ｐ_D4が含まれる。

加算パターンＰ_B1〜Ｐ_B4を利用する場合、加算パターンＰ_B1〜Ｐ_B4は、夫々、第１〜第４実施例における第１、第２、第３及び第４の加算パターンとして機能する。
加算パターンＰ_C1〜Ｐ_C4を利用する場合、加算パターンＰ_C1〜Ｐ_C4は、夫々、第１〜第４実施例における第１、第２、第３及び第４の加算パターンとして機能する。
加算パターンＰ_D1〜Ｐ_D4を利用する場合、加算パターンＰ_D1〜Ｐ_D4は、夫々、第１〜第４実施例における第１、第２、第３及び第４の加算パターンとして機能する。
そして、第１〜第４実施例にて述べたように、第１〜第４の加算パターンの内の、２以上の加算パターンを選択し、選択した２以上の加算パターンの間で加算読み出しに用いる加算パターンを順次変更させながら原画像列の取得を行う。例えば、加算パターンＰ_B1〜Ｐ_B4を第１、第２、第３及び第４の加算パターンとして機能させる場合、加算パターンＰ_B1を用いた加算読み出しと加算パターンＰ_B2を用いた加算読み出しを交互に実行することで、順次、加算パターンＰ_B1、Ｐ_B2、Ｐ_B1、Ｐ_B2、・・・の原画像を取得する。

図３４（ａ）〜（ｄ）は、夫々、加算パターンＰ_B1〜Ｐ_B4を用いた場合の信号加算の様子を示し、図３５（ａ）〜（ｄ）は、夫々、加算パターンＰ_B1〜Ｐ_B4を用いて加算読み出しを行った場合における、原画像の画素信号の様子を示す。
図３６（ａ）〜（ｄ）は、夫々、加算パターンＰ_C1〜Ｐ_C4を用いた場合の信号加算の様子を示し、図３７（ａ）〜（ｄ）は、夫々、加算パターンＰ_C1〜Ｐ_C4を用いて加算読み出しを行った場合における、原画像の画素信号の様子を示す。
図３８（ａ）〜（ｄ）は、夫々、加算パターンＰ_D1〜Ｐ_D4を用いた場合の信号加算の様子を示し、図３９（ａ）〜（ｄ）は、夫々、加算パターンＰ_D1〜Ｐ_D4を用いて加算読み出しを行った場合における、原画像の画素信号の様子を示す。

図３４（ａ）〜（ｄ）において、黒塗りの丸は、夫々、加算パターンＰ_B1〜Ｐ_B4を第１〜第４の加算パターンとして用いた場合に想定される仮想的な受光画素の配置位置を示している。但し、図３４（ａ）〜（ｄ）では、想定される仮想的な受光画素の内、Ｒ信号に対応する、仮想的な受光画素の配置位置のみを明示している。
図３６（ａ）〜（ｄ）において、黒塗りの丸は、夫々、加算パターンＰ_C1〜Ｐ_C4を第１〜第４の加算パターンとして用いた場合に想定される仮想的な受光画素の配置位置を示している。但し、図３６（ａ）〜（ｄ）では、想定される仮想的な受光画素の内、Ｂ信号に対応する、仮想的な受光画素の配置位置のみを明示している。
図３８（ａ）〜（ｄ）において、黒塗りの丸は、夫々、加算パターンＰ_D1〜Ｐ_D4を第１〜第４の加算パターンとして用いた場合に想定される仮想的な受光画素の配置位置を示している。但し、図３８（ａ）〜（ｄ）では、想定される仮想的な受光画素の内、Ｇ信号に対応する、仮想的な受光画素の配置位置の一部のみを明示している。

図３４（ａ）〜（ｄ）、図３６（ａ）〜（ｄ）及び図３８（ａ）〜（ｄ）において、黒塗りの丸の周囲に示された矢印は、その丸に対応する仮想的な受光画素の画素信号を生成するために、該仮想的な受光画素の周辺受光画素の画素信号が加算される様子を示している。

任意の加算パターンを用いて加算読み出しを行う場合、
撮像素子３３の画素位置［ｐ_G1＋４ｎ_A，ｐ_G2＋４ｎ_B］及び［ｐ_G3＋４ｎ_A，ｐ_G4＋４ｎ_B］に仮想的な緑受光画素が配置され、撮像素子３３の画素位置［ｐ_B1＋４ｎ_A，ｐ_B2＋４ｎ_B］に仮想的な青受光画素が配置され、撮像素子３３の画素位置［ｐ_R1＋４ｎ_A，ｐ_R2＋４ｎ_B］に仮想的な赤受光画素が配置される、と想定する（ｎ_A及びｎ_Bは整数）。但し、
加算パターンＰ_B1、Ｐ_B2、Ｐ_B3及びＰ_B4を用いる場合、（ｐ_G1，ｐ_G2，ｐ_G3，ｐ_G4，ｐ_B1，ｐ_B2，ｐ_R1，ｐ_R2）は、それぞれ、
（４，２，３，３，３，２，４，３）、（６，４，５，５，５，４，６，５）、
（６，２，５，３，５，２，６，３）及び（４，４，３，５，３，４，４，５）であり、
加算パターンＰ_C1、Ｐ_C2、Ｐ_C3及びＰ_C4を用いる場合、（ｐ_G1，ｐ_G2，ｐ_G3，ｐ_G4，ｐ_B1，ｐ_B2，ｐ_R1，ｐ_R2）は、それぞれ、
（３，３，２，４，３，４，２，３）、（５，５，４，６，５，６，４，５）、
（５，３，４，４，５，４，４，３）及び（３，５，２，６，３，６，２，５）であり、
加算パターンＰ_D1、Ｐ_D2、Ｐ_D3及びＰ_D4を用いる場合、（ｐ_G1，ｐ_G2，ｐ_G3，ｐ_G4，ｐ_B1，ｐ_B2，ｐ_R1，ｐ_R2）は、それぞれ、
（３，３，４，４，３，４，４，３）、（５，５，６，６，５，６，６，５）、
（５，３，６，４，５，４，６，３）及び（３，５，４，６，３，６，４，５）である。
尚、（ｐ_G1，ｐ_G2，ｐ_G3，ｐ_G4，ｐ_B1，ｐ_B2，ｐ_R1，ｐ_R2）が（ｐ_G1’，ｐ_G2’，ｐ_G3’，ｐ_G4’，ｐ_B1’，ｐ_B2’，ｐ_R1’，ｐ_R2’）であるとは、ｐ_G1＝ｐ_G1’、ｐ_G2＝ｐ_G2’、ｐ_G3＝ｐ_G3’、ｐ_G4＝ｐ_G4’、ｐ_B1＝ｐ_B1’、ｐ_B2＝ｐ_B2’、ｐ_R1＝ｐ_R1’且つｐ_R2＝ｐ_R2’、であることを意味する。

第１実施例で述べたように、１つの仮想的な受光画素の画素信号は、その仮想的な受光画素の左斜め上、右斜め上、左斜め下及び右斜め下に隣接する実際の受光画素の画素信号の加算信号とされる。そして、位置［ｘ，ｙ］に配置された仮想的な受光画素の画素信号が、画像上の位置［ｘ，ｙ］の画素信号として取り扱われるように原画像が取得される。

従って、任意の加算パターンを用いた加算読み出しによって得られる原画像は、図３５（ａ）〜（ｄ）、図３７（ａ）〜（ｄ）及び図３９（ａ）〜（ｄ）に示す如く、画素位置［ｐ_G1＋４ｎ_A，ｐ_G2＋４ｎ_B］及び［ｐ_G3＋４ｎ_A，ｐ_G4＋４ｎ_B］に配置された、Ｇ信号のみを有する画素と、画素位置［ｐ_B1＋４ｎ_A，ｐ_B2＋４ｎ_B］に配置された、Ｂ信号のみを有する画素と、画素位置［ｐ_R1＋４ｎ_A，ｐ_R2＋４ｎ_B］に配置された、Ｒ信号のみを有する画素と、を備えた画像となる。

尚、加算パターンＰ_A1〜Ｐ_A4から成る加算パターン群、加算パターンＰ_B1〜Ｐ_B4から成る加算パターン群、加算パターンＰ_C1〜Ｐ_C4から成る加算パターン群及び加算パターンＰ_D1〜Ｐ_D4から成る加算パターン群を、夫々、Ｐ_A、Ｐ_B、Ｐ_C及びＰ_Dによって表す。

＜＜第６実施例＞＞
次に、第６実施例について説明する。第６実施例では、動き検出部の検出結果に基づいて、原画像を取得するために用いる加算パターン群を切り換えて使用する。

まず、この切り換えを行う意義を説明する。原画像から色補間画像を生成する際、画素位置によっては、信号補間が行われる。例えば、図１３（ａ）に示される色補間画像２６１上のＧ信号３１１を生成する際には、図１２（ａ）を参照して説明したように、原画像２５１上の４つの実画素のＧ信号を用いた信号補間が行われる。一方、図１３（ａ）のＧ信号３１３は、原画像２５１上の１つの実画素のＧ信号そのものである。つまり、Ｇ信号３１３の生成時には信号補間は行われない。信号補間を行うと必然的に解像感（実質的な解像度）の低下が生じる。

従って、Ｇ信号３１１のような信号補間を行って得た色信号から成る画像と、Ｇ信号３１３のような信号補間を行うことなく得た色信号から成る画像とを対比した場合、後者の方が前者よりも解像感（実質的な解像度）が高いと言える。故に、図１３（ａ）及び図２０（ａ）等に示される色補間画像２６１において、左上から右下に向かう方向における解像感は他の方向（特に左下から右上に向かう方向）におけるそれと比べて高い。左上から右下に向かう方向に並ぶＧ信号Ｇ１_1,1、Ｇ１_2,2、Ｇ１_3,3及びＧ１_4,4は信号補間を行うことなく得られるからである（図２０（ａ）参照）。逆に例えば、加算パターン群Ｐ_Bを用いて得られる色補間画像（図３４（ａ）及び図３５（ａ）等参照）においては、左下から右上に向かう方向における解像感が他の方向（特に左上から右下に向かう方向）におけるそれと比べて高い。

他方、画像列において画像中の被写体に動きがある場合、動きのある方向と垂直に交わる輪郭部分はぼけが生じやすい。これらの事情を考慮し、第６実施例では、そのぼけが極力解消されるように、過去フレームに対して求められた動き検出結果に基づき、現フレームに対して用いるべき加算パターン群を複数の加算パターン群の中から動的に選択する。

尚、色補間画像又は動きベクトルに関し、左上から右下に向かう方向とは、画像座標面ＸＹ上の位置［１，１］から位置［１０，１０］に向かう方向を指し、左下から右上に向かう方向とは、画像座標面ＸＹ上の位置［１，１０］から位置［１０，１］に向かう方向を指す。左上から右下に向かう方向に沿った直線又はその方向と略同じ方向に沿った直線を右下がり直線と呼び、左下から右上に向かう方向に沿った直線又はその方向と略同じ方向に沿った直線を右上がり直線と呼ぶ（図４０参照）。

図４１を参照し、加算パターン群Ｐ_Aと加算パターン群Ｐ_Bとの間で用いる加算パターン群を切り換えることを想定して、第６実施例に係る切り換え手法を具体的に説明する。第６実施例では、図１の映像信号処理部１３として、図１０若しくは図２６の映像信号処理部１３ａ又は図３０の映像信号処理部１３ｂが用いられる。

加算パターン群Ｐ_Aを用いて原画像を取得する期間では、加算パターンＰ_A1を用いた加算読み出しと加算パターンＰ_A2を用いた加算読み出しを交互に実行することで、順次、加算パターンＰ_A1、Ｐ_A2、Ｐ_A1、Ｐ_A2、・・・の原画像が取得され、時間的に隣接する２枚の原画像に基づく２枚の色補間画像から１枚の出力合成画像が生成される。同様に、加算パターン群Ｐ_Bを用いて原画像を取得する期間では、加算パターンＰ_B1を用いた加算読み出しと加算パターンＰ_B2を用いた加算読み出しを交互に実行することで、順次、加算パターンＰ_B1、Ｐ_B2、Ｐ_B1、Ｐ_B2、・・・の原画像が取得され、時間的に隣接する２枚の原画像に基づく２枚の色補間画像から１枚の出力合成画像が生成される。

今、図４１に示す如く、色補間処理部５１によって、第ｎ、第（ｎ＋１）、第（ｎ＋２）、第（ｎ＋３）、第（ｎ＋４）・・・番目の原画像４００、４０１、４０２、４０３及び４０４・・・から第ｎ、第（ｎ＋１）、第（ｎ＋２）、第（ｎ＋３）、第（ｎ＋４）・・・番目の色補間画像４１０、４１１、４１２、４１３及び４１４・・・、が生成された場合を考える。

動き検出部５３は、第１実施例で述べたように、隣接フレーム間の動きベクトルを求める。色補間画像４１０−４１１間の動きベクトル、色補間画像４１１−４１２間の動きベクトル及び色補間画像４１２−４１３間の動きベクトルを、夫々、Ｍ₀₁、Ｍ₁₂及びＭ₂₃にて表す。動きベクトルＭ₀₁は、色補間画像４１０−４１１間の、被写体の平均的な動きを表す、第２実施例にて述べたような平均動きベクトルであるとする（動きベクトルＭ₁₂及びＭ₂₃についても同様）。

原画像の取得に用いられる初期の加算パターン群が加算パターン群Ｐ_Aであり、原画像４００〜４０３の取得時に用いた加算パターン群が加算パターン群Ｐ_Aであったとする。この際、映像信号処理部１３又はＣＰＵ２３に内在するパターン切換制御部（不図示）は、選択用動きベクトルに基づいて、原画像４０４の取得時に用いる加算パターン群を加算パターン群Ｐ_A及びＰ_Bの中から選択する。選択用動きベクトルは、原画像４０４の取得前に得られている１又は複数の動きベクトルから形成される。選択用動きベクトルには、例えば、動きベクトルＭ₂₃が含まれ、更に動きベクトルＭ₁₂、又は、動きベクトルＭ₁₂及びＭ₀₁が含まれうる。動きベクトルＭ₀₁よりも過去に得られた動きベクトルを、更に、選択用動きベクトルに含めても良い。通常、選択用動きベクトルは、複数の動きベクトルから形成される。

選択用動きベクトルが複数の動きベクトル（例えばＭ₂₃及びＭ₁₂）から成る場合、パターン切換制御部は、その複数の動きベクトルに注目し、その複数の動きベクトルの向きが全て右上がり直線と平行な場合は、原画像４０４の取得時に用いる加算パターン群を加算パターン群Ｐ_Aから加算パターン群Ｐ_Bへと切り換え、そうでない場合は、その切り換えを行わず、原画像４０４の取得時に用いる加算パターン群を加算パターン群Ｐ_Aのままとする。

上記の想定とは異なるが、原画像４００〜４０３の取得時に用いた加算パターン群が加算パターン群Ｐ_Bであって且つ選択用動きベクトルが複数の動きベクトル（例えばＭ₂₃及びＭ₁₂）から成る場合、パターン切換制御部は、その複数の動きベクトルに注目し、その複数の動きベクトルの向きが全て右下がり直線と平行な場合は、原画像４０４の取得時に用いる加算パターン群を加算パターン群Ｐ_Bから加算パターン群Ｐ_Aへと切り換え、そうでない場合は、その切り換えを行わず、原画像４０４の取得時に用いる加算パターン群を加算パターン群Ｐ_Bのままとする。

選択用動きベクトルが動きベクトルＭ₂₃のみから成る場合、パターン切換制御部は、動きベクトルＭ₂₃に注目し、動きベクトルＭ₂₃の向きが右上がり直線と平行な場合は、原画像４０４の取得時に用いる加算パターン群として加算パターン群Ｐ_Bを選択し、動きベクトルＭ₂₃の向きが右下がり直線と平行な場合は、原画像４０４の取得時に用いる加算パターン群として加算パターン群Ｐ_Aを選択すればよい。

上述の如く、用いる加算パターン群を可変設定することにより、画像中の被写体の動きに応じて最適な加算パターン群を用いることができ、出力合成画像列の画質最適化が図られる。

尚、原画像の取得に用いる加算パターン群が頻繁に変更されることを禁止する処理を付加するようにしてもよい。例えば、図４１に示す如く、原画像４０３の取得に用いた加算パターン群が加算パターン群Ｐ_Aであって且つ原画像４０４の取得に用いる加算パターン群が加算パターン群Ｐ_Aから加算パターン群Ｐ_Bに変更された場合、原画像４０４以降に取得される規定枚数の原画像の取得の際には、必ず、加算パターン群Ｐ_Bを用いるようにしてもよい。

また、原画像の取得に用いる加算パターン群を加算パターン群Ｐ_Aと加算パターン群Ｐ_Bとの間で切り換える例を上述したが、原画像の取得に用いる加算パターン群を、加算パターン群Ｐ_Aと加算パターン群Ｐ_Cとの間で、又は、加算パターン群Ｐ_Bと加算パターン群Ｐ_Dとの間で切り換えるようにしてもよい。

＜＜第７実施例＞＞
第１〜第６実施例では、加算読み出しによって原画像の画素信号を取得しているが、間引き読み出しによって原画像の画素信号を取得することも可能である。間引き読み出しを行うことによって原画像の画素信号を取得する実施例を、第７実施例として説明する。間引き読み出しによって原画像の画素信号を取得した場合においても、矛盾無き限り、第１〜第６実施例で述べた事項は適用可能である。

周知の如く、間引き読み出しでは、撮像素子３３の受光画素信号が間引いて読み出される。第７実施例では、原画像の取得に用いる間引きパターンを複数の間引きパターンの間で順次変更させながら間引き読み出しを行い、間引きパターンの異なる複数の色補間画像を合成することによって１枚の出力合成画像を生成する。間引きパターンとは、間引きの対象となる受光画素の組み合わせパターンを意味する。用いられる複数の間引きパターンは、互いに異なる第１、第２、第３及び第４の間引きパターンの内の、２以上の間引きパターンを含む。第１〜第４の間引きパターン間で、間引きの位置は互いに異なる。

第１〜第４の間引きパターンから成る間引きパターン群として、間引きパターンＱ_A1〜Ｑ_A4から成る間引きパターン群Ｑ_A、間引きパターンＱ_B1〜Ｑ_B4から成る間引きパターン群Ｑ_B、間引きパターンＱ_C1〜Ｑ_C4から成る間引きパターン群Ｑ_C、又は、間引きパターンＱ_D1〜Ｑ_D4から成る間引きパターン群Ｑ_Dを利用可能である。

図４２（ａ）〜（ｄ）は、夫々、間引きパターンＱ_A1〜Ｑ_A4を示しており、図４３（ａ）〜（ｄ）は、夫々、間引きパターンＱ_A1〜Ｑ_A4を用いて間引き読み出しを行った場合における、原画像の画素信号の様子を示している。
図４４（ａ）〜（ｄ）は、夫々、間引きパターンＱ_B1〜Ｑ_B4を示しており、図４５（ａ）〜（ｄ）は、夫々、間引きパターンＱ_B1〜Ｑ_B4を用いて間引き読み出しを行った場合における、原画像の画素信号の様子を示している。
図４６（ａ）〜（ｄ）は、夫々、間引きパターンＱ_C1〜Ｑ_C4を示しており、図４７（ａ）〜（ｄ）は、夫々、間引きパターンＱ_C1〜Ｑ_C4を用いて間引き読み出しを行った場合における、原画像の画素信号の様子を示している。
図４８（ａ）〜（ｄ）は、夫々、間引きパターンＱ_D1〜Ｑ_D4を示しており、図４９（ａ）〜（ｄ）は、夫々、間引きパターンＱ_D1〜Ｑ_D4を用いて間引き読み出しを行った場合における、原画像の画素信号の様子を示している。

図４２（ａ）〜（ｄ）、図４４（ａ）〜（ｄ）、図４６（ａ）〜（ｄ）及び図４８（ａ）〜（ｄ）において、丸枠内の受光画素の画素信号が原画像の実画素の画素信号として読み出され、水平又は垂直方向に隣接する丸枠間に位置する受光画素の画素信号は間引かれる。

任意の間引きパターンを用いて間引き読み出しを行う場合、
撮像素子３３の画素位置［ｐ_G1＋４ｎ_A，ｐ_G2＋４ｎ_B］及び［ｐ_G3＋４ｎ_A，ｐ_G4＋４ｎ_B］に配置される緑受光画素の画素信号が原画像の画素位置［ｐ_G1＋４ｎ_A，ｐ_G2＋４ｎ_B］及び［ｐ_G3＋４ｎ_A，ｐ_G4＋４ｎ_B］におけるＧ信号として読み出され、撮像素子３３の画素位置［ｐ_B1＋４ｎ_A，ｐ_B2＋４ｎ_B］に配置される青受光画素の画素信号が原画像の画素位置［ｐ_B1＋４ｎ_A，ｐ_B2＋４ｎ_B］におけるＢ信号として読み出され、撮像素子３３の画素位置［ｐ_R1＋４ｎ_A，ｐ_R2＋４ｎ_B］に配置される青受光画素の画素信号が原画像の画素位置［ｐ_R1＋４ｎ_A，ｐ_R2＋４ｎ_B］におけるＲ信号として読み出される（ｎ_A及びｎ_Bは整数）。但し、
間引きパターンＱ_A1、Ｑ_A2、Ｑ_A3及びＱ_A4を用いる場合、（ｐ_G1，ｐ_G2，ｐ_G3，ｐ_G4，ｐ_B1，ｐ_B2，ｐ_R1，ｐ_R2）は、それぞれ、
（１，１，２，２，２，１，１，２）、（３，３，４，４，４，３，３，４）、
（３，１，４，２，４，１，３，２）及び（１，３，２，４，２，３，１，４）であり、
間引きパターンＱ_B1、Ｑ_B2、Ｑ_B3及びＱ_B4を用いる場合、（ｐ_G1，ｐ_G2，ｐ_G3，ｐ_G4，ｐ_B1，ｐ_B2，ｐ_R1，ｐ_R2）は、それぞれ、
（３，１，２，２，２，１，３，２）、（５，３，４，４，４，３，５，４）、
（５，１，４，２，４，１，５，２）及び（３，３，２，４，２，３，３，４）であり、
間引きパターンＱ_C1、Ｑ_C2、Ｑ_C3及びＱ_C4を用いる場合、（ｐ_G1，ｐ_G2，ｐ_G3，ｐ_G4，ｐ_B1，ｐ_B2，ｐ_R1，ｐ_R2）は、それぞれ、
（２，２，１，３，２，３，１，２）、（４，４，３，５，４，５，３，４）、
（４，２，３，３，４，３，３，２）及び（２，４，１，５，２，５，１，４）であり、
間引きパターンＱ_D1、Ｑ_D2、Ｑ_D3及びＱ_D4を用いる場合、（ｐ_G1，ｐ_G2，ｐ_G3，ｐ_G4，ｐ_B1，ｐ_B2，ｐ_R1，ｐ_R2）は、それぞれ、
（２，２，３，３，２，３，３，２）、（４，４，５，５，４，５，５，４）、
（４，２，５，３，４，３，５，２）及び（２，４，３，５，２，５，３，４）である。

Ｇ、Ｂ又はＲ信号が読み出された画素位置に対応する、原画像上の画素は、Ｇ、Ｂ又はＲ信号が存在する実画素であるが、Ｇ、Ｂ及びＲ信号の何れもが読み出されなかった画素位置に対応する、原画像上の画素は、Ｇ、Ｂ及びＲ信号の何れもが存在しない空白画素である。

例として、間引きパターンＱ_A1〜Ｑ_A4から成る間引きパターン群Ｑ_Aを用いて出力合成画像を生成する処理を説明する。第７実施例に係る映像信号処理部１３として、図１０若しくは図２６の映像信号処理部１３ａ又は図３０の映像信号処理部１３ｂを用いることができる。

図４３（ａ）〜（ｄ）及び図９（ａ）〜（ｄ）から分かるように、間引きパターンＱ_A1〜Ｑ_A4を用いた間引き読み出しによって取得される原画像と、加算パターンＰ_A1〜Ｐ_A4を用いた加算読み出しによって取得される原画像とを対比した場合、両原画像間で、Ｇ、Ｂ及びＲ信号の存在位置の関係は同じである。但し、後者の原画像を基準として、前者の原画像におけるＧ、Ｂ及びＲ信号の存在位置は、右方向にＷｐ分且つ下方向にＷｐ分だけずれている（図４（ａ）参照）。従って、加算読み出しを行うことを前提として上述してきた事項を間引き読み出しを行う撮像装置に適用する場合、このずれに対応する分だけ、上述してきた事項を修正して考えればよい。

このずれが存在する以外、両原画像（図４３（ａ）〜（ｄ）に対応する原画像と図９（ａ）〜（ｄ）に対応する原画像）を等価なものとして取り扱うことができるため、第１〜第４実施例にて述べた事項を、そのまま第７実施例にも適用可能である。基本的には、第１〜第４実施例における加算パターン及び加算読み出しを間引きパターン及び間引き読み出しに置き換えて考えればよい。

即ち例えば、間引きパターンＱ_A1及びＱ_A2を夫々第１及び第２の間引きパターンとして用いることを想定し、第１及び第２の間引きパターンを交互に用いることによって、第１及び第２の間引きパターンによる原画像を交互に取得する。そして、間引きパターンによる各原画像に対して第１実施例にて述べた色補間処理を実行することにより、色補間処理部５１にて色補間画像を生成する一方で、第１実施例にて述べた動き検出処理を実行することにより、動き検出部５３にて隣接フレーム間の動きベクトルを検出する。そして、その検出された動きベクトルに基づきつつ、第１〜第３実施例の何れかにて述べた手法に従って、画像合成部５５又は５５ｂにて複数の色補間画像から１枚の出力合成画像を生成する。間引き読み出しによって得られた原画像列に基づく出力合成画像列に対して、第４実施例にて述べた画像圧縮技術を適用することも可能である。

また更に、間引き読み出しを利用する場合においても、第６実施例にて述べた技術は有効に機能する。間引き読み出しを利用する第７実施例に第６実施例にて述べた技術を適用する場合、第６実施例の説明文中に現れる加算パターン及び加算パターン群という用語を間引きパターン及び間引きパターンという用語に読み替え、その読み替えに伴って、加算パターン又は加算パターン群に対応する符号を間引きパターン又は間引きパターン群に対応する符号に読み替えればよい。具体的には、第６実施例における加算パターン群Ｐ_A、Ｐ_B、Ｐ_C及びＰ_Dを夫々間引きパターン群Ｑ_A、Ｑ_B、Ｑ_C及びＱ_Dに読み替えると共に、第６実施例における加算パターンＰ_A1、Ｐ_A2、Ｐ_B1及びＰ_B2を、夫々、間引きパターンＱ_A1、Ｑ_A2、Ｑ_B1及びＱ_B2に読み替えればよい。

尚、上述してきた加算読み出し方式と間引き読み出し方式を組み合わせた読み出し方式（以下、加算/間引き方式という）を用いて、撮像素子３３の受光画素信号を読み出してもよい。加算/間引き方式を用いた時の読み出しパターンを、加算/間引きパターンという。例として、図５０及び図５１に対応するような加算/間引きパターンを採用することができる。この加算/間引きパターンは、第１の加算/間引きパターンとして機能する。図５０は、第１の加算/間引きパターンを用いた時の、信号加算の様子及び信号間引きの様子を示しており、図５１は、第１の加算/間引きパターンに従って受光画素信号を読み出した時の、原画像の画素信号の様子を示す。

この第１の加算/間引きパターンを用いた場合、
撮像素子３３の画素位置［２＋６ｎ_A，２＋６ｎ_B］及び［３＋６ｎ_A，３＋６ｎ_B］に仮想的な緑受光画素が配置され、撮像素子３３の画素位置［３＋６ｎ_A，２＋６ｎ_B］に仮想的な青受光画素が配置され、撮像素子３３の画素位置［２＋６ｎ_A，３＋６ｎ_B］に仮想的な赤受光画素が配置される、と想定する（ｎ_A及びｎ_Bは整数）。

第１実施例で述べたように、１つの仮想的な受光画素の画素信号は、その仮想的な受光画素の左斜め上、右斜め上、左斜め下及び右斜め下に隣接する実際の受光画素の画素信号の加算信号とされる。そして、位置［ｘ，ｙ］に配置された仮想的な受光画素の画素信号が、画像上の位置［ｘ，ｙ］の画素信号として取り扱われるように原画像が取得される。従って、第１の加算/間引きパターンを用いた読み出しによって得られる原画像は、図５１に示す如く、画素位置［２＋６ｎ_A，２＋６ｎ_B］及び［３＋６ｎ_A，３＋６ｎ_B］に配置された、Ｇ信号のみを有する画素と、画素位置［３＋６ｎ_A，２＋６ｎ_B］に配置された、Ｂ信号のみを有する画素と、画素位置［２＋６ｎ_A，３＋６ｎ_B］に配置された、Ｒ信号のみを有する画素と、を備えた画像となる。

このように、複数の受光画素信号を加算することによって原画像の画素信号が形成されるため、加算/間引き方式は、加算読み出し方式の一種である。同時に、位置［５，ｎ_B］、［６，ｎ_B］、［ｎ_A，５］及び［ｎ_A，６］における受光画素信号は、原画像の画素信号の生成に寄与しない。つまり、原画像の生成に際して、位置［５，ｎ_B］、［６，ｎ_B］、［ｎ_A，５］及び［ｎ_A，６］における受光画素信号は間引かれる。故に、加算/間引き方式は、間引き読み出し方式の一種であるとも言える。

上述したように、加算パターンは、加算の対象となる受光画素の組み合わせパターンを意味し、間引きパターンは、間引きの対象となる受光画素の組み合わせパターンを意味する。これに対し、加算/間引きパターンは、加算及び間引きの対象となる受光画素の組み合わせパターンを意味する。加算/間引き方式を用いる場合も、互いに異なる複数の加算/間引きパターンを設定し、原画像の取得に用いる加算/間引きパターンを該複数の加算/間引きパターンの間で順次変更させながら受光画素信号の読み出しを行い、対応する加算/間引きパターンが互いに異なる複数の色補間画像を合成することによって１枚の出力合成画像を生成すればよい。

＜＜第８実施例＞＞
上述の各実施例では、複数の色補間画像を合成し、合成によって得た出力合成画像を信号処理部５６に与えているが、この合成を行うことなく、１枚の色補間画像のＲ、Ｇ及びＢ信号を、１枚の出力画像のＲ、Ｇ及びＢ信号として信号処理部５６に与えることも可能である。この合成を行わない実施例を、第８実施例として説明する。上述の各実施例に記載した事項を、矛盾なき限り、第８実施例に適用することができる。但し、合成処理が行われないため、合成に関与する技術は第８実施例には適用されない。

第８実施例に係る映像信号処理部１３として、図５２の映像信号処理部１３ｃを用いることができる。映像信号処理部１３ｃは、色補間処理部５１、信号処理部５６及び画像変換部５７を備える。色補間処理部５１及び信号処理部５６の機能は、上述してきたものと同じである。

色補間処理部５１は、ＡＦＥ１２の出力信号によって表される原画像に対して上述の色補間処理を実行して色補間画像を生成する。色補間処理部５１にて生成された色補間画像のＲ、Ｇ及びＢ信号は、画像変換部５７に与えられる。画像変換部５７は、与えられた色補間画像のＲ、Ｇ及びＢ信号から出力画像のＲ、Ｇ及びＢ信号を生成する。信号処理部５６は、画像変換部５７にて生成された出力画像のＲ、Ｇ及びＢ信号を、輝度信号Ｙ及び色差信号Ｕ及びＶから成る映像信号に変換する。この変換によって得られた映像信号（Ｙ、Ｕ及びＶ）は、圧縮処理部１６に送られ、所定の画像圧縮方式に従って圧縮符号化される。画像変換部５７からの出力画像列の映像信号を、図１の表示部２７又は図示されない表示装置に供給することにより、その出力画像列を動画像として表示することができる。

上述の各実施例では、位置［２ｉ−０．５，２ｊ−０．５］における、出力合成画像２７０のＧ信号、Ｂ信号及びＲ信号を、夫々、Ｇｏ_i,j、Ｂｏ_i,j及びＲｏ_i,jにて表したが（図２５（ａ）〜（ｃ）参照）、第８実施例では、位置［２ｉ−０．５，２ｊ−０．５］における、画像変換部５７の出力画像のＧ信号、Ｂ信号及びＲ信号を、夫々、Ｇｏ_i,j、Ｂｏ_i,j及びＲｏ_i,jにて表す。

図５３を参照し、具体例を挙げて映像信号処理部１３ｃの動作を説明する。今、第１及び第２の加算パターンとして夫々加算パターンＰ_A1及びＰ_A2を用い（図７（ａ）及び（ｂ）参照）、第１及び第２の加算パターンの原画像が交互に撮影される場合を考える。順次、第ｎ、第（ｎ＋１）、第（ｎ＋２）及び第（ｎ＋３）番目の原画像が取得される。第ｎ、第（ｎ＋１）、第（ｎ＋２）及び第（ｎ＋３）番目の原画像が、夫々、第１、第２、第１及び第２の加算パターンの原画像であり、且つ、第ｎ及び第（ｎ＋１）番目の原画像から生成された色補間画像が、夫々、色補間画像２６１及び２６２である場合を想定する（図２０（ａ）及び図２１（ａ）等参照）。また、色補間画像２６１及び２６２から生成される、画像変換部５７の出力画像が、それぞれ出力画像５０１及び５０２であるとする。

第１実施例では、色補間画像２６１と色補間画像２６２との間において、Ｇ信号の存在位置が相違し、且つ、Ｂ信号の存在位置が相違し、且つ、Ｒ信号の存在位置が相違することを考慮して、色補間画像２６１のＧ、Ｂ及びＲ信号と色補間画像２６２のＧ、Ｂ及びＲ信号を混合した（式（Ｂ１）等参照）。

第８実施例に係る画像変換部５７は、これらの相違に基づき、Ｇｏ_i,j＝Ｇ１_i,j、Ｂｏ_i,j＝Ｂ１_i,j及びＲｏ_i,j＝Ｒ１_i,jに従って出力画像５０１のＧ、Ｂ及びＲ信号値を求め、Ｇｏ_i,j＝Ｇ２_i-1,j-1、Ｂｏ_i,j＝Ｂ２_i-1,j-1及びＲｏ_i,j＝Ｒ２_i-1,j-1に従って出力画像５０２のＧ、Ｂ及びＲ信号値を求める。第（ｎ＋２）番目の原画像に基づく色補間画像も色補間画像２６１であるとするならば、第（ｎ＋２）番目の原画像に基づく出力画像のＧ、Ｂ及びＲ信号値も、Ｂｏ_i,j＝Ｂ１_i,j及びＲｏ_i,j＝Ｒ１_i,jに従って求められる。同様に、第（ｎ＋３）番目の原画像に基づく色補間画像も色補間画像２６２であるとするならば、第（ｎ＋３）番目の原画像に基づく出力画像のＧ、Ｂ及びＲ信号値も、Ｇｏ_i,j＝Ｇ２_i-1,j-1、Ｂｏ_i,j＝Ｂ２_i-1,j-1及びＲｏ_i,j＝Ｒ２_i-1,j-1に従って求められる。

出力画像における信号Ｇｏ_i,j、Ｂｏ_i,j及びＲｏ_i,jの位置［２ｉ−０．５，２ｊ−０．５］から見て、色補間画像２６１における信号Ｇ１_i,j、Ｂ１_i,j及びＲ１_i,jの位置は若干ずれており、色補間画像２６２における信号Ｇ２_i-1,j-1、Ｂ２_i-1,j-1及びＲ２_i-1,j-1の位置も若干ずれている。

これらのずれに起因して、１枚１枚の出力画像を静止画像として見たならばジャギー等の画質劣化が観察される。しかしながら、画像変換部５７からはフレーム周期にて出力画像が順次生成されており、出力画像列を動画像として見た場合、フレーム周期にもよるが、ユーザはこのような画質劣化を殆ど感じない。この理由は、インターレースによる動画像において、映像のちらつきを殆ど感知できない理由と同様であり、ユーザの目の残像効果が利用されている。

一方、出力画像５０１と出力画像５０２との間において、同一位置［２ｉ−０．５，２ｊ−０．５］の色信号のサンプリング点は異なっている。例えば、出力画像５０１の位置［５．５，５．５］におけるＧ信号Ｇｏ_3,3として利用される、色補間画像２６１のＧ信号Ｇ１_3,3のサンプリング点（位置［６，６］）と、出力画像５０２の位置［５．５，５．５］におけるＧ信号Ｇｏ_3,3として利用される、色補間画像２６２のＧ信号Ｇ１_2,2のサンプリング点（位置［５，５］）とは異なる。このような出力画像５０１及び５０２を含む出力画像列を動画像として表示した場合、目の残像効果が働いて、ユーザは、両方のサンプリング点における画像情報を一度に認識することとなる。つまり、受光画素信号の加算読み出しによる画質低下（間引き読み出しを行う場合にあっては、間引き読み出しによる画質低下）を補償することができる。加えて、画素間隔を均等化する補間処理（図５４のブロック９０２及び９０３参照）を行わない分、解像感の劣化が抑制される。即ち、図５４に対応する従来手法と比べて、解像感の向上が図られる。

出力画像５０１及び５０２を含む出力画像列を生成する処理は、フレーム周期が比較的高い場合（例えば、フレーム周期が１／６０秒である場合）に有益である。フレーム周期が比較的低い場合（例えば、フレーム周期が１／３０秒である場合）は、目の残像効果が弱まるため、第１〜第７実施例で述べたような、複数の色補間画像に基づく出力合成画像の生成を行った方がよい。

図５２に示される映像信号処理部１３ｃの機能を実現するブロックと、図１０、図２６又は図３０に示される映像信号処理部１３ａ又は１３ｂの機能を実現するブロックとを図１の映像信号処理部１３に搭載し、フレーム周期に応じて、それらのブロックを使い分けるようにしてもよい。即ち、フレーム周期が所定の基準周期（例えば、１／３０秒）よりも大きい場合は、前者のブロックを作動させて画像変換部５７から出力画像列を出力させ、フレーム周期が基準周期以下である場合は、後者のブロックを作動させて画像合成部５５又は５５ｂから出力合成画像列を出力させるようにしてもよい。

また、第１及び第２の加算パターンとしての加算パターンＰ_A1及びＰ_A2を用い、加算パターンＰ_A1及びＰ_A2の原画像を交互に取得する例を上述したが、第１〜第４の加算パターンとしての加算パターンＰ_A1〜Ｐ_A4を用い、加算パターンＰ_A1〜Ｐ_A4の原画像を順次繰り返し取得するようにしてもよい。この場合、加算パターンＰ_A1、Ｐ_A2、Ｐ_A3、Ｐ_A4、Ｐ_A1、Ｐ_A2・・・、を順次用いて原画像が取得され、画像変換部５７から、加算パターンＰ_A1、Ｐ_A2、Ｐ_A3、Ｐ_A4、Ｐ_A1、Ｐ_A2・・・、の原画像に基づく出力画像が順次出力される。また、第１〜第４の加算パターンから成る加算パターン群として、加算パターンＰ_A1〜Ｐ_A4から成る加算パターン群Ｐ_Aの代わりに、加算パターンＰ_B1〜Ｐ_B4から成る加算パターン群Ｐ_B、加算パターンＰ_C1〜Ｐ_C4から成る加算パターン群Ｐ_C又は加算パターンＰ_D1〜Ｐ_D4から成る加算パターン群Ｐ_Dを用いるようにしてもよい（図３４（ａ）等参照）。

また、映像信号処理部１３ｃに、図１０に示されるフレームメモリ５２、動き検出部５３及びメモリ５４を追加し、第６実施例で述べたように、動き検出部５３の動き検出結果に基づいて、原画像を取得するために用いる加算パターン群を切り換えて使用するようにしてもよい。例えば、第６実施例で述べたように（図４１参照）、加算パターン群Ｐ_Aと加算パターン群Ｐ_Bとの間で用いる加算パターン群を切り換え可能なように撮像装置１を形成しておく。そして、原画像４００〜４０４から色補間画像４１０〜４１４が得られるとした場合、動きベクトルＭ₂₃を含む選択用動きベクトルに基づき、第６実施例で述べた方法に従って、原画像４０４の取得時に用いる加算パターン群を加算パターン群Ｐ_A及びＰ_Bの中から選択するようにしてもよい。

また、第１〜第６実施例を第７実施例のように変形可能なように、第８実施例にて上述した事項を間引き読み出しにも適用することができる。この場合、第８実施例にて上述した説明文中に現れる、加算パターン及び加算パターン群という用語を間引きパターン及び間引きパターンという用語に読み替えればよい。その読み替えに伴って、加算パターン又は加算パターン群に対応する符号も間引きパターン又は間引きパターン群に対応する符号に読み替えればよい（具体的には、Ｐ_A、Ｐ_B、Ｐ_C及びＰ_Dを夫々Ｑ_A、Ｑ_B、Ｑ_C及びＱ_Dに読み替えると共に、Ｐ_A1〜Ｐ_A4、Ｐ_B1〜Ｐ_B4、Ｐ_C1〜Ｐ_C4及びＰ_D1〜Ｐ_D4を、夫々、Ｑ_A1〜Ｑ_A4、Ｑ_B1〜Ｑ_B4、Ｑ_C1〜Ｑ_C4及びＱ_D1〜Ｑ_D4に読み替えればよい）。

但し、第７実施例にても述べたように、間引きパターンＱ_A1〜Ｑ_A4を用いた間引き読み出しによって取得された原画像と、加算パターンＰ_A1〜Ｐ_A4を用いた加算読み出しによって取得された原画像とを対比した場合、両原画像間で、Ｇ、Ｂ及びＲ信号の存在位置の関係は同じであるものの、後者の原画像を基準として、前者の原画像におけるＧ、Ｂ及びＲ信号の存在位置は、右方向にＷｐ分且つ下方向にＷｐ分だけずれている（図４（ａ）、図９（ａ）、図４３（ａ）等参照）。同様のずれが、加算パターン群Ｐ_B−間引きパターン群Ｑ_B間などにも存在する。従って、間引き読み出しを行う場合は、このずれに対応する分だけ、第８実施例にて上述してきた事項を修正して考えればよい。

＜＜変形等＞＞
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態の変形例または注釈事項として、以下に、注釈１〜注釈３を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。

［注釈１］
上述してきた加算パターンは様々に変形可能である。上述の加算読み出し方式では、４個の受光画素信号を加算することによって原画像上の１つの画素信号を形成しているが、４個以外の複数の受光画素信号（例えば、９個又は１６個の受光画素信号）を加算することによって原画像上の１つの画素信号を形成するようにしてもよい。

同様に、上述してきた間引きパターンも様々に変形可能である。上述の間引き読み出し方式では、水平及び垂直方向に２画素ずつ受光画素信号が間引かれるが、間引かれる受光画素信号の個数は２以外であってもよい。例えば、水平及び垂直方向に４画素ずつ受光画素信号を間引くようにしてもよい。

［注釈２］
図１の撮像装置１は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。特に、映像信号処理部（１３、１３ａ、１３ｂ又は１３ｃ）内で実行される処理の全部又は一部を、ソフトウェアを用いて実現することも可能である。勿論、映像信号処理部をハードウェアのみで形成することも可能である。ソフトウェアを用いて撮像装置１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。

［注釈３］
例えば、以下のように考えることができる。図１のＣＰＵ２３は、原画像の取得の際に、どのような加算パターン又は間引きパターンを用いるかを制御し、この制御の下、撮像素子３３から原画像の画素信号となるべき信号が読み出される。従って、原画像を取得する原画像取得手段は、主としてＣＰＵ２３と映像信号処理部１３によって実現されると考えることもでき、この原画像取得手段に、加算読み出し又は間引き読み出しを行う読出手段が内包されていると考えることもできる。尚、加算読み出し方式と間引き読み出し方式を組み合わせた加算/間引き方式は、上述したように、加算読み出し方式又は間引き読み出し方式の一種であるので、加算読み出し方式による加算／間引きパターンは加算パターン又は間引きパターンの一種であると考えることができると共に、加算読み出し方式による受光画素信号の読み出しは加算読み出し又は間引き読み出しの一種であると考えることができる。

本発明の実施形態に係る撮像装置の全体ブロック図である。 図１の撮像素子の有効領域内における受光画素配列を示す図である。 図１の撮像素子に対するカラーフィルタ配列を示す図である。 図１の撮像装置によって撮影された原画像の画素配列を示す図（ａ）と、原画像を含む任意の画像にとっての画像座標面を示す図（ｂ）である。 全画素読み出し方式を用いて得た原画像における画素信号のイメージ図である。 図５の原画像に対して施される色補間処理の概念図（ａ）〜（ｃ）と、図５の原画像に色補間処理を施すことによって得られた色補間画像のイメージ図（ｄ）〜（ｅ）である。 本発明の第１実施例に係り、第１及び第２の加算パターンを用いた場合における信号加算の様子を示す図である。 本発明の第１実施例に係り、第３及び第４の加算パターンを用いた場合における信号加算の様子を示す図である。 本発明の第１実施例に係り、第１〜第４の加算パターンを用いて加算読み出しを行った場合に得られる原画像の画素信号の様子を示す図である。 本発明の第１実施例に係り、図１の映像信号処理部の内部ブロック図を含む、撮像装置の一部ブロック図である。 本発明の第１実施例に係り、複数の画素信号から補間画素位置の画素信号を算出する手法を説明するための図である。 本発明の第１実施例に係り、第１の加算パターンを用いて取得された原画像におけるＧ、Ｂ及びＲ信号が混合される様子を示す図である。 本発明の第１実施例に係り、図１２（ａ）〜（ｃ）に対応する原画像から生成された色補間画像上のＧ、Ｂ及びＲ信号を示す図である。 本発明の第１実施例に係り、第２の加算パターンを用いて取得された原画像におけるＧ、Ｂ及びＲ信号が混合される様子を示す図である。 本発明の第１実施例に係り、図１４（ａ）〜（ｃ）に対応する原画像から生成された色補間画像上のＧ、Ｂ及びＲ信号を示す図である。 本発明の第１実施例に係り、第３の加算パターンを用いて取得された原画像におけるＧ、Ｂ及びＲ信号が混合される様子を示す図である。 本発明の第１実施例に係り、図１６（ａ）〜（ｃ）に対応する原画像から生成された色補間画像上のＧ、Ｂ及びＲ信号を示す図である。 本発明の第１実施例に係り、第４の加算パターンを用いて取得された原画像におけるＧ、Ｂ及びＲ信号が混合される様子を示す図である。 本発明の第１実施例に係り、図１８（ａ）〜（ｃ）に対応する原画像から生成された色補間画像上のＧ、Ｂ及びＲ信号を示す図である。 本発明の第１実施例に係り、図１２（ａ）〜（ｃ）に対応する原画像から生成された色補間画像上のＧ、Ｂ及びＲ信号を示す図である。 本発明の第１実施例に係り、図１４（ａ）〜（ｃ）に対応する原画像から生成された色補間画像上のＧ、Ｂ及びＲ信号を示す図である。 本発明の第１実施例に係り、色補間画像とそれに対応する輝度画像を示す図である。 本発明の第１実施例に係り、出力合成画像上のＧ、Ｂ及びＲ信号を生成するための、色補間画像上のＧ、Ｂ及びＲ信号を示す図である。 本発明の第１実施例に係り、出力合成画像上のＢ及びＲ信号を生成するための、色補間画像上のＢ及びＲ信号を示す図である。 本発明の第１実施例に係り、出力合成画像のＧ、Ｂ及びＲ信号の存在位置を示す図である。 本発明の第２実施例に係り、図１の映像信号処理部の内部ブロック図を含む、撮像装置の一部ブロック図である。 本発明の第２実施例に係り、動きベクトルの大きさと、複数の色補間画像の色信号混合に利用される重み係数との関係例を示す図である。 １枚の画像の全体画像領域が９つの一部画像領域に分割されている様子を示す図（ａ）と、２枚の画像間における動きベクトル群を示す図（ｂ）である。 ２枚の色補間画像と１枚の出力合成画像との関係を示す図である。 本発明の第３実施例に係り、図１の映像信号処理部の内部ブロック図を含む、撮像装置の一部ブロック図である。 本発明の第３実施例に係り、画像のコントラスト量と複数の色補間画像の色信号混合に利用される基準重み値との関係例を示す図（ａ）、及び、動きベクトルの大きさと複数の色補間画像の色信号混合に利用される重み係数との関係例を示す図（ｂ）である。 本発明の第４実施例に係るＭＰＥＧ動画像の構成を示す図である。 本発明の第４実施例に係り、色補間画像列と、出力合成画像列と、総合重み係数列と、の関係を示す図である。 本発明の第５実施例に係り、加算パターン群（Ｐ_B1〜Ｐ_B4）を用いた場合における信号加算の様子を示す図である。 本発明の第５実施例に係り、図３４（ａ）〜（ｄ）の加算パターン群を用いて加算読み出しを行った場合に得られる原画像の画素信号の様子を示す図である。 本発明の第５実施例に係り、加算パターン群（Ｐ_C1〜Ｐ_C4）を用いた場合における信号加算の様子を示す図である。 本発明の第５実施例に係り、図３６（ａ）〜（ｄ）の加算パターン群を用いて加算読み出しを行った場合に得られる原画像の画素信号の様子を示す図である。 本発明の第５実施例に係り、加算パターン群（Ｐ_D1〜Ｐ_D4）を用いた場合における信号加算の様子を示す図である。 本発明の第５実施例に係り、図３８（ａ）〜（ｄ）の加算パターン群を用いて加算読み出しを行った場合に得られる原画像の画素信号の様子を示す図である。 本発明の第６実施例にて定義される右下がり直線と右上がり直線とを示す図である。 本発明の第６実施例に係り、原画像列と、色補間画像列と、動きベクトル列と、各原画像に適用される加算パターン群と、の関係を示す図である。 本発明の第７実施例に係り、間引きパターン群（Ｑ_A1〜Ｑ_A4）を示す図である。 本発明の第７実施例に係り、図４２（ａ）〜（ｄ）の間引きパターン群を用いて間引き読み出しを行った場合に得られる原画像の画素信号の様子を示す図である。 本発明の第７実施例に係り、間引きパターン群（Ｑ_B1〜Ｑ_B4）を示す図である。 本発明の第７実施例に係り、図４４（ａ）〜（ｄ）の間引きパターン群を用いて間引き読み出しを行った場合に得られる原画像の画素信号の様子を示す図である。 本発明の第７実施例に係り、間引きパターン群（Ｑ_C1〜Ｑ_C4）を示す図である。 本発明の第７実施例に係り、図４６（ａ）〜（ｄ）の間引きパターン群を用いて間引き読み出しを行った場合に得られる原画像の画素信号の様子を示す図である。 本発明の第７実施例に係り、間引きパターン群（Ｑ_D1〜Ｑ_D4）を示す図である。 本発明の第７実施例に係り、図４８（ａ）〜（ｄ）の間引きパターン群を用いて間引き読み出しを行った場合に得られる原画像の画素信号の様子を示す図である。 本発明の第７実施例に係り、加算/間引きパターンを用いた時の、信号加算の様子及び信号間引きの様子を示す図である。 本発明の第７実施例に係り、図５０の加算/間引きパターンに従って受光画素信号を読み出した時の、原画像の画素信号の様子を示す図である。 本発明の第８実施例に係り、図１の映像信号処理部の内部ブロック図を含む、撮像装置の一部ブロック図である。 本発明の第８実施例に係り、原画像列と、色補間画像列と、出力画像列と、の関係を示す図である。 従来技術に係り、撮像素子の受光画素信号の加算読み出しを行って得た原画像から出力画像を生成する処理を説明するための図である。

符号の説明

１ 撮像装置
１１ 撮像部
１２ ＡＦＥ
１３、１３ａ、１３ｂ、１３ｃ 映像信号処理部
１６ 圧縮処理部
３３ 撮像素子
５１ 色補間処理部
５２ フレームメモリ
５３ 動き検出部
５４ メモリ
５５、５５ｂ 画像合成部
５６ 信号処理部
５７ 画像変換部
６１、７１ 重み係数算出部
６２、７２ 合成処理部
７０ コントラスト算出部

Claims (12)

1. 単板方式の撮像素子に二次元配列された受光画素群の画素信号の加算読み出し又は間引き読み出しを行う読出手段を有し、加算又は間引きの対象となる受光画素の組み合わせが異なる複数の読み出しパターンを用いることにより、画素信号を有する画素位置が互いに異なる複数の原画像を取得する原画像取得手段と、
   前記原画像ごとに、前記原画像の画素信号群に含まれる同一色の画素信号同士を混合し、その混合によって得られた画素信号を有する補間画像を生成する補間処理手段と、を備え、
   各補間画像の画素信号群は、第１の色を含む複数色の画素信号から成り、
   各補間画像において、前記第１の色の画素信号が存在する画素位置の間隔は不均等である
   ことを特徴とする画像処理装置。
2. 前記補間処理手段は、各原画像から各補間画像を生成する際、前記第１の色の画素信号に関し、画素信号が存在する画素位置の間隔の均等化を介さずに前記補間画像を生成する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記複数の原画像に含まれる着目した１枚の原画像を着目原画像と呼ぶとともに、前記着目原画像から生成される補間画像を着目補間画像と呼び、且つ、前記複数色に含まれる着目色の画素信号を着目色画素信号と呼んだ場合、
   前記補間処理手段は、前記着目原画像の着目色画素信号が存在する画素位置と異なる位置に補間画素位置を設定して、前記補間画素位置に着目色の画素信号を有する画像を前記着目補間画像として生成し、
   前記着目補間画像を生成する際、着目色画素信号が存在する、前記着目原画像上の複数の画素位置に注目して、前記複数の画素位置おける複数の着目色画素信号を混合することにより前記補間画素位置に対する画素信号を生成し、
   前記補間画素位置は、前記複数の画素位置の重心位置に設定される
   ことを特徴とする請求項１又は請求項２に記載の画像処理装置。
4. 前記補間処理手段は、前記複数の着目色画素信号を等比率で混合することによって前記補間画素位置に対する画素信号を生成する
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記補間処理手段により前記複数の原画像から生成された複数の補間画像に基づいて１枚の出力画像を生成する出力画像生成手段を更に備え、
   前記出力画像は、均等配列された画素位置の夫々に複数色分の画素信号を有し、
   前記出力画像生成手段は、前記複数の補間画像間で対応する読み出しパターンが異なることに由来する、前記複数の補間画像間における画素位置の相違に基づいて、前記出力画像の生成を行う
   ことを特徴とする請求項１〜４の何れかに記載の画像処理装置。
6. 前記複数の補間画像間における物体の動きを検出する動き検出手段を更に備え、
   前記出力画像生成手段は、前記画素位置の相違だけでなく前記動きの大きさにも基づいて、前記出力画像の生成を行う
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記複数の補間画像は少なくとも第１及び第２の補間画像を含み、
   前記出力画像生成手段は、前記動き検出手段によって検出された、前記第１の補間画像と前記第２の補間画像との間における物体の動きの大きさに基づいて重み係数を設定する重み係数設定手段を有し、前記重み係数に従って前記第１及び第２の補間画像の画素信号を混合することにより前記出力画像を生成する
   ことを特徴とする請求項６に記載の画像処理装置。
8. 前記複数の読み出しパターンを用いて前記複数の原画像を取得する動作を繰り返し実行することにより、前記出力画像生成手段にて時系列上に並ぶ出力画像列が生成され、
   当該画像処理装置は、
   前記出力画像列に対して画像圧縮処理を施すことにより、フレーム内符号化画像及びフレーム間予測符号化画像を含む圧縮動画像を生成する画像圧縮手段を更に備え、
   前記画像圧縮手段は、前記出力画像列を形成する各出力画像に対応して設定された重み係数に基づいて、前記出力画像列の中から前記フレーム内符号化画像の対象となる出力画像を選択する
   ことを特徴とする請求項７に記載の画像処理装置。
9. 前記補間処理手段により前記複数の原画像から生成された複数の補間画像を動画像として出力する
   ことを特徴とする請求項１〜４の何れかに記載の画像処理装置。
10. 加算又は間引きの対象となる受光画素の組み合わせが異なる複数の読み出しパターンは複数組存在し、
    当該画像処理装置は、
    前記複数の補間画像間における物体の動きを検出する動き検出手段を更に備え、
    検出された動きの向きに基づいて、前記原画像を取得するために用いる読み出しパターンの組を可変設定する
    ことを特徴とする請求項１、２、３、４、５又は９に記載の画像処理装置。
11. 前記複数の読み出しパターン及び前記複数の原画像は、夫々２つの読み出しパターン及び２枚の原画像である、又は、夫々３つの読み出しパターン及び３枚の原画像である
    ことを特徴とする請求項１〜請求項１０の何れかに記載の画像処理装置。
12. 単板方式の撮像素子と、
    請求項１〜１１の何れかに記載の画像処理装置と、を備えた
    ことを特徴とする撮像装置。

Images