JP3497363B2

JP3497363B2 - 画像合成処理方法、画像合成処理回路、及びカラー撮像装置

Info

Publication number: JP3497363B2
Application number: JP33617697A
Authority: JP
Inventors: 栄二山田; 正幸野村; 一人西田
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1997-12-05
Filing date: 1997-12-05
Publication date: 2004-02-16
Anticipated expiration: 2017-12-05
Also published as: JPH11168744A

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、単一の撮像素子を
用いて、カラー画像を得ることができるカラー撮像装置
に関するものである。

【０００２】

【従来の技術】単一の撮像素子を用いてカラー画像を撮
像する単板式のカラー撮像装置が、動画像および静止画
像の撮像に用いられているが、このような単板式のカラ
ー撮像装置では、撮像素子の受光領域の数が少ないと、
画像の解像度が低下するといった問題がある。

【０００３】そこで従来より、画像の解像度を向上させ
るための技術が種々開発されており、本願出願人も、先
に、特願平８−２７１１６９号において、以下に記載す
るようなカラー撮像装置を提案している。

【０００４】該カラー撮像装置では、撮像素子の受光領
域の入射側に予め定める３色の色光だけを通過させる色
フィルタが設置されている。この色フィルタでは、３色
のうちの何れか１つの色光を通過させる透光領域だけが
市松状に配列されている。

【０００５】図２５に、撮像素子の光入射側に配される
色フィルタの透光領域Ｌの配列を示す。色フィルタは、
撮像素子の受光領域と同数の透光領域を有する。透光領
域の配列は受光領域の配列と等価であり、水平方向Ｈお
よび垂直方向Ｖに沿って、それぞれ周期ＰＨ，ＰＶで、
行列状に配列されている。図において、実線で囲まれた
矩形領域が各透光領域Ｌを示す。また矩形領域内に描か
れる記号「Ｒ」，「Ｇ」，「Ｂ」は、その透光領域を通
過可能な色彩光の色が、赤、緑、青であることをそれぞ
れ示す。各色彩光の透光領域Ｌの色配列は、２点鎖線で
囲む２行２列の４つの透光領域Ｌの配列を基本配列パタ
ーンとする周期的な配列である。

【０００６】この撮像素子において、画像光に対する水
平方向Ｈのサンプリング周波数ｆＨは、水平方向Ｈの配
列周期ＰＨの逆数であり、同様に、垂直方向Ｖのサンプ
リング周波数ｆＶは、垂直方向Ｖの配列周期ＰＶの逆数
である。サンプリング周波数ｆＨは（１）式で、サンプ
リング周波数ｆＶは（２）式で示される。

【０００７】

【数１】

【０００８】このカラー撮像装置は、通常モードと高解
像度モードとの２つの撮影モードを有する。通常モード
では、１枚の原画像信号から生成される通常出力画像を
得る。高解像度モードでは、イメージシフト動作を行
い、２回分の撮像で得られた原画像を合成して、高解像
度出力画像を得る。

【０００９】高解像度モードにて実施されるイメージシ
フト動作では、撮像素子の空間サンプリング位置を、水
平方向Ｈに画素ピッチの長さＰＨだけ変位させる。撮像
素子に画像光が結像する結像位置は、変位する前の第１
結像位置と変位した後の第２結像位置がある。

【００１０】図２６に、第１および第２結像位置の位置
関係を示す。第１結像位置Ｑ₁を基準にすると、第２結
像位置Ｑ₂は第１結像位置Ｑ₁から水平方向Ｈにシフト
長さＰＨだけ移動した位置である。

【００１１】カラー撮像装置は、この第１結像位置Ｑ₁
および第２結像位置Ｑ₂のそれぞれにおいて、撮像素子
に結像した第１原画像および第２原画像を撮像する。撮
像された２枚の原画像信号は、それぞれ画像メモリにス
トアされる。次いでこの２回分の撮像で得られた原画像
を合成して、高解像度出力画像を生成する。

【００１２】この合成画像信号は、原画像信号と比較し
て、基底帯域の大きさは変化しないが、赤および青色フ
ィルタに対応する画素配列のイメージシフト方向に対応
する配列周期が半分になる。これによって、原画像信号
でイメージシフト方向に対応する空間周波数軸上に現れ
るモアレが合成画像信号ではすべて消滅する。したがっ
て、光学的ローパスフィルタで画像光の周波数成分を制
限する必要がなく、基底帯域の実質の幅が拡大する。

【００１３】図２７の空間周波数平面図に、通常モード
の、原画像信号の輝度の基底帯域および色差信号のモア
レのキャリア周波数を示す。輝度の基底帯域を、図２７
では斜線を付して示す。また、輝度の基底帯域内におい
て、色差信号のモアレのキャリア周波数の存在する位置
を○印で表す。

【００１４】また、図２８の空間周波数平面図に、高解
像度モードの、高解像度出力画像の基底帯域および色差
信号のモアレのキャリア周波数を示す。２回分の撮像で
得られた原画像を合成することによって、色差信号のモ
アレのキャリア周波数のうち、水平空間周波数がｆＨ／
２または−ｆＨ／２であるモアレ、つまり、（ｆＨ／
２，０）、（ｆＨ／２，ｆＶ／２）、（−ｆＨ／２，
０）、（−ｆＨ／２，ｆＶ／２）の４箇所が消滅する。
したがって、輝度の基底帯域内に存在する色差信号のモ
アレのキャリア周波数は、（０，ｆＶ／２）の１箇所の
みとなる（図中、○印付記）。

【００１５】また、上記のカラー撮像装置においては、
撮影モードの切り替えに同期して、カラー撮像装置内に
設けられた可変空間フィルタも切り替えられる。この可
変空間フィルタは、複屈折板などによって構成されてい
る。

【００１６】可変空間フィルタは、通常モードにおいて
は、第１状態に切り替えられ、図２７に示した基底帯域
の境界線近傍の空間周波数成分を減衰させるように定め
られる。

【００１７】また、高解像度モードにおいては、第２状
態に切り替えられ、空間周波数ｆＶ／２近傍の空間周波
数成分を減衰させるように定められる。図２８にて示せ
ば、水平方向の空間周波数軸（水平軸）に平行で、
（０，ｆＶ／２）を通る直線近傍の空間周波数成分を減
衰させる。

【００１８】このように、可変空間フィルタによって、
画像に生じるモアレによる画質の劣化するのを防ぐこと
ができる。

【００１９】通常モードと高解像度モードの各出力画像
信号を比較すると、基底帯域の形状や大きさは変化しな
い。しかしながら、高解像度モード時の高解像度出力画
像は、水平空間周波数がｆＨ／２または−ｆＨ／２（上
述の４箇所）のモアレが消滅し、また可変空間フィルタ
による±ｆＨ／２近傍の空間周波数成分の減衰も無いた
め、基底帯域の水平方向の実質の幅が拡大し、水平解像
度が向上する。

【００２０】一方、垂直方向の空間周波数軸上のモアレ
は、通常モードと高解像度モードともに存在し、可変空
間フィルタによるｆＶ／２近傍の空間周波数成分の減衰
もあるため、基底帯域の垂直方向の実質の幅は変わら
ず、垂直解像度もほとんど変わらない。

【００２１】つまり、上記のカラー撮像装置では、イメ
ージシフト動作を行うことにより、水平解像度の向上を
実現できる。

【００２２】

【発明が解決しようとする課題】上述したように、本願
出願人が先に提案しているカラー撮像装置では、水平解
像度の向上を図ることができたが、垂直解像度を向上さ
せることはできない。また、可変空間フィルタを実現す
るための可変機構が設ける必要がある。この可変機構を
設けるためには、部品点数が多いので、製造コストが増
大し、小型化を阻害する。

【００２３】また、通常モードと高解像度モードとを切
り替え時には、可変機構を動作させて可変空間フィルタ
を切り替える必要があるため、切り替えるのに時間を要
し、すばやく切り替えることができない。また、切り替
えるごとに可変機構を動作させるため、耐久性にも問題
がある。

【００２４】また、通常モード時には１枚分の画像メモ
リの容量が必要であるのに対して高解像度モード時にお
いては、画像メモリに２枚の原画像信号をストアするだ
けの容量が必要であり、製造コストをさらに増大させ
る。

【００２５】本発明の第１の目的は、今までにないデー
タ補間処理方法を採用することで、単板式のカラー撮像
装置において、水平解像度だけでなく垂直解像度の向上
を得ることができ、また、通常モードと高解像度モード
との２つの撮像モードを有する構成とした場合でも、可
変空間フィルタを必要としないカラー撮像装置を提供す
ることである。

【００２６】また、第２の目的は、今までにないデータ
補間方法を採用することで、単板式のカラー撮像装置に
おいて、水平解像度だけでなく垂直解像度の向上を得る
ことができ、かつ、通常モードと高解像度モードとの２
つの撮像モードを有する構成とした場合、可変空間フィ
ルタは必要であるものの、高解像度モードの画質が各段
に向上したカラー撮像装置を提供することである。

【００２７】そして、第３の目的は、イメージシフト動
作を行うにもかかわらず、画像メモリも１枚の原画像信
号分だけで良い構成として、安価で小型のカラー撮像装
置を提供することである。

【００２８】

【課題を解決するための手段】本発明の画像合成処理方
法は、上記の課題を解決するために、撮像素子の結像面
における結像位置を移動させるイメージシフト動作にて
得た結像位置が１画素だけ異なる２枚の撮像画像を、結
像位置の離反量だけ位置の移動方向とは逆方向にずらし
て重ね合わせて合成画像を得る画像合成処理方法におい
て、異なる結像位置で撮像された２枚の画像を重ね合わ
せて得た、局所的な領域にて相関のある、第１の色フィ
ルタの受光データ群と、第２の色フィルタの受光データ
群との間で、第１の色フィルタの受光データ群の欠落し
たデータを、該欠落データと同じ位置にある第２の色フ
ィルタのデータ群のデータに、第１の色フィルタのデー
タ群をローパスフィルタ処理した値を加算し、さらに第
２の色フィルタのデータ群をローパスフィルタ処理した
値を引くことにより求めることを特徴としている。

【００２９】本発明の画像合成処理回路は、上記の課題
を解決するために、撮像素子の結像面における結像位置
を移動させるイメージシフト動作にて得た結像位置が１
画素だけ異なる２枚の撮像画像を結像位置の離反量だけ
位置の移動方向とは逆方向にずらして重ね合わせて合成
画像を生成する画像合成処理回路において、複数のデー
タ群からなるデータ系列の欠落したデータを補間するデ
ータ補間処理回路が備えられており、該データ補間処理
回路は、欠落データを有する第１のデータ系列のデータ
群をローパスフィルタ処理する第１のローパスフィルタ
処理手段と、上記の第１のデータ系列と局所的な領域に
おいて相関のある第２のデータ系列のデータ群をローパ
スフィルタ処理する第２のローパスフィルタ処理手段
と、第１のデータ系列における欠落したデータと同じ位
置にある第２のデータ系列のデータに、第１のデータ系
列のデータ群のローパスフィルタ処理した値を加算する
加算手段と、該加算手段の計算値から、第２のデータ系
列のデータ群をローパスフィルタ処理した値を減算する
減算手段とを備え、上記の第１および第２のデータ系列
が、異なる色フィルタ配列により受光された２種類の受
光データ群であって、異なる結像位置において撮像され
た２枚の画像を重ね合わせて得た、第１の色フィルタの
受光データ群と、第２の色フィルタの受光データ群とで
あることを特徴としている。

【００３０】本発明のカラー撮像装置は、上記課題を解
決するために、撮像素子の結像面における結像位置を移
動させるイメージシフト動作を実施して、結像位置が１
画素だけ異なる２枚の撮像画像を得て、画像合成処理回
路にて、これら２枚の撮像画像を結像位置の離反量だけ
位置の移動方向とは逆方向にずらして重ね合わせて合成
画像を生成するカラー撮像装置において、上記画像合成
処理回路に、複数のデータ群からなるデータ系列の欠落
したデータを補間するデータ補間処理回路が備えられて
おり、該データ補間処理回路は、欠落データを有する第
１のデータ系列のデータ群をローパスフィルタ処理する
第１のローパスフィルタ処理手段と、上記の第１のデー
タ系列と局所的な領域において相関のある第２のデータ
系列のデータ群をローパスフィルタ処理する第２のロー
パスフィルタ処理手段と、第１のデータ系列における欠
落したデータと同じ位置にある第２のデータ系列のデー
タに、第１のデータ系列のデータ群のローパスフィルタ
処理した値を加算する加算手段と、該加算手段の計算値
から、第２のデータ系列のデータ群をローパスフィルタ
処理した値を減算する減算手段とを備え、上記の第１お
よび第２のデータ系列が、異なる色フィルタ配列により
受光された２種類の受光データ群であって、異なる結像
位置において撮像された２枚の画像を重ね合わせて得
た、第１の色フィルタの受光データ群と、第２の色フィ
ルタの受光データ群とであることを特徴としている。

【００３１】上記構成では、単板式のカラー撮像装置に
適用することで、イメージシフト動作により得られた画
像を重ね合わせて合成画像とする際に、色モアレのない
高解像度画像を生成することが可能となる。上記した欠
落したデータの補間処理を、例えば、前述の従来技術の
項で述べた、本願出願人が先に提案しているカラー撮像
装置における、高解像度モード時の画像を合成する処理
に供することで、図２８の空間周波数平面図に○印を付
した、基底帯域内に存在するキャリア周波数（０，ｆＶ
／２）の色差信号のモアレを消滅させることが可能とな
る。詳細については、以降の各請求項の説明と共に述べ
る。

【００３２】本発明の画像合成処理方法は、さらに、上
記のローパスフィルタ処理が、第１の色フィルタの受光
データ群の場合は求めるべきデータの位置に隣接する２
つのデータの平均をとり、第２の色フィルタの受光デー
タ群の場合は求めるべきデータと同じ位置に隣接する２
つのデータの平均をとることを特徴としている。

【００３３】本発明の画像合成処理回路は、さらに、上
記の第１ローパスフィルタ処理手段は、求めるべきデー
タの位置に隣接する２つのデータの平均をとることでロ
ーパスフィルタ処理を実施し、上記の第２ローパスフィ
ルタ処理手段は、求めるべきデータと同じ位置に隣接す
る２つのデータの平均をとることでローパスフィルタ処
理を実施することを特徴としている。

【００３４】本発明のカラー撮像装置は、さらに上記の
第１ローパスフィルタ処理手段は、求めるべきデータの
位置に隣接する２つのデータの平均をとることでローパ
スフィルタ処理を実施し、上記の第２ローパスフィルタ
処理手段は、求めるべきデータと同じ位置に隣接する２
つのデータの平均をとることでローパスフィルタ処理を
実施することを特徴としている。

【００３５】上記構成では、求めるべきデータの位置、
或いは該データと同じ位置に隣接する２つのデータの平
均をとってローパスフィルタ処理を行うようになってい
る。上記ローパスフィルタ処理としては、隣接する４つ
のデータから計算する方法もあるが、このような方法に
比べ、２つのデータの平均をとる方法の場合、計算に用
いるデータ数が少ないので、処理速度が速く、回路規模
が小さいといった利点がある。

【００３６】本発明の画像合成処理方法は、さらに、ま
ずは１枚目に撮像された画像を上書き可能な画像メモリ
に蓄積し、その後の２枚目以降は、画像を撮像するたび
に、画像メモリに蓄積された画像と、撮像された画像と
を合成処理し、該合成処理した画像を再び画像メモリに
上書きして蓄積する工程を繰り返すことを特徴としてい
る。

【００３７】本発明の画像合成処理回路は、さらに、１
枚目に撮像された画像を上書き可能な画像メモリに蓄積
する手段と、２枚目以降の撮像が行われるたびに、上記
画像メモリに蓄積された画像を読み出して撮像された画
像とを合成処理し、該合成処理した画像を再び上記画像
メモリに上書きする手段とを備えていることを特徴とし
ている。

【００３８】本発明のカラー撮像装置は、さらに、上記
画像合成処理回路が、１枚目に撮像された画像を上書き
可能な画像メモリに蓄積する手段と、２枚目以降の撮像
が行われるたびに、上記画像メモリに蓄積された画像を
読み出して撮像された画像とを合成処理し、該合成処理
した画像を再び上記画像メモリに上書きする手段とを備
えていることを特徴としている。

【００３９】上記構成によれば、画像を合成する際、画
像メモリに蓄積された合成するべき１つの画像（以下、
合成画像と区別して原画像と称する）を出力しながら、
合成後の高解像度出力画像を上書きしていく。すなわ
ち、出力されていく原画像の書き込み領域から、順次高
解像度出力画像を上書きしていく。したがって、原画像
をすべて出力し終える時点で、画像メモリには、高解像
度出力画像の蓄積が完了することになるので、画像メモ
リの容量は、原画像もしくは高解像度出力画像の１枚分
だけでよく、２枚分の容量を必要としない。

【００４０】したがって、例えばこのような画像合成処
理回路を備えたカラー撮像装置では、画像メモリの容量
が少なくて済み、コスト削減が図れる。

【００４１】本発明の別のカラー撮像装置は、複数の色
彩光にそれぞれ対応し、入射される被写体からの画像光
のうちの対応する色彩光だけを個別的に通過させる複数
の透光領域を有し、該透光領域が２次元平面上に配列さ
れた色フィルタであって、透光領域は、第１〜第３の色
彩光を通過させる第１〜第３透光領域に区分され、第１
および第２透光領域が一方方向に沿って第１周期で直線
状に配列された第１群と、第１および第３透光領域が一
方方向に沿って第１周期で直線上に配列された第２群と
が、一方方向と直交する他方方向に沿って第２周期で交
互に、かつ、第１群の第１透光領域に第３透光領域が他
方方向の両側に隣接するように配列された色フィルタ
と、上記色フィルタの透光領域に個別的に対応した受光
領域が、透光領域の配列と同等の配列で２次元平面上に
配列され、各受光領域では対応した透光領域を通過した
色彩光だけを受光し、各受光領域の受光量を示す画素デ
ータから構成される画像信号を出力する撮像素子と、上
記撮像素子に入射される画像光の結像位置を、基準位置
である第１移動位置と、第１移動位置から一方方向に第
１周期の長さだけ相互にずれた第２移動位置に相対的に
移動させる移動手段と、上記撮像素子から出力された２
つの画像信号を撮像時の結像位置の離反量だけ位置の移
動方向とは逆方向にずらして重ね合わせて、撮像素子か
らは得られなかった第２または第３色彩光に対応する画
素データを求めて合成画像信号を生成する画像合成手段
と、撮影が開始されると、移動手段によって画像光の結
像位置を第１および第２移動位置のいずれか一方位置に
移動させ、該移動位置において撮像素子に画像光を撮像
させて画像信号を画像合成手段に与え、次いで移動手段
によって結像位置をいずれか他方位置に移動させ、該移
動位置において撮像素子に画像光を撮像させて画像信号
を画像合成手段に与える制御手段とを備え、かつ、上記
画像合成手段が、撮像素子からは得られなかった第２ま
たは第３の色彩光に対応する画素データを、該画素デー
タと同じ位置にある第１色彩光に対応する画素データ
に、該画素データと同じ位置を通る一方方向に沿って配
列された第２または第３色彩光に対応する画素データ群
をローパスフィルタ処理した値を加算し、さらに該画素
データと同じ位置を通る一方方向に沿って配列された第
１色彩光に対応する画素データ群をローパスフィルタ処
理した値を引くことにより求めることを特徴としてい
る。

【００４２】本発明の上記別のカラー撮像装置は、さら
に、第１回目に撮像された画像信号を蓄積し、第２回目
の撮像に同期して蓄積した画像信号を出力し、出力した
領域に画像合成手段から出力された合成画像信号を上書
きして蓄積する画像メモリをさらに備えたことを特徴と
している。

【００４３】本発明の上記別のカラー撮像装置は、さら
に、上記画像合成手段が、第１色彩光に対応する画素デ
ータ群をローパスフィルタ処理する際は、求めるべき画
素データの位置に隣接する２つの画素データの平均をと
ることで処理を実施し、第２および第３色彩光に対応す
る画素データ群のローパスフィルタ処理する際は、求め
るべき画素データと同じ位置に隣接する２つの画素デー
タの平均をとることで処理を実施することを特徴として
いる。

【００４４】該カラー撮像装置に入射された被写体から
の画像光は、上述の色フィルタを通過した後に撮像素子
に入射される。ここで画像光は、色フィルタを通過する
ことで、第１〜第３色彩光に色分離される。色フィルタ
の第１〜第３透光領域の配列は、いわゆるベイヤー配列
と称される配列パターンである。

【００４５】この色フィルタを通過した画像光は、撮像
素子の結像面に結像される。上述した画像光は、透光領
域の配列方向である一方および他方方向に平行な空間軸
上で連続的に輝度変化する。撮像素子は、空間軸に平行
に配列される複数の受光領域でこの画像光の各色彩光成
分を受光する。故に、画像光は連続的な画像光を受光領
域単位で平滑化した画像となる。これは、輝度が連続し
て変化する画像光を受光領域単位でサンプリングしたこ
とと等価である。前述の色フィルタと撮像素子とは一体
的に形成されることが望ましい。

【００４６】移動手段は、入射された画像光の結像面で
受光位置を予め定める第１及び第２の位置に移動させる
イメージシフト動作を実施するものである。撮像素子
は、移動手段によって結像位置が移動される毎に、画像
光を撮像して原画像信号を出力する。これによって、撮
像素子は、結像位置の異なる２つの原画像信号を出力す
ることとなる。

【００４７】画像合成手段は、これら２つの原画像信号
から、合成画像を表す合成画像信号を生成する。ここ
で、画像合成手段は、撮像素子からは得られなかった第
２または第３の色彩光に対応する画素データを、該画素
データと同じ位置にある第１色彩光に対応する画素デー
タに、該画素データと同じ位置を通る一方方向に沿って
配列された第２または第３色彩光に対応する画素データ
群をローパスフィルタ処理した値を加算し、さらに該画
素データと同じ位置を通る一方方向に沿って配列された
第１色彩光に対応する画素データ群をローパスフィルタ
処理した値を引くことにより求める。これにより、基底
帯域内に存在するキャリア周波数（０，ｆＶ／２）の色
差信号のモアレを消滅させることが可能となる。したが
って、合成画像信号の基底帯域の水平方向の実質の幅が
拡大すると共に、垂直方向の実質の幅が拡大する。

【００４８】したがって、このような単板式のカラー撮
像装置においては、水平解像度だけでなく垂直解像度の
向上を得ることができる。

【００４９】本発明の上記別のカラー撮像装置は、さら
に、上記移動手段における結像位置の移動を許容または
禁止する移動判定手段と、撮像素子に入射される画像
光の空間周波数成分を減衰させる固定空間フィルタをさ
らに含む構成である。

【００５０】この構成によれば、２つのモードを有し、
一方モードでは１枚の原画像信号から生成された通常出
力画像信号を出力し、他方モードでは２枚の原画像信号
から合成画像信号を生成して出力する構成である。合成
画像信号を生成する他方モードでは、モアレが発生しな
いので、このモアレを目立たなくするための光学的ロー
パスフィルタである空間フィルタを設ける必要がない。

【００５１】したがって、空間フィルタは、原画像信号
をそのまま出力する一方モードでのモアレを目立たなく
するものだけでよく、また、一方モードに適合させた空
間フィルタでよく、他方モードではその空間フィルタを
そのまま適用することができ、可変機構を必要としない
固定のものでよい。その結果、安価で小型のカラー撮像
装置を実現できる。

【００５２】本発明の上記別のカラー撮像装置は、さら
に、上記移動手段における結像位置の移動を許容または
禁止する移動判定手段と、撮像素子に入射される画像光
の空間周波数成分を減衰させる可変空間フィルタであっ
て、撮像位置の移動が禁止されるときに空間周波数成分
を第１の減衰量だけ減衰させ、許容されるときは画像光
の光路から除去される可変空間フィルタをさらに含む構
成である。

【００５３】上述した構成のように、可変機構を必要と
しない固定空間フィルタの場合、安価で小型のカラー撮
像装置を実現できるといった利点を有する。しかしなが
ら、固定空間フィルタが配設されたままであると、合成
画像信号を出力するモードで、固定空間フィルタによる
空間周波数成分が低下するため、合成画像信号の高周波
数成分のゲインが小さくなるといった不具合を生じる。
そこで、合成画像信号を出力するモードでは、空間フィ
ルタが光路から抜脱される可変空間フィルタの構成とし
ている。これにより、合成画像信号を出力するモードで
の画像がより高画質になる。

【００５４】本発明の上記別のカラー撮像装置は、さら
に、上記画像合成手段が、画像メモリから出力された画
像信号と撮像素子から出力された画像信号とを重ね合わ
せた後に、３種類の色彩光に対応するそれぞれの画素デ
ータごとに、２回の撮像間の光量差に基づいて発生する
空間周波数成分を取り除く、ローパスフィルタからなる
光量差補正手段を有することを特徴としている。

【００５５】これによれば、光量差補正手段が、画像メ
モリから出力された画像信号と撮像素子から出力された
画像信号とを重ね合わせた後に、３種類の色彩光に対応
するそれぞれの画素データごとに、２回の撮像間の光量
差に基づいて発生する空間周波数成分を取り除くように
なっている。したがって、２枚の原画像間に光量差が生
じる場合でも、１枚の画像メモリしかないカラー撮像装
置においても、ローパスフィルタを施すことにより光量
差を補正することができる。

【００５６】

【発明の実施の形態】本発明に係る実施の形態を、図１
〜図２４に基づいて説明すれば、以下の通りである。

【００５７】第１実施形態のカラー撮像装置は、いわゆ
る単板式のカラー撮像装置である。本カラー撮像装置
は、通常モードと高解像度モードとの２つの撮影モード
を有している。通常モードでは、後述する撮像素子の受
光領域の数と同数の画素から成る通常出力画像を得る。
高解像度モードでは、後述するイメージシフト動作を行
い、撮像素子の受光領域と同数の画素から成る高解像度
出力画像を得る。高解像度出力画像信号は、撮像素子で
撮像される２つの原画像信号を合成して得られる。

【００５８】まず、図２を基にして、本カラー撮像装置
の構成を簡単に説明する。図２は、本カラー撮像装置の
構成を示すブロック図である。

【００５９】被写体からの画像光（図２では光軸１４を
記載）は、光学系１に含まれる複数枚のレンズからなる
レンズ群にて結像された後、色フィルタ１５を通過し
て、撮像素子２の結像面上に結像される。この撮像素子
２の結像面には、複数の受光領域が後述する予め定める
配列で並べられている。

【００６０】上記光学系１には、上述のレンズ群の他に
イメージシフト機構、および空間フィルタも含まれてい
る。イメージシフト機構（移動手段）は、詳細には後述
するが、屈折板を有しており、通常モード選択時、撮像
素子２の結像面上の画像光の結像位置を第１結像位置に
固定させる。一方、イメージシフト機構は、高解像度モ
ード選択時、予め定める時間毎に、結像面上の画像光の
結像位置を第１および第２結像位置にそれぞれシフト移
動させる。以後、このシフト移動させる動作をイメージ
シフト動作と称する。空間フィルタは、いわゆる光学的
ローパスフィルタであり、画像光の空間周波数成分を制
限するためのものである。空間フィルタの詳細な説明も
後述する。

【００６１】上記撮像素子２は、いわゆる全画素読み出
し型の撮像素子であり、その結像面には、図３に示すよ
うに、複数の受光領域ＰＤが、水平方向Ｈおよび該水平
方向Ｈと直交する垂直方向Ｖに沿って、予め定める配列
周期ＰＨ，ＰＶの間隔で２次元行列的に並べられてい
る。

【００６２】この撮像素子２において、画像光に対する
水平方向Ｈのサンプリング周波数ｆＨは、水平方向Ｈの
配列周期ＰＨの逆数であり、同様に垂直方向Ｖのサンプ
リング周波数ｆＶは、垂直方向Ｖの配列周期ＰＶの逆数
である。サンプリング周波数ｆＨは（３）式で、サンプ
リング周波数ｆＶは（４）式で示される。

【００６３】

【数２】

【００６４】なお、これ以後、水平方向Ｈに沿って直線
上に並べられる１群の構成要素を「行」と称し、垂直方
向Ｖに沿って直線上に並べられる１群の構成要素を
「列」と称する。

【００６５】また、上記撮像素子２は、予め定める露光
時間だけ、各受光領域ＰＤに画像光の色彩光を受光させ
ることによって、画像光を撮像する。露光時間が経過す
ると、予め定める時間毎に、各受光領域ＰＤからの受光
データを第１または第２原画像信号として、後述する前
処理回路３に導出する。

【００６６】上記第１および第２原画像信号は、それぞ
れ画像光が、前述した第１結像位置と第２結像位置とに
結像されたときに、画像光を撮像して得られる画像信号
である。各画像信号は、各受光領域ＰＤでの色彩光の受
光量に対応する受光データからそれぞれ構成され、撮像
素子２から出力された段階では、各受光データは受光量
に対応するレベルのアナログ信号である。

【００６７】図４に、２つの撮像位置である第１結像位
置と第２結像位置との関係を示す。第１結像位置Ｑａを
基準にすると、第２結像位置Ｑｂは第１結像位置Ｑａか
ら水平方向Ｈにシフト長さＰＨだけ移動した位置とな
る。つまり、光学系１のイメージシフト機構は、撮像素
子２の空間サンプリング位置を、水平方向Ｈに画素ピッ
チの長さＰＨだけ変位させるようになっている。

【００６８】色フィルタ１５は、撮像素子２の光入射側
に配置され、例えば撮像素子２と一体的に形成される。
色フィルタ１５は、図５に示すように、撮像素子２の各
受光領域ＰＤに個別に対応して予め定める色彩光だけを
通過させる透光領域Ｌを受光領域と同数だけ有してい
る。透光領域Ｌは、受光領域ＰＤの配列と等しい配列
で、２次元平面上に並べられている。つまり、色フィル
タ１５を通過することで、撮像素子２の各受光領域ＰＤ
には、予め定める色彩光だけが入射することになる。

【００６９】ここで予め定める色彩光は「赤」「緑」
「青」の３色で、図５において透光領域ＬにおけるＲが
赤色光透過フィルタ（以下、Ｒフィルタ）、Ｇが緑色光
透過フィルタ（以下、Ｇフィルタ）、Ｂが青色光透過フ
ィルタ（以下、Ｂフィルタ）である。また、Ｒフィルタ
と同じ行のＧフィルタをＧ１フィルタ、Ｂフィルタと同
じ行上のＧフィルタをＧ２として、区別して称するもの
とする。各色彩光の透光領域Ｌの色配列は、２点鎖線で
囲む２行２列の４つの透光領域Ｌの配列を基本配列パタ
ーンとする周期的な配列である。一般に、このような色
フィルタ１５の配列は、ベイヤー配列と呼ばれている。

【００７０】再び図２に戻り、図２に示す前処理回路３
は、撮像素子２から出力された各原画像信号を増幅した
後、該信号に例えばホワイトバランス補正およびガンマ
補正等の予め定める処理を施す。前処理回路３において
処理された原画像信号は、Ａ／Ｄ変換回路４でデジタル
信号に変換された後、信号処理回路６、合成処理回路１
２、スイッチ１３にそれぞれ導出される。

【００７１】信号処理回路６は、通常モードにおいて動
作し、単一の原画像信号から、通常出力画像の通常出力
画像信号を生成する。合成処理回路１２は、高解像度モ
ードにおいて動作し、高解像度出力画像の高解像度出力
画像信号を生成する。これら信号処理回路６および合成
処理回路１２の処理の詳細はそれぞれ後述する。

【００７２】スイッチ１３は、３入力１出力の選択スイ
ッチであり、後述するように、同期信号発生回路９から
の同期信号により、３入力のうちの何れかを選択して出
力する。

【００７３】前述した通常モードおよび高解像度モード
は、例えば装置本体に備えられる操作ボタンをカラー撮
像装置の使用者が操作することによって選択される。モ
ード切り替え回路１１は、使用者の選択に応じて、選択
されたモードに対応する出力を、同期信号発生回路９に
与えるものである。

【００７４】同期信号発生回路９は、通常モードが選択
されたとき、単一の原画像信号の撮像動作に対応する同
期信号を発生させる一方、高解像度モードが選択された
とき、２つの原画像信号の撮像動作に対応する同期信号
を発生させる。そして、発生された同期信号は、駆動回
路８、メモリ制御回路１０、ならびに前述のスイッチ１
３に与えられる。

【００７５】同期信号発生回路９より、単一の原画像信
号の撮像動作に対応する同期信号が発生すると、スイッ
チ１３は、信号処理回路６からの出力を選択する。ま
た、駆動回路８は、まず、光学系１のイメージシフト機
構を前述の第１結像位置に固定し、次いで、同期信号に
応答し、撮像素子２の各受光領域ＰＤから受光データを
前処理回路３に出力させる。同時に、メモリ制御回路１
０は、同期信号に応答し、前処理回路３、Ａ／Ｄ変換回
路４、信号処理回路６、スイッチ１３を介した受光デー
タを単一の通常出力画像信号毎に、画像メモリ５にスト
アさせる。

【００７６】一方、同期信号発生回路９より、２つの原
画像信号の撮像動作に対応する同期信号が発生すると、
駆動回路８は、光学系１内のイメージシフト機構を用い
てイメージシフト動作を行う。これによって、撮像素子
２では、各受光領域が受光する色彩光が、被写体の像の
中で移動前の色彩光とずれる。

【００７７】高解像度モードによる撮像動作は、まず、
光学系１のイメージシフト機構を第１結像位置に固定す
る。次いで、第１同期信号に応答し、撮像素子２の各受
光領域ＰＤから受光データを前処理回路３に出力させ
る。スイッチ１３は、同期信号に応じて、Ａ／Ｄ変換回
路４からの信号を選択する。受光データは、前処理回路
３により、ホワイトバランス処理、ガンマ補正などの処
理を施された後、Ａ／Ｄ変換回路４およびスイッチ１３
を介して、画像メモリ５に導出される。画像メモリ５
は、受光データを第１原画像信号としてストアする。

【００７８】次いで、同期信号発生回路９からの第２同
期信号に応じて、駆動回路８は、光学系１内のイメージ
シフト機構を駆動して、イメージシフト機構を予め定め
る第２結像位置に固定する。また、スイッチ１３は、合
成処理回路１２からの信号を選択する。また、画像メモ
リ５は、先程ストアした第１原画像信号を出力する。こ
の第１原画像信号は、合成処理回路１２に導出される。
同期信号に応じて、撮像素子２の各受光領域ＰＤから受
光データは、前処理回路３、Ａ／Ｄ変換回路４に導出さ
れる。この受光データは、第２原画像信号として合成処
理回路（画像合成手段）１２に導出される。

【００７９】合成処理回路１２は、画像メモリ５から第
１原画像信号を入力し、Ａ／Ｄ変換回路４から第２原画
像信号を入力する。これら２枚の原画像信号を合成処理
し、高解像度である高解像度出力画像を生成し、画像メ
モリ５へ再びストアする。

【００８０】ここで、画像メモリ５は、ストアされた第
１原画像信号を出力しながら、高解像度出力画像を入力
している。すなわち、出力されていく第１原画像信号の
領域から、順次高解像度出力画像を上書きしていく。し
たがって、第１原画像信号をすべて出力し終える時点
で、画像メモリ５には、高解像度出力画像のストアが完
了することになる。このような画像メモリ５のストア方
法により、画像メモリ５の容量は、原画像信号もしくは
高解像度出力画像の１枚分だけでよく、２枚分の容量を
必要としない。

【００８１】画像メモリ５にストアされた通常出力画像
信号、高解像度出力画像信号は何れも、最終的に、記録
媒体７にストアされる。

【００８２】なお、本発明の移動手段は、後述するイメ
ージシフト機構と駆動回路８にて構成され、移動判定手
段は、上記したモード切り替え回路１１、メモリ制御回
路１０、同期信号発生回路９、駆動回路８にて構成され
る。また、本発明の画像合成処理回路は、合成処理回路
１２と、スイッチ１３、メモリ制御回路１０から構成さ
れる。また、図２では特には図示していないが、各部を
制御する制御手段としてのＣＰＵ等からなる制御系が備
えられている。

【００８３】次に、図６ないし図１３を用いて、光学系
１に含まれる前述したイメージシフト機構、および固定
光学フィルタについて詳細に説明する。

【００８４】図６に、光学系１におけるレンズ群２１、
イメージシフト機構２２の屈折板２３、および撮像素子
２の位置関係を示す。レンズ群２１は、複数枚のレンズ
により構成され、各収差を補正しつつ、光学系１に入射
される画像光を撮像素子２の結像面上において結像させ
る。イメージシフト機構２２は、屈折板２３を有し、レ
ンズ群２１と撮像素子２との間に介在される。レンズ群
２１を通過後の画像光の光軸１４は、屈折板２３を通
り、色フィルタ１５を通過して、撮像素子２の結像面に
至る。以降、この画像光の光軸１４と平行な方向をＺと
称する。空間フィルタは、これらの構成要素であるレン
ズ群２１と撮像素子２の間の任意の位置に設置される。

【００８５】図７に、イメージシフト機構２２の具体的
構成を示す。イメージシフト機構２２に含まれる屈折板
２３は、透光性を有する矩形の板状部材であり、透光性
を有するガラス部材等で形成される。例えばＢＫ７のよ
うな光学ガラスを材料として用いる。屈折板２３は、イ
ナーシャを小さくするために、できるだけ軽量とするこ
とが望ましい。

【００８６】屈折板２３の水平方向Ｈの両側方には、一
対の圧電素子３１，３２が配置される。これら圧電素子
３１，３２は、いわゆるバイモルフ型の圧電素子であ
り、短冊状の３枚の電極の間に圧電セラミックが介在さ
れる構造を有する。この圧電素子３１，３２の長手方向
は、イメージシフト動作のシフト方向と平行な水平方向
Ｈに平行である。

【００８７】各圧電素子３１，３２は片持梁構造であ
り、長手方向の両端部のうち、図面を記す紙面で手前側
の一方端を固定端、奥側の他方端を自由端とする。圧電
素子３１，３２の各電極からは、圧電素子３１，３２の
固定端側から導線３８，３９がそれぞれ引き出される。
この導線３８，３９は、駆動回路８に接続される。

【００８８】圧電素子３１，３２の自由端側の部分は、
上保持板３３および下保持板３４に挟持される。上保持
板３３および下保持板３４は、例えば合成樹脂である軽
量な材料によって形成される。上および下保持板３３，
３４は、概略的に短冊状の部材であって、長手方向の両
側に肉厚部分が形成され、水平方向Ｈから見て概略的に
「コ」の字状の形状を有する。

【００８９】上および下保持板３３，３４は、その長手
方向が垂直方向Ｖと平行となるように設置され、かつそ
の肉厚部同士を対向させて一対の圧電素子３１，３２を
挟持し、同時にその中間部で屈折板２３を挟持して、サ
ンドイッチ接合構造を形成する。各構成要素間の接合に
は、エポキシ系樹脂のフィルム状接着剤などが用いられ
る。これによって、屈折板２３は、圧電素子３１，３２
の自由端側の部分に、上および下保持板３３，３４は、
屈折板２３の中心を含む仮想的なＨＶ平面を対象面とす
る上下対称の構造を有する。圧電素子３１，３２が片持
梁として動作するとき、その自由端側部分は、他の構成
部材に動きを拘束されることなく自由に変位することが
できる。

【００９０】また、各圧電素子３１，３２の固定端側の
部分は、ステージ３５に接合されて固定される。ステー
ジ３５は、図示しないカラー撮像装置の筐体の所定位置
に固定される。この圧電素子３１，３２の固定方法は、
これに限らず、例えば固定端側の部分をステージ３５お
よびステージ３５とほぼ同形状の別部材によって挟持
し、これら部材をビスで固定することで固定してもよ
い。この筐体内部には、被写体からの画像光の全光束が
屈折板２３を通過するように、前述の光学系１が配置さ
れる。

【００９１】さらに、この筐体内部には、圧電素子３
１，３２の光軸方向の位置を検出するための位置センサ
３６，３７が配置される。位置センサ３６，３７は、例
えば反射型のフォトインタラプタで実現される。位置セ
ンサ３６，３７は、鏡面加工が施された下保持板３４か
らの反射光を受光して下保持板の変位を検出し、その変
位量から圧電素子３６，３７の変位を推測する。位置セ
ンサ３６，３７の検出結果は、駆動回路８に与えられ
る。

【００９２】このような構造を有するイメージシフト機
構２２は、屈折板２３の中心を通り、垂直方向Ｖに平行
に伸びる仮想基準軸線を備える構造の機構と同等に動
く。このイメージシフト機構２２は、従来のイメージシ
フト機構と比較して、装置全体の大きさが小さい。

【００９３】このイメージシフト機構２２でイメージシ
フト動作を行うとき、該機構２２は、画像光を結像させ
るべき結像位置に応じて仮想基準軸線を中心として屈折
板２３を角変位させることによって、屈折板２３と入射
側の画像光の光軸１４ａとの成す角度を変化させる。第
１および第２結像位置を結像させるときのイメージシフ
ト機構２２がとるべき状態を、それぞれ第１および第２
状態とする。第１および第２状態は、駆動回路８からの
信号の有無によって切り替えられる。

【００９４】第１状態では、駆動回路８は、圧電素子３
１，３２に信号を与えない。このとき圧電素子３１，３
２はＨＶ平面に対して平行な状態を保つので、屈折板２
３の入射面と入射側の光軸１４ａとが直交する。第１結
像位置は、この状態の屈折板２３を通過した後の画像光
の光軸１４ｂと、撮像素子２の結像面との交点である。

【００９５】第２状態では、駆動回路８は、導線３８，
３９を介して、圧電素子３１，３２の圧電セラミックを
挟持する各電極に、あらかじめ定める信号を与える。こ
れによって、２対の電極間に予め定める電圧が印加され
るので、固定端の部分を支点として、支点から自由端ま
でが連続的に歪み、自由端の端部を光学軸方向Ｚに変位
させる。屈折板２３は、この自由端の変位に応じて、仮
想基準軸線を回転中心として角変位する。これによっ
て、屈折板２３の入射面は、入射側の光軸１４ａに対し
て予め定める傾斜角度だけ傾く。

【００９６】このとき、位置センサ３６，３７は下保持
板の変位から圧電素子３１，３２の変位を検出して、駆
動回路８に与える。駆動回路８は、位置センサ３６，３
７の検出結果と予め定める目標値とを比較して、その誤
差量を検出する。駆動回路８は、この誤差量がゼロに成
るように、圧電素子３１，３２の電極に与える信号の電
圧を微調整して、屈折板２３の傾斜角度を微調整する。

【００９７】屈折板２３通過後の画像光の光軸は、入射
側の光軸１４ａの延長線から、屈折板２３の傾斜角度に
対応したシフト長さだけ、仮想基準軸線に直交する方向
に平行移動する。これによって、イメージシフト機構２
２が第２状態にあるとき、屈折板２３通過後の画像光の
光軸は、水平方向Ｈに沿って予め定めるシフト長さだけ
平行移動する。第２結像位置は、この平行移動後の光軸
と撮像素子２の結像面の交点である。したがって、第２
結像位置は、第１結像位置から見て、光軸のシフト方向
と同じシフト長さだけずれる。このような動作によっ
て、画像光の結像位置がシフト移動する。

【００９８】なお、図７に示したイメージシフト機構２
２は、圧電素子により屈折板２３を駆動した構成である
が、駆動素子はこれに限られるものではなく、ソレノイ
ド、ボイスコイルモータ、あるいはプランジャなどの駆
動素子を用いて、屈折板２３を駆動してもよい。

【００９９】また、イメージシフト機構２２に代わっ
て、可変頂角プリズムによってイメージシフト動作を行
ってもよい。この可変頂角プリズムは、例えば『ＩＴＥ
ＪＴｅｃｈｎｉｃａｌＲｅｐｏｒｔＶｏｌ．１
７，Ｎｏ．５，ｐｐ．１５〜２０，ＣＥ’９３−３（Ｊ
ａｎ，１９９３）』に開示されている。

【０１００】また、イメージシフト機構２２に代わっ
て、光学系１内のいずれか１つまたは複数のレンズを移
動することによって、イメージシフト動作を行ってもよ
い。この際に、移動量を検出しながら圧電素子などの構
成部材を用いて変位させる。

【０１０１】また、イメージシフト機構２２に代わっ
て、撮像素子２または撮像素子２と光学系１とを含むブ
ロックを、画像光の光軸を固定した状態での撮像素子２
または該ブロックの移動によって、イメージシフト動作
を行ってもよい。この際に、移動量を検出しながら圧電
素子などの構成部材を用いて変位させる。

【０１０２】このように、イメージシフト動作のための
機構は、上述の第１および第２結像位置に結像位置を移
動できるものであれば、上述の機構に限らずどのような
構造の機構を用いてもよい。

【０１０３】図８に、空間フィルタの具体的構成を説明
する。図８に示す空間フィルタ４０は、複屈折板４１、
１／４波長板４２、複屈折板４３が、画像光の光軸１４
上に、入射側からこの順で配列されて形成されている。
複屈折板４１、１／４波長板４２、複屈折板４３は、入
射側の画像光の光軸１４と直交する入射面および射出面
をそれぞれ有する。

【０１０４】以後、水平方向Ｈ、垂直方向Ｖ、および光
軸方向Ｚの各単位ベクトルを、ベクトルｉ，ｊ，ｋと表
す。また、ベクトルｉ，ｊに平行でかつベクトルｋと直
交する平面を、ＨＶ平面とする。このＨＶ平面は、複屈
折板４１、１／４波長板４２、複屈折板４３の入射面お
よび射出面と平行である。

【０１０５】上記の複屈折板４１，４３は、例えば水晶
板で実現される。図９（ａ)(ｂ）は、空間フィルタ４０
の複屈折板４１，４３の各分離ベクトルＶ４１，Ｖ４３
をＨＶ平面に投影した状態を示す図である。また、複屈
折板４１，４３の各分離ベクトルＶ４１，Ｖ４３の大き
さ、すなわち分離長さは、複屈折板４１，４３の光軸方
向Ｚの厚さに比例して定められる。ゆえに、複屈折板４
１，４３の厚さは、それぞれ後述する分離長さが生じる
ように設定される。分離ベクトルＶ４１，Ｖ４３は、前
述した単位ベクトルｉ，ｊ，ｋによって、（５）式
（６）式でそれぞれ規定される。

【０１０６】

【数３】

【０１０７】上式から、複屈折板４１，４３の各分離ベ
クトルＶ４１，Ｖ４３の向きは、それぞれ反時計まわり
に見て、水平方向Ｈと成す向き角θ₄₁，θ₄₃はそれぞ
れ、（７）式（８）式の通りである。

【０１０８】

【数４】

【０１０９】また、複屈折板４１，４３の分離長さは、
どちらも以下の通りである。

【０１１０】

【数５】

【０１１１】また、θ₄₁＝−θ₄₃＝π／４ｒａｄ（ラジ
アン）の時、つまりＰＨ＝ＰＶの時に、空間フィルタ
は、図１０に示す構成としてもよい。

【０１１２】図１０に示す空間フィルタ６０は、３枚の
複屈折板６１〜６３が、画像光の光軸１４上に、入射側
からこの順で配列されて形成させる。複屈折板６１〜６
３は、入射側の画像光の光軸１４と直交する入射面およ
び射出面をそれぞれ有する。複屈折板６１〜６３は、例
えば水晶板で実現される。

【０１１３】図１１（ａ）〜（ｃ）は、空間フィルタ６
０の複屈折板６１〜６３の各分離ベクトルＶ６１〜Ｖ６
３をＨＶ平面に投影した状態を示す図である。また、複
屈折板６１〜６３の各分離ベクトルＶ６１〜Ｖ６３の大
きさ、すなわち分離長さは、複屈折板６１〜６３各々の
光軸方向Ｚの厚さに比例して定められる。ゆえに、各複
屈折板６１〜６３の厚さは、それぞれ後述する分離長さ
が生じるように設定される。各分離ベクトルＶ６１〜Ｖ
６３は、前述した単位ベクトルｉ，ｊ，ｋによって、
（９）式（１０）式（１１）式で規定される。

【０１１４】

【数６】

【０１１５】ここで、Ｐ＝ＰＨ＝ＰＶである。上式か
ら、複屈折板６１〜６３の各分離ベクトルＶ６１〜Ｖ６
３の向きは、それぞれ反時計まわりに見て、水平方向Ｈ
と１８０度、９０度、３１５度を成す向きであることが
分かる。また、複屈折板６１〜６３の分離長さは、順に
以下の通りである。

【０１１６】

【数７】

【０１１７】図８の空間フィルタ４０を通過した画像光
も、ＰＨ＝ＰＶの場合に適用できる図１０の空間フィル
タ６０を通過した画像光も、図１２に示すように、４本
の光線に分離する。

【０１１８】ここで図１３に、空間フィルタ４０の空間
周波数特性を示す。なお、以下に示す総ての空間周波数
平面は、第１象限および第２象限だけを示すものとす
る。これは、第３象限および第４象限は、第１象限およ
び第２象限と共役関係にあるため、空間周波数特性を示
すのはこの２つの象限だけで十分であるからである。

【０１１９】空間フィルタ４０は、図１３の破線、すな
わち（ｆＨ，０）と（０，ｆＶ）を結ぶ破線、および
（−ｆＨ，０）と（０，ｆＶ）を結ぶ破線上の空間周波
数成分をトラップする。また、空間フィルタ６０は、空
間フィルタ４０において、θ₄₁＝−θ₄₃＝π／４ｒａｄ
とした場合と等しい空間周波数特性を持つ。

【０１２０】本カラー撮像装置においては、空間フィル
タ４０（或いは空間フィルタ６０）は、可変機構をもた
ず固定されており、通常モードにおいても、高解像度モ
ードにおいても、同じ空間周波数特性を画像光に施すも
のとなっている。

【０１２１】次に、図１４ないし図１９を用いて、信号
処理回路６の通常モード時の処理について説明する。

【０１２２】信号処理回路６は、前述したように、単一
の原画像信号から輝度信号および色差信号を求めるもの
である。

【０１２３】図１４の空間周波数平面図に、輝度信号お
よび色差信号のモアレのキャリア周波数を示す。輝度の
基底帯域１２１を、図１４では斜線を付して示す。輝度
の基底帯域１２１の範囲は、（ｆＨ／２，ｆＶ／２）、
（−ｆＨ／２，ｆＶ／２）、（ｆＨ／２，０）、（−ｆ
Ｈ／２，０）の４点を頂点とする矩形領域である。

【０１２４】上述の基底帯域１２１内において、色差信
号のモアレのキャリア周波数の存在する位置は、（ｆＨ
／２，ｆＶ／２）、（−ｆＨ／２，ｆＶ／２）、（ｆＨ
／２，０）、（−ｆＨ／２，０）、（０，ｆＶ／２）の
５箇所である。図１４では、これらの位置に○印を付し
て示す。

【０１２５】上述した空間フィルタ４０（或いは空間フ
ィルタ６０）によりトラップされる空間周波数成分を破
線で示す。上述の５箇所の色差信号のモアレのうち、先
の２箇所、つまり、（ｆＨ／２，ｆＶ／２）、（−ｆＨ
／２，ｆＶ／２）は、空間フィルタ４０（或いは空間フ
ィルタ６０）によって減衰されるので、視覚的に目立た
なくなる。

【０１２６】これに対し、後の３箇所は、水平方向また
は垂直方向の空間周波数軸上にあり、視覚的に目立つモ
アレである。上記の信号処理回路６は、この３箇所のモ
アレを信号処理にて抑圧するものである。

【０１２７】図１５のブロック図に、信号処理回路６の
構成を示す。信号処理回路６においいて、Ａ／Ｄ変換回
路４（図２参照）から出力された原画像信号は、端子１
４５から入力され、該原画像信号を基に、輝度信号Ｙお
よび２種類の色差信号Ｒ−Ｙ，Ｂ−Ｙを生成し、端子１
４６，１４７，１４８からそれぞれ出力する。通常出力
画像信号は、輝度信号Ｙと、２種類の色差信号Ｒ−Ｙ，
Ｂ−Ｙから構成され、この輝度信号Ｙおよび２種類の色
差信号Ｒ−Ｙ，Ｂ−Ｙが、通常出力画像信号として、画
像メモリ５（図２参照）にストアされる。

【０１２８】輝度信号Ｙは、高域輝度信号ＹＨおよび低
域輝度信号ＹＬを加算器１４４により加算することによ
り得られる。輝度信号Ｙの生成についての詳細は、後述
するが、高域輝度信号ＹＨは、端子１４５から入力され
た原画像信号をバンドパスフィルタ（図中では、ＢＰＦ
と略称する）１３１に通過させることにより取り出され
る。

【０１２９】スイッチ１３３は、端子１４５から入力さ
れた原画像信号を、Ｒフィルタ、Ｇフィルタ、Ｂフィル
タごとに分離し、さらに、ＧフィルタをＧ１フィルタと
Ｇ２フィルタとに分離する。つまり、スイッチ１３３
は、原画像信号を、Ｒ，Ｇ１，Ｇ２，Ｂフィルタごとに
分離して、Ｒフィルタを通過したＲフィルタ信号、Ｇ１
フィルタを通過したＧ１フィルタ信号、Ｇ２フィルタを
通過したＧ２フィルタ信号、Ｂフィルタを通過したＢフ
ィルタ信号をそれぞれ出力し、補間フィルタ１３４，１
３５，１３６，１３７に導出する。

【０１３０】補間フィルタ１３４〜１３７は、Ｒ，Ｇ
１，Ｇ２，Ｂフィルタ信号を補間して同期化する。ここ
では、Ｒフィルタ信号を補間して同期化する補間フィル
タ１３４について説明する。

【０１３１】図１６に、色フィルタ１５の透光領域Ｌの
配列のうち、６行４列で構成される一部分を示す。Ｒフ
ィルタは、画素（１，２），（１，４），（３，２），
（３，４），（５，２），（５，４）の６箇所には、Ｒ
（１，２），（１，４），（３，２），（３，４），
（５，２），（５，４）の受光データが得られている。
ここでＲ（ｎ，ｍ）は、第ｎ行第ｍ列の画素（ｎ，ｍ）
に対応するＲフィルタの受光データを表す。上記６箇所
以外の画素には、Ｒフィルタの受光データは欠けてい
る。

【０１３２】補間フィルタ１３４は、欠けている画素に
おけるＲフィルタの受光データを、隣接するＲフィルタ
の受光データから補間して求める。例えば、画素（２，
３）のＲフィルタの補間データＲ（２，３）は、（１
２）式に基づいて求められる。

【０１３３】

【数８】

【０１３４】これは、画素（２，３）に隣接する周囲４
個の画素（１，２），（１，４），（３，２），（３，
４）の受光データＲ（１，２），（１，４），（３，
２），（３，４）を用いて補間する方法であり、線形補
間法である。この他、例えば、周囲１６個の画素の受光
データを用いて補間する方法であるキュービックコンボ
リューション補間法等、どのような方法を用いてもよ
い。

【０１３５】線形補間法により処理される場合の補間フ
ィルタ１３４は、（１３）式で定義されるローパスフィ
ルタｆ１を用いて表すことができる。

【０１３６】

【数９】

【０１３７】このローパスフィルタｆ１は、３行３列の
行列として表される２次元ローパスフィルタである。第
ｐ行第ｑ列の要素をｆ１（ｐ，ｑ）として表すと、この
２次元ローパスフィルタｆ１により、補間は、（１４）
式で計算できる。

【０１３８】

【数１０】

【０１３９】ここで、Ｒ（ｎ，ｍ）は、補間前のＲフィ
ルタ信号の第ｎ行第ｍ列の受光データを表す。また、
Ｒ'(ｎ，ｍ）は、補間後のＲフィルタ信号の第ｎ行第ｍ
列の受光データを表す。

【０１４０】図１６に示したように、６箇所以外の画素
には、Ｒフィルタの受光データが無い。式（１４）に基
づく計算の際には、この受光データの無い画素には、ゼ
ロを与えておく。実際は、スイッチ１３３（図１５参
照）が、このゼロを出力している。つまり、スイッチ１
３３は、端子１４５から入力された受光データを、その
受光データが属している色フィルタの種類に対応する補
間フィルタへ出力し、同時にそれ以外の３種類の色フィ
ルタの種類に対応する補間フィルタにはゼロを出力して
いる。この切り替えは、１画素ごとに行われている。

【０１４１】このようにして補間して同期化された
Ｒ’，Ｇ１’，Ｇ２’，Ｂ' フィルタ信号は、図１５に
示す低域輝度信号生成回路１３２に導出される。低域輝
度信号生成回路１３２は、（１５）式の計算を行い、低
域輝度信号ＹＬを生成する。

【０１４２】

【数１１】

【０１４３】但し、（１５）式において、α＋β＝１で
ある。つまり、低域輝度信号ＹＬは、（１６）式で示す
理想的な混合比率によって生成している。

【０１４４】

【数１２】

【０１４５】生成された低域輝度信号ＹＬは、加算器１
４４に導出される。

【０１４６】一方、同期化されたＲ’，Ｇ１’，Ｇ
２’，Ｂ' フィルタ信号は、加算器１３８，１３９，１
４０，１４１へ導出される。加算器１３８は、Ｒ’フィ
ルタ信号およびＧ１’フィルタ信号を入力し、その差を
求める計算をすることによって、Ｒ’−Ｇ１’信号を生
成する。同様に、加算器１３９は、Ｇ２’フィルタ信号
およびＢ’フィルタ信号からＢ’−Ｇ２’信号を、加算
器１４０は、Ｒ’フィルタ信号およびＧ２’フィルタ信
号からＲ’−Ｇ２’信号を、加算器１４１は、Ｇ１’フ
ィルタ信号およびＢ’フィルタ信号からＢ’−Ｇ１’信
号を、それぞれ計算する。

【０１４７】生成されたＲ’−Ｇ１’，Ｒ’−Ｇ２’，
Ｂ’−Ｇ１’，Ｂ’−Ｇ２’信号は、色モアレ抑圧処理
回路１４２に導出される。

【０１４８】色モアレ抑圧処理回路１４２は、Ｒ’−Ｇ
１’信号とＲ’−Ｇ２’信号とから色差信号Ｒ−Ｇを計
算し、また、Ｂ’−Ｇ１’信号とＢ’−Ｇ２’信号とか
ら色差信号Ｂ−Ｇを計算する。すなわち、（１７）式
（１８）式に基づいて計算する。

【０１４９】

【数１３】

【０１５０】ここで、Ｅ₁（ｘ，ｙ）、Ｅ₂（ｘ，ｙ）
は評価関数である。例えば、（１７）式の場合は、評価
関数Ｅ₁とＥ₂の値で定まる比率により、Ｒ’−Ｇ１’
信号とＲ’−Ｇ２’信号とを混合することにより、色差
信号Ｒ−Ｇを計算する。評価関数Ｅ₁が大きければＲ’
−Ｇ１’信号の割合が増えることになり、評価関数Ｅ₂
が大きければＲ’−Ｇ２’信号の割合が増えることにな
る。この割合を画素ごとに適用的に変えることにより、
上述の色差信号のモアレを抑圧することができる。

【０１５１】上記の評価関数Ｅ₁，Ｅ₂を具体的に言え
ば、評価関数Ｅ₁は、第１引数ｘの絶対値と、第２引数
ｙの絶対値とを比較して、第１引数ｘの絶対値が相対的
に小さい程、大きな値を返す。また、評価関数Ｅ₂は、
第１引数ｘの絶対値と、第２引数ｙの絶対値とを比較し
て、第２引数ｙの絶対値が相対的に小さい程、大きな値
を返す。

【０１５２】すなわち、（１７）式は、Ｒ’−Ｇ１’信
号とＲ’−Ｇ２’信号の絶対値の小さい方の信号を優先
的に選択しながら、他方すなわち絶対値の大きい方の信
号も考慮して、色差信号Ｒ−Ｇを生成している。また、
（１７）式と同様にして（１８）式は色差信号Ｂ−Ｇを
計算している。なお、このような、原理を利用した方法
であれば、色モアレ抑圧処理回路１４２は上述の方法に
限ったものではない。

【０１５３】このようにして生成された色差信号Ｒ−
Ｇ，Ｂ−Ｇは、色差マトリックス回路１４３へそれぞれ
導出される。色差マトリックス回路１４３では、（１
９）式に基づいて２種類の色差信号Ｒ−Ｙ，Ｂ−Ｙが生
成される。

【０１５４】

【数１４】

【０１５５】ここで、空間周波数成分（０，ｆＶ／２）
により構成される白黒の被写体が撮像されるとする。こ
の被写体は、周期２ＰＶの横縞であり、このような被写
体に対してはＲ＝Ｇ１、Ｂ＝Ｇ２となるため、Ｒ−Ｇ
１、Ｂ−Ｇ２はいずれもゼロになる。ゆえに、（１７）
式および（１８）式に基づいて計算される色差信号Ｒ−
Ｇ，Ｂ−Ｇはゼロとなり、結局、（１９）式により、色
差信号Ｒ−Ｙ，Ｂ−Ｙもそれぞれゼロとなる。このこと
は、図１４に示した空間周波数（０，ｆＶ／２）の位置
にある色差信号のモアレが消滅することを意味してい
る。

【０１５６】また、空間周波数成分（±ｆＨ／２，０）
により構成される白黒の被写体が撮像されるとする。こ
の被写体は、周期２ＰＨの縦縞であり、このような被写
体に対してはＲ＝Ｇ２、Ｂ＝Ｇ１となるため、Ｒ−Ｇ
２、Ｂ−Ｇ１はいずれもゼロになる。ゆえに、（１７）
式および（１８）式に基づいて計算される色差信号Ｒ−
Ｇ，Ｂ−Ｇはゼロとなり、結局、（１９）式により、色
差信号Ｒ−Ｙ，Ｂ−Ｙもそれぞれゼロとなる。このこと
は、図１４に示した空間周波数（±ｆＨ／２，０）の位
置にある色差信号のモアレが消滅することを意味してい
る。

【０１５７】このように、水平方向Ｈまたは垂直方向Ｖ
の空間周波数軸上にあり、視覚的に目立つ３箇所モアレ
を信号処理により抑圧することができる。なお、このよ
うな方法ならびに回路構成は既に知られており、例えば
特開平６−３３９１４５号公報に開示されている。

【０１５８】続いて、輝度信号Ｙを得る原理について詳
しく説明する。輝度信号Ｙは、前述したように、高域輝
度信号ＹＨと低域輝度信号ＹＬとを加算することにより
得る。

【０１５９】低域輝度信号ＹＬは、前述の（１６）式に
示した理想的な混合比率であるが、補間フィルタ１３
４，１３５，１３６，１３７を施しているため、高周波
数成分のゲインが低く、解像度が低い。そこで、輝度信
号Ｙの低域は理想的な混合比率を持つ低域輝度信号ＹＬ
を用い、輝度信号Ｙの高域は高解像度である高域輝度信
号ＹＨを用いる。なお、高域輝度信号ＹＨは、（１６）
式に示した理想的な混合比率ではない。

【０１６０】高域輝度信号ＹＨは以下のように生成す
る。無着色（白黒）被写体を撮像する場合では、異なる
色フィルタの各受光データはいずれもほぼ等しくなる。
つまり、Ｒ＝Ｇ１＝Ｇ２＝Ｂとなる。したがって、図５
に示した色フィルタ１５のように配列されている受光デ
ータをそのまま輝度信号Ｙとして用いても良い。さら
に、この受光データは、補間処理されていないため、高
解像度となっている。

【０１６１】しかしながら、着色（カラー）被写体を撮
像する場合では、異なる色フィルタの受光データ間にレ
ベル差が生じる。例えば緑色の被写体を撮像する場合で
は、ＲおよびＢのレベルは、Ｇ１およびＧ２に比べて低
くなるので、市松模様の輝度信号Ｙとなってしまう。つ
まり、輝度信号に偽信号（輝度モアレ）が発生する。

【０１６２】ベイヤー配列の色フィルタは、図５に示し
た２点鎖線で囲む２行２列の４つの透光領域の配列を基
本配列パターンとする周期的な配列であるので、水平方
向Ｈに２画素周期、垂直方向Ｖに２画素周期に配列され
ている。したがって、この輝度モアレの空間周波数は、
輝度信号の基底帯域の境界線に位置することになる。

【０１６３】したがって、この輝度モアレを除去するた
めに、原画像信号から、輝度信号の基底帯域の境界線の
周波数成分を除去するローパスフィルタを施す必要があ
る。また、輝度信号Ｙにおいて上述の理想的な混合比率
によって生成された低域輝度信号ＹＬを使うため、原画
像信号から、低域輝度信号ＹＬに相当する周波数帯域を
除去するハイパスフィルタを施す必要がある。つまり、
結局は、原画像信号から、低域成分と、基底帯域付近の
高域成分とを除くことになるので、バンドパスフィルタ
１３１を施すことになる。

【０１６４】図１７に、バンドパスフィルタ１３１の空
間周波数特性を示す。図１７において、バンドパスフィ
ルタ１３１は、通過帯域を横縞領域とし、制限帯域を縦
縞領域として表わしている。さらに、破線部分のゲイン
をゼロとしている。

【０１６５】２次元フィルタであるバンドパスフィルタ
１３１において、水平方向のフィルタ特性の模式図は、
図１８の白塗り領域のようになる。このフィルタ特性の
模式図は、図１７において水平軸上の周波数特性を表し
ている。

【０１６６】また、２次元フィルタであるバンドパスフ
ィルタ１３１において、垂直方向のフィルタ特性の模式
図は、図１９の白塗り領域のようになる。このフィルタ
特性の模式図は、図１７において垂直軸上の周波数特性
を表している。

【０１６７】一方、折り返し周波数付近の高周波数成分
は、補完されることはなく、カラー撮像装置が出力する
画像信号の輝度信号Ｙには、この折り返し周波数付近の
高周波数成分は失われたままである。特に、図１８にお
いては水平方向の空間周波数ｆＨ／２の成分はゼロであ
る。これを画像として目視すると、水平方向に２ＰＨ周
期の縦縞、つまり水平方向に白列と黒列が交互に並んだ
縦縞であり、このカラー撮像装置では再現できないこと
を意味している。実際の自然画像では、縦方向のエッジ
がぼやけることが生じ、画質を損なうという問題点にな
っている。

【０１６８】また、図１９においては垂直方向の空間周
波数ｆＶ／２の成分はゼロである。これを画像として目
視すると、垂直方向に２ＰＶ周期の横縞、つまり垂直方
向に白行と黒行が交互に並んだ横縞であり、このカラー
撮像装置では再現できないことを意味している。実際の
自然画像では、横方向のエッジがぼやけることが生じ、
画質を損なうという問題点になっている。

【０１６９】次に、図１、図２０ないし図２４を用い
て、合成処理回路１２の高解像度モード時の処理につい
て説明する。

【０１７０】合成処理回路１２は、前述したように、２
つの原画像信号から輝度信号および色差信号を求めるも
のである。

【０１７１】イメージシフト動作を行い撮像された２枚
の原画像間の空間的位置関係は、水平方向にシフト長さ
ＰＨだけずれている。すなわち、水平方向に１画素だけ
ずれている。例えば、第１原画像においてＲフィルタの
受光データがある画素位置は、第２原画像のＧ１色フィ
ルタの受光データがある画素位置である。また、第１原
画像においてＢフィルタの受光データがある画素位置
は、第２原画像のＧ２色フィルタの受光データがある画
素位置である。このように、２枚の原画像信号を重ね合
わせた画像を考えると、各画素位置には異なる２種類の
受光データが得られていることになる。

【０１７２】図２０は、２枚の原画像信号を重ね合わせ
た画像の等価的な色フィルタ配列パターンを示す図であ
る。図２０では、ＧとＲとの対応画素には符号「Ｆａ」
を記し、ＧとＢとの対応画素には符号「Ｆｂ」を記す。

【０１７３】このことから、この重ね合わせた画像の画
素数および配列は、原画像の画素数および配列と等し
く、その水平方向Ｈおよび垂直方向Ｖの配列周期は、そ
れぞれ周期ＰＨ，ＰＶである。

【０１７４】また、全画素がＧの対応画素である。Ｇの
対応画素だけの各配列の水平方向Ｈおよび垂直方向Ｖの
配列周期は、図２０からそれぞれ周期ＰＨ，ＰＶとわか
る。ＲおよびＢの対応画素だけの各配列の水平方向Ｈお
よび垂直方向Ｖの配列周期は、図２０からそれぞれ周期
ＰＨ，２ＰＶとわかる。

【０１７５】このことから、水平方向Ｈ、垂直方向Ｖの
サンプリング周波数は、Ｇに関して空間周波数ｆＨ，ｆ
Ｖであり、ＲおよびＢに関して空間周波数ｆＨ，ｆＶ／
２とみなされる。

【０１７６】図２１の空間周波数平面図に、図２０に示
した２枚の原画像信号を重ね合わせた画像の等価的な色
フィルタ配列の輝度信号および色差信号のモアレのキャ
リア周波数を示す。輝度の基底帯域１９１を、図２１で
は斜線を付して示す。輝度の基底帯域１９１の範囲は、
（ｆＨ／２，ｆＶ／２）、（−ｆＨ／２，ｆＶ／２）、
（ｆＨ／２，０）、（−ｆＨ／２，０）を頂点とする矩
形領域である。

【０１７７】上述の基底帯域１９１内において、色差信
号のモアレのキャリア周波数の存在する位置は（０，ｆ
Ｖ／２）の１箇所である。図２１では、この位置を○印
で表す。また、上述した空間フィルタ４０によりトラッ
プされる空間周波数成分を破線で示す。

【０１７８】このような高解像度モードにおける高解像
度出力画像信号の輝度の基底帯域１９１の範囲は、通常
出力画像の基底帯域１２１の範囲と等しい。また、色差
信号のモアレのキャリア周波数は、（０，ｆＶ／２）の
位置だけに現れ、通常出力画像に関して存在していた
（ｆＨ／２，ｆＶ／２）、（−ｆＨ／２，ｆＶ／２）、
（ｆＨ／２，０）、（−ｆＨ／２，０）の４箇所が消滅
している。ゆえに、高解像度出力画像は、通常出力画像
と比較して、水平方向Ｈの解像度を向上させることがで
きる。

【０１７９】図２２のブロック図に、合成処理回路１２
の構成を示す。合成処理回路１２には、Ａ／Ｄ変換回路
４（図２参照）から出力された第２原画像信号が端子２
００から入力され、端子２０１から画像メモリ５（図２
参照）から出力された第１原画像信号が入力される。

【０１８０】合成処理回路１２は、入力された第１およ
び第２原画像信号から、輝度信号Ｙおよび２種類の色差
信号Ｒ−Ｙ，Ｂ−Ｙを生成し、端子２０２，２０３，２
０４からそれぞれ出力する。高解像度出力画像信号は、
輝度信号Ｙおよび２種類の色差信号Ｒ−Ｙ，Ｂ−Ｙから
構成され、この輝度信号Ｙおよび２種類の色差信号Ｒ−
Ｙ，Ｂ−Ｙは、高解像度出力画像信号として画像メモリ
５にストアされる。

【０１８１】スイッチ２０５は、入力された第１および
第２原画像信号から、Ｒフィルタ、Ｇフィルタ、Ｂフィ
ルタごとの信号に分離し、Ｒ，Ｂ，Ｇフィルタ信号とし
て出力する。ここで、Ｇフィルタ信号は、全画素に対応
する受光データが存在する。これに対し、Ｒ，Ｂフィル
タ信号は、１行置きごとに対応する受光データが存在
し、かつ、受光データの存在する行と存在しない行が互
いにずれている。

【０１８２】したがって、Ｒ，Ｂフィルタ信号は、１行
置きごとにしか対応する受光データが存在しないため
に、図２１に示した色差信号のモアレのキャリア周波数
が（０，ｆＶ／２）に発生している。

【０１８３】Ｒ，Ｇ，Ｂフィルタ信号は、垂直色モアレ
抑圧処理回路２０６に入力される。垂直色モアレ抑圧処
理回路２０６は、Ｇフィルタ信号を参照してＲ，Ｂフィ
ルタ信号を補間することにより、全画素に対応する画素
データが存在するＲ”，Ｂ”フィルタ信号を出力する。
詳細には後述するが、ここで垂直色モアレ抑圧処理回路
２０６は、Ｇフィルタ信号と、Ｒフィルタ信号またはＢ
フィルタ信号との間に、局所的な領域で相関があること
を利用している。

【０１８４】このようにして生成された全画素に対応す
る画素データが存在するＲ”，Ｇ，Ｂ”フィルタ信号
は、輝度信号生成回路２０７と色差信号生成回路２０８
とにそれぞれ入力される。輝度信号生成回路２０７は、
（２０）式の計算を行い、輝度信号Ｙを生成する。

【０１８５】

【数１５】

【０１８６】輝度信号Ｙは、（２１）式で示す理想的な
混合比率によって生成している。

【０１８７】

【数１６】

【０１８８】生成された輝度信号Ｙは、端子２０２に接
続されている。この輝度信号生成回路２０７は、図１５
に示した信号処理回路６における低域輝度信号生成回路
１３２と構成や作用が同じであり、同時に動作すること
はないので、回路を共通化して、１つにすることもでき
る。

【０１８９】一方、色差信号生成回路２０８は、入力さ
れたＲ”，Ｇ，Ｂ”フィルタ信号から、２種類の色差信
号Ｒ−Ｇ，Ｂ−Ｇを生成して、色差マトリックス回路２
０９へ導出する。色差信号Ｒ−ＧはＲ”フィルタ信号と
Ｇフィルタ信号との差分であり、色差信号Ｂ−ＧはＢ”
フィルタ信号とＧフィルタ信号との差分である。

【０１９０】色差マトリックス回路２０９は、前述の
（１９）式に基づいて、色差信号Ｒ−Ｙ，Ｂ−Ｙを計算
する。色差マトリックス回路２０９は、図１５に示した
信号処理回路６における色差マトリックス回路１４３と
構成や作用が同じであり、同時に動作することはないの
で、回路を共通化して、１つにすることもできる。

【０１９１】ここで、上記の垂直色モアレ抑圧処理回路
２０６に実施される処理の原理について、詳細に説明す
る。

【０１９２】垂直色モアレ抑圧処理回路２０６は、図２
１に示した色差信号のモアレのキャリア周波数（０，ｆ
Ｖ／２）を消滅させるためのものである。

【０１９３】図２３（ａ）〜（ｃ）は、空間周波数成分
（０，ｆＶ／２）をもつ画像を撮像した際に発生する色
差信号のモアレを消去できることを示す模式図である。

【０１９４】図２３（ａ）の右側には、空間周波数成分
（０，ｆＶ／２）をもつ画像、つまり周期ＰＶの白黒の
横縞を表わしており、図２３（ａ）の左側には、各透光
領域Ｌ上に受光された受光データを示している。受光デ
ータを縦軸に、垂直方向Ｖの画素位置を横軸に示してい
る。

【０１９５】イメージシフト動作により２枚の原画像信
号を重ね合わせた画像を考えると、各画素位置には異な
る２種類の受光データが得られていることになる。すべ
ての受光データが得られた時のＲ，Ｇ，Ｂフィルタ信号
から生成した高解像度出力画像を仮に考えると、色差信
号のモアレのキャリア周波数（０，ｆＶ／２）はもちろ
ん消滅する。したがって、このようなＲ，Ｇ，Ｂ色フィ
ルタ信号を、各画素位置に異なる２種類の受光データが
存在する２枚の原画像信号を重ね合わせた画像から、計
算することができればよいことになる。

【０１９６】ここでもし、受光データの無い画素位置の
Ｒフィルタ信号またはＢフィルタ信号を直線補間により
計算した場合は、図２３（ｂ）のように、白黒の横縞で
あった画像は、右側に示す青シアンの横縞となり、着色
してしまう。つまり、色差信号に空間周波数（０，ｆＶ
／２）の色モアレが発生したことなる。（２２）式（２
３）式に、直線補間の式を示す。

【０１９７】

【数１７】

【０１９８】ここで、Ｒ（ｎ）またはＢ（ｎ）は、求め
るべき受光データの存在しない画素位置である第ｎ行の
Ｒフィルタ信号または第ｎ行のＢフィルタ信号を表す。

【０１９９】これに対し、本カラー撮像装置の垂直色モ
アレ抑圧処理回路２０６は、（２４）式（２５）式に基
づいて、受光データの無い画素位置の色フィルタ信号Ｒ
または色フィルタ信号Ｂを計算しているため、図２３
（ｃ）のように、補間後の画像も白黒の横縞で、色差信
号に空間周波数（０，ｆＶ／２）の色モアレは発生して
いない。

【０２００】

【数１８】

【０２０１】ここでも、Ｒ（ｎ）またはＢ（ｎ）は、求
めるべき受光データの存在しない画素位置である第ｎ行
のＲフィルタ信号または第ｎ行のＢフィルタ信号を表
す。したがって、Ｒ（ｎ−１），Ｒ（ｎ），Ｒ（ｎ＋
１）は、垂直方向Ｖにこの順で隣接する３画素である。
同様に、Ｂ（ｎ−１），Ｂ（ｎ），Ｂ（ｎ＋１）は、垂
直方向Ｖにこの順で隣接する３画素である。また、ＬＰ
Ｆ（Ｒ）は、Ｒフィルタ信号にローパスフィルタを施す
ことを表し、ＬＰＦ（Ｂ）は、Ｂフィルタ信号にローパ
スフィルタを施すことを表し、ＬＰＦ（Ｇ）は、Ｇフィ
ルタ信号にローパスフィルタを施すことを表す。

【０２０２】例えば、（２４）式に関して、ＬＰＦ
（Ｒ）−ＬＰＦ（Ｇ）は、第ｎ行付近の局所的な領域に
おいてＲフィルタ信号とＧフィルタ信号のオフセット分
を計算している。このオフセット分をＧフィルタ信号Ｇ
（ｎ）と加算することにより、Ｒフィルタ信号Ｒ（ｎ）
を計算している。このＬＰＦを２画素の平均とする場合
は、（２６）式（２７）式となる。

【０２０３】

【数１９】

【０２０４】図１は、（２６）式に基づくＲフィルタ信
号の垂直色モアレ抑圧処理を示した模式図である。図１
中、□はＧフィルタ信号、○はＲフィルタ信号を表す。
また、◎は求めるべき受光データの存在しない画素位置
のＲフィルタ信号を表す。また、■はＧフィルタ信号を
ローパスフィルタ処理した値、●はＲフィルタ信号をロ
ーパスフィルタ処理した値である。そして、図中Ｄにて
示す量が、Ｒフィルタ信号とＧフィルタ信号のオフセッ
ト分であり、Ｒ（ｎ）と同じ画素位置にあるＧ（ｎ）に
加算される値である。

【０２０５】これは、Ｒフィルタ信号の受光データとＧ
フィルタ信号の受光データとの間には、局所的な領域で
相関があることを利用して、□のＧフィルタ信号の波形
を、○のＲフィルタ信号の波形に近似して、◎のＲ
（ｎ）を計算している。

【０２０６】即ち、上記の（２４）式は、Ｇフィルタ信
号の変化が、Ｒフィルタ信号の変化とに相関があること
を利用していると考えることができ、同様に、上記の
（２５）式は、Ｇフィルタ信号の変化が、Ｂフィルタ信
号の変化とに相関があることを利用していると考えるこ
とができる。

【０２０７】特に、無着色領域つまり、Ｇフィルタ信号
のレベルと、Ｒフィルタ信号のレベルとが等しい領域で
は、Ｇフィルタ信号の変化と、Ｒフィルタ信号の変化は
局所的には等しいと考えられるので、完全に正確なＲフ
ィルタ信号を補間することができる。すなわち、無着色
領域では、色差信号のモアレのキャリア周波数（０，ｆ
Ｖ／２）を完全に消滅することができる。

【０２０８】一方、着色領域つまり、Ｇフィルタ信号の
レベルと、Ｒフィルタ信号のレベルが異なる領域では、
Ｇフィルタ信号の変化と、Ｒフィルタ信号の変化は異な
ると考えられるので、完全に正確なＲフィルタ信号を補
間することができない。例えば、赤色に着色しているよ
うな領域では、Ｒフィルタ信号の変化に対して、Ｇフィ
ルタ信号の変化は小さい。つまり、（２４）式における
Ｇ（ｎ）−ＬＰＦ（Ｇ）は小さい。したがって、この変
化分をＬＰＦ（Ｒ）に加算しても、Ｒフィルタ信号の変
化分を完全に補正することができず、補正不足になり、
着色領域では、色差信号のモアレのキャリア周波数
（０，ｆＶ／２）を小さくすることはできるが、完全に
消滅することができない。

【０２０９】しかしながら、無着色領域に色モアレによ
る偽色が発生している場合は、視覚的に目立つが、着色
領域に色モアレが発生している場合は視覚的に比較的目
立たないため、無着色領域に色モアレ抑圧処理効果の高
い本方式でも、十分な画質改善効果がある。このこと
は、Ｂフィルタ信号の補間においても同様である。

【０２１０】また、（２４）式または（２５）式におけ
るＬＰＦは、（２６）式または（２７）式で示した２画
素の平均による計算に限定されるものでなく、どのよう
なローパスフィルタ処理でもよい。例えば、ＬＰＦを隣
接４画素から計算する場合は、（２８）式（２９）式と
なる。

【０２１１】

【数２０】

【０２１２】但し、２画素の平均を用いた場合も、４画
素から計算する場合も補間処理の正確性には殆ど差異が
ないので、２画素の平均による計算を作用することで、
必要とするデータ数が少なくてすみ、処理速度が速く、
回路規模が小さいといった利点がある。

【０２１３】ところで、このような色モアレを抑圧する
処理としては、既に提案されている方法がある。例えば
『ＣＣＭ方式補間処理による単板カラーカメラの色モア
レ抑圧処理、１９９０年テレビジョン学会年次大会（Ｉ
ＴＥＣ’９０）、２−１０、ｐｐ．３３−３４』に示さ
れている方法がある。

【０２１４】この文献による方法は、例えば（２４）式
に対応する処理は、（３０）式のようになる。

【０２１５】

【数２１】

【０２１６】このＬＰＦを２画素の平均とする場合は、
（３１）式のようになる。

【０２１７】

【数２２】

【０２１８】この従来の方法でも、色差信号のモアレの
キャリア周波数（０，ｆＶ／２）を消滅することができ
る。

【０２１９】しかしながら、この従来の方法では、（３
０）式の分母ＬＰＦ（Ｇ）の値が小さくなるような画像
領域では、ＬＰＦ（Ｒ）／ＬＰＦ（Ｇ）の比が局所的な
領域内でも大きく変動する。また、（３０）式の分母Ｌ
ＰＦ（Ｇ）の値が小さい領域では、撮像素子やＡ／Ｄ変
換回路により発生するノイズの影響により、同様にＬＰ
Ｆ（Ｒ）／ＬＰＦ（Ｇ）の比が大きく変動する。特にＬ
ＰＦ（Ｇ）がゼロ近くになれば（３０）式は発散してし
まう。

【０２２０】例えば、ＬＰＦ（Ｇ）が２でありＧ（ｎ）
が１であるような場合には、Ｒ（ｎ）は、ＬＰＦ（Ｒ）
の半分の値になる。Ｇフィルタ信号はわずか２−１＝１
だけのわずかな変化しかないにもかかわらず、Ｒフィル
タ信号は、第ｎ行の値が周囲の平均の半分となり、急激
な変化が画像に現れてしまい、周囲の画素に比べてその
画素は特異な色になる。この現象は、ＬＰＦ（Ｇ）が小
さい領域、つまりＧフィルタ信号の小さい領域で現われ
る。

【０２２１】つまり、この現象は、画像が赤色、青色、
またはマゼンタ色の近似色で顕著であり、実際に一般的
な画像でも多く存在する。したがって、従来技術による
方法では、撮像画像内に鑑賞に耐え難い異常色が発生し
てしまい、実用に耐え難いと言える。

【０２２２】これに対し、本実施例で示した色モアレ抑
圧処理は、Ｇフィルタ信号の値が小さい領域でも、適切
に計算することができる。

【０２２３】また、この色モアレ抑圧処理は、色フィル
タ１５のようなベイヤー配列の合成処理に限定されるも
のではなく、どのような種類のカラーフィルタ配列を用
いたカラー撮像装置、２板式のカラー撮像装置などにも
適応することができる。

【０２２４】つまり、図１のように、隣接する３画素に
おいて、３画素とも受光データの存在する同一種類の画
素データ（ここではＧフィルタ信号）と、中間の位置に
は受光データが存在せず両端の画素位置には受光データ
が存在する別種類の画素データ（ここではＲフィルタ信
号）があるデータ系列では、中間の位置の受光データ
を、モアレの発生を抑圧して求めることができる。

【０２２５】ここで、図２４のブロック図を用いて、合
成処理回路１２のさらに詳しい構成を説明する。

【０２２６】図２４の合成処理回路１２では、垂直色モ
アレ抑圧処理を（２６）式および（２７）式に基づいて
処理している。なお、輝度信号生成回路２０７および色
差マトリックス回路２０９は、図２２と同じであるの
で、説明を省略する。

【０２２７】端子２００からＡ／Ｄ変換回路４から出力
された第２原画像信号が入力され、端子２０１から画像
メモリから出力された第１原画像信号が入力される。合
成処理回路１２は、入力された第１および第２原画像信
号から、輝度信号Ｙおよび２種類の色差信号Ｒ−Ｙ，Ｂ
−Ｙを生成し、端子２０２，２０３，２０４からそれぞ
れ出力する。高解像度出力画像信号は、輝度信号および
２種類の色差信号から構成され、この輝度信号Ｙおよび
２種類の色差信号Ｒ−Ｙ，Ｂ−Ｙは、高解像度出力画像
信号として画像メモリ５（図２参照）にストアされる。

【０２２８】端子２００から入力された第２原画像信号
は、水平ディレイライン２３１，２３２を順に通過する
ことにより、垂直方向Ｖに隣接する３行を同期化して、
信号Ｓ２(+) ，Ｓ２，Ｓ２(-) を出力する。同様に、端
子２０１から入力された第１原画像信号は、水平ディレ
イライン２３３，２３４を順に通過することにより、垂
直方向Ｖに隣接する３行を同期化して、信号Ｓ１(+) ，
Ｓ１，Ｓ１(-) を出力する。これらの信号Ｓ２(-) ，Ｓ
２，Ｓ２(+) ，Ｓ１(-) ，Ｓ１，Ｓ１(+) はスイッチ２
３５に入力される。

【０２２９】スイッチ２３５は、入力された６信号を１
画素ごとに切り替えてＲ，Ｇ，Ｂフィルタ信号ごとに分
離する。Ｇは現在処理中の画素位置のＧフィルタ信号、
Ｇ(-) は現在処理中の画素位置より１行前のＧフィルタ
信号、Ｇ(+) は現在処理中の画素位置より１行後のＧフ
ィルタ信号、Ｑは、現在処理中の行中に存在するＲまた
はＢフィルタ信号のどちらか一方である。

【０２３０】もし、現在処理中の行が図２０に関して奇
数行つまりＦａの存在する行であるならば、ＱはＲフィ
ルタ信号となる。また、現在処理中の行がＦｂの存在す
る行であるならば、ＱはＢフィルタ信号となる。Ｐ(-)
は現在処理中の画素位置より１行前のＲまたはＢフィル
タ信号のどちらか他方のフィルタ信号、Ｐ(+) は現在処
理中の画素位置より１行後のＲまたはＢフィルタ信号の
どちらか他方のフィルタ信号である。つまり、ＱがＲフ
ィルタ信号であるならば、Ｐ(+) およびＰ(-)はＢフィ
ルタ信号である。また、ＱがＢフィルタ信号であるなら
ば、Ｐ(+) およびＰ(-) はＲフィルタ信号である。

【０２３１】Ｇ(-) およびＧ(+) は、加算器２３６にて
加算された後、１／２除算器２３８により１／２にされ
る。なお、１／２除算器２３８は、ビットシフト回路に
より簡単に実現できる。加算器２４０にてＧからこの１
／２にされた信号を減算した後に、加算器２４１に入力
される。

【０２３２】一方、Ｐ(-) およびＰ(+) は加算器２３７
にて加算された後、１／２除算器２３９により１／２に
される。１／２にされた信号は加算器２４１に入力され
る。この加算器２４１の出力は、垂直色モアレ抑圧処理
された現在処理中の画素位置に対応して補間されたＰで
ある。このＰおよびＱは、スイッチ２４２に入力され
る。

【０２３３】ＰおよびＱは、１行置きにＲ”およびＢ”
フィルタ信号が切り替わっている。そこで、スイッチ２
４２は、１行置きにスイッチを切り替えている。スイッ
チ２４２から出力されたＲ”，Ｂ”フィルタ信号、およ
びスイッチ２３５から出力されたＧフィルタ信号は、輝
度信号生成回路２０７に導出される。

【０２３４】また、加算器２４３，２４４によって、
Ｒ”フィルタ信号とＧフィルタ信号の差分Ｒ”−Ｇを計
算して色差信号Ｒ−Ｇを生成し、Ｂ”フィルタ信号とＧ
フィルタ信号の差分Ｂ”−Ｇを計算して色差信号Ｂ−Ｇ
を生成している。生成された色差信号Ｒ−Ｇ，Ｂ−Ｇ信
号は、色差マトリックス回路２０９へ導出される。

【０２３５】また、一般に色差信号の高周波数成分が無
くとも視覚的に目立たないので、色差マトリックス回路
２０９の入力前の色差信号Ｒ−Ｇ，Ｂ−Ｇに、ローパス
フィルタを施して、色差信号Ｒ−Ｇ，Ｂ−Ｇを間引いて
もよい。あるいは、色差マトリックス回路２０９の出力
後の色差信号Ｒ−Ｙ，Ｂ−Ｙに、ローパスフィルタを施
して、色差信号Ｒ−Ｙ，Ｂ−Ｙを間引いてもよい。間引
くことで、高解像度出力画像のデータ量を削減すること
ができる。

【０２３６】このようにして構成される合成処理回路１
２の場合、輝度信号Ｙまたは色差信号Ｒ−Ｙ，Ｂ−Ｙに
は、ローパスフィルタなどのフィルタリング処理が無い
ため、信号処理回路６のように、図１７における破線部
分のゲインがゼロにならない。したがって、このような
合成処理回路１２を備えた本カラー撮像装置では、高解
像度出力画像信号が、折り返し周波数付近の高周波数成
分を失わないので、通常出力画像では再現できなかった
水平方向Ｈに２ＰＨ周期の縦縞、つまり水平方向Ｈに白
列と黒列が交互に並んだ縦縞も、劣化なしに再現するこ
とができる。また、通常出力画像では再現できなかった
垂直方向Ｖに２ＰＶ周期の横縞、つまり垂直方向に白行
と黒行が交互に並んだ横縞も再現することができる。

【０２３７】また、配設されている空間フィルタ４０
（或いは空間フィルタ６０）によるｆＶ／２近傍の空間
周波数成分の減衰も無いため、垂直解像度が高い。実際
の自然画像では、エッジがぼやけることなくシャープさ
を保ち、高解像度画像を撮像することができる。

【０２３８】また、通常モードにおいては、輝度信号の
高域成分である高域輝度信号ＹＨを、原画像信号をバン
ドパスフィルタ１３１（図１５参照）に通過させること
により得ているが、このバンドパスフィルタ１３１によ
り得られる高域輝度信号ＹＨは、ある着色領域から別の
着色領域（無着色を含む）へ変化する境界線部分では、
バンドパスフィルタ１３１のステップ応答が現れてしま
う。

【０２３９】例えば、白色の領域と黄色の領域が接する
直線エッジは、直線であるはずがギザギザしたエッジと
なる。これは、輝度信号Ｙのエッジに、乱れが生じて、
ギザギザした成分が含まれてしまうためである。このギ
ザギザした成分は、図１７中の破線付近の周波数成分で
ある。この画質劣化となるギザギザした成分を取り除く
には、バンドパスフィルタ１３１の高域のカットオフ周
波数（破線）を低域に下げるか、あるいは高域のカット
オフ特性を緩やかにして破線付近の周波数成分のゲイン
を下げる必要がある。

【０２４０】しかしながら、どちらの対処方法も、通常
出力画像の輝度信号Ｙの高域成分のゲインを下げること
となるので、エッジがぼやけて、シャープさが無くな
り、解像度が劣化するというトレードオフの関係にあ
る。したがって、現実的には、エッジ部に現れるギザギ
ザした成分を取り除くことと、解像度の劣化を防止する
ということを適正に考慮してバンドパスフィルタ１３１
の周波数特性を考えなければならない。また、撮像した
通常出力画像を、使用者が二次利用のために編集する際
にシャープフィルタやエッジ強調などの高域強調処理を
行うと、ギザギザしたエッジが目立つようになってしま
い、撮像された画像の利用にも障害が現れ、画像の利用
価値は低下してしまう。

【０２４１】これに対し、高解像度モードにおいては、
通常モードにおいて見られるギザギザしたエッジは現れ
ない。したがって、カラー撮像装置内にシャープフィル
タやエッジ強調などの高域強調処理を施して出力して
も、ギザギザしたエッジは現れない。

【０２４２】また、撮像した高解像度出力画像を、使用
者が二次利用のために編集する際にシャープフィルタや
エッジ強調などの高域強調処理を行っても、ギザギザし
たエッジが現れないので、撮像された画像の利用にも障
害が無く、画像の利用価値は高い。

【０２４３】ところで、上記の第１実施形態のカラー撮
像装置においては、空間フィルタ４０（或いは空間フィ
ルタ６０）は固定のものであったが、高解像度モードで
は、図２１に示したように通常モード時に存在した色差
信号のモアレのキャリア周波数（ｆＨ／２，ｆＶ／
２）、（−ｆＨ／２，ｆＶ／２）は、消滅している。従
って、空間フィルタ４０（或いは空間フィルタ６０）に
よって作用された図２１の破線に示す空間周波数成分の
トラップは特に必要ではない。

【０２４４】そこで、本発明の第２実施形態のカラー撮
像装置では、通常モードでは空間フィルタ４０（或いは
空間フィルタ６０）を作用させ、高解像度モードでは空
間フィルタ４０（或いは空間フィルタ６０）を作用させ
ない構成となっている。

【０２４５】空間フィルタ４０（或いは空間フィルタ６
０）を作用させない構成として、ここでは、光学系１内
に設置される空間フィルタ４０（或いは空間フィルタ６
０）全体を、光路から機械的に移動させる、つまり着脱
させる構成を採用している。

【０２４６】ここでは、撮影モードを切り換えるレバー
に連動して、空間フィルタ４０（或いは空間フィルタ６
０）を光路内に移動もしくは着脱させるようになってお
り、使用者がレバーを切り換えるごとに、撮影モードに
応じて空間フィルタ４０（或いは空間フィルタ６０）
が、作用もしくは非作用になる。

【０２４７】このような構成によるカラー撮像装置は、
この空間フィルタ４０（或いは空間フィルタ６０）によ
って、（ｆＨ／２，ｆＶ／２）、（−ｆＨ／２，ｆＶ／
２）付近の空間周波数成分が低下しないので、高解像度
モードによる撮像にて生成される高解像度出力画像は、
高周波数成分のゲインが大きくなる。つまり、高解像度
出力画像はより高画質になる。

【０２４８】具体的には、斜め方向に、（３２）式で定
義される周期Ｔの斜め縞、つまり斜め方向に白線と黒線
とが交互に並んだ斜め線（見方によっては白黒の市松模
様にも見える）を、第２実施形態のカラー撮像装置では
再現できるが、第１実施形態のカラー撮像装置では、再
現できず、実際の自然画像では、斜め方向のエッジがぼ
やけることが生じ、画質が損なわれてしまう。

【０２４９】

【数２３】

【０２５０】また、上記の第１および第２実施形態１の
カラー撮像装置は、高解像度モードでは、２枚の原画像
を撮像することが行われるが、この２枚の原画像間に光
量差があると、高解像度出力画像に市松模様が発生する
ことが知られている。これに対処する光量差補正処理
を、既に発明者らは特願平８−３４９１５９号にて提案
している。

【０２５１】図２２に示した合成処理回路１２に、この
光量差補正処理を組み込む場合は、スイッチ２０５から
出力されたＲ，Ｇ，Ｂフィルタ信号に、それぞれローパ
スフィルタを施す。このような構成にすることにより、
１枚の画像メモリだけしか持たない上記の第１および第
２実施形態１のカラー撮像装置でも、光量差補正を行う
ことができる。

【０２５２】このローパスフィルタは、Ｒ，Ｇ，Ｂフィ
ルタ信号それぞれの基底帯域を通過帯域とし、その境界
線上においてゲインがゼロであることが望ましい。した
がって、このローパスフィルタは、２次元フィルタとな
る。また、ローパスフィルタは直線位相特性であること
が望ましい。また、Ｒ，Ｇ，Ｂフィルタ信号の場合は、
ｆＨ／２にカットオフ周波数をもつ水平方向の１次元ロ
ーパスフィルタでもよい。この場合は、垂直方向の解像
度を劣化させないという利点がある。また、Ｇフィルタ
信号の場合は、ｆＶ／２にカットオフ周波数をもつ垂直
方向の１次元ローパスフィルタでもよい。

【０２５３】Ｒ，Ｇ，Ｂフィルタ信号それぞれに、ｆＨ
／２にカットオフ周波数をもつ水平方向の１次元ローパ
スフィルタを施す場合の光量差補正処理の一例は、（３
３）式で定義されるｆ２を用いて表すことができる。

【０２５４】

【数２４】

【０２５５】このローパスフィルタｆ２は、１行４列の
行列として表される１次元ローパスフィルタである。第
ｐ列の要素をｆ２（ｐ）として表すと、この１次元ロー
パスフィルタｆ２により、光量差補正処理は、（３４）
式で計算できる。

【０２５６】

【数２５】

【０２５７】ここで、Ｘ（ｎ，ｍ）は、補間前のＸフィ
ルタ信号の第ｎ行第ｍ列の受光データを表す。また、
Ｘ’（ｎ，ｍ）は、補間後のＸフィルタ信号の第ｎ行第
ｍ列の受光データを表す。

【０２５８】このようなローパスフィルタを施すことに
より、画像のどの部分においても、また、部分ごとに光
量差が異なる場合でも、光量差を補正することができ
る。

【０２５９】なお、光量差補正処理を追加することによ
り、図１７における破線部分のゲインがゼロになる。例
えば（３３）式と（３４）式により定義される１次元ロ
ーパスフィルタによる光量差補正処理では、破線のうち
で水平方向Ｈの空間周波数がｆＨ／２である空間周波数
成分のゲインがゼロになる。したがって、光量差補正処
理によって、垂直解像度の低下は無いが、水平解像度の
低下が発生してしまう。しかし、通常モードで発生した
ようなギザギザしたエッジが発生しないため、（３３）
式で定義されるような１次元ローパスフィルタよりもも
っとカットオフ特性の急峻で、破線付近の周波数成分の
ゲインの高いフィルタも適応することができ、水平解像
度の低下を小さくすることもできる。

【０２６０】

【発明の効果】本発明の画像合成処理方法は、以上のよ
うに、撮像素子の結像面における結像位置を移動させる
イメージシフト動作にて得た結像位置が１画素だけ異な
る２枚の撮像画像を、結像位置の離反量だけ位置の移動
方向とは逆方向にずらして重ね合わせて合成画像を得る
画像合成処理方法において、異なる結像位置で撮像され
た２枚の画像を重ね合わせて得た、局所的な領域にて相
関のある、第１の色フィルタの受光データ群と、第２の
色フィルタの受光データ群との間で、第１の色フィルタ
の受光データ群の欠落したデータを、該欠落データと同
じ位置にある第２の色フィルタのデータ群のデータに、
第１の色フィルタのデータ群をローパスフィルタ処理し
た値を加算し、さらに第２の色フィルタのデータ群をロ
ーパスフィルタ処理した値を引くことにより求める構成
である。

【０２６１】本発明の画像合成処理方法は、さらに、上
記のローパスフィルタ処理が、第１の色フィルタの受光
データ群の場合は求めるべきデータの位置に隣接する２
つのデータの平均をとり、第２の色フィルタの受光デー
タ群の場合は求めるべきデータと同じ位置に隣接する２
つのデータの平均をとる構成である。

【０２６２】本発明の画像合成処理方法は、さらに、ま
ずは１枚目に撮像された画像を上書き可能な画像メモリ
に蓄積し、その後の２枚目以降は、画像を撮像するたび
に、画像メモリに蓄積された画像と、撮像された画像と
を合成処理し、該合成処理した画像を再び画像メモリに
上書きして蓄積する工程を繰り返す構成である。

【０２６３】本発明の画像合成処理回路は、以上のよう
に、撮像素子の結像面における結像位置を移動させるイ
メージシフト動作にて得た結像位置が１画素だけ異なる
２枚の撮像画像を結像位置の離反量だけ位置の移動方向
とは逆方向にずらして重ね合わせて合成画像を生成する
画像合成処理回路において、複数のデータ群からなるデ
ータ系列の欠落したデータを補間するデータ補間処理回
路が備えられており、該データ補間処理回路は、欠落デ
ータを有する第１のデータ系列のデータ群をローパスフ
ィルタ処理する第１のローパスフィルタ処理手段と、上
記の第１のデータ系列と局所的な領域において相関のあ
る第２のデータ系列のデータ群をローパスフィルタ処理
する第２のローパスフィルタ処理手段と、第１のデータ
系列における欠落したデータと同じ位置にある第２のデ
ータ系列のデータに、第１のデータ系列のデータ群のロ
ーパスフィルタ処理した値を加算する加算手段と、該加
算手段の計算値から、第２のデータ系列のデータ群をロ
ーパスフィルタ処理した値を減算する減算手段とを備
え、上記の第１および第２のデータ系列が、異なる色フ
ィルタ配列により受光された２種類の受光データ群であ
って、異なる結像位置において撮像された２枚の画像を
重ね合わせて得た、第１の色フィルタの受光データ群
と、第２の色フィルタの受光データ群とである構成であ
る。

【０２６４】本発明の画像合成処理回路は、さらに、上
記の第１ローパスフィルタ処理手段は、求めるべきデー
タの位置に隣接する２つのデータの平均をとることでロ
ーパスフィルタ処理を実施し、上記の第２ローパスフィ
ルタ処理手段は、求めるべきデータと同じ位置に隣接す
る２つのデータの平均をとることでローパスフィルタ処
理を実施する構成である。

【０２６５】本発明の画像合成処理回路は、さらに、１
枚目に撮像された画像を上書き可能な画像メモリに蓄積
する手段と、２枚目以降の撮像が行われるたびに、上記
画像メモリに蓄積された画像を読み出して撮像された画
像とを合成処理し、該合成処理した画像を再び上記画像
メモリに上書きする手段とを備えている構成である。

【０２６６】本発明のカラー撮像装置は、撮像素子の結
像面における結像位置を移動させるイメージシフト動作
を実施して、結像位置が１画素だけ異なる２枚の撮像画
像を得て、画像合成処理回路にて、これら２枚の撮像画
像を結像位置の離反量だけ位置の移動方向とは逆方向に
ずらして重ね合わせて合成画像を生成するカラー撮像装
置において、上記画像合成処理回路に、複数のデータ群
からなるデータ系列の欠落したデータを補間するデータ
補間処理回路が備えられており、該データ補間処理回路
は、欠落データを有する第１のデータ系列のデータ群を
ローパスフィルタ処理する第１のローパスフィルタ処理
手段と、上記の第１のデータ系列と局所的な領域におい
て相関のある第２のデータ系列のデータ群をローパスフ
ィルタ処理する第２のローパスフィルタ処理手段と、第
１のデータ系列における欠落したデータと同じ位置にあ
る第２のデータ系列のデータに、第１のデータ系列のデ
ータ群のローパスフィルタ処理した値を加算する加算手
段と、該加算手段の計算値から、第２のデータ系列のデ
ータ群をローパスフィルタ処理した値を減算する減算手
段とを備え、上記の第１および第２のデータ系列が、異
なる色フィルタ配列により受光された２種類の受光デー
タ群であって、異なる結像位置において撮像された２枚
の画像を重ね合わせて得た、第１の色フィルタの受光デ
ータ群と、第２の色フィルタの受光データ群とである構
成である。

【０２６７】本発明のカラー撮像装置は、さらに、上記
の第１ローパスフィルタ処理手段は、求めるべきデータ
の位置に隣接する２つのデータの平均をとることでロー
パスフィルタ処理を実施し、上記の第２ローパスフィル
タ処理手段は、求めるべきデータと同じ位置に隣接する
２つのデータの平均をとることでローパスフィルタ処理
を実施する構成である。

【０２６８】本発明のカラー撮像装置は、さらに、上記
画像合成処理回路が、１枚目に撮像された画像を上書き
可能な画像メモリに蓄積する手段と、２枚目以降の撮像
が行われるたびに、上記画像メモリに蓄積された画像を
読み出して撮像された画像とを合成処理し、該合成処理
した画像を再び上記画像メモリに上書きする手段とを備
えている構成である。

【０２６９】本発明の別のカラー撮像装置は、複数の色
彩光にそれぞれ対応し、入射される被写体からの画像光
のうちの対応する色彩光だけを個別的に通過させる複数
の透光領域を有し、該透光領域が２次元平面上に配列さ
れた色フィルタであって、透光領域は、第１〜第３の色
彩光を通過させる第１〜第３透光領域に区分され、第１
および第２透光領域が一方方向に沿って第１周期で直線
状に配列された第１群と、第１および第３透光領域が一
方方向に沿って第１周期で直線上に配列された第２群と
が、一方方向と直交する他方方向に沿って第２周期で交
互に、かつ、第１群の第１透光領域に第３透光領域が他
方方向の両側に隣接するように配列された色フィルタ
と、上記色フィルタの透光領域に個別的に対応した受光
領域が、透光領域の配列と同等の配列で２次元平面上に
配列され、各受光領域では対応した透光領域を通過した
色彩光だけを受光し、各受光領域の受光量を示す画素デ
ータから構成される画像信号を出力する撮像素子と、上
記撮像素子に入射される画像光の結像位置を、基準位置
である第１移動位置と、第１移動位置から一方方向に第
１周期の長さだけ相互にずれた第２移動位置に相対的に
移動させる移動手段と、上記撮像素子から出力された２
つの画像信号を撮像時の結像位置の離反量だけ位置の移
動方向とは逆方向にずらして重ね合わせて、撮像素子か
らは得られなかった第２または第３色彩光に対応する画
素データを求めて合成画像信号を生成する画像合成手段
と、撮影が開始されると、移動手段によって画像光の結
像位置を第１および第２移動位置のいずれか一方位置に
移動させ、該移動位置において撮像素子に画像光を撮像
させて画像信号を画像合成手段に与え、次いで移動手段
によって結像位置をいずれか他方位置に移動させ、該移
動位置において撮像素子に画像光を撮像させて画像信号
を画像合成手段に与える制御手段とを備え、かつ、上記
画像合成手段が、撮像素子からは得られなかった第２ま
たは第３の色彩光に対応する画素データを、該画素デー
タと同じ位置にある第１色彩光に対応する画素データ
に、該画素データと同じ位置を通る一方方向に沿って配
列された第２または第３色彩光に対応する画素データ群
をローパスフィルタ処理した値を加算し、さらに該画素
データと同じ位置を通る一方方向に沿って配列された第
１色彩光に対応する画素データ群をローパスフィルタ処
理した値を引くことにより求める構成である。

【０２７０】本発明の上記別のカラー撮像装置は、さら
に、第１回目に撮像された画像信号を蓄積し、第２回目
の撮像に同期して蓄積した画像信号を出力し、出力した
領域に画像合成手段から出力された合成画像信号を上書
きして蓄積する画像メモリをさらに備えた構成である。

【０２７１】本発明の上記別のカラー撮像装置は、さら
に、上記画像合成手段が、第１色彩光に対応する画素デ
ータ群をローパスフィルタ処理する際は、求めるべき画
素データの位置に隣接する２つの画素データの平均をと
ることで処理を実施し、第２および第３色彩光に対応す
る画素データ群のローパスフィルタ処理する際は、求め
るべき画素データと同じ位置に隣接する２つの画素デー
タの平均をとることで処理を実施する構成である。

【０２７２】上記構成により、隣接する３画素におい
て、３画素とも受光データの存在する同一種類の画素デ
ータと、中間の位置には受光データが存在せず両端の画
素位置には受光データが存在する別種類の画素データが
あるデータ系列では、中間の位置の受光データを、モア
レの発生を抑圧して求めることができる。

【０２７３】したがって、例えば、前述の従来技術の項
で述べた、本願出願人が先に提案しているカラー撮像装
置における、高解像度モード時の画像を合成する処理に
供することで、モアレを消滅させることが可能となる。
これにより、基底帯域内に存在するキャリア周波数
（０，ｆＶ／２）の色差信号のモアレを消滅させること
が可能となる。

【０２７４】したがって、合成画像信号の基底帯域の水
平方向の実質の幅が拡大すると共に、垂直方向の実質の
幅が拡大し、その結果、このような単板式のカラー撮像
装置においては、水平解像度だけでなく垂直解像度の向
上を得ることができるという効果を奏する。

【０２７５】しかも、モアレの抑制を、例えば加算器と
ビットシフトだけの簡単な回路構成で実現できるため、
消費電力が低く安価で小型のカラー撮像装置を実現でき
る。

【０２７６】特に、求めるべきデータの位置、或いは該
データと同じ位置に隣接する２つのデータの平均をとっ
てローパスフィルタ処理を行う構成では、ローパスフィ
ルタ処理として、隣接する４つのデータから計算する方
法に比べ、２つのデータの平均をとる方法の場合、計算
に用いるデータ数が少ないので、処理速度が速く、回路
規模が小さいといった利点がある。

【０２７７】また、合成処理した画像を再び上記画像メ
モリに上書きする構成では、手段と画像メモリの容量
は、原画像もしくは高解像度出力画像の１枚分だけでよ
く、２枚分以上の容量を必要としない。その結果、この
ような画像合成処理回路を備えたカラー撮像装置では、
画像メモリの容量が少なくて済み、コスト削減が図れる
という効果を奏する。

【０２７８】本発明の上記別のカラー撮像装置は、さら
に、上記移動手段における結像位置の移動を許容または
禁止する移動判定手段と、撮像素子に入射される画像光
の空間周波数成分を減衰させる固定空間フィルタをさら
に含む構成である。

【０２７９】この構成により、原画像信号から生成され
た通常出力画像信号を出力する一方モードと、２枚の原
画像信号から合成画像信号を生成して出力する他方モー
ドとの２つの解像度のモードが実現する。この場合、合
成画像信号を生成するモードでは、モアレが発生しない
ので、このモアレを目立たなくするための光学的ローパ
スフィルタである空間フィルタを設ける必要がない。

【０２８０】したがって、空間フィルタは、原画像信号
をそのまま出力するモードでのモアレを目立たなくする
ものだけでよく、また、一方モードに適合させた空間フ
ィルタでよく、他方モードではその空間フィルタをその
まま適用することができ、可変機構を必要としない固定
のものでよい。そのため、切り替えるのに時間を要せ
ず、すばやく切り替えることができる。また、切り替え
るごとに可変機構を動作させることがないために、耐久
性がある。その結果、安価で小型のカラー撮像装置を実
現できる。

【０２８１】本発明の上記別のカラー撮像装置は、さら
に、上記移動手段における結像位置の移動を許容または
禁止する移動判定手段と、撮像素子に入射される画像光
の空間周波数成分を減衰させる可変空間フィルタであっ
て、撮像位置の移動が禁止されるときに空間周波数成分
を第１の減衰量だけ減衰させ、許容されるときは画像光
の光路から除去される可変空間フィルタをさらに含む構
成である。

【０２８２】これにより、空間フィルタが光路から抜脱
される可変空間フィルタの構成としているため、可変空
間フィルタの問題は解決することはできないが、合成画
像信号を出力するモードでの画像が固定空間フィルタを
備えた構成よりも画質が良いといった効果を奏する。

【０２８３】本発明の上記別のカラー撮像装置は、さら
に、上記画像合成手段が、画像メモリから出力された画
像信号と撮像素子から出力された画像信号とを重ね合わ
せた後に、３種類の色彩光に対応するそれぞれの画素デ
ータごとに、２回の撮像間の光量差に基づいて発生する
空間周波数成分を取り除く、ローパスフィルタからなる
光量差補正手段を有する構成である。

【０２８４】これにより、２枚の原画像間に光量差が生
じる場合でも、１枚の画像メモリしかないカラー撮像装
置においても、ローパスフィルタを施すことにより光量
差を補正することができる。

【図面の簡単な説明】

【図１】本発明の第１実施形態であるカラー撮像装置に
おける、合成処理回路の垂直色モアレ抑圧処理を示す模
式図である。

【図２】上記のカラー撮像装置の構成を示すブロック図
である。

【図３】撮像素子の結像面の様子を示す説明図である。

【図４】高解像度モードでの撮像素子の結像面における
画像光の第１および第２結像位置の位置関係を示す説明
図である。

【図５】色フィルタの透光領域の配列を示す説明図であ
る。

【図６】レンズ群、イメージシフト機構の屈折板、およ
び撮像素子の位置関係を示す説明図である。

【図７】イメージシフト機構の具体的構成を示す斜視図
である。

【図８】空間フィルタの具体的構成を示す斜視図であ
る。

【図９】（ａ)(ｂ）はそれぞれ、図８の空間フィルタを
構成する２枚の複屈折板の分離ベクトルをＨＶ平面に投
影した状態を示す説明図である。

【図１０】別の具体的構成である空間フィルタを示す斜
視図である。

【図１１】（ａ)(ｂ)(ｃ）はそれぞれ、図１０の空間フ
ィルタを構成する３枚の複屈折板の分離ベクトルをＨＶ
平面に投影した状態を示す説明図である。

【図１２】図８の空間フィルタを通過して４本に分離し
た光線の位置関係を示す説明図である。

【図１３】図８の空間フィルタおよび図１０の空間フィ
ルタの空間周波数特性を示す説明図である。

【図１４】通常出力画像信号の輝度信号および色差信号
のモアレのキャリア周波数を示す空間周波数平面図であ
る。

【図１５】上記カラー撮像装置における信号処理回路の
構成を示すブロック図である。

【図１６】色フィルタの透光領域の配列のうち６行４列
で構成される一部分を示す説明図である。

【図１７】図１５の信号処理回路に備えられたバンドパ
スフィルタの空間周波数特性を示す空間周波数平面図で
ある。

【図１８】図１７のバンドパスフィルタの水平方向のフ
ィルタ特性を示す模式図である。

【図１９】図１７のバンドパスフィルタの垂直方向のフ
ィルタ特性を示す模式図である。

【図２０】２枚の原画像信号を重ね合わせた画像の等価
的な色フィルタ配列パターンを示す図である。

【図２１】２枚の原画像信号を重ね合わせた画像の等価
的な色フィルタ配列の輝度信号および色差信号のモアレ
のキャリア周波数を示す空間周波数平面図である。

【図２２】上記カラー撮像装置における合成処理回路の
構成を示すブロック図である。

【図２３】（ａ）〜（ｃ）は、空間周波数成分（０，ｆ
Ｖ／２）をもつ画像を撮像した際に発生する色差信号の
モアレを消去できることを示す模式図である。

【図２４】図２２の合成処理回路のさらに詳しい構成を
示すブロック図である。

【図２５】先願の色フィルタの透光領域の配列を示す説
明図である。

【図２６】先願のカラー撮像装置における高解像度モー
ドでの撮像素子の結像面における画像光の第１および第
２結像位置の位置関係を示す説明図である。

【図２７】先願のカラー撮像装置における通常出力画像
信号の輝度信号および色差信号のモアレのキャリア周波
数を示す空間周波数平面図である。

【図２８】先願のカラー撮像装置における高解像度出力
画像信号の輝度信号および色差信号のモアレのキャリア
周波数を示す空間周波数平面図である。

【符号の説明】

１光学系２撮像素子５画像メモリ６信号処理回路８駆動回路１２合成処理回路（画像合成手段）１５色フィルタ２２イメージシフト機構２０６垂直色モアレ抑圧処理回路（データ補間処理回
路）

───────────────────────────────────────────────────── フロントページの続き (56)参考文献特開平７−322152（ＪＰ，Ａ) 特開平10−178650（ＪＰ，Ａ) 特開平10−243408（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 9/04 - 9/11

Claims

(57)【特許請求の範囲】

【請求項１】撮像素子の結像面における結像位置を移動
させるイメージシフト動作にて得た結像位置が１画素だ
け異なる２枚の撮像画像を、結像位置の離反量だけ位置
の移動方向とは逆方向にずらして重ね合わせて合成画像
を得る画像合成処理方法において、異なる結像位置で撮像された２枚の画像を重ね合わせて
得た、局所的な領域にて相関のある、第１の色フィルタ
の受光データ群と、第２の色フィルタの受光データ群と
の間で、第１の色フィルタの受光データ群の欠落したデ
ータを、該欠落データと同じ位置にある第２の色フィル
タのデータ群のデータに、第１の色フィルタのデータ群
をローパスフィルタ処理した値を加算し、さらに第２の
色フィルタのデータ群をローパスフィルタ処理した値を
引くことにより求めることを特徴とする画像合成処理方
法。
【請求項２】上記のローパスフィルタ処理が、第１の色
フィルタの受光データ群の場合は求めるべきデータの位
置に隣接する２つのデータの平均をとり、第２の色フィ
ルタの受光データ群の場合は求めるべきデータと同じ位
置に隣接する２つのデータの平均をとることを特徴とす
る請求項１に記載の画像合成処理方法。
【請求項３】まずは１枚目に撮像された画像を上書き可
能な画像メモリに蓄積し、その後の２枚目以降は、画像
を撮像するたびに、画像メモリに蓄積された画像と、撮
像された画像とを合成処理し、該合成処理した画像を再
び画像メモリに上書きして蓄積する工程を繰り返すこと
を特徴とする請求項１又は２に記載の画像合成処理方
法。
【請求項４】撮像素子の結像面における結像位置を移動
させるイメージシフト動作にて得た結像位置が１画素だ
け異なる２枚の撮像画像を結像位置の離反量だけ位置の
移動方向とは逆方向にずらして重ね合わせて合成画像を
生成する画像合成処理回路において、複数のデータ群からなるデータ系列の欠落したデータを
補間するデータ補間処理回路が備えられており、該データ補間処理回路は、欠落データを有する第１のデ
ータ系列のデータ群をローパスフィルタ処理する第１の
ローパスフィルタ処理手段と、上記の第１のデータ系列と局所的な領域において相関の
ある第２のデータ系列のデータ群をローパスフィルタ処
理する第２のローパスフィルタ処理手段と、第１のデータ系列における欠落したデータと同じ位置に
ある第２のデータ系列のデータに、第１のデータ系列の
データ群のローパスフィルタ処理した値を加算する加算
手段と、該加算手段の計算値から、第２のデータ系列のデータ群
をローパスフィルタ処理した値を減算する減算手段とを
備え、上記の第１および第２のデータ系列が、異なる色フィル
タ配列により受光された２種類の受光データ群であっ
て、異なる結像位置において撮像された２枚の画像を重
ね合わせて得た、第１の色フィルタの受光データ群と、
第２の色フィルタの受光データ群とであることを特徴と
する画像合成処理回路。
【請求項５】上記の第１ローパスフィルタ処理手段は、
求めるべきデータの位置に隣接する２つのデータの平均
をとることでローパスフィルタ処理を実施し、上記の第２ローパスフィルタ処理手段は、求めるべきデ
ータと同じ位置に隣接する２つのデータの平均をとるこ
とでローパスフィルタ処理を実施することを特徴とする
請求項４に記載の画像合成処理回路。
【請求項６】１枚目に撮像された画像を上書き可能な画
像メモリに蓄積する手段と、２枚目以降の撮像が行われるたびに、上記画像メモリに
蓄積された画像を読み出して撮像された画像とを合成処
理し、該合成処理した画像を再び上記画像メモリに上書
きする手段とを備えていることを特徴とする請求項４又
は５に記載の画像合成処理回路。
【請求項７】撮像素子の結像面における結像位置を移動
させるイメージシフト動作を実施して、結像位置が１画
素だけ異なる２枚の撮像画像を得て、画像合成処理回路
にて、これら２枚の撮像画像を結像位置の離反量だけ位
置の移動方向とは逆方向にずらして重ね合わせて合成画
像を生成するカラー撮像装置において、上記画像合成処理回路に、複数のデータ群からなるデー
タ系列の欠落したデータを補間するデータ補間処理回路
が備えられており、該データ補間処理回路は、欠落データを有する第１のデ
ータ系列のデータ群をローパスフィルタ処理する第１の
ローパスフィルタ処理手段と、上記の第１のデータ系列と局所的な領域において相関の
ある第２のデータ系列のデータ群をローパスフィルタ処
理する第２のローパスフィルタ処理手段と、第１のデータ系列における欠落したデータと同じ位置に
ある第２のデータ系列のデータに、第１のデータ系列の
データ群のローパスフィルタ処理した値を加算する加算
手段と、該加算手段の計算値から、第２のデータ系列のデータ群
をローパスフィルタ処理した値を減算する減算手段とを
備え、上記の第１および第２のデータ系列が、異なる色フィル
タ配列により受光された２種類の受光データ群であっ
て、異なる結像位置において撮像された２枚の画像を重
ね合わせて得た、第１の色フィルタの受光データ群と、
第２の色フィルタの受光データ群とであることを特徴と
するカラー撮像装置。
【請求項８】上記の第１ローパスフィルタ処理手段は、
求めるべきデータの位置に隣接する２つのデータの平均
をとることでローパスフィルタ処理を実施し、上記の第２ローパスフィルタ処理手段は、求めるべきデ
ータと同じ位置に隣接する２つのデータの平均をとるこ
とでローパスフィルタ処理を実施することを特徴とする
請求項７に記載のカラー撮像装置。
【請求項９】上記画像合成処理回路が、１枚目に撮像さ
れた画像を上書き可能な画像メモリに蓄積する手段と、２枚目以降の撮像が行われるたびに、上記画像メモリに
蓄積された画像を読み出して撮像された画像とを合成処
理し、該合成処理した画像を再び上記画像メモリに上書
きする手段とを備えていることを特徴とする請求項７又
は８に載のカラー撮像装置。
【請求項１０】複数の色彩光にそれぞれ対応し、入射さ
れる被写体からの画像光のうちの対応する色彩光だけを
個別的に通過させる複数の透光領域を有し、該透光領域
が２次元平面上に配列された色フィルタであって、透光領域は、第１〜第３の色彩光を通過させる第１〜第
３透光領域に区分され、第１および第２透光領域が一方
方向に沿って第１周期で直線状に配列された第１群と、
第１および第３透光領域が一方方向に沿って第１周期で
直線上に配列された第２群とが、一方方向と直交する他
方方向に沿って第２周期で交互に、かつ、第１群の第１
透光領域に第３透光領域が他方方向の両側に隣接するよ
うに配列された色フィルタと、上記色フィルタの透光領域に個別的に対応した受光領域
が、透光領域の配列と同等の配列で２次元平面上に配列
され、各受光領域では対応した透光領域を通過した色彩
光だけを受光し、各受光領域の受光量を示す画素データ
から構成される画像信号を出力する撮像素子と、上記撮像素子に入射される画像光の結像位置を、基準位
置である第１移動位置と、第１移動位置から一方方向に
第１周期の長さだけ相互にずれた第２移動位置に相対的
に移動させる移動手段と、上記撮像素子から出力された２つの画像信号を撮像時の
結像位置の離反量だけ位置の移動方向とは逆方向にずら
して重ね合わせて、撮像素子からは得られなかった第２
または第３色彩光に対応する画素データを求めて合成画
像信号を生成する画像合成手段と、撮影が開始されると、移動手段によって画像光の結像位
置を第１および第２移動位置のいずれか一方位置に移動
させ、該移動位置において撮像素子に画像光を撮像させ
て画像信号を画像合成手段に与え、次いで移動手段によ
って結像位置をいずれか他方位置に移動させ、該移動位
置において撮像素子に画像光を撮像させて画像信号を画
像合成手段に与える制御手段とを備え、かつ、上記画像合成手段が、撮像素子からは得られなか
った第２または第３の色彩光に対応する画素データを、
該画素データと同じ位置にある第１色彩光に対応する画
素データに、該画素データと同じ位置を通る一方方向に
沿って配列された第２または第３色彩光に対応する画素
データ群をローパスフィルタ処理した値を加算し、さら
に該画素データと同じ位置を通る一方方向に沿って配列
された第１色彩光に対応する画素データ群をローパスフ
ィルタ処理した値を引くことにより求めることを特徴と
するカラー撮像装置。
【請求項１１】１回目に撮像された画像信号を蓄積し、
第２回目の撮像に同期して蓄積した画像信号を出力し、
出力した領域に画像合成手段から出力された合成画像信
号を上書きして蓄積する画像メモリをさらに備えたこと
を特徴とする請求項１０に記載のカラー撮像装置。
【請求項１２】上記画像合成手段が、第１色彩光に対応
する画素データ群をローパスフィルタ処理する際は、求
めるべき画素データの位置に隣接する２つの画素データ
の平均をとることで処理を実施し、第２および第３色彩光に対応する画素データ群のローパ
スフィルタ処理する際は、求めるべき画素データと同じ
位置に隣接する２つの画素データの平均をとることで処
理を実施することを特徴とする請求項１０又は１１に記
載のカラー撮像装置。
【請求項１３】上記画像合成手段が、画像メモリから出
力された画像信号と撮像素子から出力された画像信号と
を重ね合わせた後に、３種類の色彩光に対応するそれぞ
れの画素データごとに、２回の撮像間の光量差に基づい
て発生する空間周波数成分を取り除く、ローパスフィル
タからなる光量差補正手段を有することを特徴とする請
求項１１に記載のカラー撮像装置。
【請求項１４】上記移動手段における結像位置の移動を
許容または禁止する移動判定手段と、撮像素子に入射される画像光の空間周波数成分を減衰さ
せる固定空間フィルタをさらに含むことを特徴とする請
求項１０又は１１に記載のカラー撮像装置。
【請求項１５】上記移動手段における結像位置の移動を
許容または禁止する移動判定手段と、撮像素子に入射さ
れる画像光の空間周波数成分を減衰させる可変空間フィ
ルタであって、撮像位置の移動が禁止されるときに空間
周波数成分を第１の減衰量だけ減衰させ、許容されると
きは画像光の光路から除去される可変空間フィルタをさ
らに含むことを特徴とする請求項１０又は１１に記載の
カラー撮像装置。