WO2005117453A1

WO2005117453A1 - 撮像装置

Info

Publication number: WO2005117453A1
Application number: PCT/JP2005/007187
Authority: WO
Inventors: Masafumi Sei; Takashi Masuda
Original assignee: Acutelogic Corporation
Priority date: 2004-05-26
Filing date: 2005-04-07
Publication date: 2005-12-08
Also published as: JPWO2005117453A1; US7626154B2; EP1758404A4; KR100878785B1; JP4084402B2; KR20070032946A; US20070070225A1; CN100579240C; CN1957618A; EP1758404A1

Abstract

光学的ローパスフィルタ２の周波数特性を、撮像素子５における各色成分についての縦方向、横方向および斜め方向のサンプリング周波数のうち最も小さいサンプリング周波数ｆｓに対するナイキスト周波数ｆａ以上の周波数成分領域であって、撮像素子５のサンプリング周波数ｆｓのナイキスト周波数ｆｓ／２より低い周波数成分領域を通過させる周波数成分の割合を示す第１偽色通過率が所定の値以下に設定するとともに、撮像素子５により生成されたＮ（Ｎは２以上の実数）個の画素信号が１個の出力画像信号に相当するように、撮像素子５により生成された画素信号から出力画像信号を生成する。

Description

撮像装置技術分野

本発明は、デジタルカメラやデジタルビデオカメラ等の撮像装置に関し、特に、単板式の撮像素子により被写体を撮像する撮像装置に関するものである。明

糸田 1

背景技術書

従来より、カラ一画像の撮像装置を単板式の撮像素子によって構成する場合、フォトダイオード（画素）を正方格子状やこれを 4 5 ° に傾斜させた正方格子状に配列させるとともに、各フォトダイオードの受光面上に R色（赤色）、 G色（緑色）および B色（青色）等の色成分に対応するカラ一フィルタを R G G B等、規則的に配置している。そして、正方格子配列の場合は、 1画素の撮像素子から 1画素分の出力画像信号を出力し、 4 5 ° 傾斜正方格子配列の場合は、 1画素の撮像素子から 2画素分の出力画像信号を出力し、出力画像を生成するようになっている。

このようなカラー画像を撮影する撮像装置において正確な出力画像を生成するためには、撮像素子のサンプリング周波数が被写体の空間周波数の 2倍以上である必要がある。すなわち、被写体の空間周波数が、撮像素子のナイキスト周波数（サンプリング周波数の 1 2周波数）を越えている場合、被写体の明暗の境界などに偽色（色モアレ）が発生してしまうおそれがある。このため、通常は、撮像素子のナイキスト周波数をカットオフ周波数に設定した光学ローパスフィルタを光路中に設け、撮像素子に入射する撮像光をフィルタリングしている。単板式の撮像素子で構成された従来の撮像装置としては、特開平 6 — 1 4 1 3 3 0号公報に記載の発明が提案されている（特許文献 1 ) 。この公報に記載の発明は、主として、単板または 2板タイプの撮像素子と、遮断周波数がサンプリング周波数の 1 Z 2以下の周波数であってビデォアンプ回路出力から有効な R成分， G成分， B成分を検出する低域フィルタ回路とを有している。

特許文献 1 ：特開平 6 — 1 4 1 3 3 0号公報明の開

しかしながら、特開平 6 — 1 4 1 3 3 0号公報に記載された発明を含め従来提案されている単板式の撮像素子の場合、撮像素子と出力画像の画素とは 1 ： 1 または 1 ： 2 の関係の下で出力画像が構成されているのため、出力画像を構成する各画は、撮像素子から R色、 G色、

B色のいずれか一色の出力信号を受けるだけであり、他の 2色の信号を当該画素周辺の他の画素から補間するとにより、いわば出力色を推定するよになっている。したがって 3板式の撮像素子であれば、各画素とに R色、 G色および Β色の信号を取得するため、偽色が発生し得ないのに対し、単板式の撮像素子では完全に正確な色を再現するのは困難であり、偽色が発生しやすい。

偽色が発生しやすいメカニズムについて更に検討すれば、図 2 あるいは図 4 に示すように、従来、光学口パスフィル夕のカツ卜オフ周波数 f c はすべての色のサンプリング周波数の 1 Ζ 2周波数 (ナイキス卜周波数）未満に設定できているわけではないという問題が挙げられる。例えば、図 1 および図 2 に示すように、正方格子配列された撮像画素上にカラーフィルタがべィャ一配列されている撮像素子（画素ピッチ： d ) の場合、光学口一パスフィル夕のカットオフ周波数 f c は、全色のサンプリング周波数に対するナイキス卜周波数未満に S 定するのが好ましいしかし、現実には、解像度を犠牲にした <ないため、視覚に与える影響の大きい G色の縦横方向におけるサンプ U ング周波数に合わせて f S / 2 ( f s '· 撮 w素子のサンプリング周波数 ) 辺りに設疋しる。このため、力ッ Vォフ周波数 f c は、 G色の縦横方向に不要な高い周波数を除去するしとができるが、 R色および B色の縦横方向におけるナイキス卜周波数、よび R色、 G色、 B色に 45ける斜め方向のナイキスト周波数よりも高い周波数を透過させてしまうためゝしれらの色に関する画素信号が正し <推定されず、偽色が発生し易 <なるという欠点があるなお、光学ローパスフィル夕のカツトオフ周波数 f c を R色、 G色、

B色のうち最も小さいサンプリング周波数である、 R色および B色の縦横方向におけるサンプ U ング周波数に対するナイキスト周波数未満に又定すれば各色の偽色発生を防止できるが、 G色成分の信号が足し、生成される出力画像の解像度が低下してぼやけてしまうという欠点があるまた、図 3および図 4に示すように、正方格子を 4 5 ° 傾斜させて配列した撮像画素上に力ラ ―フィルタがべィャ一配列されている撮像素子

(画素ピッチ： d ) の場合、光学ローパスフィルタのカットオフ周波数 f c は、全色のサンプ U ング周波数に対するナイキスト周波数未満に設定するのが好ましいしかし、現実には、解像度を犠牲にしたくないため、視覚に与える影響の大きい G色の斜め方向におけるサンプリング周波数に合わせて f s / 2 ( f s ：撮像素子のサンプリング周波数）辺りに設定され。しのためゝカットオフ周波数 f c は、 G色の斜め方向に不要な高い周波数を除去することができるが、その他の縦横方向や他の

R色および B色の縦黄方向および斜め方向におけるナイキスト周波数よりも高い周波数を透過させてしまうため、上述の正方格子配列と同 ¾、これらの色に関する画素信号が正しく推定されず、偽色が発生し易くなるという欠点がある。逆に、カットオフ周波数 f c を R色およぴ B色成分のサンプリング周波数に合わせれば、偽色の発生を防止できるが、出力画像の解像度が低下してぼやけてしまうという問題が生じる。

なお、撮像素子を三板式に構成すれば単板式のような偽色の問題は生じないが、機構が複雑であって大型化や重量増しにつながるためコンパクト化のニーズに反するという別の大きな問題が生じてしまうよノ、三板式の場合であっても各 3色の撮像素子から出力される信号の合成が狂えば容易に画像が乱れてしまうため、単板式りも厳格な取付位置度が必要であるという問題がある。

本発明は、このような問題点を解決するためになされたものであつて

、簡単な単板式の撮像素子でありながら色の再現能力と解像能力を 3板式の撮像素子並みに高めることができる撮像装置を提供することを目的としている。

本発明に係る撮像装置の特徴は、所定の周波数特性を有する光学的 Π 一パスフィルタを備えた撮像光学系と、この撮像光学系を通過した撮像光を所定の色成分に分解するカラ一フィル夕と、このカラーフィレタを通過した撮像光を光電変換して画素信号を生成する撮像素子と、この撮像素子から取得した画素信号に基づいて出力画像信号を生成する出力画像信号生成部とを備えた撮像装置であって、前記光学的ローパスフィル夕の周波数特性は、前記撮像素子における各色成分についての縦方向、横方向および斜め方向のサンプリング周波数のうち最も小さいサンプ U ング周波数に対するナイキスト周波数以上の周波数成分領域であって、前記撮像素子のサンプリング周波数のナイキス周波数より低い周波数成分領域を通過させる周波数成分の割合を示す第 1偽色通過率が所定の値以下に設定されているとともに、己撮像素子により生成された N (

Nは 2以上の実数 ) 個の画素信号が 1個の出力画像信号に相当するように、前記撮像素子により生成された画素信号から出力画像信号を生成す >にある

また、本発明において、前記第 1偽色通過率が 0 . 4以下に設定されていることが好ましい。

また、本発明に係る撮像装置の特徴は、所定の周波数特性 'を有する光学的ローパスフィルタを備えた撮像光学系と、この撮像光学系を通過した撮像光を所定の色成分に分解するカラーフィル夕と、このカラ一フィル夕を通過した撮像光を光電変換して画素信号を生成する撮像素子と、この撮像素子から取得した画素信号に基づいて出力画像信号を生成する出力画像信号生成部とを備えた撮像装置であつて、前記光学的ローパスフイリレタの周波数特性は、刖目 d撮像素子における各色成分についての縦方向、横方向および斜め方向のサンプリング周波数のうち最も小さいサンプリング周波数に対するナイキス卜周波数と、 m @d ii 素子のサンプリング周波数のナイキス卜周波数との中間周波数以上の周波数成分領域であって、前記撮像素子のサンプリング周波数のナイキス卜周波数より低い周波数成分領域を通過させる周波数成分の割合を示す第 2偽色通過率が所定の値以下に設定されているとともに、前 d撮像素子により生成された N ( Nは 2以上の実数）個の画素信号が 1個の出力画像信号に相当するように、前記撮像子により生成された画素信号から出力画像信 m

号を生成する点にある。

また、本発明において、刖 B己第 2偽色通過率が 0 . 2以下に設定されていることが好ましい。

さらに、本発明において、刖記撮像素子のサンプリング周波数を f s

、前記出力画像信号により構成される出力画像のサンプリング周波数を F s としたとき、

N = ( f s / F s ) ²

の関係となる。

本発明によれば、簡単な単板式の撮像素子でありながら色の再現能力と解像能力の両方を 3板式の撮像素子並みに高めることができる。図面の簡単な説明

図 1 は、従来の正方格子配列における撮像素子と出力画像の関係を示す模式図である。

図 2 は、従来の正方格子配列における光学的口一パスフィルタのカツ卜オフ周波数と各色のナイキスト周波数との関係を示す模式図である。図 2 にいて、 f s / 4は R， B色の縦横方向のナイキスト周波数、 f s / ( 2 f 2 ) は R， G， B色の斜め方向のナイキスト周波数、 f s Z

2 は G色の縦横方向のナイキスト周波数および R , B色の縦横方向のサンプリング周波数、 f s Z 2 は R， G , B色の斜め方向のサンプリング周波数、 f s は G色の縦横方向のサンプリング周波数である。また、

Aは従来の光学口一パスフィルタの透過特性を示す。 Bは偽色防止の観点上最週な透過特性であるが、解像度が低下してしまう。 Aの光学口一パスフィルタを用いた場合、 Cの領域を透過した周波数により偽色が発生する

図 3 は、従来の 4 5 ° 傾斜正方格子配列における撮像素子と出力画像の関係を示す模式図である。

図 4は、従来の 4 5 ° 傾斜正方格子配列における光学的口一パスフィルタの力ットオフ周波数と各色のナイキス卜周波数との関係を示す模式図である。図 4において、 f s 4は R， B色の斜め方向のナイキス周波数、 f s Z ( 2 ΛΓ 2 ) は R , G B色の縦横方向のナイキスト周波差替え用弒 (規則 26) 6 / 1

数、 f Sノ 2 は G色の斜め方向のナイキスド周波数および R , B色の斜め方向のサンプリング周波数、 f s 2 は R， G， B色の縦横方向のサンプリング周波数、 f s は G色の斜め方向のサンプリング周波数であ

0 また、 Aは従来の光学ローパスフィル夕の透過特性を示す。 Bは偽色防止の観点上最適な透過特性であるが、解像度が低下してしま Ό 。 A の光学口 —パスフィルタを用いた場合、 Cの領域を透過した周波数により偽色が発生する。」に補正する。

図 5は、本発明に係る撮像装置の実施形態を示す模式図である。

図 6 は、本実施形態の撮像素子において、ペイヤー配列させた力ラ一フィルタを示す模式図である。

図 7 は、本実施形態の撮像素子において、（ a ) 正方格子配列、 40よび（ b ) 4 5 ° 傾斜正方格子配列させた画素を示す模式図である。

図 8 は、撮像子において発生する偽色と空間周波数との関係を示す図である。図 8 において、 Aは撮像素子でのサンプリングにより偽色の発生する領域、 Bは発生する偽色を画像処理で抑えやすい領域、 Cは従来のデジタルカメラにおいて光学口一パスフィレタによつて偽色を抑えようとしていた領域、 Dは発生する偽色を画像処理で抑えにくい領域、

Eは従来の技術で偽色が発生しゃすい域であり、この領域 Eの偽色を今回の特許の技術により取り除く。

図 9 は、本実施形態において、光学的口一パスフィルタを主体として偽色を低減する場合の光学的ローパスフィルタの周波数特性を示す図である。

差替え用紙（細 6) 晶を実した

図 1 1 は、せて光学的 D一パ低減する場 αの光

図 1 2 は、画素上にカラーフィルタがべィャ

—配列されて a ) 撮像画素ピッチ、（ b ) G色の縦方向および横方向のサンプリング間隔、（ c ) R色および B色の縦方向よび横方向のサンプリング間隔、 ( d ) G色の斜め方向のサンプ

U ング間隔、 ( e ) R色および B色の斜め方向のサンプリング間隔を示す模式図であ

図 1 3 は、 4 5 ° 傾斜正方格子配列された撮 {象画素上に力ラフィル夕がベィヤー配列されている撮像素子における ( a ) 撮像画素ピッチ、

( b ) G色の縦方向および横方向のサンプリング間隔、（ c ) R色および B色の縦方向および横方向のサンプリング間隔、 ( d ) G色の斜め方向のサンプリング間隔、（ e ) R色および B色の斜め方向のサンプリング間隔を示す模式図である。

図 1 4は、本実施例 1 の撮像素子と出力画像の関係を示す模式図でる

図 1 5 は、本実施例 2 の撮像素子と出力画像の関係を示す模式ある

図 1 6 は、本実施例 3 の撮像素子と出力画像の関係を示す模式図でめる

図 1 7 は、本実施例 4 の撮像素子と出力画像の関係を示す模式図でる

図 1 8 は、本実施例 5 の撮像素子と出力画像の関係を示す式図でめ 8

る。

図 1 9 は、本実施形態の実施例 1 〜 5 における撮像素子により生成された画素信号の周波数と、出力画像において表現し得る最大周波数 F s / 2 との関係を示す図である。発明を実施するための最良の形態

以下、本発明に係る撮像装置 1 の実施形態について図面を用いて説明する。

図 5 は、本発明に係る撮像装置 1 の実施形態の主要構成部を示す図である。本実施形態の撮像装置 1 は、光学的ローパスフィルタ 2 を備えた撮像光学系 3 と、この撮像光学系 3 から出力された撮像光を所定の色成分に分解するカラーフィルタ 4 と、このカラーフィルタ 4 を通過した撮像光を光電変換して画素信号を生成する撮像素子 5 と、この撮像素子 5 から取得した画素信号に基づいて出力画像信号を生成する出力画像信号生成部 6 とを備えている。

本実施形態の各構成部についてより詳細に説明する。光学的ローパスフィルタ 2 は、撮像光の高い空間周波数成分を抑制する役割を果たすものである。光学的口一パスフィルタ 2 は、所定の周波数特性を有しており、撮像光の光路上で撮像素子 5 の前方に配置される。光学的ローパスフィルタ 2 は、水晶フィルタや回折格子等のように所定の高周波数の撮像光を遮断できるものであればあらゆる構造の手段を適用できる。また、そのように高周波の撮像光を遮断する構造に限ることなく、撮像素子 5 に入射する撮像光のピントをぼかすような手段であってもよい。

また、本実施形態では、撮像素子 5でのサンプリングにより発生する偽色を低減するため、この偽色の原因となる周波数成分を抑制するように光学的ローパスフィルタ 2 の周波数特性を後述するように所定の値に 9

π 定してい

撮像光学系 3 は、撮像光を撮像素子 5 に導く役割を果たすものである本実施形態では、光学的ローパスフィル夕 2 を含め、撮影レンズや、赤外線除去フィルタ等から構成されているなお赤外線除去フィルタは、フ才卜ダイォードに入射する赤外線を遮断するためのものであり、光学的ローパスフィルタ 2 の前方に配置され 1枚のガラスブロックとして構成されている。

カラーフィル夕 4は、撮像素子 5 を構成する各画素の受光面上に所定 ηターンで規則的に配置され、撮像光を所定の色成分にフイリレタリングする役割を果たすものである。本実施形態では、力ラフィルタ 4 を構成する第 1色、第 2色、第 3色の 3つの色として R色 G および B 色の原色フィルタを使用している。しかしこれらに限られず、 C (シァン）、 Μ (マゼンダ）、 Υ (イエロ ) で構成される補色フィル夕や別の色の組み合わせであってもよい。さらには、 Xメラルド色のフィル夕を 3色フィル夕に加えてもよい。

また、本実施形態では、カラ一フィルタ 4の配列パ夕ンとしては、図 6 に示すように、 G色フィル夕を市松模様で配置するとともに、 R色フィル夕および Β色フィルタを各行に交互に配置するベィヤー配列を採用しているが、これに限られるものではなレ。

撮像素子 5 は受光した撮像光を電気的な画像情報に光電変換して電荷量として貯えれを電気信号として出力画像信号生成部 6 に出力する役割を果たすちのである撮像素子 5 は、所定パターンで配列された複数の画素 (フ才 hダイォ ― ) を有しており、この各画素の光面上にカラーフィル夕 4を所定パタンで規則的に配置している。画素の配列パターンとしては、図 7 ( a ) に示すような正方格子配列やこの正方格子配列を 4 5 傾斜させた図 7 ( b ) に示すような 4 5 ° 傾斜正方 10

格子配列が一般的に知られている。

出力画像信号生成部 6 は、撮像素子 5 の各画素から取得した画素信号を A / D変換するとともに、各種の画像処理を施し、出力画像信号を生成する役割を果たすものである。出力画像信号生成部 6は、 A/Dコンバ一タ 7 と C P U 8 ( C e n t r a 1 P r o c e s s i n g U n i t ) により構成されており、撮像素子 5 と電気的に接続されている。 A

/D ンバー夕 7 は、アナログ電信号である画素信号をデジタルデータに変換。また、 C P U 8 は、 A /D変換された画素信号にォプティ力ルブラック処理、ホワイトバランス処理、色補正処理、色補間処理

、ノィズ抑制処理、輪郭強調処理， . r 補正処理および解像度変換処理等の各種の画像処理を施し、出力画像信号を生成するようになっている。このとき、解像度変換処理の変換比率は、 AZD変換された N (Nは 2 以上の実数）個の画素信号が 1個の出力画像信号に相当するように設定してお <。

なお、本実施形態では、 C P U 8 により出力画像信号生成部 6 を構成しているが、これに限られるものではない。例えば、 D S P ( D i g i t a 1 S i g n a 1 P r o c e s s o r ) やハードヮィャ一ド口ジックにより構成してもよく、あるいは A/D変換された画素信号を P C

( P e r s o n a 1 C o m p u t e r ) に取り込んで各種のプログラムにより上述した画像処理を行わせるようにしてもよい。

つぎに、光学的ローパスフィルタ 2 の周波数特性と C P U 8 による解像度変換処理の変換比率との関係について説明する。本実施形態では、上述したように、撮像素子 5でのサンプリングにより発生する偽色をできるだけ低減するため、従来の撮像装置では通過させていた撮像素子 5 のサンプリング周波数 f s に対するナイキスト周波数（以下、撮像素子ナイキスト周波数 f s / 2 ) より低い周波数成分をも通過させないよう 1 1

にしている。

詳述すると、図 8 に示すように、撮像素子 5 における各色成分についての縦方向、横方向および斜め方向のサンプリング周波数のうち、最も小さいサンプリング周波数に対するナイキスト周波数（以下、最小ナイキスト周波数 f a ) 以上の周波数成分が偽色の原因となり得るため、この最小ナイキスト周波数 f a以上の周波数成分を、光学的口一パスフィルタ 2の周波数特性と C P U 8の画像処理により抑制している。

しかしながら、撮像素子 5 のサンプリング周波数 s のナイキス卜周波数より低い周波数成分を抑制することにより、撮像素子 5 によ Ό生成される画素信号の解像度は低くなつてしまう。この解像度の低下を防止するため、本実施形態では、 C P U 8 による解像度変換処理の変換比率を、撮像素子 5 により生成される N ( Nは 2以上の実数）個の画素信号が、 1個の.出力画像信号に相当するように設定している。これによ Ό 、出力画像の 1画素に相当する撮像素子 5でのサンプリング数が 2以上となり、出力画像信号によって表現し得る最大の周波数（出力画像のサンプリング周波数 F s に対するナイキスト周波数 F s / 2 ) まで、出力画像の解像度が高められる。

つぎに、光学的ローパスフィルタ 2 の周波錄特性について説明する上述したように、本実施形態の撮像装置 1 の特徴は、偽色発生の原因となる最小ナイキスト周波数 f a以上の周波数成分を遮断する点にあるしたがって、理想的には、最小ナィキスト周波数 f a以上の周波数成分を完全に遮断することが望ましいが、現実の光学的ローパスフィル夕 2 では完全に遮断することは困難であ ·©。そこで、本実施形態では、従来の撮像装置において通過させていた撮像素子ナイキスト周波数 f s / 2 より低い周波数成分をどの程度の割合で遮断させるかという観点から光学的ローパスフィルタ 2 の周波数特性を設定している。この際、最小ナ 1 2

ィキス卜周波数 ί a以上の周波数成分を光学的ロー nスフィル夕 2 を主体として抑制する場合と、 C P U 8 の画像処理による抑制をでさるだけ使用し、画像処理では抑制し切れない周波数成分を光学的 Π一パスフィル夕 2 を使って抑制する場合とを想定し、それぞれの ¾口について、好適な周波数特性の値を設定するようにした。

まず、光学的ローパスフィルタ 2 を主体として偽色を低減する場 Π 、光学的ローパスフィル夕 2 は、図 9 に示すような周波数特性を有している具体的には、最小ナイキス卜周波数： f a以上であつて、かつ、撮像素子ナイキスト周波数 f s Z 2 より低い周波数成分を第 1偽色発生領域としたとき、この第 1偽色発生領域において通過される周波数成分の割

Πを第 1偽色通過率と定義する。そして、図 9で示す第 1偽色発生領域を通過する周波数成分を第 1偽色通過領域とすれば、第 1偽色通過率は

、刖記第 1偽色発生領域の面積に対する前記第 1偽色通過領域の面積の比率によって算出する,

本実施形態では、前記第 1偽色通過率を 0 . 4以下となるように口又定する。光学的ローパスフィルタ 2が、通常、水晶の複屈折を利用して実装されるため、これを想定して第 1偽色通過率を算出した。つまり、光線を水晶に通すことによつて 2つに分離される口一パスフィルタをけ

、記分離した 2つの撮像光の距離を撮像素子の画素ピッチ d とすると

、図 1 0 に示すように、ヌル点周波数が 1 / ( 2 d ) の周波数特性を持つようになる。

しかしながら、従来の単板式デジタルカメラにおいては、ヌル点周波数を 1 / ( 2 d ) にすると解像度が低くなり過ぎるため、口一パスフィルタの効果を弱めるように、ヌル点周波数の値を高めに疋しているしれに対し、本発明に係る実施形態では、撮像素子 5でサンプリングする段階での解像度が低くても、出力画像信号生成部 6 により出力画像信 1 3

号の解像度を相対的に高めることができるため、従来の単板式デジタルカメラとは逆に、口一パスフィルタの効果を強めても、解像度を低下させることなく偽色を抑制できる。

したがって、光学的口ーパスフィルタ 2で画ピツナ dだけ光線を分離させるようにする位置が、従来の撮像装置と本実施形態の撮像装置との境界になる。そして、正方格子配列された撮像画素上に力ラ一フィル夕がペイヤー配列されている撮像素子の場合および 4 5度傾斜正方格子配列された撮像画素上にカラ一フィル夕がベィャ配列されている撮像素子の場合ともに f s Z 2 = l ( 2 d ) ， f a = 1 / ( 4 d ) なので、第 1偽色通過率を計算すると、第 1偽色通過率 = 0 . 3 7 2 8 9 2 4 8 4 = 0 . 4 となる。

したがつて、本実施形態の第 1偽色通過率は 0 4以下の値に Λ£している。この場合、光学的口一パスフィルタ 2 を強めに設定することになるが、画像処理を行う C P U 8 の負担が軽減されるという利点がある

。 /よ、偽色を発生させる要因は撮像素子 5 のサンプリングによって起こる高い周波数成分の折り返りによるものだけではないため、どのような場合であってもある程度の画像処理は必要とされる。

一方、光学的 Π —パスフィル夕 2 によるフィルタリングを c6まり強くかけずに、 C Ρ U 8 による画像処理を積極的に利用することによつて偽色を低減する場合、光学的 Π一パスフィルタ 2 は、図 1 1 に示すような周波数特性を有している m.体的には、最小ナイキスト周波数 f a と、撮像素子ナイキスト周波数 f s / 2 との中間周波数（ f a + f s / 2 )

/ 2以上であて、かつ撮像素子ナイキス卜周波数 f s Z 2 より低い周波数成分を第 2偽色発生域としたとき、この第 2偽色発生領域いて通過される周波数成分の割合を第 2偽色通過率と定義するれは

、最小ナイキス周波数 f a側の周波数成分は画像処理によ Ό抑制し易 1 4

< 、撮像素子ナイキスト周波数 f s / 2側の周波数成分は画像処理によ

Ό抑制し難いことに基づいて定めたものである。そして、図 1 1 で示す第 2偽色発生領域を通過する周波数成分を第 2偽色通過領域とすれば、前記第 2偽色通過率は、前記第 2偽色発生領域の面に対する前記第 2 偽色通過領域の面積の比率によって算出する。

本実施形態では、前記 2偽色通過率が 0 . 2以下となるよに設定する。この数値は、前述した第 1偽色通過率と同様の根拠によって求めており、計算上、第 2偽色 m過率 = 0 . 1 9 4 1 1 3 3 8 8 = 0 . 2 となる。したがって、この α 、 C P U 8 の画像処理を厳密に施す必要があるが、光学的ローパスフィル夕 2 を弱めに設定してもよいという利点がある。

つぎに、最小ナイキス卜周波数 ί aについて説明する。図 1 2 .は撮像素子 5が正方格子配列された場合を示す。この場合、図 1 2 ( a ) に示すように、撮像素子 5 の画素ピッチ dを用いると、 G色の横方向のサンプリング間隔は dであり (図 1 2 ( b ) ) 、 R色（および B色）の横方向のサンプリング間隔は 2 dであり（図 1 2 ( c ) ) 、 G色の斜め方向のサンプリング間隔は 2 dであり（図 1 2 ( d ) ) 、 R色（および B 色）の斜め方向のサンプ U ング間隔は " 2 dである（図 1 2 ( e ) したがって、これらの中で、最も長いサンプリング間隔は、 R色および

Β色の縦横方向のサンプ U ング間隔 2 dであるため、最小ナイキス卜周波数 f aは、 R色および B色の縦横方向のナイキス卜周波数である 1 /

( 4 d ) となる。

また、図 1 3 は撮像素子 5が 4 5 ° 傾斜正方格子配列された場合を 7 す。この場合、図 1 3 ( a ) に示すように、画素ピッチ d として撮像素子 5 の 4 5 ⁰ 傾斜方向における画素ピッチを用いると、 G色の横方向のサンプリング間隔は 2 dであり（図 1 3 ( b ) ) 、 R色 (および B色 1 5

) の横方向のサンプリング間隔は 2 dであり (図 1 3 ( c ) ) 、 G色の斜め方向のサンプリング間隔は dであり（図 1 3 ( d ) ) 、 R色（および B色）の斜め方向のサンプリング間隔は 2 dである（図 1 3 ( e )

) 。これらの中で、最も長いサンプリング間隔は、 R色およぴ B色の斜め方向のサンプリング間隔でめる 2 dであるしたがつて、最小ナイキスト周波数 f aは、 R色および B色の斜め方向のナイキス卜周波数である 1 / ( 4 d ) となり、正方格子配列された撮像素子 5 と同様である。以上より、本実施形態では、正方格子配列および 4 5 ° 傾斜正方格子配列された撮像素子 5 (画素ピッチ： d ) を使用して出力画像を生成する場合、第 1偽色発生領域が 1 / ( 4 d ) 以上で、かつ、 1 Z ( 2 d ) より小さい値の範囲となり、上述した第 1偽色通過率または第 2偽色通過率の条件を満たすような光学的ローパスフィルタ 2 を選択する。

つぎに、本実施形態の撮像装置 1 による撮像方法について説明する。本実施形態の像装 1 により被写体を撮像する場 □ 、まず、被写体からの撮像光を撮像光学系 3 を介して光学的 P―パスフィルタ 2 に入射させる。光学的 □ ―パスフィルタ 2 に入射した撮像光は、所定の周波数特性に従つて、撮像素子 5 の最小ナイキス卜周波数 f aより高周波域の空間周波数が主として遮断される。光学的 Π ―ハ⁰スフィルタ 2 を透過した撮像光は、力ラ ―フィル夕 4により、 R色、 G色および B色成分にそれぞれ分解されて撮像素子 5 の受光面に &±像され -0 しのとさ、従来の単板式の撮像お置に比ぺて、光学的口一パスフィルタ 2 によつて偽色成分を大きく除去するため、出力画像の色再現性が格段に向上する。

撮像素子 5では、各画素を構成するフォトダイオードに入射した撮像光を電荷として蓄積し、これを画素信号として出力画像信号生成部 6 に供給する。このとき、撮像光はカラーフィルタ 4 によって、 R 、 G 、 B の 3原色に分解されているため、各画素の画素信号は、いずれかの色に 1 6

関する輝度情報として読み出される。読み出された画素信号は、 A / D コンバ一夕 7 によりデジタルデータに変換された後、 C P U 8 に受け渡される。 C P U 8 は、受け取った画素信号に基づいて、出力画像の各画素を構成する出力画像信号を生成する。このとき、従来の単板式の撮像装置に比べて、出力画像の各画素を生成するのに使用する撮像素子 5 の相当画素数が多く設定されているため、出力画像の解像度が格段に向上する。

以上のよラにして得られた出力画像信号は、本実施形態の撮像装置 1 を備えた： rジ夕ルカメラゃデジタルビデオカメラの出力信号として供給される

つぎに、本実施形態の具体的な実施例について説明する。以下の各実施例 1 〜 5では、撮像素子 5 の画素配列および撮像素子 5 の画素ピッチ d ( = 1 / f s ) に対する出力画像の画素ピッチ D ( = 1 / F s ) の比 k ( D = k d ) がそれぞれ異なる場合について、 C P U 8 の解像度変換処理における変換比率、すなわち、 1画素の出力画像信号を生成するのに使用する画素信号の相当数 Nを求めた。なお、以下の各実施例 1 〜 5 では、上述しように、第 1偽色通過率または第 2偽色通過率の条件を満たすような周波数特性を有する光学的ローパスフィルタ 2 を使用している。また、カラーフィルタ 4はべィヤー配列のものを使用している。 <実施例 1〉

実施例 1 では、図 1 4 に示すように、正方格子配列された画素を有し、撮像素子 5 の画素ピッチ dに対する出力画像の画素ピッチ Dの比 kが 1 . 5 ( D = 1 . 5 d ) である撮像素子 5 を使用した。図 1 4からもわかるように、 1画素の出力画像信号に対して 2 . 2 5個相当の画素信号がサンプリングされているため、 Nは 2 . 2 5である。

<実施例 2 > 17

実施例 2では、図 1 5 に示すように、正方格子配列された画素を有し、撮像素子 5 の画素ピッチ dに対する出力画像の画素ピッチ Dの比 kが 2 ( D = 2 d ) である撮像素子 5 を使用した。図 1 5からもわかるように、 1 画素の出力画像信号に対して 4個相当の画素信号がサンプリングされているため、 Nは 4である。

ぐ実施例 3 >

実施例 3では、図 1 6 に示すように、正方格子配列された画素を有し、撮像素子 5 の画素ピッチ dに対する出力画像の画素ピッチ Dの比 kが 4 ( D = 4 d ) である撮像素子 5 を使用した。図 1 6からもわかるように、 1画素の出力画像信号に対して 1 6個相当の画素信号がサンプリングされているため、 Nは 1 6である。

<実施例 4 >

実施例 4では、図 1 7 に示すように、 4 5 ° 傾斜正方格子配列された画素を有し、撮像素子 5 の画素ピッチ dに対する出力画像の画素ピッチ Dの比 kが^ 2 ( D = 2 d ) である撮像素子 5 を使用した。図 1 7からもわかるように、 1画素の出力画像信号に対して 2個相当の画素信号がサンプリングされているため、 Nは 2である。

<実施例 5 >

実施例 5では、図 1 8 に示すように、 4 5 ° 傾斜正方格子配列された画素を有し、撮像素子 5 の画素ピッチ d に対する出力画像の画素ピッチ Dの比 kが 27" 2 ( D = 2 2 d ) である撮像素子 5 を使用した。図 1 8からもわかるように、 1画素の出力画像信号に対して 8個相当の画素信号がサンプリングされているため、 Nは 8である。以上の実施例 1 ~ 5 より、 1個の出力画像信号に相当するように撮像素子 5 により生成される画素信号の数 Nは、撮像素子 5 の配列方法に関 1 8

わらず、

N = k ² = ( D / d ) ² = ( f s Z F s ) ² · · · 式 ( 1 )

と表されることがわかる。また、出力画像のサンプリング周波数 F s は

F s = 1 / D = 1 / ( k d ) = f s / k · · · 式 ( 2 )

と表される。したがて、実施例 1 5 いて撮像素子 5 により生成された画素信号の周波数と出力画像おいて表現し得る最大周波数

F s / 2 との関係は図 1 9 に示す関係となる更にまた、出力画像の周波 Fは撮像素チ 5 によ Ό生成された画素信号の周波数 f と比例関係にあるので、 F = f / k となる。以上より、 kを 1 . 0 より大きく設定すると、出力画像の周波数 Fを表現するのに撮像素子 5 の周波数 f が小さ <て済むため、相対的に出力画像の解像度を向上するしとができる以上のような本実施形態によれば、従来の品に比べて、出力画像の各画素に対する撮像素子 5 の画素数が多く設定されており、かつ、光学的口一パスフィルタ 2 によって偽色成分を大さく除去されるため、簡単な単板式の撮像素子 5でありながら色の再現能力と解像能力を 3板式の撮像素子並みに高めることができるという従来では得られない優れた効果を奏する。

なお、本発明に係る撮像装置 1 は、前述した実施形態に限定されるものではなく、適宜変更することができる。

例えば、本実施形態では、正方形の画素を基本とする出力画像について説明したが、これに限られるものではな < 長方形の画素を基本とする出力画像を設定して出力するようにしてよい。この場合、縦方向と横方向とにおけるサンプリング周波数が異なるしとと /よる。また、撮像素子 5 は、撮像画素を正方格子配列または 4 5 ° 傾斜正方格子配列した 1 9

場合を例示し、カラーフィルタ 4はべィヤー配列させた場合を例示しているが、これらに限られるものではなく、他の配列方法を選択した場合にも適用することができる。産業上の利用可能性

本発明は、単板式の撮像素子により被写体を撮像する撮像装置に有用である。

Claims

2 0 請求の範囲

1 . 所定の周波数特性を有する光学的ローパスフィルタを備えた撮像光学系と、この撮像光学系を通過した撮像光を所定の色成分に分解する力ラーフィルタと、このカラーフィルタを通過した撮像光を光電変換して画素信号を生成する撮像素子と、この撮像素子から取得した画素信号に基づいて出力画像信号を生成する出力画像信号生成部とを備えた撮像装置であって、

前記光学的ローパスフィルタの周波数特性は、前記撮像素子における各色成分についての縦方向、橫方向および斜め方向のサンプリング周波数のうち最も小さいサンプリング周波数に対するナイキスト周波数以上の周波数成分領域であって、前記撮像素子のサンプリング周波数のナイキスト周波数より低い周波数成分領域を通過させる周波数成分の割合を示す第 1偽色通過率が所定の値以下に設定されているとともに、

前記撮像素子により生成された N ( Nは 2以上の実数）個の画素信号が 1個の出力画像信号に相当するように、前記撮像素子により生成された画素信号から出力画像信号を生成することを特徴とする撮像装置。

2 . 請求の範囲第 1項において、前記第 1偽色通過率が 0 . 4以下に設定されていることを特徴とする撮像装置。

3 . 所定の周波数特性を有する光学的ローパスフィルタを備えた撮像光学系と、この撮像光学系を通過した撮像光を所定の色成分に分解する力ラーフィルタと、このカラーフィルタを通過した撮像光を光電変換して画素信.号を生成する撮像素子と、この撮像素子から取得した画素信号に基づいて出力画像信号を生成する出力画像信号生成部とを備えた撮像装置であつて、

前記光学的口一パスフィルタの周波数特性は、前記撮像素子における 2 1

各色成分についての縦方向、横方向および斜め方向のサンプリング周波数のうち最も小さいサンプリング周波数に対するナイキスト周波数と、前記撮像素子のサンプリング周波数のナイキスト周波数との中間周波数以上の周波数成分領域であって、前記撮像素子のサンプリング周波数のナイキスト周波数より低い周波数成分領域を通過させる周波数成分の割合を示す第 2偽色通過率が所定の値以下に設定されているとともに、前記撮像素子により生成された N ( Nは 2以上の実数）個の画素信号が 1個の出力画像信号に相当するように、前記撮像素子により生成された画素信号から出力画像信号を生成することを特徴とする撮像装置。

4 請求の範囲第 3項において、前記第 2偽色通過率が 0 2以下に設定されていることを特徴とする撮像装置。

5 請求の範囲第 1項において、前記撮像素子のサンプ U ング周波数を f s 、前記出力画像信号により構成される出力画像のサンプ U ング周波数を F s としたとき、

N = ( f s / F s ) ²

の関係となることを特徴とする撮像装置。

6 請求の範囲第 3項において、前記撮像素子のサンプング周波数を f s 、前記出力画像信号により構成される出力画像のサンプング周波数を F s としたとき、

N = ( f s / F s ) ²

の関係となることを特徴とする撮像装置。