JPH05505718A - フィールドスタガ式色フィルタ図形を用いた固体カラーイメージセンサ - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。

Description

【発明の詳細な説明】 この発明はカラービデオカメラに、且つ特に、テレビジョンフレームの両フィー ルドに対して輝度及びクロミナンス情報の飛越し走査を与える単一のカラーイメ ージセンサを使用した形式のカメラに関係している。

発明の背景 輝度及びクロミナンス情報はセンサを形成するホトサイトを色フィルタの反復的 配列で覆うことによって単一の固体センサから得られることができる輝度は、緑 の方への強い片寄りを伴った色（カラー）情報の組合せであるので、しばしばセ ンサにより与えられる線情報だけに基づいている。クロミナンス（色）内容はし ばしば輝度（すなわち、線情報）と他の原色（すなわち、赤及び青情報）との間 の差に基づいている。各別々の色は場景光をこれがセンサに入射する前に適当な 色フィルタに通すことによって分離される。Ｋ、　Ａ、バルルスキ著「ワンチッ プカメラのための色フィルタ及び処理選択肢Ｊ　（ＩＥＥＥ電子デバイス関係会 報、ＥＤ３２．第８号、１９８５年８月、１３８１〜１３８９ページ所載）　（ ’Ｃｏ１ｏｒＦｉｌｌｅｎ　ｕｄ　Ｐｒｏｃｅ＋５ｉｎ（ＡｌｔｕｎＮｉｎｓ　 ｔａｒ　０ｎｅ−ＣｈｉｐＣ＋ｍｅ＋ｔ＋、’　ｂｒ　に、Ａ、Ｐｕａｌ＋ｋｉ 　（ＩＥＥＥ　ＴｒＩｎｅ、　ｏｎ　Ｅｌ！ｃｔ＋ｕ　Ｄｅｗｉｃｅ＋、Ｅ［ｌ Ｊ２゜Ｎｏ、８．　ＡＢａｓｊ　１９８５．　９９．　１３８１−１３８９）） に開示されているように、多くの異なった色フイルタ配列図形（パターン）が単 一センサカラービデオカメラに使用されてきた。−例は「ベイヤー（Ｂｚ７ｅ＋ ）”　Ｊ市松模様図形であって、これは米国特許第３９７１０６５号に開示され ている。基本的ベイヤー図形は図１に示されており、二つのフィールドの飛越し 走査が望まれるときには、図２に示されたような変更形ベイヤー図形が使用され る。

ＮＴＳＣ及びＰＡＬのような現在のビデオ標準に使用されている飛越し走査のた めに、ビデオセンサにおける色フイルタ配列図形は通常、画像標本化が二つのビ デオフィールドのそれぞれに対して同じであるように設計されている。例えば、 奇数フィールド標本化は図２の従来技術の図形については偶数フィールド標本化 と同じである。しかしながら、飛越し読出しの使用は、この標本化が同じである ことを必要とせず、各フィールドが赤及び青の両光要素を含むことだけを必要と する。飛越し画像標本化図形は、クロミナンス標本位置が一つのフィールドから 別のフィールドへ移動されたならば、やはり得られることができる。例えば、米 国特許第４４７９１４３号は、水平整列が考察されたときに赤及び青センサ素子 が緑センサ素子と同じ標本化率で与えられている更なる変更形ベイヤー図形（図 ４を見よ）を開示している。この配列は水平方向におけるクロミナンス解像度の 改善を与える。

図３に示された色フィルタは画像品質改善のために単一センサカメラに使用され る比較的新形式のフィルタを表している。このフィルタは米国特許第４６６３６ ６１号に開示されたカメラに関連して記述されたものであるが、このフィルタに おいては、線情報（輝度）は、画像解像度により大きく貢献しているので、赤及 び青情報の３倍も頻繁に標本化される。従って、このフィルタを用いたイメージ センサはそれぞれ一つの赤又は青「クロマ」画素に対して三つの緑「輝度」画素 を含んでいる。一つの問題は水平クロミナンス縁Ｎ（エツジ）遷移における若干 量の色縁部アーティファクトの発生である。赤及び青のホトサイトはセンサの４ 番目ごとの列に発生するだけであるので、線形補間法を用いて近くの赤、緑、及 び青センサ値から補間赤及び青信号値を形成すると、着色縁部に若干の軽微なア ーティファクトの生じることがある。

発明の要約 この発明は、画像検出素子の少なくとも７５％が輝度検出素子であり且つ残りが ２種類のクロミナンス検出素子のどちらかである、図３により例示された形式の 色フィルタ配列の改良形飛越し読出しを含んでいる。特に、同じ種類のクロミナ ンス検出素子は水平走査方向において少なくとも三つの輝度検出素子によって隔 てられている。この発明に従って、輝度標本の比較的広い間隔にもかかわらず、 水平解像度は、クロミナンス検出素子がセンサの異なった列に配置されている反 復的「格子」の標本を形成する色素子の飛越し読出し図形を用いることによって 改善されることができる。

この発明は、クロミナンス検出素子を含む水平線を線対に配列してクロミナンス 検出素子がセンサの異なった列に現れるようにし、これによりクロミナンス検出 素子の水平標本化周波数を増大することによって現存の配列を改善する。一つの 実施例においては、線は各線対において互い違いに配列されて各線対の東１線の クロミナンス検出素子が各線対の第２線のクロミナンス検出素子間の距離の半分 だけ移動され、これによって、配列の一つおきの列に現れるようになっている。

別の実施例においては、交互の線対自体が素子の「格子」において互い違いに配 列されて、同じ種類のクロミナンス検出素子が配列のことごとくの列に現れるよ うになっている。

図面の簡単な説明 従来の技術及びこの発明は諸図面に関係して記述されるが、この諸図面中、図１ は既知の「ベイヤー」市松模様色フイルタ図形を使用したイメージセンサの例で あり、 図２は飛越し走査パターンの両テレビジョンフィールドを与えるように変更され たところの図１の色フイルタ図形を使用したイメージセンサであり、図３は色素 子の７５％が輝度に応答する既知の色フイルタ図形を使用したイメージセンサで あり、 図４は図２の色フイルタ図形の既知の変形を使用したイメージセンサであり、図 ５はこの発明に従つて「互い違いに配列された」色フイルタリングを有する単一 カラーイメージセンサを組み込んだビデオカメラの構成図であり、図６は図５に 示されたイメージセンサの平面図であり、図７は図５に示されたイメージセンサ に関連して使用された好適な色フィルタ配列の線図であり、 図８は図５に示されたイメージセンサについて有効な色フィルタ配列の第１の代 替実施例であり、又 図９は図５に示されたイメージセンサについて有効な色フィルタ配列の第２の代 替実施例である。

発明の詳細な説明 図５はこの発明により具体化された形式の単一固体カラーイメージセンサを備え たビデオカメラの基本的素子を同定している。省略されたか又は詳細に示されて いない、カメラの他の素子は技術上既知の類似の素子から容易に選択されること ができる。例えば、カメラの露光制御、記録装置及び表示装置部分は、この発明 の理解には重要ではなく、この技術において周知の通常の構成部分によって準備 されることができる。マイクロプロセッサ制御システム及びタイミング回路は利 用可能な構成部分及び技術を用いて完全に通常の方法で実現されることができる 。更に、カラービデオカメラはビデオカメラと関連して開示されているけれども 、この発明は必ずしもこの方式の画像捕獲に関係づけられず、例えば、フィルム −ビデオ変換器又は静止ビデオシステムへ組み込まれることもできるであろう。

図５に言及すると、このビデオカメラは被写体（図示されていない）からの画像 光を固体カラーイメージセンサ１１に導くための光学的部分１０を含んでいる。

イメージセンサ１１は画像検出素子の配列１４を覆う色フィルタ素子の同様の配 列１２を含んでいる。絞り１６は画像光が通過する光学的開口を調節する。周知 のように、露光は光の強さ及びセンサ積分時間の関数であり、これはそれぞれ絞 り１６及びタイミング回路２９により制御される。場景光の標本が露光制御回路 ２０に入力され、そしてこの回路が絞り１６を自動的に動作させる。

イメージセンサ１１は図６に平面図で示されている。典型的な応用例を図解する ために、センサ１１は７６８画素の水平解像度及び４８４本の垂直解像度を持っ た有効画像区域２２を備えている（しかしながら、この発明はイメージセンサの 任意特定の形態又は大きさに制限されない。）。画素は別々のフィールドが出力 レジスタ２４に線（ライン）ごとに転送される既知の線間（インクライン）転送 形態において配列されている。図６の解像度を有する好適な線間転送イメージセ ンサは、（米国）ニューヨーク州ロチェスタのイーストマン・コダック社（Ｅ！ ｓｔｍｕ　Ｋｏｄｔｋ　Ｃｏ、、Ｒｏｃｈ！５ｌｅｒ、　Ｎｅｗ　Ｙｏｒｋ）か らカタログ品目ＫＡＩ０３７０として得られることができる。斜線の区域２６は センサ「暗電流」レベルの表示を得るために使用される暗線及び暗画素の領域を 示している。

図７は色フィルタ配列１２に対するこの発明による好適な色フィルタ幾何学的配 列を示しており、これはこの発明の譲受人に譲渡され且つこの明細書に採用され る米国特許第４６６３６６１号に開示され且つ図３に示された形式の「三線」色 フイルタ幾何学的配列についての改善である。この形式のフィルタは赤、緑及び 青の信号を生成するが、これらの信号は又輝度（緑）及びクロミナンス（赤又は 青）カラーと考えられることができる。この特許に開示された形式の補間処理を 実施するために、色フィルタ１２の前面にぼかしフィルタ２８（図５）が置かれ て、既知の広がり関数を与えるために画像光を前フィルタする（しかしながら、 他の処理技術により、ぼかしフィルタ２８は変更され又は省略され得ることに更 に注目されるべきである。）。

図１に示されたこの発明の実施例に従って、「三線」色フィルタ配列は、赤及び 青画素が（図３におけるように）４番目ごとの画素ではなく水平方向に２番目ご との画素隔置されている「フィールドスタガ式」幾何学的配列において更に配列 されている。更に詳細には、同じ種類（例えば、赤）のクロミナンス検出素子は 、線対（例えば、線上及び２．５及び６など）で配列されていて、各線対の第１ 線のクロミナンス検出素子が第２線のクロミナンス検出素子間の距離の半分だけ 移動されており、これによってセンサの一つおきの列に現れている。これは赤及 び青画素のより市松模様状の配列を与えるが、これは赤及び青画像記録の水平標 本化周波数を２の因数により増大し、従って赤及び前記録の水平解像度を改善す る。

図７に示されたような色フィルタ配列１２はこの発明の特定の実施例に関連して 開示されており、代替的形態が可能である二つの代替的形態が図８及び９に示さ れている。これらの図形の両方において、クロミナンス検出素子を含む水平線は 反復的格子の線に配列されていて、クロミナンス検出素子はセンサの各列に現れ ている。更に明細書には、反復的格子は第１種類（例えば、赤）のクロミナンス 検出素子を含む二つの線対（例えば、線対１及び２、並びに５及び６）が第２Ｎ １１（例えば、青）のクロミナンス検出素子を含む線対（例えば、線対３及び４ 、並びに７及び８）の間にインタリーブされていて、同じ種類のクロミナンス検 出素子がセンサのことごとくの列に現れるようになっている。それゆえに、これ らの図形は両方共、赤及び青の標本が配列のことごとくの列に発生し、従って赤 及び前記録の水平解像度を更に改善するという望ましい特性を持っている。図８ の「フィールドスタガ式」図形は標本化がより一様に配列されているのである状 況においては好ましいであろう。

図５において、画像信号をイメージセンサ１１の出力レジスタ２４（図６）から アナログ−ディジタル（Ａ／Ｄ）変換器回路３０ヘクロツクするために且つカメ ラの他の部分を全般的に順序づけるためにタイミング回路２９が準備されている 。Ａ／Ｄ変換器３０により発生されたディジタル信号は、図７の色フィルタ配列 に関しては三つの緑信号により分離された一連の赤（又は青）からなる色信号の 流れとして出力される。量子化された色（カラー）信号は二つの部分、すなわち 前処理装置部分３４及び後処理装置部分３６で構成されたディジタル信号処理回 路３２に加えられる。ディジタル信号処理回路３２に供給される信号はイメージ センサ１１からの部分解像度カラーデータ、すなわち、センサの黒レベルによる 又は場景における任意の色及び濃度の不整による任意の異常を含んだ未補間のセ ンサ信号である。回路３２から出力された信号は完全補正、全解像度多色信号で ある。

更に詳細には、前処理装置部分３４は量子化画像信号に対する黒レベルクランピ ング及び輝度補間を最初に与える。黒レベルクランピングのための安定なセンサ 黒基準値はイメージセンサ１１（図６）の非表示、非画像の暗区域２６における 画素からの暗電流信号値の標本に基づいている。輝度補間の前に、クランプされ た信号は欠陥のある画素の代わりに同じ色の最も近い前の水平方向に近接した画 素の値を用いることによって欠陥隠蔽のために処理される。クロマ値は色相、す なわち緑に対する赤又は青の比、に変換され、そして色相値についてクロマ補間 が行われる。白色バランスオフセット及び利得オフセットも又色相信号に加えら れる。前処理装置３４の出力は補間色相値と補間緑値との組合せから形成された 赤、緑、及び青信号である。

後処理装置３６においては赤、緑、及び青信号の黒レベルがレンズフレアについ て補正される。補正された信号は次に表示の色度に対するイメージセンサの分光 感度を適当に補正するためにカラーマトリックス化され、そして次に、システム の入力（センサ１１）側の信号電圧と出力（表示）側の売値との間の非直線コン トラスト関係を調整するためにガンマ補正される。この更なる補正信号は次に縁 部（エツジ）強調されて後処理装置３６から出力される。ディジタル処理装置は 、１９８９年２月１３日に出願されて、この発明と同じ譲受人に譲渡された、「 多色イメージセンサから全解像度カラー信号を生成するための実時間ディジタル 処理装置（Ｒｅｚｌ−Ｔｉｍｅ　Ｄｉｇｉｔｔｌ　Ｐ＋ｏｃｕ＋ｏｒ　ｌｏｔ　 Ｐｒｏｄｕｃｉｎｇ　Ｆｕｌｌ　Ｒ１＋ｏｌｕｌｉｏｎＣｏｌｏ「Ｓｉｇｎｘｌ 　ｔｒａｍ　！　Ｍｕｌｔｉ−Ｃｏｌｏｔ　ｌｕｇｅ　５ｅｌＩＩＩ！＋）　Ｊ という名称の同時出願係属中の（米国特許出願）連続番号３１０４１９に更に説 明されている。

ディジタル処理装置３２からの全補正カラー信号はディジタル−アナログ（Ｄ／ Ａ）変換器３８によってアナログ信号に変換されて通常の記録装置４０か又は表 示装置４２に送られる（破線４４は、選択がそのようなものであれば、カラー信 号がディジタル記憶装置に直接記録されてもよいことを示すつもりのものである 。）。マイクロプロセッサ４６はカメラの動作を制御し且つ前処理装置３４への 利得オフセット及びカラーバランスのような前処理情報の使用者入力を可能にす る。

この発明は現在採択された実施例に特に言及して詳細に説明されたが、この発明 の精神及び範囲内で種々の変形及び変更が行われ得ることは理解されるであろう 。例えば、センサ素子は、原色フィルタ、すなわち、赤、緑、及び青、で覆われ たものとして説明されたけれども、補色フィルタで覆われることもできる。例え ば、赤及び青フィルタは黄及びシアンフィルタで置き換えられることができる。

そのようなフィルタ格子においては、緑は白で置き換えられてよいであろう。

ＦＩＧ、ｌ （従来技術） ＦＩＧ、　２ （従来技術） ＦＩＧ、　４ （従来技術） ＦＩＧ、　６ ＦＩＧ、　７ フィールド　Ｉ　ＧＧＧＲＧＧＧＲ練１フィーノＩＪ＋：　ｒ　ＧＧＧＲＧＧＧ Ｒ練１フィールド２　ＧＧＲＧＧＧＲＧ　練２フィーノｌ／ｌ−″　Ｉ　ＧＧＧ ＲＧＧＧ　練３フィールド２　８ＧＧＧ８ＧＧＧ　練４フィールド　Ｉ　ＲＧＧ ＧＲＧＧＧ　練５フィールド２　ＧＧＧＢＧＧＧＢ　線８ＦＩＧ、　９ フィールドスタが式色フィルタ図形を ビデオカメラのためのセンサ１１は画像検出素子の配列１４を覆う色フィルタ素 子の同様の色フィルタ配列１２を含んでいる。ビデオフレームの二つのフィール ドはセンサ１１からの画像信号の飛越し転送によって与えられる。色フィルタ配 列１２はセンサ配列１４に関して画像検出素子の少なくとも７５％が輝度検出（ 例えば、緑）素子であり且つ残りがクロミナンス検出（例えば、赤及び青）素子 であるように構成されている。更に、同じ種類（赤又は責）のクロミナンス検出 素子は水平方向において少なくとも三つの６１度検出（緑）素子によって分離さ れている。クロミナンス検出素子の水平標本化周波数は、同じ種類のクロミナン ス検出素子を含む水平線をスタガ式線対で配列して一方の線のクロミナンス検出 素子が他方の線のクロミナンス検出素子に関してセンサの異なった列に現れるよ うにすることによって増大される。

Claims (9)

【特許請求の範囲】
1. １．画像検出素子の配列を覆う色フィルタ素子の同様の面積配列を有していて、 色フィルタ素子の配列が水平線及び垂直列においてイメージセンサに関して画像 検出素子の少なくとも７５％が輝度検出素子であり且つ残りが少なくとも二つの 種類のクロミナンス検出素子のどちらかであるように構成されており、同じ種類 のクロミナンス検出素子が水平線方向において少なくとも三つの輝度検出素子に より分離されている、飛越し走査のために使用される形式の固体カラーイメージ センサであって、同じ種類のクロミナンス検出素子を含む水平線が線対で配列さ れていて一方の線のクロミナンス検出素子が他方の線のクロミナンス検出素子に 関してセンサの異なった列に現れ、これによってクロミナンス検出素子の水平標 本化周波数が増大されるように改善が行われている前記の固体カラーイメージセ ンサ。
2. ２．輝度検出素子が緑素子であり且つクロミナンス検出素子が赤及び青素子であ る、請求項１に記載のセンサ。
3. ３．赤素子を含む水平線が第１の線対に配列されており且つ青素子を含む水平線 が第２の線対に配列されていて、第１及び第２の線対が更に、赤及び青素子がセ ンサの一つおきの列に現れるように四つごとの線を繰り返す図形において近接し て配列されている、請求項２に記載のセンサ。
4. ４．赤素子を含む水平線が二組の第１線対において配列されており且つ青素子を 含む水平線が二組の第２線対において配列されていて、組の第１及び第２の線対 が更に、赤及び青素子がセンサのことごとくの列に現れるように八つごとの線を 繰り返す図形においてインタリーブされている、請求項２に記載のセンサ。
5. ５．前記のセンサが奇数及び偶数ビデオフィールドの飛越し走査を与え、奇数フ ィールドが前記の線対の前記の線の第１のものを含んでおり且つ偶数フィールド が前記の線対の前記の線の第２のものを含んでいる、請求項１に記載のセンサ。
6. ６．前記の線対の第１線のクロミナンス検出素子が前記の線対の第２線のクロミ ナンス検出素子間の距離の半分だけ移動されており、これによって同じ種類のク ロミナンス検出素子がセンサの一つおきの列に現れるようになっている、請求項 ５に記載のセンサ。
7. ７．同じ種類のクロミナンス検出素子を含む水平線が反復的格子の線対に配列さ れていて、クロミナンス検出素子がセンサの各列に現れる、請求項５に記載のセ ンサ。
8. ８．反復的格子を構成する線対が、第２種類のクロミナンス検出素子を含む二つ の線対間にインタリーブされた第１種類のクロミナンス検出素子を含む二つの線 対からなっていて、同じ種類のクロミナンス検出素子がセンサのことごとくの列 に現れるようになっている、請求項７に記載のセンサ。
9. ９．輝度検出素子が縁の光に感じ且つ第１及び第２種類のクロミナンス検出素子 がそれぞれ赤及び青の光に感じる、請求項８に記載のセンサ。