JPH05502149A - 高解像度センサのための標準解像度処理装置を用いた分布形ディジタル信号処理システム - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。

Description

【発明の詳細な説明】 この発明は画像化システムのための信号処理アーキテクチャに、更に詳細には、 高解像度画像センサにより発生された画像信号を処理するために一つ以上の線遅 延を利用したディジタル処理回路に関係している。

背景技術 一チップカラー電荷結合素子（ＣＣＤ）セッサから高品質カラービデオ画像を得 るためには大量の信号処理が必要とされる。図１は注文のディジタルビデオ処理 回路を用いた既知の一チツプカラーＣＣＤ画像化システムを示している。このシ ステムは、「注文ＶＬ３１回路を用いたディジタルカラーＣＣＤ画像化システム Ｊ、に、Ａ　バルルスキ、Ｌ、Ｊ、ドルーナ、及びＲ，）Ｔ、ヒッパード著。

ＩＥＥＥ消費者電子機器部会会報第３５巻第３号、１９８９年８月、３８２〜３ ８８ページ（”Ａ　Ｄｉｇｉｌｌｌ　Ｃｏ１ｏ「ＣＣＤ　ｌｌｌｇｉｎｇ　Ｓｙ ＋ｌ！ｓ　Ｕ＋ｉｎｇ　Ｃｉ＋ｌｏｍ　ＶＬＳＩＣｉ＋ｅａｉｔ＋、　”　ｂ７ 　Ｌ　Ａ、ＰｕｔＩｌ＋ｋｉ、Ｌ、１．　Ｄ′Ｌｃｎｔ　ｗｅｄ　Ｒ，Ｉｌ、） ｌｉｂｂｓ＋ｄ、ＩＥＥＥＴ＋ｉｎ＋　ｏｎ　ＣｏｎｓｏｍｅｒＥｌ＋ｃｌ＋ｏ ｎｉｃ＋、　Ｖｏ！、３５．　ＮｏＪ、＾ｗｇｗ＋ｌ　１９８９．　ｐｐｉ８２ −３Ｈjに 詳細に記述されている。この論文はディジタルビデオ処理をパイプライン化し且 つイメージセンサと同し画素レートで動作させてフレーム記憶装置を不必要にす る方法を示している。チップ面積を最小化するために、信号処理は乗算器が必要 とされないように注意深く設計されている。

図１に示されたカラー画像化システムはＣＣＤセンサ１０及びカラーフィルタ配 列（アレイ）１２を備えている。カラーフィルタ配列１２は、ＣＣＤセンサ１０ の各ホトサイトに対する単一の赤、緑又は青の値を与える赤、緑及び青フィルタ のパターンを収容している。イメージセンサ１０に、厚膜ハイブリット基板１４ 上に取り付けられたリードなしチップ支持具内にパッケージされた、水平５７０ ×垂直４８４の有効画素を備えた線間（インクライン）転送ＣＣＤ　（例えば、 イーストマン・コダック社（Ｅｕｌｍｘｎ　Ｋｏｄ＊ｋ　Ｃｏ、）により製造さ れたモデルＫＡｉ−０２８０センサ）である。ハイブリッド１４は必要なりロッ ク駆動器・バイアス回路１６、及び出力増幅器１８を含んでいる。センサ出力は 既知の相関二重標本化機能を実現するクランプ／標本化保持（サンプル及びホー ルド）回路２０によって処理される。処理されたセンサ出力信号は次に通常のフ ラッシュＡ／Ｄ変換器２２でディジタル化されて補間処理装置２４に入力される 。

前述の論文により詳細に記述されたように、補間処理装置２４は入力ビデオを平 均センサ光学的黒基準値にクランプし、これの代わりに隣接画素の値を用いるこ とにより欠陥をかくし、喪失した輝変画素を補間し、対数空間に変換して利得制 御及び白色バランスを行い、そして対数空間においてクロミナンス値を補間する 。後者の補間はまずオンチップ線遅延を用いて垂直方向において、次にシフト及 び加算回路を用いて水平方向において完成される。補間処理装置２４の対数ＲＧ Ｂ出力は後処理装置２６の入力に接続されており、後処理装置はレンズフレアに 対する黒レベル補正、３×３色マトリックス補正、ガンマ補正、及び縁部（エツ ジ）強調を行う。縁部強調は緑チャネルがら垂直及び水平高周波数細部を抽出し 、そして抽出された細部黒信号をＲＧＢ信号に加えることによって画像の「クリ スブネス」を改善する。この理由のために、後処理装置２６は対称三線垂直強調 を与えるためにオンチップ線遅延を備えている。

システムタイミングはプログラム可能なシーケンサ２８によって制御されるが、 これはｒＥＢＳ−１，ＥＰＲＯＭＰＲＯＭ準拠シン−ケンＳ　Ｉ　ＣＪ　、　Ｍ 、Ｄ、　フラ’７ン外著、ＣＩＣＣ’８８技術要録、１９８８年５月、ページ１ ５．　６．　１〜１　５、６．　４　（”Ｔｈｅ　ＥＢＳ−１，ｒｎ　ＥＰＲＯ Ｍ−ｂ＊＋ｅｄ　Ｓ＋ｑｍｅｎｅｅ＋　ＡＳＩＣ，”　ｂ７　Ｍ、　ＤＢ＋ｏｖ ｎ＋＋　＋ｌ、　ＣＩＣＣ′８８　Ｔｅｃｈｎｉｃａｌ　Ｄｉｇｕｌ、ｐｐ、　 １５．６．１−１５．６．３．　ＭＩＦ　１９８８jに記載 されている。タイミング生成プログラムはシーケンサタイミングが迅速に発生さ れ又は変更されることを可能にする。シーケンサ２８はシステム制御器、例えば カメラのンヤッタボタンなど、からの命令に従ってイメージヤ続出し機能を実施 する種々の画素及び線計数器を備えている。補間処理袋ｆｆ１１２４及び後処理 装置２６のチップは線当り７６８までの有効ホトサイトを備えたセッサがらの信 号処理を支えるためのりセット可能な線遅延器を備えていて、ＮＴＳＣ，ＰＡＬ 、及びＣ１ｊＲ６０１ビデオ標準にチップを適するようにしている。「ビデオよ り高い」解像度を必要とする応用例が生じる、すなわち、７６８の有効ホトサイ トより高い線解像度を必要とするときには、これらの「ビデオ」注文チップは直 接使用されることができない。更に、高解像度処理に向けられた「ビデオより高 い」注文チップは、高解像度処理に必要なより長い線遅延器を妥当な大きさのチ ップ上で集積化することが困難であるので、ある種の欠点を持っている。

互いに少し重なり合った二つの線形センサを用いて大きい線長を走査することに よってより高い解像度を与えることは知られている（例えば、米国特許４３１４ ２８１及び４６９２８１２を見よ）。これらの開示の主な関心事はクロスオーバ 点における線出力の整合であるが、しかし゛２８１特許は二つの別々の出力チャ ネルにおけるある種の初期信号処理、特に各配列の動作特性に関係した利得調整 、を与える。米国特許第４４８４３４９号においては、画像の隣接したセグメン トが二つ以上の隣接した直列近傍処理装置により同時に処理され得るように画像 マトリックスが仕切られている並列バイブライン画像処理装置が記載されている 。′３４９特許に記載されたような処理装置は、高解像度画像処理のためには非 常に高価であるような全画像処理装置を付加しなければ、パルルスキ外の論文に 記載された形式の画像化システムには適さないであろう。従って、図１の処理装 置チップ２４及び２６をメガ画素画像化システム、特に、垂直補間を与え且つ垂 直方向の細部を処理する能力を持っているもの、へ組み込む必要性が存前述のパ ルルスキ外の論文に記載されたリセット可能な線遅延器を備えた前述の注文処理 チップを、このチップが、特にこれに存在する線遅延器を考慮して、処理するよ うに設計されたよりも大きい線解像度を有するイメージセンサ配列と共に使用す ることがこの発明の目的である。

この発明は、ある種の垂直処理効果のために必要とされる全（高解像度）線遅延 の効果が、それぞれ部分的線遅延を持った別々の処理装置を画像の別々のセグメ ントに割り当て、そして次にセグメントの境界においてプロセス及びこれと共に 遅延を中断することによって獲得され得るという実感に基づいている。従って、 イメージセンサの各線は少なくとも第１線部分及び第２線部分へ分割され、そし て別々の処理装置が各部分に割り当てられる。第１処理装置は第１線部分の長さ に対応する第１部分的線遅延器を備えており、又第２処理装置は第２線部分に対 応する第２部分的線遅延器を備えている。これら二つの処理装置は次に、第１処 理装置が第１線部分の走査中に動作し且つ第２処理装置が第２線部分の走査中に 動作するように順序付けされる。このような順序付けによって、二つの部分的線 遅延器はイメージセンサの線に対応する連続した遅延器を形成し、これにより標 準解像度処理装置が高解像度応用装置に使用されることを可能にする。

図面の簡単な説明 この発明は諸図面に関して説明されるが、この諸図面のうち、図１は標準解像度 センサのための既知のディジタル信号処理アーキテクチャの線図であり、 図２は高解像度センサのためのこの発明による分布形ディジタル信号処理アーキ テクチャの線図てあり、 図３は図２の信号処理アーキテクチャの動作に関連した幾つかの信号の波形図で あり、又 図４（Ａ）は垂直補間を必要とする色フィルタ配列の形式の図解であり、且つ図 ４（Ｂ）はそのような垂直補間における使用のための線遅延配列の例である。

発明を実施するための最良の方法 ディジタル処理システムは周知であるのて、この説明は特に、この発明の一部分 を形成する又はこの発明とより直接的に共働する諸素子に向けられる。ここで明 確に示され又は説明されない諸素子は技術上既知のものから選択されることがで きる。特に、図１の処理装置Ｎ２４及び２６、並びにシーケンサ２８の細部はパ ルルスキ外、及びブラウン外による前述のＴＥＥＥ論文において与えられており 、これらの論文は背景資料のそれらの開示としてこの明細書に援用される（補間 処理装置１２４及び後処理装置２６はベルルスキ外の論文においてそれぞれｒＣ ＦＡ信号処理装置１Ｊ及びｒＲＧＢ信号後処理装置」と呼ばれている。）。

この発明に従って、高解像度センサ４０により発生された画像信号のディジタル 信号処理は図１において説明されたのと同し補間及び後処理装置チップ２４及び ２６で、これらを図２に示されたような分布形処理アーキテクチャにおいて使用 することにより実施されることができる。この分布形アーキテクチャは図１のア ーキテクチャに使用されたのと同じ処理用素子の多くを使用しているので、基本 的に同じである素子（実質的でない差異は許容され、例えば、色フィルタ配列１ ２は基本的には同じであるけれども、図２においてはより高い解像度のセンサを 収容するような大きさにされている）を記述するために同し参照文字が使用され ている。図１に記述された補間処理装置２４及び後処理装置２６はオンチップ線 遅延器のために外部供給の開始及び停止信号を必要とする。そのような開始及び 停止信号は、それぞれ異なった線当りの画素数を有する、センサ１０のある範囲 を支えている。しかしながら、線遅延器は最大値の７６８画素／線を処理する。

それゆえに、１５３６画素／線（すなわち、２Ｘ７６８画素）未満を有するイメ ージセンサに対しては、二つの処理装置チップ集合、すなわち補間処理袋ｆｉｉ ２４ａ及び２４ｂ、並びに後処理装置２６ａ及び２６ｂが必要とされる。それゆ え、図２の線図は１２８０水平画素Ｘ１０２４垂直画素を有する図示のセンサ４ ０、例えばイーストマン・コダック社により製造されたモデルＫＡＦ　１３００ ＣＣＣＤイメージセンサに対する採択されたアーキテクチャである。明らかに、 より大きいイメージセンサ配列は単に付加的な処理装置を必要とするであろう。

例えば、１線に２０４８画素を有する４メガ画素センサ（例えば、イーストマン ・コダック社により製造されたモデルＫＡＦ−４２００）は三つの処理装置の組 を必要とするであろう。

今麿は図２に言及すると、補間処理装置２４ａ及び後処理装置２６ａはイメージ センサ４０からの画像の半分を処理し、且つ補間処理装置２４ｂ及び後処理装ｆ ｉ２６ｂは画素の他の半分を処理する。この目的のために、プログラム可能なシ ーケンサ２８は図３の波形を生成するようにプログラムされている（そして図２ においては２８′　として番号を付は替られている）。更に明確には、処理装置 ２４ａ及び２６ａは各線時間の開始時（画素０）に信号開始（１）によって開始 され、そして各線時間の約半分（例えば、画素６４０〕のところで信号停止（」 −）によって停止される。処理装置２４ｂ及び２６ｂは各線時間の約半分（例え ば、画素６４１）のところで信号開始（２）によって開始され、モして各線時間 の終わり（画素１２８０）において信号停止（２）によって停止される。補間処 理袋ｆ１２４ａ及び２４ｂにおける遅延素子４２によって示されたように、図３ の波形は又画素Ｏにおいて遅延素子を開始させ（信号開始（１）又は開始（２） ）　、それから画素７６８までの選択された画素位置において遅延素子を停止さ せる（信号停止（１）又は停止（２））のに役立つ。後処理装置２６ａ及び２６ ｂからの平線出力信号は次に、シーケンサ２８′　からの信号ｍｕｘ−ｓｅｌに より切り換えられる２・１マルチプレクサ４４によって単一のＲＧＢ出力流へと 時分割多重化される。

２組の処理装置２４ａ及び２６ａ１並びに２４ｂ及び２６ｂはそれゆえ各線時間 の約半分休止しており、全ラスタが線ごとに走査されるときにシーケンサ２８′ 　からの命令に従って間欠的に開始したり停止したりする。各処理装置がセンサ 読出しと同じレートで処理することができるかぎり、図２の分布形アーキテクチ ャは画像データを実時間で処理することができる。重要なことであるが、二つ以 上の画素を関連させるために必要な線遅延器は各処理装置に固有の部分的線遅延 器で実施されることができる。

図４（Ａ）は典型的な色フィルタ配列１２の小部分を示したものであって、垂直 補間の必要性を理解するのに役立つ。システムクロミナンス値、すなわち、Ｒ及 びＢ画素から得られた色値はことごとくの線に存在しているわけではない。それ ゆえ、ことごとくの画素位置についてＲ及びＢクロミナンス値を補間する又は整 列させるために少なくとも一つの全線遅延が与えられる。例えば、図４（Ｂ）に おいて、三つの線にわたって垂直補間を行うために三つの出力値を整列させるよ うに（例えば、補間処理装置２４ａ及び２４ｂにおいて）二つの線遅延器５０及 び５２が準備されている。各遅延器は最初の画素位！　（０）において開始しく 開始（０））且つ又画素位置７６８以下の任意の画素位置において停止する（停 止（ｎ＜＝７６８））ようにリセット可能である。この方法で各線遅延は各処理 装置組２４ａ及び２６ａ１並びに２４ｂ及び２６ｂに割り当てられた全線の部分 を処理するように正確に構成されることができる。別々で示されてはいないけれ ども、垂直強調のための必要な画素値を与えるために後処理装［２６ａ及び２６ ｂにおいてリセット可能な線遅延器の類似の構成のものを準備してもよい。

リセット可能な遅延線は通常知られている。例えば、マツタウシュ、Ｈ外部「大 きい調整可能長を持った記憶装置準拠式高速ディジタル遅延線Ｊ、ＴＥＥＥ固体 回路ジャーナル、５Ｃ−２３巻第１号、１９８８年２月、ページ１０５〜１−１ ０　（ｌｌａｌｌｔｏｉｃｈ、　Ｉ＋、ｃｌ　ｉｔ、　’＾ＭｅＩＩｏＢ−Ｂｉ ｔｃｄ　）ｌｉｇｈ−Ｓｐｅｅｄ　Ｄｉｇｉｔｉｌ　cｅｌ＋７ Ｌｉｎｅ　ｗｉｔｈ　ｔ　１．ｕｇｅ　Ａｄｉｕ＋Ｉａｂｌｅ　Ｌｕｇｌｈ’、 ＩＥＥＥ　Ｉｏａ＋ｎａｌ　ｏｆ　５ｏｌｉｄ　５ｔａｌｅＣｉｒｃｕｉｔｓ、 　ｙｏｌ、５Ｃ−２３，ＮＯ，１，ｐｇＬ　１０５−１１０．　Ｆｅｂ、１９８ ｇ）を見よ。

前述の説明は各処理装置組２４ａ及び２６ａ１並びに２４ｂ及び２６ｂの任意の 開始並びに停止を例示しているが、更なる実施例においては第１の処理装置組２ ４ａ及び２６ｂを自由に動作させ且つマルチプレクサ４４に処理装置組間の順序 付けを行わせることが可能である。換言すれば、処理装置２４ａ及び２６ａを任 意に停止させることは不必要である。これらの処理装置は単に線の初めに開始さ れ、そしてマルチプレクサ４４は他方の処理袋Ｍ２４ｂ及び２６ｂが開示された ときにこれらに切り換えることによって出力信号を順序付けする。処理装置２４ ａ及び２６ｂが動作し続けることは問題にならない。ある状況においては、この 実施例は、一方のり七ノド信号（処理袋＠　２４　ａ及び２６ａに対する停止信 号）が消去され得るので、好適であろう。更に、第２処理装置組２４ｂ及び２６ ｂの全線長未満が必要とされる場合には、第２組における線遅延器を適当な画素 位置で開始させ、この遅延器に線の終わりまで継続させる（線遅延器をｎ＝０に おいて開始させて適当な画素位置で停止させる代わりにそのようにする）ことは 実行可能である。

ＯＮ　寸　Ｃ 〜　へ　ヘ　Ｎ 辞１０口凹口 ＃２０ロロロ 梓３０ロロロ ＦＩＧ、　４Ａ ＦＩＧ、　４Ｂ 要　約　書 高解像度イメージセンサ（４０）のためのディジタル処理アーキテクチャはセン サ（４０）の出力の時分割処理のための複数の類似のディジタル処理装置（２４ ａ、２６　ａ、２４　ｂ、２６　ｂ）を使用している。各処理装置はプログラム に可能なシーケンサ（２８’）からの開始及び停止信号に従って動作する。採択 実施例においては、２組の処理装置が１０２４画素の線解像度を処理し、一方の 組（２４ａ、２６ａ）は各線の第１半部を処理し且つ他方の組（２４ｂ、２６ｂ ）は第２半部を処理する。これは垂直処理が必要とされる場合に特に有用であり 、必要とされる全線遅延器（５０，”Ｔ”・は処理装置のそれぞれに存在する部 分的なリセット可能な遅延器へと分割される。

国際調査報告 ｌｓｌ、−ｅｌｌａ＊ｍ　ＡｓｐＨｅ＊□１．２ρＣＴ／ＩＪｓ　９１１０５０ ３４国際調査報告 、ＰＣ丁／ｕｓ９１１０５０３４

Claims (5)

【特許請求の範囲】
1. １．イメージセンサの各線が少なくとも第１線部分及び第２線部分へ分割されて いる二次元イメージセンサ（４０）の走査出力から垂直処理された画像信号を発 生するための信号処理システムであって、複数の前記の第１線部分に対応する複 数の第１部分的線遅延器（５０，５２）を備えている、前記の第１線部分から得 られた画像信号を処理するための第１処理装置（２４ａ，　２４ｂ）、 複数の前記の第２線部分に対応する復数の第２部分的線遅延器（５０，５２）を 備えている、前記の第２線部分から得られた画像信号を処理するための第２処理 装置（２４ｂ，　２６ｂ）、並びに、前記の第１処理装置（２４ａ，２６ａ）が 第１線部分の走査中に動作し且つ又前記の第２処理装置（２４ｂ，２６ｂ）が第 ２線部分の走査中に動作するように前記の第１及び第２処理装置の動作を順序付 けして、これにより前記の二つの複数の部分的線達延器（５０，５２）がイメー ジセンサ（４０）の複数の線に対応する画像信号の垂直処理に有効な連続した遅 延器を形成するようにするための順序付け装置（２８′）、 を含んでいることによって特徴づけられている前記の信号処理システム。
2. ２．前記の部分的線遅延器（５０，５２）がリセット可能な線遅延器であり、且 つ前記の順序付け装置（２８′）が各線部分の長さに対応して各遅延器を開始さ せたり停止したりするために前記の線遅延器にリセット信号を供給する、請求項 １に記載の信号処理システム。
3. ３．センサ（４０）が各線において全クロマ情報を与えないカラーセンサであり 、且つ前記の第１及び第２処理装置（２４ａ，２６ａ，２４ｂ，２６ｂ）におけ る前記の部分的線遅延器（５０，５２）がクロマ情報を垂直に補間するために使 用される、請求項１に記載の信号処理システム。
4. ４．前記の第１及び第２処理装置（２４ａ，２６ａ，２４ｂ，２６ｂ）が強調動 作を行い且つ前記部分的線遅延器が垂直強調細部を生成するために使用される、 請求項１に記載の信号処理システム。
5. ５．前記の第１及び第２処理装置（２４ａ，２６ａ，２４ｂ，２６ｂ）の出力の 時分割順序を与えるためのマルチプレクサ（４４）を更に備えている、請求項１ に記載の信号処理システム。