JPH03503951A - 多色イメージセンサからの全解像度カラー信号を発生するための実時間ディジタル処理装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。

Description

【発明の詳細な説明】 多色イメージセンサからの全解像度カラー信号？発生　るための　時間ディジタ ル処理装置技術的分野 この発ＢＡはディジタル信号処理の分野に、更に明確には、多色イメージセンサ から得られた画家信号のディジタル処理に関アナログ・ビデオシステムにおける 信号処理の高度化には実用的な限界があり、そし℃これはそのようなシステムが 発生ずることのできる画像品質？制限する。ディジタル信号処理はより複雑な処 理のための技術？提供１−１従ってより高い画潅品質ノ巣付け？提供する。完全 にディジタル的なカメラシステム？設計する際には、このシステムの基本的構造 は通常のアナログビデオカメラシステムの諸素子？アナログ区域からディジタル 区域へ転移させることに通常基づいている。これは１例えば。

二コ−ｒＮ、’ｋｏｈ）　外によって提案されたディジタルシステムにおいて見 られるＣ　ｒ完全ディジタルビデオカメラシステム及びその本質的なパラメータ のシミュレーシ目ン」、Ｈ，ニニー及ヒＴ、クワシマ著、消費者電子機器国際会 議、技術論文登録、　１９８８年６月、４〜５ページ所載−Ｔｈｅ　Ｆｕｌｌ　 Ｄｉｇｉ　ｔａＩＶｉｄｅ。

Ｃａｍｅｒａ　Ｓｙｓｔｅｍ　ａｎｄ　Ｓｉｍｕｌａｔｉｏｎ　ｏｆ　Ｉｔｓ　 ＥｓｓｅｎｔｉａｌＰａｒａｍｅｔｅｒｓ、”　ｂｙ　Ｈ，Ｎ１ｋｏｈ　ａｎｄ 　Ｔ、Ｋｕｗａｊ　ｉｍａ、Ｄｉｇｅｓｔ○ｆ　　ＴｅＣｋｎｉＣａｌ　　Ｐａ ｐｅｒｓ、Ｉｎｔｅｒｎａｔｉｏｎａｌ　　ＣｏｎｆｅｒｅｎｃｅＯｎ　Ｃｏｎ ｓｕｍｅｒ　Ｅｌｅｃｔｒｏｎｉｃｓ、　Ｊｕｎｅ　１９８８．　ｐｐ　Ａ−５ ））。

大抵の処理は１画素誤差補正１色分離、白色バランス、ガンマ補正５色差信号発 生、開口補償及び雑音低減を含めて、ディジタル的に行われる。同様に広範なデ ィジタルアーキテクチャがＥＰＯ％許出願１！２８９９４４号（１９８８年１１ 月９日公表）に見られ、これにおいては電子式ディジタルスチルカメラがディジ タル記憶装置における処理済み信号の記憶前に色分解、白色バランスＵｐ及びガ ンマ補正を行う。アナログからディジタルへのそのような直接の転位は通常、を 子化増分が線形に圓係づけられている量子化空間を必要とする。

しかしながら、線形以外の空間がディジタル信号処理を行うことが有利であるか もしれない場合かある。例えは、１９８８年１２月２７日イースタＩＪ　（Ｅａ ｓｔｅｒｌｙ）外の名義で出願され、この出願の譲受人に譲渡された。「画像の 暗い区域に対する改善された解像度及びコントラストを持りた光学的画像−ビデ オ転送システム（○ｐｔｉｃａｌ　Ｉｍａｇｅ−ｖｉａｅｏ　ＴｒａｎＳｆ’１ ９ｒ　Ｓｙｓｔｅｍ　ＨａｔｉｎｇＥｎｈａｎｃｅｄ　Ｒｅ５ｏｌｕｔｉｏｎ　 ａｎｄ　ｃｏｎｔｒａｓｔ　Ｆｏｒ　Ｄａｒｋ　ＡｒｅａＳｏｒ　ｔｈｅ　Ｉｍ ａｇｅ　）　Ｊという名称の（米国特許出願）連続番号第２９０７２９号におい ては、単一チップＣＣＤイメージセンサによって発生されたアナログ画素値はデ ィジタル化されて対数露光量空間に変換される。すなわち、大刀信号振幅に対し て対数関係を有するディジタル符号語が発生される。次にすべての色の補間が対 数空間において実施される。しかしながら、黒レベル補正のような、ある種の動 作が、センナ信号レベルに線形に関係つけられた空間において完了されなければ ならない。これは、センサ及び線形一対数変換の伝達関数が不整合であるならば 黒レベルの調整不良が色すれとして現れることがあるからである。従って、連続 査号第２９０７２９号においては、アナログセンサ信号の黒レベルはディジタル 化される前に補正される。

処理アーキテクチャの樽既は１乗算のようなある種の演算が縁形ディジタル過稚 で実施するのが不便であるということＫよって骸雑化される。カラー信号補間は 乗算又は除算を必要とするが、これらの演算は通常、配線式シフト器及び加算器 によって実玩され又は少なくとも厳密に近似させられ得る既知の係数ＩｃＪ−り ている。白色バランスのような他の演算シ：、配線式線形ディジタル回路では容 易１ｃ％現され得ない情景依存性の乗算ケ必要とする。これらの演算は対数空間 においては加算として一層容易ＶＣ実厖される。

イ固個の演算のために最も通した空間区域に従ってディジタル過程？分割するの が望ましいｔ５に思われるであろう。しかしながら、これたけでは、演算の優先 順位が空間間での多くの変換ケ必要とすることかあるので、＠応性のある簡素化 されたディジタルアーキテクチャを確保することｉ工できない。例えば。

補間ｆそれ日本は線形空間において最も良く行われる）は栂形黒レベル補正に続 くが１分鱗されたクロミナンスカラーはクロマが補間される前にＣ乗算のために 、対数空間で）白色バランスさセら４るべきである。更に、ガンマ補正、縁部（ エツジ〕強請、及び色補正のようなある種の演算は補正の性質に依存してどちら の空間においても最も良く行われるかもしれない、そのうえに、そのような演算 は通常ある種の応用−例えば特定の形式の出刃−に限定され、従ってディジタル 過程の順応性と衝突する。

この発明はます補間ケ二つの明確な部分１丁なわち輝度補間及びクロミナンス補 間によってディジタルアー干テクチャを簡素化し簡単化する。これは、単にせい ぜい軽微な改善のように見えるかもしれないが１者しく改善されたアーキテクチ ャ？生じる空間分割に向けられた付加的な改善の結びつきのための基礎である。

ます、クロマ補間はクロマ保持Ｃ赤又は青〕値だけの代わりに色相に関して行わ れるならばより有効であることが知られている。これは有意の輝度細ＳＶ持った 区域における偽色ケ低減するのに役立つ、この発明は更に、クロミナンスが補間 距離の両端におい℃正確に知られているかぎり、クロマ保持色の非線形補間によ る色相におけるわすかな調整不良に目が感じないこと？色相の取扱いが保証する こと？認めている。従り℃、輝度は正確さのために線形空間において補間され、 且つりｏ＜ナンス（又は色相〕は主として便宜及び簡単さのために対数空間にお いて補間される。これはｊＩＩ隊品質に重大な影ｖｉ及ぼすことなく機能的集子 ？最小限にする演算の有利な部分はケ可能にする。

ディジタルアーキテクチャを更に簡素化し且つそのＩＩＩ応性Ｖ最大限にするた めに、処理チェー／は、全解像度未補正カラー信号を発生する信号前置処理装置 と、応用依存性信号改善及び補正、９１えばガンマ補正１色マトリクス化、縁部 強調などを与える後置処理装置とに区分される。信号＃置処理装置ｉ１はそれゆ えに、処理空間の賢明な選択から時に利益？受ける比較的一般的な回路になり、 フレーム記憶ｆｆ装置を必要とゼず且つ最小限の機能的素子で正確な信号処理を 最大限にする完全パイプライン式ディジタルシステム？生じることになる。重大 な補間及び乗算？近似させられ得るものから、且つ既知の乗算器を、信号流から 又）；任意の入力条件から計算されなければならないものから更に分離すること によって、前置処理装置回路のアーキテクチャは処理空間の有効な選択に１丁な わち、そのアナログ起源のものからの独創性のない転位の代わりに線形又は対数 空間に。

関係するように設計されることができろ。

この発明はそれゆえに、従来の素子のディジタル回路での隼なる置換えからそれ て、その代わりに単一テッグ多色イメージセンナからの信号について動作するよ うなディジタル過程の最小限の空間的区分に焦点ケ合わせている。センサは輝度 及びクロミナ／スＩｉＴＩｇＪ信号を発生するホトサイトの二次元図形を持って いる。＃Ｊ宜処理装置回路は処理空間によって分離された二つの処理部分ケ備え ている。第１部分は量子化線形空間におけるー慮信号ケ処理するからであり、ク ロミナンス信号？発生する画素位置に対する付加的な輝度値？補間するための装 置？備えている。第１部分の出刃は量子化輝度信号の金牌＠度の流れ及び量子化 クロミナンス信号の部分解（１１度の流れケ含んでいる。

＠２部分は量子化対数空間において第１部分の出刃？処理するものであり、クロ ミナンス及び輝度信号から量子化色相信号を発生するための装置並ひに輝度信号 を発生ずる画素位置に対する付加的な色相ｔｖ補補間るための装置を備えている 。第２部分の出刃は量子化カラー信号の金牌で速度の流れであろう＠１部分処理 は線形空間において行われるので、１！ｉｔ：知の乗算器（又は除算器〕での乗 算（又は除算用言単純な右シフトで実施されろことができる。従って、この部分 は更に、所定数の画像画素の平均信号値から黒基準１１を確立するための無基準 クランプ、及び各１嫁信号から黒基準値を演算するための装置ｉ備えているう第 ２部分は量子化対数空間にあるので、まだ未決定の係数による乗算（又は除算〕 は加算（又は減算〕になる。第２ｅ分はそれゆえに、（−形空間における除算に 対応して〕各対数色相信号から減算された平均色値に従って色相信号の白色パラ ンスケ制御するなめの装置、及びｗ、２部分に入力された利得オフセｙ）値に従 って対数緑信号の信号利得？変更するための装置？儂え℃いる。最ｆｌｋに１色 相信号を丁クロマへと再変換され、従って出力は全解像度カラー信号の集合であ る。

図面の簡単な説明 この発明は図面に関して説明されるが、この図面中。

図１はこの発明に従り℃使用可能な静止ビデオカメラに含まれたディジタル処理 部［１％’示した構成図であり。

図２は図１のカメラにおいて使用されたイメージセ／すり平面図であり、 図３はイメージセンナと関連し℃使用された色フイルタ図形の一部分？示してお り。

図４は図１に示されたディジタル紡置処理装菫の詳細な構成図であり。

図５は図１に示されたディジタル後置処理装置の詳細な構成図であり。

図６は図４ＶＣ示された欠陥隠ぺい及び輝度補間ブロックの詳細な線図であり、 又 図ハ言図４に示された水平及び垂直クロマ補間ブロックの詳細な線図である。

発明を実施するための最良の方法 図１はこの発明により異本化された形式のディジタル処理装置ｔ’ｒｗえた静止 ビデオカメラの基本的素子を示し℃いろ。省略された又は詳細に示され℃いない カメラの他の素子は技術上既知の同様の素子から容易に選択されろことができる 。例えば４この発明の理解に必須で；言ないカメラの露光制御、記録装置及び表 示装置部分はこの技術において周知の通常の構成部品によって準備されろことが できろうこの発明に周辺的に関係し℃いろマイクロプロセッサ制御システム及び タイミング回路は利用可能な構成部品及び技法を用いて全く通常の方法で実現さ れることができる５更に、ディジタル処理装置が静止ビデオカメラに関連して開 示されているけれども、この発明はこの１ｉｉ１１潅抽獲方式に必ずしも関係づ けられろ必要はなく１例えは、フィルム−ビデオ変換器又は移動ビデオ７ステム へ組み込まれろことができろであろう。

図１に言及すると、こＱり静止ビデオカメラは破写本（図示されていない〕から の画ｆ象元？色フィルタ１２を通し℃イメージセンサ１４に導くための光学的部 分１０を備えている。絞り１６は画＠元が通過する光学的開口を―堅し且つシャ ッタ１８はイメージセンサ１４におけろ画像光の蕗元時間ケ調整する。周知のよ うに、罐光量は元の強度及び時間の関数であり、これらはそれぞれ絞り１６及び シャブタ１８によりＣＩ！ｔｌＪ御されるう情景光の標本がＩＮＮ副制御回路２ ０入力され、そしてこの回路は無光モード又は他の通常の使用者人力（図示され ていない〕に基づいて綬り１６及びシャγり１８を動作させる。

イメージセンサ１４は図２に平面図で示されている。典型的な応用を図解する目 的のために、センサ１４は５７０画素の水平解像度及び４８４線（ライン〕の垂 直解像度？持った有効画像区域２２？有しているう　（しかしながら、この発明 は任意特定の形態又は大ぎさのイメージセンナに限定されない。〕画素は別別の フィールドが線ごとに出力レジスタ２４に転送される既知のインタラインＣ縁間 ）転送形態に配列されている。

平行斜線のある区域２６は「ｗｒ１１ｔ流」の指示ケ得ろｔこめに使用される暗 い線及び暗い画素の領域を示し℃いろ。図３は白フィルタ１２のための好適な色 フィルタ等何字的形態、明確１ｃは。

この発明の譲受人ＶＣ議渡され且つこの明細書に援用される米国特許第４６６３ ６６１号に開示された形式の「玉縁」色フィルタ等何字的形態？示しているうこ の形式のフィルタは赤、縁及び青の信号を発生し、これらの信号は又輝度（緑〕 及びクロミナンス（赤又は青〕の色と考えられ得る。この￥ｊ軒に開示された形 式の補間処理？実施するために、ぼけフィルタ２８（図１）が色フィルタ１２の 前ＩＣ置かれて１画像元？既知の広がり関数に従ってプレフィルタするっ 「玉縁」色フィルタ配列は、やはりこの発明の譲受人に譲渡さｆ７且つこの明細 書に援用されろ米国特許第３９７１０６５号の教示事項に従って「市松模様」の 妓伺学的形態に更に配列されている５図２及び乙に示されｆこイメージセンサ及 び色フィルタ配列は、この発明の必要な素子としてで１；なく、この発明の特定 の実施例に関して開示されているうディジタル処理装置（後述の予定〕は任意の 単一テップ色感知性イメージセンサで実現されることができろ、もちろん、補間 処理は使用されている特定の色配列に適合させられなげればならない、又、他の 色フイルタリング技術により、ぼけフィルタ２６ン変更又は省略することができ る。

図１において、イメージセンサ１４の出力レジスタ２４（図２〕からの画像信号 ？アナログーディジタルｔ　Ａ／Ｄ）Ｋ換ａ回路６０ヘクロックし且つカメラの 他の部分？全障的ＶｃＩｌｌ＆を外付げするためにタイミング回路２９が準備さ れている。タイミング回路は色副搬送波の３倍、すなわち約１０．７ＭＨｚ　で 動作する。そのようなビデオレートで動作する通常のフラッシュ変換器がＡ／Ｄ 変換器６０とし℃使用されろ。Ａ／Ｄ変換器３０により℃発生されたディジタル 信号は、例えば８ビット解壕度の線形量子化信号であり、図５の色フィルタ配列 に対しては三つの緑信号ＶＣ，Ｊ：り分離された一連の赤（又は青〕信号からな る色信号の流れとし℃出力される。この量子化色信号は二つの部分。

丁なわち前置処理装置部分３４及び後置処理装置す分３６からなるディジタル信 号処理回路３２に加えられろ。ディジタル処理回路３２に供給されろ信号はイメ ージセンサ１４からの部分解像度カラーデータ、丁なわち、センブリ黒レベルに 又は情景における任意の色及び濃度の不規則性に起因する任意の異常？取り入れ た未補間のセンサ信号である。（前置処理装置３４に入力されろ信号；；又、８ ピツト非瞭形量子化、例えば対数量子化、大刀信号であってもよく、この信号は これらの異常のあるもの１例えは可視の量子化ひずみを最小化すると共１ｃＡ／ Ｄ費用？低く保つこと？町馳にする。この場合にはＡ／Ｄ変換配Ｏの前にこれに 対数信号？供給するだめの対数増鴨器が置かれるであろうつ〕回路３２から出力 された信号は完全補正の全解像度多色信号である。前置処理装＃６４と後置処理 装（ｔ５６との間？通過した信号は、前述の異常？伴わないが主観的な画像改善 のための補正の全くない全解像度カラーデータを含んでいろ。

ディジタル処理装置６２からの完全補正カラー信号はディジタル−アナログ（Ｄ ／Ａ）変換器３８によってアナログ信号に変換されて９通常の記録装置４０Ｋ又 は表示装ａＡ２に送られるっ（破線４４は２選択により、カラー信号がディジタ ル記憶装置に直接記録されてもよいこと？示すことになっている。ｊマイクロプ ロセッサ４６はカメラの動作？制御し、且つ前置処理ｆｔｌ報、　９１Ｊえば利 得オフセット及びカラーバランスの前置処理装置３４への使用者入力を可能ＶＣ する。ボタン４７が押し下げられて自勧臼色バランス動作？可能化するが、これ は光学的部分１０を白色カード又は同様の白色標邂に向けろこと？必要とする。

このシステムの基本的な特徴は、前置処理装置３４が完全にパイプライン化され ていて、イメージセンサ１４からの１生の」赤、緑及び青のデータが実時間で１ 丁なわちフレーム記憶装置のような何らかの外部記憶装置？必要とすることなく 、処理されて後置処理装置に供給されることである。後置処理（ｆｋｌｌ処理装 置１１３６における〕も又実時間であろうと想渾されろが、しかしこれ１丁この 発明の必要な付属物で１丁ない。（「実時間」（言イメージセンサ１４の正常な ピテオ動作レート、６０ピテオフイ一ルド毎秒、又は通常の写Ｘ撮影？可能にす るように十分に速い任意の匹敵するレート？含んでいろう〕図４１マディジタル 前置処理装置ｆ３４の基本的アーそテクチャ？示しており、これ１工望ましく） ；単一の集積回路において実現されろっ＠置処理装置６４への入力５０はＡ／Ｄ ｉ換器３０から１０ビツト線形量子化又は８ビツト非線形（対数〕量子化信号？ 受けろ。固定記憶装置ＣＲＯＭ）探索表（ＬＵＴ）５２は非線形量子化（対数〕 入力から１０ビット線形信号値への写ＩＪ！？行うが、この信号値は一般的１ｃ ｉ言前置処理装置３４によって処理されろビプト解１速度２表し℃いる。マルチ プレクサ５４には二つの入力があって、その一方が端子５０Ｖｃ且つ他方がＦＩ ＯＭ５２に接続されている。マルチプレクサ５４は入力信号の形式に従って１丁 なわち入力信号が対数であるか線形であるかに従って。

マイクロプロセッサ４６（又は応用に従っての固定配線〕によって切り換えられ て、常に線形である出刃？供給するっこれは。

黒レベルクランピング及び輝度補間の初期処理段階が望１しくは線形空間におい て完成され、この空間におい℃は調整がイメージセンナに存在する電荷信号振幅 に直接の線形関係にあるので１重要である。

マルチプレクサ５４からの信号は黒基準発生器５６と黒基準クランプ５８とに７ １Ｏえられ、そしてこれらは画像全本に対する安定なセンナ黒基準（ＷＹ確立て るために使用される。この黒基準はセンナに対する平均熱暗電流罐音補正オフセ ット値であって、これは信号から除去されなければそσり後の丁べての調整及び 補正をだめにする。黒基準発生器５６（工、イメージ七ンカ４の非表示・非画渫 化暗区域２６における５１２画素から暗電流信号値の標本？集めろために画家区 域２２（図２〕がイメージセンサ１４から定食されろ前にタイミング回路２９（ 図１）Ｋより℃可能化される。各暗画素のディジタル値は全く小さいので、七つ り〕最下位ビットだげが加金セ器６０によっ℃加え合わされてレジスタ６２ＶＣ 記憶される。この和はこれの九つの最下位ピット？切り捨てろことによつ℃右送 り回路６４において平均イヒされるっ有動画像区域２２からの画素の画像値がそ の後処理されろときに、平均黒基準値はクランプ５８において各画素値から減算 されろ。

クランプされた信号はセンナ欠陥隠ぺい回路６６に加えられ。

そしてこの回路は同じ色の最も近い前の水平方向に近接した画素の値２代わりに 用いることＫよって欠陥のある画素？隠す。

これらの欠陥画素は位置に関して欠陥表（図示されていない〕によってあらかじ め決定されており、この欠陥表が回路６６の動作’ａ’ｉ！ｉ′ｌＪ御する５画 素信号の流れは次に弾度画素補間回路６８に加えられる５回路６６及び６８の更 なる細部は図６に示されている。まず輝度補間回路６８に移ると、最初に注目さ れろべきことであるが１画素位置の４分の１１丁なわち赤及び青情報？集めた位 置は輝度、すなわち緑、値？失っ℃いろう回路６８は、上述の米国特許第４６６ ４６６１号に開示された形式の水平６次有限インパルス応答（ＦＩＲ，）ディジ タルフィルタ７０を用いろことによってそれらの位置（失われた緑画素〕に対す る緑！？補間する。

ディジタルフィルタ７０は１図６に示されたように右送り。

加算及び瓢真の組合せによって固定配線形式で実現された係数０．２１８７５． −０．５６２５，０．８４３７５．ｘ、０．８４３７５゜−０，５６２５，及び ０．２１８７５　　の集合？含んでいる。（加算器は「＋」により、差は「−」 により、且つ石送りは近くに二進除算？伴ったスラブシュ「／」により示されて いる。「ＲＥ　ＧＪで示されたレジスタはパイプライン式動作のための必要な時 間遅延？与える。〕　これらの系係数ま前述の米国特許第４６６３６６１号に開 示された技法に従って計算された係数値とはわずか０．０１しか異なっ℃おらず 、同じ直流応答？維持している。加算器の数は、同じ係数が使用される信号値？ 最初に加え合わせて１組み合わされた信号に対して同じ乗算を適用できろように することによって最少化されろ。

赤、緑及び青の信号値は一連のレジスタ７２−１ないし７２−Ｂｖｃ加えられ、 そし℃これらのレジスタは画素レートでクロックされ、従って各レジスタは１画 素遅延？信号に与えろ。実際の緑値はレジスタ７２−１ないし７２−８％’通過 させられて。

線７４によりマルチプレクサ７６の「○」入力に加えられろう喪失緑画素ノ計算 ）ｔ　ｒ＋Ｇｌ　ｃＴＩ　Ｄｌ　（Ｒ／Ｂ）　Ｇｌ　ｆＧｌ　ｆＧＩＪ　１７） ｔｉＨｌｉ［態がレジスタ７２−２ないし７２−８のそれぞれの入力に存在する ときに始まる。喪失縁計算は次に加算ｉ　ｍ算器、及び右送りのパイプライン弐 アー干テクチャにおいて増分的に完成されろ。クロックの４番目ごとの繰返しに 対して、喪失画素値は融７８に！つマルテプンクサ７６０ＦＢ入力に存在する。

同時に、赤又１；青値は入力「０」に達する。タイミング回路２９は次にマルチ プレクサ７６’ａ’切り換えて１代わりに入力「１」における喪失録値？送ろう 従り℃、マルチプレクサ７６の出力）工金牌１尿度牌度（ｋ）信号１丁なわち、 ことごとくの画素位置に対して緑値のある信号流である。マルチプレクサ７６の 「０」端子に入力された信号流の４番目ごとの値はクロマＣ赤又は青〕信号値で あるので、このクロマ憧Ｉ丁その後の処理のため［（部分解像度クロマ信号とし て〕線８０におい℃取り出される。この目的のためには、レジスタ８１？４番目 ごとの画素に対し℃クロックすればよく、又はその後の動作（線形一対数〕？４ 番目ごとの画素（赤又は青〕に対して可能化丁れば工い。この方法で線順外の赤 及び電信号が全解像度輝度信号から分離される。

センサ欠陥隠ぺい回路６６は１図６に示されたように、補間回路６８から遅延レ ジスタ７Ｚ−１−、７２−２，７２−３及び７２−４’ａ’使用して、ＰＪじ色 の最も近い前の水平方向に近接した画素？配置するための必要な画素遅延？与え ている。遅延した画素Ｒ（、Ｂ−１，ＲＧＢ−２及びＲＧＢ−４は現在の画素と 共にマルチプレクサ８２及び８４に加えられる。これらのマルチプレクサの出力 は第６のマルチプレクサ８６に送られる。記憶装ｒｆｔＶｃ保持された欠陥表か ら、タイミング回路２９（図１）は（選択表により″Ｃ例示されたように）２段 過程においＣａ当なマルチプレクサ８２．８４及び８６が、所要により欠陥画素 の取替えゲ含んだ信号の流れ？出力すること？可能にする。

再び図４に言及すると、全解像度補間緑信号及び部分解像度クロマ（赤及び青〕 信号瞥；−組の縁形一対数ＲＯＭ探索表８８ＶＣよって近似的対数量子化空間へ 変換される。このｆ換は１次の信号処理演算がまだ未決定の乗数（又ｉ；除数〕 により乗算（又は除算〕？含んでおり、これが固定配蛛式右送り？実行不町靜に しているので、宵用であり且つ望ましい、更に、クロマ処理は色相１丁なわち、 亦又はｔ値自本の代わりに緑に対する赤又）；資の比、１￥含むことになってい る。前に注記されたよ５に、赤又は前値の代わりに色直を補間すると、かなりの 量の輝度細部？持った区域におけろ偽色が大いに減少することが知られている。

対数空間にあるので、緑に対する赤又は青の比は減算回ＩＭＯにおいて対数クロ マ信号から対数緑信号？瓢算することによって発生され、そしてこの回路は＋Ｉ Ｉｊｉｊ−序の対数青一対数緑及び対数赤一対数緑信号？与えるう次に白色バラ ンス及び利得が調整−されろう白色バランスオフセット値が（減算回路９２にお い′Ｃ）対数青一対数緑及び対数赤一対数緑値から減算されて適当な白色バラン スが達成され、又利得オフセット値がＣ加金セ回路９４において）対数緑値と加 え合わされて信号利得が調整されろう白色バランスオフセット匝は次のように二 つの源のい−（ｈかから得られるう自動白色バランス回路９６はタイミング回路 ２９（図１）７通してマイクロプロセッサ４６ＩＣより可能化されたときに６４ の対数貢一対数緑値及び６４の対数赤一対数緑値の平均ｆｌｉケ計算する。この 手順中、使用者１言図ＩＫより示されたような「白色バランス」ボタン４７ケ押 しなからカメラを白色カードに向けている。それぞれの合計は加算器回路９８に おいて反復的に加え合わされ℃それぞれのレジスタ１００及び１０２に記憶され る。それぞれの送り（シフト）回路１０４及び１０６における６ビツトの右送り が両方の１直Ｙ平均化する。

自動白色バランスの代わりに、マイクロプロセッサ４６によって使用者人力設定 拍子から、直列−並タリシフ）（送り〕レジスタ１０８並びに一対の静的並列人 力レジスタ１１０及び１１２？含む二１バッファ式インタフェースへ白色バラン スオフセット？代替的ニ供給してもよい。この白色バランスオフセットはシフ） １／ジスタ１０８へ直列に書き込まれ、そしてこのシフトレジスタは白色バラン スが１画像の色及びレベルを常軌？逸して変化させることなく、変化させられる こと？可能にする。垂直帰線期間中の選択された時点におい℃、対数赤一対数緑 及び対数青一対数緑信号に対するそれぞれの白色バランスオフセットは静的レジ スタ１１０及び１１２ヘロードされろ。自動白色バランスと手動挿入の白色バラ ンスとの間の選択は一対のマルチプレクサ１１４及び１１６？適当に制御するこ とによって行われろ。これらのマルチプレクサは第３のマルチプレクサ１１８に 接続されており、そしてこれは減算回路９２に接続し℃おり。

対数亦一対数緑オフセットと対数青一対数緑オフセットとの間の巌順次式選択を 行う◇垂直帰線期間中にレジスタ１１０及び１１２？ロードすることＫよって、 白色バランスは画像走査中画像？常軌？逸して調整することなく変更される。利 得オフセットは同様にマイクロプロセッサ４６からシフトレジスタ１０８２通し て静的利得レジスタ１２０に入力されろ。利得加算回路９４はレジスタ１２０の 出刃に接続されている。

対数色相信号ｉ言、白色バランスに続いて、まず垂直色相補間回路１２２に、そ して次に水平色相補間回路１２４に加えられろうこれらの回路は図７１Ｃ−階詳 細に示されており、これ）；（［’ＦｔＥＧＪで示されたレジスタの回路網ＶＣ よる〕パイプライン式アーキテクチャを便用している。二つの点が江意されるべ きである。すなわち、まず、補間？二つの次元に分離し、そして垂直補間？最初 に行うことにより、垂直補間が水平補間の後に又１；これと共に行わｔまた場合 に必要とされろような全馳遅延器の代わりに、二つのＡ線遅延器１２６及び１２ ８で垂直遅延が実施されろことが可能になる。（これは対数色相信号が処理の際 この点において皆全解像度を六しているからである。〕次に、この特定の場合の 対数空間におげろ色相補間は、補間されている色相甑がＣ同じ画素ではないけれ ども〕４番目ごとの画素に対する赤及び青の正確なセンサ値に基づいているので 。

線形空間におけろ色相補間の十分な近似である。Ｎ果として生じる補間における 小さい誤差は１部分的には目が輝度変化によりも色相変化ＶＣより感じないので 、１要でない。

垂直補間は１線遅延信号値又ｉ工１線遅延信号に隣接した線の平均値と（加算回 路１３０から〕一対のマルチプレクサ１３２及び１３４に加えろことＶＣよって 得られる。これらのマルチプレクサへの入力１丁交互のＳに切り換えられて、垂 直補間値の連続的流れケ対数青一対数緑水平補間器１３６と対数赤一対数録水平 補間器１６７とに供給するっそれぞれの場合における水平補間は多相有限インパ ルス応答〔ＥＩＲ）フィルタ？用いろことＫｊ　って４ｈｎ　る６係数（１、Ｘ 、Ｘ、Ｘ、０　）、（０，７５，Ｘ。

Ｘ、Ｘ、０．２５　）　、　　（０，５、’ｘ、Ｘ、ｘ、Ｑ、５　）、及び（０ ，２５゜ｘ、ｘ、Ｘ、０．７５）Ｙ待ツタ四つのＥＩＲ相は、各補間６に対して 図７に示されｒこように六つのレジスタ、五つの加算器及び４：１マルチプレク サ１３８（又はマルチプレクサ１３９）’に用いろことによって各色相について 実玩される。各分数の係数は図示のように右送り操作によって実損される２のべ きに因数分解されろ。

マルチプレクサ１３８の出力ｉ；全金牌度対数青一対数縁（色相〕信号であり、 且つマルチプレクサ１３９の出力は全解像度対数赤一対数緑（色相〕信号である 。一方、対数緑信号は全線遅延器１４０Ｃ図４）において遅延等化されている。

金牌＠度対数青一対数緑及び対数赤一対数緑信号はそれぞれ貢加算回路１４２及 び赤肌算回路１４４において遅延した対数緑信号と加え合わされろうこれらの加 算回路の出刃プラス遅延した対数緑信号は集積回路３４（図４）の出刃、すなわ ち、それぞれ端子１４６−１　、１４６−２　、及び１４６−３におい℃与えら れる金牌ｆ速度未補正赤、緑及び青信号、を構成している。

更に、未遅延の対数緑信号が出力端子１４６−４において与えられろうこの出力 ）言、出力端子１４６−２における１線遅延の緑信号と共に１例えば縁部（エツ ジ）強調のための後置処理において有効である。集積回路６４４対数出刃ケ発生 するように設計されたけれども、（自由選択の〕対数−線形又は対数−ガンマ補 正空間ＲＯＭ探索表１４８が出力１４６−１ないし１４６−３の＠九信号チャネ ルへ挿入されろならば線形又はガンマ補正出刃が得られるであろうう　にの場合 には出力１４６−４？も又線形又はガンマ補正空間に変換されることが望ましい であろう、） 今度１工図５に言及すると、全解像度広、緑及び青信号は後置処理集積回路３６ ＶＣおいて多くの信号補正及び改＠を受けるつ既に変換されていないならば、ｉ 数赤、録及び青信号ｉ；対数−縁形ＲＯＭ探索表１５２におい″Ｃ巌形信号に変 換されろう黒レベル）ま、平均化回路１５４におい℃各色の情景強度？別別に積 分し１次に補正回路１５６においてｉｉ！ｌｉ像の各画素から（レンズの品質に 依存して〕この平均値のある割合？減算することによってレンズフレア？補正さ れろ。生の平均値）；処理のためにマイクロプロセッサ４６に送られ、そしｃ（ 実際のレンズについ℃補正された）補正平均値は次に補正回路ｉ　５６ｖｃおい てオフセットレジスタ（図示されていない）ヘロードされる。加えて。

史なろ使用者指定の黒レベル「設定」値はマイクロプロセッサ４６によっ℃平均 値に加算され又は平均値から氷算されることができろっ 線形量子化赤、緑及び青信号は次に１表示装置４２（図１〕の色度についてイメ ージセンサのスペクトル感度？適当に補正するために色補正マトリクス１５８で マトリクス化されろ。マトリクス化された赤、緑及び青信号１：次にガンマ＋Ｒ ＯＭ）探索表１６０においてガンマ補正されるが、この探索表はシステムの入力 Ｃセンサ１４）におけろ信号電圧と出力（（ｌｐＨえば表示装置４２）Ｋおけろ 元値との間の非線形コントラスト関係Ｙ調整するためＶＣＩＭ当な曲線形状変換 ケ与えろうガンマ補正さｔｌに赤、緑及び青信号は次に１画像の主観的鮮明さ？ 改善するためＶｃ縁部強強調路１６２において処理される。

画家細部は細部抽出回路１６．ＨＣおいて緑信号の線から抽出される。蛛の二つ の鞄が端子１４６−２及び１４６−４におい℃前置処理装車回路３４から直接与 えられ、且つ付加的な線遅延が線遅延回路１６６によって加えられろう二つの絵 入力信号が対数的であるならば、対数信号をガンマ補正信号に変換するために対 数−ガンマＲＯＭ探索表１６８が準備されるＣ線形ならば、変換は線形−ガンマ になるであろつ）、、後置処理装置集積回路３６のディジタル出力は出力端子１ ７０−１　、１７０−２及び１７０−３におい℃与えられる全廣像度赤、緑及び 青信号である。

開示された後置処理回路３６は、完全実時間システム、例えば静止ビデオカメラ のそれ、に組み込まれ得るよ５に完全ノ（イブライン式アーキテクチャにおいて 実現されろことが望ましい。

しかしながら、これは、前置処理回路６４が全解像度実時間赤。

緑及び青信号を与えろための、この発明の必要な付属物ではない５回路３４の未 補正の出方（言Ｃ変換器３８におけるＤ／Ａ変換変換ケスは伴わずに〕記録装置 ４０に直接加えられてもよく。

従り℃このような応用におい′Ｃは後置処理が回避され１回路５６が不必要にさ れろ、更に、ある応用においては、後置処理はフレーム記憶装（ｔ（図示されて いない〕の使用及び実時間以外の動作？含むかもしれない。明らかに２そのよう な応用において１工、後置処理回路３６は図５ＶＣ示されたようには使用されず 、処理機能との組合せにおいてフレーム記憶装置？組み込むことになるであろう 、少数の、又に付加的な補正及び改善機能も又与えられるであろう。

叶　　　　　♀ ＦＩＧ、　２ ＦＩＧ、　３ ＦＩＧ、　７ 国際調査報告 国際調査報告

Claims (1)

1. 【特許請求の範囲】 １．離散的且つ各個別の画素位置に対応して輝度及びクロミナンス画像信号を発 生するホトサイトの二次元図形（図２）を持っに単一の多色イメージセンサ（１ ４）から全解像度カラー信号を発生するためのディジタル処理装置であって、線 形空間において画像信号を処理するための第１処理部分（５２、５８、６６、６ ８）であって、クロミナンス信号を発生する画素位置に対して付加的な輝度値を 補間するための装置（６８）を備えており、前記の第１部分の出力が全解像度の 輝度信号の流れ及び部分解像度のクロミナンス信号の流れからなっている前記の 第１処理部分、並びに 対数空間において前記の第１部分の出力を処理するための第２部分（８８、９２ 、９４、１２２、１２４）であって、クロミナンス信号と輝度信号との間の差か ら対数色相信号を発生するための装置（８８、９０）、及び輝度信号を発生する 画素位置に対して付加的な色相値を補間するための装置（１２２、１２４）を備 えており、前記の第２部分の出力（１４６−１、１４６−２、１４６−３）が全 解像度のカラー信号の流れからなっている前記の第２部分、によって特徴づけら れている前記のディジタル処理装置。 ２．前記の第１処理部分が、所定数の画素位置の平均黒信号値から黒基準値を確 立するための装置（５６）、及び各画像信号からこの黒基準値を減算するための 装置（５８）を備えている、請求項１に記載のディジタル処理装置。 ３．前記の第２処理部分が、対数色相信号と組み合わされる白色パランスオフセ ット値に従って対数色相信号の白色パランスを制御するための装置（９２）を備 えている、請求項１に記載のディジタル処理装置。 ４．前記の白色パランスオフセット値が白色パランス回路（９６）において所定 数の画像画素位置の平均白色信号値から発生される、請求項３に記載のディジタ ル処理装置。 ５．前記の第２処理部分が、対数輝度信号と組み合わされる利得オフセット値に 従って信号利得を変更するための装置（９４）を備えている、請求項１に記載の ディジタル処理装置。 ６．前記の第１ディジタル処理部分が、センサ信号レベルに線形関係づけられて いる量子化信号について動作し、前記の第１部分が、 イメージセンサにおける所定数の画素の平均黒信号値から黒基準値を確立するた めの黒基準発生器（５６）、各画像信号から黒基準値を減算するためのクランプ 装置（５８）、欠陥のある画素から得られに画像信号を同じ色の近くの画素から の画像信号で置き換えるための装置（６６）を備えており、且つ前記の補間装置 （６８）が、所定のアルゴリズムに従って近くの輝度画素の信号値を組み合わせ 、これから量子化輝度信号の全解像度の流れ及び量子化クロミナンス信号の部分 解像度の流れを与える、 請求項１に記載のティジタル処理装置。 ７．前記の第２処理部分が第１処理部分からの量子化信号について動作し、前記 の第２部分が、 全解像度量子化輝度画像信号から及び部分解酸度パターンの量子化クロミナンス 画像信号から量子化対数輝度及びクロミナンス信号を発生するための装置（８８ ）、対数クロミナンス及び対数輝度信号から量子化対数色相信号を発生するため の装置（９０）、 対数色相信号について動作して、対数色相信号から減算されにオフセット値に従 って白色パランスを制御することのできる装置（９２）、 対数輝度画像信号について動作して．第２処理部分に入力された利得オフセット 値に従って信号利得を変更する装置（９４）、を備えており、且つ前記の色相補 間装置（１２２、１２４）が所定のアルゴリズムに従って近くのクロミナンス画 素位置の色相信号値を組み合わせ、前記の第２部分の前記の出力が前記の補間さ れた色相及び輝度画像信号について動作する装置（１４０、１４２、１４４）に よって発生される、請求項６に記載のディジタル処理装置。 ８．前記の第１処理部分が、前記の第１処理部分に入力された信号について動作 して入力信号の線形変換を与えることのできる装置（５２）を備えている、請求 項６に記載の回路。 ９．前記の黒基準発生器（５６）が複数の非露光画像画素の平均信号値から黒基 準値を計算する、請求項６に記載の回路。 １０．前記の多色イメージセンサが、離散的且各個別の画素位置に対応する赤、 緑及び青の画像信号を発生するホトサイトの二次元パターンを持っている、請求 項１に記載のディジタル処理装置。 １１．前記の補間装置（６８）が、赤又は青の信号を発生する画素位置に対する 付加的な緑値を発生して、所定のアルゴリズムに従って近くの緑画素の信号値を 組み合わせ、前記の第１部分の出力が緑画像信号の全解像度の流れ並びに赤及び 青画像信号の部分解像度の流れからなっている、請求項１０に記載のディジタル 処理装置。 １２．前記の第２処理部分が第１処理部分からの信号について動作し、前記の第 ２部分が、 全解像度緑画像信号と部分解像度パターンの赤及び青画像信号とから対数赤、緑 及び青信号を発生するための装置（８８）、線順序の対数赤又は青信号と対数緑 信号との間の差から対数色相信号を発生するための装置（９０）、対数色相信号 について動作して、対数色相信号から減算されたオフセット値に従って白色パラ ンスを制御することのできる装置（９２）、 対数緑画像信号について動作して、第２処理部分に入力された利得オフセット値 に従って信号利得を変更する装置（９４）、を備えており、且つ前記の色相補間 装置（１２２、１２４）が、緑信号を発生する画素位置に対する付加的な色相値 を発生して、所定のアルゴリズムに従って近くの赤又は青画素位置の色相信号値 を組み合わせ、前記の第２部分の前記の出力が、前記の補間されに対数色相及び 対数緑画像信号について動作する装置（１４０、１４２、１４４）によって発生 される、請求項１１に記載のディジタル処理装置。