JP3871072B2 - 適応カラー補間単一センサカラー電子カメラ - Google Patents

適応カラー補間単一センサカラー電子カメラ Download PDF

Info

Publication number
JP3871072B2
JP3871072B2 JP04177196A JP4177196A JP3871072B2 JP 3871072 B2 JP3871072 B2 JP 3871072B2 JP 04177196 A JP04177196 A JP 04177196A JP 4177196 A JP4177196 A JP 4177196A JP 3871072 B2 JP3871072 B2 JP 3871072B2
Authority
JP
Japan
Prior art keywords
color
lost
value
photosite
color values
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP04177196A
Other languages
English (en)
Other versions
JPH08298670A (ja
Inventor
イー アダムズ ジュニア ジェームズ
エフ ハミルトン ジュニア ジョン
Original Assignee
イーストマン コダック カンパニー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by イーストマン コダック カンパニー filed Critical イーストマン コダック カンパニー
Publication of JPH08298670A publication Critical patent/JPH08298670A/ja
Application granted granted Critical
Publication of JP3871072B2 publication Critical patent/JP3871072B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046—Colour interpolation to calculate the missing colour values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/048—Picture signal generators using solid-state devices having several pick-up sensors
    • H04N2209/049—Picture signal generators using solid-state devices having several pick-up sensors having three pick-up sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Image Processing (AREA)

Description

【０００１】
関連する出願の相互参照
Ｊｏｈｎ Ｆ．Ｈａｍｉｌｔｏｎ，Ｊｒ．及びＪａｍｅｓ Ｅ．Ａｄａｍｓ，Ｊｒ．により本出願と同時に出願された１９９５年３月１７日出願の米国特許出願０８／４０７４２３を参照し、その開示を参考として引用する。
【０００２】
【発明の属する技術分野】
本発明は電子画像に関し、より詳細には単一のカラーセンサ及びメモリを有する電子スチルカメラによる電子スチル画像に関する。
【０００３】
【従来の技術】
電子カラー画像では通常赤、緑、青である３つのカラー面で画像データを同時に捕捉することが望ましい。３つのカラー面が結合されているときに高品質カラー画像を形成しうる。これら３つの画像の組を捕捉することは多くの方法でなされうる。電子写真でこれは赤、緑、青のフィルターにより覆われたセンサの単一の２次元配列を用いることにより達成される。このセンサの型はカラーフィルター配列又はＣＦＡとして知られている。以下にＣＦＡセンサ上に一般的に配列された赤（Ｒ）、緑（Ｇ）、青（Ｂ）画素を示す。
【０００４】
カラー画像がＣＦＡを用いて捕捉されたときに各センサ位置に対する３つのカラー値全ての推定がなされるよう赤、緑、青の値を補間する必要がある。いったん補間がなされると、各画像の要素、又は画素は３つのカラー値を有し、システムの必要に依存して種々の知られた画像処理技術により処理されうる。処理に対する理由の例は画像の鮮明化、カラー補正又はハーフトーン化をなすことである。
【０００５】
以下にどのようにして赤、緑、青の画素がカラーフィルター配列内に配列されるかを示す。より詳細な記載はＢａｙｅｒの米国特許第３９７１０６５号を参照すること。
【０００６】
【数１】
Figure 0003871072
【０００７】
【発明が解決しようとする課題】
本発明の目的はＣＦＡでの失われた画素値を推定する改善された装置を提供することにある。
【０００８】
【課題を解決するための手段】
この目的は少なくとも３つの別のカラー値を発生するが、各フォトサイト位置に対してカラー値は１つのみである行及び列に整列されたカラーフォトサイトを有する画像センサから得られたデジタル化された画像信号を処理する装置において、それが３つの異なるカラー値を有するように各フォトサイト位置に対するカラー値を補間する手段は、
デジタル化された画像信号を記憶する手段と；
フォトサイト位置に近接して失われたカラー値と異なるカラーのカラー値からそのようなフォトサイト位置に対する付加的なカラー値の補間によりフォトサイト位置から適切な失われたカラー値を形成する該記憶手段と共に動作するプロセッサとからなり、
該プロセッサは、
同じ列及び行の付近のフォトサイトから少なくとも２つの画像方向でラプラシアン２次値を得る手段と；
失われたカラー値の補間に対する好ましい方向を選択するためにラプラシアン２次値に応答する手段と；
好ましい方向に一致するように選択された複数のカラー値の付近から失われたカラー値を補間する手段と
からなる画像信号処理装置により達成される。
【０００９】
【発明の実施の形態】
カラーフィルタ配列を用いる単一センサの電子カメラはよく知られており、この記述は本発明による装置及び方法の一部を形成し、又はとより直接に協働する要素に特に関する。ここに特に示さない、又は記載されない要素は当業者により選択されうるものである。
【００１０】
図１及び２をまず参照するに電子スチルカメラは一般に入力部分２及び補間及び記録部分４に分割される。入力部分２は対象（図示せず）からの画像光線を画像センサ１２へ導く。これも図示しないが、露出部分１０はダイアフラムを介して画像光線を導く従来技術の光学系を含み、これは光学的開口を制御し、また露出時間を制御するシャッターを含む。画像の画素に対応するフォトサイトの２次元配列を含む画像センサ１２は従来技術の電荷結合デバイス（ＣＣＤ）であり、よく知られたライン間移動又はフレーム移動技術を用いる。画像センサ１２はＢａｙｅｒアレイとして知られているカラーフィルタ配列（ＣＦＡ）により覆われ、それは米国特許第３９７１０６５号に記載され、ここにそれを参考として引用する。Ｂａｙｅｒ構造では各カラーはフォトサイト又はセンサの画像要素（画素）を覆う。特にクロミナンスカラー（赤及び青）は輝度カラー（緑）のチェッカー盤模様の間に散在される。画像センサ１２は画像光線に曝され、それによりアナログ画像電荷情報がそれぞれのフォトサイトで発生する。電荷情報は出力ダイオード１４に印加され、それはそれぞれの画素に対応するアナログ画像信号に対する電荷情報に変換する。アナログ画像信号はＡ／Ｄ変換器１６に印加され、それは各画素に対するアナログ入力信号からデジタル画像信号を形成する。デジタル信号は画像バッファ１８に印加され、それは複数のスチル画像を記憶する容量を有するランダムアクセスメモリ（ＲＡＭ）である。
【００１１】
制御プロセッサ２０は一般に初期及び制御露出により（露出部分２０でのダイアフラム及びシャッター（図示せず）による操作による）カメラの入力部分２を制御し、それは画像センサ１２を駆動し、それからの画像情報をクロッキングするのに必要な水平及び垂直クロックを発生すること及び、Ａ／Ｄ変換器１６が画像バッファ１８と結合することで各信号部分を画素に関係させることを可能にすることによりなされる（制御プロセッサ２０は通常システムタイミング回路と結合されたマイクロプロセッサを含む）。いったんある数のデジタル画像信号が画像バッファ１８に集積されると、記憶された信号はデジタル信号プロセッサ２２に印加され、これはカメラの補間及び記録部分４に対するスループット処理速度を制御する。デジタル信号プロセッサ２２は補間アルゴリズムをデジタル画像信号に対して適用し、補間された信号をコネクタ２６を介して従来技術の除去可能なメモリカード２４に送る。
【００１２】
補間及び関連した処理は通常幾つかの段階で生じる故に処理アルゴリズムの中間的な生成物は処理バッファ２８に記憶される（処理バッファ２８はまた画像バッファ１８のメモリ空間の部分として構成される）。デジタル処理の前に画像バッファ１８で必要な画像信号の数は処理の型に依存して開始され、即ち開始する隣接補間に対してビデオフレームからなる画像信号の少なくとも一部分を含む信号のブロックは利用されなければならない。従ってほとんどの場合において補間は画素の必要なブロックがバッファ１８に現れるとすぐに開始される。
【００１３】
入力部分２は補間の間はカメラの通常の動作と比例した速度で動作し、これはより多くの時間を消費し、入力速度から比較的分離されうる。露出部分１０は露出要求に依存する、例えば１／１０００秒と数秒の間の時間だけ画像センサ１２を画像光線に対して露出する。それから画像電荷は画像センサ１２でフォトサイトから掃引され、デジタルフォーマットに変換され、画像バッファ１８に書き込まれる。駆動信号は制御プロセッサ２０により画像センサ１２へ供給され、従ってＡ／Ｄ変換器１６及びバッファ１８はそのような移動を達成するように形成される。補間及び記録部分４の処理スループット速度はデジタル信号プロセッサ２２の速度により決定される。
【００１４】
このアーキテクチャーの一つの望ましい成果は補間及び記録部分で用いられた処理アルゴリズムはスループット速度に対するよりむしろ画像の品質保持に対して選択されることである。無論これは写真撮影間の時間に依存してユーザーに影響する連続する画像間の遅延をもたらす。それはデジタルスチルカメラは一連の連続した画像の連続撮影能力を提供すべきであると電子画像化の分野でよく知られ、理解されている故に問題である。この理由により、図１に示されるバッファ１８は複数の画像の記憶を提供し、一連の画像をビデオレートで「蓄積（スタックアップ）」することを実質的に許容する。バッファの大きさはほとんどの画像撮影状況に適用されるために連続した充分な画像を保持することを確立する。
【００１５】
操作表示パネル３０はカメラの操作に有用な情報を表示する制御プロセッサ２０に接続される。そのような情報はシャッター速度、絞り値、露出バイアス、カラーバランス（自動、タングステン、蛍光灯、昼光）、フィールド／フレーム、バッテリー低下、低照度、露出モード（絞り優先、シャッター優先）、等々の典型的な写真データを含む。更にまたカメラのこの型に独特の他の情報も表示される。例えば着脱可能メモリカード２４は各記憶された画像の最初と最後を示す番地を通常含む。これは記憶された画像の数又は、残り又は残っていると推定される画像空間の数のいずれか（又は両方）を表示パネル３０上に示す。
【００１６】
デジタル信号プロセッサ２２は図２に示される補間技術により画像バッファ１８に記憶される各ビデオ画像を補間する。各画素位置での失われたデータ値の補間は図２に示されるシーケンスを辿る；即ち最初に「失われた緑」画素に対する高周波数情報（即ち赤及び青画素位置）は輝度表現を改善するよう補間され、第二にカラー差情報はＣＦＡパタンの他のカラーを形成する双線形方法により高周波数位置補間される。図２に示される例では適応補間技術が水平及び垂直端を有する画像に対するシステムの性能を最適化する輝度部分３６で用いられる。「失われた緑」画素はそのまわりで垂直及び水平でのクロミナンス（赤及び青）画素位置間で確立された傾斜に依存するように水平、垂直、又は２次元のいずれかで適応的に補間される。
【００１７】
「失われた緑」画素を適応的に補間する第一の段階は補間方法を選択することである。この処理の詳細は図３のブロック４０に示される。上記からレベル１、２、３に分割される１０のラプラシアンがある。レベル１のラプラシアンは最も成功しそうな補間方法に対応する。デフォルトの方法は最も用いられそうもないものである。ラプラシアンは最もありそうな条件は処理の早期に受け入れ可能であり、それ故に平均処理時間を最小に保つ。
【００１８】
処理はレベル１のラプラシアン（ブロック１）の計算から始まり、次にそれらのどれが最小絶対値を有するかを探す（ブロック５２）。この値はそれの対応する方法が選択されるべきかどうかを見るためにレベル１の閾値（６０がうまく動作する）と比較される（ブロック５４）。値が閾値より小さい場合には対応する方法が選択され（ブロック７６）、ブロック４０が終了する。値が閾値より大きいか等しい場合にはレベル２のラプラシアンが計算される（ブロック６０）。それから最小の絶対値がレベル１及び２のラプラシアンの両方の中から探される（ブロック６２）。この値はそれの対応する方法が選択されるべきかどうかを見るためにレベル２の閾値（７０がうまく動作する）と比較される（ブロック６４）。値が閾値より小さい場合には対応する方法が選択され（ブロック７６）、ブロック４０が終了する。値が閾値より大きいか等しい場合にはレベル３のラプラシアンが計算される（ブロック７０）。再び最小の絶対値がレベル１、２及び３のラプラシアンの中から探される（ブロック７２）。この値はそれの対応する方法が選択されるべきかどうかを見るためにレベル３の閾値（２５０がうまく動作する）と比較される（ブロック７４）。値が閾値より小さい場合には対応する方法が選択され（ブロック７６）、ブロック４０が終了する。値が閾値より大きいか等しい場合にはデフォルト補間方法が選択され（ブロック７８）、ブロック４０は終了する。
【００１９】
補間段階（ブロック４４）は図４に示されるように２つの部分を有する。第一の部分（ブロック８０）は選択された補間方法に対応する２つの輝度（緑）値を平均する。第二の部分（ブロック８２）は問題の画素がＢａｙｅｒカラーフィルター配列内の赤又は青フィルタにより覆われるかどうかに依存して赤又は青の隣接する値のいずれかに基づく補正係数を加える。
【００２０】
カラー差はこの位置での実際のカラー画素から各クロミナンス画素位置で補間された緑の値を引くことによりクロマ部分３８で計算される。最終的に各輝度画素位置に対するカラー差はブロック４８で二次元双線形補間を用いて補間される。この時点でのデータはそれの元の成分（ＲＧＢ）内で再構成され、又は更なる処理に対してカラー差信号として残される。
【００２１】
より特徴的には以下はＢａｙｅｒ配列を用いた特定の例に対するデジタル信号プロセッサの動作の詳細な説明である。
緑平面補間
以下の部分的な５ｘ５画素近傍を考える。
【００２２】
【数２】
Figure 0003871072
【００２３】
Ｇ５を推定したい。以下の関係
Ｇi−Ｒi＝一定
は５ｘ５領域で概略真であると仮定する。以下はＧ５の２つの推定器である。
【００２４】
【数３】
Figure 0003871072
【００２５】
この考えを延長すると、近傍内の中心の３ｘ３領域からの情報を用いる９の他の推定器がある。
【００２６】
【数４】
Figure 0003871072
【００２７】
これらの場合全てで問題はＲ２，Ｒ４，Ｒ６が未知であることである。本発明によれば赤の層での空間情報は緑の層より視覚的に重要でないことを仮定している。Ｒ２，Ｒ４，Ｒ６，Ｒ８を簡単な近似で置き換える：
【００２８】
【数５】
Figure 0003871072
【００２９】
（１２）から（１５）を（１）から（１１）内に置き換え、再整理した結果が以下に示す推定器である：
【００３０】
【数６】
Figure 0003871072
【００３１】
赤の「補正」項は（１６）から（２１）及び（２６）で実際にラプラシアン２次導関数演算子であり、（２２）から（２５）で１次導関数演算子である。
ＲｓとＢｓとが５ｘ５近傍で置き換えられる場合には（１６）から（２６）でＲｓに対してＢｓを単純に置き換えることは求める推定器を提供することである。
【００３２】
残りのタスクは与えられた近傍に対する最良又は少なくとも受容可能な良い推定器を得ることである。
第一に（１６）、（１７）に対する赤の補正項が計算される。より小さな絶対値を有する項が所定の閾値（８ビットの対数空間で６９を用いる）より小さい場合には対応する推定器が用いられる。以下に疑似コードを示す。
【００３３】
【数７】
Figure 0003871072
【００３４】
両方のテストが失敗した場合には補正の次の「設定」、即ち（１８）から（２１）に対する赤の項が計算される。これらの項の絶対値の最小値が所定の閾値（８ビット対数空間で１７０を用いる）より小さい場合には対応する推定器が用いられる。以下を参照：
【００３５】
【数８】
Figure 0003871072
【００３６】
画素がそれまでの全てのテストで失敗した場合には（２２）から（２５）の赤の補正項は計算され、所定の閾値に対して再びテストされる。（８ビット対数空間で２５０を用いる。）最小絶対値補正がその閾値を通過する場合にはその対応する推定器が用いられる。以下を参照。
【００３７】
【数９】
Figure 0003871072
【００３８】
最終的に全てのテストが失敗した場合には推定器（２６）が用いられる。
赤及び青平面補間
以下の３ｘ３近傍を考える。
【００３９】
【数１０】
Figure 0003871072
【００４０】
全ての緑は知られている。再び以下の関係
Ｇi−Ｒi＝一定
は３ｘ３近傍で概略真であると仮定する。まばらな最初のデータの利用性によりほとんどの推定器が通常明確でない。Ｒ２を考えると：
【００４１】
【数１１】
Figure 0003871072
【００４２】
これは再整理されたときには以下のようになる。
【００４３】
【数１２】
Figure 0003871072
【００４４】
同様にＲ４に対して：
【００４５】
【数１３】
Figure 0003871072
【００４６】
最初にＲ２，Ｒ４，Ｒ６，Ｒ８を推定する場合にはそれらを（１６）から（２６）での推定Ｒ５に対して用いる。
【００４７】
【数１４】
Figure 0003871072
【００４８】
青平面再構成は同様な方法でなされる。 残る問題は緑平面と同じである：与えられた近傍に対する最良（又は充分に良い）推定器をいかにして決定するかである。
（３０）から（３２）が適用される場合には以下のアルゴリズムが用いられる。再び閾値は計算に対して８ビット対数空間でなされる：
【００４９】
【数１５】
Figure 0003871072
【００５０】
（３３）から（３５）の使用は同様である。（３６）から（４６）の使用は（１６）から（２６）の使用と同様である。
本発明はそれの好ましい実施例を特に参照して詳細に説明されたが、改良及び変更は本発明の精神及び範囲内で有効である。
【００５１】
【発明の効果】
本発明の利点は１）近傍分類の豊富な組は以前の方法ではより不満足に扱われたスペキュラーなハイライトのような適切な再構成が困難な画像要素に対して必要とされる自由度を提供し、２）実行時間及びメモリー記憶容量の両方で計算上効率的である。
【図面の簡単な説明】
【図１】本発明による補間処理を用いる電子スチルカメラのブロック図である。
【図２】本発明に関連して用いられる補間処理技術の処理方法のブロック図である。
【図３】図２での輝度補間部分の処理方法の詳細ブロック図である。
【図４】図２でのクロミナンス部分の処理方法のより詳細なブロック図である。
【符号の説明】
２ 入力部分
４ 記録部分
１０ 露出部分
１２ 画像センサ
１４ 出力ダイオード
１６ Ａ／Ｄ変換器
１８ 画像バッファ
２０ 制御プロセッサ
２２ デジタル信号プロセッサ
２４ 着脱可能メモリカード
２６ コネクタ
２８ 処理バッファ
３０ 表示パネル
３６ 輝度部分
３８ クロマ部分
４０ 最良の補間を選択
４４ 失われたルマ値を補間
４６ 実際のカラー差を計算
４８ カラー差を補間

Claims (2)

  1. 少なくとも３つの別のカラー値を発生するが、各フォトサイト位置に対してカラー値は１つのみである行及び列に整列されたカラーフォトサイトを有する画像センサから得られたデジタル化された画像信号を処理する装置において、それが３つの異なるカラー値を有するように各フォトサイト位置に対するカラー値を補間する手段は、
    デジタル化された画像信号を記憶する手段と；フォトサイト位置から失われた、該カラー値が失われた該フォトサイト位置に対する付加的なカラー値を、近接するフォトサイト位置での該失われたカラー値と異なるカラーのカラー値から補間することによって発生する、該記憶手段と共に動作するプロセッサとからなり、
    該プロセッサは、
    該カラー値が失われた該フォトサイト位置と同じ列又は同じ行にあるフォトサイトから少なくとも２つの画像方向でラプラシアン2次値を得る手段と；
    失われたカラー値の補間に対する好ましい方向をラプラシアン2次値に応じて選択する手段と；
    該カラー値が失われたフォトサイト位置の付近の、好ましい方向に一致するように選択された複数のカラー値から、失われたカラー値を補間する手段と
    からなる画像信号処理装置。
  2. 少なくとも３つの別のカラー値を発生するが、各フォトサイト位置に対してカラー値は１つのみである行及び列に整列された赤、緑、青のカラーフォトサイトを有する画像センサから得られたデジタル化された画像信号を処理する装置において、それが３つの異なるカラー値を有するように各フォトサイト位置に対するカラー値を補間する手段は、
    デジタル化された画像信号を記憶する手段と；フォトサイト位置から失われた、該カラー値が失われた該フォトサイト位置に対する付加的なカラー値を、近接するフォトサイト位置での該失われたカラー値と異なるカラーのカラー値から補間することによって発生する、該記憶手段と共に動作するプロセッサと
    からなり、
    該プロセッサは、
    該カラー値が失われた該フォトサイト位置と同じ列又は同じ行にあるフォトサイトから少なくとも２つの画像方向でラプラシアン2次値を得る手段と；
    失われたカラー値の補間に対する好ましい方向をラプラシアン2次値に応じて選択する手段と；
    該カラー値が失われたフォトサイト位置の付近の、好ましい方向に一致するように選択された複数のカラー値から、失われたカラー値を補間する手段とからなり、
    該補間手段においては、該補間される失われたカラーと同じ、該失われたカラー値を有する該フォトサイト位置に隣接するフォトサイトのカラー値が、該補間される失われたカラーとは異なる、該失われたカラー値を有する該フォトサイト位置に隣接するフォトサイトのカラー値により平均され、補正されることを特徴とする画像信号処理装置。
JP04177196A 1995-03-17 1996-02-28 適応カラー補間単一センサカラー電子カメラ Expired - Lifetime JP3871072B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US08/407,436 US5506619A (en) 1995-03-17 1995-03-17 Adaptive color plan interpolation in single sensor color electronic camera
US407436 1999-09-29

Publications (2)

Publication Number Publication Date
JPH08298670A JPH08298670A (ja) 1996-11-12
JP3871072B2 true JP3871072B2 (ja) 2007-01-24

Family

ID=23612080

Family Applications (1)

Application Number Title Priority Date Filing Date
JP04177196A Expired - Lifetime JP3871072B2 (ja) 1995-03-17 1996-02-28 適応カラー補間単一センサカラー電子カメラ

Country Status (4)

Country Link
US (1) US5506619A (ja)
EP (1) EP0732858B1 (ja)
JP (1) JP3871072B2 (ja)
DE (1) DE69628866T2 (ja)

Families Citing this family (115)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5652621A (en) * 1996-02-23 1997-07-29 Eastman Kodak Company Adaptive color plane interpolation in single sensor color electronic camera
US5596367A (en) * 1996-02-23 1997-01-21 Eastman Kodak Company Averaging green values for green photosites in electronic cameras
US5631703A (en) * 1996-05-29 1997-05-20 Eastman Kodak Company Particular pattern of pixels for a color filter array which is used to derive luminance and chrominance values
US5821999A (en) * 1996-06-14 1998-10-13 Iterated Systems, Inc. Method and system for fractally interpolating intensity values for a single color component array obtained from a single color sensor
US5901242A (en) * 1996-07-03 1999-05-04 Sri International Method and apparatus for decoding spatiochromatically multiplexed color images using predetermined coefficients
US5808674A (en) * 1996-09-09 1998-09-15 Eastman Kodak Company Producing and improved digital image from digital signals corresponding to pairs of photosites
JP3707187B2 (ja) * 1996-09-18 2005-10-19 コニカミノルタホールディングス株式会社 電子カメラ
US7057653B1 (en) * 1997-06-19 2006-06-06 Minolta Co., Ltd. Apparatus capable of image capturing
US6288743B1 (en) 1997-10-20 2001-09-11 Eastman Kodak Company Electronic camera for processing image segments
US6130960A (en) 1997-11-03 2000-10-10 Intel Corporation Block-matching algorithm for color interpolation
US6686961B1 (en) * 1997-11-07 2004-02-03 Minolta Co., Ltd. Image pickup apparatus
WO1999039509A1 (en) * 1998-01-29 1999-08-05 Koninklijke Philips Electronics N.V. Color signal interpolation
US6392699B1 (en) 1998-03-04 2002-05-21 Intel Corporation Integrated color interpolation and color space conversion algorithm from 8-bit bayer pattern RGB color space to 12-bit YCrCb color space
US6356276B1 (en) 1998-03-18 2002-03-12 Intel Corporation Median computation-based integrated color interpolation and color space conversion methodology from 8-bit bayer pattern RGB color space to 12-bit YCrCb color space
US6567119B1 (en) 1998-03-26 2003-05-20 Eastman Kodak Company Digital imaging system and file format for storage and selective transmission of processed and unprocessed image data
US7453498B2 (en) * 1998-03-26 2008-11-18 Eastman Kodak Company Electronic image capture device and image file format providing raw and processed image data
US6366694B1 (en) * 1998-03-26 2002-04-02 Intel Corporation Integrated color interpolation and color space conversion algorithm from 8-bit Bayer pattern RGB color space to 24-bit CIE XYZ color space
US6650366B2 (en) 1998-03-26 2003-11-18 Eastman Kodak Company Digital photography system using direct input to output pixel mapping and resizing
US6366318B1 (en) 1998-03-27 2002-04-02 Eastman Kodak Company CFA correction for CFA images captured at partial resolution
US6366692B1 (en) * 1998-03-30 2002-04-02 Intel Corporation Median computation-based integrated color interpolation and color space conversion methodology from 8-bit bayer pattern RGB color space to 24-bit CIE XYZ color space
JP4292625B2 (ja) * 1998-06-01 2009-07-08 株式会社ニコン 補間処理装置および補間処理プログラムを記録した記録媒体
US6836572B2 (en) 1998-06-01 2004-12-28 Nikon Corporation Interpolation processing apparatus and recording medium having interpolation processing program recorded therein
US6075889A (en) * 1998-06-12 2000-06-13 Eastman Kodak Company Computing color specification (luminance and chrominance) values for images
US6697107B1 (en) * 1998-07-09 2004-02-24 Eastman Kodak Company Smoothing a digital color image using luminance values
US6549233B1 (en) * 1998-08-07 2003-04-15 Intel Corporation Color interpolation system
JP2002525722A (ja) 1998-09-15 2002-08-13 フェーズ・ワン・アクティーゼルスカブ 画像処理方法とシステム
JP4097815B2 (ja) * 1998-11-24 2008-06-11 株式会社リコー 画像処理装置および画像処理方法
US6404918B1 (en) * 1999-04-30 2002-06-11 Hewlett-Packard Company Image demosaicing method utilizing directional smoothing
US6992714B1 (en) * 1999-05-31 2006-01-31 Canon Kabushiki Kaisha Image pickup apparatus having plural pixels arranged two-dimensionally, and selective addition of different pixel color signals to control spatial color arrangement
US6650795B1 (en) 1999-08-10 2003-11-18 Hewlett-Packard Development Company, L.P. Color image capturing system with antialiazing
US6642962B1 (en) 1999-09-01 2003-11-04 Neomagic Corp. Merged pipeline for color interpolation and edge enhancement of digital images
US6628330B1 (en) 1999-09-01 2003-09-30 Neomagic Corp. Color interpolator and horizontal/vertical edge enhancer using two line buffer and alternating even/odd filters for digital camera
US6522889B1 (en) * 1999-12-23 2003-02-18 Nokia Corporation Method and apparatus for providing precise location information through a communications network
US20060036864A1 (en) * 1999-12-28 2006-02-16 Parulski Kenneth A Digital camera with image authentication
US7023576B1 (en) 2000-05-09 2006-04-04 Phase One A/S Method and an apparatus for elimination of color Moiré
US6975354B2 (en) * 2000-06-29 2005-12-13 Texas Instruments Incorporated Digital still camera color filter array interpolation system and method
JP3972816B2 (ja) * 2000-09-07 2007-09-05 株式会社ニコン 画像処理装置および表色系変換方法
US7072508B2 (en) 2001-01-10 2006-07-04 Xerox Corporation Document optimized reconstruction of color filter array images
DE60235526D1 (de) * 2001-01-25 2010-04-15 Nikon Corp Bildverarbeitungsverfahren, bildverarbeitungsprogramm und bildprozessor
DE60238803D1 (de) * 2001-03-05 2011-02-10 Nikon Corp Bildverarbeitungseinrichtung und Bildverarbeitungsprogramm
US6816197B2 (en) 2001-03-21 2004-11-09 Hewlett-Packard Development Company, L.P. Bilateral filtering in a demosaicing process
US6819801B2 (en) * 2001-06-19 2004-11-16 Agilent Technologies, Inc. System and method for processing demosaiced images to reduce color aliasing artifacts
US9113846B2 (en) 2001-07-26 2015-08-25 Given Imaging Ltd. In-vivo imaging device providing data compression
US6933971B2 (en) * 2002-05-14 2005-08-23 Kwe International, Inc. Reconstruction of color components in digital image processing
FI115942B (fi) * 2002-10-14 2005-08-15 Nokia Corp Menetelmä kuvien interpoloimiseksi ja terävöittämiseksi
US7866322B2 (en) * 2002-10-15 2011-01-11 Given Imaging Ltd. Device, system and method for transfer of signals to a moving device
US7173663B2 (en) * 2002-10-31 2007-02-06 Freescale Semiconductor, Inc. Automatic exposure control system for a digital camera
US7236190B2 (en) 2002-10-31 2007-06-26 Freescale Semiconductor, Inc. Digital image processing using white balance and gamma correction
EP1439715A1 (en) * 2003-01-16 2004-07-21 Dialog Semiconductor GmbH Weighted gradient based colour interpolation for colour filter array
US20070292022A1 (en) * 2003-01-16 2007-12-20 Andreas Nilsson Weighted gradient based and color corrected interpolation
JP4225795B2 (ja) * 2003-01-22 2009-02-18 オリンパス株式会社 撮像システム、画像処理プログラム
US9171577B1 (en) 2003-04-25 2015-10-27 Gopro, Inc. Encoding and decoding selectively retrievable representations of video content
US7236191B2 (en) * 2003-04-30 2007-06-26 Nokia Corporation Method and system for image processing with pixel interpolation using second order gradients
JP4550048B2 (ja) * 2003-05-01 2010-09-22 ギブン イメージング リミテッド パノラマ視野の撮像装置
KR100510532B1 (ko) * 2003-06-10 2005-08-26 삼성전자주식회사 베이어 패턴 컬러 신호에 대한 적응형 노이즈 제거 필터,이를 구비한 디지털 영상 신호 처리 장치, 및 그 방법
US7525584B2 (en) * 2004-01-05 2009-04-28 Lifesize Communications, Inc. Fast edge directed demosaicing
EP1718081A1 (en) * 2004-02-19 2006-11-02 Olympus Corporation Imaging system and image processing program
US8165389B2 (en) * 2004-03-15 2012-04-24 Microsoft Corp. Adaptive interpolation with artifact reduction of images
US7502505B2 (en) * 2004-03-15 2009-03-10 Microsoft Corporation High-quality gradient-corrected linear interpolation for demosaicing of color images
JP4534594B2 (ja) * 2004-05-19 2010-09-01 ソニー株式会社 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
US7336833B2 (en) * 2004-06-30 2008-02-26 Given Imaging, Ltd. Device, system, and method for reducing image data captured in-vivo
US7480417B2 (en) * 2004-10-19 2009-01-20 Microsoft Corp. System and method for encoding mosaiced image data employing a reversible color transform
KR100699831B1 (ko) * 2004-12-16 2007-03-27 삼성전자주식회사 베이어 패턴의 컬러 신호를 보간하는 방법 및 보간기
US7570810B2 (en) * 2005-02-24 2009-08-04 Seiko Epson Corporation Method and apparatus applying digital image filtering to color filter array data
US7611060B2 (en) 2005-03-11 2009-11-03 Hand Held Products, Inc. System and method to automatically focus an image reader
US7780089B2 (en) 2005-06-03 2010-08-24 Hand Held Products, Inc. Digital picture taking optical reader having hybrid monochrome and color image sensor array
US7568628B2 (en) * 2005-03-11 2009-08-04 Hand Held Products, Inc. Bar code reading device with global electronic shutter control
US20060217593A1 (en) * 2005-03-24 2006-09-28 Zvika Gilad Device, system and method of panoramic multiple field of view imaging
US7770799B2 (en) 2005-06-03 2010-08-10 Hand Held Products, Inc. Optical reader having reduced specular reflection read failures
US7830430B2 (en) 2005-07-28 2010-11-09 Eastman Kodak Company Interpolation of panchromatic and color pixels
US8274715B2 (en) 2005-07-28 2012-09-25 Omnivision Technologies, Inc. Processing color and panchromatic pixels
US8139130B2 (en) * 2005-07-28 2012-03-20 Omnivision Technologies, Inc. Image sensor with improved light sensitivity
US20070046807A1 (en) * 2005-08-23 2007-03-01 Eastman Kodak Company Capturing images under varying lighting conditions
US7728906B2 (en) * 2006-01-04 2010-06-01 Apple Inc. Embedded camera with privacy filter
KR100809687B1 (ko) 2006-02-28 2008-03-06 삼성전자주식회사 영상신호에 포함된 잡음을 제거할 수 있는 영상신호처리장치 및 방법
US8014597B1 (en) * 2006-03-22 2011-09-06 Woodman Labs Method for efficient compression and decoding of single sensor color image data
US7916362B2 (en) * 2006-05-22 2011-03-29 Eastman Kodak Company Image sensor with improved light sensitivity
US8031258B2 (en) 2006-10-04 2011-10-04 Omnivision Technologies, Inc. Providing multiple video signals from single sensor
US7876956B2 (en) * 2006-11-10 2011-01-25 Eastman Kodak Company Noise reduction of panchromatic and color image
US20080123997A1 (en) * 2006-11-29 2008-05-29 Adams James E Providing a desired resolution color image
US8594451B2 (en) * 2007-03-30 2013-11-26 Omnivision Technologies, Inc. Edge mapping incorporating panchromatic pixels
US7889921B2 (en) * 2007-05-23 2011-02-15 Eastman Kodak Company Noise reduced color image using panchromatic image
JP4620095B2 (ja) * 2007-08-24 2011-01-26 盛群半導體股▲ふん▼有限公司 Ｙｍｃｇカラー・フィルタ・アレイに用いられる色彩補間法
CN101459853B (zh) * 2007-12-10 2011-08-10 鸿富锦精密工业（深圳）有限公司 色彩处理装置及方法
US8879545B2 (en) 2007-12-31 2014-11-04 At&T Intelletual Property I, L.P. Methods and apparatus to route a communication session directly to a voicemail mailbox
US7859033B2 (en) 2008-07-09 2010-12-28 Eastman Kodak Company Wafer level processing for backside illuminated sensors
US7915067B2 (en) * 2008-07-09 2011-03-29 Eastman Kodak Company Backside illuminated image sensor with reduced dark current
US20100104178A1 (en) * 2008-10-23 2010-04-29 Daniel Tamburrino Methods and Systems for Demosaicing
US8422771B2 (en) * 2008-10-24 2013-04-16 Sharp Laboratories Of America, Inc. Methods and systems for demosaicing
US20100123009A1 (en) * 2008-11-20 2010-05-20 Datalogic Scanning Inc. High-resolution interpolation for color-imager-based optical code readers
US20100149396A1 (en) 2008-12-16 2010-06-17 Summa Joseph R Image sensor with inlaid color pixels in etched panchromatic array
TWI423666B (zh) * 2008-12-31 2014-01-11 Altek Corp Image elimination method for image sequence
US8800874B2 (en) 2009-02-20 2014-08-12 Datalogic ADC, Inc. Systems and methods of optical code reading using a color imager
US8224082B2 (en) * 2009-03-10 2012-07-17 Omnivision Technologies, Inc. CFA image with synthetic panchromatic image
US8068153B2 (en) * 2009-03-27 2011-11-29 Omnivision Technologies, Inc. Producing full-color image using CFA image
US8218068B2 (en) 2009-04-01 2012-07-10 Omnivision Technologies, Inc. Exposing pixel groups in producing digital images
US8045024B2 (en) * 2009-04-15 2011-10-25 Omnivision Technologies, Inc. Producing full-color image with reduced motion blur
US8203633B2 (en) * 2009-05-27 2012-06-19 Omnivision Technologies, Inc. Four-channel color filter array pattern
US8237831B2 (en) * 2009-05-28 2012-08-07 Omnivision Technologies, Inc. Four-channel color filter array interpolation
US8125546B2 (en) * 2009-06-05 2012-02-28 Omnivision Technologies, Inc. Color filter array pattern having four-channels
US8253832B2 (en) 2009-06-09 2012-08-28 Omnivision Technologies, Inc. Interpolation for four-channel color filter array
US20100316291A1 (en) * 2009-06-11 2010-12-16 Shulan Deng Imaging terminal having data compression
US8724928B2 (en) 2009-08-31 2014-05-13 Intellectual Ventures Fund 83 Llc Using captured high and low resolution images
US20110115954A1 (en) 2009-11-19 2011-05-19 Eastman Kodak Company Sparse color pixel array with pixel substitutes
US20110149111A1 (en) 2009-12-22 2011-06-23 Prentice Wayne E Creating an image using still and preview
US8737755B2 (en) * 2009-12-22 2014-05-27 Apple Inc. Method for creating high dynamic range image
US20110157395A1 (en) * 2009-12-31 2011-06-30 Compton John T Image sensor with fractional resolution image processing
JP2011155365A (ja) * 2010-01-26 2011-08-11 Honda Elesys Co Ltd 画像処理装置および画像処理方法
US8179445B2 (en) 2010-03-03 2012-05-15 Eastman Kodak Company Providing improved high resolution image
US8345971B2 (en) 2010-06-28 2013-01-01 The Hong Kong Polytechnic University Method and system for spatial-temporal denoising and demosaicking for noisy color filter array videos
FR2964490B1 (fr) * 2010-09-06 2012-09-28 Commissariat Energie Atomique Procede de demosaicage d'une image brute numerique, programme d'ordinateur et circuit imageur ou graphique correspondants
US8462221B2 (en) 2010-11-03 2013-06-11 Eastman Kodak Company Method for producing high dynamic range images
US8466976B2 (en) 2010-11-03 2013-06-18 Eastman Kodak Company Digital camera providing high dynamic range images
TWI464704B (zh) * 2011-08-22 2014-12-11 Novatek Microelectronics Corp 色彩資訊插補方法
EP3113478A1 (en) 2015-06-30 2017-01-04 Thomson Licensing Plenoptic foveated camera

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3971065A (en) * 1975-03-05 1976-07-20 Eastman Kodak Company Color imaging array
US4642678A (en) * 1984-09-10 1987-02-10 Eastman Kodak Company Signal processing method and apparatus for producing interpolated chrominance values in a sampled color image signal
JP2619354B2 (ja) * 1985-03-25 1997-06-11 株式会社日立製作所 固体撮像装置
JPS62190994A (ja) * 1986-02-18 1987-08-21 Fuji Photo Film Co Ltd 色差線順次映像信号の信号補間装置
US5008739A (en) * 1989-02-13 1991-04-16 Eastman Kodak Company Real-time digital processor for producing full resolution color signals from a multi-color image sensor
JP3049959B2 (ja) * 1992-08-26 2000-06-05 ミノルタ株式会社 画像処理装置
US5382976A (en) * 1993-06-30 1995-01-17 Eastman Kodak Company Apparatus and method for adaptively interpolating a full color image utilizing luminance gradients
US5373322A (en) * 1993-06-30 1994-12-13 Eastman Kodak Company Apparatus and method for adaptively interpolating a full color image utilizing chrominance gradients

Also Published As

Publication number Publication date
EP0732858B1 (en) 2003-07-02
DE69628866T2 (de) 2004-06-03
EP0732858A3 (en) 1998-03-04
EP0732858A2 (en) 1996-09-18
DE69628866D1 (de) 2003-08-07
US5506619A (en) 1996-04-09
JPH08298670A (ja) 1996-11-12

Similar Documents

Publication Publication Date Title
JP3871072B2 (ja) 適応カラー補間単一センサカラー電子カメラ
JP3510037B2 (ja) 適応カラー補間単一センサカラー電子カメラ
JP3816082B2 (ja) 輝度勾配を用いたフルカラーイメージ適応的補間装置
US5652621A (en) Adaptive color plane interpolation in single sensor color electronic camera
US6075889A (en) Computing color specification (luminance and chrominance) values for images
US5373322A (en) Apparatus and method for adaptively interpolating a full color image utilizing chrominance gradients
US5596367A (en) Averaging green values for green photosites in electronic cameras
US6934056B2 (en) Noise cleaning and interpolating sparsely populated color digital image using a variable noise cleaning kernel
US8823808B2 (en) Method for improved digital video image quality
JP4279384B2 (ja) カラーフィルタ画像信号生成方法
JP5123212B2 (ja) パンクロマチック画素及びカラー画素の補間
JP4374488B2 (ja) デモザイク処理及び不良ピクセル補正を組み合わせるためのディジタル画像システム及び方法
US6757012B1 (en) Color selection for sparse color image reconstruction
EP1209919B1 (en) Method for compressing an image from a sparsely sampled extended dynamic range image sensing device
US5808674A (en) Producing and improved digital image from digital signals corresponding to pairs of photosites
JP2004153823A (ja) 局部線形回帰法を用いた画像処理システム
US7072509B2 (en) Electronic image color plane reconstruction
US6469290B1 (en) Solid-state image pickup apparatus in compliance with the arrangement of complementary color filter segments and a signal processing method therefor
JP2002010276A (ja) 撮像装置
JPH10243408A (ja) 撮像装置
US6542187B1 (en) Correcting for chrominance interpolation artifacts
JP2009044676A (ja) 画像処理装置、画像処理方法及びプログラム
US6671401B1 (en) Removing color moire patterns from digital images having known chromaticities
US6795586B1 (en) Noise cleaning and interpolating sparsely populated color digital image
JP4178919B2 (ja) ノイズ除去方法、撮像装置およびノイズ除去プログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20041119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050418

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060829

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060919

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061011

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101027

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111027

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111027

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121027

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121027

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131027

Year of fee payment: 7

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term