JPH10271380A - 改善された性能特性を有するディジタル画像を生成する方法 - Google Patents

改善された性能特性を有するディジタル画像を生成する方法

Info

Publication number
JPH10271380A
JPH10271380A JP10025828A JP2582898A JPH10271380A JP H10271380 A JPH10271380 A JP H10271380A JP 10025828 A JP10025828 A JP 10025828A JP 2582898 A JP2582898 A JP 2582898A JP H10271380 A JPH10271380 A JP H10271380A
Authority
JP
Japan
Prior art keywords
image
images
electronic
scene
digitized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP10025828A
Other languages
English (en)
Inventor
John Allen Weldy
アラン ウェルディ ジョン
Jennifer Clara Loveridge
クララ ラヴェリッジ ジェニファー
Dale F Mcintyre
エフ マッキンタイア デイル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Eastman Kodak Co
Original Assignee
Eastman Kodak Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eastman Kodak Co filed Critical Eastman Kodak Co
Publication of JPH10271380A publication Critical patent/JPH10271380A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21Intermediate information storage
    • H04N1/2104Intermediate information storage for one or a few pictures
    • H04N1/2112Intermediate information storage for one or a few pictures using still video cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077Types of the still picture apparatus
    • H04N2201/0082Image hardcopy reproducer

Abstract

(57)【要約】 【課題】 欠陥の少ないセンサを使用してより高い空間
解像度を有する電子画像を捕捉する方法を提供すること
を目的とする。 【解決手段】 改善された性能特性を有するディジタル
画像を生成する方法は、シーンの少なくとも2つの電子
画像を捕捉する段階と、上記シーンの少なくとも2つの
電子画像をディジタル化する段階とを含む。方法は、改
善された性能特性を有するシーンの結合されたディジタ
ル画像を生成するために、上記シーンの少なくとも2つ
のディジタル化された電子画像を結合し、処理する段階
を更に有する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、例えばシーンの1
つ以上の記録を捕捉しうるカメラから生成されうる改善
されたディジタル画像を生成する方法に関する。
【0002】
【従来の技術】電子画像捕捉は、50年以上前にテレビ
ジョン産業によって産み出された。長年の間に、白黒
(B&W)のみの画像捕捉からフルカラー捕捉への進歩
があった。ビデオ記録技術の最近の進歩と組み合わされ
て、ビデオカメラ(最近はディジタルビデオカメラ)は
一般的なものとなった。1980年代にソニー株式会社
は、静止画像を捕捉し、それらを磁気ディスク上にアナ
ログ式に記憶する電子静止カメラを発売した。最近、デ
ィジタルメモリのコストの大幅な削減により、多くの製
造者がディジタル静止カメラを売り出している。これら
のカメラは典型的には、フルカラーのスクリーン情報を
捕捉するために使用されるフルフレーム、又はインタラ
イン電荷結合デバイス(CCD)を特徴とする。
【0003】
【発明が解決しようとする課題】メモリ及びCCDのコ
ストが急速に低下したにも拘わらず、画像性能問題が存
在する。1つの問題は、捕捉されるカラー画像は単一の
CCDが使用されなければ白黒画像と同等であるが、単
一のCCDが使用される場合、白黒画像と比較して減少
された空間解像度を有することである。これは、CCD
がシーンの(わずかに)異なる位置から色情報を捕捉す
ることを可能にするために色フィルタアレー(CFA)
が必要であることによる。典型的には、夫々がCCDに
よって定義される画素構造に関して粗にサンプリングさ
れ、画素インタリーブされる、3つの色記録が同時に捕
捉される。典型的には色記録のサンプル数を増加させ、
再位相するための空間補間による、続くアナログ又はデ
ィジタル画像処理は、シーン内の各位置に対応するフル
カラー記録を生成するために必要とされる。この色の粗
サンプリング及び続く画像処理は、色アーティファクト
を導きうる。或いは、シーンはCFAを通じてCCDに
よって検出される前に、低域通過フィルタリングされう
る。しかしながらこの低域通過フィルタリングはシーン
の空間解像度を更に低下させる。
【0004】色を発生する他の方法は、各色チャネルに
対して別々のセンサ(典型的には、夫々が赤、緑及び青
の情報を捕捉するための3つのセンサ)を使用する。こ
れは空間解像度の問題を解決する一方で、これらのシス
テムは典型的に単一のレンズと、それに続くビームスプ
リッタ及び位置合わせ光学素子を使用する。ビームスプ
リッタによって光の損失(従ってシステムの感光性の損
失)があり、位置合わせ光学素子はしばしば温度効果に
ついての調整を必要とする。更に、ビームスプリッタは
カメラの物理的な大きさを増加させる。
【0005】CCDによる他の問題は、これらのセン
サ、及びディジタルメモリといった他のシリコンベース
ドデバイスを製造するために使用される過程は、少しで
はあるが、欠陥を生ずることである。幾つかの単一の要
素の画素(ピクセル)が失われる画像から欠陥は典型的
には許容可能である。しかしながら、ライン(画素の完
全な行又は列)欠陥となる欠陥は許容可能ではない。従
ってこれらの製造過程からの許容可能なCCDの歩留ま
りはしばしば低い。欠陥の確率は典型的にはCCDの感
光領域に比例するため、CCDを小さくすることによっ
て歩留まりを増加しうる。より小さなCCDのより小さ
な感光領域はまた、より短い焦点距離のレンズ(従って
潜在的により薄型のカメラ)は、より大きな感光領域を
有する装置上で捕捉される観察角と同じ観察角を生成す
ることが要求されるという利点を有する。残念なこと
に、より小さなCCDの空間解像度を維持するために、
画素の大きさは小さいことが要求される。画素の大きさ
がより小さいことは、光子検出領域がより小さいこと、
及び画素飽和に達する前に記憶されうる(光子から発生
される)電子の数がより低いことによる雑音の増加を受
ける。これを克服するために、より大きな領域のセンサ
が形成されうるが、上述の歩留まりの問題は悪化され、
より大きな領域のセンサに対して高いコストとなる。
【0006】
【課題を解決するための手段】本発明は、上述の問題を
克服し、(a)シーンの少なくとも2つの電子画像を捕
捉する段階と、(b)該シーンの少なくとも2つの電子
画像をディジタル化する段階と、(c)改善された性能
特性を有する結合されたディジタル画像を生成するよう
該シーンの少なくとも2つのディジタル化された電子画
像を結合し、処理する段階とからなる、改善された性能
特性を有するディジタル画像を生成する方法を提供する
ことを目的とする。
【0007】
【発明の実施の形態】デュアルレンズカメラという用語
は、カメラの独自の非光学的に連結されたレンズ系を使
用して少なくとも2つの別々の画像が形成されることを
意味する。明瞭性のため、以下の詳細な説明の殆どは2
つの画像が捕捉され、結合される例である。しかしなが
ら、当業者によって、以下に示されるように改善された
性能特性を有するディジタル画像を提供するために2つ
以上の画像が捕捉され、結合されうることが明らかとな
ろう。
【0008】図1を参照するに、カメラ本体1と、撮像
レンズ3a及び3bと、合焦機構6と、セルフリターン
式の押しボタンスイッチを含むシャッタスイッチ7と、
シャッタ速度ダイヤル9とを有するデュアルレンズ電子
カメラが示されている。これらの構成要素は、標準的な
電子カメラと同様である。ここで図4を参照するに、カ
メラ76内の一時ディジタル記憶からディジタル化され
た電子画像を抽出し、これらの画像を中央処理装置78
へ転送する手段が示されている。ディジタル化されたシ
ーン情報と共に、続くディジタル画像処理を実行すると
きに中央処理装置78が同じシーンに対する全ての画像
を照合することを可能にする識別情報が記憶され、転送
される。中央処理装置は、本発明によって画像を処理し
た後、ディジタルハードコピー出力プリンタ82に出力
信号を生成するか、又は陰極線管(CRT)上に処理さ
れた画像を表示するか、又はこれらの処理された画像
を、画像伝送、他のディジタル記憶等といった他の続く
段階で使用する。例えばインクジェットプリンタ及びサ
ーマルプリンタであるディジタルハードディスク出力プ
リンタは、従来の技術によって周知である。
【0009】ここで図5を参照するに、改善された特性
を有する結合されたディジタル画像を生成するアルゴリ
ズムを示すブロック図が示されている。中央処理装置7
8には2つのディジタル電子画像が与えられている。こ
のブロック図及び対応するアルゴリズムの説明は、2つ
のディジタル化された電子画像に関して示されている
が、この方法は2つ以上のディジタル化された電子画像
を与えるために拡張されうることが理解されよう。この
アルゴリズムは、中央処理装置78で実施されている
が、例えば磁気ディスク(フロッピディスク)又は磁気
テープといった磁気記憶媒体、光ディスク、光テープ又
は機械読み取り可能なバーコードといった光学記憶媒
体、ランダムアクセスメモリ(RAM)又は読み出し専
用メモリ(ROM)といった半導体記憶装置等のコンピ
ュータプログラム物の中に記憶されうることが理解され
よう。
【0010】最初の段階は、少なくとも2つのディジタ
ル化された電子画像を共通色空間に変換することであ
る。画像は同じシーンのディジタル描写であるが、少な
くとも2つの電子センサは同じスペクトル感度を有する
必要はなく、この場合、色情報は少なくとも2つの電子
センサの色チャネルの間で異なって割り当てられてい
る。画像は、当業者によって周知の技術である、色マト
リックス及びルックアップテーブル(例えばW.K.Pratt
による1978年Wiley Interscience社出版の「ディジ
タル画像処理(Digital Image Processing)」の50乃
至93頁参照)、又は3次元LUTによって共通色調ス
ケールを有する共通色空間へ変換されるべきである。
【0011】ブロック120では、色変換された画像の
夫々の画素数は実質的に画素数について一致されねばな
らない。換言すれば、共通画素数がなくてはならない。
少なくとも2つの電子センサは同じ画素数を有さなくと
もよいことが理解される。この場合、より低い画素数を
有する画像は、他の画像の画素数に一致されるよう例え
ば2−3次元補間方法によってサンプル数が増加され
る。空間関数適合、コンボリューション及びフーリエ領
域フィルタリングといった他の種類の補間技術もまたデ
ィジタル化された画像のサンプル数を増加するために使
用されうる。これらは従来の技術によって周知であり、
例えば既に引用されたW.K.Pratt の113乃至116頁
で説明されている。
【0012】ブロック122では、ディジタル画像に対
して大域ジオメトリの差を修正するためにディジタル化
された電子画像に対して修正が行われる。即ち、全ての
幾何学的な変形は、1つの画像内の全ての画素に適用さ
れる場合、その画像のジオメトリが他の画像のジオメト
リの上に略マップされることを可能にする。そのような
変形の例は、平行移動、回転、拡大縮小、アスペクト
比、及び少なくとも2つの電子センサに使用される異な
るレンズ系の幾何学的な差である。この修正は、ディジ
タル化された電子画像のうちの1つを除いて全ての画像
が、ジオメトリに関して修正されないディジタル化され
た電子画像のうちの1つ(以下デフォルト画像と称す
る)にマップされることを可能にするよう、1つの画像
にのみ適用される必要があることが理解される。この修
正の適用に関連して、特に鮮明度といった画像品質がわ
ずかに失われ得るため、修正は通常、ブロック120に
おいてより少ない画素を有していた方のディジタル化さ
れた電子画像に対して適用される。
【0013】修正は典型的に3つの段階を含み、これら
の段階はディジタル化された電子画像のうちの1つを、
デフォルトのディジタル化された電子画像に修正するこ
とに関して説明される。第1の段階は、画像対の中のあ
る位置における2つの画像の間の局所的なx,y変位を
特徴づける、典型的には副画素の精密度を有する変位ベ
クトルの組の発生である。従来の技術によって周知であ
る(1991年McGraw-Hill 社出版のG.Thomasによる
「Motion and Motion Estimation」40乃至57頁の、
D.Pearson編集の第3章「画像処理」を参照のこと)ブ
ロックマッチング及び差分方法を含む様々な技術が適当
であるが、この用途に対する望ましい技術は位相相関で
ある。位相相関技術のより完全な開示については、上述
のPearson の同じ箇所と、1994年11月7日に出願
された米国特許出願第08/334,985号とを参照
のこと。位相相関は、シーンの記録時に雑音及び輝度の
変化が存在する場合に対して強い変位ベクトルを発生す
る方法を提供する。
【0014】第2の段階は、上記の変位ベクトルの組を
一般化された幾何学的変形として解釈することである。
ここでは、3つの共通に生ずる変形、即ち平行移動、拡
大(ズーム)及び画像平面の中での回転が説明される
が、剛体の全ての幾何学的変形を解釈するために同様の
方法が使用されうることが理解される。平行移動の場
合、変形は単純に、変位ベクトルの組の中で最も頻繁に
生ずるx,y変位として定義される。そうでなければ、
1つの画像内の位置(x1 ,y1 )及び(x2 ,y 2
を夫々第2の画像内の(x1 ’,y1 ’)及び
(x2 ’,y2 ’)へマップするベクトルの組から、2
つの別々の平行移動ベクトルが得られる場合、次の変形
が定義されうる。原点が(a,b)のとき、原点に対し
てm(m≠1)倍の拡大は、
【0015】
【数1】
【0016】として定義される。従って、平行移動ベク
トルの対を代入し、書き換えることにより、
【0017】
【数2】
【0018】が得られる。中心が(a,b)のとき、中
心に対して角度φに亘る回転の一般化された等式は、
【0019】
【数3】
【0020】であり、これはa,b,φを得るために平
行移動ベクトルを代入することによって同様の方法で解
くことができ、他の変形も同様である。第3の段階は、
第2の段階で与えられる計算されたパラメータ及び変形
等式による画像の対のうちの1つの幾何学的な変形であ
る。典型的に、これは上述において参照された補間技術
に類似する位相シフト空間補間、又は本出願人の米国特
許出願第08/641,709号に記載される種類の技
術を使用して達成される。
【0021】このアルゴリズムの最も簡単な実施では、
画像は例えばブロック128に示されるように、画素に
ついての数値的又は幾何学的平均によって結合される。
しかしながら、上述の簡単な結合の中の局所的な領域は
多くの場合、例えば画像間の局所ジオメトリの差から生
ずる劣った品質を有する。この問題に対する簡単な解決
法は、これらの局所領域を検出し、画像がこれらの局所
領域の中で結合される方法を変えることである。特に、
各画素位置で測定されたデフォルト画像とディジタル化
された電子画像のうちの1つとの間の差が(電子記録媒
体の内在的な雑音特性に依存して)特定の許容度の範囲
内にあるとき、2つの画像の画素値は平均される。ディ
ジタル化された電子画像に対する同じ場所の画素値の間
の差がこの許容度の範囲内にないとき、画像のうちの1
つからの画素値は、合成画像に対するその位置における
値を与えるよう選択される。どの画像を使用するかとい
う選択は、用途に応じて局所的な雑音、又は局所的な鮮
明度に基づいて行われるが、1つの画像は、任意の画像
の対、又は画像の対の中の各局所領域のいずれかに対し
て一貫して使用される。この手順は、デフォルト画像で
はない少なくとも1つのディジタル化された電子画像の
夫々に対して繰り返され、任意の画素位置において様々
な数の画像が平均されることになる。
【0022】上述の許容度を超える局所領域において改
善された画像品質を与えるため、ブロック124に示さ
れるように、共通局所ジオメトリは変換される。再び、
これらの局所修正は、デフォルトのディジタル化された
電子画像のジオメトリ上にマップされることを可能にす
るために、ディジタル化された電子画像のうちの1つを
除き、全ての画像に対して適用される必要があることが
理解されよう。
【0023】局所ジオメトリ内のこれらの差の測定は、
大域変位の測定に使用される技術と同様の技術によって
達成され、修正されるべき画像内の各画素に対する、例
えば位相相関技術によって捕捉された変位ベクトルの割
り当てを含む。1つの画像内の各画素の値を第2の画像
内の対応する画素位置上にマップする割り当てられたベ
クトルの合成配列は、概してベクトル場と称される。こ
の方法は周知であり、例えば1991年McGraw-Hill 社
出版のG.Thomasによる「Motion and Motion Estimatio
n」53乃至54頁、D.Pearson 編集の第3章「画像処
理」で説明される。ここで画像の対は、まず1つの画像
をベクトル場による空間補間によって修正し、次に同じ
位置の画素値を画素毎に平均することによって2つの画
像を結合することにより、結合されうる。或いは、画素
毎に2つの画像の平均を行うことによってこれら2つの
段階を同時に実行することがより効率的であり得るが、
これは対応する画素位置がベクトル場によって定義され
ているときのみ実行されうる。上述の説明は、既に共通
大域ジオメトリに変換された2つの画像間の局所ジオメ
トリの中の差を修正するためのベクトル場の使用に関す
るが、大域ジオメトリ及び局所ジオメトリの両方の差を
同時に測定し修正しうるベクトル場が発生されうること
が当業者によって明らかとなろう。
【0024】2つのディジタル化された画像が異なる空
間解像度の電子センサからのものである、即ち異なる画
素数で表わされる場合、改善された鮮明度(空間細部)
及び減少された雑音は、ブロック126において、より
多くの高空間周波数情報を含む画像に対して高域通過フ
ィルタを適用することによって達成される。周知の技術
(例えば1975年Prentice-Hall 社のRabiner 及びGo
ld著の「Theory and Application of Digital Signal P
rocessing 」の第3章で説明される)を使用して設計さ
れうる高域通過フィルタは、異なる空間解像度の2つの
センサの有効空間周波数応答の差に対応する空間周波数
応答を有するべきである。上述の段落で説明されること
より、ブロック128において、ディジタル画像は高域
通過フィルタリングされたディジタル画像と高空間周波
数においてより少ない情報を含むディジタル画像とを加
えることによって結合される。
【0025】上述の特定の2つのレンズ/2つのセンサ
の実施例は、同じシーンからの光画像を同時に捕捉する
ために2つ以上のレンズ/2つのセンサシステムの全て
のレンズが使用される2つ以上のレンズ/2つのセンサ
システムに対して変更され、修正されうることが更に認
められるであろう。図2は、本体50と、4つの撮像レ
ンズ51a,51b,51c、51dと、シャッタスイ
ッチ52と、合焦機構16aとを有する多レンズカメラ
を示す。同様に、図3は、本体102と、8つの撮像レ
ンズ103a乃至103hと、シャッタスイッチ105
とを有する多レンズカメラを示す。シーンの1つ以上の
描写が捕捉されるため、様々な特性を改善させるように
シーン露光条件を選択することが可能である。
【0026】1つの例として、電子捕捉画像及びフィル
ム捕捉画像が同じ焦点位置にない場合が挙げられる。殆
どのシーンは典型的にはカメラから異なる距離にあるシ
ーン対象を有し、従ってしばしば、特に大きい開口(小
さいレンズFナンバー)の場合、シーンの一部分のみが
合焦されて捕捉される。最もよい信号対雑音比を有する
画像が局所毎に選択される上述のような画像結合方法を
使用することにより、より多くのシーン対象が入力画像
のいずれよりもより鮮明である結合された画像が生成さ
れる。この場合、「最も鮮明な画像」は、最も高い局所
信号対雑音比を有する方の画像として定義され、これは
例えば、各画像に対して、高域通過フィルタリングされ
た画像の大きさと、空間周波数の同じ大域に亘って測定
される対応する画像捕捉手段に対する先験的な雑音レベ
ルとを比較することによって決定される。或いは、共通
大域ジオメトリ及び共通局所ジオメトリの変換の後に、
高域通過フィルタ及び低域通過フィルタによって、ディ
ジタル化された画像の夫々を、高空間周波数成分及び低
空間周波数成分へ分割することが可能である。画像の低
周波成分は平均化され、(上述のように)最もよい信号
対雑音比を有する画像の高周波成分は、画素毎に、改善
された性能特性を有する処理され、結合されたディジタ
ル化された画像の高周波成分を表わすよう選択される。
【0027】第2の例は、電子画像が同じ被写界深度を
有するシーンを捕捉しなかったときに生ずる。画像捕捉
システムの被写界深度は、レンズ焦点距離及び開口(F
ナンバー)の両方の関数である。これは2つ以上の画像
センサの感光領域が異なる場合でありうる。この場合、
最も小さい画像センサは(シーンの同じ観測角に対し
て)より短い焦点距離のレンズを使用し、従って所与の
レンズFナンバーに対して最大の被写界深度を有する。
画像が異なる焦点位置で捕捉されるときに捕捉される場
合と同様の、改善された性能のディジタル画像が達成さ
れうる。この場合、局所的な鮮明度の差(改善された信
号対雑音比)は異なる被写界深度(又は被写界深度と焦
点位置との組み合わせ)での捕捉から生じている。この
変形は、大きなレンズ開口が使用される場合、例えばシ
ーンの照明が暗いとき、又は非常に短い露光時間が要求
されるとき、例えば画像のぶれなしに速い移動運動を捕
捉するために特に有用であり得る。
【0028】画像性能の更なる改善は、他の種類の画像
結合を使用することによって達成されうる。例えば、電
子画像センサ(CCD)及び他の電子捕捉装置は、単一
の捕捉サイト(CCD画素)において3つの別々の色チ
ャネルを感知し、完全に分離し、形成することができな
い。一方フィルムでは多重の銀ハライド層を重ねること
ができるため、多チャネル捕捉が可能である。この制限
の下、CCD及び他の電子捕捉媒体は典型的に、カラー
画像を捕捉するため、感光素子の総数を、少なくとも3
つの異なる色検出型(例えば、赤、緑、青、又はシア
ン、黄、緑、白)に割り当てねばならない。画像処理ア
ルゴリズムは、フルカラーの画像を再構築するために使
用されるが、基本的に、カラー画像を捕捉するために空
間解像度は失われない。
【0029】更に、画像センサの表面に色フィルタが取
り付けられる場合、定義上フィルタはセンサによって捕
捉される光子の数を、色フィルタによって送られる波長
の光子に限定する。従って、捕捉サイトの表面に色フィ
ルタが取り付けられていなければ、物理的な大きさに関
してより小さい(従ってシリコンの同じ領域からより高
い解像度のディジタル化された電子画像を発生する)単
一の捕捉サイト(CCD画素)を使用することが可能で
あり、従って、1単位領域当たり、色フィルタが存在す
るときよりも多くの光子が捕捉される。従って、カメラ
が感光度の限界で動作している状態では、高解像度(小
さな捕捉サイト)単色(色フィルタなし)画像センサ
と、色フィルタアレーが取り付けられ、より大きな画素
を有する単一の低解像度センサ、又は夫々が「単一の」
色に対応する波長の帯域に感度のあるより低い解像度
(より大きな画素の)色アレーの組のいずれかとを共に
使用することが有利である。この種類の技術は従来、テ
レビジョン産業のための動画像フィルムの高解像度CC
Dスキャナに関連して使用されてきた(例えば、IR2
46253X「A quad-linear sensor for high defini
tion film scanning」に関する米国特許を参照のこ
と)。しかしながら、これらのスキャナはフィルムから
画像を捕捉するため、被写界深度、又は局所ジオメトリ
といった要因を受けていない。
【0030】本発明は、上述の両方のセンサの種類から
の画像を共通帯域ジオメトリ及び共通局所ジオメトリに
変換する技術を使用することによって、高解像度単色セ
ンサと、低解像度色センサの組み合わせの利点が、ディ
ジタルカメラに関して使用されることを可能にする。更
に特定的には、方法の典型的な実施は以下の段階からな
る。第1の段階は、単色画像と同じ画素数を発生するよ
う、カラー画像を補間することによって増加させ共通の
画素数を発生することである。第2の段階は、上述の方
法によって、両方の画像を共通大域ジオメトリ及び共通
局所ジオメトリに変換することである。第3の段階は、
単色画像に対して高域通過フィルタを適用することであ
る。ここで、高域通過フィルタは単色及び色チャネル
(センサ及び補間のための続く信号処理)の間の有効フ
ィルタの差を補完するものである。最後の段階は、改善
された特性のフルカラー画像を生成するよう、高空間周
波数単色信号と、共通大域ジオメトリ及び共通局所ジオ
メトリを有する増加するよう変換された色チャネルとを
足し合わせることである。
【0031】他の種類の画像結合は、多レンズの夫々が
少なくとも3つの色のタイプ(例えば、赤、緑、青;
白、黄、緑;又はシアン、黄、緑、白)のうちの1つに
スペクトルフィルタリングされる3つ以上の非光学的に
連結されたレンズ系と、3つ以上の電子センサを使用す
ることによって達成されうる。少なくとも3つの画像を
結合するための上述の大局及び局所結合技術を使用する
ことによって、フルカラー画像が再生されうる。これは
上述のフルカラー画像を捕捉するための単一のCCDの
使用に関連する問題を克服すると同時に、発明の背景に
ついて説明された光学素子の位置合わせに関する問題も
克服する。更に、3つ以上のスペクトルフィルタリング
され、捕捉された画像を使用することにより、3色のみ
の捕捉よりもよくシーン対象の元のスペクトルパワー分
布を測定することが可能であることにより、更に改善さ
れたカラー再生を提供することが可能である。
【0032】本発明は、望ましい実施例を参照して詳述
されたが、本発明の精神及び範囲の中で上述の方法に対
する変更、修正及び組み合わせが行われうることが理解
されよう。
【0033】
【発明の効果】本発明は、シーンの電子捕捉に関する上
述の問題を克服する。シーンの少なくとも2つの電子画
像を捕捉することにより、小さな領域の電子センサに関
連する空間解像度と、雑音の問題を克服することが可能
である。対応する数の(夫々がシーンを指す)別々のレ
ンズを通して少なくとも2つの電子画像を捕捉すること
によって更なる改善された特性が捕捉され得、従ってビ
ームスプリッタ光学素子が使用されるときに生じうる上
述の問題を克服する。
【図面の簡単な説明】
【図1】本発明によるデュアルレンズカメラを示す斜視
図である。
【図2】4つのレンズを有する多レンズカメラを示す斜
視図である。
【図3】8つのレンズを有する多レンズカメラを示す斜
視図である。
【図4】本発明によるデュアルレンズカメラから記憶さ
れたディジタルデータを取り出し、画像を処理しうる中
央処理装置を示すブロック図である。
【図5】改善された性能特性を有するディジタル画像を
生成するために結合し、画像処理するために必要とされ
る段階を示すフローチャートである。
【符号の説明】
1 カメラ本体 3a,3b 撮像レンズ 6 合焦機構 7 シャッタスイッチ 9 シャッタ速度ダイアル 16a 合焦機構 50 本体 51a乃至51d 撮像レンズ 52 シャッタスイッチ 102 本体 103a乃至103h 撮像レンズ 105 シャッタスイッチ
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 FI H04N 5/781 (72)発明者 デイル エフ マッキンタイア アメリカ合衆国,ニューヨーク 14472, ハネオイ・フォールズ,チーズ・ファクト リ・ロード 630

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】 (a)シーンの少なくとも2つの電子画
    像を捕捉する段階と、 (b)該シーンの少なくとも2つの電子画像をディジタ
    ル化する段階と、 (c)改善された性能特性を有する結合されたディジタ
    ル画像を生成するよう該シーンの少なくとも2つのディ
    ジタル化された電子画像を結合し、処理する段階とから
    なる、改善された性能特性を有するディジタル画像を生
    成する方法。
  2. 【請求項2】 (a)カメラによってシーンの最初の電
    子画像を生成する段階と、 (b)同じカメラによって異なる位置から同じシーンの
    少なくとももう1つの電子画像を生成する段階と、 (c)該シーンの最初の電子画像と、該少なくとももう
    1つの電子画像とをディジタル化する段階と、 (d)改善された性能特性を有する結合されたディジタ
    ル画像を生成するよう該ディジタル化された最初の電子
    画像と、該ディジタル化された少なくとももう1つのデ
    ィジタル化された電子画像とを結合し、処理する段階と
    からなる、改善された性能特性を有するディジタル画像
    を生成する方法。
  3. 【請求項3】 同じシーンの少なくとも2つのディジタ
    ル化された電子画像から改善された性能特性を有するデ
    ィジタル画像を生成するコンピュータプログラム物であ
    って、 (i)共通大域ジオメトリに変換する段階と、 (ii)改善された性能特性を有する他のディジタル画
    像を生成するよう変換されたディジタル化された電子画
    像を結合し、処理する段階とを実行するコンピュータプ
    ログラムを有するコンピュータプログラム物。
JP10025828A 1997-02-07 1998-02-06 改善された性能特性を有するディジタル画像を生成する方法 Pending JPH10271380A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US79635097A 1997-02-07 1997-02-07
US796350 1997-02-07

Publications (1)

Publication Number Publication Date
JPH10271380A true JPH10271380A (ja) 1998-10-09

Family

ID=25167995

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10025828A Pending JPH10271380A (ja) 1997-02-07 1998-02-06 改善された性能特性を有するディジタル画像を生成する方法

Country Status (2)

Country Link
EP (1) EP0858208A1 (ja)
JP (1) JPH10271380A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120020570A1 (en) * 2010-07-22 2012-01-26 Xerox Corporation Thin line detection and enhancement for electronic images having different resolutions

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AT406724B (de) * 1998-02-06 2000-08-25 Oesterr Forsch Seibersdorf Verfahren und anordnung zur aufnahme und auswertung von bildern eines gegenstandes
US20040201748A1 (en) * 2001-09-12 2004-10-14 Tim Goldstein Extended image digital photography
JP3800192B2 (ja) 2002-05-21 2006-07-26 カシオ計算機株式会社 撮像装置、画像合成方法及び画像合成プログラム
US7596284B2 (en) 2003-07-16 2009-09-29 Hewlett-Packard Development Company, L.P. High resolution image reconstruction
WO2005057278A1 (en) * 2003-12-11 2005-06-23 Nokia Corporation Method and device for capturing multiple images
JP4534756B2 (ja) * 2004-12-22 2010-09-01 ソニー株式会社 画像処理装置、画像処理方法、撮像装置、プログラム、及び記録媒体
US7859588B2 (en) * 2007-03-09 2010-12-28 Eastman Kodak Company Method and apparatus for operating a dual lens camera to augment an image
US9077916B2 (en) 2009-01-16 2015-07-07 Dual Aperture International Co. Ltd. Improving the depth of field in an imaging system
US20160255323A1 (en) 2015-02-26 2016-09-01 Dual Aperture International Co. Ltd. Multi-Aperture Depth Map Using Blur Kernels and Down-Sampling

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01177288A (ja) * 1988-01-07 1989-07-13 Konica Corp 電子スチルカメラ
EP0356432A4 (en) * 1988-02-22 1990-12-12 Brandeau, Edward P. Digital image noise suppression method using svd block transform
US6181826B1 (en) * 1992-07-22 2001-01-30 Eastman Kodak Company Method and associated apparatus for achieving additional signal level resolution from a quantized digital representation of an image
JP3176212B2 (ja) * 1994-03-31 2001-06-11 キヤノン株式会社 画像処理装置
US5555324A (en) * 1994-11-01 1996-09-10 Massachusetts Institute Of Technology Method and apparatus for generating a synthetic image by the fusion of signals representative of different views of the same scene
JPH0922460A (ja) * 1995-02-09 1997-01-21 Fuji Photo Film Co Ltd 画像処理方法および装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120020570A1 (en) * 2010-07-22 2012-01-26 Xerox Corporation Thin line detection and enhancement for electronic images having different resolutions
US8611671B2 (en) * 2010-07-22 2013-12-17 Xerox Corporation Thin line detection and enhancement for electronic images having different resolutions

Also Published As

Publication number Publication date
EP0858208A1 (en) 1998-08-12

Similar Documents

Publication Publication Date Title
US6813046B1 (en) Method and apparatus for exposure control for a sparsely sampled extended dynamic range image sensing device
JP4233257B2 (ja) 撮像装置の効果的ダイナミックレンジを拡張する方法及び装置並びに残存画像の使用
US5982941A (en) Method of producing digital image with improved performance characteristic
US6646246B1 (en) Method and system of noise removal for a sparsely sampled extended dynamic range image sensing device
US6873442B1 (en) Method and system for generating a low resolution image from a sparsely sampled extended dynamic range image sensing device
US6014165A (en) Apparatus and method of producing digital image with improved performance characteristic
JP5461568B2 (ja) カラーおよび全色性チャネルcfa画像の修正
JP2019220957A (ja) 異なる種類の撮像装置を有するモノリシックカメラアレイを用いた画像の撮像および処理
TWI500319B (zh) 影像感測器之延伸景深
JP4351825B2 (ja) カラーのディジタルイメージを収集する方法
JP5140766B2 (ja) 不完全色および全色性cfa画像の改善
US6909461B1 (en) Method and apparatus to extend the effective dynamic range of an image sensing device
US20030063185A1 (en) Three-dimensional imaging with complementary color filter arrays
US20080211956A1 (en) Image Pickup Device
JP2002525722A (ja) 画像処理方法とシステム
JPH10271380A (ja) 改善された性能特性を有するディジタル画像を生成する方法
EP1209900A2 (en) Method and apparatus for performing tone scale modifications
US20070252908A1 (en) Method of Creating Colour Image, Imaging Device and Imaging Module
WO2022226702A1 (zh) 图像处理方法、处理装置、电子设备和存储介质
Allen et al. Digital cameras and scanners
Rebiere et al. Color Pixel Reconstruction for a Monolithic RGB-Z CMOS Imager
WO2022226701A1 (zh) 图像处理方法、处理装置、电子设备和存储介质
JP3274704B2 (ja) 固体撮像素子
KR100868279B1 (ko) 컬러 이미지를 생성하는 방법, 이미징 장치 및 이미징 모듈
JP2004088260A (ja) デジタルカメラ