JP5251462B2 - 画像処理システム - Google Patents

画像処理システム Download PDF

Info

Publication number
JP5251462B2
JP5251462B2 JP2008308000A JP2008308000A JP5251462B2 JP 5251462 B2 JP5251462 B2 JP 5251462B2 JP 2008308000 A JP2008308000 A JP 2008308000A JP 2008308000 A JP2008308000 A JP 2008308000A JP 5251462 B2 JP5251462 B2 JP 5251462B2
Authority
JP
Japan
Prior art keywords
image
color
processing system
subsystem
optical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008308000A
Other languages
English (en)
Other versions
JP2009140496A (ja
Inventor
ロビンソン ディルク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of JP2009140496A publication Critical patent/JP2009140496A/ja
Application granted granted Critical
Publication of JP5251462B2 publication Critical patent/JP5251462B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/001—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G02B13/0015—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras characterised by the lens design
    • G02B13/002—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras characterised by the lens design having at least one aspherical surface
    • G02B13/0025—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras characterised by the lens design having at least one aspherical surface having one lens only
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/001—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G02B13/0015—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras characterised by the lens design
    • G02B13/002—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras characterised by the lens design having at least one aspherical surface
    • G02B13/003—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras characterised by the lens design having at least one aspherical surface having two lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/615—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/615—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
    • H04N25/6153—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF] for colour signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/001—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B9/00—Optical objectives characterised both by the number of the components and their arrangements according to their sign, i.e. + or -
    • G02B9/02—Optical objectives characterised both by the number of the components and their arrangements according to their sign, i.e. + or - having one + component only
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B9/00—Optical objectives characterised both by the number of the components and their arrangements according to their sign, i.e. + or -
    • G02B9/04—Optical objectives characterised both by the number of the components and their arrangements according to their sign, i.e. + or - having two components only
    • G02B9/10—Optical objectives characterised both by the number of the components and their arrangements according to their sign, i.e. + or - having two components only one + and one - component
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B9/00—Optical objectives characterised both by the number of the components and their arrangements according to their sign, i.e. + or -
    • G02B9/12—Optical objectives characterised both by the number of the components and their arrangements according to their sign, i.e. + or - having three components only
    • G02B9/14—Optical objectives characterised both by the number of the components and their arrangements according to their sign, i.e. + or - having three components only arranged + - +
    • G02B9/16—Optical objectives characterised both by the number of the components and their arrangements according to their sign, i.e. + or - having three components only arranged + - + all the components being simple
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Color Television Image Signal Generators (AREA)
  • Blocking Light For Cameras (AREA)
  • Image Input (AREA)

Description

本発明は一般に電光画像処理システムの設計に関連し、特に対象を画像処理するのに使用される「エンドトゥエンド」のシステム設計に関連し、そのシステムでは対象の様々なカラーチャネルが関連付けられる。
電光画像処理システムは、一般に、光学サブシステム(例えば、レンズアセンブリ)、電子検出サブシステム(例えば、CCDディテクタアレイ)及びディジタル画像処理サブシステム(例えば、典型的には専用のチップやソフトウエアに用意される)を含んでいる。これらのシステムを設計する伝統的な方法は、一般に、２つの別個の段階を含む。第１に、(コスト的な制約、物理的な制約及び他の画像処理以外の制約の下で)ソースの高品質な中間的な光画像の形成を目的として光サブシステムが設計される。次に、光学サブシステムが設計された後、サンプリングされた中間的な光学画像に残っている欠陥を補償するように、ディジタル画像処理システムが設計される。
多くの画像処理アプリケーションの場合、対象の事物は多数のスペクトル成分を有する。伝統的には、様々な光学収差を最小化するように光学系設計者はレンズ設計パラメータを最適化し、ある１つの画像平面で高品質の光画像を形成するようにする。スペクトル範囲の広いソースの画像処理を含むアプリケーションは、ディテクタサブシステムのスペクトル感度に依存して、ある波長範囲にわたってそれらの収差が最小化されるようにしなければならない。そのようなアプリケーションの場合、光学ガラスやプラスチックで見受けられる分散は、全ての波長の焦点を同じ地点で合わせることを困難にする。補正がない場合、「合焦点の」(in-focus)画像面の位置は、異なるカラーバンド又は「チャネル」毎に異なる。赤のチャネルの画像は或る位置で焦点が合い、緑のチャネルの画像は別の位置で焦点が合い、青のチャネルの画像は更に別の位置で焦点が合うであろう。逆に、ある１つの固定位置にディテクタを設けることは、１つのカラーチャネルの焦点は合うかもしれないが他の焦点は合わないかもしれないことを意味する。波長と共に最良の焦点が変動するこの問題は、軸上色収差(axial chromatic aberration)として知られている。
軸上色収差を低減する一般的な方法は、収差の均衡をとるのに相応しい分散性を伴うレンズ材料を選択することを含む。例えば、三重レンズ系の第１及び第３レンズ要素(正に倍率をかける要素)は、正の軸上色収差を最小化するために非常に高いアッベ数(クラウンガラス)をしばしば有する。第２の負のレンズ要素は低いアッベ数の柄図材料(フリントガラス)で構築され、強い負の色収差を与え、第１及び第２のレンズ要素の正の色収差のバランスをとる。伝統的な方法は、全てのカラーチャネルを同じ画像距離で鋭い焦点に導こうとしている。しかしながらその結果のレンズ設計は比較的複雑で高価になるおそれがある。
キャシージュニア等(Cathey, Jr. et al.)の米国特許(特許文献１)は異なる方法を説明している。ある位相マスクが光学サブシステムに導入され、全てのカラーチャネルにわたって平均化された全体的な変調伝達関数(MTF: Modulation Transfer Function)が、画像面内でのずれに比較的鈍感になるようにしている。１つの位置で「鋭く焦点を合わせる」ことで、画像面が最適な画像距離からずれ、かなり急速に「焦点を大きく逸脱させて」劣化させてしまう代わりに、キャシー等の光サブシステムは、拡張された範囲の画像面の位置にわたって「ほどほどに焦点をぼかす」ように設計されている。すなわち、全てのカラー画像は常にいくらかぼけているが、画像面の位置が変動する際に顕著には良くも悪くもならない。この作用効果を利用してシステム全体の焦点深度を拡張する。しかしながら１つの主な欠点は、その画像は常にいくらかぼけていることである。言い換えればMTFは低い低コントラストの影響を被ってしまう。
オルムステッド等(Olmstead et al.)の米国特許(特許文献２)及びハンソン(Hanson)の米国特許(特許文献３)は異なる方法を説明している。これらの例では、対象は特殊な部類(クラス)に制限され、全てのカラーチャネルの画像が同じであるように制限される。即ち、赤のチャネル画像は緑のチャネル画像と同じでなければならず、且つ青のチャネル画像とも同じでなければならない。これら両特許は特に白黒のバーコードの画像処理に注力している。このような特殊な場合、黒と赤のバーコード(即ち、赤のカラーチャネルによる白黒バーコードの画像)は黒と緑のバーコードと同じであり、黒と青のバーコードと同じである。この特徴により、対象の完全な画像を得る際、何等かの１つのカラーチャネルで十分である。従って光学サブシステムは軸上色収差を強化するように設計される。異なるカラーチャネルは異なる画像距離で焦点を結ぶ。実際の対象物距離について最良の焦点のカラーチャネルが、その対象の画像として使用される。軸上色収差を強化することは、システム全体の視野の有効深度(effective depth)を拡張する。なぜなら、少なくとも1つのカラーチャネルが適切な焦点を結ぶ範囲を拡張するからである。しかしながらこの方法は特殊な部類の対象に限定され、対象全体が１つのオブジェクト距離に置かれることを仮定する。この方法は、対象の様々な部分が様々なオブジェクト距離にある状況に対処できない。また、この方法では焦点の合ってないチャネルは使用されないので、エネルギ的に非効率的である。
米国特許第5,748,371号明細書 米国特許第7,224,540号明細書 米国特許第5,468,950号明細書
本発明の課題は、既存の方法の問題点の全部又は一部に対処しつつ対象の良好なカラー画像処理を行うことの可能な電光画像処理システムをもたらすことである。
本発明は、カラー相関情報を利用して、低品質カラー画像のカラーチャネルを補償することで、従来の問題点を克服しようとする。
一形態では、電光カラー画像システムは、光サブシステム、ディテクタサブシステム及びディジタル画像処理サブシステムを含む。本システムは色相関のある対象(color-correlated object)を画像処理するのに使用される。光サブシステムでは、各カラーチャネルは或る画像面(典型的には平坦面又は湾曲面)に焦点を結んでおり、異なるカラーチャネルの画像面は互いに分離されている。例えば、画像面が平坦であった場合、赤のチャネルの画像面は、緑及び青のチャネルの画像面の前又は後にある。別の例としては、異なるカラーチャネルは、異なる近軸画像距離を示してもよい。即ち、異なるカラーチャネルの近軸画像点は、大幅な軸上色収差を導入するように軸方向に隔たっている。その結果、あるカラーチャネルの焦点が合っているが、他の焦点は合っていない。ディテクタサブシステムは、光サブシステムから或る固定距離だけ離れて位置し、対象の様々なカラーチャネル画像を捕捉する。カラーチャネル間の経験的な相関推定値に少なくとも基づいて、捕捉したカラーチャネル画像を組み合わせることで、画像処理サブシステムは、対象の画像を推定する。
ある特定のアプリケーションの場合、色相関(color correlation)を使用して電光画像処理システムの被写界深度(depth of field)を増やす。実質的に重複しない画像面でカバーされる範囲は、増やされた被写界深度を網羅するのに十分である。その結果、画像処理システムは或る被写界深度を有し、その被写界深度は同じF/#を伴う等価な単色システムのものより大きい。例えば、一実施例では、画像処理サブシステムは、捕捉したカラーチャネル画像からの対象物の距離を少なくとも推定し、あるフィルタを用いて各カラーチャネルの画像を、そのカラーチャネル及び対象物距離に基づいてシャープにする。方向付けられた及び／又は回転対称的なチャネルパスフィルタ(例えば、エッジフィルタ及び／又は等プラシアンフィルタ)は、対象物距離を推定するためにカラーチャネル画像に適用可能である。マルチチャネルウィーナーフィルタリングは、先験的なカラー相関情報を使ってカラーチャネル画像を鮮明にするのに使用可能である。
他の形態の場合、画像面は平坦でなくてもよい。例えばそれらは残留像面に起因して湾曲しているかもしれない。その結果、所与の対象物距離において、様々なカラーチャネルが、ディテクタサブシステムのアクティブ領域の様々な場所で焦点を結ぶかもしれない。青のチャネル画像が光軸中心の空間領域で、緑のチャネル画像は青の最良焦点領域周囲の環状領域で、赤のチャネル画像はアクティブセンサ領域周囲の環状領域で最良の焦点を結ぶかもしれない。
他の形態の場合、増加した軸上色収差を伴う光サブシステムはグレースケールディテクタサブシステムと共に使用され、グレースケールディテクタサブシステムは幅広い範囲にわたるスペクトル領域を統合し、グレースケール画像を生成する。対象の色相関に関する先験的な情報は、被写界深度を拡張可能にする。なぜなら、大きな被写界深度の場合、多色MTF関数はそのサンプルレートに至るまでゼロと交わらないからである。
他の形態は特定のレンズ設計内容を有する。本発明の他の形態は、上記の装置及びシステムに対応する方法を含み、更にはそれら全てに対する用途を有する。
原出願は少なくとも１つのカラーの図面を含んでいる。カラー図面を伴う原出願のコピーは米国特許商標庁で必要に応じて提供される。本発明は他の利点及び特徴も備えており、他の利点及び特徴は、添付図面を考慮することで、以下の本発明の詳細な説明及び添付の特許請求の範囲から更に明確になるであろう。
図面は本発明の実施例を説明する目的だけのために用意されている。ここで説明される構造及び方法の代替例が、ここで説明される本発明の原理から逸脱せずに使用されてよいことは、当業者に容易に理解されるであろう。
＜色相関を利用した設計＞
図１は電光画像処理システム100を設計する際の問題点を説明するためのブロック図である。画像処理システム100は、光サブシステム110、ディテクタサブシステム120及びディジタル画像処理システム130を含む。この特定の実施例の場合、ディジタル画像処理システム130は、ディテクタサブシステム120により捕捉された画像をフィルタリングするディジタルフィルタを含む。画像処理システム100は複数色の対象(オブジェクト又は事物)150を画像処理し、ディジタル画像180を生成する。対象に関する様々なカラーチャネルは相互に関連するものとする。この相関は先験的に分かっており、画像処理サブシステム130はその先験的な情報を使ってシステム全体の特性を改善する。従って画像処理システムの他の部分(例えば、光サブシステム)に関する設計条件を緩和することができる。設計の一般的な問題は、或る制約を受けながら、全体的な特性を「最適化」することである。多くの場合、最適化の目的は、入力の対象のアプリケーション特有の理想的な形式155に合致するディジタル画像180を生成することである。
図２は、電光画像処理システム100を設計する本発明による方法例のフローチャートを示す。図２を参照するに、本設計方法は対象150の何らかの空間モデルを生成する210。対象の空間モデルは、特定の状況について導出されてもよいし、過去に使用された又は用意されたモデルに基づいて先験的に測定されてもよい。照明、放射分析及び幾何学的配置は、対象モデルに反映されてもよい事項である。空間モデルは好ましくは対象の統計モデルを含む。この特定の場合では、空間モデルは様々なカラーチャネル間の相関を含む。
電光画像処理システムに関する設計空間も規定される220。図１の場合、サブシステム各々がパラメータθ0，θd，θiにより決められる。例えば、ベクトルθ0で記述される光学サブシステム110の設計空間は、レンズの数、タイプ及びサイズ、曲率半径、絞り等により規定されてもよい。ベクトルθdにより記述されるディテクタサブシステム120の設計空間は、画素数、ディテクタ間隔、曲線因子(fill factor)、帯域幅、画素の幾何学的形状等をパラメータ化してもよい。この特定の例の場合、ディジタル画像処理サブシステム130はディジタルフィルタを含み、ベクトルθiで記述されるディジタル画像処理サブシステム130の設計空間が、(係数の数、係数値等)ディジタルフィルタのパラメータを特定するようにしてもよい。設計に関連するコスト又は画像処理ではない様々な制約(非画像処理制約)も規定されてよい。各サブシステムの設計空間のサイズはアプリケーションに依存して異なってもよい。場合によっては、あるサブシステムを設計するのにより多くの自由度があってもよい。或いは、サブシステムの設計は厳密に制約去るかもしれないし、又は予め決められてさえいるかもしれない(例えば、ディテクタアレイが事前に選択されているような場合である。)。
後処理のパフォーマンスメトリック190も規定される230。パフォーマンスメトリックは、画像処理前でなく画像処理後に実行されるという意味において後処理である。例えば、光サブシステムで生成された中間的な光画像の波面誤差又はスポットサイズの測定は、光サブシステムに関する従来のエラーメトリックでもよいが、それらは後処理パフォーマンスメトリックではない。図１の場合、後処理パフォーマンスメトリック190は、理想的なディジタル画像155に対する、画像処理システム100により生成されたディジタル画像180の比較に基づいている。多くの設計状況の場合、システムにより生成される画像180は、対象の空間モデルに基づいて、サブシステム110，120及び130を介して対象の特性150の伝搬をモデル化することで計算される。
設計ステップ240は設計空間内で或る設計を選択するように記述され、おそらくは或る制約の下で後処理パフォーマンスメトリック190を最適化する。光サブシステム110及びディジタル画像処理サブシステム130は、従来の設計法の場合順番になされていたのとは異なり、共に設計される。数学的には、図１の標記を使用して、設計ステップはθ0，θd，θiを選択するように設計可能であり、おそらくはコスト170の或る制約の下でなされる。例えば、画像ベースの後処理パフォーマンスメトリック190は、最大の財務費用の下で最適化されるかもしれない。或いは、ディジタル画像180に関する或る最小の受入可能な後処理パフォーマンスメトリック190の下で、財務費用は最小化されるかもしれない。
多数の最適化アルゴリズムが使用可能である。線形な関係の場合、パラメータは代数的に求められてもよいし、或いは、既知の及び有用な数値計算法を用いて求められてもよい。より複雑な状況の場合(例えば、ある非線形問題を含む)、期待値最大化、勾配降下法及び線形計画法のような技法が設計空間を探索するのに使用可能である。
図１，２の双方において、光サブシステム110、ディテクタサブシステム120又はディジタル画像処理サブシステム130に関する条件(個別に最適化する条件)はないことに留意を要する。全体的な電光画像処理システム100は良いパフォーマンス或いは最適なパフォーマンスさえ示すが、これらのサブシステムが単独で考察された場合は最適なものより劣ったパフォーマンスを示す可能性は十分にある。これは従来の設計法と正反対であり、例えば従来の設計法の場合、光サブシステム110は、そこで形成される中間的な光画像の画像品質を直接最適化することで設計される。例えば、光サブシステム110は、色収差、RMS波面誤差及び／又はRMSスポットサイズを最小化するように設計されてもよい。これに対して、図２の設計法の場合、光サブシステム110により形成される中間的な光画像は(例えば、色収差、波面誤差又はスポットサイズの観点から測定された場合)劣った画像品質を有するかもしれない(それらはディジタル画像処理サブシステム130により以後に補正される。)。光画像システム110は、中間的な光画像の画像品質を直接的に改善することに基づいて設計されてはいない。むしろ、後処理パフォーマンスメトリック190を直接的に最適化することに基づいて、ディジタル画像処理サブシステム130と共に一体的に設計される。
以下の説明は、対象150、光サブシステム110、ディテクタサブシステム120及びディジタル画像処理サブシステム130の更なるモデル例を与える。 (唯一のモデルではないが) 或る特定のモデルが説明され、それによりエンドトゥエンドのパフォーマンス評価に対する統合されたフレームワークを提示する。
対象150から始まり、図２の設計法は、可能ならば、対象150の空間モデルを用意する。一般的には、画像処理される全ての可能な対象の集合は、アプリケーションにより自然に制約を受け、その空間の境界はそのシステム設計者に重要な事前情報を与える。特に本発明は、様々なカラーチャネル間に相関のある状況を意図している。
或る方法の場合、３次元オブジェクト輝度関数sobj(x’，y’，z’，λ)が存在するものとし、これは３次元的な幾何学、反射及び輝度の間の複雑な相互作用の結果になる。この簡略化された空間モデルの場合、(x’，y’，z’)で規定された３次元空間内の点から波長λと共に発せられたインコヒーレントな放射光強度を、信号は表現するものとする。電光画像処理システム100の目的は、この信号の２次元投影を捕捉することである。
一実施例では、後処理パフォーマンスメトリック190は、実際の(又はシミュレートされた)画像180を或る理想的な画像155と比較することに基づく。理想的な画像155は様々な方法でモデル化可能であり、その１つが以下に示される。この例の場合、波長λにおける理想的な順モデル(forward model)は次のようにモデル化可能である：
P(・)は画像座標空間(x，y)への理想的な投影(ピンホール)変換を表し、BT(・)は空間サンプリング期間Tに合致したカットオフ周波数を伴う理想的なバンドパスフィルタである。指標(j，k)は最終的にサンプリングされた画像の画素位置の指標を表す。理想的な画像sideal155は画像処理システム100のゴール(目的)なので、サブシステムの影響は、理想的な画像sideal(i，j，λ)に関するそれらの影響の観点から定式化されている。従ってこのモデルは、３次元的な対象空間sobj内の、画像面sprojに投影された後の、ある理想的な光学系simgを通過した後の、及びサンプルされた後sidealの、オブジェクト関数を識別する。ベクトルsによりサンプルsidealの順序付集合(ordered collection)を表わすことが、しばしば有用である。
実際の画像180に議論を移す。図３は、実際の画像180を生成する電光画像処理システムのモデルを示すブロック図である。対象150の空間モデルを生成するのに使用される情報は、いくつもの形式を取ってよい。例えば、考察する状況の３次元の幾何学的状況の詳細の情報を、設計者は所有しているかもしれない。その状況の空間的に変化する輝度特性が、対象50をモデル化するのに使用されてもよい。例えば、テキスト又はテキスト文書画像を処理する際、画像処理されるテキストの言語に関する情報を、或いは信号が２進オブジェクトである情報を、設計者は有するかもしれない。ある方法の場合、対象の信号に関する情報は、統計的性質を有し、パワースペクトル密度関数によってモデル化されてもよい。そのような情報は、フィールドシステム(fielded system)により画像処理される対象を表す対象コーパスから取り出されてもよいし、或いは物理的第１原理によりモデル化されてもよい。この情報はディジタル処理サブシステムを設計する際に特に有用になり得る。多くの画像処理技法は、理想的な画像処理システムで画像処理される場合に観測される状況に関する事前情報を当てにしている。
光サブシステム110の議論に移る。特定の波長光λに関し、順光学画像処理モデルは次式で表現可能である：
理想的に投影された光画像simg(x，y)(投影関数P()によって生成される)が、空間的に変化するポイントスプレッド関数(PSF: Point Spread Function)hopt(x，y，x〜，y〜)によって不鮮明化された後の光画像が、o(x，y)である。フォトディテクタ120により感知された後のディジタル画像m[j，k]は次式で与えられる：
hdet(x，y)は空間的に不変なディテクタ統合関数であり、Tは画素分離又は空間サンプリングレートであり、q()はディテクタに関する量子化を表し、n[j，k]は検出プロセスに関連するランダムノイズである。
この順モデルは次の線形モデルで近似可能である：
sは帯域制限された入力画像sideal[j，k]のサンプルのベクトルであり、Hは光学ポイントスプレッド関数hopt(x，y，x〜，y〜)及びセンサ統合関数hdet(x，y)双方の累積効果を現し、nはディテクタに起因する加法性ランダムノイズを表す。ユニットj,kはサンプリング後の指標を表す。数式４の形式は、簡略表現として主に有用である。実際のシミュレーションはそのような行列で陽に構築する必要はない。
複数スペクトル画像処理の場合、数式４に類似する数式が各カラーチャネルについて展開される。例えば、赤、緑及び青のカラーチャネルに基づく３色画像処理システムを考察する。理想的な画像sは赤のチャネル画像sR、緑のチャネル画像sG及び青のチャネル画像sBに分解可能であるとする。Csが画像sに対する相関行列であるとする。更に、簡明化のため、空間相関は複数のカラーチャネルに共通し、行列CWにより表現されるものとする。この場合、理想的な画像sに対する相関行列は次式で与えられる：
ここで、丸印の中に×のある記号はクロネッカー積を表し、色相関を取り込む３×３行列である。更に、３色全てのチャネルが等しいパワーを有し、相互相関強度が等しいとすると、色相関行列は次式で与えられる：
ここで、0＜p＜１は３つのカラーチャネル間の相関係数を表す。印刷されるグレースケール対象物の場合、色相関は非常に強く、相関行列は要素が全て１の行列に近づく。上記の例は動作原理を説明する観点から簡略化されている。本発明はこのような例に限定されず、より複雑なスペクトル関係の場合に等しく適用可能であり、例えば各波長について異なるスペクトル相関特性を有する場合、波長の間で異なる相関を有する場合及び／又は３つより多い波長が存在する場合等にも適用可能である。
この色相関情報は、予測された二乗平均誤差(MSE: Mean Square Error)に基づいてエンドトゥエンドのパフォーマンスモデルを構築することで、光電画像処理システムを設計するのに使用可能である。(ある範囲の対象物距離dにわたる処理に関する)被写界深度を増やすことが設計目標であるような例を考察する。カラー画像処理の場合、数式４の３色バージョンは次式により与えられる：
ここで、Hi(θ，d)の項は異なるカラーチャネルに関するサンプルされたポイントスプレッド関数を表現し、光学設計パラメータθ及びオブジェクト距離dの関数である。ｎの項は標準偏差σを伴う加法性ガウシンアンノイズを表す。ウィーナーフィルタのMSEは次式で表現可能であり、
Tr[]はトレース演算子である。
MSEは設計パラメータθ、(Hを介して関連する)オブジェクト距離d及び信号相関行列CS全ての関数であることを、数式８は表現している。色相関が数式６で表現されるならば、カラーチャネル間の相関は増加し、1/σ2HTH＋C-1の項はより良い条件となり、改善されたMSE特性をもたらす。
数式８で予測されるMSE表現は、設計変数θ関してMSEを最適化することで、電光画像処理システムのエンドトゥエンド設計に使用可能である。例として、画像処理システムの深度を拡張する設計を考察する。所望の被写界深度範囲が±δであるとする。次式は或る適切なペナルティ関数を表す：
ここで、diはiで指定される被写界深度の範囲内の様々な距離を表す。即ち、ペナルティ関数は所望の被写界深度(±δ)内の様々なオブジェクト距離diにおけるMSEの総和である。代替例の場合、その総和は重み付け加算値でもよいし、或いはオブジェクト距離diは所望の重みを反映するようにサンプリングされた非一様性でもよい。
本方法を使用し、色収差に起因する軸上色分離と共に色相関情報のバランスをとることで、被写界深度を増やすことができる。１つの画像面で３つ全ての波長の焦点を結ぼうとするのではなく、様々な波長が軸方向に隔たった画像面で焦点を結ぶ。そして、画像処理は最良のコントラストと共に色チャネルを見出し、その情報を、強い色相関情報を使って他のカラーチャネルにも拡張する。こうして、画像処理システムの被写界深度は、空間的な分解能を犠牲にせずに改善される。以下、色相関を画像再構築に適用する例を更に詳細に説明する。
図４に示される例を考察する。図４ａは、従来の色補正システムの画像面を示す。この図の場合、460は光軸であり、矢印及び線465はシステムの公称画像面を表す。３つのカラーチャネルが存在し、その各々は四角形470R，470G及び470Bで表現されている。図４ａの場合、３つの四角形470は重なっている。四角形470の各々はカラーチャネルに関する「画像ボリューム(image volume)」を表す。言い換えれば、ディテクタサブシステム120のアクティブ領域はその画像ボリューム(画像サイズ)の中に位置し、ディテクタサブシステムは許容可能な品質でカラーチャネルを画像処理する必要がある。従来の色補正システムの場合、赤のチャネルが公称値的に特定の画像面で焦点を結び、その画像面の公称位置からの許容可能な逸脱が四角形の画像ボリューム470Rとなる。四角形の画像ボリューム470Rの前方に向いた又は後方に向いたセンサは、僅かにぼけた画像を捕捉するであろうが、それらは許容可能な値の範囲内にある。同様な状況が緑及び青のチャネルについて生じる。更に、軸上色収差を最小化することが目標なので、３つ全てのチャネルは理想的には同じ画像距離で焦点を結ぶ。その結果、３つの四角形の画像ボリューム470は、図４ａに示されるようにかなり重複している。
図４ｂ及び４ｃは、システムの全体的な画像ボリュームを拡張するように色相関を使用する例を示す。異なるカラーチャネルは相関を有するので、ディテクタ全体にわたって全てのチャネルが鮮鋭に焦点を結んでいることは必須でない。焦点のずれているチャネルは、その色相関情報と共に、焦点の合っている他のチャネルを使って補償可能である。その結果、図４ｂ，４ｃでは、３つのカラーチャネルの画像面が分かれており、対応する画像ボリューム470は実質的に重なっていない。
図４ｂの場合、３つの画像ボリューム470は一般に四角形の形であるが、軸方向に互いにずれている。所与の何らかの画像距離において、あるチャネルの焦点はずれているが(このずれは色相関によって補償される)、少なくとも１つのカラーチャネルは、より大きな範囲の画像距離にわたって焦点を結ぶことを意味する。全体的なシステムについての実効的な画像ボリュームは、３つ全てのカラーチャネルに対する集合的な画像ボリュームである。このより大きな画像ボリュームは、(1)ディテクタの位置に関してより多くのトレランスを備えていること、或いは等価的に、(2)そのシステムが所与のセンサ位置について同じF/#を伴う等価的な単色システム(又は、色補正された多色システム)と比較して更に多くの被写界深度を有することを意味する。
例えば、以下のようにして多色画像処理システムの「クロマティック被写界深度比率(chromatic depth of focus ratio)」を定義することで、本実施例の作用効果を定量化できる。少なくとも60％の相対感度で検出される最小波長をλminとする(他の閾値が使用されてもよい。)。少なくとも60％の相対感度で検出される最大波長をλmaxとする。図１５は複数のカラーチャネル(RGB)の画像処理システムのスペクトル応答の代表例を示す。この例の場合、λminは約440nmであり、λmaxは約660nmである。λmin及びλmaxの間の全ての波長が少なくとも60%の相対感度を有する。近軸後方焦点距離は波長の関数であり、BFL(λ)で示される。重複した画像ボリュームを「分散させる(spreading out)」この効果の１つの測定値は、次式の後方焦点距離の範囲であり：
ΔBFL＝max{BFL}−min{BFL} (10)
ここで、max及びminは波長範囲λmin乃至λmaxにわたって取得される。多くの場合(例えば、図４の場合)、後方焦点距離の範囲は、
ΔBFL＝BFL(λmax)−BFL(λmin) (11)
であり、max{BFL}はλmaxで生じ、min{BFL}はλminで生じる。
更に、特定の波長における回折限界被写界深度(diffraction limited depth of focus)は、2λ(FN)2であり、FNはその波長におけるF/#である。FNは波長と共に変化することに留意を要する。従来のシステムの場合(例えば、図４ａに示されるシステムの場合)、光システムを設計する目的は、ΔBFLが2λ(FN)2を或る定数倍したものを越えないようにすることである。こうして、全ての後方焦点距離が、回折限界被写界深度の範囲内に該当することになる。分散の作用は正反対に向かうことを求める。この定量化は、被写界深度測定値2λ(FN)2でΔBFLを分割することで規格化可能である。様々な被写界深度が使用可能である：その波長範囲にわたる2λ(FN)2の平均値、平均波長における2λ(FN)2の値、最大値、最小値等である。図４の場合、開口サイズは全ての波長について同じであり、2λ(FN)2の最小値はλminで生じることを想定している(λ及びFNは共にλminで最小になるからである。)。この方法を用いると、規格化された量が得られる：
{BFL(λmax)−BFL(λmin)}／{2λmin[FN(λmin)]2} (12)
この量はクロマティック被写界深度比率(CDOFR)としてしばしば言及される。或る実施例では、CDOFR＞5である。
本方法の他の変形例は分散の影響を定量化するのに使用可能である。例えば、関心のある波長範囲が様々な閾値によって規定され、例えば50％，60％，70％，80％により半値全幅(FWHM: Full Width Half Max)を規定し、或いはスペクトル応答における主要なピーク間の最低値「谷間」に等しい閾値が使用されてもよい。相対感度の代わりに絶対感度で値が規定されてもよい。他の形態の場合、max−min以外の、画像ボリュームの分散を表す様々な測定値が使用可能である。上述したように、規格化された量が使用される場合、2λ(FN)2の最小値以外の規格化因子が使用されてもよい。最後に、説明された条件は＞５でなくてもよい。他の最小数又は数値範囲が使用されてもよい(例えば、＞２)。
簡便化のため、特定のCDOFRが次のように規定される。相対的なスペクトル応答の半値全幅によって波長範囲が決められる。画像ボリュームの分散性又は拡散率は数式(12)で規定され、その量は最小波長λminにおける2λ(FN)2により規格化される。この特定の量は、半値全幅クロマティック被写界深度比率(FWHM CDOFR)として言及される。代替的に、場合によっては、CDOFRが或る波長範囲にわたって言及され、或いは最小及び最大の波長に関して言及される。これらの場合、CDOFRは数式(12)及び適用可能な最小の及び最大の波長を用いて評価されるように意図される。
図４ｃでは、画像ボリューム470が実質的に平坦でない前面及び後面を有する。(平坦でないというよりは)むしろそれらは湾曲している。例えば、像面湾曲の補正に関する従来の制約が緩和される場合に、このような状況が可能になる。図示のディテクタ位置465の場合、ディテクタのアクティブ領域全体にわたって焦点の合っている１つのカラーチャネルがあるわけではない。むしろ異なるカラーチャネルがアクティブ領域の異なる位置にわたって焦点を結んでいる。青のチャネル画像は光軸中心の円形空間領域にわたって最良に焦点を結び、緑のチャネル画像は青の最良の焦点領域を囲む環状領域にわたり、赤のチャネル画像はアクティブセンサ領域の周辺の環状領域にわたる。
センサにおけるカラーフィルタ配列(CFA: Color Filter Arrary)パターンは、光サブシステムのこの特性の利点を利用できる。例えば、そのような光サブシステムを使用する固定焦点の画像処理システムを設計する場合、光軸近辺の画素は、高密度の青いフィルタを有し、その中心領域周囲の環状領域で高密度の緑のフィルタを有し、センサフィールド端に高密度の赤のフィルタを有する。より一般的には、ディテクタサブシステム内の様々な画素は様々なカラーチャネルに敏感であり、これらの色固有の画素の密度(濃度)は、どのカラーチャネルが相対的に焦点を結ぶかに依存して設計することができる。また、水平又は垂直方向の相対的な密度は、レンズ系の波長固有の特性の関数として画像フィールド上で異なってもよい。
「焦点を結ぶ又は焦点が合っている(in-focus)」は相対的な用語であり、所与の捕捉画像は後続の画像処理によって更に鮮明にされてもよいこと、図４ｂ，４ｃで捕捉された「焦点の合っている」カラーチャネル画像は、図４ａの「焦点の合っている」画像よりも多くの不鮮明さに対する耐性を有することに留意を要する。
＜具体例１：ウェブカメラ＞
一例として、ウェブカメラ画像処理システムの一般的な設計条件を満たす三重レンズシステム(triplet lens system)を考察する。このシステム例に対する条件は、F/3.0又はより高速であること、f=4.6mm、視野角40度、3.5ミクロンピッチの画素を備えた1/4”センサ(即ち、3.5ミクロン／4.6mm＝0.75mrad角度分解能)、第１レンズ面からセンサまでのトラック全長が7mm未満であること(即ち、全長＜1.5x焦点距離)、歪が5%未満であること(＜5%)等である。このシステムは図15に示されるスペクトル応答を有するディテクタ用に設計される。
図５−９は従来の色補正三重レンズ系と上記の方法を用いて設計された三重レンズ系とを比較している。図５は軸色(axial color)について補正された従来の三重レンズ系を示す３つ全ての波長(λ＝0.48，0.55，0.62μm)は或る１つの画像面で焦点を結ぶ(図４ａも参照されたい。)。物理的レイアウトは図５ａに示されている。最適化された設計は、トラック長7.0mmのF/3.0レンズ系であり、第３レンズ要素として１つのプラスチック非球面を含む。全体的な最適化(グローバルオプティマイゼーション)は最良の解を得るためにガラスタイプを変更する。図５ｂは50(lp/mm)空間周波数の場合のMTFを画像面付近のシフトの関数として示す。図５ｂにはX(Y)の形式でラベルの付された６つの曲線があり、Xは波長を示すR，G又はBであり、Yは縦又は横を示すT(tangential)又はS(sagittal)である。３つ全ての波長はMTFコントラストを示し、公称画像面から離れるにつれて焦点がぼけることに起因して急速に落ち込んでいることに留意を要する。このシステムのクロマティック被写界深度比率(この波長範囲に関して上述の60%の定義を使用している)は3.5である。
図６は数式９の予測MSEメリット関数を使用して設計されたシステムを示し、この場合にカラーチャネル間で完全な色相関のあることが仮定されている。100mm乃至無限遠にある対象の被写界深度に対応する±100μmの画像距離にわたって、メリット関数はMSEを最適化した。同じ場所で焦点を結ぶように全ての波長をもってゆく従来の設計条件を緩和することで、発明者等は図６に示されるような設計を案出できた。本設計は、より短いトラック長を有し、且つより大きな集光力(F/2.4)を有する。本システムに対応するクロマティック被写界深度比率は15.8である。光学的な諸元は次の通りである。
表１：三重レンズ系の光学的諸元
図６ｂのMTF曲線を見ると、様々なカラーチャネルが様々な画像距離で焦点を結んでいることが分かる。図５ｂと同様に、R，G及びBは、MTFが赤、緑又は青のカラーチャネルの中心波長に関するものであること、(T)又は(S)は縦又は横の面であることを示す。光サブシステムは全ての光学要素について「フリント(flint)」タイプのガラスを使用することで図示の状況を実現する。この例で使用されている全てのレンズ材料は、40より少ないアッベ数を有する。これらの分散性の非常に高い材料は、軸上色収差を誇張する。しかしながら、少なくとも１つのカラーチャネルが、所望の被写界深度を超えて強いコントラストをもたらす。以下で説明されるように、画像処理サブシステムはこの情報を使って他の不鮮明なチャネルを補償することができる。１つのカラーフィルタアレイ、複数のカラーフィルタ又は複数のディテクタを使用することで、ディテクタサブシステムは２以上の(目下の場合は３つの)カラーチャネル画像を別々に捕捉することができる。
この影響を調べる別の方法は、これら２つのレンズに関する近軸像面湾曲(paraxial field curvature)を調べることである。図５ｃ及び６ｃは、カラーチャネルを示すR，G，B及び縦又は横を示すT，Sと共に、これら２つの異なるレンズ系についての像面湾曲をプロットしている。３つ全てのカラー画像面をほぼ焦点に結ぶことで、従来の設計(図５ｃ)は非点収差(astigmatism)の影響を被っていることが分かる。しかしながら本願の新規な設計(図６ｃ)は、３つ個々の画像面が減少した非点収差しか伴わないことを示す。言い換えれば、従来の設計目標を緩和することで、光学設計は更に簡易になる。
図７及び８は、従来システム及び色相関画像処理システム双方の場合についてシミュレートされたテキスト画像の比較例である。これらの例の場合、対象物は100mmの対象物距離に固定され、センサの位置は可変である。図７ａ，７ｂは従来の三重レンズ系についてシミュレートされた画像を示し、センサは、100mmの位置にある対象物に対する公称画像面に設けられ(図７ａ)、その後に10.0mの位置にある対象物に対する公称画像面に設けられる(図７ｂ)。図８ａ，８ｂは図５の色相関レンズ系について同様な状況を示し、システムは10.0mの位置にある対象物に対して青の波長で焦点を結んでいる。これらの例は、固定位置のセンサ及び可変の対象物距離を伴う場合と同様な焦点ズレの影響を示す。従来の三重レンズ系が焦点を結んでいる場合(図７ａ)、画像品質は高い。しかしながら三重レンズ系が焦点からずれると(図７ｂ)、シミュレートされた画像は３色チャネル全ての場合について極端に不鮮明になってしまう。
これに対して、図８ａ，８ｂは色相関三重レンズ系に対する図を示す。100mmの青の対象物距離に対応する画像面にディテクタが設けられていた場合(図８ａ)、青のチャネルは焦点を結んでいるが赤のチャネルの画像はぼけている。10.0mmの青の対象物距離に対応する画像面にディテクタが設けられていた場合(図８ｂ)、赤のチャネルは焦点を結んでいるが青のチャネルはぼけている。しかしながら、(例えば青以外の)他のチャネルが焦点を結んでいる場合であって、異なるチャネル間に色相関のある場合、画像処理システムは青のカラーチャネル画像を補正できる。
図９は、カラーチャネル間の相関に少なくとも部分的に基づいて、カラーチャネル画像を組み合わせる方法例を示すフローチャートである。図９の場合、画像処理サブシステムは、捕捉したカラーチャネル画像から対象物距離dを少なくとも推定する910。場合によっては、画像処理サブシステムは対象物距離dを明示的に推定してもよい。或いは、様々なカラーチャネル画像の相対的な鮮明さのような関連する量を計算してもよい。１つの方法では、画像処理サブシステムはどのチャネルが焦点を結んでいるかを検出する。この三重レンズ系の場合、焦点の合っているカラーチャネルを検出するのにラプラシアンエッジ検出フィルタが良好に機能するであろう。三重レンズ系の場合、多数の回転対称なバンドパスフィルタが、個々のカラーチャネル画像の鮮明さを捕らえる。２つ又はそれより多くのカラーチャネル(目下の場合は３つ)の鮮明さの値(相対的な鮮明さの値)の比率は、対象物深度を推定する際の情報を提供する。
様々なカラーチャネル画像の相対的な鮮明さを確認した後(その鮮明さから、画像処理サブシステムは対象物距離を推定できる)、色相関情報を用いてグレースケール画像が保存可能になる。あるアプローチの場合、dを推定することは、画像処理システムが推定された深度情報を使用して、カラーチャネル各々について数式７のポイントスプレッド関数Hi(θ，d)を決定可能にする920。これにより、画像処理サブシステムは、カラーチャネルに対応する色固有のMTFに基づいてカラーチャネル画像を選別(フィルタリング)することができる930。例えば、複数チャネルのウィーナーフィルタは複数の画像を組み合わせるのに使用可能である。
あるアプローチの場合、対象物距離dは可能な深度に関して以下のコスト関数を最大化することで推定される：
深度dが推定されると、再構成された画像は次式で計算できる：
この処理は、３次元深度マップ及び高コントラスト画像を得るために、画像フィールドに亘って空間的に変化する形式に適用されてもよい。
図１０ａ，１０ｂは、図８ａ，８ｂに関連して最も焦点の合っているカラーチャネルを選択して復元した後の画像結果を示す。
＜具体例２：拡張された被写界深度−二重レンズ系＞
別の例として、VGAセルラ電話システムの以下の一般的な設計仕様に従う設計例をカラー相関に基づいて考察する：F/2.8又はより高速、f=2.4mm、60度の視野角、3.5ミクロンピッチの1/6”センサ、ベイヤパターン(Bayer pattern)の場合に図15に示されるスペクトル応答を有するRGBセンサ。その結果のレンズのクロマティック被写界深度比率は11.9である(その波長範囲について上記の60％の定義を使用している)。その結果のレンズは図１１ａに示され、以下の光学的諸元を有する。
表２：二重レンズ系の光学的諸元
一般的な設計は２つのポリカーボネート非球面プラスチックレンズを含む。BSC7要素はセンサ配列に対するカバープレーンである。典型的なセルラ電話画像処理システムの場合、色収差は、分散性の低いプラスチック(PMMAやCOC等)から第１レンズを作成することで補正される。本実施例の場合、分散性の高いポリカーボネートプラスチックを使用して、被写界深度を拡張する。レンズは±30度の視野角を有し、僅か4.1mmのトラック全長を有する。これは非常に高速なF/2.3を達成する。色及び幾何学的収差双方に対する厳しい条件に起因して、従来のシステムでこれらの仕様を満足することは非常に困難である。この設計例は90mmから無限遠の範囲内に対象物がある場合の被写界深度について最適化されている。図１１ｂは±0.12μmの焦点範囲にわたる特性を示す。
本二重レンズ系は、従来とは異なり、色相関を使って収差の条件を緩和することで上記の設計仕様を達成する。例えば、このように短いトラック全長にすることは、図１１ｃに示される像面湾曲により示されるように、著しい像面湾曲収差を招く。これは、画像の様々な半径領域が様々なカラーチャネルで焦点を結ぶという興味深い作用効果をもたらす。例えば、右下の像面湾曲は、無限遠にある対象物が青のチャネルの場合に光軸近辺で焦点を結び、赤のチャネルの場合にはフィールドの端で焦点の合うことを示す(図４ｃも参照されたい)。上述したように(図４ｃ)、この現象は、フォトディテクタのカラーフィルタパターンを焦点の合っているカラーチャネル領域に合わせることで、非常に効果的な定焦点グレースケール画像処理システムを設計するのに使用可能である。
＜具体例３：拡張された被写界深度−単レンズ系＞
次の例として、単独のポリカーボネート非球面プラスチックレンズに上記の概念を適用する。レンズは、3.5ミクロン画素の1/6”RGBセンサを使用し、±0.30度の視野角で3.8mmのトラック全長と共にF/3.0を達成する。焦点距離は2.6mmである。レンズ系は100mm乃至無限遠の範囲に及ぶ被写界深度のグレースケール画像処理を実行できる。本システムは図15に示されるスペクトル応答を有するRGBディテクタサブシステムについて設計されている。本システムは波長範囲について上記の60％の定義を使用し、7.6のクロマティック被写界深度比率を有する。図１２ａは単レンズ系(siglet)を示し、以下の光学的諸元を有する。
表３：単レンズ系の光学的諸元
シングル画像処理システムは、色相関を利用することで、上記のような従来ならば達成困難な設計条件を達成できる。図１２ｂは、画像距離の関数としてMTFコントラストをプロットしており、どのカラーチャネルも如何なる画像距離でも完全に焦点を結んではいないことを示す。その代わり、１対のカラーチャネルについて縦又は横向きに焦点が合っている。色相関を利用すると、複数のカラーチャネルにわたって様々な方向固有のコントラストを組み合わせることで、画像処理システムの著しい非点収差を許容できる。
図１３ａはカメラから100mmの位置におけるシミュレートされた画像の例を示す。上位の画像はシミュレートされ捕捉されたカラー画像を示す。赤のチャネル画像はX方向(tangential)に焦点を結んでいるが、青のチャネル画像はY方向(sagittal)に焦点を結んでいる。図１３ｂ，１３ｃは２つの異なるカラーチャネルに関するポイントスプレッド関数を示す。PSF画像は光学系で見られる強い非球面収差を示す。
あるアプローチの場合、角度方向バンドパスフィルタ(例えば、エッジフィルタ)が、カラーチャネル及び最良の焦点方向の双方を推定するのに使用される。これらのフィルタの出力に基づいて、画像処理システムは対象物深度(object depth)を推定することができ、その対象物深度は３つのカラーチャネルにわたる画像コントラストの相対強度及び方向に基づく。深度を推定した後、画像処理システムは、最良のコントラストを伴う画像の色の部分及び方向を組み合せ、高品質のグレースケール画像を用意する。
＜具体例４：ディテクタを統合して拡張された被写界深度＞
図１４はカラー相関情報を考慮する代替方法を示す。この方法の場合、光サブシステムは、上述の例のように、様々な波長の画像面を分離するように設計される。その場合、青のカラー画像は焦点を結ぶかもしれないが、赤及び緑のカラー画像は焦点を結ばないかもしれない。しかしながら、ディテクタサブシステムは分離した赤、緑及び青のカラー画像を捕捉しない。その代わり、ディテクタサブシステムは、様々なカラーチャネルにわたって統合する際それらに応じた重みで統合することで、１つの多色画像−「ポリクロマティック(polychromatic)」画像を捕捉する。図１４はディテクタの１つの可能なスペクトル感度を示す。スペクトル重みを考量することで、特定の波長又はカラーチャネルについてのMTFがたとえゼロ以下になったとしても、多色MTF(即ち、全ての波長にわたって統合された集合的なMTF)はゼロより大きく維持できる。
一例として図14の場合、650nm近辺の波長は特定の空間周波数でゼロより低いMTFを有するけれども(例えば、それらの波長が焦点を結んでいないことに起因する)、500nm近辺の波長は同じ空間周波数でゼロより十分に大きく、650nm及び500nmにおける画像は強く相関する場合、500nm近辺の強いMTFは、650nm近辺のゼロ以下のMTFを補償するのに使用可能である。このようなことを、ディテクタサブシステムは、幅広いスペクトルにわたって効率的に統合する応答を作成することで行う。
ある特定の例の場合、対象は全てのカラーチャネルが強く相関するようなグレースケール対象物である。光サブシステムは画像面を分離するように設計され、残留像面湾曲(図４ｃ)を有する。その結果、より短い波長はディテクタアレイ中心に向かってより多く焦点を結び、より長い波長はディテクタアレイの端に向かってより多く焦点を結ぶ。ディテクタアレイのスペクトル感度が中心方向にはより短い波長でより強くなり、端に向かう方向にはより長い波長でより強くなるように、ディテクタアレイは設計される。例えば、他では幅広いスペクトル応答を有するディテクタ画素と共に様々なカラーフィルタが使用可能である。
クロマティック被写界深度比率は様々な方法で向上させることができる。１つの方法は、その比率を増やすように、正の倍率のレンズ要素で低いアッベ数の材料を使用することで、ガラス又はプラスチックタイプが選択される。複数レンズ系に全てクラウンガラスを使用することで、クロマティック被写界深度比率を増やしてもよい。更に、回折光要素を利用することで、それらの高い色感度に起因してクロマティック被写界深度比率を著しく増やしてもよい。
詳細な説明は多くの具体的詳細を含んでいるが、本発明の範囲を限定するように解釈すべきではなく、それらは本発明の様々な実施例及び形態を示すに過ぎない。本発明の範囲は、上記で詳細には議論されていない他の実施例も含むことが、理解されるべきである。例えば、「カラー」なる用語は視覚可能なものや、赤、緑及び青のカラーチャネルに限定されるようには意図されていない。カラーチャネル及びカラーチャネル画像は、スペクトルの他の部分、例えば赤外領域を占めてもよい。他の変形例は、別のカラーチャネル数及びカラーチャネル画像数を使用してもよい(例えば、２以上でもよい)。当業者に明らかな様々な他の修正例、変形例及び変更例が、添付の特許請求の範囲に記載されている本発明の範囲及び精神から逸脱せずに、開示された本発明による方法及び装置の配置、処理及び詳細についてなされてもよい。従って本発明の範囲は添付の特許請求の範囲及び法的な均等物によって決められるべきである。
電光画像処理システム設計の問題点を説明するためのブロック図。 電光画像処理システムを設計する本発明による方法例を示すフローチャート。 電光画像処理システムのモデルを示すブロック図。 従来の色補正画像処理システムにおける赤、緑及び青の画像面を示す従来例の図。 本発明の色補正画像処理システムにおける赤、緑及び青の画像面を示す図。 本発明の色補正画像処理システムにおける赤、緑及び青の画像面を示す図。 セルラ電話に使用するのに適した従来の三重レンズ系用の物理レイアウトを示す図。 セルラ電話に使用するのに適した従来の三重レンズ系用のＭＴＦを示す図。 セルラ電話に使用するのに適した従来の三重レンズ系用の近軸像面湾曲を示す図。 セルラ電話に使用するのに適した本発明による三重レンズ系用の物理レイアウトを示す図。 セルラ電話に使用するのに適した本発明による三重レンズ系用のＭＴＦを示す図。 セルラ電話に使用するのに適した本発明による三重レンズ系用の近軸像面湾曲を示す図。 図５の従来の画像処理システムで捕捉されたシミュレーションテキストを示す図。 図６の色補正画像処理システムで捕捉されたシミュレーションテキストを示す図。 カラーチャネル画像を組み合わせる本発明による方法例を示すフローチャート。 ディジタル画像処理サブシステムによる先鋭化の後の図８ａ−８ｂの画像に対応するシミュレーションテキストを示す図。 セルラ電話に使用するのに適した本発明による二重レンズ系用の物理レイアウトを示す図。 セルラ電話に使用するのに適した本発明による二重レンズ系用のＭＴＦを示す図。 セルラ電話に使用するのに適した本発明による二重レンズ系用の近軸像面湾曲を示す図。 本発明による単独レンズ系用の物理レイアウトを示す図。 本発明による単独レンズ系用のＭＴＦを示す図。 本発明による単独レンズ系用の近軸像面湾曲を示す図。 図１２の単独レンズ系に関するシミュレーションテキスト、そのテキストの青及び赤のチャネルに関するポイントスプレッド関数をそれぞれ示す図。 ディテクタサブシステムのスペクトル応答を示すグラフ。 複数のカラーチャネルディテクタサブシステムのスペクトル応答を示すグラフ。
符号の説明
１００ 画像処理システム
１１０ 光サブシステム
１２０ ディテクタサブシステム
１３０ ディジタル画像処理システム
１５０ 対象
１５５ 理想的なディジタル画像
１７０ コスト
１８０ ディジタル画像
１９０ パフォーマンスメトリック

Claims (17)

  1. 少なくとも２つの波長の異なる複数のチャネルで相関のある対象を画像処理して拡大した被写界深度を示すディジタル画像を得る画像処理システムであって、
    前記画像処理の対象となる光画像を生成する光学系を含む光サブシステムと、
    前記光サブシステムから一定の画像距離に位置し、前記複数のチャネル各々において前記光画像をセンサ面上で捕捉するディテクタサブシステムと、
    前記ディテクタサブシステムによって捕捉された前記光画像について画像処理を行うディジタル画像処理サブシステムと、
    を有し、前記センサ面上の各々の位置において、光画像が焦点を結ぶチャネルと光画像が焦点を結ばないチャネルとが存在し、
    前記ディジタル画像処理サブシステムは、前記焦点を結ぶチャネルと前記焦点を結ばないチャネルとの間の先験的な相関値に基づいて前記画像処理を行うことにより、前記焦点を結ばないチャネルのディジタル画像を生成する、画像処理システム。
  2. 前記光サブシステムが、前記波長の異なる複数のチャネルにわたって２より大きい半値全幅クロマティック被写界深度比率を有する請求項１記載の画像処理システム。
  3. 前記ディジタル画像処理サブシステムは、少なくとも、捕捉した光画像から前記対象の距離を推定し、前記光画像及び前記対象の距離に基づいて鮮鋭化フィルタを用いてカラー画像を組み合わせる請求項１記載の画像処理システム。
  4. 前記ディジタル画像処理サブシステムは、角度方向バンドパスフィルタを前記光画像に適用し、前記対象の距離を推定する請求項３記載の画像処理システム。
  5. 前記ディジタル画像処理サブシステムは、回転対称バンドパスフィルタを前記光画像に適用し、前記対象の距離を推定する請求項３記載の画像処理システム。
  6. 前記光画像が焦点を結ぶ画像面が非平面である請求項１記載の画像処理システム。
  7. 前記画像面が湾曲した面を形成している請求項６記載の画像処理システム。
  8. 前記対象が所与の距離だけ離れていた場合に、前記複数のチャネルの１つが前記ディテクタサブシステムのアクティブ領域の第１の中心部分にわたって最良の焦点を結び、波長の異なるチャネルが前記アクティブ領域の別の環状部分にわたって最良の焦点を結んでいる請求項６記載の画像処理システム。
  9. 前記対象が所与の距離だけ離れていた場合に、前記複数のチャネルの１つが前記ディテクタサブシステムのアクティブ領域の第１の部分にわたって最良の焦点を結び、波長の異なるチャネルが前記アクティブ領域の別の部分にわたって最良の焦点を結んでいる請求項６記載の画像処理システム。
  10. 前記アクティブ領域が色固有の画素を有し、色固有の画素各々は前記複数のチャネルの何れかに対して相対的に強い感度を有し、前記アクティブ領域の一部分における波長の異なるチャネルについての色固有の画素の濃度は、前記アクティブ領域の該一部分でどのチャネルが最良の焦点を結ぶかに依存する請求項９記載の画像処理システム。
  11. 或るチャネルが最良の焦点を結ぶ前記アクティブ領域の該部分では、該チャネルに対応する色固有の画素が最高の濃度を有する請求項１記載の画像処理システム。
  12. 前記ディテクタサブシステムが、前記対象の３つのカラーチャネル画像を捕捉する請求項１記載の画像処理システム。
  13. 前記３つのカラーチャネル画像は、赤のカラー画像、緑のカラー画像及び青のカラー画像である請求項１２記載の画像処理システム。
  14. 前記複数のチャネルのうち少なくとも１つのチャネルの画像が、赤外カラーチャネル画像である請求項１記載の画像処理システム。
  15. 前記ディテクタサブシステムのナイキスト周波数より低い全ての空間周波数について、前記複数のチャネル全てについての色固有のMTFはゼロより大きいままである請求項１記載の画像処理システム。
  16. 前記ディテクタサブシステムのナイキスト周波数より低い全ての空間周波数について、前記複数のチャネルのうち少なくとも１つについての色固有のMTFはゼロより大きいままである請求項１記載の画像処理システム。
  17. 前記光サブシステムが回折光学素子を有する請求項１記載の画像処理システム。
JP2008308000A 2007-12-03 2008-12-02 画像処理システム Expired - Fee Related JP5251462B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/999,101 US8149319B2 (en) 2007-12-03 2007-12-03 End-to-end design of electro-optic imaging systems for color-correlated objects
US11/999,101 2007-12-03

Publications (2)

Publication Number Publication Date
JP2009140496A JP2009140496A (ja) 2009-06-25
JP5251462B2 true JP5251462B2 (ja) 2013-07-31

Family

ID=40352297

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008308000A Expired - Fee Related JP5251462B2 (ja) 2007-12-03 2008-12-02 画像処理システム

Country Status (3)

Country Link
US (1) US8149319B2 (ja)
EP (1) EP2068546B1 (ja)
JP (1) JP5251462B2 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070081224A1 (en) * 2005-10-07 2007-04-12 Robinson M D Joint optics and image processing adjustment of electro-optic imaging systems
AU2008240144A1 (en) 2007-04-11 2008-10-23 Red.Com, Inc. Video camera
US8237830B2 (en) 2007-04-11 2012-08-07 Red.Com, Inc. Video camera
US8310587B2 (en) * 2007-12-04 2012-11-13 DigitalOptics Corporation International Compact camera optics
JP5132401B2 (ja) * 2008-04-16 2013-01-30 キヤノン株式会社 画像処理装置及び画像処理方法
US8135233B2 (en) * 2008-05-22 2012-03-13 Aptina Imaging Corporation Method and apparatus for the restoration of degraded multi-channel images
JP2010288150A (ja) * 2009-06-12 2010-12-24 Toshiba Corp 固体撮像装置
WO2011027536A1 (ja) * 2009-09-01 2011-03-10 オリンパス株式会社 光学装置、およびそれを用いた撮像装置、撮像システム
US8248511B2 (en) * 2009-09-30 2012-08-21 Ricoh Co., Ltd. Dual-mode extended depth-of-field imaging systems
JP5695080B2 (ja) 2009-12-16 2015-04-01 レッド．コム，インコーポレイテッド 圧縮画像データの解像度ベースのフォーマット
JP5528173B2 (ja) * 2010-03-31 2014-06-25 キヤノン株式会社 画像処理装置、撮像装置および画像処理プログラム
FR2959903B1 (fr) * 2010-05-04 2012-07-27 Astrium Sas Procede d'imagerie polychrome
JP5976676B2 (ja) * 2011-01-14 2016-08-24 ソニー株式会社 レンズ部の縦の色収差を利用したイメージングシステム及びその操作方法
WO2012132870A1 (ja) * 2011-03-31 2012-10-04 富士フイルム株式会社 焦点拡張光学系及びＥＤｏＦ撮像システム
DE102012106584B4 (de) 2012-07-20 2021-01-07 Carl Zeiss Ag Verfahren und Vorrichtung zur Bildrekonstruktion
FR2996925B1 (fr) * 2012-10-17 2017-06-16 Office Nat D Etudes Et De Rech Aerospatiales Procede de conception d'un imageur monovoie passif capable d'estimer la profondeur
US9521384B2 (en) 2013-02-14 2016-12-13 Red.Com, Inc. Green average subtraction in image data
JP6256132B2 (ja) 2014-03-14 2018-01-10 株式会社リコー 撮像システム
JP6202035B2 (ja) * 2015-04-07 2017-09-27 コニカミノルタ株式会社 画像検査装置及び画像形成装置
KR20180013379A (ko) * 2016-07-29 2018-02-07 삼성전자주식회사 옵티칼 렌즈 어셈블리 및 이를 포함한 전자 장치
US11019336B2 (en) 2017-07-05 2021-05-25 Red.Com, Llc Video image data processing in electronic devices

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4929071A (en) * 1985-12-20 1990-05-29 Lockheed Missiles & Space Company, Inc. Long-focus color-corrected petzval-type optical objective
US4870496A (en) * 1986-12-04 1989-09-26 James C. Wickstead Optical system for projecting an image onto a low resolution photodetector
US5033831A (en) * 1988-10-20 1991-07-23 Lockheed Missiles & Space Company, Inc. Color-corrected lens triplets with liquid lens elements
US4950041A (en) * 1989-07-13 1990-08-21 Lockheed Missiles & Space Company, Inc Lens systems comprising plastic and liquid lens elements
US5359185A (en) 1992-05-11 1994-10-25 Norand Corporation Chromatic ranging method and apparatus for reading optically readable information over a substantial range of distances
JPH06113309A (ja) 1992-09-28 1994-04-22 Sony Corp ディジタルビデオカメラ
JPH0882740A (ja) * 1994-09-12 1996-03-26 Olympus Optical Co Ltd 読取り用レンズ
WO1996024085A1 (en) 1995-02-03 1996-08-08 The Regents Of The University Of Colorado Extended depth of field optical systems
US6240219B1 (en) * 1996-12-11 2001-05-29 Itt Industries Inc. Apparatus and method for providing optical sensors with super resolution
JPH10311946A (ja) * 1997-05-12 1998-11-24 Olympus Optical Co Ltd トリプレットレンズ
JPH10319518A (ja) * 1997-05-21 1998-12-04 Konica Corp カラー画像形成装置
NO305728B1 (no) * 1997-11-14 1999-07-12 Reidar E Tangen Optoelektronisk kamera og fremgangsmÕte ved bildeformatering i samme
AU751280B2 (en) * 1997-12-12 2002-08-08 Applera Corporation Optical resonance analysis system
JP2000338385A (ja) 1999-05-28 2000-12-08 Ricoh Co Ltd 自動合焦装置およびその合焦方法
JP2001103358A (ja) * 1999-09-30 2001-04-13 Mitsubishi Electric Corp 色収差補正装置
JP4403477B2 (ja) * 2000-01-26 2010-01-27 ソニー株式会社 画像処理装置及び画像処理方法
US7248716B2 (en) * 2001-07-06 2007-07-24 Palantyr Research, Llc Imaging system, methodology, and applications employing reciprocal space optical design
JP4574913B2 (ja) * 2001-08-27 2010-11-04 富士フイルム株式会社 変倍機能を有する電子内視鏡装置
JP2005055746A (ja) * 2003-08-06 2005-03-03 Minolta Co Ltd 撮像装置、合焦制御方法、およびプログラム
EP1714231B1 (en) * 2004-01-23 2011-09-07 Intermec IP Corporation Autofocus barcode scanner and the like employing micro-fluidic lens
US7336430B2 (en) * 2004-09-03 2008-02-26 Micron Technology, Inc. Extended depth of field using a multi-focal length lens with a controlled range of spherical aberration and a centrally obscured aperture
FR2880958B1 (fr) 2005-01-19 2007-11-30 Dxo Labs Sa Procede d'amelioration de la nettete d'au moins une couleur d'une image numerique
US7224540B2 (en) 2005-01-31 2007-05-29 Datalogic Scanning, Inc. Extended depth of field imaging system using chromatic aberration
US7683950B2 (en) 2005-04-26 2010-03-23 Eastman Kodak Company Method and apparatus for correcting a channel dependent color aberration in a digital image
EP1889111A2 (en) * 2005-05-25 2008-02-20 Massachusetts Institute of Technology Multifocal imaging systems and methods
JP4945943B2 (ja) * 2005-07-14 2012-06-06 株式会社ニコン 画像処理装置
JP4812541B2 (ja) * 2006-02-21 2011-11-09 京セラ株式会社 撮像装置
JP2008140956A (ja) * 2006-12-01 2008-06-19 Canon Inc 露光装置
JP2009041968A (ja) * 2007-08-07 2009-02-26 Fujinon Corp 復元処理を前提としたレンズの評価方法および装置、評価用補正光学系

Also Published As

Publication number Publication date
EP2068546B1 (en) 2013-10-09
EP2068546A1 (en) 2009-06-10
JP2009140496A (ja) 2009-06-25
US8149319B2 (en) 2012-04-03
US20090141140A1 (en) 2009-06-04

Similar Documents

Publication Publication Date Title
JP5251462B2 (ja) 画像処理システム
Peng et al. Learned large field-of-view imaging with thin-plate optics.
JP5681954B2 (ja) 撮像装置及び撮像システム
JP4377404B2 (ja) 画像向上機能を備えたカメラ
JP5358039B1 (ja) 撮像装置
US8830351B2 (en) Image processing method and image processing apparatus for image restoration to reduce a detected color shift
US10460167B2 (en) Extended depth-of-field biometric system
US9225898B2 (en) Image pickup apparatus, image processing system, image pickup system, image processing method, and non-transitory computer-readable storage medium
JP5640612B2 (ja) 二重モードの拡張された被写界深度の結像システム
KR20110033816A (ko) 단일-렌즈 확장피사계심도 촬상시스템
KR101144375B1 (ko) 영상의 왜곡을 보정하는 방법 및 이러한 방법을 사용하는 장치
Kou et al. Integrated MPCAM: multi-PSF learning for large depth-of-field computational imaging
JP6578960B2 (ja) 撮像装置、撮像方法、撮像プログラム、およびその撮像プログラムを記録した記録媒体
Robinson et al. Joint digital-optical design of imaging systems for grayscale objects
JP5198052B2 (ja) 撮像装置および画像処理方法
JP6486076B2 (ja) 画像処理装置および画像処理方法
JP6554824B2 (ja) 焦点深度拡張結像光学系および撮像装置
JP2017118293A (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP6452389B2 (ja) 画像処理装置および画像処理方法
Wood et al. Computational imaging systems for the infrared: revolution or evolution
Robinson et al. New image processing challenges for jointly designed electro-optical imaging systems
WO2023227545A1 (en) Reconstructing an image from multiple images
JPWO2012127552A1 (ja) 画像処理装置、撮像装置及び画像処理方法
Stork Rewriting the rules of imaging design in the new era of electro-optics
Bakin Extended Depth of Field Technology in Camera Systems

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111006

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120830

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121009

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130319

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130401

R151 Written notification of patent or utility model registration

Ref document number: 5251462

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160426

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees