JP4133052B2 - デジタル撮像システム - Google Patents

デジタル撮像システム Download PDF

Info

Publication number
JP4133052B2
JP4133052B2 JP2002202143A JP2002202143A JP4133052B2 JP 4133052 B2 JP4133052 B2 JP 4133052B2 JP 2002202143 A JP2002202143 A JP 2002202143A JP 2002202143 A JP2002202143 A JP 2002202143A JP 4133052 B2 JP4133052 B2 JP 4133052B2
Authority
JP
Japan
Prior art keywords
image
color
illuminant
digital
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002202143A
Other languages
English (en)
Other versions
JP2003143612A (ja
JP2003143612A5 (ja
Inventor
パトリシア・ディー・ロペス
ロバート・イー・ソボル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HP Inc
Original Assignee
Hewlett Packard Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Co filed Critical Hewlett Packard Co
Publication of JP2003143612A publication Critical patent/JP2003143612A/ja
Publication of JP2003143612A5 publication Critical patent/JP2003143612A5/ja
Application granted granted Critical
Publication of JP4133052B2 publication Critical patent/JP4133052B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6083Colour correction or control controlled by factors external to the apparatus
    • H04N1/6086Colour correction or control controlled by factors external to the apparatus by scene illuminant, i.e. conditions at the time of picture capture, e.g. flash, optical filter used, evening, cloud, daylight, artificial lighting, white point measurement, colour temperature
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6083Colour correction or control controlled by factors external to the apparatus
    • H04N1/6088Colour correction or control controlled by factors external to the apparatus by viewing conditions, i.e. conditions at picture output

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Television Signal Processing For Recording (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、埋め込み型カメラのタグ情報を用いて画像の特徴を設定するシステムに関する。
【0002】
【従来の技術】
人間のサイコビジュアル・システム(psychovisual system;心理視覚システム)は、画像の照明特性に非常に適切に適合することができる。人間の観察者は、非常に様々な情景(scene)のイルミナント(illuminant)について特定の範囲の色を検出する。例えば、人間の観察者は、その情景を照明する光の色とは別に、対象物の色を正確に知覚する。対照的に、デジタルカメラのようなカラーデジタルシステムは、情景のイルミナントの色を不正確に推論することが多い。
【0003】
異なる照明条件の下で異なる背景を持つ対象物の色を人間の視覚システムが知覚する方法をモデル化するために、「色の見えモデル(color appearance model)」を使用することができる。このモデルは通常、1つの照明条件の下で観察される画像を調整して、異なる照明条件の下でも同じ色が観察されるようにするのに使用される。
【0004】
色の見えモデルは、装置に依存しないやり方で画像を格納する機能を達成するためのものである。例えば、撮像システムのコンピュータは画像を取得することができ、色の見えモデルは、その画像に関連する照明条件を使用して、その画像を内部表現に変換することができる。その画像がその後ディスプレイ画面またはプリンタ上に表示されるときには、その出力表示の照明条件に関する情報に基づいて、内部表現から、「色の見え」を再構築し、その内部表現を出力表示のための正しい表現に変換することができる。
【0005】
色の見えモデルは、画像処理の動作に対し、正確かつ適切な色の再現を提供するように指示するが、これは、適切なレベルの色恒常性(color constancy)を有するシステムにおいてのみ可能である。ある範囲のイルミナントを適切に補償するいくつかの色の見えモデルが提案されている。しかし、これらのモデルは、その情景のイルミナントの色が先験的にわかっていなければならないので(通常、この情報は入手可能でない)、デジタル写真およびその他の応用分野に使用することができない。
【0006】
デジタルカメラは、その情景の照明の色を測定すること、または画像データから照明元の色を推定することのいずれかによって、イルミナントを補償しなければならない。デジタル撮像システムでは、照明センサを使用することは実用的でない。
【0007】
色の見えモデルにかかわる問題の1つは、このモデルが通常、特定の情景についての色および照度の再現域(gamut)を適切にカバーしないマンセルカラーチップ(Munsell color chip)のような標準色またはスペクトル定義に基づくことである。例えば、デジタルカメラによって生成される画像の色および画像の特徴は、走査された画像の特徴と非常に異なることがある。様々なフィルム製造業者による伝統的な写真仕上げの技術は、その業者の営業活動戦略の一部であり、ある意味では会社を定義するシグニチャ(signature)またはスタイルを有する。カラフルさ、またはシャープさは、これらのスタイルのうちである。デジタルカメラによって実行される写真の仕上げもまた、固有のスタイルまたはシグニチャを有する。
【0008】
【発明が解決しようとする課題】
画像データのみから色恒常性を達成するための技術が必要とされている。さらに、実際の画像データおよび該画像データに関する情報を格納するデータベースを使用して、イルミナント検出トレーニング・アルゴリズムに基づく技術およびシステムが必要とされている。
【0009】
【課題を解決するための手段】
本発明の側面によれば、デジタル撮像システムは、実際の画像データおよび該実際の画像データに関する情報を含むデータベースを使用して、デジタル画像における照明および色を制御する、色の見え処理機能を含む。
【0010】
一実施形態において、デジタル撮像システムは、イルミナント検出トレーニング・アルゴリズムを含む相関による色技術(color-by-correlation technology)で、照明および色を制御する。ここで、イルミナント検出トレーニングは、デジタルカメラのような典型的な画像取得装置からの実際のイルミナント、情景(scene)、および題材(subject matter)を格納するデータベースに基づいて、照明および色を制御する。一例では、特定のカメラまたは一組のカメラのユーザにとって関心があると予測される様々なイルミナント、情景、および題材に対して、イルミナント検出トレーニングが正確に実行される。デジタル撮像システムは、イルミナント、色度(chromaticity)、色などを含む実際の画像データを提供することができるデータベースにアクセスする。データベースはまた、特定の画像を取得する画像取得装置を識別するタグ、画像取得装置の製造業者、モデルおよびバージョンに関する情報、および、取得時の画像取得装置の設定に関する情報、を含む実際の画像データに関連する情報を格納する。
【0011】
本発明の他の側面によれば、デジタル撮像システムは、イルミナント、色度、色などを含む実際の画像データを提供することができるデータベースにアクセスする。このデータベースはさらに、特定の画像を取得する画像取得装置を識別するタグ、画像取得装置の製造業者、モデルおよびバージョンに関する情報、および、取得時の画像取得装置の設定に関する情報、を含む実際の画像データに関連する情報を含む。デジタル撮像システムは、デジタルカメラ、スキャナなどの画像取得装置の設計および改良のために、その情報を使用する。データベースは、製造業者およびモデルにしたがってデータベースに格納されたデジタル画像を選別する製造業者タグおよびモデルタグなどのタグを含む。データベースはまた、製造業者およびモデル情報タグ、焦点距離、シャッタ・スピード、開口などを含む画像データタグ、を含む付加的なプライベート画像タグ情報を格納する。画像取得装置は、その装置によって作成された画像が取得されデータベースに格納されるとき、追加の情報を導き出すためのタグを生成する。
【0012】
新規であると考えられるここに述べる実施形態の特徴は、特許請求の範囲において具体的に記述される。しかし、構造および動作方法の両方に関連する本発明の諸実施形態は、次の説明および図面を参照することによって最もよく理解することができよう。
【0013】
【発明の実施の形態】
図1を参照すると、RBGの三刺激値から、人間のサイコビジュアル・システムに知覚可能な属性に変換するのに使用することのできる色の見えモデル100を例示する概略的なフローチャートが示されている。同様に、知覚属性を三刺激値に変換し戻すことができる。デジタル撮像システム100は、入力および出力の両方の観察条件を考慮するよう画像データの処理および表示を制御して、装置および観察条件から独立した色の特徴を格納し表示することができる。柔軟な色の制御により、色処理全体について、ある範囲のアルゴリズムおよび処理が可能になる。RGB三刺激入力値110は色の見えモデル100に適用され、順方向色の見えモデル112を使用して知覚属性120に変換され、逆方向色の見えモデル150を使用して三刺激出力値160に変換し戻される。
【0014】
順方向色の見えモデル112は、情景属性118および観察条件タグ119を含む格納された画像データおよび情報を使用して、白色点推定114および観察条件推定116が動作することを含む。
【0015】
例示的な一実施形態では、順方向色の見えモデル112および逆方向色の見えモデル150は、実際の画像データを含む情景属性118および観察条件タグ119のデータベースを使用する色の見え処理機能を含む。データベースはさらに、デジタル画像における照明および色を制御するために、実際の画像データに関する情報を格納する。
【0016】
知覚属性120は、知覚属性120について動作する色および処理アルゴリズムを含む様々な手法を使用して、処理済み知覚属性148に修正されることができる。均一な色空間または知覚属性120に適用される様々な処理手法は、ダイナミックレンジ補償122、色の好みの調整124、色特性の編集126、再現域の視覚化およびマッピング128、圧縮および復元130、色量子化132、および他の動作を含む。
【0017】
逆方向色の見えモデル150は、情景属性152および観察条件タグ154を含む格納された情報および画像データを使用して知覚属性を処理する。
【0018】
入力および出力の観察条件は、様々な手法を使用して設定されることができる。いくつかの応用例において、典型的にはハードコピーまたはソフトコピーについて、直接測定によって観察条件が推定される。代替的に、相関手法または心理物理的な測定を使用して観察条件を決定することができる。他のシステムでは、観察条件タグを、一組の標準観察条件から選択するのに使用することができる。
【0019】
一実施形態では、順方向色の見えモデル112および逆方向色の見えモデル150は、「相関による色(color-by-correlation)」技術を用いて照明および色を制御する。相関による色の方法は、デジタルカメラおよびスキャナのような典型的な画像取得装置からの実際のイルミナント、情景、および題材を格納する情景属性118および観察条件タグ119を含むデータベースに基づいて、照明および色を制御するイルミナント検出トレーニング・アルゴリズムを含む。一例では、特定のカメラまたは一群のカメラのユーザにとって関心があると予測される様々なイルミナント、情景、および題材について、イルミナント検出トレーニングが正確に実行される。イルミナント検出トレーニングは、日中光、夜間光、ハロゲン光、蛍光、他の分類、さらに分類の組合わせなどのイルミナントの種類にしたがって照明を分類し、該分類されたイルミナントに基づいて画像処理に変更を加える。
【0020】
この例では、情景属性118および観察条件タグ119データベースは、特定のカメラまたは一群のカメラのユーザから提出されるユーザグループ提出によって形成される。デジタル撮像システムは、イルミナント、色度、色などを含む実際の画像データを供給することができるデータベースにアクセスする。情景属性118および観察条件タグ119データベースはまた、特定の画像を取得する画像取得装置を識別するタグ、画像取得装置の製造業者、モデルおよびバージョンに関する情報、および、取得時の画像取得装置の設定に関する情報、を含む実際の画像データに関する情報を格納する。このデータベースは、特定の写真、または画像データベース、または写真ウェブサイトのような様々な写真の収集であってもよい。
【0021】
図2を参照すると、イルミナント推定のための相関行列メモリ202を有するデジタル撮像システム200を例示する概略的なブロック図が示されている。デジタル撮像システム200は、その後の処理および格納のために画像を取得することができる画像取得ユニット210、イルミナント推定器212、色訂正ユニット214、および画像出力装置216を含む。画像取得ユニット210は通常、スキャナまたはデジタルカメラ、すなわち静止画像カメラまたはビデオカメラのいずれかであるが、他の実施形態では、コンピュータ画像ジェネレータなど、画像を取得し、または捕捉する他の任意のシステムを広く含む。例えば、取得される画像は、コンピュータでシミュレートされた光源を1つまたは複数使用して形成される、コンピュータ生成画像でもよい。
【0022】
イルミナント推定器212は、画像取得ユニット210から取得された画像を受け取り、該取得された画像を処理し、該画像に関連付けられたイルミナントの数および種類を推定する。画像の照明特性は非常に可変であり、先験的にはデジタル撮像システム200には分からない。
【0023】
イルミナント推定器212は、数および種類を含むイルミナント特性を推定し、イルミナント特性の記述および取得された画像を色訂正ユニット214に渡す。色訂正ユニット214は、取得された画像の色を訂正して、訂正済み画像を生成するよう、該取得された画像を、該イルミナント特性における情報を使用して処理する。色訂正ユニット214は、表示、印刷、記憶、送信などのために、訂正済み画像を画像出力装置216に提供する。
【0024】
様々な実施例において、デジタル撮像システム200は、単一の統合ユニットや、独立的にまたは組合わせにより別々のコンポーネントから形成される複合システムのように、様々な構成を有することができる。
【0025】
デジタル撮像システム200はさらに、画像取得ユニット210、イルミナント推定器212および色訂正ユニットに関連する動作を実行することができるプロセッサ218を含み、画像データを取得し、分析し、訂正する。プロセッサ218は通常、マイクロプロセッサ、コンピュータ、デジタル信号プロセッサなどのプログラム可能装置であり、さもなくばプログラム可能論理アレイ、マイクロコントローラなどにおいて実現される計算ユニットでもよい。図2は、プロセッサ218が、デジタル撮像システム200に対して内部にあるものとして示されているが、様々な実施例では、プロセッサ218は、デジタル撮像システム200に対して内部にあってもよいし、外部にあってもよい。一実施例では、プロセッサ218は、デジタル撮像システム200の他のコンポーネントに対して外部にあるホストコンピュータでもよい。
【0026】
デジタル撮像システム200のコンポーネントを、特定の構造形態としてではなく、実行される機能の点から述べる。ここの記述する機能を実行するのに、当業者に知られている、該機能を実行することができる任意の構造を使用することができる。通常、ここに述べる機能は、任意のタイプのプロセッサの制御に従って実行することができる。例えば、イルミナント推定器212は、マイクロプロセッサ、特定用途向け集積回路(ASIC)、ディスクリート回路、状態機械、または当技術分野において当業者によって知られ、ここに述べる機能を実行することができる他の任意の回路またはコンポーネントでよい。
【0027】
デジタル撮像システム200は、取得された画像を分析して、該画像に対するデジタル調整を決定する。このデジタル調整は、該画像を照明するのに使用される光源の特性について訂正する色訂正ユニット214によって行われることができる。デジタル撮像システム200は、「相関による色」と呼ばれる色恒常性を達成するための技術を使用して、画像データの数学的操作を実行し、画像における白色点を解決する。「相関による色」技術は、イルミナントに基づいて画像色を訂正することにより、カラーデジタル画像に関連付けられたイルミナント情報を迅速に、正確に、かつロバストに推定することで、カラーデジタル撮像の品質を改善する。相関による色手法は、画像色および情景イルミナントの間に存在する相関を利用する。例えば、最も赤いカメラ測定は、赤色波長を最も高い割合で有する赤色光のもとでのみ発生することができる。したがって、最も高い赤色を読み取るカメラ測定は、最も赤い光と強く相関する。すべてのカメラ測定は、程度の大小はあれ、異なる光の色と相関する。イルミナント推定器212は、すべての画像色とすべての光の間の相関を測定し、情景イルミナントの色の非常に正確な推定を形成する。
【0028】
相関による色の技術は、開口色(aperture color)には鈍感であり、イルミナントの色がほとんど無い画像については、推定器により、最尤推定器(maximum likelihood estimator)の判定のような推定が可能になる。
【0029】
イルミナント推定器212は、「連想行列メモリ(associative matrix memory)」とも呼ぶことができる相関行列メモリ202を使用し、ベイズの(Bayesian)統計分析を使用して画像の色と光を相関する。イルミナント推定器212は、相関行列メモリ202を構築して、任意の画像からのデータを、可能な一組の情景イルミナントに相関させる。イルミナント推定器212は、特定のソースによって照明される一組の基準面を最初に形成することによって、相関行列メモリ202を構築する。該一組の基準面は、色度空間内にプロットされる。次いで、イルミナント推定器212は、基準面の色度の凸閉包を取る。次いで、イルミナント推定器212は、特定のイルミナントについての基準範囲を得るために、色度を並べ直す。例えば、基準範囲内に色度が存在することを「1」エントリと指定し、範囲内に色度が存在しないことを「0」エントリと指定するように、行列を構成することができる。
【0030】
行列の列は、2次元の色度空間を2値点(バイナリ・ポイント)のリストに並べ直したものである。特定のイルミナントのもとで形成される特定の色について、色度座標と呼ばれる点は、その色がそのイルミナントのもとで発生することができる場合(その場合にのみ)、「1」に設定される。例えば、最も赤い色度は、最も赤い照明のもとでのみ起こることができる。行列の行は、装置によって検出可能な存在しうるすべてのイルミナントのリストに対応する。
【0031】
デジタル撮像システム200は、一組の基準面の色、例えば色チャートまたは一組の標準面を使用して、その行列についてのデータを計算する。1つの例示的手法によれば、様々なイルミナント、情景、および題材について、実際の画像の1つまたは複数のデータベース220が、正確に描画するために使用される。特定のデジタルカメラ・モデル、さらには特定のデジタルカメラなどの特定の撮像装置に関連する情報に従って、様々な実際の画像にタグをつけることができる。データベース220内のタグは、様々なタイプの情報を含む。システムは、タグ内に含まれる情報を利用することによって、より正確に画像を描画する。
【0032】
それぞれのイルミナントについて、デジタル撮像システム200は最初に、基準面について格納された反射率をイルミナントに乗じ、第2に、画像取得ユニット210によって検出される色度を計算することによって、イルミナントに対応する列についての基準セットの色度を計算する。これらの色度は、そのイルミナントのもとでの基準色に対応する。
【0033】
その特定のイルミナントについての基準範囲は、その点の凸閉包を取ることから導き出されるポリゴンである。その特定のイルミナントに対応する列において、デジタル撮像システム200は、その基準範囲内にある点の色度を値「1」に活動化し、他の点を値「0」に非活動化する。
【0034】
図3を参照すると、任意の画像からのデータを、ある範囲のイルミナントのもとでの基準画像に相関するよう構成された相関行列300が示される。列、すなわち行列メモリの垂直次元は、2次元の色度空間を点のラスタ・リスト(raster list)に並べ直したものである。相関行列300は、影付きのポリゴンに対応する第1列を有し、該列は、イルミナント1のもとでの基準範囲の色度を含む。デジタル撮像システム200は、すべてのイルミナントに対応して、それぞれの列について該手順を繰り返す。イルミナントの数は、所望の結果の精度に到達するよう限定されることができる。イルミナントは、一組のソースの中から選択することができる。例示的な一実施形態では、画像取得ユニット210の特定のモデルに対応するソースの中から、イルミナントを選択することができる。
【0035】
相関行列300の行は、装置によって検出可能なすべての可能なイルミナントについての色度のラスタ・リストに対応する。この例示的なシステムは、色チャートまたは標準面セットなどの一組の基準面色を使用することによって、相関行列についてのデータの計算を容易にする。それぞれのイルミナントおよび関連する列について、システムは、基準セットの色度を計算する。システムは、イルミナントに基準面の反射率を乗じ、この撮像装置によって検出される色度を計算する。その特定のイルミナントに対応する列において、基準範囲内の点の色度は、その行列エントリに値「1」を割り当てることによって活動化される。他のエントリは値「0」に設定される。システムは、すべてのイルミナントに対応して、それぞれの列について該手順を繰り返す。
【0036】
相関行列メモリ202を生成した結果は、検出器のスペクトル感度、基準面、およびイルミナントに依存し、これらのすべては、基準画像については分かっている。デジタル撮像システム200は、装置線形性(device linearity)またはスペクトルベースのいずれをも仮定することなく、デジタル撮像システム200の較正の一部として照明検出トレーニングを実行することができる。
【0037】
相関行列メモリ202を生成した後、デジタル撮像システム200は、ベクトルの形態で作成される色度リストで、画像データを同じ色度空間内にプロットすることができる。図4を参照すると、取得されたデジタル画像410のベクトル化の結果を示す概略図が示されている。
【0038】
静止またはビデオカメラなどの画像取得ユニット210は、RGB色データを色度に変換し、その情景内に存在する値に対応する画像ベクトル412を作成することによって、デジタル画像を生成する。画像ベクトルは、相関行列内の列と同様であるが、画像内に現れる色度の位置に値「1」を含み、画像内に現れない色度については「0」を含む。
【0039】
イルミナント推定器212は、相関行列メモリ202内に格納された相関行列を、画像取得ユニット210によって形成された画像ベクトルに適用する。イルミナント推定器212は、画像ベクトルに、相関行列内のそれぞれの列を乗じて、新しい行列を作成する。新しい行列では、画像内に存在しなかった色度を表すすべての行に値「0」が割り当てられ、画像内に存在した色度を表す行には「0」または「1」のいずれかが割り当てられる。特定のイルミナントのもとで、特定の色である可能性が他の色よりも高い場合、相関行列に重み付けすることもできる。このようにして、相関行列の場合のように、行は、画像内の色の存在に依存して、非活動化されるか、または活動化されるのが許されるかのいずれかである。イルミナント推定器212は、画像ベクトルvに、相関行列M内の各列を乗じ、式(1)にしたがって合計ベクトルsを生成する。
【0040】
【数1】
s=v(t)・M
ここで、v(t)は、vの転置行列である。
【0041】
合計ベクトルの計算では、特定の色が画像内に存在するかどうかに従い、行が活動化され、または非活動化される。したがって、画像ベクトルに相関行列内の行を乗じることが、画像内に存在する行を活動化し、画像ではない色度に対応する行を非活動化する。合計ベクトルは、特定のイルミナントと整合性のある画像色度の数を表す値の累積相関である。具体的には、合計ベクトルの第1のエントリは、第1のイルミナントと整合性のある入力色の数を示す。合計ベクトルの第2のエントリは、第2のイルミナントと整合性のある入力色の数を示し、こうして順番にすべてのイルミナントについて繰り返される。整合性のある入力数のうちもっとも大きい数を有するエントリが、適切なイルミナントまたはイルミナント組合わせを示す。
【0042】
列を合計して合計ベクトルを形成すると、それぞれの基準ソースがその情景のイルミナントである可能性を表すベクトルとなる。合計ベクトルにおける値は、その特定の列についての照明の色度にそれぞれの値がプロットされる色度空間内の濃度グラフ(density plot)上にプロットされることができる。その情景の可能性のある照明を推定するために、該プロットに対して統計的方法を使用することができる。
【0043】
色訂正ユニット214は、合計ベクトルを2値ベクトルに変換するためにしきい値動作を実行する。一実施例では、入力色の数に等しいしきい値を選択することができ、これにより通常、すべての入力色と整合性のあるイルミナントに対応する、2値ベクトルの単一要素のみが選択されるという結果が生成される。他の例では、開口色は一般に他の画像色と整合性がないので、入力色の合計数よりも小さいしきい値を選択することができる。該2値ベクトルは、入力色と最も整合性のあるイルミナントを示す。
【0044】
相関行列Mは、「1」に設定された要素を有し、すべてのイルミナントだけでなく特定のイルミナントイルミナントのもとですべての色が等しく起こりうるベイズの統計モデルの特別な場合として分析されることができる。相関行列内の要素は、その要素の行の画像色度が、その要素の列のイルミナントと整合性があるならば、「1」に設定される。
【0045】
画像データベース情報のような情報を使用して、特定の列のイルミナントのもとで特定の行の色度が発生する確率を求めることができる。この情報は、実験的に、または理論的に求められた分布から求めることができる。ベイズの公式は、画像内に色度が現れるという事実が与えられると、列におけるイルミナントの確率の計算を可能にする。情景内に現れることができる表面反射率が独立であると仮定すると、画像の色度をIおよび第2の画像の色度をkとした場合のイルミナントjの確率は、p(j|I)p(j|k)に比例する。式p(j|I)p(j|k)は、log(p(j|I))+log(p(j|k))と書くことができる。
【0046】
相関行列における位置i、jを値log(p(j|I))に初期化することによって、相関行列を使用して、白色の最も起こりそうな推定を求めることができる。最大値の合計ベクトルは、最も起こりそうなイルミナントに対応する。
【0047】
図5を参照すると、画像取得ユニット210としての使用に適した電子カメラ502を例示する概略図が示されている。電荷結合素子(CCD)光センサ504などのセンサが、レンズシステム506を通過する光を検出して画像を形成する。代替実施例では、ズームおよび焦点制御システム500が、複数のレンズグループを含むレンズシステム506を有し、該複数のレンズグループのそれぞれは、1または複数のレンズを含む。該実施例はまた、3つのレンズグループ、すなわち第1のレンズグループ508、第2のレンズグループ510、および第3のレンズグループ512を有する。第1のレンズグループ508は、固定された対物レンズである。第2のレンズグループ510は、開口絞り(図示せず)を含む移動グループレンズである。第2のレンズグループ510は、レンズシステム506が移動するにつれ、第3のレンズグループ512と共に移動して、倍率を変更させる。第2のレンズグループ510は、レンズシステム506がズームされるとき、非線形的に移動して、像平面を比較的定位置に保持する。第2のレンズグループ510はまた、特定の焦点距離に達した後に、レンズシステム506の焦点を合わせるよう移動する。第3のレンズグループ512もまた、レンズシステム506内の移動グループのレンズである。第3のレンズグループ512は、レンズがズームするときに、線形的に移動して、カメラの焦点距離を変更する。
【0048】
CCD光センサ504は、2次元アレイの電荷結合光センサであり、レンズシステム506によってその光センサ上に焦点を合わせられた画像を取り込む。個々の光センサの位置は、赤、緑、青などの色が関連付けられた画素である。CCD光センサ504は光にさらされ、個々の画素位置において、該位置で受け取った光子の数に比例する電荷が蓄積される。クロックドライバ514は、CCD光センサ504に接続され、CCD光センサ504の読取り処理を制御するためにクロック信号を伝達する。画像処理ハードウェア(図示せず)がクロック信号を生成し、そのクロック信号を、画像処理ハードウェアからクロックドライバ514を介してCCD光センサ504に送る。クロックドライバ514は、高い容量のCCD制御ラインを駆動するために、高電流および充分な周波数のクロック信号を供給する。
【0049】
離散的なCCD画素構造から生じる光モアレ効果を回避するアンチエイリアス・フィルタリングのために、ローパスフィルタ516がCCD光センサ504に接続される。ローパスフィルタ516の一例は、2つの複屈折水晶板(birefringent quarts plate、図示せず)と、四分の一波長板(図示せず)とを含む。一方の複屈折水晶板は、CCDアレイの水平方向に対してフィルタリングする。他方の複屈折板は、CCDアレイの垂直方向でフィルタリングする。四分の一波長板の機能は、減偏光子(depolarizer)である。ローパスフィルタという用語は、低空間周波数の画像のみの撮像処理を示す。
【0050】
CCD光センサ504は、画像信号を生成し、その信号をアナログデジタル変換器(ADC)518を介して画像処理ハードウェアに渡す。CCD光センサ504からの行毎の画素画像データは、アナログデジタル変換器518に渡されるアナログ電圧である。アナログデジタル変換器518は、その画像信号を増幅しデジタル化する。デジタル化処理は、それぞれの画素について、Nビットのデジタルワードを生成する。アナログデジタル変換器518は、画素データを画像処理ハードウェアにクロック出力する。
【0051】
シャッター/開口モジュール520は、第2のレンズグループ508と第3のレンズグループ510の間に置かれる。シャッタ/開口モジュール520は、シャッタ522、開口524、およびNDフィルタ(neutral density filter)526を含む。シャッタ522は、光がCCD光センサ504に達するのを防ぐために、レンズシステム506の光路528内に切り換えられるブレード(blade)である。シャッタ522は、画像取得を完了する露出時間の最後において、およびカメラの電源を切るときに、光を遮り、過度の光を受け取って個々のセンサ要素が損傷されることからCCD光センサ504を保護する。
【0052】
開口524は、それぞれが穴を含む複数のブレードである。異なるブレードは通常異なる直径の穴を有する。レンズシステム506を介してCCD光センサ504に伝達される光を減らすために、異なる開口を光路528内に切り換えることができる。異なる開口524は、露出および視野の焦点深度を制御するのに使用される。典型的な静止画像の電子カメラは、1つまたは2つの開口ブレードを有する。他の設計では、開口524は、より多数の選択可能な開口を提供するために、連続的に可変な開口の穴のサイズを有する絞りから構成することができる。
【0053】
NDフィルタ526は、光路528内に切り換えることができる追加のブレードである。NDフィルタ526もまた、レンズシステム506を介してCCD光センサ504に渡される光を減少させる。開口524およびNDフィルタ526は同様に機能するが、NDフィルタ526は、レンズシステム506を通過する光の量を、視野の焦点深度に影響を及ぼすことなく減少させることができる点で異なる。対照的に、CCD光センサ504への光を減少させるために開口を使用することは、焦点深度を変更する。NDフィルタ526を開口524と共に使用して、CCD光センサ504へと通過する光のレベルをさらに減少させることができる。
【0054】
シャッタ/開口モジュール520は、ソレノイド530を介してカメラ制御要素(図に示されていない)から渡される信号によって制御される。シャッタ522、開口524、およびNDフィルタ526の個々のブレードは、シャッタソレノイド529、開口ソレノイド530、およびNDフィルタ・ソレノイド535を含む複数のソレノイドによって、レンズ光路528の内外に駆動される。ソレノイドは、ブレードを適切なときに適所に動かすために電圧および電流を供給するコイル・ドライバ532によって駆動される。コイル・ドライバ532は、中央処理ユニット(CPU)、マイクロコントローラ、制御論理回路などのプロセッサ(図示せず)からの信号によって制御される。カメラ制御要素は、プロセッサ上で実行されるソフトウェアまたはファームウェアでよい。
【0055】
プロセッサは、第2のレンズグループ510および第3のレンズグループ512の相対位置を決め、ズームおよび焦点機能を制御する。プロセッサは、モータ・ドライバ534に制御情報を供給するアプリケーションプログラムを実行し、実行されるプログラム・コードは、第1のステップ・モータ538および第2のステップ・モータ540に制御信号を供給する。ステップ・モータ538および540は、第2のレンズグループ510および第3のレンズグループ512の位置をそれぞれ物理的に制御する。
【0056】
例示的な電子カメラ502では、モータ・ドライバ534は、歯車減速機(gear reduction)550および親ねじ(lead screw)552によって第2のレンズグループ510に接続されるステップ・モータ538に信号を送る。同様に、モータ・ドライバ534は、歯車減速機550および親ねじ552によって同様に第3のレンズグループ512に接続されるステップ・モータ538に信号を送る。ステップ・モータ538および540は、第2のレンズグループ510および第3のレンズグループ512の位置および動きを決定する信号を、モータ・ドライバ534を介してプロセッサから信号を受け取る。代替システムでは、第2および第3のレンズグループ510および512のレンズ位置調整を制御するために、他のタイプのモータおよび駆動機構を使用することができる。光センサ554は、第2および第3のレンズグループ510および512のモータおよび駆動機構に接続され、レンズグループ510および512の位置をモニタする。プロセッサは、該レンズグループを光センサ554の方へ移動し、第2および第3のレンズグループ510および512上に搭載されたフラグ556が光センサ554に達する時を検出することによって、第2および第3のレンズグループ510および512の初期位置を求める。光センサ554がフラグを検出する位置がホーム・ポジションである。プロセッサは、ホーム・ポジションを基準として、第2および第3のレンズグループ510および512の位置を測定する。プロセッサは、ステップ・モータ538および540が実行するステップの数を、ホーム・ポジションを基準にしたすべての動きにおいて追跡する。
【0057】
モータ・ドライバ534は、電圧および電流を、ステップ・モータ538および540に供給し、こうして、第2のレンズグループ510および第3のレンズグループ512の位置および動きを決定する。モータ・ドライバ534は、プロセッサからの信号によって制御される。
【0058】
図6を参照すると、画像取得ユニット210としての使用に適した他の電子カメラ602を例示する概略図が示されている。画像は、センサ、例えばレンズシステム606を通過する光を検出する電荷結合素子(CCD)光センサ604で検出される。例示的なズームおよび焦点制御システム600では、レンズシステム606は、複数のレンズグループを含み、該複数のレンズグループのそれぞれが、1つまたは複数のレンズを含む。一例は、3つのレンズグループ、すなわち第1のレンズグループ608、第2のレンズグループ610、および第3のレンズグループ612を有する。第2のレンズグループ610は、バリエータ(variator)と呼ばれ、レンズの有効焦点距離を変更し、線形的に移動する。第1のレンズグループ608は、第2のレンズグループ610の線形的な動きに対して非線形的に移動し、補償器として機能する。第1のレンズグループ608は、レンズシステム606の焦点距離の範囲にわたってレンズがズームされるとき、像平面を比較的一定に保持するよう機能する。第3のレンズグループ612は、レンズシステム606の焦点を合わせるために移動されるポジティブ要素(positive element)である。
【0059】
CCD光センサ604は、レンズシステム606によって光センサ上に焦点を合わせられた画像を取り込むのに使用される、2次元アレイの電荷結合光センサである。個々の光センサ位置は、画素として定義され、赤、緑、青などの関連付けられた色を有する。CCD光センサ604が光にさらされると、個々の画素位置において、該位置で受け取った光子の数に比例する電荷が蓄積される。クロック・ドライバ614は、CCD光センサ604に接続され、CCD光センサ604の読取り処理を制御するのに使用されるクロック信号を伝達する。画像処理ハードウェア(図示せず)は、クロック信号を生成する。クロック信号は、画像処理ハードウェアからクロック・ドライバ614を介してCCD光センサ604に伝達される。クロック・ドライバ614は、高い容量のCCD制御ラインを駆動するために、充分な周波数の高レベルの電流のクロック信号を供給する。
【0060】
ローパスフィルタ616は、CCD画素構造の離散的性質に起因して発生する光モアレ効果を回避するのにアンチエイリアス・フィルタとして使用するために、CCD光センサ604に接続される。ローパスフィルタ616の適切な一例は、2つの複屈折水晶板(図示せず)と、四分の一波長板(図示せず)とを含む。複屈折水晶板の1つは、CCDアレイの水平方向に対してフィルタリングする。2番目の複屈折板は、水平方向から90度シフトされた、CCDアレイの垂直方向にフィルタリングを生成する。四分の一波長板は、減偏光子として機能する。ローパスフィルタという用語は、低空間周波数画像のみの撮像処理を示している。
【0061】
CCD光センサ604は、アナログデジタル変換器(ADC)618を介して画像処理ハードウェアに渡される画像信号を生成する。行毎の画素画像データは、アナログ電圧としてCCD光センサ604から読取られ、アナログデジタル変換器618に渡される。アナログデジタル変換器618は、画像信号を増幅し、デジタル化する。デジタル化処理は、それぞれの画素について、Nビットのデジタルワードを生成する。アナログデジタル変換器618は、その画素についてのデジタルワードを、画像処理ハードウェアにクロック出力する。
【0062】
シャッタ/開口モジュール620は、第1のレンズグループ608と第2のレンズグループ610の間に介在する。シャッタ/開口モジュール620は、シャッタ622、開口624、およびNDフィルタ626を含む。シャッタ622は、CCD光センサ604に光が達するのを防ぐように、レンズシステム606の光路628内に切り換えられるブレードである。シャッタ622は通常、画像取得を完了する露出時間の最後に、光を遮るよう制御される。シャッタ622はまた、カメラの電源が切られるときに閉じられ、過度の光を受け取ることから(これは、個々のセンサ・エレメントに故障を引き起こす可能性がある)、CCD光センサ604を保護する。
【0063】
開口624は、異なる直径の穴を含む複数のブレードである。開口ブレードは、レンズシステム606を介してCCD光センサ604に伝達される光の量を減少させるために、光路628内に切り換えられることができる。異なる開口624は、露出を制御することおよび視野の焦点深度を制御することのために使用される。静止画像を受け取るのに使用される典型的な電子カメラは、1つまたは2つの開口ブレードを有する。代替的に、開口624は、より多数の選択可能な開口を供給するために、連続的に可変な開口の穴のサイズを有する絞りから構成されることができる。
【0064】
NDフィルタ626は、光路628内に切り換えられることができる追加のブレードである。NDフィルタ626もまた、レンズシステム606を介してCCD光センサ604に伝達される光の量を減少させる。開口624およびNDフィルタ626は、機能において同様であるが、NDフィルタ626は、レンズシステム606を通過する光の量を、視野の焦点深度に影響を及ぼすことなく減少させるのに使用されることができる。CCD光センサ604への光を減少させるために開口を使用することは、常に焦点深度に影響を及ぼすこととなる。NDフィルタ626を開口624と共に使用して、CCD光センサ604に通過していく光のレベルをさらに減少させることができる。
【0065】
シャッタ/開口モジュール620は、ソレノイド(図示せず)を介してカメラ制御ブロック(図示せず)から渡される信号によって制御される。シャッタ622、開口624、およびNDフィルタ626の個々のブレードは、ソレノイドによってレンズ光路628の内外に駆動される。個々のソレノイドは、ブレードを適切なときに適所に駆動するための電圧および電流を供給するソレノイド・ドライバ(図示せず)によって駆動される。ソレノイド・ドライバは、中央処理ユニット(CPU)、マイクロコントローラ、制御論理回路などのプロセッサ670からの信号によって制御される。カメラ制御ブロックは、プロセッサ670上で実行されるソフトウェアまたはファームウェアでよい。
【0066】
プロセッサ670は、第1のレンズグループ608、第2のレンズグループ610、および第3のレンズグループ612の相対位置を求め、こうして、ズームおよび焦点機能を制御する。プロセッサ670は、モータ・ドライバ634に制御情報を供給するアプリケーションプログラムを実行し、該実行されるプログラム・コードは、DCモータ636およびステップ・モータ638に制御信号を供給する。DCモータ636は、レンズシステム606の第1のレンズグループ608および第2のレンズグループ610の位置を物理的に制御する。ステップ・モータ638は、第3のレンズグループ612の位置を物理的に制御する。第1のレンズグループ608および第2のレンズグループ610は、レンズバレル(lens barrel)640によって保持される。DCモータ636は、レンズバレル640に接続され、レンズバレル640とDCモータ636の間の一組の歯車(図示せず)を介して、レンズバレル640の回転を駆動する。レンズバレル640が回転すると、第1のレンズグループ608および第2のレンズグループ610の位置は、レンズバレル640の内部のカム・スロット(図示せず)の動作を介して調整される。レンズ・カム・スイッチ642が、レンズバレル640上に搭載され、レンズバレル640が複数のズーム位置を介して回転するとき、プロセッサ670に信号遷移を送る。一例では、電子カメラ602は、ワイド(wide)、テレ(tele)、およびリトラクト(retract)という3つのズーム位置を有する。スライド電位差計644は、レンズバレル640に接続される。レンズバレル640が、ワイドとテレのズーム位置の間で回転するとき、スライド電位差計644は、精細なズーム位置情報を生成する。レンズバレル640内のカム・スロット646は、ワイドおよびテレのズーム位置の位置に応じて、スライド電位差計644を駆動する。プロセッサ670は、スライド電位差計644の中央タップから、アナログデジタル変換器(ADC)648を介して得られる電圧を読取ることによって、精細なズーム位置を求める。スライド電位差計644によって生成される精細なズーム位置の値は、レンズ・カム・スイッチ642がテレ位置およびワイド位置に位置するときのスライド電位差計の値を記録することによって較正される。
【0067】
例示的な電子カメラ602では、モータ・ドライバ634は、歯車減速機650および親ねじ652によって第3のレンズグループ612に接続されるステップ・モータ638に信号を送る。ステップ・モータ638は、第3のレンズグループ612の位置および動きを決定する信号を、プロセッサ670からモータ・ドライバ634を介して受け取る。代替システムでは、第3のレンズグループ612のレンズ位置調整を制御するために、他のタイプのモータおよび駆動機構を使用することができる。光センサ654は、第3のレンズグループ612のモータおよび駆動機構に接続され、第3のレンズグループ612の位置をモニタする。プロセッサ670は、これらのレンズグループを光センサ654の方に動かし、第3のレンズグループ612上に搭載されたフラグ662が光センサ654に達する時を検出することによって、第3のレンズグループ612の初期位置を求める。光センサ654がフラグを検出する位置が、ホーム・ポジションである。プロセッサ670は、ホーム・ポジションを基準として、第3のレンズグループ612の位置を測定する。プロセッサ670は、ホーム・ポジションを基準にしたすべての動きにおいて、ステップ・モータ638が実行するステップの数を追跡する。
【0068】
モータ・ドライバ634は、DCモータ636およびステップ・モータ638に電圧および電流を供給し、こうして、第1のレンズグループ608および第2のレンズグループ610、および第3のレンズグループ612の位置および動きを決定する。モータ・ドライバ634は、プロセッサ670からの信号によって制御される。
【0069】
電子カメラ602の内部の温度センサ660は、温度を測定し、プロセッサ670に接続される。プロセッサ670は、温度差について焦点を調整するために、レンズの開始位置を調整することができる処理ロジックを含む。
【0070】
本発明の他の側面によれば、デジタル撮像システム200は、イルミナント、色度、色などを含む実際の画像データを供給することができる、図1を参照して述べた情景属性118および観察条件タグ119データベースなどのデータベースにアクセスすることができる。情景属性118および観察条件タグ119データベースは、特定の画像を取得する画像取得装置を識別するタグ、画像取得装置の製造業者、モデル、バージョンに関する情報、および取得時の画像取得装置の設定に関する情報を含む、実際の画像データに関連する情報をさらに含む。
【0071】
デジタル撮像システム200は、デジタルカメラおよびスキャナなどの画像取得装置の設計および改良のためにその情報を使用する。データベースは、製造業者およびモデルにしたがってデータベースに格納されたデジタル画像を選別するための、製造業者タグおよびモデルタグなどのタグを含む。データベースはまた、装置によって作成された画像が取得されデータベースに格納されるとき、追加情報を導き出すため、画像取得装置によって生成されるタグに従い追加のプライベートな画像タグ情報を格納する。タグ情報の例には、製造業者およびモデルの識別が含まれる。他のタグ情報は、焦点距離、シャッタ・スピード、開口などの撮像特性に関連する。
【0072】
デジタル撮像システム200は、タグ情報を使用して、画像取得ユニット110の使用に対して統計分析を実行することができる。例えば、タグを使用して、カメラが写真を撮るのにより頻繁に使用されるのが横長の構成なのか、または縦長の構成なのかを示すことができる。ある特定の構成において優れた画像が得られるのかどうかを判断するために、統計分析を実行することができる。統計分析の結果として、カメラ設計者は、カメラの最も一般的な使用に関する情報を利用する特定の方法で、撮像コンポーネントまたは光検出器を構成することができる。
【0073】
デジタル撮像システム100は、様々なタイプの統計分析を実行するためにデータベースを使用することができる。1つの側面において、デジタル撮像システム100は、取得される画像の種類を求める分析を実行し、題材、照明、カラーコンテンツ(color content)、および情景に従って画像を分類することができる。さらに、人々または自然の景色の画像のどちらがより一般的に取得されるか、動画なのか静止画像なのか、特定の関心のある画像コンテンツの被写体深度、および他の多数の考慮事項にしたがって分類されることもできる。
【0074】
デジタル撮像システム100は、データベースを分析して、特定の画像特性の割合を求めることができる。例えばシステムは、照明分析を実行し、屋外光、蛍光、ハロゲン光、その他の室内光、夜間光、フラッシュ写真、および照明の組合わせで取られた画像の割合を求めることができる。イルミナント検出アルゴリズムを改良するために、様々な種類の画像を分析することができる。
【0075】
同様に、デジタル撮像システム100は、データベース内の画像を分析して、幾何学的圧縮、自動鮮鋭化、赤目除去などを含む他のアルゴリズムおよび手法を改良することができる。デジタル撮像システム100はまた、データベースを使用して、情景認識、顔認識などの人工知能分析機能を開発することもできる。
【0076】
デジタル撮像システム100は、フライトレコーダ(flight recorder)のやり方でタグ付けされた情報を使用して、ファクシミリ転送、コピー、印刷など、画像を転送する一般的な方法を判断することができる。
【0077】
タグは、画像取得ユニット110の使用に関する情報、特に、ネットワークに対する入力ノードとしての画像取得ユニットの使用に関する情報を収集するのに使用されることができる。例えば、カメラを入力ノードとして使用し、画像をネットワークに転送することができ、またはパーソナル・コンピュータ、写真店、現像所などを介して画像を転送することができる。画像をインターネットに転送することを単純化する、または容易にするために、カメラを改良することができる。
【0078】
画像取得ユニット110の様々な機能にタグ付けし、特定の装置機能の使用を判断することができる。ユーザは、特定のカメラ機能を一般的にかつ頻繁に使用し、他の機能の使用を避けることができる。デジタル撮像システム100は、使用情報を分析して、撮像装置に機能を含むことのコストを正当化するほどには充分使用されない機能を求めることができる。画像装置の開発者は、統計情報を使用し、たまにしか使用されない機能を、その情報に基づいて取り除くことができ、または修正することができる。
【0079】
本発明を様々な実施形態を参照しながら述べたが、これらの実施形態は例示的であり、本発明の範囲はそれらの実施形態に限定されないことが理解されよう。ここに述べた実施形態の多数の変形形態、修正、追加および改善が可能である。例えば、当業者は、本明細書に開示された構造および方法を提供するのに必要なステップを容易に実施し、処理パラメータ、材料、および寸法が、例示としてのみ与えられ、本発明の範囲内にある希望する構造および修正を達成するために変更できることを理解するであろう。特許請求の範囲に記述する本発明の範囲および精神から逸脱することなく、本明細書に説明した記述に基づいて、本明細書に開示された実施形態の変形形態および修正を行うことができる。例えば、当業者であれば、第1および第2のサービス品質(qos)手法を、本明細書に述べた他の相互接続構造に同様に応用することができよう。
【0080】
本発明は、以下の実施態様を含む。
(1)デジタル画像(410)を取得することができる画像取得ユニット(210)と、
前記画像取得ユニットに結合され、画像処理情報を含むメモリ(202)と、
前記画像取得ユニットおよび前記メモリに結合されたプロセッサ(218)と、を備え、
前記プロセッサは、前記取得したデジタル画像を、画像データベース(220)に格納された実際の画像データから得られる画像処理情報に基づいて、処理済み画像に変換する画像処理プロセスを含む、デジタル撮像システム(200)。
(2)前記メモリ(202)に格納された相関行列(300)をさらに備え、前記プロセッサは、さらに、
前記カラー画像データベース(220)に格納された実際の画像データからの複数画像の色および照度に基づいて、前記取得したデジタル画像の色および照度を検出することができる画像処理プロセスを含む、上記(1)に記載のデジタル撮像システム(200)。
(3)前記プロセッサ(218)において実行可能なイルミナント検出トレーニング・アルゴリズム(212)をさらに備え、
前記イルミナント検出トレーニング・アルゴリズムは、デジタルカメラおよびスキャナなどの典型的な画像取得装置からの実際のイルミナント、情景、および題材を格納するデータベース(220)に基づいて、照明および色を制御し、
前記データベースは、前記画像取得装置の製造業者、モデルおよびバージョン、画像取得時の画像取得装置の設定、画像取得の日時、および、焦点距離、シャッタ・スピード、および開口などの撮像特性に関連する情報の中から選択される情報を含む画像データを格納する、上記(1)に記載のデジタル撮像システム(200)。
(4)前記画像データベース(220)に含まれる情報の統計分析に基づいて設計される撮像コンポーネントおよび光検出器の構成(500、600)を、前記画像取得ユニット(210)にさらに備える、上記(1)に記載のデジタル撮像システム(200)。
(5)前記メモリ(202)に格納された相関行列(300)をさらに備え、
前記プロセッサは、カラー画像データベースに格納された実際の画像データからの複数画像の色および照度に基づいて、前記取得したデジタル画像の色および照度を検出することができる画像処理プロセスを含み、
前記デジタル撮像システムは、さらに、
前記画像処理プロセスにおいて動作し、前記取得した画像(410)に関連付けられた色度に基づいて画像ベクトル(412)を形成することができる画像ベクトルプロセスと、
色度にしたがって前記画像ベクトルの位置を割り当てることができる画像ベクトルプロセスの色度割り当てプロセスと、を含み、
前記色度割り当てプロセスは、
前記取得した画像からのRGBデータを、前記カラー画像データベースに格納された複数画像の色および照度に基づいて選択された色度に変換するデータ変換プロセスと、
前記画像ベクトルの位置を、該位置に対応する色度が前記取得した画像に現れるならば、第1のバイナリ値に設定する位置選択プロセスと、
前記画像ベクトルの位置を、該位置に対応する色度が前記取得した画像内に現れなければ、第2のバイナリにリセットする位置選択解除プロセスと、を含む、上記(1)に記載のデジタル撮像システム(200)。
【0081】
(6)前記画像データベースに格納された画像の種類、題材、イルミナント、カラーコンテンツ、情景、動画または静止画、画像の被写体深度の分析を含む、前記画像データベース(220)内に含まれる情報の統計分析に基づいて設計された撮像コンポーネントおよび光検出器構成(500、600)を、前記画像取得ユニット(210)にさらに備える、上記(1)に記載のデジタル撮像システム(200)。
(7)前記プロセッサ(218)において実行可能なイルミナント検出トレーニング・アルゴリズム(212)をさらに備え、該イルミナント検出トレーニング・アルゴリズムは、屋外光、蛍光、ハロゲン光、その他の室内光、夜間光、フラッシュ写真、および照明の組合わせで取られた画像の割合を求める前記画像データベース(220)の統計分析に、照明および色の制御の基礎を置く、上記(1)に記載のデジタル撮像システム(200)。
(8)前記画像データベース(220)の統計分析に基づいて、画像処理を制御する、前記プロセッサ(218)において実行可能な画像処理アルゴリズム(122〜132)をさらに備え、
前記画像処理アルゴリズムは、幾何学的圧縮、自動鮮鋭化、赤目除去、情景認識、および顔認識を含む一群のアルゴリズムの中から選択される、上記(1)に記載のデジタル撮像システム(200)。
(9)前記プロセッサ(218)において実行可能なイルミナント検出トレーニング・アルゴリズム(212)をさらに備え、該イルミナント検出トレーニング・アルゴリズムは、デジタルカメラおよびスキャナなどの典型的な画像取得装置からの実際のイルミナント、情景、および題材を格納する画像データベース(220)に基づいて、照明および色を制御し、
前記画像データベースは、入力ノードとしてカメラを使用して、ネットワーク経由、パーソナル・コンピュータ経由、写真店経由、および写真現像所経由の、ファクシミリ転送、コピー、印刷、転送を含む、画像をデータベースに転送する方法を指定するタグ情報に関する情報の中から選択される情報を含む、上記(1)に記載のデジタル撮像システム(200)。
(10)相関行列メモリ(202)内に含まれる相関行列(300)をさらに含み、
前記相関行列は、一組の候補イルミナントに対応する第1の次元および色度に対応する第2の次元を含む2次元行列であり、該イルミナントおよび色度は、製造業者およびモデル情報のタグ、および、焦点距離、シャッタ・スピード、および開口を含む画像データタグを含む、プライベートな画像タグ情報に関する情報に基づいて求められる、上記(1)に記載のデジタル撮像システム(200)。
【図面の簡単な説明】
【図1】本発明の一実施例に従う、色の見えモデルを示す概略図。
【図2】イルミナント推定のための相関行列メモリを有するデジタル撮像システムを示すブロック図。
【図3】任意の図形画像からのデータを、ある範囲のイルミナントのもとでの基準画像に相関するように構成された相関行列。
【図4】取得されたデジタル画像のベクトル化の結果を示す概略図。
【図5】画像取得ユニットの一例である、図1において述べたデジタル撮像システムに画像データを提供するのに適合する電子撮像装置を示すブロック図。
【図6】電子取得ユニットの他の実施例である、図1において述べたデジタル撮像システムに画像データを提供するのに同様に適合する電子カメラを示すブロック図。
【符号の説明】
200 デジタル撮像システム
202 相関行列メモリ
210 画像取得ユニット
212 イルミナント推定器
214 相関による色ユニット
216 画像出力装置
218 プロセッサ
220 画像データベース

Claims (3)

  1. デジタル撮像システムであって、
    デジタル画像を取得することができる画像取得ユニットと、
    実際の画像データからの複数の画像を記憶するカラー画像データベースと、
    前記画像取得ユニットに結合された、相関行列のメモリであって、該相関行列は、イルミナントと色度の二次元行列であり、該イルミナントおよび色度は、前記画像データベースに記憶された実際の画像データからの複数の画像に基づいて選択される、相関行列のメモリと、
    前記画像取得ユニットおよび前記相関行列メモリに結合されたプロセッサであって、前記相関行列を、前記取得したデジタル画像に適用することにより、該デジタル画像の色およびイルミナントを検出することができる画像処理プロセスを含む、プロセッサと、
    を備える、デジタル撮像システム。
  2. デジタル撮像システムを動作させる方法であって、
    実際の画像データを収集するステップと、
    前記収集した実際の画像データからの複数の画像をカラー画像データベースに記憶するステップと、
    デジタル画像を取得するステップと、
    イルミナントおよび色度を含む相関行列のメモリを形成するステップであって、該相関行列は、第1の次元が、候補となる一組のイルミナントに対応し、第2の次元が色度に対応する、二次元の行列であり、該イルミナントおよび色度は、前記画像データベースに記憶された実際の画像データからの複数の画像に基づいて選択される、ステップと、
    前記相関行列を、前記取得したデジタル画像に適用することにより、該デジタル画像の色およびイルミナントを検出するステップと、
    を含む、方法。
  3. デジタル撮像システムであって、
    実際の画像データからの複数の画像を、カラー画像データベースに記憶する手段と、
    デジタル画像を取得する手段と、
    イルミナントおよび色度のデータを含む相関行列のメモリを形成するための手段であって、該相関行列は、第1の次元が、候補となる一組のイルミナントに対応し、第2の次元が、色度に対応する、二次元の行列であり、該イルミナントおよび色度は、前記画像データベースに記憶された実際の画像データからの複数の画像に基づいて選択される、手段と、
    前記相関行列を、前記取得したデジタル画像に適用することにより、該デジタル画像の色およびイルミナントを検出する手段と、
    を備える、デジタル撮像システム。
JP2002202143A 2001-07-23 2002-07-11 デジタル撮像システム Expired - Fee Related JP4133052B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/911,280 2001-07-23
US09/911,280 US6873727B2 (en) 2001-07-23 2001-07-23 System for setting image characteristics using embedded camera tag information

Publications (3)

Publication Number Publication Date
JP2003143612A JP2003143612A (ja) 2003-05-16
JP2003143612A5 JP2003143612A5 (ja) 2005-10-20
JP4133052B2 true JP4133052B2 (ja) 2008-08-13

Family

ID=25430021

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002202143A Expired - Fee Related JP4133052B2 (ja) 2001-07-23 2002-07-11 デジタル撮像システム

Country Status (2)

Country Link
US (1) US6873727B2 (ja)
JP (1) JP4133052B2 (ja)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6781691B2 (en) 2001-02-02 2004-08-24 Tidal Photonics, Inc. Apparatus and methods relating to wavelength conditioning of illumination
EP1248455A1 (en) * 2001-04-05 2002-10-09 Imip Llc Automatic content-analysis based use of colour correction process
US7184080B2 (en) * 2001-06-25 2007-02-27 Texas Instruments Incorporated Automatic white balancing via illuminant scoring
ES2253542T3 (es) * 2001-07-12 2006-06-01 Do Labs Procedimiento y sistema para producir informaciones formateadas relacionadas con los defectos, como minimo, de una aparato de una cadena, en especial por efecto borroso.
US7019776B1 (en) * 2002-08-16 2006-03-28 Magnachip Semiconductor, Inc. Method and system for automatic white balancing
JP4126487B2 (ja) * 2002-11-08 2008-07-30 株式会社沖データ 画像変換方法および画像変換装置
US7692784B2 (en) * 2003-09-26 2010-04-06 Tidal Photonics, Inc. Apparatus and methods relating to enhanced spectral measurement systems
WO2005031436A1 (en) * 2003-09-26 2005-04-07 Tidal Photonics, Inc. Apparatus and methods relating to expanded dynamic range imaging endoscope systems
US7403225B2 (en) 2004-07-12 2008-07-22 Scenera Technologies, Llc System and method for automatically annotating images in an image-capture device
US20060177128A1 (en) * 2005-02-08 2006-08-10 Karthik Raghupathy White balance with zone weighting
CN100501484C (zh) * 2005-09-30 2009-06-17 鸿富锦精密工业(深圳)有限公司 数码相机模组
US7885458B1 (en) * 2005-10-27 2011-02-08 Nvidia Corporation Illuminant estimation using gamut mapping and scene classification
US20080260242A1 (en) * 2006-06-22 2008-10-23 Tidal Photonics Inc. Apparatus and methods for measuring and controlling illumination for imaging objects, performances and the like
JP4910860B2 (ja) * 2007-04-20 2012-04-04 富士ゼロックス株式会社 画像ファイル作成装置、画像処理装置、画像処理システム、およびプログラム
US8564687B2 (en) * 2007-05-07 2013-10-22 Nvidia Corporation Efficient determination of an illuminant of a scene
JP4958638B2 (ja) * 2007-05-28 2012-06-20 キヤノン株式会社 色処理装置および方法
US8698917B2 (en) * 2007-06-04 2014-04-15 Nvidia Corporation Reducing computational complexity in determining an illuminant of a scene
JP4568338B2 (ja) * 2008-02-29 2010-10-27 株式会社東芝 映像再生装置および映像再生方法
US8768070B2 (en) * 2008-06-27 2014-07-01 Nokia Corporation Method, apparatus and computer program product for providing image modification
US8655066B2 (en) * 2008-08-30 2014-02-18 Hewlett-Packard Development Company, L.P. Color constancy method and system
JP5471072B2 (ja) * 2009-06-26 2014-04-16 富士通株式会社 表示テスト装置、表示テストプログラムおよび表示テスト方法
US8634640B2 (en) * 2010-10-21 2014-01-21 Hewlett-Packard Development Company, L.P. Method and apparatus for selecting a color palette
US8588522B2 (en) * 2011-04-13 2013-11-19 Hewlett-Packard Development Company, L.P. Method and system for dynamic color correction
US9460521B2 (en) 2012-06-18 2016-10-04 St-Ericsson Sa Digital image analysis
US9870598B2 (en) 2013-04-26 2018-01-16 Nvidia Corporation Low complexity adaptive filtering for mobile captures
EP3180596A4 (en) * 2014-08-15 2018-09-26 Scanadu Incorporated Precision luxmeter methods for digital cameras to quantify colors in uncontrolled lighting environments
US11775952B2 (en) * 2017-02-28 2023-10-03 Ncr Corporation Multi-camera simultaneous imaging for multiple processes
CN110826366A (zh) * 2018-08-10 2020-02-21 北京魔门塔科技有限公司 一种夜晚用于数据分析的人脸图像采集系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5495428A (en) * 1993-08-31 1996-02-27 Eastman Kodak Company Method for determining color of an illuminant in an image based on histogram data
JPH08292998A (ja) * 1995-04-20 1996-11-05 Mitsubishi Electric Corp 画像検出装置及び画像検出方法
JP4076248B2 (ja) * 1997-09-09 2008-04-16 オリンパス株式会社 色再現装置
US6038339A (en) * 1997-11-14 2000-03-14 Hewlett-Packard Company White point determination using correlation matrix memory
US6236474B1 (en) * 1998-05-22 2001-05-22 Xerox Corporation Device independent color controller and method
US6477269B1 (en) * 1999-04-20 2002-11-05 Microsoft Corporation Method and system for searching for images based on color and shape of a selected image
US6515275B1 (en) * 2000-04-24 2003-02-04 Hewlett-Packard Company Method and apparatus for determining the illumination type in a scene

Also Published As

Publication number Publication date
US6873727B2 (en) 2005-03-29
US20030016865A1 (en) 2003-01-23
JP2003143612A (ja) 2003-05-16

Similar Documents

Publication Publication Date Title
JP4133052B2 (ja) デジタル撮像システム
JP4263890B2 (ja) カメラ、シーン、ディスプレイ、及び、人口統計データに基づいて特定の画像欠陥を補正するときを決定するシステム及び方法
CN101116324B (zh) 用于从多次曝光中创建高动态范围图片的方法和装置
US7065255B2 (en) Method and apparatus for enhancing digital images utilizing non-image data
Phillips et al. Camera image quality benchmarking
JP2004173010A (ja) 撮像装置、画像処理装置、画像記録装置、画像処理方法、プログラム及び記録媒体
US7889275B2 (en) System and method for continuous flash
JP2003204459A (ja) デジタルカメラ、及び画像再生装置
JP2002354244A (ja) 光バランスの変化を最小としつつディジタル画像を光フォールオフについて補償する方法
JP2007258925A (ja) 撮像装置、画像を取得する方法
JP2002344978A (ja) 画像処理装置
US7397968B2 (en) System and method for tone composition
JP2007311895A (ja) 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム
JP4259742B2 (ja) 画像データ処理方法及び装置と該方法を実行するためのプログラムを記録した記録媒体
JP2007258923A (ja) 画像処理装置、画像処理方法、画像処理プログラム
JP2007293686A (ja) 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム
JP2007221678A (ja) 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム
JP2007312294A (ja) 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム
KR101491123B1 (ko) 디지털 이미징 기기의 지능형 플래시 장치 및 방법
JP2004328534A (ja) 画像形成方法、画像処理装置及び画像記録装置
Allen et al. Digital cameras and scanners
JP2007288245A (ja) 撮像装置、画像処理方法及び画像処理プログラム
JP4426009B2 (ja) 画像処理方法および装置並びに記録媒体
JPH10210287A (ja) デジタルカメラ
JP2006279459A (ja) 画像撮影装置、画像撮影方法、画像撮影プログラムおよび記録媒体

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050627

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050627

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070730

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070814

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071112

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080520

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080602

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110606

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120606

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120606

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130606

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130606

Year of fee payment: 5

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130606

Year of fee payment: 5

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130606

Year of fee payment: 5

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130606

Year of fee payment: 5

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees